RES User Training - BSC-CNS
Contents
1. e Buenas practicas para los usuarios e Incidencias mas comunes e Informaci n accesible por los usuarios e x mos 73 a PGA Ging 3 2 i E al sc i r pm a A ia LUI A as Puntos principales a nivel t cnico de la arquitectura de las m quinas que componen la RES VV VV V WV Filesystems Sistemas de transferencia Sistema de colas Redes de conexi n nodos ooftware 0 En el caso de MareNostrum disponemos de unos 3 0 TB de espacio de disco que est distribuido de la siguiente forma e GPFS Global Parallel Filesystem esta montado sobre la gigabit y es compartido por todos los nodos de la maquina lgpfs scratch 64T gpfs apps 9 1T gpfs home 19T datos duplicados gpfs projects 73T e Disco local JS21 disco SAS montado como scratch en cada uno de los nodos de la m quina En este mismo disco tambi n se monta la partici n de swap del blade 4 GB scratch 36G solo 30 GB disponibles e e Filesystems y uso extra do del manual de usuario e gpfs home The home directory is to store the executables own developed sources and personal data e gpfs projects This space is intended to store data that needs to be shared between the users of the same group inputs restarts e gpfs scratch this filesystem is used only for temporal data during the execution of your job Then it should be removed or transferred to a permanent filesystem e H2. CAUSA Las llamadas a Fortran compiladas con los compiladores de IBM no tienen el underscore final t pico de G77 SOLUCION Recompilar con la opci n qextname o redefinir estas llamadas de la forma adecuada WF Dfortran call fortran call 0 29 Consulta C mo puedo saber si mi binario paralelo usa la myrinet para comunicaciones SOLUCION test cpu lt MPICH GM gt Error Need to obtain the job magic number in GMPI MAGIC ldd test cpu time64 so gt home bsc99 bsc993849 TES T GM time64 so 0x0000008000030000 libdl so 2 gt lib64 libdl so 2 0x0000008000050000 libmpich so 1 0 gt opt osshpc mpich gm 64 lib shared libmpich so 1 0 0x0000008000064000 libgm so 0 gt usr lib64 libgm so 0 0x000000800026a000 libothread so 0 gt lib64 tls libpthread so 0 0x00000080002a7000 libm so 6 gt lib64 tls libm so 6 0x00000080002a3000 libc so 6 gt lib64 tls libc so 6 0x000000800035b000 lib64 Id64 so 1 0x0000008000000000 gt nm A test cpu grep i mpi 30 0 Consulta C mo puedo linkar con las librer as PESSL SOLUCION LIBS _IBM L opt ibmcmp xlf 10 1 lib64 R opt ibmcmp xlf 10 1 lib64 L opt ibmcmp xlsmp 1 6 lib64 H opt ibmcmp xIlsmp 1 6 lib64 Ipesslgm Iblacsgm Im lessl IxIf90 r Ixlomp ser Ixlfmath Impichfarg ALL example example example1 o MPIF77 example1 o LIBS o example example1 o example1 f MPIF77 FFLA
3. e Problemas con la creaci n de gran numero de ficheros en el mismo directorio e Problemas con operaciones masivas con bloques de tamano reducido e A ser posible usar el disco local scratch e GPFS Como mejorar el I O de un proceso de usuario Disco Local e Al ser un disco dedicado para cada nodo aumenta la eficiencia en trabajos con I O masivo a nivel local Por lo tanto es recomendable usarlo siempre que los ficheros sean temporales y no se necesiten como resultado del trabajo e Hay que tener en cuenta que actualmente no hay un proceso de limpiado del filesystem despues de acabar los jobs Esto dificulta su uso a nivel de usuario 0 GPFS Como mejorar el I O de un proceso de usuario gt Procesos dedicados a I O e Para ciertos programas MPI cuando la escalabilidad se ve muy afectada por el I O es posible dedicar ciertos procesos nicamente para las tareas de I O mejorando de forma substancial el rendimiento y escalabilidad 0 HSM Disponible en los login5 login6 login y loging No esta montado en todos los nodos de la m quina Los procesos ejecutados en el sistema de colas no pueden acceder a sus datos Debido a que ciertas operaciones de I O deben acceder a cintas para recuperar los datos y este proceso es costoso se han creado ciertos comandos para facilitar el proceso e hcp hmv htar oe recomienda tener ficheros de gran tamano para mejorar la eficiencia al
4. mas de 512 cpus e Su sistema de prioridades y fair sharing es m s limitado que el proporcionado por MOAB 0 SLURM MOAB e SLURM desarrollado por Lawrence Livermore National Laboratory http www lInl gov linux slurm e Es Open Source y esta especialmente disenado para clusters Linux de cualquier tamano e SLURM es capaz de controlar el paralelismo a nivel de aplicaci n srun e MOAB aplicaci n que gestiona el cluster a nivel de prioridades monitorizaci n reservas fair sharing etc Esta desarrollada por la empresa Cluster Resources 0 Limitaciones a nivel de usuario para el lanzamiento de trabajos a colas e Minimo tiempo por trabajo 10 min excepto jobs de debug e M ximo numero de trabajos 100 por usuario e Numero m ximo de cpus por trabajo e 1024 loadleveler e 10240 slurm e Maximo tiempo por trabajo e Horas con prioridad gt 2 horas e Horas sin prioridad 24 horas 0 Redes a nivel de usuario e Myrinet e Proporcionada por Myricom e Ancho de banda 2Gb s punto a punto cada nodo dispone de una conexi n myrinet e Latencia minima 3 5 us e Solo para aplicaciones MPI e Gigabit e Ancho de banda 1Gb s por Blade Center 14 blades e Solo para conexiones SSH y GPFS 20 0 BLADE JS21 e Procesador PPC970 MP e 4 procesadores por blade 2 dual core chips e 2 3 Ghz e 4 Flop por ciclo 9 2 GFlops e Soporta instrucci
5. matter Interest in spin glasses also extends outside of condensed matter physics because there has been a fruitful exchange of ideas between the spin glass community and researchers in other branches of science such as computer scientists working on combinatorial optimization Simple analytical approximations predict that spin glasses have a finite temperature transition but whether this actually occurs or is an artifact of the approximations used has remained unclear at least for a variety known as Heisenberg spin glasses The advent of a new generation of simulation algorithms finite size scaling analysis and parallel computers have meant that at last we can make a serious attempt to fully understand the phase transition in Heisenberg spin glasses Tide The Marenostrum Numerical Cosmology Project Grand Challenge simulations of structure formation in the Universe Leader Gustavo Yepes Alonso Institution Universidad Autonoma de Madrid Abstract The MareNostrum Numerical Cosmology Project http astra ft uam es marenostrum is an international collaboration with the aim of using the exceptional capabilities of the MareNastrum supercomputer to carry aut grand challenge cosmological simulations of the formation of galaxies clusters of galaxies and the large scale structures in the universe The scientific objective is to understand the physical processes that were involved in the formation and evolution of these objects from initial c
6. 49 0 4 84 Y 0 I i fi E A R i E E nas TA 7 af mee Me f t i MareNostrum Cpu Distribution a 6 k a 4k m 2k Sun 13 Mon 14 Tue 15 Wed 16 Thu 1 Fri 18 Sat 19 E up to 32 cpus M up to 512 cpus W more than 512 cpus a MareNostrum Job Count 1 4 k E g o 0 8 k r 4 L a amp 04k l n 0 2 k 9 ieee E m L L x xh m EN mo 8 0 Sun 13 Mon 14 Tue 15 Weel 16 Thu 17 Fri 18 Sat 19 MareNostrum Que E running Jobs M waiting jobs 40 k 30 k 20 k cpus M3M4II3O 1801 18 k Sun 13 Mon 14 Tue 15 Wed 16 Thu 17 Fri 18 Sat 19 E running jobs M waiting jobs 50 0 RES AREA P gina de acceso http www bsc es RES https www bsc es plantillac php cat id 451 w vinculos CONTACT SITEMAP Barcelona MareNostrum Supercomputing RES center Centro Nacional de Supercomputaci n Home gt MareNostrum gt RES RES RES Red Espa ola de Supercomputaci n Login Mobility programs Sustem Architecture Current Activities Please enter your username le mail and your password El Check here if you forgot your password 51 e Creaci n de nuevas cuentas e Generaci n del formulario para peticiones de actividades de supercomputaci n e Nuevos proyectos e Continuaciones de proyectos anteriores e Consumo e Redacci n de informes t cnicos s
7. LO LO Ft Vf AAA
8. GFS example1 f c clean rm f o example 31 6 ERROR Use of uninitialized value in subroutine entry at opt osshpc mpich gm 64 bin mpirun ch gm pl line 862 Bad arg length for Socket inet ntoa length is 0 should be 4 at opt osshpc mpich gm 64 bin mpirun ch gm pl line 862 CAUSA Se llama MPIRUN sin machinefile o esta est vac a SOLUCION Usar la llamada est ndar en el script de colas mpirun np NPROCS machinefile SLL MACHINE LIST binario 0 32 ERROR oe produce un segmentation fault en la creaci n de una automatic array de Fortran CAUSA El limite de stack es inferior al necesario para el ejecutable en este caso esta limitado a 1GB en los nodos de calculo SOLUCION Aumentar el limite de stack o recompilar la aplicaci n con qsave 0 33 ERROR 13 MPI Abort by user Aborting program 13 Aborting program CAUSA La MPI task con ID 13 ha abortado con un MPI Abort 34 ERROR Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard interactive Permission denied publickey keyboard inter
9. SM Hierarchical Storage Management This is the Hierarchical Storage Management HSM filesystem HSM means that the filesystem moves files currently not used to tape It is intended to archive LARGE files results and restarts e e Eficiencia de GPFS seg n su uso e Al aumentar el numero de ficheros en un directorio la eficiencia de las operaciones contra el filesystem se reduce de forma contundente e Programas con I O masivo en bloques reducidos no funcionan de forma adecuada sobre GPFS e Tamano de los ficheros y block size Filesystem Block size gpfs scratch 1MB gpts projects 1MB gpts home 256KB scratch local 4 KB e GPFS Como mejorar el I O de un proceso de usuario e Problemas con la creaci n de gran numero de ficheros en el mismo directorio 6 2 files x 10 MB x 50 processes 1 GB FLAT STRUCTURE Files created by Files created by process 2 process 50 File of 10 MB 6 2 files x 10MB x 50 processes 1 GB TREE STRUCTURE File of 10 MB Files created by process 4 Contes rarosa ego Copt eenestaci n GPFS e Files creation with a directory structure 50 CPUS TREE MODE 100 Files of 10485760 bytes written in 8926 seconds Agregated BW 132 854 MBps FLAT MODE 100 Files of 10485760 bytes written in 45 3628 seconds Agregated BW 23 1153 MBps 0 GPFS Como mejorar el I O de un proceso de usuario
10. Tura gt A i P o z i Lj 4 i LJ z rar mea 124 NO BN e Y a it ES i i e Como hacer debugging de una aplicaci n en las m quinas de la RES e Recompilar el c digo con la opci n g para poder proporcionar informaci n sobre la l nea exacta del programa donde se esta produciendo el problema e Como los usuarios no tiene acceso directo a los nodos de computaci n hay que proporcionarles algun script para que puedan debugar sus aplicaciones de forma remota 40 0 e Script para generar un core Util si sabemos con certeza la task id que esta provocando el problema esto es posible si despu s de varias ejecuciones el programa siempre falla en el mismo punto y el signal siempre proviene del mismo proceso gt cat core sh bin bash EXE if GMPI ID 8 then ulimit c 1000000 EXE else EXE 0 41 WE jas b t Ff i M rli ub YN e Script para debugar en colas con strace Evita el uso de GDB sirve para saber exactamente que tipo de llamadas a sistemas est n llev ndose a cabo en cada punto del proceso cat strace sh Zlbin bash EXE if 5GMPI ID 0 J then strace o file EXE strace64 o file EXE else EXE fi 0 42 e Script para debugar en colas con gdb oirve para ejecutar gdb en modo batch de esta forma puede enviarse el job a colas sin necesidad de una sesi n interactiva cat s
11. active CAUSA El SSH entre nodos ha fallado esto solo pasa ejecutando con MPIRUN LoadLeveler en SLURM todo este proceso es llevado a cabo por srun Hay diversas causas que pueden provocar este problema algunas de ellas son e Permisos del directorio ssh o HOME e Claves SSH para acceder sin password entre nodos e Problemas con GPFS en alg n nodo involucrado en al ejecuci n 0 35 ERROR El job acaba con un mensaje de error parecido al siguiente LoadLeveler Killed by signal 15 Slurm srun Force Terminated job CAUSA El trabajo ha superado el wall clock limit SOLUCI N Aumentar el wall clock limit del trabajo modificando el par metro dentro del script de colas 36 0 ERROR s32c4b09 gigabit s32c4b09 gigabit ppco4 usr local man usr share man usr X1 1R6 man opt gnome share man news no CAUSA Es un bug con tcsh csh y loadleveler SOLUCI N Modificar el script para que use bin bash 37 0 Consulta Como puedo lanzar un trabajo MPI OpenMP en la m quina Ejemplo 10 procesos MPI x 2 OMP 20 cpus en total SOLUCION SLURM total_ tasks 10 cpus per task 2 SOLUCION LoadLeveler total_ tasks 10 blocking 2 38 6 ERROR gt Signal 11 segmentation fault CAUSA El proceso hace un acceso a memoria invalido SOLUCION Ayudar al usuario a debugar su aplicaci n 39 6 y E d
12. hitecture t Available Software Current Activities Astronomy Space and Earth Sciences Biornedicine and Life Sciences Physics and Engineering Chemistry and Material Science Astronomy Space and Earth Sciences Tite Assimilation of High Resolution Precipitation Estimates in an Ensemble of Numerical Models Leader FRANCISCO J TAPIADOR Institution UNIVERSIDAD DE CASTILLA LA MANCHA en Toledo Abstract The aim of this project is to evaluate the performance of a standard weather models used for numerical weather prediction HWP when three dimensional high resolution satellite derived rainfall estimates are assimilated Our working hypothesis is that a continuous assimilation of the satellite rainfall estimates will improve the forecasts af extreme events This activity is supported by the CICYT project ASPRES Asimilaci n 4 D de estimaciones de precipitaci n en un modelo num rico para la mejorar de la predicci n de extremas hidrormeteorol gicos en Espana Tite Heisenberg Spin Glasses Large Lattices at Law Temperatures Leader Victor Martin Mayor Institution Universidad Complutense de Madrid Abstract Spin glasses are disordered magnetic alloys with very unusual behaviour Interest in spin glasses goes far beyond just this class of materials however because they provide a convenient model system fram which to derive a unified theory of the glassy state glass is one of the most common yet mysterious states of condensed
13. obre el uso de la maquina e Espacio para informacion de marketing e Acceso a la encuesta de satisfaccion de usuarios 52 0 e Acceso usuario est ndar e Username e mail e Password enviado por e mail al marcar la casilla m Check here if you forgot your password 93 6 y i ye DONE SS gm Y ee M Dr P mna Y htEp www bsc es ssl appsiresImenu php apd 1 Y Welcome to the RES Red Espanola de Supercomputaci n Resources Area Next Period Applications 2008 1 2008 02 01 2008 05 31 he deadline for next period applications is 2007 1211 midnight CET New Application ou have no applications far next period Current Period Applications and Activities 2007 3 2007 10 01 2008 01 31 AAAA 3 2007 MEW TEST Testing the system 2 This is not an application Technical Information View Reports Add Report View CPU usage Manage Users Mobility Programs View Application Create continuation Application for Next Period Create a New Application far Next Period by copying this ane AAAA 2007 3test Testing the system This is not an application Technical Information View Reports Add Report View CPU usage Manage Users Mobility Programs View Application Create continuation Application for Next Period Create a New Application for Next Period by copying this ane Past Periods Applications and Activities ou have no activities in previous periods j 54 SA
14. of kprof e Xprofiler e Paraver BSC CNS Debugging e DDI parallel debugger e GDB Treads I 25 MES MP NT i Fatt rail Mi mim n alin i ANA Tn CRU e Actualmente el BSC dispone de una m quina de memoria compartida que puede ser til para que algunos usuarios puedan hacer el pre proceso o post proceso de los datos generados en MN e Caracter sticas e SGI Altix 4700 e Peak Performance of 819 2 GFlops e 64 Itanium2 dual core processor at 1 6 GHz e 512 GB of main memory 26 Descripci n de las Incidencias o errores t picos que pueden aparecerle a un usuario de la RES en este caso hemos ordenado los problemas segun estas 4 categor as Compiladores MPICH GM oistema de colas Otros 0 2f ERROR gt mpif77 o speed fftw mpi speed fftw mpi o mpiwrap o L gpfs apps FF I W 3Z lib Irfftw Ifftw Irfftw mpi Ifftw mpi ld skipping incompatible gpfs apps FF I W SZ lib librfftw a when searching for Irfftw Id cannot find Irfftw CAUSA oe estan intentando linkar objetos con 32 y 64 bits SOLUCION Recompilar todos los objetos con el mismo formato q32 q64 6 28 ERROR gt mpit77 o speed fftw mpi speed fftw mpi o mpiwrap o L gpfs apps FF I W SZ lib Irfftw Ifftw Irfftw mpi Ifftw mpi scratch tmp ccX TVT4 J o text 0x6c In function MAIN _ undefined reference to rfftw3d f77 create plan
15. omputaci n machine Sofware Name Description license Available versions DL POLY hp cat id2472 CONTACT QUICK LINKS DL POLY is general purpose serial and parallel molecular dynamics simulation package originally developed at Daresbury Laboratory by Ww Smith and T R Forester under the auspices of the Engineering and Physical Sciences Research Council EPSRC far the EPSRC s Collaborative Computational Project for the computer Simulation af Condensed Phases COPS and the Molecular Simulation Group MSG at Daresbury Laboratory The package is the property of the Central Laboratory of the Research Councils Restricted Access under user license alo LAPACK ilu br Mx NETLDF OMNIORE PARAWIEW PERL PORT SLEPC SWIG VALGRIND LIBTOOL MPICH li NAMD N Netpbm ONLA 3 PARMETIS 48 LP_SOLVE P NETCDF PARMS PHYLOBATES PYTHON SCALAPACK SPARSEKIT TEL WIS5D METIS MrBayes j NCVIEW jA OCTAVE l N SIESTA SPRNG UDUNITS VISIT T 3 un j e Disponible en la pagina web e Listado de los proyectos que se est n ejecutando actualmente en los diferentes sites de la RES http www bsc es plantillaA php cat idz375 e Listado de todas las aplicaciones disponibles en la RES http www bsc es plantillaC php cat_id 472 e Graficas de uso del sistema http www bsc es plantillaA php cat_id 5
16. onditions that are compatible with the early epochs of the Universe derived from the observations of the Cosmic Microwave Background radiation The MareNostrum Galaxy Formation Simulation is ane of the largest SPH simulation of galaxy formation performed to date which uses more than 2 billion particles to represent the different components of the matter in the universe dark matter gas and stars The evolution of the self gravitating fluids is done by means of the H a parallel MPI cade GADGET a This simulation is also done with a different a AL code based m ae LO DE OS ERES AAA AA D d rai e A A et ee E ELE DB D A a O Ce eee Oe Oe eae 7I ne m ii 46 e Disponible en la pagina web e Listado de los proyectos que se est n ejecutando actualmente en los diferentes sites de la RES http www bsc es plantillaA php cat_id 375 e Listado de todas las aplicaciones disponibles en la RES http www bsc es plantillaC php cat_id 472 0 47 E gt F 9 Q leon Comenzar con Firefox amp ltimas noticias Centro Nacional de supercomputaci n fvw bsc es plantillaC Mlaremostrum Available Software Barcelona Supercomputing BSC Center HERES Mobility programs k Services System Architecture D Available Software k Current Activities Software available in MareNostrum Home gt MareNostrum 7 Ava You may request that any of this software may be installed in any RES Red Espa ola de Superc
17. ones ALTIVEC VMX e Solo en precisi n simple e Memoria e 8 GB por nodo e 600 MB usados por sistema e 2 GB para aplicaciones de usuario 1 8 GB por proceso 21 BLADE JS20 e Procesador PPC970 FX e 2 procesadores por blade e 2 2 Ghz e 4 Flop por ciclo 4 8 GFlops e soporta instrucciones ALTIVEC VMX e Solo precisi n simple e Memoria e 4 GB por nodo e 800 MB usados por S O y GPFS e 3 2 GB disponibles para aplicaciones de usuario 1 6 GB por proceso 22 0 e Software e compiladores e GCC G7 v3 3 3 e GFORTRAN v 4 0 1 v 4 1 2 gpfs apps e XLC XLF IBM compilers recomendados e MPICH GM e Implementaci n de MPI sobre Myrinet mediante el protocolo GM e mpicc mpif 7 7 mpif90 e MPICH MX e Implementaci n de MPI sobre Myrinet mediante el nuevo protocolo MX por ahora no esta en producci n en ningun site de la RES 0 e Algunos puntos importantes para hacer porting de aplicaciones e Compilar el c digo con los compiladores de IBM e Flags qtune ppc970 qarch ppc970 qcache auto qstrict O3 e OMP support qsmp omp e Utilizar las librer as mas optimizadas para nuestra arquitectura e FFTW con ALTIVEC e GOTO BLAS e ESSL e MASS e Myrinet MPI library 24 0 Performance study IHPCT IBM High Performance Computing Toolkit Interposing PAPI counters to MPI calls MPIP PERFMINER PERDMF Tau Paraver BSC CNS Profiling e GNU profiler gpr
18. recuperar los datos desde cinta 0 e Seguridad y transferencia e Debido a medidas de seguridad MN no permite conexiones salientes desde los logins de nodos esto hace que todas las transferencias deban iniciarse siempre desde m quinas externas e Sistemas de transferencias disponibles en los sites de la RES e SSH e anto los datos como los passwords van encriptados e El proceso de encriptaci n consume CPU y limita de forma considerable el ancho de banda e FIPS e Solo el password se encripta los datos van en claro e Al no encriptar los datos el consumo de recursos es m nimo esto tambi n aumenta el ancho de banda total en un 20 respecto SSH e Las conexiones FTPS deben hacerse contra la m quina mn1 ftps bsc es ver manual de usuarios secci n 4 2 e A gt di RI D fe m E y 1 E n En j Af a P i i iiw n z p ALS qa E v n A 2 e La a Wu e M E i LN OD A po E LR o Y Doe IR M e Actualmente tenemos dos sistemas de colas disponibles en los sites de la RES e LoadLeveler Madrid Zaragoza e Slurm MOAB Malaga LaPalma BSC Cantabria Valencia Queuing of the whole application LoadLeveler e Sistema de colas proporcionado por IBM e http www 03 ibm com systems clusters software loadleveler htm e Problemas e No gestiona el paralelismo MPI de los trabajos paralelos esto provoca problemas en la gesti n de recursos con ejecuciones de
19. trace sh bin bash EXE if 5GMPI ID 0 J then gdb batch args EXE Zgdb64 batch args EXE else EXE fi 43 0 Rool Workers calc c Prije t Files Foran Mod i el Thread ob Inc M li ant age cnar argqvi j 4 n Pip 26358 ig rcject Files T int n2rac umyRauk a c Source Tee 5 int i E Stack apts double partialSun totalSum en man jargr z argvel e MPT Statue statis Variables E readorly a i L la Current inais SS Header Files HES B Source Files MPI Iait amp argc argy a able Marie t panialsum 2 71676 MFI Comm rank MP COMM WORLD amp rnykRaaik MPI Cunu size MP COMM WORLD amp uP u2 lsleap J3O0 cnar p NULL p 0 tr if arg2 2 4 printf Error Accuracy de requiredn j 29 lt a 3l D 7 nar ialRum 0 0 2n this lina Workers 3 0 t Tepe none selected All 0 0 2 0 3 0 stdout etderr otdin to current group Braakpo nts Watcaes Paralel Stack Visw Snot T m RENE i Expressicn partial zum 2 1E157 73 ET pl_calc c e Disponible en la pagina web e Listado de los proyectos que se est n ejecutando actualmente en los diferentes sites de la RES http www bsc es plantillaA php cat_id 375 6 45 Home gt MareNostrum gt Current Activities gt Astronomy Space and Earth Sciences t RES Mobility programs t Services t System Arc
Download Pdf Manuals
Related Search