Cluster Rocks SOL Manual de Usuario
Contents
1. cluster fork n c0 0 c0 1 grep A 1 MemTotal proc meminfo c0 0 MemTotal 2053924 kB MemF ree 1419164 kB c0 1 MemTotal 1536816 kB MemF ree 628496 kB En el ejemplo anterior se ha consultado la memoria total de los nodos c0 0 y c0 1 4 3 HD Finalmente podemos consultar los par metros est ticos del dsco n2 de particiones directorio de montaje del sistema de archivos tama o de la patici n y los par metros din micos como el espacio disponible en la partici n Para consultar el n mero de particiones su punto de montaje y el tama o total de esas particiones es posible usar el comando df df h japicontsol df h Filesystem Size Used Avail Use Mounted on dev sdal 7 76 6 86 597M 93 none 751M 0 751M 0 dev shm dev sda5 446G 4 6G 419G 2 state partitionl dev sda2 3 9G 464M 3 2G 13 var tmp s 363M 2 6M 361M 1 var lib ganglia rrds state partition1 home condor 446G 4 6G 419G 2 state partition1 home javiercm 446G 4 6G 419G state partition1 home domingo A home condor N o home javiercm 446G 4 6G 419G 2 home domingo state partition1 home jgpicon 446G 4 6G 419G 2 home jgpicon La opci n h muestra los datos en un formato que se lee m s f cilmente k GB Solo las particiones del disco dev sda son de inter s De ellas vale la pena resaltar la partici n state partition1 del frontend que contiene los directorios home de los usuarios El tama o de esta2. para ello escribiremos cluster fork uptime japicontsol cluster fork uptime compute 0 0 22 56 43 up 18 days 10 19 1 user load average 0 00 0 00 0 00 compute 0 1 22 56 44 up 19 days TEDS O users load average 0 00 0 00 0 00 compute 0 2 22 56 45 up 19 days 10 22 O users load average 0 00 0 00 0 00 compute 0 3 22 56 45up 18 days 10 21 O users load average 0 00 0 00 0 00 4 2 RAM En este caso tambi n podemos determinar dos tipos de par metros est ticos tama o total de memoria RAM tama o de la memoria de swap y din micos de RAM utilizado de memoria swap utilizada Los par metros est ticos de la memoria RAM se pueden consultar directamente en el archivo proc meminfo MemTotal 1536812 kB MenmF ree 9152 kB Buffers 91396 kB Cached 1090444 kB SwapCached 0 kB Active 412364 kB Inactive 1037364 kB HighTotal 0 kB HighFree 0 kB LowTotal 1536812 kB LowFree 9152 kB SwapTotal 1020116 kB SwapFree 1019956 kB Dirty 12 kB Writeback 0 kB Mapped 300940 kB Slab 50316 kB CommitLimit 1788520 kB Committed_AS 800348 kB PageTables 7456 kB VmallocTotal 536870911 kB VmallocUsed 263484 kB VmallocChunk 536607103 kB HugePages_Total 0 HugePages_Free 0 Hugepagesize 2048 kB Es posible consultar estos mismos par metros de otros nodos mediante cluster fork cluster fork n c0 0 c0 1 grep A 1 MemTotal proc meminfo jgpicontsol
3. Figura 1 Arquitectura de un cluster Rocks El acceso al frontend se hace solicitando una terminal remota a trav s del protocolo SSH La mayor a de las m quinas Linux vienen con un cliente ssh que se invoca directamente desde el s mbolo del sistema con el comando ssh ssh usuarioflsol inf um es Desde Windows tambi n es posible abrir una terminal remota Uno de los clientes m s populares es putty que puede encontrarse para todas las versiones de Windows 95 98 ME NT 2000 XP y Vista en la siguiente p gina http www chiark greenend org uk satatham putty download html La configuraci n del cliente es bastante sencilla a continuaci n se muestra una captura del mismo a a R PuTTY Configuratio Category 5 Session Basic options for your PuTTY session Logging Specify the destination you want to connect to Terminal Host Name or IP address Port Keyboard Bell sol inf um es 22 Features Connection type 3 Window O Raw Telnet gt Rlogin 0 SSH Serial ippo Load save or delete a stored session Translation Saved Sessions Selection Colours Default Settings Connection s Load Daia roxy Telnet Delete Rlogin H SSH Serial Close window on exit Always Never 9 Only on clean exit Una vez conectados es recomendable cambiar inmediatamente la contrase a Para cambiarla se utiliza el comando passwd passwd Desde el frontend es posibl
4. partici n define la capacidad total para almacenamiento de informaci n de los usuarios De nuevo es posible consultar el tama o total de las particiones de los nodos de c mputo del cluster usando cluster fork cluster fork n c0 0 c0 1 df h japicontsol cluster fork n c0 0 cO0 1 df p c0 0 Filesystem Size Used Avail Use Mounted on dev sdal 7 76 4 7G 2 76 64 none 1003M 0 1003M 0 dev shm dev sda5 98G 92M 93G 1 state partitionl dev sda2 3 96 96M 3 66 3 var sol local export home domingo 446G 4 6G 419G 2 home domingo sol local export home jgpicon 446G 4 6G 419G 2 home jgpicon c0 1 Filesystem Size Used Avail Use Mounted on dev sdal 7 76 4 7G 2 76 64 none 751M 0 751M dev shm dev sda5 986 92M 936 1 state partitionl dev sda2 3 9G 88M 3 6G 3 var sol local export home domingo 446G 4 6G 419G 2 home domingo sol local export home jgpicon 446G 4 6G 419G 2 home jgpicon 5 Monitorizaci n de procesos Una instrucci n b sica para la monitorizaci n de procesos en el cluster la constituye el comando ps ps caux M uestra todos los procesos en ejecuci n de una m quina La lista de procesos devueltos por este comando puede ser muy grande y es necesario filtrar usando determinados criterios Si por ejemplo se quisieran monitorizar los procesos de un usuario concreto podr a usarse ps caux grep usuario jgpicon sol ps caux grep j
5. Cluster Rocks SOL Manual de Usuario Cap tulo 1 Introducci n a la plataforma ndice 0 Introducci n 1 Acceso al frontend y alos nodos del cluster 2 Sistemas de archivos en el cluster 3 El comando cluster fork 4 Monitorizaci n de recursos 5 Monitorizaci n de procesos 6 Resumen de comandos 0 Introducci n Con este manual se pretende introducir al usuario en la utilzaci n de algunas de las herramientas que cuenta la plataforma tanto para la ejecuci n de c lculo cient fico como para tareas de monitorizaci n y control El usuario debe estar familiarizado con el uso del sistema operativo Linux aunque no se requieren conocimientos avanzados El manual est estructurado en una serie de cap tulos en los que se abordan distintos aspectos relacionados con el uso del cluster Ante todo se pretende darle una orientaci n netamente pr ctica obviando aspectos que puedan entorpecer el manejo por parte del usuario 1 Acceso al frontend y a los nodos del cluster Rocks es una colecci n de software de c digo abierto para crear un cluster sobre Linux Todo cluster linux configurado con Rocks tiene dos tipos de m quinas el frontend donde se centraliza la informaci n sobre la plataforma se crean las cuentas de usuario y se ejecutan los servicios principales del cluster y los nodos de c mputo que son las m quinas en las que se realizan los trabajos etht Public Ethernet eth0 eno ethO ethO
6. abajos paralelos de comandos UNIX estandar Por paralelos nos referimos al mismo comando ejecutandose en varios nodos del cluster Esto podr a ser til para mover ficheros ejecutar peque os test y realizar varias tareas administrativas Rocks proporciona una comando muy til para tales prop sitos el llamado cluster fork Por ejemplo para hacer un listado de todos los procesos en los nodos del cluster escribir amos lo siguiente cluster fork ps japicontsol cluster fork ps compute 0 0 PAID TEY TIME CMD 28184 00 00 00 sshd 28185 00 00 00 ps compute 0 1 PID TTY TIME CMD 23385 00 00 00 sshd 23386 00 00 00 ps compute 0 2 PID TTY TIME CMD 22647 00 00 00 sshd 22648 00 00 00 ps compute 0 3 PID TTY TIME CMD 30589 00 00 00 sshd 30590 00 00 00 ps Otro ejemplo muy til para ver quien est conectado y qu est haciendo ser a el siguiente cluster fork w jgpicontsol cluster fork w cluster fork w compute 0 0 21 57 57 up 18 days 9 20 0 users load average 0 00 0 00 0 00 USER Y FRO LOGINQ IDLE JCPU PCPU WHAT compute 0 1 21 57 57 up 19 days 6 56 0 users load average 0 00 0 00 0 00 USER Y FRO LOGINQ IDLE JCPU PCPU WHAT compute 0 2 21 57 58 up 19 days 9 24 0 users load average 0 00 0 00 0 00 USER Y FRO LOGINQ IDLE JCPU PCPU WHAT compute 0 3 21 57 58 up 18 days ILL O users load
7. average 0 00 0 00 0 00 USER Y FRO LOGINQ IDLE JCPU PCPU WHAT Cuando se ejecuta un comando de la familia cluster es posible seleccionar los nodos sobre los que deber ejecutarse la acci n o el comando seleccionado cluster fork n c0 0 c0 3 w En el ejemplo anterior la opci n n indica que a continuaci n entre comillas vienen especificados los nodos en los que se ejecutar la acci n 4 Monitorizaci n de recursos Existen 3 tipos de recursos que pueden consultarse cuando se quiere usar el cluster CPU RAM y HD 4 1 CPU El uso de la CPU es uno de los par metros m s importantes que pueden monitarizarse Existen dos tipos de parametros par metros est ticos n2 de procesadores velocidad de reloj y par metros din micos carga del procesador Para conocer los par metros est ticos podemos consultar el archivo proc cpuinfo processor 0 vendor_id Genuinelntel cpu family E ulis model AS model name Intel R Xeon TM CPU 3 00GHz stepping t A cpu MHz 2992649 cache size 2048 KB physical id 0 siblings i 2 core id 0 cpu cores 2 fpu yes fpu_exception yes cpuid level 6 wp yes flags fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 cTeLash dts acpi mmx fxsr sse sse2 ss ht tm syscall nx lm pni monitor ds_cpl est cid cx16 xtpr bogomips 2099051 clflush size 64 cache_alignm
8. e acceder a cualquiera de los nodos de c mputo del cluster utilizando ssh Rocks utiliza la convenci n de llamar a los nodos utilizando el prefijo compute x donde x es el n mero de cada nodo Los nodos comienzan a numerarse en O y se encuentran inscritos en el dominio local As los nombres de los nodos de c mputo del cluster ser n compute 0 0 local compute 0 1 compute 0 2 compute 0 3 local Rocks define unos sobrenombres para los nodos del cluster Estos aliases se contruyen con el sufijo c0 y el n mero del cluster Por ejemplo el nodo compute 0 0 local es equivalente c0 0 La lista de todas los nodos del cluster con sus IPs se encuentra en el archivo etc hosts Do NOT Edit generated by dbreport 127 0 0 1 localhost localdomain localhost TOUS DL sol local sol originally frontend 0 0 10 255 255 254 compute 0 0 local compute 0 0 c0 0 ARIAS IDA O compute 0 1 local compute 0 1 c0 1 ASES AS compute 0 2 1local compute 0 2 c0 2 1025352209201 compute 0 3 local compute 0 3 c0 3 155 54 204 142 sol inf um es Para acceder a uno de los nodos del cluster podemos elegir cualquiera de los siguientes comandos ssh compute 0 x local ssh cO0 x Donde x es el n mero del nodo Antes de empezar a trabajar es interesante verificar que los nodos est n operativos Esto se puede realizar usando el comando ping ping c 2 compute 0 x local jgpicontsol 1 ping c 2 compute 0 2 local PING c
9. ent 128 address sizes 36 bits physical 48 bits virtual power management processor Sail vendor_id GenuineIntel cpu family 2 15 model 20 model name En este archivo podemos consultar informaci n como la velocidad de la CPU n de n dleos memoria cache Notar que una m quina que use tecnolog a hyperthreading parecer tener 2 procesadores efectivos aunque realmente solo tenga uno con capacidades para procesamiento paralelo Tambi n es posible consultar estos mismos par metros con el comando cluster fork cluster fork n c0 1 c0 2 grep A 8 processor proc cpuinfo El par metro din mico m s importante se conoce como carga promedio del procesador ladavg La carga promedio del procesador se define como el n mero efectivo de procesos que est n en cola en un per odo de tiempo definido Existen 3 loadavgs y cada uno mide la carga de los ltimos 5 10 y 15 minutos Una de de las formas de consultar este par metro es mediante el comando uptime uptime jgpicontsol uptime 22 27 29 up 19 days 12 56 1 user load average 0 00 0 00 0 00 El primer n mero indica la hora de reloj de la m quina el segundo el tiempo que la m quina lleva encendida el tercer el n mero de usuarios que tienen una terminal abierta en ese momento y los tres ltimos n meros indican la carga de los ltimos 5 10 y 15 minutos Puede ser interesante consultar la carga promedio en todos los nodos del cluster
10. gpicon jgpicon 13580 0 0 0 1 38292 2000 S Oct29 0 00 sshd jgpicon 13581 0 0 0 1 57208 1704 pts 5 SS 0ct29 0 00 bash jgpicon 13786 0 0 0 0 50280 880 pts 5 T Oct29 0 00 man jgpicon 13789 0 0 0 0 53816 1092 pts 5 T Oct29 0 00 sh jgpicon 13790 0 0 0 0 53816 468 pts 5 T Oct29 0 00 sh jgpicon 13795 0 0 0 0 51464 676 pts 5 T Oct 29 0 00 less Jjgpicon 14263 0 0 0 1 38148 1896 S Oct29 0 00 sshd jgpicon 14264 0 0 0 0 55028 1528 pts 6 Ss Oct29 0 00 bash jgpicon 14446 0 0 0 1 18640 2188 pts 6 S OGt29 0 00 ssh jgpicon 14451 0 0 0 1 37104 1796 S Oct29 0 00 sshd jgpicon 14452 0 0 0 0 55028 1528 pts 7 SS Oct29 0 00 bash Jjgpicon 14970 0 0 0 1 38292 1904 S Oct29 0 00 sshd jgpicon 14971 0 0 0 0 55028 1536 pts 8 Ss Oct 29 0 00 bash La informaci n que devuelve este comando es la siguiente el nombre de usuario el PID el de CPU utilizad el de la memoria utilizada la cantidad de memoria virtual usada la cantidad de memoria RAM utilizada el estado del proceso la fecha de inicio la cantidad de tiempo que ha estado en ejecuci n y el comando abreviado asociado al proceso Puede que mucha de la informaci n mostrada por la instrucci n anterior no nos sea de utilidad y por tanto no queramos mostrarla Para ello es posible indicarle qu informaci n mostrar mediante el uso de la opci n o japicontsol ps a o pid user cmd grep Jgpicon El ejemplo anterior nos muestra solamente el pid el nombre de usuario y el nomb
11. icados ME0 E n cluster fork n 8 processor proc cpuinfo gr p A Determina las propiedades est ticas de la CPU de los nodos indicados uptime Determina las propiedades din micas de la CPU cluster fork uptime Igual que el anterior comando pero para todos los nodos cluster fork n c0 0 c0 1 1 MemTotal proc meminfo grep A Consulta las propiedades est ticas de la RAM en el cluster d h Determina las propiedades de los sistemas de archivos montados en linux cluster fork n c0 0 c0 1 df h Determina las propiedades de los sistemas de archivos montados en el cluster ps caux M uestra todos los procesos de la maquina ps caux grep usuario M uestra todos los procesos de la m quina pertenecientes a usuario SPS E SA Muestra todos los procesos en ejecuci n cluster fork n c0 0 c0 1 c0 2 c0 Muestra todos los procesos en ejecuci n en A E los nodos c0 0 c0 3 cluster fork n c0 0 c0 1 ps r A Muestra los procesos en ejecuci n en los o user cpu etime nodos co 0 y co 1 mostrando el usuario el de CPU utilizado y el tiempo que lleva en ejecuci n
12. ompute 0 2 local 10 255 255 252 56 84 bytes of data 64 bytes from compute 0 2 local 10 255 255 252 icmp_seg 0 tt1 64 time 0 268 ms 64 bytes from compute 0 2 local 10 255 255 252 icmp_seq 1 tt1 64 time 0 229 ms compute 0 2 local ping statistics 2 packets transmitted 2 received 0 packet loss time 1000ms rtt min avg max mdev 0 229 0 248 0 268 0 025 ms pipe 2 Este comando env a un paquete de internet y espera que le sea devuelto Adem s calcula el timempo de ida y vuelta del paquete 2 Sistemas de archivos en el cluster Los archivos que usa el usuario son almacenados autom ticamente en su directorio casa El directorio casa es normalmente home usuario Rocks usa dos mecanismos b sicos para garantizar que el usuario tenga acceso directo a sus archivos a n si se encuentra conectado a uno de los nodos de c mputo De un lado est el NFS Network filesystem que monta el sistema de archivos de la cuenta del usuario a trav s de la red en el nodo al que se conecta En el sistema NFS los cambios que se hacen sobre el sistema de archivos se actualizan autom ticamente en el disco duro del frontend donde residen realmente El otro es el servicio autofs que garantiza que el montado de los sistemas de archivos sea autom tico y ocurra en el momento de acceso del usuario Autofs tambi n desmonta el sistema de archivos cuando el usuario deja de utilizarlo 3 El comando Cluster fork A menudo queremos ejecutar tr
13. re completo del comando de los procesos que ejecuta jgpicon Finalmente otro instrucci n de inter s es ps r A Que muestra los procesos en ejecuci n de una m quina Para mostrar todos los procesos en ejecuci n en algunos nodos del cluster se usar a la instrucci n cluster fork cluster fork n c0 0 c0 1 c0 2 c0 37 ps r A Esta instrucci n podemos acompa arla con opciones como las vistas unas l neas atr s con el fin de filtrar la informaci n que se muestra en pantalla Por ejemplo si solamente queremos mostrar el usuario y el tiempo que lleva ejecut ndose el proceso escribir amos cluster fork n c0 0 cO0 1 ps r A o user cpu etime cluster fork n c0 0 c0 1 ps r A o user cpu etime c0 0 USER CPU ELAPSED jgpicon 2 0 00 01 0 1 USER CPU ELAPSED Jjgpicon DYO 00 01 6 Resumen de comandos Comandos Descripci n ssh usuarioflsol inf um es Conexi n al cluster con el cliente ssh passwd Cambia la contrase a ssh compute 0 x local ssh c0 x Conexi n por ssh al nodo x del cluster ping c 2 compute 0 x local Verificaci n de la conectividad con un nodo del cluster cluster fork ps Listado de procesos del cluster Wi 11 cluster fork w Muestra informaci n de qui n est conectado cluster fork n c0 0 c0 3 w Igual que el anterior commando pero restringido a los nodos ind
Download Pdf Manuals
Related Search