Instalacin de un Super-Servidor de procesamiento paralelo basado
Contents
1. P gina 23 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar E UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 4 3 Para ejecutar el programa Pi en forma local solo basta con tipear rootO 192 168 1 31 4 mpirun np 2 Pi el n mero 2 denota la cantidad de procesos que se utilizar n cuando se ejecute el programa B 51 Root OB Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 32 mpicc o Pi Pi c root 192 168 1 31 mpirun np 2 Pi number of intervals 1 580762993461627 1 560762993461627 3 141525986923254 root 192 168 1 31 P gina 24 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 4 4 Para realizar la ejecuci n del programa Pi en nuestro superservidor ahora deberemos realizar una copia del programa Pi en cada directorio compartido de nuestro NFS de cada nodo Como paso posterior ejecutaremos desde el servidor primario nuevamente nuestro programa tecleando root 192 168 1 31 mpirun np 12 Pi Vemos que se ha aumentado la cantidad de procesos slots esto es debido a que ahora estaremos realizando la ejecuci n con mayor cantidad de procesadores 12 en total al Root aaa2. rooto192 168 1 31 apt get install libopenmpi dev libopenmpil openmpi bin openmpi common openmpi doc a Root SEE Archivo Editar Wer Terminal Solapas Ayuda rootO192 168 1 31 tapt get install libopenmpi dev libopenmpil openmpi bin openmp i common openmpi doc Leyendo lista de paquetes Hecho Creando rbol de dependencias Leyendo la informaci n de estado Hecho openmpi doc ya est en su versi n m s reciente Se instalar n los siguientes paquetes extras libibverbsl Se instalar n los siguientes paquetes NUEVOS libibverbs1 libopenmpi dev libopenmpil openmpi bin openmpi common O actualizados 5 se instalar n 0 para eliminar y 5 no actualizados Necesito descargar 1708kB de archivos Se utilizar n 6517kB de espacio de disco adicional despu s de esta operaci n Desea continuar S n S Des 1 http ftp de debian org lenny main libibverbs1 1 1 2 1 33 9kB Des 2 http ftp de debian org lenny main libopenmpil 1 2 7 rc2 2 1061kB Des 3 http ftp de debian org lenny main openmpi common 1 2 7 rc2 2 50 5kB Des 4 http ftp de debian org lenny main libopenmpi dev 1 2 7 rc2 2 445kB Des 5 http ftp de debian org lenny main openmpi bin 1 2 7 rc2 2 118kB Descargados 1708kB en 28s 61 0kB 5 Seleccionando el paquete libibverbs1 previamente no seleccionado Leyendo la base de datos 441837 ficheros y directorios instalados actualmente Desempaquetando libibverbsl1 de libibverbs1 1 1 2 1 i386 deb Seleccio
3. 01 18 4 20 518m 514m 3916 pi 28214 01 32 4 20 518m 514m 3932 pi 28214 01 34 3 20 518m 514m 3928 pi 28214 4 518m 514m 3952 pi 28214 4 518m 514m 3928 pi 28214 4 518m 514m 3912 pi 28214 4 518m 514m 3920 pi 28214 4 518m 514m 3920 pi ofoHfo Bolo Ho Bo Ho Bo Ho Ho Ho Ho Ho Ho Ho Ho ofofoHoNo Ho HoHo Ho Ho Ho Ho Ho Ho Bo Ho Ho PL MN MN MN MN MN NJ MN MI MN NI MN MN MN MN N ooo Nooo Ho Ho Ho Ho Ho Ho Ho Ho Ho Ho DIDI Jl Jl llo Jl Jl Jl Jo Jl Jl Jl Jl llo Jl gt o oo Ho HoBo Ho Ho Ho Ho Ho Ho Ho Bo Ho Bo Ho P gina 26 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios Fuentes consultadas y sitios de inter s http www debian or http www open mpi or http www ps3cluster umassd edu index html http www philchen com 2007 07 28 how to enable passwordless authentication with ssh 6 Autores Alumnos de la Universidad Tecnol gica Nacional Facultad Regional Haedo Laboratorio de Simulaci n y Mec nica Computacional v Andr s Trapanotto y Antonio Sebasti n Rodr guez Capello 7 Agradecimientos Profesores de la Universidad Tecnol gica Nacional Facultad Regional Haedo Laboratorio de Simulaci n y Mec nica Computacional v Ing Carlos Carlassare v Ing Migu
4. Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 31 mpirun np 12 Pi number of intervals 0 313192435423665 0 309570899760436 0 266261746100482 0 240238820018239 0 257014850811027 0 260178999022806 0 263263552108575 0 236739883157596 0 243698753265200 fdo ss ss 0 250475054358792 0 247113069262194 0 253777923634241 3 141525986923253 2 168 1 31 P gina 25 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 4 5 Para visualizar la cantidad de procesos utilizaremos el comando TOP Aqu veremos los datos de cada proceso paralelo ejecutado E Root aula Archivo Editar Ver Terminal Solapas Ayuda Root ye Root x top 22 29 30 up 5 21 4 users load average 51 57 24 75 9 70 227 tot 52 175 epi O si 9 57 0 43 0 0 0 0 0 0 0 0 2 0 0 0 0 51 2067112k tot 1470548k 596564k 39404k 2658716k to 764k 2657952k 519956k PID PPID TIME CPU MEM PR NI S VIRT SWAP RES UID COMMAND PU 28214 01 08 5 T E 8 518m 514m 3936 0 pi 28214 00 98 3 20 518m 514m 3932 pi 28214 01 00 3 20 518m 514m 3932 pi 28214 00 98 3 20 518m 514m 3908 pi 28214 01 02 4 20 518m 514m 3920 pi 28214 01 10 4 20 518m 514m 3920 pi 28214 01 32 4 20 518m 514m 3920 pi 28214 01 30 4 20 518m 514m 3912 pi 28214 01 28 4 20 518m 514m 3920 pi 28214
5. 192 168 2 31 slots 2 192 168 2 32 slots 2 192 168 2 33 slots 2 192 168 2 34 slots 2 192 168 2 35 slots 2 192 168 2 36 slots 2 E Root SoIK Archivo Editar Wer Terminal Solapas Ayuda GNU nano 2 0 7 Fichero openmpi default hostfile Modificado contain hosts if a system administrator wants users to always have the same set of default hosts and is not using a batch scheduler such as SLURM PBS etc If you are primarily interested in running Open MPI on one node you should not simply list localhost in here contrary to prior MPI implementations such as LAM MPI A localhost only node list is created by the RAS component named localhost if no other RAS components were able to find any hosts to run on this behavior can be disabled by excluding the localhost RAS component by specifying the value localhost without the quotes to the ras MCA parameter 168 2 slots 2 168 2 slots 2 168 2 slots 2 168 2 slots 2 168 2 slots 2 168 2 O Me Ver ayuda M8 Guardar Leer Fich i P g Ant fs CortarTxt gia Pos actual MN Salir AN Justificar Buscar VECES W PegarTxt WJ Ortograf a Como dato adicional y a modo de ejemplo mostraremos como deben modificarse los siguientes archivos agregando lo que figura debajo de cada t tulo no entraremos en detalle en cuanto a la explicaci n de cada uno respecta debido a que forman parte de la configuraci n standard de la red del sistema operativo Linux Debian versi
6. cual s lo se quiere que los usuarios copien ficheros con el somando SCP Secure Copy sin proveer acceso al shell puede usarse RSSH para hacerlo P gina 7 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar E UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios Instalaci n del paquete vi ndose algo similar al print screen rooto192 168 1 31 apt get install rssh E Root Archivo Editar Wer Terminal Solapas Ayuda rootO192 168 1 31 apt get install rssh Leyendo lista de paquetes Hecho Creando rbol de dependencias Leyendo la informaci n de estado Hecho Se instalar n los siguientes paquetes NUEVOS rssh O actualizados 1 se instalar n O para eliminar y 0 no actualizados Necesito descargar 49 1kB de archivos Se utilizar n 213kB de espacio de disco adicional despu s de esta operaci n Des 1 http ftp de debian org lenny main rssh 2 3 2 8 49 1kB Descargados 49 1kB en 5s 9810B s Preconfigurando paquetes Seleccionando el paquete rssh previamente no seleccionado Leyendo la base de datos 441819 ficheros y directorios instalados actualmente Desempaquetando rssh de archives rssh 2 3 2 8 i386 deb Procesando disparadores para man db Configurando rssh 2 3 2 8 root 192 168 1 31 2 2 3 Instalaci n del paquete NFS KERNEL SERVER Descripci n del paquete MPI
7. gina 3 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios 4 4 Ejecuci n del programa Pi c en forma multiproceso con MPI RUN 4 5 Visualizaci n de los procesos ejecutados en forma paralela con TOP 5 Fuentes consultadas y sitios de inter s 6 Autores 7 Agradecimientos Esquema de conexi n Servidor Secundario 192 168 1 34 Servidor Secundario 192 168 1 33 ee a r afi y ED Servidor Secundario 192 168 1 35 22 Pz AY Servidor Secundario 192 168 1 36 Servidor Secundario giii paaa A ZE 192 168 1 32 Servidor Principal 192 168 1 31 P gina 4 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios 1 Prerrequisitos de hardware 1 1 Y Prerrequisitos m nimos Una PC con conexi n a internet permanente para poder descargar el Small CD de Debian Lenny http www debian org distrib netinst smallcd Grabadora de CD Un CD en blanco para grabar dicha imagen descargada Realizar la instalaci n de Linux Debian versi n 5 0 Lenny en una partici n adicional de la PC o instalarlo en una PC
8. n 5 0 Lenny Archivo etc resolv conf domain lan frh utn edu ar P gina 16 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios search lan frh utn edu ar frh utn edu ar nameserver 192 168 2 1 nameserver 170 210 17 154 Archivo etc hosts 192 168 2 31 symc01 nn frh utn edu ar symc01 192 168 2 32 symc02 nn frh utn edu ar symc02 192 168 2 33 symc03 nn frh utn edu ar symc03 192 168 2 34 symc04 nn frh utn edu ar symc04 192 168 2 35 symc05 nn frh utn edu ar symc05 192 168 2 36 symc06 nn frh utn edu ar symc06 Archivo etc network interfaces iface eth0 inet static address 192 168 2 31 netmask 255 255 255 0 gateway 192 168 2 1 3 5 Prueba de conexi n y configuraci n desde el servidor primario o P gina 17 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios maestro a los servidores secundarios Ahora deberemos realizar los siguientes pasos en cada servidor secundario en nuestro casos desde el IP 192 168 1 32 al IP 192 168 1 36 v Realizamos una prueba de conexi n v a SSH para ver si funciona la conectividad sin password Passwordless Connection desde el servidor
9. of intervals 1n scanf d n P gina 20 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios MPI_Bcast Gn 1 MPI_INT 0 MPI_COMM_WORLD h 1 double n piece 0 for i me 1 i lt n i nprocs 1 x i 1 h piece piece 4 1 x x 4 1 x h x h 2 h printf d pi 25 15f n me piece P gina 21 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios MPI_Reduce piece amp pi 1 MPI_DOUBLE MP I_SUM 0 MPI_COMM_WORLD p as era if me 0 printf pi 25 15f n pi a a E E E MPI_Finalize return 0 FIN DEL PROGRAMA P gina 22 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar e E UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 4 2 Compilar el programa utilizando el comando mpicc Como resultado se generar un archivo binario ejecutable llamado Pi E Root Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 31 mpicc Pi Pi c
10. AL FACULTAD REGIONAL HAEDO Laboratorios 1 Prerrequisitos de hardware 1 1 Prerrequisitos m nimos 1 2 Prerrequisitos requeridos 2 Instalaci n del software necesario 2 1 Instalaci n del sistema operativo Debian versi n 5 0 Lenny 2 2 Instalaci n de paquetes requeridos en el servidor primario o maestro y en los servidores secundarios 2 2 1 Instalaci n de SSH Secure Shell 2 2 2 Instalaci n de RSSH Restricted Secure Shell 2 2 3 Instalaci n del paquete NFS KERNEL SERVER 2 2 4 Instalaci n de los paquetes LIBOPENMPI DEV LIBOPENMPI1 OPENMPI BIN OPENMPI COMMON y OPENMPI DOC 2 2 5 Instalaci n y desinstalaci n de otros paquetes 2 2 6 Instalaci n de los paquetes en los servidores secundarios 3 Configuraci n de servidores primario o maestro y secundarios 3 1 Verificaci n de directorios y clave p blica en el servidor primario o maestro 3 2 Regeneraci n de archivos de claves p blicas en el servidor primario o maestro 3 3 Configuraci n de los servidores secundarios vi ndose algo similar al print screen 3 4 Modificaci n de los archivos de configuraci n del servidor primario o maestro 3 5 Prueba de conexi n y configuraci n desde el servidor primario o maestro a los servidores secundarios 4 Probando nuestro superservidor 4 1 Programa Pi c 4 2 Compilaci n del programa Pi c con MPICC 4 3 Ejecuci n del programa Pi c en forma local con MPIRUN P
11. ECNOL GICA NACIONAL Laboratorios Instalaci n del paquete vi ndose algo similar al print screen rooto192 168 1 31 apt get install openssh server E Root pa Archivo Editar Wer Terminal Solapas Ayuda rootO192 168 1 31 apt get install openssh server Leyendo lista de paquetes Hecho Creando rbol de dependencias Leyendo la informaci n de estado Hecho Paquetes sugeridos rssh Se instalar n los siguientes paquetes NUEVOS openssh server O actualizados 1 se instalar n 0 para eliminar y 0 no actualizados Necesito descargar 295kB de archivos Se utilizar n 791kB de espacio de disco adicional despu s de esta operaci n Des 1 http ftp de debian org lenny main openssh server 1 5 1p1 5 295kB Descargados 295kB en 4s 61 1kB s Preconfigurando paquetes Seleccionando el paquete openssh server previamente no seleccionado Leyendo la base de datos 441809 ficheros y directorios instalados actualmente Desempaquetando openssh server de openssh server 1 3a5 1p1 5 1386 deb Procesando disparadores para man db Configurando openssh server 1 5 1p1 5 Restarting OpenBSD Secure Shell server sshd root 192 168 1 31 2 2 2 Instalaci n de RSSH Restricted Secure Shell Descripci n del paquete RSSH es un shell restringido que provee acceso limitado a un server v a SSH incluyendo soporte a RDIST RSYNC y CVS Un ejemplo de utilizaci n es si se tuviese un servidor en el
12. EU TNHAEDO UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios LABORATORIO Simulaci n y Mec nica Computacional TRABAJO Instalaci n de un Super Servidor de procesamiento paralelo basado en MPI Idioma Espa ol Plataforma de Hardware AMD64 Sistema Operativo Debian Versi n 5 0 Lenny Fecha dd mm aaaa 17 09 2009 P gina 1 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar n UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios Pr logo La idea de este documento es la de guiar al usuario para que pueda utilizando herramientas de software y hardware standard montar un superservidor de procesamiento paralelo basado en el standard Open MPI Para esto se han utilizado seis PCs con procesadores AMD64 dual core interconectadas entre s utilizando una red Ethernet de 100Mbps a trav s de un switch luego haciendo funcionar una de ellas como servidor maestro y las otras cinco como servidores secundarios Se ver a continuaci n que los pasos son sencillos pudiendo implementarse en cualquier plataforma de procesadores y con cualquier cantidad de PCs P gina 2 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar e UTNHAEDO A UNIVERSIDAD TECNOL GICA NACION
13. _i3 86 deb Procesando disparadores para man db Configurando nfs kernel server 1 1 1 2 6lenny1 Creating config file etc exports with new version Creating config file etc default nfs kernel server with new version Starting NFS common utilities statd Exporting directories for NFS kernel daemon Starting NFS kernel daemon nfsd mountd root 192 168 1 31 2 2 4 Instalaci n de los paquetes LIBOPENMPI DEV LIBOPENMPI1 OPENMPI BIN OPENMPI COMMON y OPENMPI DOC Descripci n de los paquetes MPI Message Passing Interface Interfaz de Paso de Mensajes es un est ndar que define la sintaxis y la sem ntica de las funciones contenidas en una biblioteca de paso de mensajes dise ada para ser usada en programas que exploten la existencia de m ltiples procesadores El paso de mensajes es una t cnica empleada en programaci n concurrente para aportar sincronizaci n entre procesos y permitir la exclusi n mutua de manera similar a como se hace con los sem foros monitores etc Su principal caracter stica es que no precisa de memoria compartida por lo que es muy importante en la programaci n de sistemas distribuidos P gina 9 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios Instalaci n del paquete vi ndose algo similar al print screen
14. diferente http www debian org releases stable 386 index html es Para todos los pasos anteriores conexi n a internet permanente Prerrequisitos requeridos Una PC con conexi n a internet permanente para poder descargar el Small CD de Debian Lenny http www debian org distrib netinst smallcd Grabadora de CD Un CD en blanco para grabar dicha imagen descargada Realizar la instalaci n de Linux Debian versi n 5 0 Lenny en dos o m s PCs http www debian orqg releases stable 386 index html es Para todos los pasos anteriores conexi n a internet permanente P gina 5 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar e UTNHAEDO e UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios 2 Instalaci n del software necesario 2 1 Instalaci n del sistema operativo Debian versi n 5 0 Lenny Debido a que est fuera del alcance del presente mini How To no se indican los pasos para la instalaci n de Debian versi n 5 0 Lenny en este punto se recomienda consultar el manual de instalaci n en el siguiente link http www debian org releases stable i386 index html es 2 2 Instalaci n de paquetes requeridos en el servidor primario _O maestro y en los servidores secundarios Para esto utilizaremos el comando APT Advanced Package Tool en un terminal ingresando como usuario Root E
15. el Bavaro v Ing Juan C Polidoro P gina 27 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar
16. inal Solapas Ayuda rootO192 168 1 31 sshitssh keygen t rsa Generating public private rsa key pair Enter file in which to save the key root ssh id_rsa root ssh id rsa already exists Overwrite y n y Enter passphrase empty for no passphrase Enter same passphrase again Your identification has been saved in root ssh id rsa Your public key has been saved in root ssh id rsa pub The key fingerprint is 19 10 36 33 b1 91 50 d4 cf 53 95 00 77 fd e4 6d rootfdebian notebook The key s randomart image is RSA 2048 0000 0 o0 El a root 192 168 1 31 ssh P gina 13 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 3 3 Configuraci n de los servidores secundarios vi ndose algo similar al print screen Una vez generado el archivo que contiene la clave p blica id_rsa pub se copia a las dem s PCs o servidores secundarios en nuestro caso n meros IP desde el 192 168 1 32 al 192 168 1 36 para que los mismos puedan acceder a ejecutar los comandos que el usuario necesite sin requerir password Passwordless Connection Este paso debe repetirse por cada servidor secundario por lo que la sintaxis vista en el print screen m s abajo cambiar en su segunda parte de rooto192 168 1 32 home nombre usuario id_rsa serve
17. n nuestro caso estamos utilizando la intefaz gr fica Gnome 2 22 3 Estos paquetes deben instalarse en todas las m quinas que formen parte del superservidor tener en cuenta que s lo una de las PCs funcionar como servidor primario o maestro en nuestro caso la que tiene n mero IP 192 168 1 31 teniendo las dem s PCs la funci n de servidores secundarios 2 2 1 Instalaci n de SSH Secure Shell Descripci n del paquete SSH Secure SHell en espa ol int rprete de rdenes segura es el nombre de un protocolo y del programa que lo implementa y sirve para acceder a m quinas remotas a trav s de una red Permite manejar por completo la computadora mediante un int rprete de comandos y tambi n puede redirigir el tr fico de X para poder ejecutar programas gr ficos si tenemos un Servidor X en sistemas Unix y Windows corriendo Adem s de la conexi n a otras m quinas SSH nos permite copiar datos de forma segura tanto ficheros sueltos como simular sesiones FTP cifradas gestionar claves RSA para no escribir claves al conectar a las m quinas y pasar los datos de cualquier otra aplicaci n por un canal seguro tunelizado mediante SSH La instalaci n de este programa es necesario para que las computadores intercambien informaci n en forma segura P gina 6 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD T
18. nando el paquete libopenmpil previamente no seleccionado Desempaquetando libopenmpil de libopenmpil 1 2 7 rc2 2 i386 deb Seleccionando el paquete openmpi common previamente no seleccionado Desempaquetando openmpi common de openmpi common_1 2 7 rc2 2 all deb Seleccionando el paquete libopenmpi dev previamente no seleccionado Desempaquetando libopenmpi dev de libopenmpi dev 1 2 7 rc2 2 i386 deb Seleccionando el paquete openmpi bin previamente no seleccionado Desempaquetando openmpi bin de openmpi bin 1 2 7 rc2 2 i386 deb Procesando disparadores para man db Configurando libibverbs1 1 1 2 1 Configurando libopenmpil 1 2 7 rc2 2 Configurando openmpi common 1 2 7 rc2 2 Configurando libopenmpi dev 1 2 7 rc2 2 Configurando openmpi bin 1 2 7 rc2 2 root 192 168 1 31 2 2 5 Instalaci n y desinstalaci n de otros paquetes En nuestro sistema aparte de los mencionados se han _ instalado adicionalmente los siguientes paquetes apt get install NOMBRE PAQUETE v mc v gfortran v build essentials v popularity contest v ntp v ntpdate v sshguard v autossh P gina 10 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios v iproute v iptables v smartmontools Desinstal ndose los siguientes paquetes apt get rem
19. necesita encontrar espec ficamente el programa que se quiere ejecutar en los nodos son nodos servidores primadior y secundarios del superservidor NFS Net File System provee un directorio p blico en cada nodo del superservidor para ejecutar el programa que el usuario quiera ejecutar P gina 8 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios Instalaci n del paquete vi ndose algo similar al print screen rooto192 168 1 31 apt get install nfs kernel server a Root z Archivo Editar Ver Terminal Solapas Ayuda root 192 168 1 31 apt get install nfs kernel server Leyendo lista de paquetes Hecho Creando rbol de dependencias Leyendo la informaci n de estado Hecho Se instalar n los siguientes paquetes NUEVOS nfs kernel server O actualizados 1 se instalar n O para eliminar y 89 no actualizados Necesito descargar 150kB de archivos Se utilizar n 291kB de espacio de disco adicional despu s de esta operaci n Des 1 http ftp de debian org lenny main nfs kernel server 1 1 1 2 6lenny1 150 kB Descargados 150kB en 2min58s 838B s Seleccionando el paquete nfs kernel server previamente no seleccionado Leyendo la base de datos 442894 ficheros y directorios instalados actualmente Desempaquetando nfs kernel server de nfs kernel server 1 3a1 1 2 6lenny1
20. ove NOMBRE PAQUETE v network manager v avahi daemon 2 2 6 Instalaci n de los paquetes en los servidores secundarios Realizar los pasos 2 2 1 2 2 2 2 2 3 2 2 4 y 2 2 5 en las PCs que vayan a funcionar como servidores secundarios en nuestro caso las PCs con n meros IP desde el 192 168 1 32 al 192 168 1 36 Recordemos que los pasos son los siguientes 2 2 1 root 192 168 1 32 36 apt get install openssh server 2 2 2 root 192 168 1 32 36 apt get install rssh 2 2 3 root 192 168 1 32 36 apt get install nfs kernel server 2 2 4 root 192 168 1 32 36 apt get install libopenmpi dev libopenmpil openmpi bin openmpi common openmpi doc 2 2 5 Instalaci n y desinstalaci n de paquetes adicionales P gina 11 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar e E UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 3 Configuraci n de servidores primario o maestro y secundarios La configuraci n se requiere tanto en el servidor primario o maestro como en los servidores secundarios Esta configuraci n se requiere para que el sistema quede en funcionamiento 3 1 Verificaci n de directorios y clave p blica en el servidor primario o maestro Una vez finalizada la instalaci n todos los paquetes deber amos poder ingresar al directorio root ssh para ver su contenido vi ndose algo similar_al siguiente p
21. primario IP 192 168 1 31 al primer servidor secundario IP 192 168 1 32 Una vez que SSH encuentre el servidor secundario nos solicitar el password del usuario ROOT por lo que deberemos escribirlo para ingresar al mismo v Modificar los permisos del directorio root ssh poni ndolos en 700 y Agregar el pasword p blico al archivo root ssh authorized_keys v Cambiar los permisos del archivo authorized_keys poni ndolos en 644 Una vez finalizados estos pasos deberemos hacer lo mismo con los dem s mE Root Sal y Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 31 ssh rooto192 168 1 32 Password root 192 168 1 32 cd root rooto192 168 1 32 4 chmod 700 ssh rooto192 168 1 32 cat home nombre usuario id_rsa server pub gt gt root ssh authoriz ed_ keys root 192 168 1 32 4 chmod 644 root ssh authorized_keys rooto192 168 1 32 exit rooto192 168 1 31 servidores secundarios vi ndose algo similar al siguiente print screen P gina 18 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios 4 Probando nuestro superservidor Asumimos en este paso que ya deber amos tener instalado apropiadamente nuestro superservidor con capacidades de procesamiento paralelo del tipo MPI aho
22. r pub a rooto192 168 1 33 home nombre usuario id_rsa server pub y as sucesivamente hasta llegar al n mero IP 192 168 1 36 E Root Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 31 scp root 192 168 1 31 root ssh id rsa pub rootG192 168 1 32M home nombre usuario id rsa server publ P gina 14 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 3 4 Modificaci n de los archivos de configuraci n del servidor primario o maestro Debemos modificar en el servidor primario o maestro el archivo letc openmpi openmpi default hostfile Este archivo es el que contiene tanto los n meros IP de todos los nodos de nuestro superservidor recordar que nodo es tanto el servidor primario como los secundarios como la cantidad de procesadores que tiene cada nodo es de 2 pondremos este valor Mi Root 5 X Archivo Editar Wer Terminal Solapas Ayuda root 192 168 1 31 cd etc openmpi root 192 168 1 31 etc openmpi nano openmpi default hostfile P gina 15 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar E UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios Agregando lo siguiente al archivo
23. ra usted pude probar el mismo con un programa de testeo que calcular el n mero Pl El programa a utilizarse ser el contenido en el archivo Pi c el mismo es un programa simple escrito en lenguaje C que reporta el n emro Pl de cada nodo sobre el superservidor usando los servicios MPI 4 1 Para esto deberemos descargar el archivo Pi c del link http www ps3cluster org distros pi c y ponerlo en el directorio openmpi en el servidor primario o maestro se adjunta m s abajo el programa del sitio original para que pueda guardarse en un archivo que deber llamarse Pi c COMI ENZO DEL PROGRAMA To run this program tos xJ A Issue time mpirun np nprocs pi SGI Beowulf el EEEE ENT NE EEE DE E E EEEE NET EAN EEEE T A EEEE E include lt stdio h gt include lt stdlib h gt P gina 19 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTNHAEDO A UNIVERSIDAD TECNOL GICA NACIONAL FACULTAD REGIONAL HAEDO Laboratorios tinclude mpi h int main int argc char argv 1 int LN double h pi x int me nprocs double piece pe A E EE E OE E EEE E N EE EEN E EE MPI_Init amp argc amp argv MPI_Comm_size MPI _COMM_WORLD amp nprocs MPI_Comm_rank MPI _COMM_WORLD amp me pe EE E E A A AN if me 0 1 printf s Input number
24. rint screen E Root m 5 P Archivo Editar Wer Terminal Solapas Ayuda rootO192 168 1 31 cd root root 192 168 1 31 cd ssh root 192 168 1 31 ssh t ls la root root 4096 20 58 root root 4096 j be la F e root root 1675 21 00 id_rsa root root 402 21 00 id_rsa pub root root 1768 19 54 known hosts root 192 168 1 31 ssh j P gina 12 de 27 Par s 532 Haedo 1706 Buenos Aires Argentina Tel fonos 5411 4443 7466 4659 2575 4659 3857 Fax 4443 0499 www frh utn edu ar UTN UNIVERSIDAD TECNOL GICA NACIONAL Laboratorios 3 2 Regeneraci n de archivos de clave p blica en el servidor primario o maestro Este paso s lo debe hacerse en el servidor primario o maestro Si bien dentro del directorio root ssh en el servidor primario IP 192 168 1 31 podemos ver la existencia de los archivos id_rsa e id_rsa pub que son los que contienen la clave p blica para acceder al mismo en forma segura utilizando SSH generaremos nuevamente las mismas Esta clave es las que servir luego para poder hacer que las PCs que funcionan como servidores secundarios se conecten al servidor primario en forma segura y sin necesidad de tipear ning n password para ello Passwordless Connection Regeneraci n de los archivos de clave p blica en el servidor primario o maestro vi ndose algo similar al print screen rooto192 168 1 31 ssh keygen t rsa a Root Archivo Editar Wer Term
Download Pdf Manuals
Related Search