Manual de utilização do Cluster HPC Departamento de
Contents
1. es desejadas utlizando o Notepad por exemplo e depois copi lo de volta para o cluster Como o arquivo foi criado originalmente no padr o UFT 8 voc n o precisar se preocupar com o formato do arquivo Programa SEQUENCIAL em C C bin bash SBATCH ntasks 1 HSBATCH mail user seuemailOcefetmg br HSBATCH mail type END HSBATCH partition mes srun Nome do Programa Programa SEQUENCIAL em Java Programa PARALELO em Java threads Hl bin bash HSBATCH ntasks 1 bin bash SBATCH mail user seuemail cefetmg br SBATCH ntasks 1 SBATCH mail type END HSBATCH mail user seuemailOcefetmg br HSBATCH partition mes HSBATCH mail type END srun java Nome do Programa HSBATCH cpus per task 16 HSBATCH partition mes srun java Nome do Programa Programa SEQUENCIAL em Octave bin bash SBATCH ntasks 1 SBATCH mail user seuemailOcefetmg br SBATCH mail type END SBATCH partition mes srun octave Nome_do_Programa m Onde e ntasks n representa a quantidade n de programas que ir o rodar Valores de n gt 1 s o utilizados principalmente em programas que rodam em paralelo usando mpi por exemplo Se seu programa for sequencial basta manter ntask 1 Para programas implementados em Java com threads mantenha n 1 pois as threads ir o rodar nos n cleos alocados pela vari vel cpus per task o conte do desta vari vel ser explicado abaixo e mail us2. Ap ndice 2 2 Rodando programas no cluster 1 Dentro do terminal aberto pelo Putty descrito na se o anterior entre na pasta onde est localizado o programa que deseja executar a Para verificar em qual pasta voc se encontra digite pwd A sa da ser algo do tipo lhomelUSUARIO onde USUARIO o nome de seu usu rio no cluster Para entrar em uma pasta digite cd nome da pasta Para sair da pasta digite cd Para listar o conte do de uma pasta digite Is Outros comandos s o apresentados no Ap ndice papos 2 Com rela o ao programa execut vel que ir rodar no cluster na maioria dos casos voc pode compil lo em seu pr prio computador ou no cluster a Se preferir compil lo em seu computador basta transferir o execut vel para o cluster utilizando o Filezilla b Se preferir compil lo no cluster execute um dos comando abaixo de acordo com a linguagem de programa o utilizada Programa SEQUENCIAL em C C g programa c o nome_do_executavel 3 Dentro da pasta onde se encontra o programa execut vel crie um arquivo texto com o nome script tx com o conte do aprensentado abaixo de acordo com a linguagem de programa o utilizada Se o arquivo script txt for criado no Windows salve o utilizando o formato UTF 8 Na sua pasta no cluster j existe um exemplo do arquivo script txt Voc pode copi lo para seu computador utilizando o Filezilla fazer as altera
3. diret rios em s comando use por exemplo cd 7 var www que o levar diretamente ao sub diret rio www do diret rio var cp Copia arquivos e diret rios o cp file foo para fazer uma c pia exata do arquivo file dando lhe o nome de foo o sudo cp etc X11 xorg conf etc X11 xorg conf bkp para gerar uma c pia de seguran a exata do arquivo etc X11 xorg conf dando lhe o nome de etc X11 xorg conf bkp mv Este comando move arquivos e diret rios sendo muito usado tamb m para renomear um determinado arquivo o mv arquivo1 arquivo2 para renomear o arquivo arquivo1 localizado no diret rio pessoal do usu rio para arquivo2 no mesmo local o mv foo Desktop mover o arquivo foo para seu diret rio Desktop sem alterar seu nome Voc deve especificar um novo nome se quiser renomear um arquivo ls Comando utilizado para listar o conte do de um diret rio Usado com certas op es poss vel ver o tamanho dos arquivos quando foram criados e as permiss es de cada um o lg para mostrar os arquivos que est o em seu diret rio pessoal o ls hal para mostrar os arquivos que est o em seu diret rio pessoal inclusive os ocultos a em forma de uma listagem l e com as informa es de tamanho mais amig vel a n s seres humanos h rm Utilize este comando para remover deletar arquivos e opcionalmente diret rios Por padr o o comando rm exibe um promptonde o usu rio deve
4. gerada pelos comandos print por exemplo pode ser vista no arquivo slurm id out Onde id o identificador do programa e Para listar seus programas que est o rodando no cluster digite squeueZ e Para listar todos os programas que est o rodando no cluster digite squeue3 e Para cancelar a execu o de um programa que foi submetido ao cluster digite scancel id onde id o identificador do programa 134 por exemplo e Para sair do cluster digite exit ou feche a janela do Putty Ap ndice Comansdo b icos para utiliza o do Linux fonte http Awiki ubuntu br org ComandosBasicos e pwd O comando pwd lhe permite saber em qual diret rio voc est no momento onde pwd significa print working directory o Executando pwd no diret rio Desktop mostrar Desktop Observe que o Terminal do Gnome tamb m mostra esta informa o na barra de t tulos da janela Veja a imagem de exemplo no topo desta p gina e cd Este comando nos permite se deslocar entre a rvore de diret rios do sistema Quando abrimos um terminal ou se o shell voc entra direto no seu diret rio pessoal Para mover se pelo sistema de arquivos voc deve usar o cd o cd para ir ao diret rio raiz o ed para ir ao seu diret rio pessoal o ecd para acessar um diret rio de n vel acima do atual o ed para voltar ao diret rio que se encontrava antes de mudar o Para navegar atrav s m ltiplos n veis de
5. Manual de utiliza o do Cluster HPC Departamento de Computa o Cefet MG BH Vers o atualizada em 15 10 2014 Antes de utilizar o cluster pela primeira vez entre em contato com a equipe de Apoio T cnico do Decom para configura o de sua conta de usu rio O cluster pode ser utilizado a partir de qualquer computador dentro ou fora do Cefet Ap s iniciar a execu o de um programa voc pode sair do cluster e desligar seu computador O cluster lhe enviar um email quando a execu o terminar Para rodar programas no cluster necess rio 1 Realizar a transfer ncia dos arquivos entre seu computador e o cluster Assim que sua conta de usu rio for configurada voc ter um espa o em disco de at 5GB onde poder armazenar seus arquivos ver detalhes na p gina 2 2 Conectar ao cluster via ssh e executar os programas desejados ver detalhes na p gina 3 Observa o e Sempre mantenha c pia dos dados e programas em seu computador pois n o fazemos backup 1 Transferindo arquivos entre seu computador e o cluster A transfer ncia de arquivos pode ser feita utilizando o programa Filezilla ou qualquer outro programa que suporta sftp 1 1 Instale e execute o Filezilla dispon vel para download em https lfilezilla project org download php show all 1 1 2 Crie uma conex o com o servidor 1 2 1 Abra o Filezilla e clique em Arquivo gt Gerenciador de sites 1 2 2 Clique em Novo Si
6. confirmar a exclus o de cada arquivo digitando a letra y seguido de Enter o rm arquivo1 para remover o arquivo chamado arquivo1 do diret rio corrente ap s confirma o no prompt o rm farquivo1 para remover o arquivo chamado arquivo1 do diret rio corrente sem que lhe seja exibido o prompt de confirma o o rm R temp para remover de forma recursiva o diret rio temp localizado em sua pasta pessoal e todo seu conte do seja ele arquivos e outras arvores de sub diret rios mkdir Comando cuja finalidade permitir a cria o de um ou mais diret rios o mkdir musicas para criar um diret rio chamado musicas dentro do diret rio corrente
7. dispon veis Se n o houver CPUs dispon veis o programa entrar em uma fila A pol tica de aloca o de recursos a FIFO First In First Out A coluna GROUPS exibe os grupos que podem utilizar uma determinada parti o A coluna TIMELIMIT exibe o tempo m ximo que um programa pode rodar em uma determinada parti o Formato dd hh mm s e cpus per task utilizado apenas para programas em Java com threads Como as threads devem ser executadas em um nico computador este par metro possibilita alocar mais n cleos para uma mesma inst ncia do programa Como n o existem computadores com 6 43 mais de 24 n cleos o valor de n deve ser menor ou igual a 24 e Nome do Programa o nome do programa que ser executado exemplo a out 4 Para executar o programa digite sbatch script txt O sbatch ir ler os comandos e par metros contidos no arquivo script txt A ltima linha deste arquivo cont m o comando que executa seu programa exemplo srun Nome do Programa ou mpiexec Nome do Programa Observa es e Imediatamente ap s o in cio da execu o a seguinte mensagem ser exibida Submitted batch job id onde id representa o identificador do programa no cluster Ao t rmino da execu o voc receber um e mail com a seguinte mensagem Job id 134 Ended o n mero 134 um exemplo de id Tamb m ser informado o tempo de execu o do programa e A sa da do programa
8. er seu email O cluster poder lhe enviar emails no in cio no fim e na ocorr ncia de erros durante a execu o do programa Se n o quiser receber e mails retire esta linha do arquivo e mail type ALL indica que o cluster lhe enviar um e mail nas seguintes situa es in cio fim e erro do programa Para enviar emails apenas no final substitua o ALL por END Se n o quiser receber e mails retire esta linha do arquivo e partition indica a parti o onde o programa ir executar A principal 5 caracter stica de cada parti o a restri o de tempo Ao utilizar a parti o semlimite o programa poder executar sem restri o de tempo Ao utilizar as parti es mes ou semana o programa poder executar at 30 ou 7 dias respectivamente Ao final deste tempo o programa encerrado automaticamente Para conhecer as parti es dispon veis digite o comando sinfo2 Exemplo de sa da PARTITION CPUS A I 0 T GROUPS TIMELIMIT semlimite 56 16 0 72 all infinite mes 121 87 0 208 all 30 00 00 0 A coluna PARTITION exibe o nome das parti es existentes no cluster Este nome ser utilizado no momento em que o programa for submetido para execu o no cluster A coluna CPUS exibe a quantidade de CPUs que est o sendo utilizadas Allocated 56 dispon veis Idle 16 outros Other 0 e total Total 72 Ao submeter um programa para executar no cluster importante verificar a quantidade de CPUs
9. nex o com o servidor via ssh 2 1 1 Fa a o download do PuTTY e Entre no site e fa a o download http www chiark greenend org uk sgtatham putty download html e ou fa a o download direto clicando no link http tartarus org simon putty snapshots x86 putty installer exe 2 1 2 Execute o PuTTY 2 1 3 Preencha os campos 2 1 3 1 Host Name or IP address cluster decom cefetmg br Alternativamente pode se utilizar o IP 200 131 37 158 2 1 3 2 Clique em Open E ES PuTTY Configuration TT em Sem Category B Session Basic options for your PuTTY session 7 sta Specify the destination you want to connect to ci Host Name or IP address Port Bell 200 131 37 158 2200 Features Connection type 5 Window Raw Telnet Rlogin O SSH Serial rn Load save or delete a stored session aviour Translation Saved Sessions Selection Colours Default Settings B Connection m Data Es save Telnet Delete Rlogin 5 SSH Seriel Close window on ext 5 Always D Never Only on clean exit L Cancel E 2 1 3 3 Um alerta ser exibido para prosseguir clique em Sim 2 1 3 4 Um terminal ser aberto Entre com seu usu rio e senha Assim que sua senha for validada voc estar conectado ao servidor e poder executar seus programas veja a pr xima se o O servidor possui o sistema operacional Linux instalado Alguns comandos b sicos de utiliza o do Linux s o apresentados no
10. te 1 2 3 Preencha os campos 1 2 3 1 Host com cluster decom cefetmg br 1 2 3 2 Porta com 2200 1 2 3 3 Protocolo selecione SFTP SSH File Transfer Protocol 1 2 3 4 Tipo de logon selecione a op o Interativo 1 2 3 5 Preencha o campo Usu rio com o nome do usu rio que foi criado pelo administrador do cluster 1 2 3 6 Clique em Conectar 1 2 4 Ser exibida uma janela onde voc dever digitar sua senha Deixe marcada a op o Lembrar senha para esta se o Observa es e A pr xima vez que utilizar o Filezilla os dados da conex o j estar o salvos Para acess los basta clicar em Arquivos gt Gerenciador de sites e escolher o site criado anteriormente e A janela do Filezilla dividida em 2 partes Do lado esquerdo aparecem os arquivos que est o em seu computador e do lado direito os arquivos que est o no cluster Para realizar a transfer ncia selecione os arquivos em um dos lados e arraste os para o outro e Para facilitar a utiliza o do cluster evite usar nome de arquivos com espa os em branco O Filezilla pode ser usado para transferir e gerenciar seus arquivos apagar renomear criar pastas remover copiar etc A execu o dos programas no cluster ser feita via ssh conforme descrito na seguinte se o 2 Executando programas no cluster Passos 1 conectar ao servidor via ssh ver se o 2 1 2 rodar o programa desejado ver se o 2 2 2 1 A co
Download Pdf Manuals
Related Search