Home

Navegação, reconhecimento de gestos e controle de interface no

Contents

1. 12 1 INTRODU O Nos ltimos anos a intera o com os computadores atrav s de gestos tem movimentado a rea industrial e o mercado de jogos devido aos recentes avan os nos algoritmos e na tecnologia Estes avan os permitem rastrear o corpo humano e identificar gestos e movimentos tornando o controle da m quina uma atividade mais simples e natural NORMAM 2010 Esta forma de interagir com computadores denominada Natural User Interface NUD que segundo Jain Lund e Wixon 2011 a forma que permite que os usu rios interajam com os computadores da maneira que interagem com o mundo Devido a sua simplicidade interfaces gr ficas s o mais bem sucedidas que interfaces de linhas de comando No mesmo pensamento interfaces naturais devem ser mais simples para serem bem aceitas O n vel de simplicidade de uma interface est relacionado com a facilidade que o usu rio consegue lembrar do movimento correto para executar alguma a o e assim tornar o controle do sistema algo natural NORMAM 2008 A Realidade Virtual RV a representa o do mundo real em ambientes virtuais geralmente tridimensionais ou seja permite que pessoas interajam com ambientes conceituais a partir do mundo real KIRNER e TORI 2004 Os ambientes e t cnicas de RV t m sido empregados em diversas reas da computa o como o tratamento de fobias entretenimento demonstra o de ambientes capacita o de pessoas e outros TORI KIRNER e SISCO
2. Normaliza o dos dados obtidos pelo Kinect para o intervalo 1 0 al 1 skel SkeletonPositions NUI_SKELETON_POSITION_HAND_RIGHT x 2 a2 1 skel SkeletonPositions NUI_SKELETON_POSITION_HAND_RIGHT y 2 Condicional que restringe a rea reconhecida proporcionalmente resolu o da tela if al gt 0 5 amp al lt 0 5 Width 0 00015 a2 gt 0 7 amp a2 lt 0 7 Heigth 0 00015 Normalizacao da rea restrira para o intervalo 0 0 1 0 b1 1 al 0 5 Width 0015 b2 1 a2 0 7 Heigth 0015 Obtenc o dos pixels referentes na tela b1 1 b1 1 Width b2 1 b2 1 Heigth M dulo do eixo Y b2 1 fabs b2 1 Heigth Aplicac o do filtro passa baixas com alfa 0 85 b1 1 b1 1 1 alfa b1 0 alfa b2 1 b2 1 1 alfa b2 0 alfa M todo que posiciona o mouse SetCursorPos int b1 1 int b2 1 Guarda o valor para o pr ximo uso b1 0 b1 1 b2 b2 1 Fonte Proprio autor 50 5 2 2 Clique do Mouse Ap s o posicionamento do mouse atrav s do Kinect ter sido devidamente ajustado foi desenvolvida a fun o de clique do bot o esquerdo do mouse O bot o esquerdo geralmente utilizado para selecionar o objeto de intera o com o usu rio no Sistema ITV Sendo assim de grande import ncia sua implementa o Novamente utilizando uma das fun es da biblioteca windows h poss vel simular o clique do mouse facilmente
3. Para que o clique seja executado foi definido um gesto com a m o esquerda onde o usu rio deve erguer a m o at a altura do ombro e desc la novamente Esta fun o implementada atrav s do rastreamento da posi o da m o esquerda que aciona o clique se o valor da posi o no eixo Y for superior a um determinado valor Este valor foi definido empiricamente em 0 3 ou seja se o rastreamento da m o esquerda retornar um valor maior que 0 3 a fun o de clique ser acionada Todavia como a frequ ncia de informa es do Kinect de 30 Hz entre o tempo da m o do usu rio subir at o ombro e descer novamente podem acontecer v rios cliques desnecess rios atrapalhando a execu o do sistema Portanto foi criado um contador de rastreamentos para aumentar o tempo entre um clique e outro ou seja a fun o de clique ativada apenas depois de certa quantidade de valores coletados acima de 0 3 Este contador foi definido com o valor de 10 unidades ou seja de acordo com a frequ ncia do Kinect 0 333 segundo de intervalo entre um clique e outro A Figura 5 6 exibe o algoritmo utilizado na fun o de clique Figura 5 6 Algoritmo utilizado na fun o de clique do mouse Condicional de posi o da m o esquerda if skel SkeletonPositions NUI_SKELETON POSITION HAND LEFT y gt 0 3 Incremento do contador contador_mouse Condicional de verificac o do contador if contador_mouse 10 Func o qu
4. THE WAY I SEE IT Simplicity is not the answer Interactions We must redesign professional design education for the 21st century v 15 n 5 p 45 46 New York NY USA set out 2008 DOI 10 1145 1390085 1390094 NIELS R Dynamic Time Warping An intuitive way of handwriting recognition Dissertag o de Mestrado Universidade Radboud Nijmegen Holanda 2004 NINTENDO Wi Official Site What is Wi Dispon vel em lt http www nintendo com wii what is wii gt Acesso em 20 de Mar o de 2013 OFUSION oFusion Technologies Dispon vel em lt http ofusiontechnologies com gt Acesso em 22 de Junho de 2012 OPENKINECT OpenKinect 2012 Dispon vel em lt http www openkinect org gt Acesso em 20 nov 2012 PRESSMAN R S Engenharia de Software 6 ed S 1 McGraw Hill 2006 ISBN 8586804576 82 QUINTANA J MENDONZA E 3D Virtual Models Applied in Power Substation Projects In 15th International Conference on Intelligent System Applications to Power Systems ISAP 2009 p 1 3 Curitiba Brasil 2009 DOI 10 1 109 ISAP 2009 5352921 REZENDE D A Engenharia de Software e Sistema de Informac o 3 ed Rio de Janeiro Brasport Livros e Multim dia Ldtda 2005 ISBN 85 7452 215 5 SAGE SAGE Sistema Aberto de Supervis o e Controle Dispon vel em lt http www sage cepel br gt Acesso em 22 abr 2012 SENIN P Dynamic Time Warping Algorithm Review Information and Computer Science Department Universit
5. de aproximar se ou afastar se da cena caso percorra a regi o em vermelho eixo X a c mera far a transla o para os lados e caso a m o esquerda se movimente na regi o em azul eixo Y o movimento da c mera ser para cima ou para baixo Cada regi o foi segmentada em tr s partes iguais para que haja a possibilidade da c mera n o se movimentar ou seja uma regi o neutra Assim se o usu rio desejar parar a cena da navega o ele deve posicionar a m o no centro dessas regi es para que a c mera fique est tica A Figura 5 8 exemplifica essa situa o Figura 5 8 Regi o neutra de posicionamento da c mera y Fonte Pr prio autor Vale ressaltar que no eixo Z regi o verde a posi o obtida pela m o em rela o a articula o do quadril desta forma o usu rio pode se movimentar livremente para frente ou para tr s e mesmo assim a dist ncia que sua m o precisa ser levada frente do seu corpo permanece igual O mesmo n o acontece com os eixos X e Y ou seja eles n o tem como refer ncia o quadril e sim uma regi o fixa Esta alternativa n o foi adotada para os eixos X e Y devido soma de ru dos nas articula es que podem provocar uma navega o mais dif cil por m para o eixo Z esse artif cio indispens vel 53 A m o direita a respons vel pela rota o da c mera Como no Sistema ITV n o h rota o da c mera em torno do eixo Z Roll s o necess rios ape
6. 64 Figura 6 5 Simula o de movimento de chave de fenda 64 Figura 6 6 Passo com transi o Condicional de sele o de martelo 65 Figura 6 7 Controle de interface para a sele o do martelo iii 65 Figura 6 8 Passo com transi o de Movimento de martelo 66 Figura 6 9 Simula o de movimento de martelo erre 66 Figura 6 10 Passo com transi o Condicional de sele o de chave combinada 67 Figura 6 11 Controle de interface para a sele o da chave combinada 67 Figura 6 12 Passo com transi o de Movimento de chave de boca 68 Figura 6 13 Simula o de movimento de chave de boca 68 Figura 7 1 Grau de familiaridade com o Sistema ITV eeeeseeeeeeeeneeeceesseeeeessnaeeees 70 Figura 7 2 Satisfa o sobre o controle de interface atrav s do Kinect 71 Figura 7 3 Satisfa o sobre a navega o no ambiente atrav s do Kinect 12 Figura 7 4 Resultados sobre o Kinect em rela o ao mouse e teclado 73 Figura 7 5 Satisfa o sobre o reconhecimento de gestos atrav s do Kinect 73 Figura 7 6 Dificuldade no reconhecimento dos gestos rr 74 Figura 7 7 Grau de atratividad
7. Deste ponto em diante a construg o da ITV feita visualmente atrav s de uma sequ ncia de passos e cada passo representa uma etapa no procedimento de manuten o descrito na Instrug o T cnica Cada passo cont m uma Linha do Tempo para cada pe a possa sofrer transforma es como rota o transla o escala ou mesmo o som da pe a As linhas do tempo apresentam marcadores que indicam o instante inicial e final de execu o das transforma es de cada pe a no decorrer do passo A distin o entre as transforma es s o feitas atrav s das cores dos marcadores ou seja cada transforma o da pe a possui um marcador na sua linha do tempo e dependendo da transforma o configurada o marcador se estabelece em uma cor diferente Desta forma atrav s da linha do tempo o construtor da ITV pode definir quais transforma es cada pe a sofrer e o seu tempo de dura o A Figura 3 4 mostra um exemplo das linhas do tempo de algumas pe as Figura 3 4 Interface do Sistema ITV Linhas do Tempo Posicionar para Ee ie Te a cml juncao porc cml juncao porc cml juncao porc cml_juncao_porc cml juncao porc Grupo Parafusad PP Fonte Pr prio autor O construtor da ITV pode tamb m criar avisos pop ups que aparecem durante a execu o Esses pop ups podem servir para narrar o procedimento explicar o funcionamento 26 da pe a alertar sobre algum poss vel engano dentre outras fun
8. Sistema ITV tornou o aprendizado mais din mico e interessante desta forma os usu rios se concentram mais para realizar as tarefas e consequentemente podem aprender de maneira r pida e correta 78 REFERENCIAS ALMEIDA F A M Classifica o Automatica de Ve culos pelo Perfil Magn tico Atrav s de T cnicas de Aprendizagem de Maquina Disserta o Mestrado Profissional em Computac o Aplicada Universidade Estadual do Cear Fortaleza CE 2010 ARROYO E ARCOS L L J SRV A Virtual Reality Application to Electrical Substations Operation Training In IEEE International Conference on Multimedia Computing and Systems 1999 ICMCS 99 v 1 p 835 839 Florence Italy 1999 DOI 10 1109 MMCS 1999 779309 BARATA P N A Projeto e Implementac o de um Sistema de Autoria para Animac es Simula es e Treinamentos em Realidade Virtual Disserta o Mestrado em Engenharia El trica Programa de P s Gradua o em Engenharia El trica Universidade Federal do Par Bel m PA 2010 BARTOLI G et al Emergency Medicine Training with Gesture Driven Interactive 3D simulations In Proceedings of the 2012 ACM workshop on User experience in e learning and augmented technologies in education UXeLATE 12 p 25 30 New York USA 2012 ISBN 978 1 4503 1593 7 DOI 10 1145 2390895 2390903 BELLMAN R KABALA R On Adaptive Control Processes IRE Transactions on Automatic Control v 4 no 2 p 1 9 1959 ISSN 0096 199
9. Valor Aquisitado n _ _ _ o Errno a A di e TEN 0 1 1 1 1 1 0 5 10 15 20 25 30 Indice do Ponto Fonte Proprio autor Nas figuras acima pode se observar caracteristicas interessantes quanto ao rastreamento do movimento por exemplo as curvas em vermelho indicando o eixo Y movimento vertical variam bastante na articula o da m o atenuam um pouco no pulso e variam pouco no cotovelo Estas caracter sticas fazem sentido se for observado o movimento 45 de uma martelada pois a mao sobe e desce em um movimento longo o pulso em um movimento menor e 0 cotovelo permanece praticamente estatico Al m disso pode se perceber que a linha verde indicando o eixo X ou seja a posi o horizontal pouco varia em todas as articula es pois o movimento de martelo basicamente vertical Assim existe a possibilidade de descartar o eixo X aumentando a taxa de reconhecimento do gesto com o limiar definido anteriormente por m isso pode acarretar em falso positivos Movimentos de martelo que cont m varia es horizontais s o diferentes do padr o de refer ncia e n o devem ser considerados como v lidos Desta forma por mais que o eixo X varie pouco importante para o reconhecimento preciso do gesto assim como os outros dois eixos Vale lembrar que pelo fato do Kinect reconhecer somente a posi o das articula es e n o a rota o delas poss vel que em alguns casos o reconhecimento de
10. entrevistados avaliaram o aprendizado com sensor Kinect no Sistema ITV como interessante ou muito interessante Portanto conclu se que este trabalho desperta o interesse no aprendizado Com uma ferramenta atrativa poss vel que o usu rio aumente sua concentra o na realiza o de tarefas Este aspecto importante em treinamentos virtuais pois o usu rio deve se concentrar nos deveres para aprend los de forma correta Observa es e sugest es interessantes foram feitas pelos estudantes Uma dessas observa es foi a dificuldade de identificar como o gesto requisitado pelo sistema ou seja qual a movimenta o correta para que o sistema reconhe a Outra dificuldade encontrada foi a identifica o da regi o de rastreamento das m os na navega o Uma das sugest es apresentadas foi a adi o da representa o dos movimentos pelo avatar o que tornaria a intera o com o ambiente mais envolvente Estas observa es e sugest es ser o comentadas no cap tulo que conclui este trabalho 76 8 CONCLUSAO E TRABALHOS FUTUROS Esta disserta o apresentou a implementa o do dispositivo Kinect em um sistema de treinamento virtual para operadores e mantenedores de hidrel tricas e subesta es el tricas denominado Sistema ITV Essa integra o entre dispositivo e sistema permitiu o controle de interface navega o no ambiente virtual e reconhecimento de gestos pr estabelecidos Procurou se fundamentar con
11. es Esses avisos s o configurados atrav s de marcadores na linha do tempo Para simular um treinamento o usu rio precisa interagir com o sistema Essa intera o pode ser feita facilmente pelo construtor da ITV bastando selecionar o objeto de intera o para que o procedimento continue sendo executado corretamente e configurar esta fun o a ele Normalmente cria se um pop up auxiliar para que o usu rio saiba que o sistema est esperando uma intera o e s vezes para ajud lo durante o procedimento Por vezes durante a simula o de instru es t cnicas algumas pe as merecem destaque ou foco em determinadas situa es Al m dos avisos na tela poss vel tamb m dar esse destaque individualmente a cada objeto na cena que ir aumentar e diminuir a intensidade de seu brilho repetidamente na cor configurada para aquela a o Esse artif cio pode garantir um melhor entendimento para usu rios que est o se habituando aos nomes das pe as ou pode servir para explicar situa es perigosas como altas temperaturas ou press es Por fim ap s todas as pe as carregadas e todos os passos criados com suas devidas modifica es o construtor da ITV pode salvar um arquivo com a extens o itv que cont m todas as informa es necess rias para o treinamento em qualquer computador que contenha o Sistema ITV A Figura 3 5 mostra a interface do Sistema ITV no modo de autoria com todas as funcionalidades Figura 3 5 Inte
12. esqueletos e reconhecer em cena at seis indiv duos ao mesmo tempo como mostra a Figura 4 8 Figura 4 8 Kinect pode reconhecer at seis pessoas e rastrear duas Fonte KINECT 2013 4 2 DYNAMIC TIME WARPING O Dynamic Time Warping DTW bastante conhecido e utilizado em diversas reas Este algoritmo surgiu no inicio dos anos 60 BELLMAN e KABALA 1959 e na d cada de 70 foi extensivamente explorado em aplica es de reconhecimento de voz Atualmente utilizado em diversas reas como compara o de escritas a m o assinaturas digitais reconhecimento de linguagem de sinais minera o de dados reconhecimento de gestos processamentos de sinais m sica e tantas outras SENIN 2008 37 Este algoritmo baseado em programa o din mica medindo a similaridade entre padr es que podem variar o tempo de dura o O conceito principal deste algoritmo comparar as caracter sticas de um padr o particular com um modelo de refer ncia previamente estabelecido ou seja o DTW compara um padr o de entrada com um padr o de refer ncia e fornece o grau de similaridade entre os dois padr es Este grau de similaridade tamb m conhecido como dist ncia um resultado num rico e significa que quanto menor o valor obtido maior a semelhan a entre os padr es GON ALVES et al 2012 O DTW estabelece uma correspond ncia entre duas curvas que est o sujeitas a varia es de velocidade distorcendo o eixo do tempo
13. reais Tamb m exp em fatores necess rios na constru o dos modelos e mostra uma aplica o sobre a subesta o de Xochimilco no M xico Essa subesta o tem a inten o de ser expandida mas h d vidas sobre a viabilidade do projeto devido ao espa o dispon vel Sendo este um dos motivos para ser constru da virtualmente Por fim concluem que os modelos tridimensionais possibilitam uma melhor perspectiva sobre os projetos at antes de serem executados e d a chance de testar v rias possibilidades com alto grau de realismo Outro artigo da rea desenvolvido por Arroyo e Arcos 1999 traz uma aplica o denominada Power Distribution Application PDA baseada em RV do tipo desktop para treinamento de pessoas associadas opera o manual de equipamentos dessas subesta es O objetivo do PDA melhorar o modo guiado do Silicon Graphics International SGD Simulator um sistema amplamente usado pela empresa espanhola de gera o e distribui o de energia el trica Iberdrola IBERDROLA 2012 para o treinamento de operadores na execu o de manobras locais nas subesta es onde n o existe automa o ou comando remoto O PDA composto por dois sistemas independentes um simulador de plantas SGI Simulator e o Assistente Este ltimo controla e supervisiona a execu o dos exerc cios do usu rio de duas formas reativa e pr ativa A forma reativa consiste na gera o de 18 explica es quando o usu rio
14. 1 Vetor original X X2 X3 X4 X5 X6 2 3 5 9 5 5 Fonte Pr prio autor Equa o 5 2 Vetor normalizado x2 X1 X3 X2 X4 X3 X5 X X6 Xs 1 2 4 4 0 Fonte Pr prio autor 5 1 2 Detec o de Movimentos O Kinect capaz de rastrear 20 articula es mas para os gestos utilizados neste trabalho como os movimentos de martelo chave de boca e chave de fenda poucas articula es do corpo se movimentam Desta forma as articula es que menos se movimentam como as pernas tronco cabe a e m o esquerda foram descartadas e assim poss vel trabalhar com uma menor quantidade de dados para que o reconhecimento de gesto seja mais r pido Foram definidas para o rastreamento apenas 3 articula es m o pulso e cotovelo Com essas 3 Joints poss vel o reconhecimento de gesto com poucos erros e a quantidade de dados a manipular menor aumentando a rapidez da resposta do sistema Em seguida foi desenvolvido um software auxiliar para coletar 15 amostras de gestos com tempo fixo de 2 segundos cada e salv las em arquivos Dessas amostras uma foi utilizada como padr o de refer ncia e as outras 14 como conjunto de teste submetido ao algoritmo DTW Com a m dia desses resultados espera se obter o valor ideal do limiar de reconhecimento A Tabela 5 1 mostra os resultados obtidos pelo algoritmo DTW para o movimento de martelo na articula o da m o 41 Tabela 5 1 Sa da do DTW para movimen
15. 3 6 que ilustra a simula o de alerta do Sistema Aberto de Supervis o e Controle SAGE recebido pelo operador a 3 6 Alerta visual e sonoro de mau funcionamento de Pere Amen e T nO eo AGRA EHR QUE UE en de no co ASA mu Go ORF 1 si Rg ad o RRE EFA 4 oS fhe he o Re Eas Fonte Proprio Autor 29 Esta tela de alarme tem sua textura alternada constantemente a cada segundo simulando de forma id ntica o alerta real do SAGE Al m disso o alarme sonoro tamb m entra em repetic o constante at que seja tomada uma provid ncia por parte do operador ou seja que o problema seja reconhecido e solucionado Por ltimo um importante aperfei oamento envolvendo udio a possibilidade de narra o do procedimento em determinadas situa es Isso facilita a absor o do conhecimento e torna o treinamento menos mon tono Al m disso o usu rio pode conhecer os nomes e as pron ncias corretas das pe as que est o sendo manipuladas no momento entender o funcionamento dos componentes e at ouvir informa es sobre seguran a Para que seja narrado um pop up preciso que o texto seja previamente gravado por uma pessoa Em seguida o arquivo de udio pode ser inserido na ITV e manipulado na linha do tempo do passo atrav s do marcador de cor preta A Figura 3 7 mostra um exemplo de um pop up com narra o em udio Figura 3 7 Pop up com narra o em udio Arquivo Navega o Ferrament
16. A 2012 ISBN 978 1 4503 1287 5 DOI 10 1145 2254556 2254580 FMOD Fmod Interactive Audio Dispon vel em lt http www fmod org gt Acesso em 12 jul 2012 FONSECA L M Implementac o da Detecc o de Movimentos Navegac o e Controle da Interface do Sistema ITV atrav s do Dispositivo Wii Remote Controller Trabalho de Conclus o de Curso Gradua o em Engenharia da Computa o Faculdade de Engenharia da Computa o UFPA Bel m PA 2013 GIMP The GNU Image Manipulation Program Disponivel em lt http www gimp org gt Acesso em 22 jun 2012 GONCALVES N et al Automatic Detection of Stereotypical Motor Movements In 26th European Conference on Solid State Transducers EUROSENSOR 2012 v 47 p 590 593 2012 DOI 10 1016 j proeng 2012 09 216 HELANDER M G LANDAUER T K PRABHU P V Handbook of Human Computer Interaction 2 ed North Holland Elsevier Science B V 1997 ISBN 0 444 81862 6 IBERDROLA Iberdrola Disponivel em lt http www iberdrola es gt Acesso em 04 jul 2012 JAIN J LUND A WIXON D The Future of Natural User Interfaces In CHI 11 Extended Abstracts on Human Factors in Computing Systems CHI EA 11 p 211 214 New York USA 2011 ISBN 978 1 4503 0268 5 DOI 10 1145 1979742 1979527 JAVA Java SE Desktop Technologies Java 3D API Dispon vel em http www oracle com technetwork java javase tech index jsp 138252 html gt Acessado em 08 ago 2012 80 JEHAN T
17. Creating Music By Listening Tese Doutorado em Filosofia Program in Media Arts and Sciences Massachusetts Institute of Technology Cambridge MA EUA 2005 JUNIOR A P et al Instru es T cnicas De Manuten o E Opera o Virtuais De Uma Unidade Geradora Hidr ulica In XX Semin rio Nacional De Produ o e Transmiss o De Energia El trica SNPTEE 2009 Recife PE 2009 JUNIOR A P Hidrogeradora Virtual Utilizando T cnicas de Realidade Virtual Desktop para o Estudo de uma unidade Hidrel trica de Energia Disserta o Mestrado em Engenharia El trica Programa de P s Gradua o em Engenharia El trica Universidade Federal do Par Bel m PA 2006 JUNKER G Pro Ogre 3D Programming S 1 Apress 2006 KEOGH E J PAZZANI M J Scaling up Dynamic Time Warping to Massive Datasets In 3rd European Conference on Principles of Data Mining and Knowledge Discovery PKDD 99 p 1 11 Prague Czech Republic 1999 ISBN 3 540 66490 4 KINECT Kinect for Windows SDK Documentation Dispon vel em lt http msdn microsoft com en us library hh855347 aspx gt Acesso em 07 out 2012 KINECT Kinect for Windows Human Interaction Guideline v1 7 Dispon vel em lt http g0 microsoft com fwlink LinkID 247735 gt Acesso em 22 mar 2013 KIRNER C TORI R Realidade Virtual Conceitos e Tend ncias In VII Symposium on Virtual Reality SVR 2004 S o Paulo SP 2004 LIMA L et al Um Prot tipo para Sim
18. Membro PPGCC UFPA VISTO Prof Dr Evaldo Gon alves Pelaes Coordenador do PPGEE ITEC UFPA RESUMO Esta disserta o apresenta a implementa o de navega o no ambiente virtual reconhecimento de gestos e controle de interface feitos atrav s do dispositivo Kinect no Sistema ITV um sistema de treinamento de operadores e mantenedores de usinas hidrel tricas e subesta es el tricas S o mostrados tamb m determinados aperfei oamentos recentes como convers o em v deo telas de alarmes sonoros e visuais ambienta o sonora em tr s dimens es e narra o do processo Al m da apresenta o do Sistema ITV s o expostos o dispositivo Kinect e o algoritmo utilizado na compara o dos padr es de movimento o DTW Em seguida s o abordados em detalhes o projeto e a implementa o da navega o do reconhecimento de gestos e do controle de interface Como estudo de caso exibida uma Instru o T cnica Virtual ITV elaborada especialmente para testar e avaliar a nova interface proposta Posteriormente s o apresentados os resultados considerados satisfat rios obtidos atrav s da an lise de question rios qualitativos aplicados a estudantes da Universidade Federal do Par Por fim s o realizadas as considera es referentes a este trabalho e expostas id ias de trabalhos futuros PALAVRAS CHAVES Realidade Virtual Treinamento Virtual Reconhecimento de Gestos Kinect ABSTRACT This work presents th
19. UNIVERSIDADE FEDERAL DO PARA INSTITUTO DE TECNOLOGIA PROGRAMA DE P S GRADUA O EM ENGENHARIA EL TRICA CAIO CARVALHO MOREIRA NAVEGA O RECONHECIMENTO DE GESTOS E CONTROLE DE INTERFACE NO SISTEMA ITV UTILIZANDO O DISPOSITIVO KINECT DM 12 2013 BEL M PA 2013 CAIO CARVALHO MOREIRA NAVEGACAO RECONHECIMENTO DE GESTOS E CONTROLE DE INTERFACE NO SISTEMA ITV UTILIZANDO O DISPOSITIVO KINECT Dissertag o de Mestrado submetida a banca examinadora aprovada pelo colegiado do Programa de P s gradua o em Engenharia El trica sendo julgada adequada para a obten o do grau de Mestre em Engenharia El trica na rea de Computa o Aplicada Orientador Prof Dr Manoel Ribeiro Filho DM 12 2013 BEL M PA 2013 UNIVERSIDADE FEDERAL DO PARA INSTITUTO DE TECNOLOGIA PROGRAMA DE P S GRADUA O EM ENGENHARIA EL TRICA NAVEGA O RECONHECIMENTO DE GESTOS E CONTROLE DE INTERFACE NO SISTEMA ITV UTILIZANDO O DISPOSITIVO KINECT AUTOR CAIO CARVALHO MOREIRA DISSERTA O DE MESTRADO SUBMETIDA BANCA EXAMINADORA APROVADA PELO COLEGIADO DO PROGRAMA DE P S GRADUA O EM ENGENHARIA EL TRICA SENDO JULGADA ADEQUADA PARA A OBTEN O DO GRAU DE MESTRE EM ENGENHARIA EL TRICA NA REA DE COMPUTA O APLICADA APROVADA EM 10 05 2013 BANCA EXAMINADORA Prof Dr Manoel Ribeiro Filho Orientador PPGEE UFPA Prof Dr Eloi Luis Favero Membro PPGEE UFPA Prof Dr Bianchi Serique Meiguins
20. UTO 2006 O treinamento uma forma espec fica de aquisi o do conhecimento que na maioria das vezes torna se um processo caro e envolve riscos f sicos aos aprendizes O aprendizado utilizando RV possibilita que o profissional repita a atividade e analise seu desenvolvimento construindo uma base s lida de conhecimento de forma menos arriscada SILVA MIRANDA e HOUNSELL 2007 Devido a essas vantagens os autores Lopes Oliveira e Silva 2010 consideram o uso dos simuladores de realidade virtual como a solu o mais eficiente de treinamento possibilitando capacitar pessoas de maneira r pida e com baixo custo O Sistema ITV um software de treinamento virtual desenvolvido pelo Laborat rio de Realidade Virtual LARV da Universidade Federal do Par UFPA com financiamento da empresa p blica Eletronorte Centrais El tricas do Norte do Brasil S A utilizado para simular com um grau elevado de detalhes instru es t cnicas de opera o ITO e instru es t cnicas de manuten o ITM de uma usina hidrel trica e de uma subesta o el trica Este 13 sistema possui um modo de autoria onde o usuario pode criar ou modificar os denominados passos dessas instru es t cnicas Assim o usu rio pode consertar atualizar ou at mesmo criar uma nova e completa instru o t cnica sem a necessidade de qualquer conhecimento em programa o JUNIOR 2006 JUNIOR et al 2009 O produto final da utiliza o do
21. X DOI 10 1109 TAC 1959 1104847 BLANCHETTE J SUMMERFIELD M C GUI Programming with Qt 4 2 ed USA Prentice Hall 2008 BLUEMEL E et al Virtual Environments for the Training of Maintenance and Service Tasks In Proceedings of the 2003 Winter Simulation Conference WSC 2003 v 2 p 2001 2007 New Orleans EUA 2003 BLUEMEL E et al Technology Enhanced Training at Workplace A Virtual Reality Based Training System for the Technical Domain In Ist International Conference on EBusiness and E Learning Proceedings pp 57 62 2005 CHIAVENATO I Recursos Humanos 2 ed pp 288 S o Paulo Atlas 1985 CLINTON Y Game Character Modeling and Animation with 3ds Max USA Focal Press 2007 ISBN 10 0240809785 79 DEITEL H DEITEL P C How to Program 6 ed USA Prentice Hall 2009 DOLIOTIS P et al Comparing Gesture Recognition Accuracy Using Color and Depth Information In Proceedings of the 4th International Conference on PErvasive Technologies Related to Assistive Environments PETRA 11 n 20 New York USA 2011 ISBN 978 1 4503 0772 7 DOI 10 1145 2141622 2141647 FFMPEG FFmpeg Disponivel em lt http www ffmpeg org gt Acesso em 22 abr 2013 FRANCESE R PASSERO I TORTORA G Wiimote and Kinect gestural user interfaces add a natural third dimension to HCI In Proceedings of the International Working Conference on Advanced Visual Interfaces 2012 AVI 12 p 116 123 New York US
22. a o dos usu rios ao sistema de navega o foi feita a seguinte quest o Comparado ao mouse e ao teclado a navega o no ambiente virtual atrav s do Kinect A Figura 7 4 mostra os resultados obtidos sobre a utiliza o do Kinect em rela o ao mouse e teclado 73 Figura 7 4 Resultados sobre o Kinect em rela o ao mouse e teclado Muito Mais Mais Dif cil Mais f cil Muito Mais Dif cil F cil Fonte Pr prio autor Os dados colhidos foram conclusivos e mostraram que a adapta o foi mais dif cil para 92 31 e muito mais dif cil para 7 69 dos estudantes Por m vale ressaltar que mouse e teclado s o interfaces padr o ou seja a maioria das pessoas j est acostumada Para descobrir a satisfa o dos estudantes em rela o ao reconhecimento de gestos a quinta quest o foi a seguinte Avalie o reconhecimento de gestos no Sistema ITV A Figura 7 5 exibe os resultados da satisfa o sobre o reconhecimento de gestos Figura 7 5 Satisfa o sobre o reconhecimento de gestos atrav s do Kinect Insatisfat rio Pouco Satisfat rio Muito Satisfat rio Satisfat rio Fonte Pr prio autor 74 Os resultados obtidos mostraram que o reconhecimento de gestos foi avaliado como satisfat rio ou muito satisfat rio por 84 61 dos entrevistados Assim pode se considerar que a metodologia utilizada no reconhecimento dos gestos apresentou uma boa aceita o A sexta quest o
23. a essa sa ado 19 Se SISTEMA TV A O AR 22 3 1 CONSTRU O DE DMA ta do 22 3 2 APERFEI OAMENTOS RECENTEG c cccsssccsscesscesssessnsceeseseneesssceeseeessesseneees 27 4 KINECTE DIW is A Heke iad 30 LA KRINEC Tr gs fds SS SA SR DS ee ea neteaaes 30 4 2 DYNAMIC TIME WARPING costras ocn ag asia adiadas asda 36 5 PROJETO E IMPLEMENTA O 000 ccccccsssssessssssesessssseescsssesescsssesucsssesesieseseeess 39 5 1 RECONHECIMENTO DE GESTOS asesstesinaascetestenrdis santana eddie 39 SA1 NOTMANZA O 6 as ap A A a ee a rea eae 39 5 1 2 Detec o de Movimentos ssoesiscosspresesnsnacacaca paso brain rca bnsp oa adro ago po nadaa ganda aad 40 5 1 3 Hierarquia de Reconhecimento ooooooooooooononononnononnnonononononononnnnnnnnnononnnnnnnnos 45 5 2 CONTROLE DA INTERFACE a anes oa tases ene ae ees 46 5 2 1 Cursor do MOUSE oi 47 5 2 2 Clique do Mouse ois ia aid i 50 5 3 NAVEGA O NO AMBIENTE 51 5 4 INTEGRA O DO KINECT AO SISTEMA ITV eee 56 SAL Classes e Bibliotecas ss RT eS 56 5 4 2 Interface Gr fica in 57 SAS RUNCIONAME NTO asia cane si ate Sie RE ns E 59 6 ESTUDO DE CASO us irs a aac Aa 62 6 1 ITV DE TESTE E AVALIA O us a 62 7 ANATIACAO e a a di ga iaa ti 70 TI RESULTADOS coradon vate lds edandindated ss Glaaiedadal r Ta a AEE dis 70 8 CONCLUS O E TRABALHOS FUTUROS eee 76 REFER NCIAS oracao cora an cia nt ude NO 78 AP NDICE A QUESTION RIO DE SATISFA O 84
24. amostras e os modelos a serem comparados estivessem em uma mesma escala num rica Em seguida descrevem detalhadamente o algoritmo Dynamic Time Warping sua l gica e suas condi es caracter sticas Por fim apresentam os experimentos realizados e os resultados obtidos onde o m todo proposto pelos autores teve um ndice m dio de acerto de 95 no conjunto de testes Concluem ent o que algumas restri es permanecem por exemplo a n o varia o do ponto de vista ou seja o m todo s efetivo se o usu rio estiver de frente para o 21 sensor Al m disso preciso investigar solu es para a segmenta o temporal pois o tempo de reconhecimento pr definido e assim a automatizac o deste processo um trabalho futuro 22 3 SISTEMA ITV Segundo a defini o de Chiavenato 1985 Treinamento o processo educacional aplicado de maneira sistem tica e organizada atrav s do qual as pessoas aprendem conhecimentos atitudes e habilidades em fun o de objetivos definidos Este processo educacional proporciona benef cios quanto ao mercado de trabalho quanto ao pessoal em servi o e quanto empresa como um todo MILKOVICH 2000 Desta forma o treinamento de fundamental import ncia para o sucesso de uma organiza o sendo uma experi ncia que produz uma mudan a permanente em um indiv duo e que melhora a sua capacidade de desempenhar um determinado cargo VOLPE 2009 Por essas raz es o S
25. ar a aceitac o ou rejeig o deste trabalho Esta pesquisa foi realizada com treze estudantes de 20 28 anos da Universidade Federal do Par ou seja n o s o usu rios finais do Sistema ITV Os entrevistados realizaram a navega o pelo ambiente da subesta o el trica e em seguida seguiram os procedimentos da ITV criada para testar e avaliar o dispositivo Esta ITV foi detalhada no cap tulo 6 Neste caso os estudantes responderam o question rio que consta no Ap ndice A desta disserta o Este question rio constitu do por 7 quest es com respostas de m ltipla escolha e no fim uma campo para observa es diversas 7 1 RESULTADOS A primeira quest o tratava do grau de familiaridade com o Sistema IT V A Figura 7 1 exibe os resultados obtidos Figura 7 1 Grau de familiaridade com o Sistema ITV Nenhum Pouco Familiar Familiar Muito Familiar Fonte Pr prio autor 71 Dentre os estudantes avaliados uma parte apresentava familiaridade com o Sistema ITV e outra parte o desconhecia Pode se perceber que mais da metade dos entrevistados 53 85 nao possu a familiaridade alguma com o sistema Para descobrir a satisfa o dos usu rios em rela o ao controle de interface foi feita a seguinte quest o Avalie o controle de interface do Sistema ITV atrav s do Kinect A Figura 7 2 exibe os resultados obtidos da satisfa o sobre o controle de interface Figura 7 2 Sa
26. as Bibir Configura es DSO CO AHH Em OAD PESE TELE ESG 12 0 4 8 NN en AN AAA AA INSTRU O TECNICA OPERA O VIRTUAL DISIUNTORES MERLIN OU TNFR ASA MO Di Fonte Proprio autor 30 4 KINECT E DTW Neste cap tulo ser apresentado o sensor Kinect utilizado para o rastreamento e aquisig o de dados do corpo do indiv duo Em seguida ser mostrada uma introdug o sobre o algoritmo Dynamic Time Warping DTW utilizado para a compara o entre padr es de movimento 4 1 KINECT Kinect um dispositivo criado pela empresa Microsoft dispon vel para os usu rios a partir de Novembro de 2010 que possibilita rastrear e identificar o corpo humano sem o aux lio de nenhum marcador ou objeto junto a pessoa Para isso utiliza se uma camera Red Green and Blue RGB uma camera de profundidade um emissor de infravermelhos IR quatro microfones alinhados atrav s de sua estrutura e ainda conta com um servo motor e um aceler metro interno KINECT 2012 A Figura 4 1 mostra o dispositivo Microsoft Kinect e seus componentes Figura 4 1 Microsoft Kinect e seus componentes IR Emitter Color Sensor IR Depth Sensor Tilt Motor Microphone Array Fonte KINECT 2012 A c mera RGB respons vel por fornecer as imagens coloridas e as informa es do esqueleto rastreado nas dimens es vertical e horizontal eixos Y e X respectivamente J a 31 camera de profundidade que nada
27. ceitos sobre as tecnologias envolvidas e apresentar trabalhos semelhantes a este bem como mostrar a import ncia dessas tecnologias na busca de novas formas de intera o com o computador Foi abordado com mais detalhes o Sistema ITV e apontado os aperfei oamentos recentes Em seguida foi explicado o funcionamento do sensor Kinect suas vantagens e desvantagens em rela o a outras NUT s al m de introduzir conceitos e defini es matem ticas sobre o algoritmo de compara o de curvas o DTW No desenvolvimento da disserta o foram detalhados o projeto e implementa o da integra o entre o Kinect e o Sistema ITV em seus tr s modos de funcionamento Como resultado pr tico foi mostrada a execu o de uma Instru o T cnica Virtual IT V elaborada especialmente para testar e avaliar a intera o com o sistema por meio do Kinect Por fim foram apresentados resultados obtidos atrav s de pesquisa de satisfa o realizada com treze estudantes da UFPA Esses resultados foram apresentados em forma de gr ficos quantitativos esclarecendo melhor os dados obtidos Os objetivos deste trabalho foram alcan ados com sucesso pois foram implementados o controle da interface a navega o pelo ambiente e o reconhecimento de tr s gestos atrav s do sensor Kinect Al m disso os resultados obtidos foram em geral considerados satisfat rios Contudo ajustes e melhorias precisam ser realizados at o ponto de sua vers o final estabil
28. com Fonte KINECT 2012 Inicialmente o Kinect foi projetado para servir como uma interface para jogos do console Xbox por m com uma tecnologia t o inovadora pouco tempo se passou at que uma comunidade de desenvolvedores de software criasse um modo de utilizar o dispositivo atrav s do computador Em Dezembro de 2010 surgiu o primeiro Software Development Kit SDK para Kinect em uma vers o n o oficial OPENKINECT 2012 Em seguida come aram a surgir softwares que atribu am ao Kinect as mais diversas funcionalidades n o somente um controle para jogos VILLAROMAN ROWE e SWAN 2011 A Microsoft percebeu o potencial de seu dispositivo como uma interface com o computador e em Junho de 2011 lan ou a vers o beta oficial o Kinect for Windows SDK gr tis para usos n o comerciais com suporte t cnico e manual de desenvolvimento KINECT 2012 Neste trabalho foi utilizada a vers o 1 6 do Kinect for Windows SDK onde poss vel manipular todos os dados obtidos pelo Kinect de forma simples e intuitiva A Figura 4 3 exibe a arquitetura b sica da intera o de hardware e software com a aplica o 33 Figura 4 3 Interac o de hardware e software com a aplicac o Sensor Array Image Stream Creres ad Stream NUI Library me Audio Stream Fonte KINECT 2012 A partir do momento que rastreia o corpo de um indiv duo o Kinect passa a considerar um esqueleto com 20 pontos chave conhecidos como Joints A
29. com compress es e expans es em determinados pontos NIELS 2004 conforme mostra a Figura 4 9 Figura 4 9 Compara es de curvas entre a dist ncia Euclidiana e DTW Dynamic Time Warping Matching Fonte WIKIMEDIA 2013 Para a semelhan a entre dois padr es ou duas curvas serem calculadas o algoritmo DTW cria uma matriz para armazenar a dist ncia euclidiana de um ponto do padr o de entrada para todos os outros pontos do padr o de refer ncia Com os valores da matriz resultante calculado o melhor caminho ou seja o caminho mais curto de uma ponta a outra KEOGH e PAZZANI 1999 Para a realiza o deste c lculo o primeiro ponto deve necessariamente iniciar emp 1 1 e terminar no ponto p N M da matriz sendo 38 associado um custo a cada ponto A distancia total entre os vetores comparados sera a soma dos custos de cada ponto existente no caminho alcan ado pelo algoritmo sendo que este caminho dever ser aquele em que a soma dos custos dos pontos seja minimizada ALMEIDA 2010 A Figura 4 10 mostra um exemplo de comparac o de duas curvas por DTW Figura 4 10 Exemplo de comparac o de duas curvas por DTW Tr Hit test er Fonte JEHAN 2005 Matematicamente o caminho de alinhamento constru do pelo DTW uma sequ ncia de pontos p p P2 Pr com py p py 1 N X 1 M paral 1 K que deve satisfazer os seguintes crit rio SENIN 2008 e Condi o
30. comete um erro e a pr ativa consiste em explica es sobre diferentes aspectos de manobras e equipamentos el tricos O sistema proposto possui tr s fun es principais que permitem que o operador aprenda 1 como ver a apar ncia topologia e localiza o f sica dos equipamentos el tricos 2 como operar local e remotamente disjuntores interruptores dentre outros e 3 como operar a subesta o e ver seus efeitos no SGI Simulator a fim de seguir corretamente os procedimentos de opera o estabelecidos Os autores concluem que o desenvolvimento do PDA demonstrou ser vi vel para a empresa Iberdrola devido ao seu baixo custo utilizando a arquitetura de RV do tipo desktop 2 1 2 Utilizando NUI s Em seu trabalho Fonseca 2013 faz uso do Sistema IT V para implementar o controle de interface navega o e reconhecimento de gestos utilizando um dispositivo criado pela empresa Nintendo denominado Wii Remote Controller NINTENDO 2013 A proposta do trabalho se assemelha desta disserta o e o intuito futuro comparar os dois dispositivos para verificar quais vantagens e desvantagens de ambos O Wii Remote Controller um dispositivo com comunica o sem fio Bluetooh que possui diversos bot es led s c mera acoplada rumble vibrador speaker caixa de som mem ria interna e aceler metros O bot es led s rumble speaker podem ser configurados para exercer as funcionalidades que o desenvolvedor necessite A mem r
31. de contorno p 1 1 ep N M Ou seja o in cio e o fim do caminho devem ser o primeiro e o ltimo ponto da sequ ncia respectivamente e Condi o de monotonicidade n lt np lt lt nem lt Mz S S mp Essa condi o preserva a ordem dos pontos em rela o ao tempo ou seja o caminho n o pode possuir um trajeto em que volte no tempo e Condi o de continuidade p p 1 1 1 0 0 1 Este crit rio exige que o caminho gerado seja continuo ou seja um ponto esta necessariamente ligado a um ponto adjacente na sequ ncia 39 5 PROJETO E IMPLEMENTA O Neste cap tulo ser o mostrados em detalhes o projeto e implementa o do Kinect no Sistema ITV para o reconhecimento de gestos controle da interface e navega o no ambiente 5 1 RECONHECIMENTO DE GESTOS A escolha do Dynamic Time Warping para o reconhecimento de gestos deve se aos resultados satisfat rios obtidos por Gon alves et al 2012 e Doliotis et al 2011 Estes estudos utilizam a mesma metodologia Kinect com DTW onde as taxas de reconhecimento se aproximam em m dia dos 90 de acerto Al m disso a t tulo de compara o com os resultados obtidos por Fonseca 2013 com o Wii Remote Controller foi utilizada a mesma t cnica e dois movimentos semelhantes Os tr s gestos a serem reconhecidos s o os movimentos de chave de boca chave de fenda e martelo O movimento de chave de boca consiste em estender a m o frente ao corpo
32. de fenda A A cc ns lm Arquivo Nega o Fermentas Este Confgur es USBBRO OO AHH m aa ORF La s Ag eS fotos So Rg Se a Utilizar uma chave de fenda parma remover o parafuso de bho q Gyei o do contato fixo Selecione a chave de fenda Fonte Pr prio autor Este passo requer a sele o da chave de fenda com o cursor do mouse para que o procedimento siga adiante Atrav s do controle de interface implementado poss vel selecionar a chave de fenda por meio de movimentos com as m os direita e esquerda A Figura 6 3 mostra o usu rio utilizando o controle de interface para a sele o da chave de fenda Figura 6 3 Controle de interface para a sele o da chave de fenda E x Fonte Pr prio autor 64 A Figura 6 4 mostra um passo com transi o de Movimento onde preciso que o usu rio fa a o gesto de utiliza o de chave de fenda para que seja dada continuidade a ITV Figura 6 4 Passo com transi o de Movimento de chave de fenda Arquivo Naves a ae L t p ARO COALS ot he AOne ba oa ys fia da 5 O Rag Sa Efetuar movimento Fonte Pr prio autor A Figura 6 5 exibe o usu rio simulando o movimento de chave de fenda Figura 6 5 Simulac o de movimento de chave de fenda P il gt lt r Fonte Pr prio autor 65 A Figura 6 6 mostra um passo Condicional onde necess rio que o usuario selecione o martelo para que a ITV siga em f
33. e recolh la junto ao corpo em uma leve curvatura aberta em rela o ao tronco A movimenta o da chave de fenda feita estendendo a m o frente ao corpo e rotacionando a no sentido hor rio Por fim o gesto que representa a movimenta o de martelo consiste em com o cotovelo im vel erguer e baixar a m o at a altura do ombro por duas vezes Todos os gestos devem ser executados com a m o direita 5 1 1 Normaliza o O sensor Kinect trabalha com valores reais de 1 0 1 0 fx R 1 0 lt x lt 1 0 nos eixos X e Y indicando os limites que a c mera consegue capturar e de 0 8 4 0 x R 0 8 lt x lt 4 0 no eixo Z indicando a dist ncia real em metros Se por exemplo um gesto tido como modelo de refer ncia feito na regi o positiva de X e Y for comparado com um movimento id ntico feito na regi o negativa de X e Y o resultado ser um reconhecimento inv lido pois para o algoritmo DTW os valores por mais que sigam o mesmo padr o s o muito diferentes 40 Portanto foi criado um m todo que normaliza todos os padr es coletados pelo Kinect para que o usuario possa executar seu movimento em qualquer lugar do ambiente desde que seu corpo esteja sendo rastreado Este m todo faz a diferenciag o sequencial entre os elementos de um vetor unidimensional e retorna o vetor resultante com um elemento a menos As Equa es 5 1 e 5 2 ilustram um exemplo de normaliza o de um vetor Equa o 5
34. e do aprendizado atrav s do KIN Ct ooonnnonccccnnococccnnnnonnnnno 75 LISTA DE TABELAS Tabela 4 1 Especifica o dos componentes do Kinect 32 Tabela 5 1 Sa da do DTW para movimento de martelo na articula o da m o 41 Tabela 5 2 Limiares definidos a spusas ins ias ia Sa 42 Tabela 5 3 Teste da quantidade de valores por padr o cccccccnnnnonocccnnonnnononanannnnnnnncnnnnnnnnns 43 Tabela 5 4 Resultado do teste de Iicrar qua avs sicictysassiscussisdeacaadadanvsstnteasaauesadsasieaseranisiadenteanse 46 Tabela 5 5 Resultado da vallan iii 46 Tabela 5 6 Equival ncia entre fun es e interfaces de entrada ooonooccccnnnoocnncnnnonncnnonannnnnnns 55 LISTA DE EQUACOES Equa o IL VOTO AAA A BROS ea GA BS REA REF 40 Equa o 5 2 Vetor normalizado viii 40 Equa o 5 3 Filtro passa Daixas sas nas sara Sins a aa ESA a Sa 49 SUMARIO 1 INTRODU O as a eae ak da O a he a da 12 LA OBJETIVOS irre poke vines SUASSUNA dat 14 1 1 1 Objetivo Gerli dees aaa is aa sd 14 1 1 2 Objetivos Espec ficos 5c os cic wash Ati GR a MUA 14 12 COMPOSI O maine de dea ctee epee lens Ad aad 14 2 TRABALHOS CORRELATOS cura diia 16 2 1 TREINAMENTO VIRTUAL asas R alan E EE nee ad aka 16 2 1 1 Subesta es EJ LIICAS ooooonoccconocccononocoonnccnonononononcnononononononononcnonnenanonenons 17 2 1 2 Utilizando NULS SRA ai RE ES RO dO 18 22 SIN BOL COM DIW sitiar ad
35. e implementa o clique do mouse mouse_event MOUSEEVENTF_LEFTDOWN MOUSEEVENTF_LEFTUP 0 0 0 0 Rein cio do contador contador mouse 0 Fonte Pr prio autor 51 5 3 NAVEGA O NO AMBIENTE Na execu o de uma ITV h a possibilidade de a qualquer momento pausar a anima o e navegar livremente pelo ambiente virtual atrav s de mouse e teclado Essa navegac o consiste basicamente na translag o e rotag o da c mera de cena renderizada pelo motor gr fico Ogre3D Isso permite que a visualiza o de ambientes ferramentas e equipamentos seja melhor Foi desenvolvida uma navegac o pelo ambiente por meio do rastreamento da posig o das m os pelo sensor Kinect Definiu se que a m o esquerda do usu rio controla a posi o da c mera nas tr s dimens es substituindo o teclado e a m o direita controla a rota o da c mera ou seja para qual dire o a c mera deve apontar substituindo o mouse Foram determinadas regi es de rastreamento do mesmo modo que a Figura 5 4 se o 5 2 1 deste cap tulo para ambas as m os A Figura 5 7 ilustra do ponto de vista do Kinect os poss veis movimentos da m o esquerda para a transla o da c mera em coordenas referentes ao sistema de eixos do Ogre3D Figura 5 7 Movimentos para transla o de c mera no Sistema ITV X Fonte Pr prio autor 52 Portanto se a m o esquerda se movimentar pela regi o em verde eixo Z a o da c mera ser
36. e implementation of navigation in the virtual environment gesture recognition and interface control able through the Kinect device in the ITV System a system for training operators and maintainers of hydroelectrics and electrical substations In addition it shows some recent improvements such as conversion of a ITV on a video file audio and visual alarms ambience sound in three dimensions and narration of the process Besides presenting the ITV System are exposed to the Kinect device and the algorithm used to compare patterns of movement the DTW Then this work explains in detail the design and the implementation of the navigation the interface control and the gesture recognition As a case study it displays a Virtual Technical Instruction ITV designed especially to test and evaluate the new proposed interface Subsequently this work presents satisfactory results obtained through the analysis of qualitative questionnaires applied to the students of the Federal University of Para Finally considerations for this study and ideas for future work are made KEYWORDS Virtual Reality Vitrual Training Gesture Recognition Kinect LISTA DE ILUSTRACOES Figura 3 1 Manual t cnico da Caixa de Mola oooooocccnnnnoocnccnononnnnnnnnonnncnnnnonnnnnnnnnnnnnn cnn nancnos 23 Figura 3 2 Foto real da Caixa de Mola veia 23 Figura 3 3 Procedimento de desmontagem no Sistema ITV 24 Figura 3 4 Interface do Sistema ITV Linhas d
37. e por melhorar a capacidade de imers o no sistema e promovendo uma interface natural para navega o e intera o com o ambiente virtual BARTOLI et al 2012 Essas vantagens na intera o com o ambiente levaram o Kinect a ser escolhido para ser testado e avaliado no Sistema ITV 14 1 1 OBJETIVOS 1 1 1 Objetivo Geral Integrar o dispositivo Kinect ao Sistema ITV a fim de melhorar a forma de interag o entre o usu rio e o sistema 1 1 2 Objetivos Espec ficos e Desenvolver a navega o no ambiente virtual atrav s de movimentos com as m os e Reconhecer gestos pr definidos que simulam a utiliza o de ferramentas e Controlar a interface por meio da movimenta o das m os e Analisar a aceita o da nova interface proposta atrav s de question rios respondidos por estudantes da UFPA 1 2 COMPOSI O Al m deste cap tulo de introdu o que descreveu resumidamente o objetivo do trabalho e a motiva o de sua realiza o existem ainda 7 cap tulos O cap tulo 2 apresenta trabalhos correlatos de treinamento virtual a utiliza o de NUI s em treinamentos e o dispositivo Kinect trabalhando junto ao DTW Ser o analisadas as vantagens e desvantagens a t tulo de compara o com o Sistema IT V ao fim desta disserta o O cap tulo 3 discorre sobre o Sistema ITV onde ser o detalhadas algumas caracter sticas e funcionalidades necess rias para o entendimento do trabalho bem como melhorias recentes que con
38. e um prot tipo de ferramenta para simular o exame de pun o aspirativa da mama Este sistema foi implementado em Java utilizando a Application Programming Interface API Java 3D JAVA 2012 tendo o MySQL MYSQL 2012 como suporte para o banco de dados e imagens e o aplicativo 3DS Max MURDOCK 2007 CLINTON 2007 para a modelagem dos objetos 3D utilizados no prot tipo 17 Foram modelados tridimensionalmente os seios e as seringas utilizadas no processo de punc o e foi criado um banco de dados que manipulavam dados dos pacientes e das imagens disponibilizadas nos casos inclu dos na ferramenta O treinamento consistia em analisar os dados do paciente e localizar nas imagens o n dulo e onde a agulha deveria penetrar para efetuar a pun o aspirativa Os autores concluem que o prot tipo pode oferecer a pr tica aos m dicos rec m formados e como melhora sugeriram a utilizac o de dispositivos h pticos ou seja dispositivos que possam simular a posi o e a press o da pun o entre outras caracter sticas 2 1 1 Subesta es El tricas Na rea da engenharia mais especificamente em subesta es el tricas o trabalho Quintana e Mendonza 2009 apresenta uma metodologia que tem sido desenvolvida e implementada com sucesso na maneira de criar modelos virtuais completos para subesta es Os autores descrevem diferentes est gios no processo de modelagem mostrando como t m enfrentados os problemas para representar objetos
39. eep igual de 1000 Hz por 0 05 segundos e caso o gesto seja inv lido emitido um alerta sonoro mais grave com uma frequ ncia de 400 Hz durante 0 05 segundos Para melhor compreender o funcionamento interno do sistema e as novas fun es implementadas a Figura 5 15 apresenta um diagrama de atividades da integra o do Kinect ao Sistema ITV Figura 5 15 Diagrama de atividades Fonte Proprio autor 61 62 6 ESTUDO DE CASO Nesse cap tulo ser mostrada como estudo de caso uma instru o t cnica virtual elaborada com o objetivo de testar e avaliar a navega o o controle da interface e o reconhecimento de gestos atrav s do sensor Kinect 6 1 ITV DE TESTE E AVALIA O Esta ITV foi composta de poucos passos por m que fizessem uso de transi es condicionais e de movimento para que o usu rio utilizasse o Kinect simulando o mouse e simulando movimentos das ferramentas Al m disso foram carregados todos os modelos de uma subesta o el trica para que o indiv duo pudesse navegar livremente e conhecer melhor o ambiente virtual A Figura 6 1 ilustra a navega o pelo ambiente virtual atrav s do Kinect Figura 6 1 Navega o no ambiente atrav s do Kinect Fonte Pr prio autor A Figura 6 2 exp e um passo Condicional onde necess rio que o usu rio selecione uma chave de fenda para prosseguir com o procedimento 63 Figura 6 2 Passo com transic o Condicional de selec o da chave
40. elementos da sequ ncia de forma intercalada e peri dica por exemplo na sequ ncia de a 10 s o selecionados apenas os elementos pares A Tabela 5 3 mostra os resultados dos testes com novas 20 amostras para o movimento de martelo da m o 43 Tabela 5 3 Teste da quantidade de valores por padr o Quantidade de valores por padrao Acertos 60 30 20 10 Fonte Proprio autor Por reduzir pela metade a quantidade de valores por padr o e mesmo assim continuar com o maior ndice de acertos foi definida a quantidade de 30 valores por amostra Com esta alterag o o conjunto de dados utilizados por amostra se tornou 270 e o atraso na resposta de reconhecimento do gesto foi inferior As Figuras 5 1 5 2 e 5 3 mostram gr ficos da movimenta o de martelo nos tr s eixos de cada articula o Figura 5 1 Gr fico dos dados da m o M o Martelada 25 T T T T T Eixo X Eixo Y Eixo Z Valor Aquisitado 05 05 1 1 1 0 5 10 E 15 20 25 30 Indice do Ponto Fonte Pr prio autor 44 Figura 5 2 Grafico dos dados do pulso Pulso Martelada 25 T T T T T Eixo X Eixo Y Eixo Z a ee eee e Valor Aquisitado 05h 7 05 1 L 1 1 1 0 5 10 15 20 25 30 ndice do Ponto Fonte Pr prio autor Figura 5 3 Gr fico dos dados do cotovelo Cotovelo Martelada 25 T T T T T Eixo X Eixo Y Eixo Z we NNE
41. em frente Neste momento fim do passo onde a transi o de Movimento o sistema sai do modo de controle de interface entra no modo reconhecedor de gestos e aguarda o gesto ser executado Ap s a movimenta o correta o sistema retorna ao controle de interface Para isso foi preciso implementar tr s m todos um verificador de tipo de passo um verificador de tipo de movimento e um sinalizador de gesto reconhecido Assim ao fim de cada passo com transi o de Movimento o Sistema IT V aguarda uma resposta do sinalizador de gesto reconhecido Foi definido que o gesto deve ter 2 segundos e deve ser executado quando o cone do Kinect escurecido ou seja ativo Este cone tem sua apar ncia alternada de ativo para inativo a cada 2 segundos durante o reconhecimento de gestos Al m disso foram implementados alertas sonoros ou beeps por dois motivos facilitar a identifica o do tempo correto de se executar o gesto e fornecer um feedback de erro ou de acerto do gesto Os beeps s o uma solu o alternativa para o fato de que n o existe nenhum objeto ou controle junto ao corpo o que poderia resultar em um feedback oriundo deste pr prio objeto No in cio do reconhecimento ou seja no tempo O segundo o alerta sonoro um som com uma frequ ncia de 1000 Hz durante 0 1 segundos No fim do reconhecimento ou seja no tempo igual a 2 segundos existem duas possibilidades caso o gesto seja considerado correto o sistema emite um b
42. entro de Forma o de Operadores Florestais CENFOR do Departamento de Engenharia Florestal da Universidade Estadual do Centro Oeste UNICENTRO em Irati Paran A popula o pesquisada foi composta por 39 trabalhadores de diversas empresas florestais sem experi ncia em harvester que receberam treinamento com carga hor ria de 40h em simulador de realidade virtual Foram avaliados diferentes m dulos operacionais e os resultados obtidos pelos autores indicaram que o simulador reduziu o tempo de aprendizado sendo o melhor desempenho adquirido no in cio do treinamento melhorou significativamente o desempenho dos operadores no decorrer do treinamento e mostrou que a carga hor ria de 40h foi suficiente para a obten o de resultados satisfat rios O melhor desempenho dos operadores ocorreu com a vari vel produtividade cujo ganho m dio foi de 41 3 em rela o ao in cio do treinamento seguido pelo tempo de execu o com 38 8 e pela dire o de queda com ganho m dio de 36 1 Concluem ent o que o simulador mostrou ser uma ferramenta de treinamento de grande efici ncia no aprendizado e na forma o do operador com vantagens no menor custo de treinamento e na redu o do tempo de aprendizado Na rea da medicina o trabalho desenvolvido por Lima et al 2004 apresenta o prot tipo de uma ferramenta baseada em caracter sticas de RV para contribuir com o treinamento de procedimentos cir rgicos atrav s da implementa o d
43. es foram encontradas para os eixos X Y e Z as m dias de 0 398 0 918 e 0 813 respectivamente O mesmo processo foi estendido para as outras articula es e para os 42 outros gestos a fim de se obter todos os limiares ideais A Tabela 5 2 exibe os limiares encontrados de todas as articula es em seus respectivos eixos Tabela 5 2 Limiares definidos Movimento Articulac o Eixo X Eixo Y Eixo Z M o 0 398 0 918 0 813 Martelo Pulso 0 412 0 877 0 628 Cotovelo 0 357 0 482 0 539 M o 0 443 0 298 0 419 Chave de Fenda Pulso 0 449 0 303 0 530 Cotovelo 0 576 0 514 0 583 M o 0 510 0 289 0 742 Chave de Boca Pulso 0 662 0 355 0 783 Cotovelo 0 458 0 179 0 674 Fonte Pr prio autor Para o reconhecimento completo de um gesto necess rio que o algoritmo DTW seja executado 9 vezes ou seja 3 vezes para cada eixo de cada uma das 3 articula es Portanto mesmo que o DTW seja m todo direto percept vel um pequeno atraso na resposta O tempo definido para a realiza o de cada gesto de 2 segundos e o Kinect fornece informa es 30 vezes por segundo Sendo assim s o 60 dados em cada eixo de cada articula o totalizando 540 dados a serem manipulados por amostra Visando diminuir o atraso no tempo de reconhecimento foi realizado um ajuste na quantidade de dados aquisitados alterando o n mero de valores em cada padr o Neste ajuste manteve se o aspecto correto da curva ignorando alguns
44. ferem maior grau real stico ao sistema O cap tulo 4 explica o dispositivo Kinect seus componentes suas vantagens e desvantagens o modo como reconhece os movimentos dentre outros aspectos Al m disso neste cap tulo mostrado o funcionamento do algoritmo Dynamic Time Warping suas defini es te ricas e propriedades matem ticas No cap tulo 5 tem se o projeto e implementa o do Kinect no Sistema ITV bem como a metodologia aplicada para o reconhecimento de gestos e o funcionamento do controle da interface e da navega o no ambiente virtual 15 O cap tulo 6 exibe como estudo de caso uma instru o t cnica virtual elaborada especialmente para teste e avaliac o da NUI integrada ao sistema O cap tulo 7 apresenta a avalia o e comenta os resultados obtidos atrav s de question rios qualitativos aplicados a estudantes da UFPA No cap tulo 8 s o tecidas as conclus es e expostas id ias de trabalhos futuros para o Sistema ITV 16 2 TRABALHOS CORRELATOS Neste cap tulo ser o mostrados alguns trabalhos de treinamento virtual com e sem a utiliza o do Kinect sendo que em alguns desses trabalhos utiliza se a metodologia DTW para reconhecimento de gestos 2 1 TREINAMENTO VIRTUAL No artigo de Lopes et al 2008 os autores avaliam o treinamento de operadores de harvester tipo de ve culo pesado para o corte de rvores com uso de simulador de realidade virtual Este trabalho foi conduzido no C
45. fica com mem ria dedicada e um processador atualizado para que o software possa ser executado sem dificuldades A solu o encontrada sugerida por Barata 2010 foi transformar a simula o de todo o procedimento da ITV com todas suas caracter sticas gr ficas em v deo onde o formato o Audio Video Interleave AVI Este formato atualmente um dos mais utilizados na reprodu o de v deos em computadores e outros dispositivos reprodutores de m dia Esta solu o foi desenvolvida atrav s da inser o do FFmpeg uma biblioteca completa livre e multiplataforma para convers o de udio e v deo FFMPEG 2013 Dentro do Sistema ITV essa API tem como finalidade a captura e armazenamento da cena em uma quantidade pr configurada de quadros por segundo e em seguida a convers o dos quadros armazenados em um arquivo de v deo Com essa melhoria torna se poss vel que uma ITV seja reproduzida em qualquer computador ou at mesmo em outros dispositivos como DVD s celulares e tablets possibilitando inclusive a reprodu o de instru es t cnicas virtuais nos trabalhos em campo Foram realizados tamb m alguns aperfei oamentos envolvendo udio A API utilizada para a manipula o de som foi a FMOD uma biblioteca de programa o e um 28 conjunto de ferramentas para a cria o e reprodu o de udio interativo que suporta os principais sistemas operacionais e plataformas de jogos FMOD 2012 Uma dessas me
46. fico dos dados do pulso iii a ti a 44 Figura 5 3 Gr fico dos dados do cotovelo cooooococnnnnoocnncnnooocnnnnnnnrncnnnnnnrnnnnnnannnnnncnannnnnno 44 Figura 5 4 Vis o da c mera no rastreamento da posi o dO MOUSE ccccccccnnnnononnnononcnonanannns 48 Figura 5 5 Algoritmo de controle do mouse errar 49 Figura 5 6 Algoritmo utilizado na fun o de clique do mouse 50 Figura 5 7 Movimentos para transla o de c mera no Sistema ITV 51 Figura 5 8 Regi o neutra de posicionamento da c mera 52 Figura 5 9 Movimentos para a rota o de c mera no Sistema ITV 000 0 ee eeeeeeeeeeeeneeees 53 Figura 5 10 Regi es de segmentadas para rota o da c mera 54 Figura 5 11 Possibilidades de movimenta o da c mera 55 Figura 5 12 cone do Kinect a inativo e b ativo 58 Figura 5 13 Caixa de di logo da configura o do passo iii 59 Figura 5 14 Caixa de di logo da lista de movimentos para transi o 59 Figura 5 15 Diagrama de atividades a iista asia did 61 Figura 6 1 Navega o no ambiente atrav s do Kinect non nancno 62 Figura 6 2 Passo com transi o Condicional de sele o da chave de fenda 63 Figura 6 3 Controle de interface para a sele o da chave de fenda 63 Figura 6 4 Passo com transi o de Movimento de chave de fenda ooocnnncoccccnnoooccnonnnonnnnnn
47. gestos retorne um falso positivo Para elucidar o fato toma se o exemplo da movimenta o de chave de fenda onde mesmo que a m o rotacione no sentido hor rio anti hor rio ou at mesmo permane a parada para o Kinect a articula o n o sofreu consider vel varia o de posi o Esta uma das vantagens do Wii Remote Controller implementado no Sistema ITV por Fonseca 2013 que conta com aceler metros de rota o nos tr s eixos 5 1 3 Hierarquia de Reconhecimento Como mencionado para o reconhecimento completo de um gesto necess rio que todos os padr es das articula es em todos os eixos retornem pelo algoritmo do DTW um n mero menor que os limiares estabelecidos Tendo em vista um reconhecimento mais preciso e r pido foi determinada uma hierarquia de articula es ou seja uma articula o depende da outra para ser verificada Foram testadas e verificadas com 15 novas amostras duas possibilidades de hierarquia com as 3 articula es trabalhadas A primeira possibilidade inicia se com a m o em seguida o pulso e por fim o cotovelo A segunda o caminho inverso A Tabela 5 4 mostra os resultados encontrados 46 Tabela 5 4 Resultado do teste de hierarquia M o gt Pulso gt Cotovelo 86 67 Cotovelo gt Pulso gt M o 86 67 Fonte Pr prio autor Esse resultado mostra que n o houve diferen a na precis o do reconhecimento dos gestos o que faz sentido pois se uma amostra dada como
48. ia o de uma larga estrutura que necessita de colabora o entre diferentes unidades de hospitais 2 2 KINECT COM DTW O artigo de Gon alves et al 2012 apresenta o desenvolvimento de uma metodologia para detectar automaticamente movimentos estereotipados de indiv duos com desordem do espectro autista ASD Neste trabalho utilizado o sensor Microsoft Kinect e o algoritmo DTW para o reconhecimento de gestos Os autores introduzem o trabalho explicando o m todo tradicional para a detecg o de ASD que feito com escalas de avaliac o em papel e caneta onde se observa repetidos movimentos Em seguida explicam que os sistemas desenvolvidos recentemente para detectar 20 comportamentos estereotipados t m utilizado aceler metros com algoritmos de identificag o de padr es por m para esse tipo de dispositivo necess rio que bra adeiras sejam colocadas no pulso Crian as com autismo podem resistir a este tipo de situa o Desta forma o Kinect pode suprimir essas desvantagens visto que n o preciso carregar nenhum dispositivo ou marcador junto ao corpo Durante o desenvolvimento do trabalho s o explicadas as vantagens e detalhes sobre o algoritmo utilizado e como foi implementado Em seguida os autores explicam que o sistema foi testado com cinco crian as com ASD com m dia de idade de 9 anos Por fim concluem que o sensor Kinect obteve um resultado positivo de 83 para ASD mas embora os resultados sejam pr
49. ia interna pode ser utilizada para gravar dados personalizados e os aceler metros fornecem as informa es de transla o e rota o necess rias para o reconhecimento de gestos A c mera acoplada utilizada em conjunto com uma barra emissora de infravermelhos pode detectar a posi o do controle em rela o ao televisor ou monitor ideal para controlar o cursor na tela Em Fonseca 2013 o algoritmo utilizado no reconhecimento dos gestos o Dynamic Time Warping e os gestos a serem reconhecidos foram o movimento de martelo e dois movimentos de chave de fenda sentido hor rio e anti hor rio Foi utilizado um conjunto com 20 amostras de cada movimento e destas foram tiradas a m dia assim formou se uma sequ ncia de valores padr o para cada gesto Por fim foi criado um conjunto com outras 25 amostras para teste O resultado obtido foi de 84 de acerto no movimento de martelo 72 no movimento hor rio e 92 no movimento anti hor rio O Wii Remote Controller e o algoritmo DTW foram implementados no Sistema ITV e o resultado final obtido mostrado 19 com uma ITV criada especialmente para a ocasi o onde a aceita o foi considerada satisfat ria No artigo de Bartoli et al 2012 apresentado um prot tipo de um sistema para simula o e treinamento virtual de m dicos e param dicos em situa es de emerg ncia de um caso mais comum como uma pessoa inconsciente no ch o at o extremo como um acidente de carro co
50. ias fun es para controle de interfaces com o usu rio como mouse e teclado 5 2 1 Cursor do Mouse Entre os m todos da API existe uma fun o que posiciona o mouse em um determinado local da tela atrav s de dois argumentos passados como par metros que representam os valores dos pixels horizontal e vertical respectivamente onde o cursor do mouse deve se situar Esta fun o foi sincronizada com o rastreamento da posi o horizontal e vertical da m o direita Por m para que seja poss vel acessar todos os pixels da tela preciso que seja feita uma normaliza o dos valores obtidos O Kinect retorna os valores dos eixos X e Y em um intervalo de 1 0 1 0 fx R 1 0 lt x lt 1 0 Desta forma o primeiro passo na normaliza o somar 1 unidade a cada valor coletado transformando o em um valor positivo Em seguida para facilitar a compreens o este mesmo valor dividido por 2 deste modo o n mero resultante est contido no intervalo de 0 0 1 0 fx R 0 0 lt x lt 10 Utilizando uma fun o de detec o da resolu o da tela poss vel configurar que os valores obtidos pelo Kinect representem os limites da tela Para isso basta passar para a fun o controladora do mouse a multiplica o do valor aquisitado pela resolu o da tela em seu respectivo eixo Terminado este ajuste o cursor do mouse pode ser posicionado por toda a tela atrav s do rastreamento da m o direita Ainda ass
51. im h uma dificuldade a ser enfrentada pois para que o usu rio atinja os quatro cantos da tela necess rio que a posi o da m o alcance os limites da c mera do Kinect o que pode significar um desafio O campo de vis o da c mera pode ser grande a depender da dist ncia do indiv duo em rela o ao dispositivo Deste modo foi definida uma regi o de rastreamento proporcional resolu o de tela detectada Esta rea ajustada restringindo se o espa o de rastreamento que manipula o mouse e em seguida s o feitos c lculos para que os limites da regi o definida sejam equivalentes aos da resolu o da tela A rea deliberada deve situar se ao lado direito do corpo entre o tronco e a cabe a A Figura 5 4 ilustra o rastreamento da m o direita do ponto de vista do Kinect para o 48 posicionamento do cursor do mouse referente ao n mero de pixels em um monitor com resolug o de 1280x768 px Figura 5 4 Vis o da c mera no rastreamento da posi o do mouse 1280 0 0 0 Fonte Proprio autor Como mencionado o Kinect capaz de fornecer informac es a uma taxa de 30 vezes por segundo ou seja 30 Hertz Hz Com essa frequ ncia de ajuste de posi o do mouse e sabendo que as informa es do Kinect podem ser s vezes ruidosas o cursor do mouse acaba n o estabilizando em uma posi o ou seja o ponteiro do mouse constantemente treme Isso pode dificultar consideravelmente a sele o de objeto
52. imentos para transi o Nessa lista constam os tr s gestos estabelecidos anteriormente Chave de Boca Chave de Fenda e Martelo O Sistema ITV atrav s do sensor Kinect deve ser capaz reconhecer e validar o movimento selecionado para que o procedimento possa avan ar A Figura 5 14 ilustra a interface da lista de movimentos para transi o Figura 5 14 Caixa de di logo da lista de movimentos para transi o E A Lista de movimentos para transi o a Selecione o movimento desejado Chave de Boca Chave de Fenda Martelo Fonte Pr prio autor 5 4 3 Funcionamento Ao iniciar o Sistema ITV o sensor Kinect ainda n o est ativo E preciso que o usu rio o fa a atrav s do cone do Kinect que escurece ap s pressionado Feito isso o 60 sistema passa a rastrear o corpo do indiv duo em seu funcionamento como simulador de mouse ou seja no modo controlador de interface Se em determinado instante o indiv duo decida pelo modo de navega o basta erguer os dois bra os altura dos ombros durante 1 5 segundos e caso decida sair basta que baixe um dos bra os retornando para o modo controlador de interface Os procedimentos executados pela ITV acontecem em passos sequenciais assim alguns passos requerem a intera o do usu rio para sua continuidade No fim dos passos em que a transi o de Movimento necess rio que o usu rio fa a o gesto escolhido para aquele passo a fim que a ITV siga
53. ine USR amp hO OO ASH mm sal SOA ta gt o a de es Bia wci 8 o a a o Es a Selecione a chave combinada Fonte Pr prio autor A Figura 6 11 exibe o usu rio utilizando o controle de interface pelo Kinect para selecionar a chave combinada Figura 6 11 Controle de interface para a sele o da chave combinada Fonte Pr prio autor 68 A Figura 6 12 ilustra o passo com transi o de Movimento de chave de boca ou combinada Figura 6 12 Passo com transic o de Movimento de chave de boca E mem Arquivo Navega o Feramentas Esibir Configura es O Dee O TET nda eI OA ta o a Se o oe 5 EEE ES o RRG Ba a Efetuar movimento Fonte Pr prio autor A Figura 6 13 mostra o usu rio executando o movimento de chave de boca Figura 6 13 Simulac o de movimento de chave de boca Fonte Pr prio autor 69 Vale ressaltar que a utiliza o do Kinect na maioria das vezes para instru es t cnicas de manuten o e n o instru es t cnicas de opera o Isso se d por n o haver a necessidade de simular o mouse e o teclado quando na pr pria empresa o procedimento feito no computador atrav s do SAGE e de outros sistemas gerenciadores 70 7 AVALIA O Neste capitulo ser o mostrados os resultados obtidos em uma pesquisa de satisfa o sobre o sensor Kinect como interface de entrada no Sistema ITV Com essa avalia o espera se quantific
54. io d Insatisfat rio 3 Avalie a navega o no ambiente virtual do Sistema ITV atrav s do Kinect a Muito Satisfat rio b Satisfat rio c Pouco Satisfat rio d Insatisfat rio 4 Comparado ao mouse e ao teclado a navega o no ambiente virtual atrav s do Kinect a Muito Mais F cil b Mais F cil c Mais Dif cil d Muito Mais Dif cil 5 Avalie o reconhecimento de gestos no Sistema ITV a Muito Satisfat rio b Satisfat rio c Pouco Satisfat rio d Insatisfat rio 85 6 Voc teve mais dificuldade no reconhecimento de algum gesto especifico Qual a Martelo b Chave de Fenda c Chave de Boca d Nenhum 7 Em sua opini o qu o interessante torna se O aprendizado mediante a interag o com Sistema ITV atrav s do Kinect a Muito Interessante b Interessante c Pouco Interessante d Desinteressante Observa es Opcional
55. istema de Autoria ITV foi desenvolvido para que qualquer procedimento possa ser criado modificado e repetido de forma a possibilitar o aprendizado do usu rio Para as empresas do setor el trico e at de outras reas este software pode ser de grande import ncia uma vez que possibilita que os operadores e mantenedores transformem a antiga instru o t cnica em papel para o novo modo sugerido ou seja convertam as apostilas de instru es t cnicas em arquivos digitais contendo essas simula es Este software foi desenvolvido utilizando recursos livres com o objetivo de redu o dos custos de produ o onde a linguagem de programa o adotada foi o C DEITEL e DEITEL 2009 auxiliada pelo motor gr fico Ogre3D JUNKER 2006 e pelo framework de interface Qt BLANCHETTE e SUMMERFIELD 2008 3 1 CONSTRU O DE UMA ITV Uma instru o t cnica virtual ITV o produto constru do a partir do Sistema de Autoria ITV A cria o de uma ITV pode ser dividida em tr s etapas Primeiramente realizado um levantamento de dados sobre os aspectos que cercam a instru o t cnica como o ambiente onde ser feita a manuten o ou a opera o as pe as que ser o manipuladas as ferramentas utilizadas a quantidade de mantenedores e os equipamentos de prote o utilizados Essa coleta de informa es feita atrav s de materiais t cnicos como manuais dos fabricantes plantas baixas da instala o desenhos t cnicos digitais f
56. ivo a b Fonte Proprio autor As anima es do Sistema ITV funcionam por meio passos de sequenciais Antes da modifica o feita na caixa de di logo de configura o de passos existiam tr s tipos de transig o Normal Fade Condicional A transi o Normal simplesmente avan a o passo sem nenhum efeito gr fico A transi o Fade escurece lentamente o fim do passo atual e clareia lentamente o in cio do passo seguinte geralmente utilizada em mudan as de ambiente A transi o Condicional se refere ao clique do mouse em algum objeto da cena atual ou seja o procedimento s progride se um objeto previamente estabelecido for selecionado normalmente este tipo de transi o utilizada para selecionar ferramentas ou pressionar bot es nas telas de gerenciamento do Sistema Aberto de Supervis o e Controle SAGE Desta forma foi adicionado um novo tipo de transi o denominado Movimento A transi o de Movimento segue o princ pio da transi o Condicional contudo n o a sele o do objeto que avan a o passo e sim o reconhecimento de um gesto estabelecido A Figura 5 13 mostra a caixa de di logo de configura o de passos modificada 59 Figura 5 13 Caixa de di logo da configurac o do passo Transic o para o pr ximo passo Normal Condicional Fade Fonte Pr prio autor Ao selecionar o tipo de transi o de Movimento abre se uma nova caixa de di logo com uma lista de mov
57. izada Em compara o com Fonseca 2013 os resultados alcan ados foram aproximados pois o trabalho com o Wii Remote Controller atingiu um ndice de 84 de acerto na movimenta o de martelo 72 no giro anti hor rio e 92 no giro hor rio J o trabalho desta disserta o alcan ou um ndice de 86 67 na movimenta o de martelo e 73 33 na movimenta o de chave de fenda equivalente aos giros hor rios e anti hor rios mencionados Um dos problemas enfrentados foi o retorno de falso positivos na movimenta o da chave de fenda pois como explicado o Kinect n o reconhece a rota o da m o somente a T11 posi o Outra dificuldade encontrada no reconhecimento de gestos assim como Doliotis et al 2011 observou foi o ponto de vista da c mera do Kinect onde necess rio que o indiv duo esteja sempre de frente para que o rastreamento de sua posi o seja timo Ao integrar o Kinect ao Sistema ITV uma enorme quantidade de implementa es poss vel At ent o o Sistema ITV conta com o reconhecimento de tr s gestos por m esta quantidade pode ser ampliada com uma forma de cria o autom tica de gestos dentro do pr prio sistema Deste modo o usu rio n o necessitaria ter o conhecimento de programa o para criar um novo gesto a ser reconhecido Pode se implementar tamb m um modo para a invers o das m os no rastreamento e no reconhecimento de gestos ou seja um modo para canhotos o que facilita
58. jamento e gest o de atividades recursos custos e datas e Efetiva o de padr es de qualidade produtividade e efetividade em suas atividades e produtos Esta documenta o de fundamental import ncia para prop sitos de futuras manuten es e aprimoramentos sendo indispens vel para uma r pida compreens o da estrutura de um aplicativo de m dio e grande porte Em sua ess ncia deve conter entre outros documentos com especifica es diagramas de classe e fluxo de dados PRESSMAN 2006 Apesar de ser uma etapa demorada e ma ante em um aplicativo de grande porte essencial para que as pessoas que n o o desenvolveram possam obter o completo entendimento do sistema Ap s v rias depura es do sistema e conversas informais com os desenvolvedores foi poss vel compreender as partes principais necess rias para a integra o do Kinect Desta forma foram importadas para o Sistema ITV as bibliotecas Kinect for Windows SDK e 57 Win h com as fun es respons veis pelo rastreamento do esqueleto e a manipula o do mouse respectivamente Al m disso foram criadas duas classes principais para o tratamento dos dados obtidos e Esqueleto Esta classe se integra ao Sistema IT V atrav s de par metros em seu m todo construtor o que permite a manipula o do sistema atrav s m todos executados por ela Esta classe cont m todas as fun es de obten o e tratamento de dados do Kinect como reconhecimento de gest
59. lhorias do sistema a inser o de udio 3D que confere uma sensa o de imers o no ambiente pois funciona relacionando o objeto ao som Assim ao aproximar ou afastar a c mera do objeto o som aumenta ou diminui respectivamente sua intensidade Do mesmo modo se este objeto est esquerda na cena h uma maior intensidade de som oriunda da sa da de udio esquerda Pode se entender o udio 3D como uma esp cie de som pontual na cena se adequando posi o do espectador assim este efeito pode garantir um maior grau de realismo nos treinamentos Esse aspecto multidisciplinar visual e auditivo tem sua import ncia destacada por Machado e Moraes 2010 Devido o sistema permitir a intera o com pe as bot es e telas durante a execu o de uma ITV esta nova fun o de udio permite tamb m que sejam adicionados alarmes sonoros relacionados s telas dos operadores ideais para simula o de erros em instru es t cnicas de opera o ITO s As telas utilizadas s o representa es fi is do Sistema Aberto de Supervis o e Controle SAGE 2012 Outra inova o que complementa os sons de alarmes a possibilidade de anima o em textura ou seja a modifica o da textura utilizada em tempo de execu o Assim os alarmes simulam um ambiente real de mau funcionamento de equipamentos com alarmes visuais e sonoros nas telas dos operadores A anima o de textura pode ser mais bem compreendida na Figura
60. m algumas pessoas machucadas Os autores iniciam o artigo frisando a import ncia do treinamento em situac es emergenciais onde a pr tica a chave para a manuteng o e O aprendizado das habilidades na medicina Em seguida citam importantes caracter sticas da categoria de treinamento m dico virtual como a possibilidade de repetir diversos cen rios complexos a um prego baixo sem que cause risco para os m dicos O prot tipo desenvolvido simula virtualmente os atendimentos necess rios para os primeiros socorros em um ambiente gr fico 3D Tamb m h um criador de cen rios que permite que os treinadores definam situa es complexas e variadas para manter os alunos focados no ambiente na condig o do paciente e nos monitores Os usu rios interagem com o reconhecedor de gestos Kinect que melhora a capacidade de imers o do sistema e prov uma interface natural de navega o e intera o com o ambiente virtual Em seguida os autores discutem alguns cen rios e estudos de caso mostram como s o a navega o e a intera o no sistema e fazem um breve resumo de como foi a aceita o dos m dicos usu rios do aplicativo Concluem ent o que a simula o na medicina tem melhorado bastante na fidelidade com a realidade e com a validade do treinamento contudo ainda existem algumas barreiras que justificam o ceticismo na ado o do sistema como um processo de treinamento A maior raz o desse atraso o custo e a log stica para cr
61. mais que um sensor de infravermelhos funciona em conjunto com o emissor IR que captura os valores de cada ponto provendo as informa es de profundidade do esqueleto eixo Z A Figura 4 2 mostra a orienta o de rastreamento dos eixos Figura 4 2 Orienta o dos eixos do Kinect Y Sensor Direction Y Fonte KINECT 2012 Os quatro microfones funcionando em conjunto s o capazes de promover uma sofisticada anula o ac stica de eco supress o de ru do e localiza o da dire o do som O servo motor utilizado para ajustar o ngulo de captura das c meras facilitando o enquadramento do corpo FRANCESE PASSERO e TORTORA 2012 Por fim o sensor Kinect cont m um aceler metro de tr s eixos configurado para um intervalo de 2g onde g a acelera o da gravidade Isto permite que o sensor relate sua orienta o em rela o gravidade e os dados do aceler metro podem ajudar a detectar quando o sensor uma orienta o incomum KINECT 2012 A Tabela 4 1 exibe o conjunto de especifica es dos componentes do Kinect 32 Tabela 4 1 Especificac o dos componentes do Kinect Kinect Especificac o ngulo de vis o 43 vertical por 57 horizontal ngulo de inclinac o do servomotor 27 Taxa de quadros 30 frames per second FPS Formato do audio 16 kHz 24 bit mono pulse code modulation PCM Caracteristicas da entrada de audio e a eee Caracter sticas do aceler metro yo ee eee paraze
62. nas dois eixos de manipula o de rota o X e Y Deste modo foram definidas regi es de rastreamento para a m o direita nesses dois eixos A Figura 5 9 exibe as possibilidades de movimentos da m o direita para a rota o da c mera em coordenas do Ogre3D Figura 5 9 Movimentos para a rota o de c mera no Sistema ITV y Fonte Pr prio autor Pode se observar que a rota o da c mera em torno do eixo Y Yaw feita com movimentos laterais ou seja deslocamentos na regi o em vermelho eixo X A rota o da c mera em torno do eixo X Pitch feita atrav s de movimentos para cima e para baixo ou seja varia es na regi o azul eixo Y Com o objetivo de substituir o funcionamento do mouse e tornar a navega o mais atraente n o foi definida uma regi o neutra para a m o direita j que no Sistema ITV ao navegar pelo mouse a c mera rotacionada continuamente por seus movimentos Por m essa escolha pode impedir que o usu rio consiga rotacionar a c mera em um ngulo de 360 pois h a possibilidade da movimenta o dentro da rea restrita de rastreamento da m o n o ser o suficiente Por este motivo cada uma das regi es de rota o 54 foi segmentada em 3 partes sendo 70 a regi o central onde a rota o simula a navega o pelo mouse e 15 de cada lado onde a rota o permanece constante at que a m o retorne regi o central Desta forma poss vel que o usu rio reali
63. o Tempo 25 Figura 3 5 Interface completa do Sistema ITV oooccccnnnnocaccnononacnonnnonnnnnnnanrnnnnnnanrnnnnnnannnnnno 26 Figura 3 6 Alerta visual e sonoro de mau funcionamento de equipamento 28 Figura 3 7 Pop up com narra o em udio occccccnnnnnoooncnnnnnnnnonannnnnnnnnnnnnnnnnnnnnnnncnnncnnnnnnnns 29 Figura 4 1 Microsoft Kinect e seus componentes errar 30 Figura 4 2 Orienta o dos eixos do Kine ct 0 ee eeesneceeeessneeeeeessaeeeceessaeeecesssaeeeeesssaeeees 31 Figura 4 3 Intera o de hardware e software com a aplica o cocooooccccnnnoncnccnnnonannnonannnnnnn 33 Figura 4 4 Esqueleto rastreado pela c mera RGB cnn 33 Figura 4 5 Esqueleto rastreado pela c mera de profundidade oooonnooccccnnnoocccnnnnonnnnnonannnnnnn 34 Figura 4 6 Articula es detectadas pelo Kinect ooooccnnnooccccnnnonannnnnnoannnonnnorn cnn nnnnnn cnn nono nancnos 34 Figura 4 7 Dist ncia de rastreamento do Kime ct erre 35 Figura 4 8 Kinect pode reconhecer at seis pessoas e rastrear duas 36 Figura 4 9 Compara es de curvas entre a dist ncia Euclidiana e DTW 37 Figura 4 10 Exemplo de compara o de duas curvas por DTW seeesssssessesrserrssrrrrssererresree 38 Figura 5 1 Gr fico dos dados da m o sssseeessserssssserssseresssererssserersrsrresssereesssereesesereessseee 43 Figura 5 2 Gr
64. omissores alguns aspectos devem ser melhorados Um destes aspectos o ruido nas imagens de profundidade obtido pelo Kinect que pode levar a falso positivos No trabalho de Doliotis et al 2011 proposto um m todo robusto de detec o de gestos com as m os atrav s do Microsoft Kinect Os autores explicam que a intera o do humano com o computador deve ser t o intuitiva e natural quanto poss vel assim o usu rio deve interagir com a maquina sem o uso de marcadores ou aparatos como luvas rastreadoras controles remotos mouses e teclados Em seguida comentam que com a tecnologia do Kinect o reconhecimento de gestos est se tornando maduro o suficiente para ser amplamente utilizado pelo p blico Este m todo de rastreamento de m os utiliza a detec o de movimentos baseado na diferencia o de quadros e segmenta o de profundidade Os valores de profundidade de cada pixel da imagem s o obtidos pelo Kinect e submetidos ao algoritmo DTW Os autores descrevem o experimento feito que definiu 10 classes representativas de dez d gitos do O ao 9 Para cada d gito existem v rios exemplos para treinamento na base de dados Mais especificamente foram 10 diferentes usu rios executando 3 amostras para cada d gito ou seja s o 300 amostras de treinamento no total No desenvolvimento do artigo os autores discorrem sobre o processo de implementa o da detec o dos movimentos e sobre a normaliza o feita para que todas as
65. os navega o e simula o do mouse e DTW Esta classe recebe como argumentos os dois padr es a serem comparados e os respectivos limiares de cada eixo calculado a semelhan a entre as curvas e retornado um valor num rico Estas classes representam a ponte de liga o com o Sistema ITV e devem estar em sincronismo para seu perfeito funcionamento Ainda possuem documenta o b sica explicando a utilidade de seus m todos para futuras melhorias e implementa es 5 4 2 Interface Gr fica Algumas altera es na Graphical User Interface GUT do sistema foram necess rias para a implementa o do reconhecimento de gestos O Sistema ITV tem sua interface gr fica desenvolvida atrav s do framework Qt BARATA 2010 Esta biblioteca possui um intuitivo editor de interfaces gr ficas denominado Qt Designer Atrav s desse editor de GUI foram feitas as seguintes modifica es e Adi o de um cone na interface principal para ativar desativar o Kinect e Altera o da caixa de dialogo de configura o de passos e Cria o de uma lista de movimentos para transi o de passos 2 O cone que ativa desativa o funcionamento do dispositivo uma imagem que representa o Kinect Este permanece claro enquanto o dispositivo est inativo e escurece ao ser ativado A Figura 5 12 apresenta circulado em vermelho o cone em seus dois modos a inativo e b ativo 58 Figura 5 12 Icone do Kinect a inativo e b at
66. otos do local onde o procedimento realizado e v deos desses procedimentos que contenham informa es teis para a realiza o da instru o t cnica A Figura 3 1 mostra o manual t cnico utilizado como 23 refer ncia para a modelagem 3D da Caixa de Mola e a Figura 3 2 mostra uma imagem real da Caixa de Mola obtida durante o procedimento de desmontagem Figura 3 1 Manual t cnico da Caixa de Mola Fonte ELETRONORTE 2012 Figura 3 2 Foto real da Caixa de Mola Fonte Proprio autor De posse dos dados necess rios ou seja desenhos t cnicos em computer aided design CAD fotos videos e manuais de procedimento inicia se a segunda etapa para a cria o da ITV a modelagem tridimensional Assim feita a modelagem 3D de todas as pe as a serem 24 utilizadas na ITV onde o software empregado foi o 3DSMAX 9 MURDOCK 2007 CLINTON 2007 acrescido do plugin oFusion para exportac o dos modelos no formato Mesh OFUSION 2012 Ap s a modelagem 3D da peca criada a textura atrav s de fotos reais do objeto e tratada graficamente com o auxilio do software GNU Image Manipulation Program GIMP 2012 Nesse processo s o utilizadas diversas fotos para que os diferentes revestimentos de pecas parafusos ou porcas sejam obtidos Em seguida feito o mapeamento de cada pol gono ou face da peca 3D em seu respectivo lugar na textu
67. ra gerada Este processo repetido para todas as pecas a serem utilizadas em uma ITV Depois do processo de modelagem tratamento e texturiza o conclu dos esses objetos s o exportados para arquivos no formato reconhecido pelo Ogre3D o Mesh Finalmente com os objetos necess rios para a cria o da ITV o usu rio pode carregar todas as pe as no Sistema ITV e iniciar o desenvolvimento de uma instru o t cnica seguindo o manual de procedimento sendo esta a terceira e ltima etapa Normalmente em uma instru o t cnica de manuten o ITM virtual s o carregadas apenas as pe as e ferramentas que ser o manipuladas e o ambiente onde a manuten o ir ocorrer por exemplo uma oficina A Figura 3 3 ilustra uma etapa do procedimento de desmontagem da Caixa de Mola no Sistema ITV Figura 3 3 Procedimento de desmontagem no Sistema ITV Fonte Pr prio autor 25 Essa redu o na quantidade de pe as carregadas ocorre devido preocupa o com a sobrecarga de processamento e mem ria J numa instru o t cnica de opera o ITO virtual normalmente todo o ambiente da subesta o el trica carregado contudo os objetos modelados s o feitos com menos detalhes para evitar a sobrecarga e somente objetos que ser o o foco da ITO s o detalhados Desta forma h um compromisso entre detalhamento de pe as versus sobrecarga do sistema que precisa ser avaliado e obedecido para o bom funcionamento da ITV
68. rente Figura 6 6 Passo com transic o Condicional de selec o de martelo TP C Users Caio Documen Arquivo Navega o USBELO 090 4 Bam gt M0 ORD Em a as cg Sofa uso Re ee a ON MATEO Utilizar o martelo e marcador num rico para identificar os componentes Selecione o martelo Fonte Pr prio autor A Figura 6 7 apresenta o usu rio utilizando o controle de interface atrav s o Kinect no passo de transi o Condicional de sele o do martelo Figura 6 7 Controle de interface para a sele o do martelo Fonte Pr prio autor 66 A Figura 6 8 exibe o passo de transi o de Movimento onde necess ria a movimenta o de martelo para que a ITV progrida Figura 6 8 Passo com transic o de Movimento de martelo Pio NANA Ll Arquivo Navega o Feramentas Bibir Configura es Osho 00 4 0 Sam gt OR 2 tao abe vo foc So Mm Be a Fonte Proprio autor A Figura 6 9 exibe o usu rio simulando a movimenta o de martelo para que o sistema possa reconhecer como gesto v lido e seguir em frente na Instru o T cnica Virtual Figura 6 9 Simula o de movimento de martelo Fonte Pr prio autor 67 A Figura 6 10 mostra um passo Condicional para a seleg o da chave combinada para o processo de desmontagem da Caixa de Mola Figura 6 10 Passo com transic o Condicional de selec o de chave combinada cn menta Vizusl Studio 2010 Projects TV K
69. rface completa do Sistema ITV EE 9 17V2010 wor TV ITM Coluna Caixa de Mola itv ITM Coluna Caixa de Mola Otimiza o nivel normal a Arquivo Navega o Ferramentas Exibir Configura es O Deseo OO ABES r H m atO AA 1 gt a is bee loit So Ree Be a Lare do sen o DO Corta ope 8 Arvore de objetos Fonte Proprio Autor 27 Pode ser observado que no menu superior est o as op es de modifica es de cenas e pe as como adi o de pop ups rota o movimenta o e escala Na parte lateral esquerda tem se a lista de pegas carregadas onde poss vel selecionar uma ou v rias pecas para que sejam aplicadas as condi es necess rias No menu lateral direito est a lista de passos que formam a seqii ncia do procedimento e podem ser manipulados livremente Acima da lista de passos est a configura o de transi o de passo tendo como op es Normal Fade e Condicional No menu inferior poss vel observar as configura es de c mera e os par metros de configura o das modifica es realizadas nas pe as Por fim no centro da interface tem se a cena renderizada como resultado de todo o processo e logo acima a linha do tempo j citada 3 2 APERFEI OAMENTOS RECENTES Para a reprodu o de um arquivo que cont m uma ITV preciso que o computador tenha o Sistema ITV instalado por m nem sempre isso poss vel Al m disso necess rio que o computador possua uma placa gr
70. ria o controle de interface e o reconhecimento de gestos para pessoas que est o habituadas a executarem tarefas com a m o esquerda Para as observa es apresentadas pelos estudantes avaliados como a dificuldade de identificar a movimenta o correta do gesto requisitado e a dificuldade de identifica o da regi o de movimenta o das m os prop e se um treinamento b sico de utiliza o da nova interface Uma das sugest es oferecidas pelos entrevistados est relacionada representa o dos gestos dentro do Sistema ITV atrav s de anima es do avatar ou seja a representa o humana no ambiente virtual executaria o mesmo gesto que foi reconhecido pelo sistema Esta representa o pode tornar o ambiente virtual mais real stico Para isso necess ria a anima o de cada movimento no software de modelagem e em seguida o carregamento do avatar animado no sistema Por fim uma melhoria significativa a ser investigada o desenvolvimento de uma metodologia de reconhecimento de gestos que n o necessitasse de um tempo fixo para a realiza o do movimento ou seja o usu rio poderia fazer o gesto a qualquer momento no final do passo com transi o de Movimento e o sistema se encarregaria de detectar o in cio e o fim do movimento automaticamente Conclui se que as vantagens do sensor Kinect como Natural User Interface em treinamentos virtuais podem compensar suas desvantagens A integra o entre o Kinect e o
71. rticula es Cada articula o possui suas posi es nos eixos X Y e Z As Figuras 4 4 e 4 5 ilustram o esqueleto rastreado pela c mera RGB e a c mera de profundidade respectivamente Figura 4 4 Esqueleto rastreado pela c mera RGB Fonte Pr prio autor 34 Figura 4 5 Esqueleto rastreado pela camera de profundidade Fonte Proprio autor Como mencionado a captura das c meras do Kinect tem um taxa definida por padr o de 30 FPS frames per second Assim o desenvolvedor tem sua disposi o um conjunto de 1800 valores por segundo para a manipula o a seu crit rio e atrav s deste manuseio de dados que o reconhecimento de gestos poss vel A Figura 4 6 ilustra todas as articula es detectadas pelo Kinect Figura 4 6 Articulac es detectadas pelo Kinect Fonte KINECT 2012 35 Contudo para que o Kinect consiga rastrear O corpo preciso que o mesmo esteja totalmente enquadrado nas c meras O intervalo de dist ncia rastre vel do Kinect 0 8 4 0 x R 0 8 lt x lt 4 0 metros mas o rastreamento otimizado quando a dist ncia est entre 1 2 3 5 x R 1 5 lt x lt 3 5 metros KINECT 2013 A Figura 4 7 mostra os limites f sicos e a dist ncia tima de rastreamento do Kinect Figura 4 7 Distancia de rastreamento do Kinect E sweet spot 0 8m 2 6ft physical limits 1 2m 4ft lt 3 5m 11 5ft 4m 13 1ft Fonte KINECT 2013 De
72. s da cena Deste modo a solu o encontrada foi a adi o de um filtro passa baixas no c digo de movimenta o do mouse para que o mesmo permanecesse menos sens vel aos ru dos dos dados do Kinect O filtro passa baixas permite a passagem de baixas frequ ncias sem dificuldades e atenua a amplitude das frequ ncias maiores que a frequ ncia de corte A quantidade de atenua o para cada frequ ncia varia de filtro para filtro MOTA 2011 Para suprimir ru dos e reduzir os erros este filtro passa baixas tamb m foi utilizado nos valores coletados para os padr es de refer ncia e todos os padr es de entrada do reconhecimento de gestos descrito na se o 5 1 49 O filtro utilizado calcula uma m dia ponderada em rela o ao elemento anterior da sequ ncia evitando assim uma alta varia o entre dois elementos em caso de ru do A Equa o 5 3 define o filtro implementado Equac o 5 3 Filtro passa baixas x x 1 0 x 04 04ER 00 lt a lt 41 0 Fonte MOTA 2011 Na Equa o 5 3 x o resultado a ser utilizado como a posi o atual do mouse x _ o valor da posi o anterior e o alfa chamado de par metro ou coeficiente do filtro Este coeficiente foi empiricamente ajustado para 0 85 ap s v rios testes Desta forma a variag o de posi o atenuada e o ponteiro estabilizado A Figura 5 5 exibe o algoritmo utilizado para o controle do mouse Figura 5 5 Algoritmo de controle do mouse
73. sistema uma Instru o T cnica Virtual ITV que a transforma o da descri o textual de uma ITM ou ITO em uma aplica o visual auditiva e interativa do processo tornando o aprendizado mais r pido e atraente Desta forma atende aos requisitos principais de treinamento virtual BLUEMEL et al 2003 BLUEMEL et al 2005 A forma de intera o atual do Sistema ITV feita por meio de mouse e teclado onde deve se clicar em determinados locais na tela do ambiente 3D para que haja continuidade no procedimento Para indiv duos que possuem familiaridade com computadores estes dois dispositivos podem ser f ceis de utilizar por m para os que n o possuem esta forma de intera o pode n o se assemelhar aos procedimentos e condi es reais logo dificultando o aprendizado Portanto com o objetivo de conferir um maior grau de realidade e imers o no ambiente virtual o foco deste trabalho est na implementa o de uma nova forma de intera o com o sistema um dispositivo de Intera o Homem Maquina HCI HELANDER LANDAUER e PRABHU 1997 Este dispositivo de HCI denominado Kinect foi desenvolvido pela empresa Microsoft e possibilita o reconhecimento e rastreamento do corpo humano sem a utiliza o de nenhum aparelho ou marcador junto ao corpo KINECT 2012 Dessa maneira permite que operadores e mantenedores executem movimentos similares aos procedimentos durante o treinamento conferindo um maior grau de realidad
74. tisfa o sobre o controle de interface atrav s do Kinect Insatisfat rio Pouco Satisfat rio Muito Satisfat rio Satisfat rio Fonte Pr prio autor poss vel notar que o controle da interface foi bem aceito com 92 3 de satisfa o Deste modo pode se considerar que o processo de adapta o para o controle do mouse atrav s do Kinect n o foi uma dificuldade A terceira quest o abordava a satisfa o em rela o navega o da seguinte forma Avalie a navega o no ambiente virtual do Sistema ITV atrav s do Kinect A Figura 7 3 ilustra os resultados obtidos pela pesquisa sobre a navega o 12 Figura 7 3 Satisfa o sobre a navega o no ambiente atrav s do Kinect Insatisfat rio Pouco Satisfat rio Muito Satisfat rio Satisfat rio Fonte Pr prio autor A navega o foi considerada majoritariamente pouco satisfat ria 69 23 al m de 7 69 dos entrevistados a avaliarem como insatisfat ria Portanto conclui se que preciso modifica es no projeto para uma melhor aceita o da interface neste aspecto Contudo foi observado que a curva de aprendizado lenta ou seja preciso certo tempo para se acostumar com o sistema de navega o Os estudantes tiveram pouco tempo para adapta o e este fato pode ter contribu do para rejei o da navega o por meio do Kinect Com a inten o de averiguar o grau de adapt
75. to de martelo na articulac o da m o Amostra Eixo X Eixo Y Eixo Z 1 0 279 0 829 0 748 2 0 347 0 294 0 577 3 0 311 0 384 0 745 4 0 760 1 573 0 921 5 0 324 0 637 0 751 6 0 465 0 533 0 882 7 0 349 0 686 0 978 8 0 209 0 643 0 440 9 0 420 0 875 0 601 10 0 102 0 534 0 394 11 0 419 0 992 0 655 12 0 916 3 202 1 829 13 0 283 1 003 0 870 14 0 381 0 674 0 993 Fonte Pr prio autor De posse desses dados poss vel encontrar um limiar de reconhecimento de gestos para o DTW ou seja se o valor do padr o de entrada for menor que o limiar estabelecido este reconhecido como gesto v lido caso contr rio considerado inv lido Foram consideradas duas abordagens para a definig o do limiar A primeira consistiu em definir o limiar de cada eixo como o maior valor obtido entre as amostras A segunda abordagem baseou se em utilizar a m dia de todas as amostras Com a primeira abordagem o reconhecimento do gesto se tornaria pouco confi vel pois movimentos n o t o semelhantes ainda assim seriam considerados certos Isso acontece porque algumas amostras podem conter ru dos e dados incorretos gerando uma sa da num rica alta pelo algoritmo DTW A segunda abordagem restringe mais o reconhecimento do gesto desta forma a amostra deve ser realmente parecida com o padr o de refer ncia para que seja considerada correta Portanto a m dia das amostras foi definida como os limiares de cada eixo Calculando os valor
76. tratava da dificuldade no reconhecimento de algum gesto espec fico com a quest o Voc teve mais dificuldade no reconhecimento de algum gesto espec fico Qual A Figura 7 6 ilustra a dificuldade em gestos espec ficos Figura 7 6 Dificuldade no reconhecimento dos gestos Nenhum Chave de Boca Chave de Martelo Fenda Fonte Pr prio autor poss vel notar que praticamente a metade dos entrevistados 46 15 n o apresentou dificuldades nos gestos Nenhum estudante apresentou dificuldade na movimenta o de chave de fenda Apenas 15 38 tiveram dificuldade com o gesto de chave de boca Por m um n mero relativamente alto de pessoas 38 46 apresentou dificuldades com a movimenta o de martelo Pode ser preciso reavaliar o padr o de refer ncia e etapas de coletas de amostras determina o de limiares e testes de valida o para que este gesto de martelo se torne menos dif cil A ltima quest o tratava do grau de atratividade do aprendizado atrav s da interface proposta com a seguinte pergunta Em sua opini o qu o interessante torna se o aprendizado mediante a intera o com Sistema ITV atrav s do Kinect A Figura 7 7 mostra o resultado obtido 75 Figura 7 7 Grau de atratividade do aprendizado atrav s do Kinect Des Pouco Interessante Muito interessante Interessante Interessante Fonte Pr prio autor Este resultado foi conclusivo e 100 dos
77. uerda direita Teclas Page Up e Page Down Setas direcionais cima baixo Kinect Movimentos horizontais da m o direita Movimentos verticais da m o direita Movimentos horizontais da m o esquerda Movimentos verticais da m o esquerda Movimentos frente tr s da m o esquerda Fonte Pr prio autor 56 Para a ativa o do modo de navega o pelo Kinect preciso que o usu rio erga os dois bra os altura do ombro durante 1 5 segundos Feito isso inicia se o modo de navega o e o usu rio pode percorrer livremente o ambiente virtual Para sair do modo de navega o e voltar ao modo de controle de interface basta que o indiv duo baixe um dos bra os 5 4 INTEGRA O DO KINECT AO SISTEMA ITV 5 4 1 Classes e Bibliotecas Com o reconhecimento de gestos controle da interface e navega o estruturados iniciou se o processo de integra o das informa es coletadas pelo Kinect ao Sistema ITV Por m uma enorme dificuldade foi encontrada a falta de documenta o do software Sistema ITV A documenta o de um software uma sub rea da engenharia de software que segundo Rezende 2005 uma metodologia de desenvolvimento e manuten o de sistemas modulares com v rias caracter sticas entre elas e Processo roteiro din mico integrado e inteligente de solu es tecnol gicas e Adequa o aos requisitos funcionais do cliente e seus respectivos procedimentos pertinentes e Plane
78. ulac o de Exame de Punc o de Mama Utilizando Realidade Virtual Nao Imersiva In VII Symposium on Virtual Reality SVR 2004 Sao Paulo SP 2004 LOPES E S et al Avaliagao do Treinamento de Operadores de Harvester com uso de Simulador de Realidade Virtual Arvore v 32 n 2 Vigosa MG mar agor 2008 LOPES E S OLIVEIRA D SILVA P C Avalia o do Desempenho de Operadores no Treinamento com Simulador de Realidade Virtual Forwarder Ci ncia Florestal v 20 n 1 Porto Alegre RS jan mar 2010 ISSN 1980 5098 DOI 10 5902 19805098 81 MACHADO L S MORAES R M Intelligent Decision Making in Training Based on Virtual Reality In Da Ruan Org Computational Intelligence in complex decision systems v 2 p 85 123 Amsterdam Atlantis Press 2009 MILKOVICH G T Administra o de Recursos Humanos Treinamento S o Paulo Editora Atlas 2000 MOTA E M Movimenta o e Ensinamento de um Rob NAO Disserta o Mestrado Integrado em Engenharia Eletrot cnica e de Computadores Faculdade de Engenharia Universidade do Porto Porto Portugal 2011 MYSQL MySQL The world s most popular open source database Disponivel em lt http www mysql com gt Acesso em 08 ago 2012 MURDOCK K L 3DS Max 9 Bible S 1 Wiley Publishing 2007 NORMAM D A Natural User Interfaces are not Natural Interactions v 17 n 3 p 6 10 New York NY USA mai jun 2010 DOI 10 1145 1744161 1744163 NORMAM D A
79. um lado existem desvantagens a serem observadas em rela o ao Kinect Devido a falta de marcadores ou sensores junto ao corpo as informa es por vezes podem conter ru dos e imprecis es cabendo ao desenvolvedor encontrar solu es a estes problemas Outra desvantagem que devido a distancia m nima de 1 2 metros para que o Kinect possa rastrear o corpo e trabalhar de forma ideal pode ser necess rio que o usu rio possua um projetor de imagens que amplie a tela do computador ou um monitor grande pois em diversos casos torna se dif cil a leitura e identifica o da cena em um monitor pequeno Al m disso desconfort vel para o desenvolvedor o trabalho de depura o do software uma vez que necess rio levantar se e posicionar se a cada execu o do c digo para o perfeito enquadramento do corpo e caso haja mais pessoas no ambiente o rastreamento prejudicado Por outro lado as vantagens do Kinect podem compensar sua utiliza o pois a falta de qualquer objeto junto ao corpo al m de um conforto s vezes uma quest o de necessidade 36 como foi apontado por Gon alves et al 2012 Outra vantagem a quantidade de informa es capturadas coordenadas X Y e Z para cada uma das 20 articula es Desse modo o reconhecimento de gestos pode ser feito com v rios membros do corpo utilizados individualmente ou combinados Por ltimo vale salientar que o Kinect capaz de rastrear as informa es de at dois
80. v lida n o importa a sequ ncia em que ela comparada Contudo importante utilizar uma das duas hierarquias pois evita c lculos desnecess rios fornecendo uma resposta mais r pida ao usu rio Por exemplo se na etapa de compara o de padr es do pulso o limiar definido n o for atingido as etapas seguintes s o ignoradas e o gesto considerado inv lido A hierarquia definida foi iniciada pela articula o da m o e finalizada com o cotovelo Por fim foram criadas 15 amostras para o movimento de chave de fenda e 15 para o movimento de chave de boca a fim de validar o reconhecimento dos gestos A Tabela 5 5 mostra o resultado da valida o Tabela 5 5 Resultado da valida o Movimento Acertos Martelo 86 67 Chave de Fenda 86 67 Chave de Boca 73 33 Fonte Pr prio autor 5 2 CONTROLE DA INTERFACE Uma das desvantagens do Kinect que pelo seu conceito n o existem bot es ou teclas a serem acionadas Desta forma para que haja uma melhor intera o entre o usu rio e o sistema e para que n o haja a necessidade de se locomover entre a rea de reconhecimento de gestos e a rea onde est o o mouse e o teclado foi desenvolvida uma forma de controle da interface do Sistema ITV pela simula o do mouse cursor e bot o atrav s do sensor Kinect 47 Para a implementa o destas fun es foi utilizada uma API nativa do Windows para C denominada windows h Esta biblioteca possui v r
81. y of Hawaii pp 1 23 2008 Dispon vel em lt http csdl ics hawaii edu techreports 08 04 08 04 pdf gt SILVA E MIRANDA J HOUNSELL M Diferen as entre Educa o e Treinamento em Ambientes Virtuais 3D In IX Symposium on Virtual and Augmented Reality SVR 2007 Petr polis RJ 2007 TORI R KIRNER C SISCOUTTO R Fundamentos e Tecnologia de Realidade Virtual e Aumentada VIII Symposium on Virtual Reality SVR 2006 Bel m PA 2006 VILLAROMAN N ROWE D SWAN B Teaching natural user interaction using OpenNI and the Microsoft Kinect sensor In Proceedings of the 2011 conference on Information technology education SIGITE 11 pp 227 232 New York NY USA 2011 ISBN 978 1 4503 1017 8 DOI 10 1145 2047594 2047654 VOLPE R A A Import ncia do Treinamento para o Desenvolvimento do Trabalho O Portal dos Psic logos 2009 Dispon vel em lt http www psicologia pt artigos textos TL0136 pdf gt Acesso em 10 mar 2013 WIKIMEDIA Wikimedia Commons Euclidian vs DTW Dispon vel em lt http commons wikimedia org wiki File Fuclidean vs DTW jpg gt Acesso em 11 abr 2013 APENDICES 84 APENDICE A QUESTIONARIO DE SATISFACAO Nome Idade __ 1 Qual seu grau de familiaridade com o Sistema ITV a Muito familiar b Familiar c Pouco familiar d Nenhum 2 Avalie o controle de interface do Sistema ITV atrav s do Kinect a Muito Satisfat rio b Satisfat rio c Pouco Satisfat r
82. ze voltas completas pelo ambiente virtual A Figura 5 10 ilustra as regi es segmentadas em seus respectivos eixos de rota o Figura 5 10 Regi es de segmentadas para rota o da c mera r Yaw Fonte Pr prio autor As regi es mais claras ou seja centrais representam a rota o da c mera simulando o mouse As reas escuras ou seja perif ricas ilustram a rota o em velocidade constante da c mera Deste modo o usu rio pode navegar no ambiente virtual do Sistema ITV atrav s da movimenta o de suas duas m os A Figura 5 11 ilustra do posto de vista do Kinect o usu rio e as possibilidades de movimenta o da c mera 55 Figura 5 11 Possibilidades de movimenta o da c mera Fonte Pr prio autor Como mencionado o controle da c mera feito atrav s da biblioteca Ogre3D respons vel pela renderiza o da cena no Sistema ITV Assim tanto mouse e teclado quanto o dispositivo Kinect utilizam fun es do Ogre3D para esse controle A Tabela 5 6 mostra a equival ncia entre as fun es e as interfaces de entrada Tabela 5 6 Equival ncia entre fun es e interfaces de entrada C mera Ogre3D Rota o eixo Y Yaw Rota o eixo X Pitch Rota o eixo Z Roll Transla o eixo X Transla o eixo Y Transla o eixo Z Mouse Movimentos esquerda direita Movimentos frente tr s Bot o direito meio Teclado Setas direcionais esq

Download Pdf Manuals

Related Search

Related Contents

TSL Timetable Sound Level Controller  MNK con lubricación permanente con grasa - Richter  31006063 EVOT 10071D1  Samsung PL60 Bruksanvisning  L`Obs a-t-il trahi les psys - Nouvel Observateur 15-09-2005  Paradyne UIM-10/100 User's Manual  FUSION Electronics RJ45, Cat6, 10pcs  Journal de Genappe  Obrigado Regulamentos sobre Emissões da Agência de Proteção  Fisher M-96 User's Manual  

Copyright © All rights reserved. Failed to retrieve file