Home

humanos virtuais em ambientes de treino de competências sociais

1. se seseseeseesessesseseessresresstssressessessresseese 6 22 Pacientes Virtuais na Comunica o em Sa de 7 2 2 1 Estudos sobre o uso de pacientes virtuais 7 2 2 2 Princ pios de desenho de pacientes virtuais 10 2 2 3 Aplica es com pacientes Vil tAlSdaciste cassie cecsdudan se saanieactenaate cents 11 2 3 Humanos Virtuais falantes assis da DE 13 23 1 Fonema e Visma eeen O a 13 2 3 2 M todos de anima o de fala cccscccessecssscecssscecesececsseeeesseseesaes 15 2 3 1 Exemplos de aplica es desenvolvidas sc sussa Weiss renina rasgando 16 2 4 Conclus o a cess tutes Suge host ates gre aa eee te eee a ah et ound he a 16 Capitulo 3 An lise do produto safa ss aba ans calada 17 3 1 Descri o breve da Virtual Pharmacy sesssessesseessesessseessesessresseseee 17 3 2 SPAR CHOICES ns a E a TN 18 3 2 1 Stakeholders n o utilizadores cass sssescavseve ccs tseatsshacvscaasunnezarvensdanseatonssvss 18 3 22 St keholders UMM ZA ONES sa RS 18 3 3 Especifica o de Requisitos de Software ssssessseessesessseessessrsssessesee 19 3 4 Paciente virtual e casos farmac uticos sesessesseesssseseesesseseesrssersessesee 19 3 4 1 Requisitos funcionais caasiucersansasaias sacras iram dniacandass sanaisasanaresapasdadas 19 3 4 2 Requisitos n o FanCiONaISs ais dans tasca e 20 3 4 3 Requisitosdgtalhados sue espada mine tala a aid punidas se duarte ano 20 3 5 Arquitetura da Virtual Pharmacy sa agregada dia ada 21 3 6 Pl
2. e Criar toda a estrutura das tabelas atrav s do script MySQL fornecido Para abrir o ficheiro clicar na zona assinalada na Figura 40 e escolher o ficheiro MsSQL fornecido 104 MySQL Workbench DOO Tutorial x 6 Sa MAN MENT gt Server Status B Client Connections Users and Privileges Status and System Variables amp Data Export amp Data Import Restore INSTANCE Startup Shutdown A Server Logs amp Options File PERFORMANCE Dashboard T Performance Reports Performance Schema Setup SCHEMAS oe Q cdcol classicmodels phpmyadmin test qvvvy Tutorial 2p Tables EM Views 2h Stored Procedures p Functions b unity amp Eu Query1 a J 100 gt Action Output Time Objectinto Session Figura 40 Abrir ficheiro sql 1 1 SQLFile1 x FFA A v Action L Context Help Snippets we Response C 3 Instala o da VP Office Limit to 1000 rows lel a ME Duration Fetch Time gt a lle O VP Office uma aplica o web que permite ao professor gerir todo o conte do da aplica o VP SIM como os caso e elementos de estudo Instala o e configura o do VP Office site Se n o existir a possibilidade de colocar o site num local online e pode da do XAMPP https www apachefriends org pt_br index html instala o correr localmente atrav s instala o
3. Morphing Target Blend Shapes ou Shape Keys A t cnica de Morphing Target para a produ o de anima es uma t cnica que se baseia na deforma o de uma malha geom trica original permitindo a deforma o de uma mesh As diferentes formas obtidas por deforma o da mesh original s o chamadas morph targets mas tamb m podem ser chamadas blend shapes ou shape keys dependendo do sofiware No caso do Blender as morph targets s o chamadas Shape Keys mas no Maya e no Unity3D estas s o chamadas Blend Shapes Ao longo do texto s o usadas estas tr s designa es A transi o de uma morph target para outra feita atrav s da interpola o das posi es dos v rtices 23 Esta t cnica uma alternativa melhor que a utiliza o de um esqueleto para a cria o de anima es faciais pois permite um maior controlo sobre a mesh Assim poss vel criar express es faciais mais bem definidas sem a necessidade de criar diferentes pesos de atua o dos ossos do esqueleto sobre as diferentes partes da mesh O maior controlo sobre a mesh permite definir a posi o individual de cada v rtice o que n o poss vel fazer com o esqueleto devido s suas restri es Uma outra vantagem que poss vel criar morph targets a partir da deforma o causada pelo esqueleto No entanto a utiliza o e o n mero de morph targets limitado para um dado objeto apresentando tamb m algumas desvantagens visto que na base
4. es ao contr rio da utiliza o da captura de movimentos 19 Uma das desvantagens a adi o de express es na regi o da boca pois requer a grava o 15 dos tri fonemas para cada poss vel express o e ao tratar se de uma t cnica 2D a ilumina o e mudan as de c mara podem ser problem ticas e M todos 3D Os m todos 3D permitem que sejam criadas novas anima es ilumina o e mudan as de c mara colmatando assim as limita es dos dois m todos anteriores Este m todo consiste na modela o da face incluindo os l bios l ngua pele e outras partes da face de forma a criar um modelo representativo da face o mais real poss vel criando poses da face para os poss veis fonemas 19 2 3 1 Exemplos de aplica es desenvolvidas Com o objetivo de criar anima es de fala em humanos virtuais ou personagens de videojogos foram desenvolvidos alguns sistemas Em 19 foi desenvolvido um modelo para suportar anima es de fala Este modelo recebe como input a geometria facial e transforma a num modelo deform vel parametrizado permitindo que a sua integra o com a sincroniza o da fala e as express es faciais seja f cil O modelo facial composto por um modelo de um l bio altamente deform vel que inserido na geometria facial e que cont m uma complexidade geom trica suficiente para a cria o das formas labiais A anima o feita usando um modelo de coarticula o descrevendo os visema
5. que come a a simula o da situa o 67 Durante a simula o a VP SIM vai carregando os ficheiros de udio e XML 10 necess rios para reproduzir a fala e a respetiva anima o e ao mesmo tempo analisando as falas da personagem de modo a fazer os respetivos movimentos corporais Finalizada a simula o registada 11 a atividade do aluno na base de dados ou seja as respostas que deu a pontua o obtida e o n mero de respostas corretas em cada fase do atendimento de modo a que mais tarde o professor possa atrav s do VP Office analisar o desempenho do aluno 4 6 Conclus o Neste cap tulo foram apresentados detalhes da implementa o da ferramenta Virtual Pharmacy foram apresentados os desafios enfrentados e as decis es que foram tomadas no decurso do seu desenvolvimento No pr ximo cap tulo s o descritos os testes efetuado aplica o com utilizadores ligados rea das Ci ncias Farmac uticas 68 Cap tulo 5 Avalia o da aplica o Neste capitulo s o descritos os testes efetuados componente de simula o da aplica o com utilizadores ligados rea das Ci ncias Farmac uticas Todos se ofereceram voluntariamente e n o tiveram qualquer tipo de recompensa pela participa o no estudo Numa primeira etapa fizeram se pr testes com um grupo de peritos em Comunica o em Sa de para recolher as suas opini es sugest es e identificar as altera es mais imedia
6. Default Schema The schema to use as default schema Leave blank to select it later Models Configure Server Management Test Connection Figura 38 Cria o de uma nova liga o MySQL 103 e Criar um novo Schema clique direito do rato sobre a rea assinalada a 1 e selecionar Create Schema com o nome TutorialSchema 2 Figura 39 00 MySQL Workbench PN Tutorial x 6 SB g g ue MANAGEMENT Ff Query1i x SQLFile1 x J new schema Schema x l Server Status 3 gt Schema Name TutorialSchema o The name of the schema It is recommended amp Client Connections E IG amp to use onlv aloha numeric characters Spaces 2 Users and Privileges 7 Refactor model changing all references found d bi in views triaaers stored procedures and Status and System Variables 4 Default Collation Specifies which charset collation the schema s o Data Export tables will use if thev do not have an explicit amp Data Import Restore INSTANCE f startup Shutdown A Server Logs Pd Options File PERFORMANCE Dashboard Sl Performance Reports amp Performance Schema Setup SCHEMAS ew Q gt cdcol gt classicmodels gt phpmyadmin gt test gt unity Figura 39 Criar um novo Schema e Colocar os Schema acabado de criar um default Clicar com o bot o direito em cima de TutorialSchema que ir aparece na zona assinalada a 1 e selecionar Set as Default Schema
7. es distintas de automedica o 5 Possibilidade de representar estados emocionais das personagens neutro aborrecido satisfeito As express es do personagem alteram se de acordo com as escolhas do utilizador durante a simula o 6 Os HV devem articular falas 19 Adicionalmente pretende se ainda que seja guardada informa o numa base de dados para posterior an lise nomeadamente e O tempo que o utilizador demora a concluir o caso e As escolhas e as pontua es do utilizador para cada caso A vers o de treino da VP SIM dever contemplar as caracter sticas e opera es do ponto 1 at ao 7 da vers o de avalia o e adicionalmente dever ainda suportar e Visualizar as respostas erradas e Fornecer informa o adicional sobre patologias medica o protocolos entre outras O backoffice VP Office dever contemplar as seguintes opera es e Consultar toda a atividade realizada pelos alunos pontua es tempos e Exportar a atividade realizada pelos alunos para um ficheiro e Inserir novas situa es de automedica o usando um processo que n o requeira conhecimentos inform ticos espec ficos e Inserir novos elementos de estudo para a vers o de treino 3 4 2 Requisitos n o funcionais e Realismo o n vel de realismo dos gr ficos assim como a qualidade dos personagens deve ser alto e Usabilidade o sistema deve ser f cil de utilizar e fornecer uma interface simples e intuitiva e
8. o e treino de compet ncias de atendimento em automedica o Com este question rio pretende se avaliar a aplica o assim como identificar os seus problemas Muito obrigado pela sua participa o 1 E mail 2 Idade 3 G nero Masculino _ Feminino 4 Sente se confort vel ao utilizar um computador Sim N o _ 5 Costuma jogar jogos de v deo Sim N o _ 6 Ocupa o Estudante _ Estudante trabalhador _ Docente _ Profissional _ 7 Se estudante Em que ano do curso se encontra 19 2 3 4 S 8 Se estudante trabalhador Trabalha para farm cia Sim N o _ 89 9 Se profissional Indique em que rea trabalha Farm cia comunit ria _ Farm cia hospitalar _ Ind stria farmac utica _ An lises cl nicas _ Outra Conjunto 1 Usabilidade da aplica o Farm cia Virtual Em rela o aplica o que utilizou Farm cia Virtual indique por favor qual o seu grau de concord ncia com as seguintes afirma es Obrigado 10 Interface Gr fica A informa o surge devidamente organizada no ecr ex n mero e localiza o dos bot es op es A execu o de tarefas direta isto a escolha das op es e ou menus f cil A velocidade de funcionamento da aplica o adequada O modo de selecionar a situa o de automedica o a resolver claro n o suscita d vidas A escolha da situa o de automedica o direta is
9. 4a User Character Audio Data Animation Data Behavior Controller VP_Office Data Controller Dialogue Database Creator Application Controller Teacher Session Controller Information Retrieval Information Download Information Upload Figura 46 Arquitetura da Virtual Pharmacy D 1 Cria o de novas personagens Para a inser o de novas personagens na aplica o existe um workflow que necess rio seguir de forma a que todas as componentes funcionem corretamente 110 Software necess rio e Blender http www blender org e DazStudio https www daz3d com home com o pacote de Genesis 2 instalado Normalmente dada a op o ao utilizador durante a instala o do DazStudio para fazer o download do Genesis 2 e Autodesk Maya http www autodesk com education free software all gratuito para a educa o 1 Gera o do personagem SOEP CR SLAP SPE O Perspective view v v Aux Viewport II 4 Show Sub Items Tips 600 ZETI 060 ZETI g lt oon om ZETI ZET om 000 aniMate2 Figura 47 Criar o personagem Primeiro deve se criar o personagem com as caracter sticas que pretende no DazStudio Figura 47 Legenda 1 Area relativa aos objetos que est o na cena 2 Objetos que est o na biblioteca Aqui que podem ser escolhidos os personagens pr definidos para depois serem alterados Aqui importante escolher um pe
10. Figura 22 Caso tenha escolhido a op o errada lhe indicada a op o correta que deveria ter escolhido U Farm cia Virtua LISBOA Desempenho UNIVERSIDADE DE LISBOA 55 em 135 Pontos 41 Abertura 1 1 Avalia o 3 8 Aconselhamento 0 3 Fecho 0 1 Dura o 1min Os Pontua o Continue Perguntas Figura 21 Fim da resolu o vers o de avalia o 50 U Farm cia Virtual RESPOSTAS DADAS DE LISBOA Obteve 135 em 135 pontos 100 Informagao adicional Personagem Op o escolhida Op o correta Abertura 1 1 Avalia o 8 8 Aconselhamento 3 3 Fecho 1 1 Bom dia em que lhe posso ser til E Tempo 2min 17s Queria alguma coisa para a dor de E para si j cabe a Numa escala de 0 a 10 como classificaria a intensidade da sua dor D i me a cabe a na testa e em cima Mas n o uma dor latejante como a da minha irm Deixe me ver Ah Cerca de 5 Com que frequ ncia costuma ter dores de cabe a Continuar Sim Por favor descreva me o que sente NISISINIR Figura 22 Fim de resolu o vers o de treino U Farm cia Virtual LISBOA UNIVERSIDADE DE LISBOA Hist rico Caso resolvido Cefaleia Pontua o 135 em 135 pontos Data e hora 7 6 2015 15 35 Abertura Avalia o Aconselhamento Fecho Dura o 1 1 8 8 3 3 1 1 2min 17s Caso resolvido Cefaleia Pontua o 50 em 135 pontos Data e hora 22 5 2015 12 25 Aber
11. P Basis o SKAA 0 cae 2 SK EH 0 belas e SK ER 0 PE SKF 0 Gr 0 00 SK IH 0 amp IH 0 00 SKY E amp iy 0 00 a eae S SKL 0 y 5 M SKM 0 z M 0 00 O skow 0 Ro cece J SKS b a K on SK SH 0 fe o Sa es SKT 0 A D _ oy SK TH 0 amp TH o 2 SK UW 0 amp UW 0 00 a amp 0 00 SKW 0 as SK FecharOlhos 0 i FecharOlhos 0 00 e SK Triste 0 ae SK Smile 0 amp Smile 0 00 i amp SimpleSmile 0 00 O SK Simp leSmile 0 Cast Shadows On Receive Shadows M Figura 13 Da esquerda para a direita Shape Keys definidas no Blender e Blend Shapes no Unty3D 41 Texturas no Unity3D Ao exportar os modelos para o Unity3D os modelos apresentam se com uma apar ncia diferente daquela que tinham no DazStudio o que se deve principalmente ao facto de o Unity3D e o DazStudio utilizarem t cnicas de rendering diferentes e tamb m ao facto de ambos terem objetivos diferentes enquanto o Unity3D tem como finalidade o desenvolvimento de videojogos em que o rendering dos objetos e da cena feita em tempo real o DazStudio apenas est preparado para fazer rendering de objetos ou cenas em que esta n o feita em tempo real podendo levar horas at sua conclus o mas com resultados mais realistas 4 2 Virtual Pharmacy A Virtual Pharmacy inclui duas aplica es a VP SIM e a VP Office A VP SIM tem como objetivo simular v rias situa es de automedica o e destinada a alunos Em cada situa o um HV desem
12. blend shapes devem tomar para produzir o visema que corresponde fala e assim realizar a respetiva anima o A forma como a gera o do udio e das anima es foi implementada bastante flex vel e com grande facilidade pode ser adaptada para outras l nguas bastando apenas no c digo de aplica o alterar os nomes das vozes que devem ser utilizadas para a gera o do udio Um dos problemas desta primeira vers o da implementa o do Speech Generator que a sua compatibilidade est limitada apenas ao sistema operativo Windows 63 Speech Generator vers o pr processamento das falas A vers o do Speech Generator que funciona em modo de pr processamento das falas menos flex vel em rela o anterior mas facilitou de forma significativa a instala o do prot tipo permitindo a sua compatibilidade com outros sistemas operativos al m do sistema operativo Windows Nesta vers o apenas necess rio o sistema operativo Windows para gerar as falas Nesta abordagem em vez de as falas irem sendo geradas durante a execu o da VP SIM estas j se encontram geradas tamb m utilizando a biblioteca de speech da Microsoft O Speech Generator recebe como input o nome do caso e o ficheiro txt com o di logo previamente carregado para a base de dados pelo professor Neste ponto foi necess rio definir uma forma de organizar as falas de modo a que o VP SIM determinasse corretamente a fala a carregar em
13. falas dos personagens em tempo de execu o 22 Esta vers o foi testada por peritos em Comunica o em Sa de e constatou se que existiam dificuldades na instala o das componentes necess rias ao funcionamento do Speech Generator Tendo em contas estas dificuldades e visto que a aplica o tem como objetivo ser utilizada pelos alunos com diferentes tipos de computadores existe uma grande probabilidade de que as dificuldades de instala o verificadas com os peritos se verificassem tamb m com os alunos da a necessidade de reformular a arquitetura em vez de as falas das personagens serem geradas em tempo de execu o atrav s de pedidos por parte do Speech Animator Controller ao Speech Generator as falas das personagens j se encontram pr geradas pelo Speech Generator Module sendo apenas feito o seu carregamento para a aplica o VP SIM Desta forma as dificuldades encontradas durante o pr teste com os peritos foram eliminadas melhorando assim a compatibilidade da aplica o com mais sistemas operativos No pr ximo cap tulo encontra se informa o mais detalhada sobre estas componentes assim como a sua implementa o 3 6 Planeamento do trabalho 3 6 1 Modelo de desenvolvimento Ap s uma primeira an lise dos requisitos do cliente assim como do tempo dispon vel para a sua concretiza o dos recursos e da natureza do projeto de ser um projeto que pode sofrer v rias altera es ao longo do seu cicl
14. fica da aplica o Relativamente clareza da sele o da situa o de automedica o e de como as op es s o apresentadas aos utilizadores estes concordam que esta clara e que o n mero de passos para efetuar esta sele o adequado O modo de selecionar o humano virtual claro n o suscita d vidas A sele o do humano virtual direta isto n o s o necess rios demasiados passos Aa A A apar ncia dos humanos virtuais muito realista A indument ria dos humanos virtuais muito realista O olhar dos humanos virtuais muito realista A movimenta o corporal dos humanos virtuais muita realista E f cil ouvir perceber as falas dos humanos virtuais A A U W U U f cil ler as falas dos humanos virtuais nas legendas Os movimentos dos l bios dos humanos virtuais est o sincronizados com a voz Concordo que este feedback til para o utilizador 4 Tabela 12 Respostas dos estagi rios em rela o aos Humanos Virtuais Em rela o aos Humanos Virtuais pode verificar se que os resultados obtidos t m medianas entre 3 e 4 Tabela 12 Em rela o ao modo de sele o e legibilidade das legendas das falas do HV os participantes consideram que s o claras e que n o s o necess rios demasiados passos para a sele o do HV Da mesma forma estes consideram que f cil ouvir perceber a fala dos HV Relativamente apar ncia dos HV a sua indument ria o seu olhar e
15. o sacsecasssrsetasercianstxdastsutaveetentasdupiasinedaatiatonea cts 69 5 1 Estrutura dos question rios assassinada ORA CU a eed 69 5 2 Teste com peritos em Comunica o em Sauide eeceeeeccesceseeereeeeees 70 5 3 Entrevistas e testes com alunos do 4 ano de Ci ncias Farmac uticas 73 vi 5 3 2 Testes com estagi rios em farm cia comunit ria c 78 5 4 DISCUSS O ar a a da co 82 5 5 Concise a a a dd 84 Cap tulo 6 Conclus es e trabalho futuro em serial da os Sa ER 85 6 1 Balanco ng da a da a 85 6 2 Trabalho AO sl a E RS E a a niai 87 Ap ndice A Question rio ques RES DUETO GURI 89 Ap ndice B Elementos Adicionais ccccccesecesecesseeescecseceseceeeeeeacecaecnseenees 96 Ap ndice C Manual de utiliza o da Virtual Pharmarcy 100 CT Instala o da VP SIM sado oe qa Ta Ceia cect GT ea 100 CO Basic dados GRUPO DARCI Ee 103 CS Instala o da V PO PICE sua cas pares dada anda ara aaa efa Ra 105 C 4 Adi o de novos conte dos na base de dados 106 Ap ndice D Manual de t cnico aa A RT A UA 110 D 1 Cria o de novas personagens ecccescceseceesceesceeseeceseceeeeeseeeeseecsaeenteeeaes 110 D 2 Personagem falante com a respetiva anima o ceeceeseeeseeeteeeeteeeeeeeees 122 D 3 Cria o do udio das falas do novo personageM ccccesceesteeeteeeeeeeees 125 D 4 Adi o de novas anima es COLPOTals ceecceesceesseceseceseeeeeeeeeeessec
16. 44 Audio Generator ua RD oad eas 108 Fig ra do Gerar O audid tras es SS ST O pa 109 Figura 46 Arquitetura da Virtual Pharmacy csscsscsscscssseeceescesecsseeseeceeseeceesceseees 110 Figura 47 Criar o PersOma Qe Mics ae pa CRASE RA Da 111 IX Fig ra 48 Ficheiros FBX matar menee aaa eE eed ar Ga aan otara tiesia 113 Figura 49 Incompatibilidade do esqueleto no Blender ceceeseeceeeeceteceeeeneeeeeeerees 114 Figura 50 Criar a shape key base pasa EDGE C RICO RA 115 Figura 51 Criar uma nova Shape Key aaa agita Ra Dad 116 Figura 52 Shape Keys Blender ds sandra ad RU RSA a pa 117 Figura 53 Shape Keys no Maya ss ed a a Ud a A Id 118 Figura 54 Configura es de importa o no Unity ires 120 Figura 55 Shape keys UN a aa A Ca RT E ab da 121 Figura 56 Adicionar um novo personageM cccecceseceeeceesceeeeceeceeeeeeeeeeseecsseeeseeeaes 122 Figura 57 Adicionar um novo bot o dan a ps ad 125 Figura 58 Personagem na cena sapata a UR DG DU 128 Figura SO AMADOR ersa dau ato rendas arara Ria a EEL E oa STR aaa na eng 128 Lista de Tabelas Tabela 1 Tabela de mapeamento dos fonemas para visemas na l ngua inglesa vers o TE EVA VO a SAS e ee eRe a eae ee DA A A Pe 15 Tabela 2 Palavra chave e movimento associado 49 ERRRRE A Re GURI OD NDA DR SNIS ERRO RD RD ERRO ARNS DD URSS E E DS ad 62 Tabela 4 Respostas dos peritos em rela o interface da aplica o 71 Tabe
17. Esta necess ria porque o site tem c digo PHP e como o PHP s corre no servidor necess rio simular um servidor atrav s da instala o do XAMPP Para configurar a liga o base de dados deve se dentro da pasta Site localizar o ficheiro connection php que se encotra dentro da pasta php link para link Neste ficheiro deve se alterar a vari vel 105 mysqli connect localhost root apppei TutorialSchema O primeira argumento diz respeito ao endere o da base de dados o segundo diz respeito ao nome de utilizador da base de dados e finalmente o ultimo diz respeito ao nome do esquema e Ap s a instala o do XAMPP e altera o do ficheiro deve se copiar todo o conte do que se encontra dentro da pasta Site para a pasta htdocs que se encontra dentro na pasta de instala o do XAMPP C 4 Adi o de novos conte dos na base de dados Adi o de novos casos de automedica o Para adicionar novas situa es de automedica o na base de dados na aplica o deve se come ar primeiro por 1 Constru o do dialogo Para construir o dialogo deve se aceder ao site de Backoffice como o site est localizado localmente atrav s do site deve se aceder atrav s do endere o http localhost e clicar em Criar Casos ou em Recursos e de seguida em Criar Caso Figura 41 Farmacia Virtual Menu principal amp Vitor Menu principal EB C
18. Esta exposi o dos estudantes a estes ambientes virtuais de aprendizagem permite que estes se familiarizem com situa es reais e que at pratiquem ou desenvolvam novas capacidades 12 Atrav s de um estudo realizado por Grace Huang et al 11 sobre a utiliza o de programas de simula o de pacientes virtuais nas faculdades dos Estados Unidos e Canad verificou se que a grande maioria dos programas de pacientes virtuais 83 requer acesso internet e s o ricos em elementos de multim dia sendo que 92 cont m imagens est ticas 71 clips de udio e 83 clips de v deo A n vel de multim dia mais avan ada cerca de 25 usa anima es 3D e 33 anima es Flash Quanto utiliza o 68 das aplica es fornece feedback direto aos utilizadores acerca do seu desempenho e s o para ser utilizados de forma individual permitindo tamb m que o conte do do caso em quest o seja revisto 64 permite fazer o tracking de todas as escolhas feitas pelo utilizador e apenas 20 oferece m ltiplos resultados dependendo das decis es feitas pelos alunos V rios estudos demonstram que a utiliza o de pacientes virtuais para ensinar os alunos no aconselhamento de medica o e tratamentos de sa de em compara o com os m todos de ensino tradicionais mais eficaz 7 No entanto esta opini o n o consensual entre a comunidade havendo autores que demonstram que esta tecnologia ainda necessita de algum amadurecimento 1
19. Facil de instalar o sistema deve ser de f cil integra o e execu o em diferentes m quinas e ambientes 3 4 3 Requisitos detalhados O sistema consiste principalmente em tr s processos aplica es de acordo com a arquitetura descrita em 3 5 e Processo orientado ao professor aplica o Web respons vel por mostrar os dados referente atividade dos alunos e por criar e introduzir novos conte dos na aplica o VP SIM 20 e Processo orientado ao aluno aplica o respons vel pela interface gr fica por processar o input dados e registar toda a atividade do aluno na base de dados assim como toda a l gica do sistema e comunica o com o processo interno e Processo interno aplica o respons vel pela sintetiza o de udio e defini o de anima es verbais dos humanos virtuais de acordo com o que foi definido pelo professor no processo orientado a este 3 5 Arquitetura da Virtual Pharmacy Quanto arquitetura da Virtual Pharmacy Figura 1 esta foi desenhada de maneira a que os requisitos fossem cumpridos e que fosse o mais flex vel poss vel de forma a facilitar a integra o de novos componentes Speech Generator Speech Speech ices Animation Generator Speech Controller Module A ee User Character Audio Data Animation Data Behavior Controller Application Controller VP_Office Data Controller Dialogue Database Creator Teacher Session Controller Informa
20. Para a gera o das personagens foram consideradas tr s ferramentas gratuitas MakeHuman Mixamo Fuse e DazStudio todas com as suas vantagens e desvantagens O software MakeHuman foi descartado pois as suas personagens virtuais apresentavam uma apar ncia muito gen rica ou seja os resultados das v rias gera es feitas eram muito semelhantes al m de as propor es do corpo n o aparentarem ser as mais corretas deixando assim a escolha entre o Mixamo Fuse e o DazStudio Primeiramente as personagens utilizadas foram geradas a partir Mixamo Fuse pois apresentava melhores resultados que o MakeHuman Entretanto durante o desenvolvimento do projeto e ainda em tempo til o DazStudio ficou dispon vel de forma gratuita Este software apresentava vantagens relativamente aos dois anteriores nomeadamente a possibilidade de definir as posi es dos l bios de forma obter os visemas pretendidos explica o na sec o 4 1 2 Esta caracter stica s por si fez com que se optasse por usar os modelos produzidos por este sofiware Adicionalmente as personagens geradas a partir do DazStudio apresentam resultados muito mais realistas sendo a resolu o m xima das texturas das personagens de 4096x4096 o que corresponde a duas vezes a resolu o do Mixamo Fuse 2048x2048 e quatro vezes a resolu o do MakeHuman 1024x1024 Al m de disponibilizar modelos de apar ncia realista o DazStudio cont m uma gama de caracter sticas p
21. a ficar dispon vel para o professor consultar Na vers o de treino esta informa o apenas guardada localmente num ficheiro 42 A VP Office uma aplica o Web que se destina a apoiar o trabalho do professor e permite gerir os conte dos da VP SIM situa es de automedica es e elementos de estudo Nela poss vel criar novas situa es de automedica o atrav s da defini o de um grafo em que s o criados v rios tipos de n s ligados entre si que representam as falas do HV e as escolhas que o aluno poder selecionar Este grafo diz respeito a todo o di logo entre o HV e o aluno e pode ser carregado para a base de dados atrav s da VP Office de modo a ficar dispon vel para os alunos na VP SIM Na VP Office o professor pode tamb m fazer o carregamento dos v rios tipos de elementos de estudo que posteriormente ficam dispon veis apenas na vers o de treino da VP SIM No que diz respeito ao di logo foi criada uma aplica o adicional auxiliar o Speech Generator que permite ao professor gerar as falas dos personagens para cada situa o pass vel de automedica o Informa o adicional sobre uso do Speech Generator encontra se no Ap ndice C Nas sec es seguintes explicado funcionamento e a implementa o de cada uma destas componentes em mais detalhe 4 2 1 Virtual Pharmacy Simulator VP SIM A VP SIM uma aplica o interativa desenvolvida com o Unity3D utilizado a linguagem de prog
22. aplica o d ao utilizador no final da resolu o do caso e no hist rico os participantes concordam que esta suficiente Tabela 13 A grande maioria dos participantes 92 consideram que globalmente a aplica o f cil de utilizar e no geral a aplica o correspondeu s suas expectativas 47 dos participantes sugerem altera es aplica o em que algumas das sugest es encontram se implementadas na vers o de treino como por exemplo a possibilidade de ver as quest es erradas e sua corre o Tamb m foi sugerido uma maior clareza na avalia o mais situa es para resolver e um menu de f rmacos para escolher durante o aconselhamento Relativamente ao question rio de Usabilidade e Satisfa o de Utiliza o Tabela 14 poss vel observar que os utilizadores consideram a aplica o criativa f cil de aprender estimulante interessante r pida original atrativa inovadora segura motivante cumpre as expetativas eficiente pr tica atraente e simp tica Tamb m se pode observar que os utilizadores se possam sentir um pouco limitados na utiliza o da aplica o Quando inquiridos sobre o que mais gostaram na aplica o os participantes reponderam a intera o com o paciente assim com os movimentos que ele realizava o 80 facto de ser forma c moda de avaliar os conhecimentos e a exposi o do utilizador a casos pr ticos que s seriam encontrados durante o est gio numa farm cia comun
23. cada momento uma vez que existem v rias personagens com as mesmas falas Decidiu se ent o criar uma pasta raiz com o nome do caso em quest o e dentro desta pasta criar mais quatro pastas uma por cada personagem O ficheiro txt com o di logo que o professor d como input foi resultado de uma exporta o feita atrav s da funcionalidade da VP Office e cont m dentro dele informa o de cada n do grafo incluindo o indentificador do n a string com a fala entre outras informa es que s o carregadas para uma estrutura dados interna ao Speech Generator onde s o guardadas todas estas informa es Ap s o carregamento das informa es para a estrutura esta percorrida quatro vezes para poder gerar o udio e o respetivo ficheiro XML para cada uma das personagens uma vez que estas t m falas com diferentes caracter sticas De forma a poder identificar posteriormente a que fala os ficheiros gerados correspondem os nomes atribu dos a estes foram os identificadores do n do grafo que continha a respetiva fala AudiosFiles gt cefaleia gt 0e8d0b32 ecc578 wav 1 configFile txt 1 tosse 2 gt Oe8d0b32 ecc578 xml a Farmacia Virtual E s gt 1f5bd728 8 c4b13 wav Bm 4 gt 1f5bd728 8 5c4b13 xml 5be89339 60d4a5 wav 5be89339 60d4a5 xml 8c770067 fee813e wav 8c770067 fee813e xml ARENTAFA KR Ataasf wawu Figura 34 Estrutura dos ficheiros para a fala dos 4 HV no caso da cefaleia Ap
24. care course Am J Pharm 14 Educ vol 71 no 2 2007 Marriot JL Use and evaluation of virtual patients for assessment of clinical 15 pharmacy undergraduates Pharm Educ 2007 Johnson G Boberg J Fors UG Zary N Development implementation and 16 pilot evaluation of a Web based virtual patient case simulation environment Web SP BMC Med Educ A Raij A Stevens D S Lind B Lok D Ph K Johnsen The Validity of a 17 Virtual Human Experience for Interpersonal Skills Education F Reichert H M Bosse B a de Leng C P M van der Vleuten M Haag G 18 F Hoffmann and B T nshoff S Huwendiek Design principles for virtual patients a focus group study among students Med Educ vol 43 no 6 June 2009 Richard E Parent Scott A King Creating Speech Synchronized Animation 19 IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS vol 11 no 3 May 2005 Alan Cruttenden Gimson s Pronunciation of English vol 7 May 2008 20 132 H McGurk and L MacDonald Hearing lips and seeing voices Nature pp 21 746 748 December 1976 Yuyu Xu Andrew W Feng Stacy Marsella and Ari Shapiro A Practical and 22 Configurable Lip Sync Method for Games USC Institute for Creative Technologies M WANG K ZHANG L YANG Realistic Real time Facial Expressions 23 Animation via 3D Morphing Target Journal of Software February 2013 133
25. cia 81 Consideram ainda que a aplica o pode ser usada com um meio de treino tanto de compet ncias como de prepara o para o est gio servindo ainda para rever consolidar conceitos adquiridos mas que entretanto j foram esquecidos servindo de apoio s aulas dadas pelo professor Atrav s do uso da aplica o alguns dos inquiridos consideram ainda que esta pode proporcionar uma melhoria no atendimento em situa es reais A n vel das desvantagens da utiliza o desta aplica o foi indicado que a repetibilidade dos casos pode ser um problema e que em situa es reais as respostas dos pacientes nem sempre s o t o previs veis e civilizadas Existem um grande consenso entre os estagi rios relativamente finalidade com que esta aplica o deve ser utilizada sendo que na opini o destes a aplica o deve ser utilizada principalmente para treino Relativamente possibilidade de esta aplica o com inclus o de manuais e textos tipo e learning substituir a forma o presencial foi do consenso geral de todos os participantes que isto n o poderia acontecer considerando que a presen a do professor essencial tanto na explica o como na liga o de conceitos atrav s da sua experi ncia que facilita a reten o dos conceitos nos alunos 5 4 Discuss o A realiza o dos testes com os diferentes grupos de utilizadores teve como finalidade identificar os pontos cr ticos da aplica o tanto n vel d
26. consideram ainda que a aplica o til e que a sua utiliza o antes do est gio seria ben fica para eles pois permite lhes obter vis o geral de como se processa o atendimento numa farm cia conseguindo desta forma um melhor desempenho durante est gio Tamb m consideram que a aplica o permite treinar o seguimento do protocolo ou seja que perguntas devem ser feitas ao doente e a sua ordem durante o atendimento assim como relembrar conceitos aprendidos nas aulas de uma forma c moda e interativa Devido ao feedback que lhes fornecido no fim de cada sess o de atendimento no caso da vers o treino estes consideram que esta uma mais valia pois permite lhes identificarem os erros cometidos de modo a perceberem onde devem melhorar para que em atendimentos posteriores procedam de forma mais correta Na segunda parte do question rio foi poss vel concluir que os utilizadores consideram que a aplica o pode ser utilizada para treino de capacidades de atendimento e na capacidade resolu o de problemas relembrando conceitos aprendidos ao longo do ano Contudo esta apresenta algumas limita es nomeadamente a repetibilidade dos casos as repostas dadas pelos doentes n o serem assim t o previs veis como na realidade ou seja n o poss vel cobrir todos os cen rios poss veis e eventos que possam ocorrer numa situa o real A maioria dos utilizadores consideram que a aplica o dever ser utilizada como forma
27. da sua cria o est a manipula o dos v rtices da mesh Assim a anima o de uma morph target para outra morph target morphing mais custosa a n vel de recursos computacionais do que em compara o com a utiliza o de um esqueleto porque a posi o de cada v rtice da mesh tem de ser calculada Cria o das Morph Targets no Blender No primeiro prot tipo da aplica o fizeram se testes para demonstrar como a anima o das blend shapes se poderiam efetuar e antes de o software DazStudio ficar 3 https www assetstore unity3d com en content 19991 30 dispon vel de forma gratuita a cria o das Morph Targets foi realizada de forma manual apenas para uma personagem visto que este um processo demorado e requer t cnica apurada Como foi explicado anteriormente as Morph Targets correspondem a diferentes deforma es de uma mesh original No caso deste projeto para a cria o das express es faciais das personagens virtuais foram criadas v rias morph targets cada uma correspondendo a uma express o Ap s ter o modelo 3D da cabe a mesh da personagem importado para o Blender a malha correspondente cabe a da personagem foi duplicada de forma a obter v rias malhas cabe as Figura 2 todas com a mesma express o facial neutra De seguida em cada uma delas define se uma das express es faciais pretendidas manipulando os v rtices Figura 3 Figura 2 Duplica o da mesh ori
28. dados Nome do Caso Tem de ser igual ao nome colocado na base de dados Tosse Escolha o ficheiro Escolha o ficheiro Escolher E g Escolher EA C Users Vitor Documents DialogoTosse txt Ficheiro Concluido verifique a pasta AudioFiles nos Meus Documentos Gerar Audio Gerar Audio Figura 45 Gerar o audio A assim que a gera o do audio estiver conclu da dever ir aos Meus Documentos e verificar que l se encontra uma pasta com o nome AudioFiles e dentro desta est uma pasta com o nome do caso que neste caso Tosse e dentro destas est o 4 pastas com todo o udio das falas para o caso da Tosse para cada um dos personagens 4 Disponibiliza o das falas para os alunos Assim que a gera o do udio esteja conclu da a pasta criada com o nome do caso deve ser comprimida e distribu da para os alunos por exemplo atrav s da dropbox ou outro servi o do mesmo tipo Os alunos dever o ent o descarregar este ficheiro e extrai lo para a pasta AudioFiles que se encontra dentro da pasta da aplica o onde se encontra o execut vel para inicializar a aplica o 109 Ap ndice D Manual de t cnico Aqui s o descritos detalhes da implementa o e de como alterar a aplica o Virtual Pharmacy Durante a leitura do manual t cnico deve ter em mente a arquitetura da Virtual Pharmacy Figura 46 Speech Generator Speech Ps nach Microsoft Animation Ne Speech Controller ogule
29. de treino e avalia o formativa como um complemento s aulas de modo a praticarem o aconselhamento e t cnicas de comunica o em farm cia comunit ria n o devendo ser utilizada como forma de avalia o sumativa nem como substitui o das aulas mesmo que acompanhada com manuais e textos de apoio tipo e learning considerando que o papel do professor tem um grande impacto na aprendizagem n o podendo assim ser em qualquer momento substitu do 83 5 5 Conclus o Neste cap tulo descreveram se os testes efetuados componente de simula o da Virtual Pharamcy com utilizadores ligados rea das Ci ncias Farmac uticas Relativamente a alguns pontos que os utilizadores consideraram menos positivos sempre poss vel melhorar nomeadamente sempre poss vel inserir novas situa es de automedica o e novos HV mais realistas no entanto esta ultima pode ter um custo associado pre o de modelos 3D Relativamente s vozes de TTS talvez se possam obter resultados ainda melhores em vers es futuras 84 Cap tulo 6 Conclus es e trabalho futuro 6 1 Balan o final No que diz respeito rea em que este projeto se enquadra o treino de compet ncias de comunica o na rea da Sa de mais especificamente das Ci ncias Farmac uticas existe um conjunto muito pequeno de ferramentas que permitem a concretiza o do treino ou avalia o dos alunos Contudo algumas destas ferramentas s o criadas den
30. decis es cl nicas que um m dico ou farmac utico t m habitualmente que fazer Perguntas e explica es para melhorar o pensamento cl nico Os estudantes devem estar envolvidos ativamente no processo de racioc nio cl nico da mesma forma que um profissional de sa de na vida real por exemplo realizando diagn sticos 10 2 2 3 Aplica es com pacientes virtuais Interactive Simulated Patient ISP 5 uma aplica o multim dia para aprendizagem na rea da Sa de que permite explorar e resolver casos cl nicos tendo como objetivo ajudar os estudantes a praticar as suas capacidades de racioc nio cl nico A intera o com o paciente feita atrav s de linguagem natural e todas as respostas do paciente s o dadas atrav s de clips de v deo A aplica o permite simular exames f sicos detalhados inclu do ausculta o exames neurol gicos assim como testes de laborat rio de forma interativa e aplic vel a todas as partes do corpo Tamb m permite ao utilizador tirar notas de forma individual para cada paciente incluindo tamb m todos os exames e testes associados ao paciente O utilizador prop e um diagn stico e recebe feedback sobre este podendo ver todas as suas intera es atrav s de um Jog que pode imprimir para analisar e concluir onde esteve menos bem Todas as op es s o livremente escolhidas pelo utilizador a qualquer momento Os estudantes que avaliaram esta aplica o consideram que o sistema
31. descontente que se encontram no separador de Expressions e deve ser tamb m criado um personagem com a express o neutra com os olhos fechados que se encontra no separador Eyes 112 Posto isto dever ter uma pasta com todos estes ficheiros fbx com os nomes que os identifiquem Figura 48 AA fbx EH fbx ER fbx F fbx IH fbx IY fbx K fbx L fbx M fbx OlhosFechados fbx OW fbx S fbx sad fbx SH fbx simpleSmile fbx Smile fbx T fbx TH fbx UW fbx W fbx Figura 48 Ficheiros FBX 113 3 Jun o das Shape Keys Nesta sec o pressup e se que o utilizador tenha conhecimentos b sicos sobre o Blender Figura 49 Incompatibilidade do esqueleto no Blender Para a jun o das Shape Key necess rio a utiliza o do Blender 1 No Blender dever ent o come ar por importar o ficheiro FBX que corresponde personagem com a express o neutra para isso dever ir a File gt Import gt FBX e selecionar o FBX com a express o neutra Se ocorrer o problema que est na Figura 49 isto deve se ao facto de que o Blender incompat vel com o formato do esqueleto do DazStudio Para resolver este problema basta premir a tecla A para selecionar tudo e de seguida pressionar Alt P e selecionar Clear Parent e o problema fica resolvido Deve se rodar o personagem sobre o eixo do x 90 de forma a ele ficar direito 114 2 De seguida deve se eliminar a roupa e acess rios do personagem
32. e os 25 anos e os restantes 8 t m idades compreendidas entre os 30 e 37 anos Em rela o interface da aplica o pode se observar que os resultados foram positivos sendo que no geral os participantes concordam que a informa o surge devidamente organizada no ecr a execu o de tarefas direta e f cil e que velocidade de funcionamento adequada Tabela 11 Relativamente velocidade de funcionamento houve respostas menos positivas podendo especular se que estas podem dever se s especifica es do computador onde foi realizado ou a velocidade de liga o internet durante o teste j que a aplica o tem de aceder base de dados remota 78 A informa o surge devidamente organizada no ecr ex n mero e localiza o dos bot es op es A execu o de tarefas direta isto a escolha das op es e ou menus f cil A velocidade de funcionamento da aplica o adequada O modo de selecionar a situa o de automedica o a resolver claro n o suscita d vidas A escolha da situa o de automedica o direta isto n o s o necess rios demasiados passos As escolhas dadas ao utilizador s o apresentadas de forma clara isto s o f ceis de ler As escolhas dadas ao utilizador s o f ceis de compreender isto o seu conte do faz sentido A A A A Todos os caracteres do ecr s o leg veis 4 Tabela 11 Respostas dos estagi rios em rela o interface gr
33. educa o no p blico em geral A aplica o foi considerada ser uma ferramenta importante para o desenvolvimento de compet ncias nos profissionais de forma precisa e consistente n o s resultante da intera o muito realista mas tamb m porque d feedback e acompanhamento da progress o dos utilizadores Foram ainda enumerados alguns pontos cr ticos limita es normais relacionadas com um di logo predefinido que n o cobrem todos os poss veis T2 cen rios de rea es do paciente e eventos que podem ocorrer numa situa o real o que pode aumentar artificialmente a confian a profissional em utilizadores menos treinados isto particularmente relevante para a aprendizagem aut noma e dist ncia Embora a aplica o tenha sido considerada uma ferramenta valiosa para a forma o e avalia o da OTC over the counter ou seja medicamentos que n o exigem receita m dica os utilizadores de teste consideraram que o seu uso deve ser preferencialmente seguido por intera es reais e avalia o ao vivo Na verdade os especialistas foram cautelosos quando perguntados sobre se a aplica o poderia substituir a avalia o dos alunos com base nas limita es explicadas anteriormente especialmente no que se refere aos soft skills No entanto alguns especialistas consideram que no caso de o utilizador obter uma classifica o negativa que lhe seja dada a oportunidade de explicar o seu racioc nio durante o aconselhamento no r
34. f cil de utilizar 5 Globalmente considero que a aplica o agrad vel de utilizar 4 5 Globalmente a aplica o corresponde s minhas expectativas isto responde aos 4 objetivos antecipados Tabela 6 Respostas dos peritos em rela o aprecia o global da aplica o Sobre a aprecia o global os resultados obtidos s o positivos onde os peritos consideraram a aplica o f cil de utilizar e que esta superou as suas expetativas iniciais Tabela 6 Foi sugerido pelos peritos a inser o de novos recursos para a aplica o tais como simula o de pacientes menos passivos ou seja com um comportamento mais imprevis vel al m de diferentes vozes dos HV corre o de respostas erradas e algumas explica es Na segunda parte os resultados do question rio em aberto sobre o potencial da utiliza o da aplica o na educa o revelaram que os peritos consideram que a aplica o pode ser til para al m do ensino e da aprendizagem Consideram tamb m que e a sua utiliza o pode ser til para estagi rios de farm cia e farmac uticos interessados em educa o continuada e outros profissionais de farm cia poderem beneficiar do seu uso e a aplica o pode ser utilizada por um lado para a forma o de profissionais em condi es onde a automedica o n o t o exigente e pode servir como uma base ilustrativa das fun es dos farmac uticos para a formula o de pol ticas de sa de ou de
35. farmac utico ou HV Figura 28 O valor e a fase s o editados diretamente no n Cada n da fala do paciente pode estar ligado a v rios n s da fala do farmac utico Os n s do tipo fala do farmac utico apenas se podem ligar a um n do tipo fala do paciente que corresponde rea o do paciente escolha do farmac utico Para ligar os n s basta com o bot o esquerdo do rato fazer clique sobre a rea de output do n e arrastar at rea de input do n pretendido O atendimento ao doente numa farm cia est divido em 4 quatro fases abertura avalia o aconselhamento e fecho Assim houve necessidade de colocar esta informa o no grafo Assim quando o professor cria um n do tipo fala do farmac utico pode indicar a que fase o n pertence e tamb m qual a pontua o que o aluno recebe se escolher este n na VP SIM Figura 28 Para definir a fase de atendimento insere se um valor num rico na terceira caixa de texto do n 1 abertura 2 aconselhamento 3 avalia o 4 fecho Fala Paciente Fala Farmace tico Escolha x New Open File Seve to File Fase atencimento Export to Game Figura 28 Da esquerda para a direita menu de sele o e n do tipo farmac utico Depois de criados os di logos estes s o guardados num ficheiro no formato JSON para poderem ser alterados posteriormente e s o exportados para um ficheiro no formato txt de forma a que o di logo possa ser utiliz
36. fim do caso completando assim a sua consulta virtual 48 Palavra chave Descri o do movimento Ilustra o Cabe a O personagem leva a m o Testa cabe a Deixe me ver O personagem olha para pensar baixo e para a esquerda como se estivesse a pensar N o O personagem acena a cabe a em desacordo Peito barriga O personagem leva a m o zona do tronco Tabela 2 Palavra chave e movimento associado 49 Informa o sobre o desempenho Assim que o aluno finaliza um caso todas as escolhas efetuadas s o guardadas localmente num ficheiro XML e no caso da vers o de avalia o s o tamb m guardadas na base de dados assim como tamb m guardada a pontua o obtida e o n mero de perguntas que acertou em cada fase do atendimento abertura avalia o aconselhamento e fecho ver pr xima sec o Surge ent o um ecr com a informa o sobre o desempenho que varia de acordo com a vers o em utiliza o no caso de ser a vers o de avalia o apenas mostrado ao aluno o seu desempenho a pontua o obtida em cada escolha efetuada atrav s de um gr fico o tempo de resolu o do caso e o n mero de perguntas que acertou em cada fase do atendimento Figura 21 No caso da vers o de treino al m de ser mostrada a informa o mostrada na vers o de avalia o acerca do desempenho mostrado no lugar do gr fico uma tabela onde o aluno pode ver que op es escolheu de forma correta ou incorreta
37. gica ao estudante 9 Por outro lado os Simulated Patients s o pessoas que representam um papel ou seja s o pessoas a quem s o dadas hist rias para retratarem Estas pessoas podem ser atores ou apenas pessoas treinadas para apresentar a situa o 9 Diferentes m todos de desenvolvimento de compet ncias de comunica o para estudantes t m sido usados incluindo comunica o cara a cara por telefone entrevista por email an lise de udio e v deo assim como a utiliza o de v rios m todos em que s o utilizados pacientes virtuais 7 T m tamb m sido desenvolvidas abordagens em que se recorre a um HV para desempenhar o papel de paciente 7 V rios estudos t m vindo a demonstrar que a utiliza o de pacientes virtuais tem sido bem recebida e que estes podem ser utilizados para melhorar as compet ncias cognitivas e comportamentais dos estudantes de forma mais eficaz quando comparados com m todos tradicionais ou de sala de aula que t m sido utilizados desde h v rios anos em que a informa o transmitida aos alunos essencialmente por meios baseados na teoria e em que n o s o atingidos n veis de intera o e empenho desejados dos alunos 10 Por exemplo foi demonstrado por R Reynolds e C Candler 11 que os estudantes de Medicina que utilizaram pacientes virtuais para aprenderem sobre dor aguda nas costas tiveram melhor desempenho quando comparados com estudantes que apenas leram sobre o assunto
38. moda Segura Motivante 93 Discordo Discordo totalmente Cumpre as expectativas Eficiente Evidente Pr tica Atraente Simp tica 21 O que mais gostou na aplica o 22 O que menos gostou na aplica o Sobre o uso futuro da aplica o 23 2 Concordo Concordo N o Discordo Discordo totalmente concordo totalmente nem discordo Sente que usaria esta aplica o no futuro 24 Porque 25 De que forma esta aplica o poderia mudar a qualidade do se desempenho profissional 94 26 O que gostaria de ver nesta aplica o e que n o viu Conjunto 3 Opini o sobre o uso da aplica o Farm cia Virtual Em rela o aplica o que utilizou Farm cia Virtual responda por favor s seguintes quest es escrevendo nas respetivas caixas de resposta Obrigado 27 Qual o p blico alvo que mais poderia beneficiar com a utiliza o desta aplica o 28 Quais as vantagens benef cios resultantes da utiliza o desta aplica o 29 Quais as desvantagens preju zos resultantes da utiliza o desta aplica o 30 Considerando que a aplica o pode ser utilizada para treino e ou avalia o qual na sua opini o deve ser a principal finalidade 31 Como v a integra o desta aplica o com a forma o pr e p s graduada por exemplo de que forma a aplica o poderia substituir as formas tradicionais de aval
39. o terap utica para o tratamento sintom tico da osteoartrose dolorosa Figura 31 Inser o de novos elementos de estudo Consultar a atividade dos alunos Categ Circul Inform Circul Inform amp Vitor Inserir novos elementos Categoria do Recurso Circular Informativa T tulo Descri o Link para recurso N o obrigat rio PDF Escolher ficheiro Nenhum ficheiro selecionado ID do caso o De forma a que o professor possa analisar o progresso dos alunos lhe dada a possibilidade de consultar a informa o respeitante ao desempenho dos alunos Figura 32 Esta informa o cont m o nome do aluno a data a situa o resolvida a pontua o obtida a pontua o que era poss vel obter a dura o da resolu o em segundos e finalmente o n mero de respostas que o aluno respondeu de forma correta em cada fase da consulta abertura avalia o aconselhamento e fecho Toda esta informa o pode ser filtrada por data por aluno e por situa o e pode ser exportada para um ficheiro csv o que permite uma posterior an lise dos dados num outro software por exemplo para an lise estat stica Farmacia Virtual Menu principal Criar Casos Menu principal EB Consultas Consultar Atividade o Atividade Recursos v Menu principal EB Consultar Atividade Toda a atividade dos alunos Data Todas Aluno Caso Todos Refresh Exportar tabela para CSV Nome An
40. o e cria o correspondente di logo entre o paciente e o aluno 2 exporta esse di logo para um ficheiro txt que cont m toda a informa o sobre o di logo as falas do paciente e as escolhas que s o apresentadas ao aluno e 3 faz o carregamento do ficheiro para a base de dados 4 usando o VP Office ficando assim a situa o pass vel de automedica o registada na base de dados Ap s o registo da aplica o o professor tem de fazer a gera o do udio de todas as falas das personagens utilizando a aplica o Speech Generator 5 e dando como input o nome da situa o que acaba de ser registada na base de dados e o ficheiro do di logo 6 De seguida s o gerados todos os ficheiros de udio e XML 7 com informa o sobre as anima es para cada uma das personagens Ap s a gera o dos ficheiros estar completa o professor deve comprimir estes ficheiros e disponibiliz los aos alunos que j tenham a aplica o instalada no seu computador para estes os extrairem para a pasta AudioFiles na diretoria da aplica o Uma vez completa a extra o dos ficheiros o aluno pode iniciar a aplica o 8 Ao escolher uma situa o para resolver a VP SIM comunica com a base de dados 9 de modo a poder verificar que situa es se encontram registadas mostrando imediatamente estas ao aluno para que este possa escolher a que pretende resolver Ap s a escolha da situa o o aluno tem de escolher a personagem e s depois
41. o que os seus interlocutores expressam tanto verbalmente como atrav s da linguagem corporal As sess es de treino em sala de aula s o habitualmente concretizadas pelo professor que desempenha o papel de doente comum encontrar se situa es em que o r cio n professores n alunos muito pequeno o que torna dif cil o treino efetivo dos estudantes 1 2 Objetivos Com este projeto pretende se conceber e concretizar uma ferramenta que permita o treino de compet ncias sociais para alunos de Ci ncias Farmac uticas em particular para situa es de automedica o em farm cia comunit ria A ideia base para o uso da ferramenta que os alunos desempenhem o papel de um profissional perante um Humano Virtual HV que o doente Cada situa o cl nica ou caso a resolver pelo aluno interpretado por um humano virtual com um tipo de doen a associado As interven es do HV s o feitas atrav s de fala gerada por um sintetizador e de express es faciais e corporais Ao aluno s o apresentadas diversas escolhas em forma de texto entre as quais dever escolher a que considerar mais adequada Ao longo da simula o a rea o exibida pelo HV em termos de express o facial vai sendo o espelho das escolhas efetuadas pelo aluno A ferramenta d suporte ao trabalho do professor permitindo que o aluno treine os seus ensinamentos dentro e fora da sala de aula Al m do treino a ferramenta apoia na tarefa de avalia o e permit
42. pele os raios de luz tendem a atravessar a sua superf cie at as camadas mais interiores entranhas onde os raios s o dispersos tomando a cor destas e saindo por uma localiza o diferente de entrada Com o objetivo de demonstrar esta t cnica foram realizados alguns testes no Blender para que posteriormente estes fossem aplicados no Unity3D Foram criados no Blender tr s materiais com o objetivo de simular as tr s camadas abaixo da superf cie da pele A mais profunda diz respeito s entranhas carne e apresenta uma cor mais avermelhada De seguida temos a camada onde se encontra a gordura e que apresenta uma cor mais amarelada e por fim a epiderme que cont m uma cor mais rosada mais pr xima da cor da pele Figura 10 Figura mais esquerda composi o do shader da camada inferiores pele Figura mais direita efeito transl cido provocado pela camada mais inferior 38 Na Figura 10 est representado o resultado da jun o das tr s camadas mencionadas acima Nesta figura poss vel verificar se principalmente na orelha que existe uma reflex o da cor vermelha devido camada mais profunda carne dando um efeito transl cido visto que se trata de uma zona mais fina Na vida real este efeito pode ser observado quando projetada uma luz vinda de tr s por exemplo colocando uma luz atr s da m o os dedos apresentam uma cor avermelhada Atrav s deste tipo de shaders materiais
43. posi o ou se est dentro de um equipamento imersivo utilizado por v rios utilizadores em simult neo por exemplo uma CAVE 1 Juntamente com a imers o a intera o e a imagina o s o 3 elementos chaves para uma boa experi ncia de RV 4 Intera o Para uma experi ncia de RV parecer aut ntica o sistema tem que reagir s a es do utilizador A intera o do utilizador pode ser ativa por exemplo carregar num bot o usar o teclado o rato ou um sistema de reconhecimento de gestos ou passiva por exemplo movimento natural da cabe a Na maioria dos casos o feedback que o utilizador recebe do sistema fornecido atrav s de est mulos visuais e auditivos mas j existem sistemas com feedback h ptico Imagina o A imagina o diz respeito capacidade de o utilizador percecionar o ambiente virtual como real Esta capacidade uma caracter stica individual e depende da imagina o do utilizador Estes elementos chave s o importantes para que o utilizador se sinta presente no pr prio ambiente virtual isto fazendo parte deste 2 1 2 Vantagens e Inconvenientes A RV uma tecnologia que tem vindo cada vez mais a atrair o interesse das pessoas pois permite visualizar e interagir com ambientes virtuais como se fossem reais Devido possibilidade de adapta o para diversas situa es a RV permite uma pan plia de simula es poss veis e que podem ser replicadas infinitas vezes o
44. pretende se tentar aproximar a pele dos humanos virtuais s caracter sticas reais da pele Na Figura 11 podemos verificar a progress o da utiliza o das diferentes t cnicas de texturiza o descritas na sec o 4 1 3 juntamente com t cnica de subsurface scattering aqui descrita O local em que esta t cnica mais vis vel na zona da orelha o nariz e as sombras em geral apresentam um aspeto mais soft Figura 11 Da esquerda para a direita a imagens cont m difuse map diffuse map normal map diffuse map norma map specular map e finalmente os maps anteriores mais as camadas interiores pele 4 1 5 Do Blender para o Unity3D Finalizado todo o processo de cria o das Shapes Keys no Blender a mesh com todas as deforma es pretendidas tem que ser exportada para o motor de jogo Unity3D Para se poder utilizar esta mesh com todas as deforma es no Unity3D necess rio atrav s do Blender exportar a mesh para o formato fbx como ilustrado na Figura 5 Caso a mesh seja exportada para o formato obj toda a informa o acerca das deforma es Shape Keys perdida pois este formato n o suporta esta informa o 39 HV Com HV Com Importar FBX Exportar FBX todas as Importar FBX todas as a Unity3D express es esqueleto express es e blend shapes corrigido Corrigir o esquelo do HV Figura 12 Pipeline de cria o de personagens e de importa o Parte Il Antes de importar a
45. rio virtual uma farm cia comunit ria em que o utilizador se encontra na pele de um farmac utico Esta simula o consiste na exposi o ao aluno das diversas situa es cl nicas aos quais este deve resolver de forma poder gerar um diagn stico ou aconselhamento correto Cada situa o cl nica ou caso a resolver pelo aluno interpretado por um humano virtual com um tipo de doen a associado sendo poss vel alguma intera o entre estes As interven es do humano virtual s o feitas atrav s de fala que gerada atrav s de um sintetizador e ao aluno s o apresentadas diversas escolhas em forma de texto que ele dever escolher a que melhor se adequa Ao longo da simula o a rea o exibida pelo humano virtual em termos de express o facial e entoa o de voz v o sendo o espelho das escolhas efetuadas pelo aluno De forma a n o dar a sensa o ao aluno de j ter resolvido aquela situa o ou caso o humano virtual e a doen a ou problema a ele associada escolhida de forma aleat ria dando assim uma enorme quantidade de casos que ele pode resolver n o dando assim a sensa o de j ter resolvido aquele caso Para o desenvolvimento desta aplica o pretende se recorrer apenas a ferramentas gratuitas como por exemplo o Blender e o Unity de forma a manter um custo de produ o baixo ao contr rio de outras aplica es existentes no mercado com o objetivo semelhante a esta terem um elevado custo Requisito
46. s a conclus o da gera o da fala criada uma pastas nos Meus Documentos com o nome AudioFiles e dentro desta poss vel encontrar ent o a pasta raiz com o 64 nome do caso Dentro desta por sua vez poss vel encontrar as v rias pastas com os ficheiros para as v rias personagens Figura 34 O modo de carregamento igual ao da vers o em tempo de execu o com a diferen a que as falas j se encontram geradas Atendendo a que o di logo que est na base de dados e que depois utilizado pela VP SIM o mesmo que foi utilizado para a gera o das falas torna se simples saber que fala deve ser reproduzida pelo VP SIM Nesta vers o quando a VP SIM pretende reproduzir uma determinada fala de um paciente vai localiza o da pasta AudioFiles que tem uma localiza o fixa e a partir desta consegue a localiza o do ficheiro udio e XML para a fala pretendida atrav s do caso escolhido pelo aluno por exemplo cefaleia pelo c digo do personagem escolhido pelo aluno por exemplo 1 e pelo id do n com a fala bastando no fim acrescentar a extens o wav para o ficheiro de udio e xml para o ficheiro com a informa o para as anima es Um exemplo da localiza o pode ser AudioFiles cefaleia 1 0e8d0 578 wav ou xml Este exemplo corresponde a uma fala da personagem com o c digo 1 e da situa o de automedica o cefaleia Ap s ter identificado os ficheiros pretendido
47. uticas com o objetivo do treino de compet ncias nos alunos de Ci ncias Farmac uticas Contudo esta apresenta uma enorme capacidade de adapta o a outros contextos das mais diversas reas como por exemplo o Ensino Sa de Ci ncias Sociais e entre outras em que exista a necessidade de recorrer a um interlocutor virtual para comunicar com um utilizador real e vice versa por exemplo um assistente tutor cliente doente entre outros Com uns pequenos ajustes na ferramenta poss vel muito facilmente export la para contextos completamente diferentes e em l nguas diferentes mas em que o paradigma seja o mesmo ou seja em que haja uma comunica o entre o personagem virtual e um utilizador real Inclusive foi at feita uma demostra o desta aplica o no contexto do Cyberbullying em l ngua Inglesa que gerou rea es muito positivas Com a adapta o da ferramenta a outros contextos surge a poss vel necessidade de desenvolver mais funcionalidade e efetuar algumas altera es de forma a que esta possa acompanhar os requisitos do contexto em quest o Em rela o ferramenta atual esta trata se de uma prova de conceito funcional e est vel no entanto ainda existem pequenos pontos que podem ser melhorados e atividades que ainda podem ser feitas em futuras itera es como por exemplo podem ser realizadas melhorias aos HV apar ncia express es e movimentos corporais e realizados testes com utilizadores a fim d
48. 3 A utiliza o de pacientes virtuais permite a simula o dos diferentes estados psicol gicos dos diferentes tipos de pacientes que os farmac uticos ou m dicos podem encontrar na pr tica da profiss o por exemplo irritado ansioso passivo assertivo etc o que permite aos estudantes n o s saberem o que podem esperar no futuro como aumentar a sua confian a em rela o s suas capacidades 7 A sua utiliza o permite ainda aos estudantes terem a oportunidade de aplicar conhecimentos aprendidos noutras disciplinas e aplic los a situa es que s o comuns na pr tica simulando situa es reais num ambiente controlado e monitorizado sem qualquer risco para o paciente 14 Por outro lado as aplica es que utilizam HV s o um pouco limitadas no n mero de anima es intera es e cen rios Tamb m necess rio a cria o de gr ficos mais realistas e de elementos de multim dia som anima o texto etc para melhorar as intera es com os pacientes virtuais 7 Um dos maiores problemas identificados por Jabbur Lops et al 7 a falta de vida do paciente virtual e a sua incapacidade de fornecer informa es adicionais improvisadas como resposta s perguntas dos estudantes ou seja o facto de n o ser um agente inteligente 15 16 Orr verificou que durante a intera o com os pacientes virtuais alguns estudantes n o se focam nas suas capacidades de comunica o verbais e que os
49. Controller Figura 56 Adicionar um novo personagem 1 Componentes importantes para colocar o personagem a falar com a animagao e Audio Source Para o personagem poder reproduzir som e Animation Para poder fazer as anima es das express es faceais e Animator Para poder controlar os movimentos do corpo e Script CharacterBehavior Controlador os movimentos do personagem e Script SpeakController Controlador para a fala e Script Speak Para o personagem falar com a anima o e Script Receive Para fazer a comunica o entre o Speak AppController e CharacterBehavior 122 o ee Men Y 6 M Character Behavior Script aw Plugins mms dei New Animator Controller Script CharacterBehav gt Ga Prefabs_Personagens into cido sa Labels eS gt ag Raw Mocap Data ai Untitled fbm DE Scripts gt VHToolkit v Qa e AppController Controla toda a simula o assim como a interface das perguntas 2 Configurar o personagem 1 Abrir a cena Simula o 2 Arrastar o personagem da rea Assets para os personagens 1 Figura 56 foi lhe dado o nome de Guiao 3 Adicionar as seguintes componentes 2 Figura 56 a Componente de Audio Source b Componente Animator e adicionar controlador AnimControllerMen ou AnimControllerWoman conforme o g nero c Componente Animation ad
50. Devendo G Front Persp apenas ficar a malha correspondente ao corpo do personagem r Normalmente o nome da malha do personagem Genesis2Male Shape ou Genesis2Female Shape dependendo se masculino ou feminino S Auto Smooth Figura 50 Criar a shape key base 3 Selecionar a malha do personagem e ir ao separador lateral identificado com 1 na Figura 50 Inicialmente na rea das shape keys n o se encontra nada devendo se carregar no assinalado com o 2 que ir criar uma shape key Basis que corresponde forma base que neste caso a express o neutra Ap s ter a shape key referente express o base tempo de come ar a munir o personagem com outras express es uma de cada vez Aqui muito importante come ar por importar os visemas e pela seguinte 115 ordem AA EH ER F IH IY K L M OW S SH T TH UW e W sendo que no fim devem ser importadas as restantes n o interessando a ordem 5 Para adicionar uma nova shape key ao personagem deve se ent o come ar por importar o fbx referente ao visema AA Da mesma forma que se fez anteriormente 6 Com este novo personagem deve se novamente eliminar todos os acess rios Apenas se deveram ficar os objetos com os nomes Genesis2Male Shape e Genesis2Male Shape 001 referentes malha de cada personagem Figura 51 Criar uma nova Shape Key 7 Para juntar as malhas dever primeiro selecionar a malha
51. IH juntamente com SK IY 7 W w uw SK UW juntamente com SK W 8 Ow ow SK OW 9 Aw aw SK AA juntamente com SK W 10 Oy oy SK IY juntamente com SK OW 11 Ay ay SK AA juntamente com SK IY 12 H h SK EH juntamente com SK IY 13 R r SK ER 14 L 1 SK L 15 Z 8 Z SK S 16 Sh sh ch jh zh SK SH 17 Th th dh SK TH 18 F f v SK F 19 D d t n SK T 20 KG k g ng SK K 21 BMP p b m SK M Tabela 3 Mapeamento do c digo do visema da Microsoft com as blend shapes do Unity Sabendo ent o a que visema o c digo corresponde foi feito um mapeamento deste c digo para os valores das blend shapes do Unity3D Para realizar este mapeamento foi criada uma lista que tem como chave o c digo do visema retornado pelo evento e tem como valor uma lista de floats Esta lista de floats tem 16 elementos que correspondem aos valores que as blend shapes no Unity3D tem de tomar para produzir o respetivo 62 visema da a import ncia de aquando da cria o das blend shapes as que dizem respeito aos visemas serem juntas em primeiro lugar e pela mesma ordem caso contr rio os valores alterariam as blend shapes de forma errada Ap s a realiza o do mapeamento toda esta informa o escrita num ficheiro XML exemplo do ficheiro em anexo Figura 37 Este ficheiro tem uma estrutura pr pria para que a VP SIM o possa carregar facilmente atrav s de um parser Assim a parte mais relevante desta estrutura diz respeito ao campo
52. Planeamento e calendariza o De forma a poder distribuir o tempo dispon vel para que no final se apresentasse um produto perfeitamente funcional e testado com utilizadores fez se uma calendariza o de todas as etapas do seu desenvolvimento com os respetivos prazos Fase 1 1 de Outubro a 30 de Novembro Fase 2 Fase 3 An lise de requisitos Recolha e an lise de trabalho relacionado Escolha das ferramentas de software a adotar para o desenvolvimento Especifica o e desenho detalhado da solu o a implementar Escrita do relat rio preliminar 30 de Novembro a 30 de Abril Desenvolvimento do sistema de forma iterativa Testes de usabilidade com utilizadores 30 Abril a 30 de Maio Corre es de erros encontrados durante os testes 24 e Ultimas afina es ao sistema e Teste com utilizadores estagi rios Fase 4 30 Maio a 30 de Junho e Produ o do manual t cnico e Produ o do manual de utiliza o e Escrita do Relat rio de PEI Ao longo do desenvolvimento os prazos para cada atividade foram de modo geral cumpridos A tarefa que inicialmente mais tempo ocupou e que poderia ter posto em causa as restantes fases foi a fase 2 Nesta fase houve um grande desafio a implementa o da fala nos personagens virtuais que se revelou ser mais complexa do que se esperava Devido ao atraso das respostas aos question rios por parte dos estagi rios houve um ligeiro atraso n
53. UNIVERSIDADE DE LISBOA Faculdade de Ci ncias Departamento de Inform tica LISBOA UNIVERSIDADE DE LISBOA HUMANOS VIRTUAIS EM AMBIENTES DE TREINO DE COMPET NCIAS SOCIAIS NA REA DA SAUDE V tor Manuel Gon alves Pinto TRABALHO DE PROJETO MESTRADO EM ENGENHARIA INFORM TICA Especializa o em Sistemas de Informa o Trabalho orientado pelo Prof Doutora Ana Paula Boler Cl udio e coorientado pela Prof Doutora Maria Beatriz Duarte Pereira do Carmo 2015 Agradecimentos Um agradecimento muito grande minha fam lia por me ter acompanhado apoiado e de me ter conseguido fornecer as condi es necess rias para a realiza o de todo este percurso acad mico pois sem este apoio n o teria sido poss vel Um agradecimento s minhas coordenadoras a Prof Doutora Ana Paula e a Prof Doutora Beatriz Carmo por me terem acompanhado e apoiado no desenvolvimento deste projeto Tiveram um papel fundamental Tamb m agrade o ao Prof Afonso Cavaco e a Prof Mara Guerreiro pelo seu contributo e disponibilidade e ao Prof Miguel Sales Dias pela sua gentiliza em ter disponibilizado o pacote de vozes para o desenvolvimento deste projeto Agrade o aos meus colegas que fizeram parte deste meu percurso acad mico Por fim um agradecimento aos peritos e alunos que se disponibilizaram para realizar os testes aplica o Um muito obrigado Resumo As compet ncias sociais em particular as que
54. a Ramos Rita Santos Data Pontua o Email Ocupa o sess o Caso Obtida Ana Estudante 2015 05 18 Headache 80 00 00 00 ritamdossantos Estudante 2015 05 18 Headache 75 00 00 00 Figura 32 Atividade dos alunos 57 Pontu o Poss vel 135 135 Dura o 147 130 Fase Abertura 1 1 1 1 Fase Avalia o 6 8 5 8 Fase Aconselhamento 0 3 0 3 Fase Fecho on 01 amp Vitor 4 3 Fala e respetiva anima o nos Humanos Virtuais O facto de os HV poderem articular falas juntamente com movimentos corporais e express es faciais aumenta de forma significativa o seu realismo Contudo produzir HV falantes um desafio porque a articula o fala nos HV n o um processo simples de se fazer e os observadores s o bastantes sens veis a pequenos erros na sincroniza o entre o som e a anima o da boca Neste projeto houve a preocupa o de criar uma solu o para a produ o de HV falantes que n o requer conhecimentos inform ticos espec ficos Um dos processos que pode ser utilizado para a cria o das anima es de fala nos HV por exemplo nos videojogos e no cinema passa pela captura de dados relativos a movimentos motion capture e sons de humanos reais seguida pela sua integra o em HV Apesar de a utiliza o deste tipo de tecnologia criar anima es realistas e com melhores resultados a possibilidade de expans o est limitada pois todo o processo de capt
55. a da aplica o Informa es acerca da aplica o Figura 15 Menu principal da esquerda para a direita vers o de avalia o e vers o de treino Ao escolher a op o Escolher situa o poss vel de automedica o s o apresentadas ao aluno as v rias situa es pass veis de automedica o dispon veis Todas estas situa es est o presentes na base de dados e s o definidas pelo professor na aplica o web de VP Office explicada na sec o seguinte Uma vez que o n mero de situa es pode ser alterado ao longo do tempo houve a necessidade de criar um m todo para colocar os elementos que representam as situa es de forma autom tica na interface pois o Unity3D n o possui nenhum recurso que permita realizar esta tarefa automaticamente A abordagem tomada para a cria o deste m todo no Unity3D passou primeiramente pela cria o de um prefab O prefab um objeto que atua como um template e que a partir do qual se podem criar novas inst ncias deste objeto na cena Tamb m permite que sejam feitas altera es aos seus atributos assim que o objeto instanciado Tirando partido dos elementos de interface de utilizador UT que passaram a estar dispon veis na vers o 4 6 do Unity3D definiu se um template que ligeiramente diferente nas duas vers es da aplica o Figura 16 Este template cont m campos de texto e um bot o Os campos de texto identificados como Titulo Text e New Text d
56. a escrita deste documento o que levou a um pequeno adiamento na sua data de entrega prevista 3 7 Conclus o do cap tulo Neste cap tulo foi brevemente descrita a solu o descreveram se os requisitos a arquitetura da solu o e apresentou se o planeamento No pr ximo cap tulo apresentada a ferramenta desenvolvida assim como os detalhes da sua implementa o e decis es que foram tomadas no seu desenvolvimento 25 26 Cap tulo 4 Implementa o Neste cap tulo descrevem se os detalhes da implementa o da Virtual Pharmacy apresentam se os principais desafios enfrentados e justificam se as decis es que foram tomadas ao longo do seu desenvolvimento 4 1 Humanos Virtuais De forma a ter HV no papel de pacientes que fossem o mais realistas poss veis n o s ao n vel da sua apar ncia como tamb m ao n vel das suas anima es corporais e faciais houve v rios fatores que se tiveram de ter em conta nomeadamente a sua geometria textura e a utiliza o de t cnicas de rendering Tendo em mente o requisito de que as personagens fossem o mais realistas poss veis existiram tr s op es que se poderiam seguir I modelar de raiz as personagens op o por exigir habilidade art stica uma capacidade n o avali vel no mbito deste trabalho raz o pela qual foi descartada II gerar o modelo do humano virtual atrav s da um software para este efeito III utilizar modelos gratuitos dispon veis na int
57. a sua interface e usabilidade como tamb m avaliar uma futura possibilidade de integrar a aplica o como complemento s aulas dadas pelo professor Na primeira parte dos testes foi poss vel concluir que a aplica o apresenta uma interface simples f cil de utilizar em que a informa o surge devidamente organizada na interface Relativamente aos Humanos Virtuais este foi um ponto onde houve uma maior discrep ncia entre as opini es dos participantes Estes consideram que os HV n o s o ainda muito realistas sendo que os pontos mais cr ticos dizem respeito fala dos personagens nomeadamente a sincroniza o do udio com o movimento dos l bios da personagem e os movimentos corporais Devido diferen a da vers o da aplica o testada entre os participantes poss vel verificar que os que testaram a vers o de avalia o n o se encontram totalmente 82 agradados com a informa o que lhes apresentada no final da resolu o de cada situa o de automedica o assim como outras informa es por exemplo acerca das patologias considerando a insuficiente Por outro lado os participantes que utilizaram a vers o de treino j n o s o da mesma opini o que os anteriores considerando que a informa o lhes apresentada suficiente Relativamente possibilidade de se utilizar a aplica o no futuro os utilizadores mostraram a inten o de a utilizar caso esta lhes fosse disponibilizada Estes
58. abrangente e d uma apresenta o completa do caso incluindo informa o acerca do que se devia ter feito e o que realmente se fez Orr et al 14 desenvolveram implementaram e avaliaram o uso de pacientes virtuais como uma ferramenta de aprendizagem em contexto de ensino em Ci ncias Farmac uticas Nesta ferramenta os pacientes virtuais tratavam se de pessoas que foram recrutadas em que o nico requisito era terem experi ncia pr via de trabalho numa comunidade farmac utica Depois de recrutadas as pessoas foram lhes entregues informa es e instru es do coordenador Estas informa es continham instru es log sticas o perfil do paciente virtual que iriam recriar e um calend rio de quest es para acompanhar as intera es A cada paciente virtual foi atribu do um endere o de email que refletia o problema ou a doen a e um perfil base do paciente A intera o entre o paciente e os estudantes era feita atrav s de email em que os alunos n o sabiam a verdadeira identidade do paciente Estas intera es eram feitas semanalmente e eram depois enviadas para o coordenador para avalia o e para discuss o na aula Os resultados desta ferramenta revelam que os alunos se sentiram mais confiantes nas suas compet ncias de cuidados de sa de no fim do semestre Tamb m se observou que as compet ncias dos alunos melhoraram em todas as categorias assim como a sua capacidade de comunica o por escrito tamb m melhorou
59. acionada com o modo como as tarefas foram dadas aos participantes nas entrevistas a confus o entre caso e situa o pass vel de automedica o No que diz respeito s perguntas sobre os Humanos Virtuais os participantes compreenderam como se selecionava o HV e acharam que era f cil a leitura das legendas das falas do HV Tabela 8 Estes consideraram ainda que era f cil de ouvir perceber a fala dos HV e que a sincroniza o do movimento dos l bios com a voz assim como o olhar e apar ncia do HV realista 75 O modo de selecionar o humano virtual claro n o suscita d vidas 5 A sele o do humano virtual direta isto n o s o necess rios demasiados passos 2 A apar ncia dos humanos virtuais muito realista 4 A indument ria dos humanos virtuais muito realista 3 5 O olhar dos humanos virtuais muito realista 4 A movimenta o corporal dos humanos virtuais muita realista 3 f cil ouvir perceber as falas dos humanos virtuais 4 f cil ler as falas dos humanos virtuais nas legendas 5 Os movimentos dos l bios dos humanos virtuais est o sincronizados com a 4 voz Concordo que este feedback til para o utilizador 4 Tabela 8 Respostas dos alunos em rela o aos Humanos Virtuais A n vel do realismo da indument ria e os movimentos dos HV foi onde se obtiveram resultado menos positivos A n vel da utilidade do feedback atrav s das express es os participantes consider
60. ada aos alunos era Execute a aplica o VirtuaPharmacy nesta tarefa n o existiu qualquer tipo de d vidas 73 De seguida foi lhes pedido Resolva o caso de cefaleia escolhendo o personagem masculino mais jovem A palavra caso suscitou alguma confus o nos utilizadores pois o bot o correspondente Escolher situa o pass vel de automedica o Por este motivo no segundo dia dos testes optou se por reformular o pedido para Resolva a situa o pass vel de automedica o cefaleia utilizando o personagem masculino mais jovem Depois desta corre o j n o existiu qualquer tipo de d vida para completar a tarefa Assim que o aluno estava prestes a finalizar a resolu o da situa o pass vel de automedica o foi pedido Verifique as quest es que errou e as que acertou Nesta tarefa os alunos no geral perceberam como ler a tabela que tinha a informa o sobre as suas respostas certas e erradas Foram sugeridas algumas altera es como por exemplo colocar a vermelho a op o errada Quando lhes foi pedido para Consulte informa es acerca do medicamento Bruffen 200 utilizado no tratamento da cefaleia Esta tarefa suscitou novamente grandes d vidas entre os utilizadores novamente devido aos nomes dos bot es classificado novamente como N o intuitivo Decidiu se alterar o nome do bot o de Informa es acerca de patologias para Informa es acerca de patologias
61. ado na aplica o VP SIM ES e E Figura 29 Di logo parcial entre o HV e o aluno 55 Ap s a cria o do di logo pretendido Figura 29 o professor pode fazer o seu carregamento para a base de dados de forma a que este fique dispon vel na aplica o VP SIM Informa o adicional pode ser encontrada no manual de utiliza o no Ap ndice C Para efetuar o carregamento do di logo o professor dever selecionar a op o Recursos gt Casos Inserir e Consultar e de seguida preencher o formul rio Figura 30 com o nome do caso uma pequena descri o e o ficheiro resultante da exporta o do di logo para que possa ser utilizado na VP SIM Ap s a conclus o deste processo o di logo fica registado na base de dados assim como todas as informa es adicionais introduzidas pelo professor Posteriormente a aplica o VP SIM quando lan ada comunica com a base de dados de forma a poder aceder a esta informa o F rmacia Virtual Menu principal Criar Casos amp Vitor amp Menu principal EB Consultas Casos Recursos o Criar Caso Menu principal Casos e Casos Inserir e Consultar o Elementos de estudo Inserir e Consultar Casos na base de dados Inserir novos casos Nome do caso ID Caso Nome Descri o 1 Cefaleia Cefaleia ou cefalgia s o os ap Alterar Pequena descri o do caso termos m dicos para dor de cabe a um dos sintomas m
62. ais comuns na medicina uma das queixas mais frequentes em Ficheiro que cont m o di logo consultas Seleccionar ficheiro nenhum ficheiro seleccionado 2 Tosse A tosse uma contra o Alterar Envia Reset espasm sdica repentina e frequentemente repetitiva da cavidade tor cica resultando em uma violenta libera o de ar dos pulm es e geralmente acompanhada por um som caracter stico Figura 30 Inser o de novos casos Inser o de novos elementos de estudo na vers o de treino Da mesma forma que o professor pode inserir novas situa es de automedica o tamb m lhe permitida a adi o de elementos de estudo para os alunos poderem consultar Estes elementos de estudo apenas est o presentes na vers o de treino da VP_SIM Figura 31 podendo ser links para p ginas ou ficheiros por exemplo pdf ou word Toda esta informa o posteriormente fica dispon vel a partir de uma p gina web que acedida atrav s da VP_SIM vers o de treino 56 F rmacia Virtual Menu principal Menu principal EEB Consultas at Recursos o Criar Caso o Casos Inserir e Consultar o Elementos de estudo Inserir e Consultar Criar Casos Elementos de Estudo Menu principal Elementos de Estudo Elementos na base de dados ID Elemento T tulo Descri o Link Caso 1 Circular Nimesulida 1 Informativa Reavalia o do Perfil de Seguran a 2 Circular Nimesulida 1 Informativa Retirada a indica
63. am que este tipo de feedback importante Ainda sobre as express es 50 dos participantes acha que deveriam ser introduzidas novas express es como por exemplo a express o de dor d vida confus o e zangado A n vel de anima es corporais estes acham que os HV deveriam poder inclinar o corpo gesticular das m os e bra os e inclinar a cabe a em gesto de nega o ou confirma o Relativamente informa o que a aplica o d ao utilizador no final da resolu o do caso e no hist rico de casos resolvido os utilizadores encontram se totalmente satisfeitos com a informa o que lhes apresentada Tabela 9 Considerem ainda que a aplica o f cil de utilizar agrad vel e correspondeu s suas expectativas Satisfaz me a informa o que recebo no final de um caso relativa ao meu desempenho na sua resolu o 3 Satisfaz me a informa o que recebo no menu de Hist rico relativa ao meu 5 desempenho na resolu o dos v rios casos Globalmente considero a aplica o f cil de utilizar Globalmente considero que a aplica o agrad vel de utilizar 5 Globalmente a aplica o corresponde s minhas expectativas isto responde aos 4 objetivos antecipados Tabela 9 Respostas dos alunos em rela o aprecia o global da aplica o 80 dos utilizadores sugere altera es aplica o como por exemplo a liga o ao Sifarma aplica o inform tica desenvolvida para a gest o di ria de
64. aneamento do trabalho sussa ROS DUDA CURIA 23 3 6 1 Modelo de desenvolvimento ecsaeuscisaveseacarertoes cincasaquaaesqresainecisacntts 23 3 6 2 Recursos envolvidos no desenvolvimento 23 3 6 5 Planeamento ecalendariza o ssa assesses ities aa 24 3 7 Conclus o DOC AP INTO aee o a CLAN 25 Cap tulo 4 Implem nt o a ET a RT a iaa 27 4 1 H manos VEGETA 27 4 1 1 Cria o dos Humanos Virtuais ccccecesssccesscecesscecssececsseeeesseeeesaes 28 4 1 2 Anima o e express es nos Humanos Virtuais 29 AS Y a t t es NEE AE E EE 36 4 1 4 Simula o das caracter sticas da pele nos humanos virtuais 37 4 1 5 Do Blender para o Unity3D ss ae A 39 4 2 Virtual Pharma yosemite aaa a RARA 42 4 2 1 Virtual Pharmacy Simulator VP SIM s 43 4 2 2 Virtual Pharmacy Backoffice VP Office 53 Inser o de novos elementos de estudo na vers o de treino 56 Consultar a atividade dos alunos pems ni asas pesa RAPIDA NAT re 57 4 3 Fala e respetiva anima o nos Humanos Virtuais cccesceeseeeeeeeeee 58 4 3 1 As Blend Shapes como VISEMAS o sszaaniso igeas sai empadas q analisando 59 4 3 2 Implementa o da fala nos HV e Speech Generator 59 4 4 Estrutura da Dase de dadoS gua a ias a a 65 4 5 Funcionamento geral da aplica o Virtual Pharmacy 66 4 6 Conc S O sadias aa AD voanaies 68 Cap tulo 5 Avalia o da aplica
65. ao longo do semestre Virtual Practice Environment VPE 8 trata se de um sistema que foi desenhado e constru do usando tecnologias que permitem a exibi o de imagens e 11 v deos mostrados escala real de forma a poder representar uma farm cia E mostrado um v deo de uma farm cia real em funcionamento atrav s de 3 ecr s gigantes com som adequado como objetivo de criar um ambiente de farm cia imersivo para os estudantes As v rias intera es poss veis entre o farmac utico e o paciente foram gravadas usado o green screen e as imagens adicionais do paciente foram obtidas de pessoas reais Tamb m foram utilizadas fotografias de prescri es reais que podem ser mostradas no ecr Este conjunto de recursos reais melhora o realismo dos casos permitindo aos estudantes observar as caracter sticas dos pacientes e familiarizarem se com prescri es legais e as suas componentes Este sistema permite aos estudantes reverem tudo o que foi feito o que foi por eles considerado como uma boa forma de feedback AVATALK 12 trata se de uma aplica o utilizada em programas de treino de compet ncias de entrevistas em contexto gen rico entre outros e que incorpora processamento de linguagem natural permitindo assim reconhecer linguagem natural baseando se no seu conte do Permite tamb m a modela o de comportamentos e emo es dos humanos virtuais fazendo com que estes atuem de forma realista atrav s de express es
66. ar os alunos no lugar de um profissional de sa de tentando resolver diversas situa es pass veis de automedica o Cada uma delas pode ter v rios desfechos em que a express o facial de agrado ou desagrado do HV influenciada pelas escolhas efetuadas pelo aluno no decorrer do atendimento A Virtual Pharmacy composta por duas aplica es a VP SIM Virtual Pharmacy Simulation e a VP Office Virtual Pharmacy Backoffice C 1 Instala o da VP SIM VP SIM destina aos alunos onde estes podem resolver diversas situa es pass veis de automedica o simuladas em que cada uma destas situa es pode ter v rios desfechos No decorrer do atendimento s o dadas aos alunos v rias op es em que este deve escolher aquela que melhor se adequa no dado momento sendo que o estado emocional do HV influenciado de acordo com estas escolhas No caso da vers o de avalia o no fim da resolu o de cada situa o mostrado ao aluno o seu desempenho e todas as escolhas efetuadas por ele s o guardadas num base de dados para serem posteriormente consultadas pelo professor Na vers o de treino mostrado ao aluno no final de cada resolu o informa o detalhada acerca das quest es que errou e que deveria ter escolhido Tamb m poss vel ao aluno consultar informa o adicional sobre patologias medica o protocolos entre outras 100 Esta aplica o gera simula es de casos de automedica o que tem como cen
67. as t cnicas permitiu tamb m explorar v rias componentes utilizadas no desenvolvimento de software como por exemplo base de dados MySQL sql desenvolvimento de sites HTML JavaScript CSS e da aplica o CH e colocar todas estas componentes a comunicarem entre si O projeto exigiu que fossem delineadas v rias fases para o seu desenvolvimento ao longo dos 9 meses como as atividades e tarefas a realizar Isto permitiu perceber o qu o importante o planeamento e o qu o importante respeitar o planeamento pois s desta forma poss vel realizar um projeto dentro do prazo O desenvolvimento do projeto permitiu estar em contacto com pessoas de outras reas Ci ncias Farmac uticas o que foi uma experi ncia interessante pois permitiu entender como que profissionais n o inform ticos encaram as capacidades das aplica es inform ticas Desde que come ou o desenvolvimento deste trabalho sempre que houve a necessidade de uma ida farm cia devido a algum problema que tivesse esta ida nunca mais foi a mesma pois durante o atendimento estava sempre atento se o farmac utico 86 percorria todas as fases de atendimento abertura avalia o aconselhando e fecho de forma a fazer lhe uma avalia o Isto significa que este projeto provocou algum impacto em mim o que considero bom 6 2 Trabalho futuro A ferramenta Virtual Pharmacy foi desenvolvida em espec fico para o contexto das Ci ncias Farmac
68. bilidade e compreens o de op es do menu e a legibilidade de texto Tabela 4 Contudo relativamente em quest es de desempenho e velocidade da aplica o esta apresenta um resultado menos positivo que se deve ao facto de alguns dos utilizadores terem testado a aplica o de forma remota 70 A informa o surge devidamente organizada no ecr ex n mero e localiza o R A 5 dos bot es op es A execu o de tarefas direta isto a escolha das op es e ou menus f cil 5 A velocidade de funcionamento da aplica o adequada 3 5 O modo de selecionar a situa o de automedica o a resolver claro n o suscita 5 d vidas A escolha da situa o de automedica o direta isto n o s o 5 necess rios demasiados passos As escolhas dadas ao utilizador s o apresentadas de forma clara isto s o f ceis 45 de ler As escolhas dadas ao utilizador s o f ceis de compreender isto o seu conte do 4 faz sentido Todos os caracteres do ecr s o leg veis 5 Tabela 4 Respostas dos peritos em rela o interface da aplica o O modo de selecionar o humano virtual claro n o suscita d vidas 4 5 A sele o do humano virtual direta isto n o s o necess rios demasiados 5 passos A apar ncia dos humanos virtuais muito realista 4 A indument ria dos humanos virtuais muito realista 4 O olhar dos humanos virtuais muito realista 4 A movimenta o corporal dos humanos virtua
69. codPersonagem 3 codPersonagem 4 codPersonagem 5 Caso Masculino speaker SelectVoice Microsoft Server Speech Text to Speech Voice pt PT Nuno PTTS valoresSliders 60F else if codPersonagem 1 codPersonagem 2 Caso Feminino valoresSliders 80F else if codPersonagem 3 codPersonagem 4 codPersonagem 5 Caso Masculino valoresSliders 60F 126 Velocidade da voz if codPersonagem 1 codPersonagem 4 Caso personagem mais velha speaker Rate 6 else codPersonagem 2 codPersonagem 3 codPersonagem 5 Caso personagem jovem speaker Rate 0 Depois de realizadas as altera es ao AudioGenerator deve se gerar a vozes a a partir do dialogo Ap s a finaliza o da gera o criada uma pasta AudioFiles e l dentro que uma pasta com o nome do caso Esta pasta deve ser copiada para a pasta AudioFiles que se encontra junto aplica o Dentro desta pasta pode se verificar que ela tem l dentro quatro pasta numeradas 1 a 5 c digo dos personagens e dentro de cada uma est o udio e os ficheiros xml para as anima es Ap s copiar a pasta o personagem no Unity3D j vai falar com os respetivos movimentos D 4 Adi o de novas anima es corporais Antes de adicionar as novas anima es necess rio antes ter j as anima es preparadas tanto por captura de movimentos ou no blender Por exemp
70. d Start acrescentar De seguida adicionar um evento neste bot o para detetar quando for clicado pelo utilizador para isso dentro do m todo void Start acrescentar btnNovoPersonagem onClick AddListener gt loadScenerio 5 loadScenerio c digo do personagem 8 Acrescentar um bot o bot o direito do rato na rea 1 Figura 57 na interface e adicion lo ao script arrastar o bot o para o script 2 Figura 57 124 Para simplificar apenas foi criado um bot o com o nome BotaoPersonagemNovo e n o toda a parte com a imagem ole Sfo orvo ciobai O inspector Y 6 9 5 Rotation xo vfo Jzlo E E TextSelectPersonagem gt Personagem1 gt Personagem2 gt Personagem3 gt Personagem4 e ReadinfoUser None Text gt PersonagemAleatorio gt ToggleTreino Y G M Select Character Script gt ToggleEmotion Script o SelectCharacter Personagem 1 Personagem 2 Y BotaoPersonagemNovo Text Button Button Button Button EventSystem Nome Personagem 3 S Button3 Button Nome Maria Personageminfo Personagem 4 G Button Button Idade 66 Idade 38 Manuel GO LoadingScreen Btn Novo Personagem G BotaoPersonagemNovo Button Aleatorio PersonagemAleatorio Bu
71. de treino os elementos de estudo circulares informativas medica o protocolos e outros O VP Office cuja interface mostrada na Figura 26 uma aplica o web que foi desenvolvida utilizando as linguagens de programa o HTML Javascript e PHP Para facilitar o processo de desenvolvimento da VP Office nomeadamente o desenho do seu layout foi utilizado o Boostrap que uma Framework de HTML CSS e JavaScript juntamente com um template gratuito Farmacia Virtual Menu principal Criar Casos amp Vitor Menu principal EB Consultas Menu principal vista gera Recursos v Menu principal 5 j Utilizadores 2 Casos Inseridos 131 gt 93 24 132 71 Casos Resolvidos Media de pontua es i Elementos de estudo Figura 26 Menu inicial da VP_Office Atrav s desta aplica o o professor cria e adiciona novos conte dos de uma forma simples sem ser necess rio ter conhecimentos inform ticos Tamb m poss vel ao 53 professor verificar toda a atividade realizada pelos alunos e posteriormente exportar essa informa o para um ficheiro no formato csv No menu inicial apresentam se informa es quantitativas acerca da utiliza o da aplica o mais especificamente o n mero de utilizadores o n mero de caso inseridos na base de dados o n mero de elementos de estudo presentes na vers o de treino o n mero de casos totais resolvidos pelos estudantes e a m dia de pontua es obtida
72. dizem respeito comunica o humana s o significativamente importantes para a maioria das atividades profissionais mas s o especialmente relevantes em profiss es relacionadas com as ci ncias da sa de como a Enfermagem a Medicina e as Ci ncias Farmac uticas Nestas reas a precis o e efici ncia com que ocorrem os fluxos de informa o s o determinantes para a interven o em sa de evitando por exemplo o erro e as suas consequ ncias na pessoa doente Assim os profissionais que trabalham nestas reas t m que ser treinados para interpretar os sinais de comunica o que os seus interlocutores expressam verbalmente e atrav s da linguagem corporal de forma a darem uma resposta correta e adequada quer do ponto de vista t cnico quer do ponto de vista human stico A comunica o entre profissionais e doentes tem um claro impacto no tratamento e cura mesmo nas situa es mais simples como por exemplo na automedica o O trabalho descrito nesta tese consistiu na conce o e implementa o de uma ferramenta para usar em contextos de ensino em Ci ncias Farmac uticas Em particular recriam se situa es de automedica o em farm cia comunit ria isto situa es em que um doente se dirige a uma farm cia para solicitar um medicamento sem receita m dica A solu o implementada engloba I Uma aplica o interativa com humanos virtuais falantes que desempenham o papel de doentes A aplica o suporta do
73. e medica o e a partir da tamb m j n o houve nenhuma d vida De real ar que tanto a primeira altera o como esta segunda foram feitas ap s 5 entrevistas uma vez que estes foram realizadas em 2 dias 5 entrevistas em cada dia Finalmente foi lhes pedido para Veja o hist rico das suas resolu es e todos os utilizadores conseguiram ir diretamente para a op o correta sem qualquer d vida De seguida foram feitas perguntas de opini o sobre a aplica o Come ou se por perguntar Qual foi a sua primeira impress o da aplica o qual grande parte respondeu muito gira e til Tem um aspeto limpo Sobre Quais acha que poder o ser os benef cios da utiliza o desta aplica o ouve consenso geral nos participantes de que esta aplica o seria til para completar o estudo da sala de aula e para treinar em casa Tamb m seria til para ser utilizada antes do est gio pois permite perceber de alguma forma o que se pode vir a passar num atendimento real Em seguida quando questionados sobre O que gostou mais na aplica o grande parte dos entrevistados respondeu ter gostado e do facto dos di logos serem realistas 74 e da possibilidade de ter v rios desfechos e de n o serem respostas do tipo sim n o e dos personagens e da possibilidade de ter tamb m informa es adicionais sobre medica o e as patologias Resultados dos question rios Ap
74. e 5 Tamb m no mbito da Comunica o em Sa de existem exemplos de aplica es que recorrem a HV Algumas destas aplica es est o referidas nas sec es seguintes A capacidade dos profissionais de sa de de comunicarem de forma eficaz um fator importante identificado pela World Health que estes profissionais devem ter como suporte sua fun o 6 7 Esta compet ncia permite lhes interagir com os doentes de forma a conseguirem recolher o m ximo de dados conseguindo assim um melhor desempenho no aconselhamento preven o tratamento e diagn stico de problemas A presta o de servi os de Sa de exige um conhecimento cl nico s lido dos m dicos enfermeiros ou farmac uticos mas tamb m boas capacidades de comunica o como a empatia Al m disso imprescind vel a capacidade de pensamento cr tico e cl nico de modo a melhorar a satisfa o e o resultado na sa de dos seus pacientes 8 As capacidades de intera o com os pacientes s o geralmente reconhecidas como inadequadas exigindo assim a sua corre o durante a da forma o acad mica dos estudantes 8 No treino de alunos das reas da Sa de t m sido usados diversos tipos de pacientes virtuais embora a designa o virtuais nem sempre signifique recurso a HV E o caso dos Standardized Patients e Simulated Patients Os Stardardized Patients s o pessoas que apresentam a sua situa o real pessoal f sica social e psicol
75. e Tex Rec i E are gt FalaPersonagem gt EscolhasFarmaceutico gt FimPanel Ea Project z Is Playing Create 7 x 4 V Timer Current E Libraries al Assets PersonagensFinais Man Blend gt bj nimaMan A va PersonagensFinais Pode Mostrar Opcoes A Ed manac oO gt Ga OldMan ManTorso Erro TTS L Materials gt Woman Animation None Animation O gt Woman Y Animations gt OldWoman Size n sj gt Man Element 0 D sorrir o gt OldMan Element 1 DsorrirParaNeutr Guiao Element 2 X ea ee Element 3 EtristeParaNorm O enesis e e CasualShoes_23654 Sh pay Automatically Animate Physics L VG Mspe gt Scrollbar gt conBDPanel Script Speak _ TempoRestante t Cabeca Genesis2Male Shaj O EventSystem E gt Smr Total Smr Total Blend Shar O gt Ga OldWoman ManFace Path To XML Create z Or All d Maximize on Play Mute audio Stats Gizmos a E M Audio Source wm Directional light 2 Directional light 1 z M Animation Culling Type ImageBackUser TituiloApp Path To Audio te l gt btnsair Path To XML ey gt btninicio FalaPersonagem Rec Speaker Controler None Speak Conti O Audio Source None Audio Sour gt Panel E Anim XML None Text Asset O E Man fom Y C M Speak Controller Script EB MensAnimation Es Man images Speak
76. e atendimento colocar os alunos no lugar de um profissional de sa de tentando resolver diversas situa es pass veis de automedica o Cada uma delas pode ter v rios desfechos em que a express o facial de agrado ou desagrado do HV influenciada pelas escolhas efetuadas pelo aluno no decorrer do atendimento A Virtual Pharmacy composta por duas aplica es a VP SIM Virtual Pharmacy Simulation e a VP Office Virtual Pharmacy Backoffice A VP SIM destina aos alunos e tem duas vers es uma para o treino e a outra para a avalia o Na VP SIM os alunos s o utilizadores ativos e tentam resolver diversas situa es pass veis de automedica o em que cada uma destas situa es pode ter v rios desfechos No decorrer do atendimento s o dadas aos alunos v rias op es em que este deve escolher aquela que melhor se adequa no dado momento sendo que o estado emocional do HV influenciado de acordo com estas escolhas No caso da vers o de avalia o no fim da resolu o de cada situa o mostrado ao aluno o seu desempenho e todas as escolhas efetuadas por ele s o guardadas num base de dados para serem posteriormente consultadas pelo professor Na vers o de treino mostrado ao aluno no final de cada 17 resolu o informa o detalhada acerca das quest es que errou e que deveria ter escolhido Tamb m poss vel ao aluno consultar informa o adicional sobre patologias medica o protocolos entre ou
77. e que o professor adicione facilmente novos casos e situa es sem que sejam requeridos conhecimentos inform ticos espec ficos Para o desenvolvimento desta aplica o recorreu se a ferramentas gratuitas de forma a manter um custo de produ o baixo 1 3 Contribui es No decurso deste trabalho concebeu se e implementou se uma solu o para o treino e avalia o das compet ncias sociais em alunos de Ci ncias Farmac uticas A ferramenta desenvolvida contou com duas fases de testes e avalia o A primeira fase consistiu num pr teste realizado com peritos na rea da Comunica o na Sa de a fim de validar algumas das funcionalidades implementadas e de aferir o seu grau de contentamento em rela o possibilidade da utiliza o da aplica o A segunda fase foi realizada com alunos e estagi rios de forma a avaliar a usabilidade interface e utilidade da aplica o No decurso do projeto foram escritos os seguintes artigos A P Cl udio M B Carmo V Pinto R Teixeira D Galv o A Cavaco M Guerreiro Ambiente Virtual para Treino de Compet ncias de Comunica o na rea da Sa de o caso do atendimento em farm cia para automedica o Revista de Ci ncias da Computa o vol 9 no 9 2014 A P Cl udio M B Carmo V Pinto A Cavaco M Guerreiro Virtual Humans for Training and Assessment of Self medication Consultation Skills in Pharmacy Students 2015 Submetido para a co
78. e validar os HV tanto na sua apar ncia como nas suas express es faciais e movimentos corporais Ainda sobre as personagens virtuais estas poderiam ser melhoradas a n vel visual possivelmente atrav s de modelos pagos pois estes normalmente apresentam uma apar ncia mais realista Podem tamb m ser feitos alguns ajustes fala das personagens nomeadamente a sincroniza o do udio com o movimento dos l bios da personagem Ao n vel do realismo geral dos gr ficos apar ncia dos personagens da aplica o poderia se optar por desenvolver a aplica o num outro motor de jogo o Unreal Engine 87 que tal como o Unity3D trata se de um motor de jogo dedicado ao desenvolvimento de jogos No entanto no Unreal Engine consegue produzir resultados mais realistas sendo considerado um motor de pr xima gera o As principais diferen as entre estes al m de terem uma forma de desenvolver diferentes o Unreal Engine tem algoritmos de rendering e materiais mais avan ados o que falta ao Unity3D Alguns destes problemas no Unity3D podem ser ultrapassados atrav s de plugins mas muitos deste t m um custo associado e podem n o funcionar da maneira desejada Al m das pequenas melhorias que podem ser feitas sempre poss vel enriquecer a aplica o com novos personagens e cen rios 88 Ap ndice A Question rio Farm cia Virtual O objetivo deste estudo o desenvolvimento de humanos virtuais para a aquisi
79. ele deve escolher aquele que pretende usar na simula o que se vai seguir A escolha tamb m pode ser feita de forma aleat ria Figura 18 Farm cia Virtual LISBOA acai SELECIONE O PERSONAGEM Nome Maria Nome Ana Nome Manuel Nome Jos Idade 66 Idade 38 Idade 65 Idade 40 Escolher Escolher Escolher Escolher Escolha aleat ria Figura 18 Sele o do personagem Farm cia Virtual Sair Tih VP Escolha uma op o Selecionar Selecionar Selecionar Figura 19 Simula o da situa o pass vel de automedica o direita surgem as 3 op es dispon veis para o aluno escolher 46 A aplica o simula a situa o de atendimento escolhida num ambiente de farm cia comunit ria no qual o HV escolhido anteriormente desempenha o papel de paciente requerendo a assist ncia de um profissional de sa de Figura 19 O HV exibe movimentos corporais e comunica de forma verbal com os alunos atrav s de uma voz sintetizada sincronizada com os movimentos labiais da fala mais detalhes na sec o 4 3 O estudante que est a utilizar a aplica o encontra se no papel de um farmac utico atr s do balc o e comunica com o HV atrav s da sele o de uma das tr s op es que lhe s o dadas escolha na interface Cada conjunto de op es que v o sendo dadas ao utilizador incluem quest es de forma a fazer uma avalia o ao paciente ou alternativamente podem ser recomenda es sob a
80. ento da jun o que caso o n mero de v rtices n o seja o mesmo nas duas meshs ir ocorrer um erro n o podendo assim continuar esta opera o Este processo deve ser repetido para as restantes express es sempre selecionando primeiro a mesh deformada e de seguida a mesh original para desta forma a mesh original ir ficando com todas as deforma es medida que as jun es s o juntas as meshes com as express es podem ser eliminadas 32 amp Basi Lo Gy mouthCH E moutht Ey moutht Relative Figura 4 Mesh original com as v rias deforma es que podem ser controladas individualmente atrav s de um slider controlador da deforma o selecionando para isso a deforma o pretendida Na Figura 4 no lado direto da imagem poss vel verificar as deforma es que a mesh cont m Esta informa o encontra se na sec o Shape Keys onde poss vel verificar que existe a deforma o Basis que corresponde express o neutra e de seguida a deforma o mouthA que corresponde posi o que os l bios formam para produzir o visema A Todas esta deforma es podem ser controladas bastando para isso selecionar a deforma o pretendida e alterar o valor do slider que se encontra imediatamente abaixo e em que o seu valor varia entre O e 1 sendo que o O n o altera nada e medida que se vai aumentado este valor a mesh vai sendo cada vez mais deformada at atingir a deforma o selec
81. ernet uma vez que o projeto n o tinha or amento para adquirir modelos comerciais Ao procurar solu es para esta abordagem surgiu uma ferramenta que parecia dar resposta ao que era necess rio o Virtual Human Toolkit Desenvolvida pela USC Intitute for Creative Technologies o Virtual Human Toolkit VHT uma cole o de m dulos ferramentas e bibliotecas desenhadas para ajudar e dar suporte a investigadores na cria o de humanos virtuais dando suporte para lhes associar v rios tipos de anima o verbal n o verbal e movimento permitido tamb m a sincroniza o de falas 27 Esta descri o dava ind cios de que as funcionalidades desta seriam uma grande ajuda principalmente porque poderia ser utilizado no Unity3D No entanto o seu uso relevou se demasiado complexo requerendo a instala o de uma grande quantidade de aplica es externas para o seu correto funcionamento assim como de algumas restri es na adi o de novos humanos virtuais 4 1 1 Cria o dos Humanos Virtuais Descarta a hip tese de usar o VHT e tendo em conta a natureza deste projeto e o seu tempo limitado optou se pela segunda op o a utiliza o de um software para a gera o dos humanos virtuais pois esta op o apresentava algumas vantagens nomeadamente em rela o terceira op o como por exemplo o n vel de personaliza o das personagens e a possibilidade de definir algumas das express es faciais necess rias
82. ersonaliz veis das personagens muito superior das outras duas ferramentas permitindo desta forma gerar personagens muito mais distintos 28 Assim as personagens que se encontram na vers o final da aplica o foram geradas atrav s do DazStudio Foram geradas quatros personagens duas do g nero masculino e duas do g nero feminino contemplando em cada g nero duas faixas et rias distintas jovem e idoso de acordo com os requisitos estipulados inicialmente Geometria das personagens A geometria um dos fatores importantes porque um modelo de um humano virtual com um grande n mero de pol gonos permite uma maior defini o das formas especialmente na forma das express es faciais que no caso deste projeto um dos fatores em foco No entanto este grande n mero de pol gonos um dos aspetos em que se deve ter cuidado quando se est a desenvolver para sistemas que geram a imagem em tempo de real visto que uma geometria muito complexa ir afetar de forma negativa o desempenho da aplica o requerendo assim uma maior capacidade de GPU Assim quanto ao n vel da geometria dos humanos virtuais estavam a ser utilizados na primeira vers o do prot tipo cerca de 16 mil v rtices para geometria da cabe a e cerca de 20 mil v rtices para o resto do corpo No entanto na vers o final da aplica o de forma melhorar o desempenho a geometria dos HV foi reduzida para cerca de 21 mil v rtices para todo o corpo do HV se
83. escolha a op o interm dia o personagem mant m a sua express o anterior 47 Figura 20 O HV a mostrar as diferentes express es faciais da esquerda para a direita a express o neutra contente e descontente De forma dar um realismo maior ao personagem este tem incorporados v rios movimentos corporais tornando assim o personagem mais cred vel Para realizar os movimentos do personagem de forma autom tica foi desenvolvido um m todo que se encontra implementado no m dulo Character Behavior Controller uma das componentes da arquitetura da VP SIM ver Figura 1 e que consiste na an lise da fala do personagem de forma a identificar palavras chave podendo assim o personagem realizar os movimentos associados a essa fala Por exemplo se a fala do personagem for Tenho uma dor de cabe a este m todo ir processar esta fala de modo a encontrar a palavra cabe a que uma das palavras chave pr definidas Uma vez que encontrou uma das palavras chave enquanto o personagem reproduz a fala este vai realizar a anima o de levar a m o cabe a Na Tabela 2 enumeram se os quatro conjuntos de palavras que t m anima es associadas O cen rio da farm cia por detr s do HV e a ordem das op es que o aluno pode escolher s o mostradas de forma aleat ria para evitar o efeito d j vu em utiliza es subsequentes da aplica o Ap s realizada uma sequencia de intera es com o HV o aluno chega ao
84. espetivo caso Al m disso mesmo se a aplica o fosse integrada numa plataforma de e learning ou seja com outros recursos de aprendizagem dispon veis a maioria dos peritos n o eram a favor de substituir o ensino face a face ou do est gio uma vez que existem compet ncias comportamentais que necessitam de intera es reais e experi ncia A aplica o como ponto de partida deve ser mantida num ambiente de treino em conjunto com os m todos tradicionais Tendo em conta a opini o dos peritos e as dificuldades que ocorreram no processo de instala o a aplica o sofreu mais uma itera o no seu desenvolvimento de forma a colmatar os problemas identificados e a implementar novas funcionalidade uma vez que estes testes foram realizados numa fase inicial do desenvolvimento da aplica o 5 3 Entrevistas e testes com alunos do 4 ano de Ci ncias Farmac uticas Estas entrevistas foram realizadas na Faculdade de Farm cia da Universidade de Lisboa no decorrer de duas aulas em dias distintos com a devida autoriza o do professor respons vel Nestas entrevistas os alunos utilizaram a vers o de treino da aplica o Num total de participantes 10 5 eram rapazes e 5 eram raparigas todos com idades compreendidas entre 21 e 24 anos Destes 10 apenas um aluno era estudante trabalhador mas n o trabalhando na rea de farm cia Com os participantes identificados deu se in cio s entrevistas individuais A primeira tarefa d
85. esponder a um visema Por exemplo se considerarmos os fonemas b e p estes produzem uma forma visual muito semelhante parecendo que s o o mesmo fonema sendo apenas distingu vel quando esta 13 componente visual est acompanhada da componente aud vel 21 O caso contr rio tamb m acontece ou seja casos em que diferentes visemas podem corresponder a um fonema fen meno este que chamado de coarticula o Por exemplo no caso da l ngua inglesa o fonema t nas palavras two e tea tem uma representa o visual diferente uma vez que no primeiro caso o visema assume uma forma mais arredondada e no segundo uma forma mais alargada por causa da antecipa o dos fonemas seguintes Por poderem existir diferen as a n vel do tempo e dura o da fala a leitura dos l bios torna se dif cil nomeadamente para pessoas com problemas de audi o que apenas conseguem ter acesso componente visual da fala Na l ngua inglesa existem cerca de 40 visemas mas estes podem ser reduzidos para cerca de metade uma vez que existem visemas que n o s o distingu veis visualmente Tabela 1 22 Fonema em ingl s Conjunto de fonemas comuns Exemplos ae ah ax ah cat cut ago Aa aa father Ao ao dog ey eh eh ate pet Er er fur ih iy ih feel fill debit w uw uh w with too book Ow ow go Aw aw foul Oy oy toy Ay ay bite H h help R r red 14 L 1 lid 8 Z Z sit zap sh ch jh zh y sh she chin jo
86. eteeeaes 127 Bibliogra haetaan oe RU EEE DS a a tte daa tau 131 vii Lista de Figuras Figura 1 Arquitetura da Virtual Pharmacy ccccsssccsssecccesceseesseeeeecessencessceseeseeenees 21 Figura 2 Duplica o da mesh original Sesapi as O UTI TM oasis o 31 Figura 3 Resultado da manipula o dos v rtices da mesh 32 Figura 4 Mesh original com as v rias deforma es que podem ser controladas individualmente atrav s de um slider controlador da deforma o selecionando para isso a deforma o pretendida asas E Sa 33 Figura 5 Pipeline de cria o de personagens e de importa o Parte 1 34 Figura 6 DazStudio sliders para definir as deforma es no lado direito 35 Figura 7 Ficheiros individuais com as express es pretendidas exportadas do DazStudio apenas para UM personagem sess sessseesesesseststsetsestssestststtrtstsrsseststenesesssesestenesent 35 Figura 8 Resultado da jun o de todas as deforma es no Blender 36 Figura 9 Da esquerda para a direita diffuse map normal map e specular map 36 Figura 10 Figura mais esquerda composi o do shader da camada inferiores pele Figura mais direita efeito transl cido provocado pela camada mais inferior 38 Figura 11 Da esquerda para a direita a imagens cont m difuse map diffuse map normal map diffuse map norma map specular map e finalmente
87. eve se localizar a pasta com as texturas Esta pasta criada quando se exportou o personagem do DazStudio Geralmente esta pasta tem o nome igual ao do ficheiro FBX 119 4 Importa o para o Unity3D O personagem final e a pasta com as texturas estes t m de ser importados para o Figura 54 Configura es de importa o no Unity 120 Unity3D Para isso basta arrastar para a rea de Assets ou alternativamente ir a Assets gt Import New Asset 1 Ap s o objeto se encontrar na rea de Assets este deve ser selacionado e verificar se as seguintes op es est o ligadas ou configuradas a op o de Import SlendShapes e na parte de Rig colocar o Animation Type com Humanoid Figura 54 2 De seguida arrastar o personagem para a cena e verificar se o objeto Genesis2Male Shape que pode ser encontrado em nomeDadoAoPersonagem Genesis2Male se tem um separador com o nome de Skinned Mesh Renderer com todas as Shape Keys como na Figura 55 Caso n o veja o separador porque alguma coisa n o correu como esperado ou ent o saltou algum passo O EAS Ei eno ecoa a y O Inspector a M Genesis2MaleShape L Static Main Camera Tag Untagged Layer Default a Light Model Select R
88. evert Open Camera Y Genesis2Male Postion xo jy O zao CasualShoes_23654 Shap Rotation x0 Y 0 zo e eo i zji NewportPants_6521 Shape TShirt for Genesis Shape O 5 id SK EH o SK ER o SKF o SKIH o SKY o SKK o SK L o SKM o SK OW o SKS o SKSH o SK T o SK TH o SK UW o SKW o skFecharOlhos 0 _ LE ITT Assets PersonagensFinais Man SK Smile oC gt SK SimpleSmile o Vi Assets M gt Ga AudiosFiles Use Light Probes Mf gt i CenasFinal Reflection Probes Foi rm fees o at Anchor Override None Transform G Libraries Men Lightmap Parameters None Lightmap Pa v PersonagensFinais FENIR a imo RG LEO Quality Auto EE Animacoes PastenejarMen Update When Offscree _ EE Untitled fbm WGenesis2MaleSt Selman q A hip Transform N OldMan Figura 55 Shape keys Unity 3 Na Figura 55 poss vel verificar que todas as Shape Keys criadas no Blender est o aqui e por ordem muito importante e tamb m cont m o prefixo SK pois este foi o nome que foi dado ao input no Maya 121 D 2 Personagem falante com a respetiva anima o Hierarchy 28 Animatoi came Inspector LS 1 Le el sm Pivot BE Pivot Global Global nl Layer Account Y Personagens ip NewportPants_6521 Sh TShirt for Genesis Shap Lamp Y Canvas nal v Receive Script Script k Receive gt Text Receiv
89. faciais Trauma Patient Simulator TSP 12 uma aplica o que tem sido utilizada em programas de treino de servi os de emerg ncia m dica em que a simula o do trauma do paciente ocorre no contexto de um determinado cen rio onde acontece um acidente em que um paciente sofre uma les o A visualiza o feita atrav s de um mundo virtual 3D que cont m o paciente e outros objetos A aplica o permite a modela o fisiol gica do paciente virtual onde mostrado informa es cardiovasculares em tempo real respira o e estimula o farmacol gica O paciente exibe sinais cl nicos e sintomas em tempo real O utilizador pode interagir com o paciente virtual como por exemplo medir a pulsa o A aplica o leva o utilizador atrav s de uma sequ ncia de a es para avalia o do trauma do paciente Permite ainda a configura o do cen rio ou uma configura o aleat ria onde aplica o combina v rios tipos de les es e cen rios 12 2 3 Humanos Virtuais falantes A anima o da fala em HV uma parte importante e essencial para o n vel de realismo da experi ncia Dotar os HV da capacidade de falar um processo dif cil e com resultados mais facilmente critic veis pois os observadores humanos s o bastante sens veis a pequenos erros que possam ocorrem com a anima o da face Idealmente o movimento dos l bios e do udio devem estar devidamente sincronizados e em concord ncia fonema som e
90. forma de presta o de informa es encaminhamento do paciente ou outras Todas as op es atualmente dispon veis na aplica o foram definidas por professores de Comunica o em Sa de que acompanharam o projeto De entre as tr s op es existe uma completamente errada do ponto de vista t cnico uma correta na vertente t cnica e de comunica o e uma terceira interm dia Figura 19 Estas op es est o pontuadas de acordo com o seu n vel de corre o O decurso da simula o vai sendo guiado atrav s das op es que v o sendo escolhidas pelo aluno cujo o objetivo obter a pontua o m xima selecionando sempre a op o mais correta em cada situa o Personagens e cen rios Al m da comunica o verbal o HV tamb m comunica de forma n o verbal atrav s de anima es corporais e atrav s da mudan a da sua express o facial de forma a poder transmitir diversas emo es As express es que os HV possuem s o express o neutra contente e descontente Figura 20 No in cio da simula o o HV pode mostrar aleatoriamente uma express o facial neutra ou descontente Esta express o vai sendo alterada no decurso da resolu o da situa o de acordo com as escolhas que v o sendo efetuadas pelo aluno por exemplo se o aluno estiver sempre a escolher a op o errada o HV fica desconte se por outro lado o aluno estiver sempre a escolher a op o mais acertada o HV fica com uma express o contente Caso o aluno
91. ft poss vel saber a que visema este c digo corresponde Depois de ter toda a informa o com o c digo do visema isto o tempo em que ocorre no udio e a sua dura o foi feito um mapeamento do c digo do visema para os valores das blend shapes no Unity3D de modo a produzir o respetivo visema ver Tabela 3 Por exemplo se o c digo retornado atrav s do evento foi o 1 ent o sabe se que este corresponde ao visema AA logo a blend shape no Unity3D a ser alterada a SK AA atribuindo lhe o valor de 70 Neste contexto usado o valor de 70 pois se for necess rio a altera o de v rias blend shapes ao mesmo tempo este n o causa formas estranhas na face do HV Um problema que surgiu est relacionado com o facto de as personagens apenas terem 16 visemas e o n mero de visemas que o evento pode retornar serem 21 mais o visema mudo que corresponde quando n o existe som por exemplo o som entre palavras A solu o obtida para resolver este problema foi alterar o valor de v rias blend shapes ao mesmo tempo de forma a aproximar o visema em falta o caso das blend shapes com o c digo 3 6 7 9 10 11 e 12 na Tabela 3 61 C digo da Visema correspondente Nome das blend shapes no Unity Microsoft 0 sil ncio 1 Ah aa ae ah SK AA 2 Aa aa SK AA 3 Ao ao SK AA juntamente com SK OW 4 Eh ey eh uh SK EH 5 Er er SK ER 6 Th y iy ih ix SK
92. ginal Esta manipula o foi feita atrav s das ferramentas disponibilizadas pelo Blender nomeadamente o Grab com a op o proportional editing o que permite a movimenta o de um conjunto de v rtices de forma proporcional n o criando assim vincos acentuados na mesh Tamb m foi utilizado o modo escultura do Blender que permite a manipula o de v rtices de uma forma mais refinada do que o Grab 31 Figura 3 Resultado da manipula o dos v rtices da mesh Um ponto muito importante a ter em aten o diz respeito geometria da face ou seja ao n mero de v rtices Aquando da cria o das v rias formas das express es nas diferentes meshs cabe as o n mero de v rtices n o dever ser alterado ou seja o n mero de v rtices tem que ser obrigatoriamente o mesmo nas diferentes meshs caso contr rio este m todo n o resultar Depois de criadas todas as formas das express es em cada uma das meshs necess rio junt las numa nica mesh de modo a ter como resultado final uma nica mesh que represente a personagem com todas as express es deforma es e que posteriormente podem ser controladas a partir de v rios sliders Esta jun o uma tarefa simples de fazer Primeiro seleciona se a mesh deformada com a express o e a mesh original mesh com a express o neutra e de seguida seleciona se a op o do Blender Join as Shapes ficando a mesh original com a deforma o da outra neste mom
93. ginas web Exclusivo para o Backoffice Respostas idResposta idcaso idCaso idatividade idNodePergunta idNodeResposta pontuacaoResposta iduser userEmail name password dataNascimento dataRegisto genero ocupacao ano semestre trabalhaFarmacia areaTrabalho nomeCaso descricao dados AN idatividade idUser idCaso pontuacaoObtida pontuacao Total tempoTotal dataSessao codigoPersonagem faseAbertura faseAvaliacao faseAconselhamento faseFecho iduser userEmail name password Elementos estudo idele titulo link descricao idcaso weblink internalink categoria Figura 35 Estrutura da base de dados 4 5 Funcionamento geral da aplica o Virtual Pharmacy Nesta sec o ser apresentada uma descri o geral do funcionamento e de como as v rias componentes se interligam na vers o final da aplica o de forma a consolidar toda a explica o feita ao longo deste quarto cap tulo 66 VP Office VP SIM Ras Farm cia Virtual Sa gt Menu principal l J cata ha Esc Ss de Di o Generator _ Professor Nome do Caso Tem de ser igual so nome colocado na base de dados Escoma o fchero Ficheiro de anima o XML Aluno Gerar Audio Figura 36 Funcionamento geral da todas as componentes Virtual Pharmacy Todo o processo de funcionamento da aplica o Figura 36 come a pelo professor que atrav s do VP Office 1 concebe uma situa o de automedica
94. ia o na forma o pr graduada 32 Caso a aplica o inclua manuais e textos do tipo e learning considera que este modelo pode substituir a forma o presencial 95 Ap ndice B Elementos Adicionais SK EH SK K 96 SK L SK OW SK ER SK F SK IH 97 SK TH SK UW SK W SK S SK SH Tabela 15 Blend Shapes 98 v lt SpeakFileStructure xmlns xsi http www w3 org 2001 XMLSchema instance xmlns xsd http www w3 org 2001 XMLSchema gt lt animationTime gt 5 5775 lt animationTime gt lt meshVertexCount gt 0 lt meshVertexCount gt lt audioFile gt lt meshList gt v lt id gt lt string gt lt id gt Y lt description gt lt string gt lt description gt lt meshList gt Y lt keyframes gt lt values gt lt float gt 0 lt float gt lt float gt 0 52225 lt float gt lt loat gt 0 96325 lt float gt lt float gt 1 225 lt float gt Tempo em que ocorre lt float gt 1 349 lt float gt lt float gt 1 6935 lt float gt cada visema lt float gt 1 95525 lt float gt lt float gt 2 823375 lt float gt lt float gt 3 3195 lt float gt lt float gt 4 1325 lt float gt lt values gt lt sliderSettings gt v lt ArrayOfFloat gt lt loat gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float g
95. ica o de Requisitos de Software Nesta sec o ser o descritas as funcionalidades requisitos funcionais e propriedades requisitos n o funcionais que a solu o deve contemplar Estes requisitos foram resultado de uma reuni o entre os stakeholders envolvidos em que foram discutidos os pontos mais importantes da ferramenta 3 4 Paciente virtual e casos farmac uticos De acordo com os stakeholders n o utilizadores especialista em Comunica o em Sa de definiu se que quatro deve ser o n mero de pacientes virtuais dois de cada o g nero e dentro de cada um mais jovem e outro mais velho Cada paciente virtual dever poder representar v rios estados de humor sendo estes o neutro aborrecido e satisfeito Dever o ainda poder apresentar v rios casos de sa de que foram definidos com sendo de dor e inflama o est mago cabe a muscular esquel tica 3 4 1 Requisitos funcionais A vers o de avalia o da VP SIM dever assim contemplar as seguintes opera es e caracter sticas 1 Possibilidade de simular v rios cen rios de farm cias comunit rias onde se decorre a situa o de aconselhamento 2 Possibilidade de usar diferentes HV pretende se ter personagens dos dois g neros e de duas faixas et rias diferentes 3 Possibilidade de recriar diversas situa es de automedica o do tipo dor ou inflama o est mago cabe a e muscular esquel tica 4 Possibilidade de usar o mesmo HV em situa
96. icionar as anima es sorrir sorrirParaNeutro triste e tristeParaNormal d Script Receive e Script Speak No argumento Cabe a arrastar a malha do corpo do personagem que cont m as Shape Keys 3 Figura 56 O argumento Blend deve se colocar 16 pois o n mero de Shapes Keys referentes aos visemas ou seja s o as primeiras 16 Shape Keys que est o no personagem da a import ncia de elas terem que estar pela ordem dita anteriormente f Script SpeakController g Script CharacterBehaviour h Colocar o personagem desativado desmarcado a primeira caixa na rea 2 4 Abrir o script AppController que se encontra no o objeto Canvas EscolhasFarmaceutico Panel e no m todo void ativarPersonagem int cod colocar mais um caso personagens tranform Find Nome do personagem ir procurar o nome do personagem no objeto Personagens 123 case 5 characterActivated personagens transform Find Guiao gameObject characterActivated SetActive true break characterActivated SetActive true ir colocar o personagem ativo se este for escolhido case 5 Este 5 o c digo do novo personagem como j existem 4 5 Abrir a cena Selec oPersonagem 6 Abrir o Script SelectCharacter que se encontra na Main Camera 7 Cria um novo bot o para poder escolher o novo personagem Antes do m todo voi
97. il para o utilizador 13 Acha necess ria a introdu o de novas express es faciais nos humanos virtuais Sim N o 91 14 Se sim quais 15 Que tipo de anima es corporais seriam mais adequadas para este tipo de situa es por exemplo inclina o do tronco inclina o da cabe a 16 Aprecia o global Concordo Concordo N o totalmente concordo nem discordo Satisfaz me a informa o que recebo no final de um caso relativa ao meu desempenho na sua resolu o Satisfaz me a informa o que recebo no menu de Hist rico relativa ao meu desempenho na resolu o dos v rios casos Globalmente considero a aplica o f cil de utilizar Globalmente considero que a aplica o agrad vel de utilizar Globalmente a aplica o corresponde s minhas expectativas isto responde aos objetivos antecipados 17 Sugere altera es aplica o incluindo a adi o de novas funcionalidades 18 Se sim quais 92 Discordo Discordo totalmente 19 Se considerar necess rio acrescente aqui coment rios Question rio de Usabilidade e Satisfa o de Utiliza o Conjunto 2 20 A aplica o Concordo Concordo N o totalmente concordo nem discordo F cil de perceber Criativa F cil de aprender Estimulante Interessante R pida Previs vel Permite fazer o que pretende sem restri es Original Atrativa Inovadora C
98. ionada 33 A Fiy Importar FBX Exportar FBX mportar neutro HV Com todas as express es blend shapes Exportar FBX DazStudio Exportar FBX N Importar FBX HV contente Juntar todas as express es blend shapes Figura 5 Pipeline de cria o de personagens e de importa o Parte 1 Depois de o software DazStudio ficar dispon vel de forma gratuita todo este processo de cria o das deforma es ficou simplificado n o sendo necess rio como no processo anterior a manipula o manual dos v rtices da mesh de forma a obter deforma o pretendida Figura 5 O DazStudio j continha as express es e visemas necess rios para o desenvolvimento da aplica o e que poderiam ser definidos atrav s do deslocamento de sliders Figura 6 Assim o processo de cria o das Shape Keys passou por no DazStudio definir a express o pretendida e export la para um ficheiro com formato fbx Este processo foi repetido para a cria o das diferentes deforma es pretendidas sendo que no final para cada personagem existiam 20 ficheiros com o formato fbx e em cada um destes ficheiros h apenas uma deforma o que corresponde a uma express o ou visema Figura 7 Todos estes ficheiros fbx foram importados para o Blender e todas estas deforma es foram agregadas a uma nica mesh Figura 8 de acordo com o processo descrito anteriormente 34 J Perspective View E Persp Aux Viewpo
99. is muita realista 3 E f cil ouvir perceber as falas dos humanos virtuais 3 5 f cil ler as falas dos humanos virtuais nas legendas 5 Os movimentos dos l bios dos humanos virtuais est o sincronizados com a 35 voz Concordo que este feedback til para o utilizador 4 Tabela 5 Respostas dos peritos em rela o aos Humanos Virtuais No que diz respeito s perguntas sobre os HV pode verificar se que os participantes compreenderam como se selecionava o HV e consideraram ainda que a apar ncia e indument rias destes assim como o olhar realista Por outro lado a sincroniza o de l bios com discurso e a facilidade com que este ouvido percebido apresentam resultados mais baixos que podem dever se igualmente ao facto do teste ser feito de forma remota com alguns utilizadores Tabela 5 Em rela o ao uso de express es faciais para dar feedback sobre o desempenho durante o di logo os peritos concordaram que importante No entanto estes consideram que os HV deveriam ter mais express es como por exemplo a surpresa 71 Sugeriram se tamb m que as express es faciais e os movimentos do corpo devessem ser coerentes com a comunica o verbal Satisfaz me a informa o que recebo no final de um caso relativa ao meu 4 desempenho na sua resolu o Satisfaz me a informa o que recebo no menu de Hist rico relativa ao meu 4 desempenho na resolu o dos v rios casos Globalmente considero a aplica o
100. is modos de funcionamento um de treino e outro de avalia o II Uma aplica o de backoffice que apoia o trabalho do professor e que lhe permite facilmente incorporar conte dos e definir novas situa es de automedica o Para o desenvolvimento deste projeto foi nos gentilmente disponibilizado o pacote de voz masculina em portugu s pela Microsoft Este projeto foi acompanhado por especialistas na rea de Comunica o na Sa de Palavras chave Humanos Virtuais Intera o com Humanos Virtuais Pacientes Virtuais Compet ncias de Comunica o em Sa de Realidade Virtual il Abstract Social skills mainly the ones related with human communication are very important for most professional activities however they are truly indispensable for jobs concerning health sciences such as Nursing Medicine and Pharmaceutical Sciences In these areas precision and efficiency of information flows are key for the professionals interventions thus avoiding mistakes and their consequences for the patients Therefore the professionals of these fields must be trained on interpreting communication signals the patients might express both verbally and through body language in order to answer properly from a technical and humanistic points of view The communication between professionals and patients has a clear impact on treatment even in the simplest situation as for example self medication The work present in this thesis cons
101. ists on the conception and implementation of a tool to be used on Pharmaceutical Sciences training It recreates self medication scenarios in a pharmacy i e a patient that goes to a pharmacy in order to buy a drug for which he does not have a prescription The implemented solution encompasses I An interactive application with talkative virtual humans that play the role of the patients This application supports two modes one for training and other for evaluation purposes Il A backoffice application that offers support for the teacher s work and allows him to easily introduce contents and define new scenarios For the development of this project Microsoft gently provided us with the male voice package in Portuguese This project was followed by experts in the field of Health Communication Keywords Virtual Humans Interaction with Virtual Humans Virtual Patients Communication Skills in Health Sciences Virtual Reality iii iv Conte do Cap tulo 1 TAT OOUCAG ereo in tb e a a l 11 Motivacion rabuda Rica da dobrada VA ia bad da ab eat aa Dia A a a l 1 2 DF CUV OS meini nt DT MOS Sd 2 1 3 COMIDUI ES 2 aane Ee R EA O a ad E ETER TA ERES 2 1 4 Estruturado documento isendiga ai a a iaa 3 Cap tulo 2 Conceitos e trabalho relacionado ie 5 2l Reali ace Vir ill eases ticiet ir a a a AE 5 2 1 1 Imers o e Sensa o de presen a as senso arado en adianta 5 2 1 2 Vantagens e Inconvyenientes
102. it ria e gostaram da simplicidade e facilidade do uso da aplica o O que menos gostaram na aplica o tem a haver com o facto de existirem poucas situa es de automedica o a voz mecanizada dos personagens a exist ncia de poucas op es durante a simula o e falta de informa o nos pontos onde erraram F cil de perceber Criativa F cil de aprender Estimulante Interessante A A A A A A R pida Previs vel uo Nn Permite fazer o que pretende sem restri es U Original Atrativa Inovadora C moda Segura Motivante Cumpre as expectativas Eficiente Evidente Pr tica Atraente aA A A A A AA A A ARAR Simp tica Tabela 14 Respostas dos estagi rios ao SUS Sobre a possibilidade de utilizar a aplica o no futuro 45 dos participantes classificaram com 4 e 48 com 5 justificando que a aplica o pode ser uma boa ferramenta de treino e de estudo se for bem explorada e diversificada em situa es poss veis de automedica o Permite tamb m melhorar o atendimento real relembrando conceitos aprendidos nas aulas e que entretanto foram esquecidos Na segunda parte os resultados do question rio em aberto sobre o potencial da utiliza o da aplica o na educa o os estagi rios consideram que a aplica o pode ser til para alunos que se encontram em fase de est gio para alunos do 4 e 5 ano de Ci ncias Farmac uticas assim como para farmac uticos e t cnicos de farm
103. izem respeito respetivamente ao titulo da situa o e a uma pequena descri o no caso da vers o de treino e o bot o serve para identificar qual o objeto selecionado 44 Selecionar Figura 16 Em cima prefab da vers o de avalia o e em baixo da vers o de treino As informa es que v o preencher os campos dos prefabs est o guardadas na base de dados e s o acedidas atrav s de uma query sql Ap s a cria o do prefab foi definida uma rea atrav s de um panel elemento da UI onde os estes prefabs v o ser gerados e atrav s de um script criado para o efeito permite que eles sejam gerados de forma organizada dentro da rea definida criando se necess rio um scroller de forma a navegar por todos os itens Figura 17 U Farm cia Virtual LISBOA SELECIONE O CASO UNIVERSIDADE DE LISBOA Cefaleia Selecionar Cefaleia ou cefalgia s o os termos m dicos para dor de cabe a um dos sintomas mais comuns na medicina uma das queixas mais frequentes em consultas Tosse Selecionar A tosse uma contra o espasm sdica repentina e frequentemente repetitiva da cavidade tor cica resultando em uma violenta libera o de ar dos pulm es e geralmente acompanhada por um som caracter stico Figura 17 Sele o do caso vers o de treino 45 Assim que o aluno escolhe a situa o pass vel de automedica o que pretende resolver s o lhe apresentados quatro personagens pacientes e
104. la 5 Respostas dos peritos em rela o aos Humanos Virtuais 71 Tabela 6 Respostas dos peritos em rela o a aprecia o global da aplica o 72 Tabela 7 Respostas dos alunos em rela o interface gr fica da aplica o 75 Tabela 8 Respostas dos alunos em rela o aos Humanos Virtuais 76 Tabela 9 Respostas dos alunos em rela o aprecia o global da aplica o 76 Tabela 10 Respostas dos alunos ao SUS aersamasse iara ass ssa MRS act eas 71 Tabela 11 Respostas dos estagi rios em rela o interface gr fica da aplica o 79 Tabela 12 Respostas dos estagi rios em rela o aos Humanos Virtuais 79 Tabela 13 Respostas dos alunos em rela o aprecia o global da aplica o 80 Tabela 14 Respostas dos estagi rios ao SUS ecceececcceesseceseceseeeeeeeeaeeceseceeeeseeeenseeeaeens 81 Tabelas Blend Shapes as sas iss a RASA a a E nce cao dia 98 xi xii Cap tulo 1 Introdu o As compet ncias sociais de comunica o s o importantes pois desta forma que n s seres humanos nos relacionamos Estas compet ncias s o de grande valor em grande parte das profiss es principalmente nas atividades respeitantes rea da Sa de como por exemplo Enfermagem Medicina e Ci ncias Farmac uticas Quando um profissional desta rea tem de efetuar um diagn stico ou dar aco
105. lidade de utilizar a aplica o no futuro 60 responderam 5 e os restantes 40 responderam 4 A escolha foi justificada pelos seguintes pontos e realista e pode simular uma situa o real e permite a verifica o dos conhecimentos e a intera o com o paciente de uma forma criativa e permite praticar e perceber a sequ ncia de perguntas que o farmac utico deve fazer e ajudaria no processo de aprendizagem de forma a rever os conhecimentos sendo uma boa ferramenta de estudo Ap s a conclus o das entrevistas foram ent o feitas algumas das altera es sugeridas pelos alunos antes de serem feitos os testes com os estagi rios 5 3 2 Testes com estagi rios em farm cia comunit ria Para a realiza o destes testes foi criada uma p gina web cujo o link foi divulgado no Moodle da Faculdade de Farm cia pelo Professor Afonso Cavaco Os estagi rios a partir desta p gina descarregaram a vers o da aplica o compat vel com o seu sistema operativo e instalaram na no seu computador descarregaram um pdf com as instru es e as tarefas para realizarem No final preencheram um question rio Google Forms cujo o link se encontrava na p gina Estes testes foram realizados vers o de avalia o da aplica o e neles participaram 42 estagi rios 7 do g nero masculino e 35 do g nero feminino Os participantes t m idades compreendidas entre os 22 e 37 anos sendo que 92 participantes t m idades compreendidas entre os 22
106. lo podem ser descarregadas pacotes de anima es na loja do Unity3 D https www assetstore unity3d com en content 5330 Este pacote j tem algumas anima es que foram obtidas por captura de movimentos e podem ser utilizadas com qualquer um personagem com um esqueleto do tipo Humanoid da selec o do tipo humanoid aquando da importa o do personagem 127 Ent o para a adicionar uma nova anima o corporal ao personagem O inspector Ole S x Po mero Ocio CHEC Hierarchy Create gt CZ Maximize on Play Mute audio Stats Gizmos 7 y Man Static v Main Camera Tag Untagged Layer Default Directional Light Model Select Revert Open Y 011 Z v o zo Yi Ji J v PE M Animator Apply Root Motion Controller None Runtime Animator Con O Avatar ManAvatar o Update Mode Normal a Culling Mode Cull Update Transforms 1 Not initialized Add Component Figura 58 Personagem na cena 1 Colocar o personagem na cena Figura 58 2 Adicionar se n o tiver a componente Animator Ole S x PE Lew rivor cova 28 Animator O inspector E Hierarchy Create GrAll Layers Parameters 8 Base Layer Auto Live Link M4 Man OS
107. lt keyframes gt lt values gt que cont m os v rios tempos x no udio em que cada um dos visemas y ocorre e ao campo lt keyframes gt lt sliderSettings gt lt values gt que cont m os valores que as blend shapes devem tomar no tempo x de forma a produzirem o visema y Assim por exemplo se no tempo ls o visema for mudo ou seja n o existir fala ent o neste caso os valores das blend shapes v o ser de 0 em todos os 16 elementos do array de floats para que desta forma a personagem fique com a boca fechada Assim que a gera o dos ficheiros esteja conclu da e a Virtual Pharmacy tenha recebido a mensagem de conclus o esta trata de carregar imediatamente o ficheiro de udio e o ficheiro xml Para o carregamento do ficheiro xml foi criado um parser que coloca os valores do tempo e das blend shapes num modo de f cil acesso Este parser trata ent o de fazer o carregamento destes valores para uma estrutura criada com o nome de Keyframes que guarda os tempos em que os visemas ocorrem e os respetivos valores das blend shapes Ap s completado o parse do ficheiro criada uma estrutura Timeline em que s o guardados os tempos dos visemas e os respetivos valores das blend shapes Esta estrutura como se de uma preview da anima o se tratasse Com todas as estruturas carregadas o udio come a a reproduzir e medida que este vai avan ando no tempo vai sendo verificado de forma a saber que valores as
108. mento dos estudantes Orienta o ou coment rios de especialistas s o importantes no in cio enquanto os estudantes ainda t m pouca experi ncia Interatividade Os pacientes virtuais devem ser interativos e apresentar uma variedade de quest es Feedback espec fico Os estudantes acham importante receber feedback em todas as suas escolhas para os ajudar a perceber o problema Tamb m deve ser dado um feedback desempenho geral do estudante de forma a que ele possa identificar as reas em que t m mais dificuldade para posteriormente melhorar Utiliza o de media apropriada Devem ser usados diferentes tipos de media imagens v deo udio anima o de forma a que o paciente virtual seja o mais realista poss vel Focar em pontos de aprendizagem relevantes A interface deve ajudar os estudantes a focarem se nos pontos de aprendizagem relevantes evitando distra es e facilitando o uso dos pacientes virtuais No caso da utiliza o de texto este deve ser curto e o mais claro poss vel e em que o acesso a informa o adicional deve ser facilitado Recapitula o de pontos chave da aprendizagem Ao fim de cada caso deve ser perguntado aos estudantes e fazer uma avalia o de conhecimentos do que eles aprenderam de forma a recapitular os pontos chave Tamb m deve ser inclu do no fim um sum rio com pontos chave Tarefas aut nticas O paciente virtual deve requerer que os estudantes fa am todas as
109. mesh para o Unity3D teve de se fazer um passo extra uma vez que o Blender n o compat vel com o formato do esqueleto do DazStudio Esta incompatibilidade apresentava um problema pois o esqueleto era necess rio para os movimentos corporais do personagem Ent o a solu o passou por utilizar um outro software o Maya3D que se encontra dispon vel gratuitamente para estudantes Uma vez que o Maya3D compat vel com o formato do esqueleto do DazStudio a solu o passou por com Maya importar o ficheiro fbx em que HV continha apenas a express o neutra e de seguida importar o ficheiro resultante da exporta o do Blender que cont m o HV com todas as deforma es e que diz respeito personagem em quest o De seguida o Maya substitui a mesh do HV pela mesh com todas as deforma es mantendo o esqueleto Esta substitui o acontece pois ambas as meshs do HV t m o mesmo nome resultando assim numa personagem com o esqueleto e com a mesh com todas as deforma es Este processo foi realizado para as 4 personagens sendo que no fim cada uma foi exportada para o formato fbx atrav s do Maya Figura 12 Ap s ter a mesh no formato fbx resultante da exporta o do Maya esta teve que ser importada para o Unity3D bastando arrastar o ficheiro fbx para a rea de Assets do Unity3D Ao efetuar a importa o deve se ter aten o s configura es de importa o Unity3D sendo que na Figura 14 se deve ter a op o Import BlendSha
110. ndo que com estas configura es se observou no Unity3D que as anima es ficaram significativamente mais fluidas Uma das melhorias que se pretendia fazer nos HV era aumento de pol gonos da geometria da face para ter uma melhor defini o das express es Contudo este aumento iria prejudicar o desempenho das anima es faciais exigindo uma GPU com um poder computacional maior limitando por conseguinte a compatibilidade da aplica o em equipamentos vulgares A solu o adotada foi de complementar a textura da face com um normal map explicado mais adiante simulando algumas irregularidades sem ser necess rio o aumento do n mero de v rtices 4 1 2 Anima o e express es nos Humanos Virtuais Para a realiza o das anima es nos personagens foram utilizadas duas t cnicas diferentes de anima o Morphing Target e uma outra t cnica mais convencional que utiliza um esqueleto A t cnica de Morphing Target foi utilizada para realizar as anima es faciais nomeadamente as express es e a anima o da fala enquanto que para a anima o dos movimentos corporais foi utilizado um esqueleto 29 Para a anima o do esqueleto recorreu se a uma biblioteca de anima es obtidas atrav s da captura de movimentos que se encontra dispon vel de forma gratuita na loja do Unity3D Nesta biblioteca existem v rios tipos de anima es desde anima es de locomo o at a anima es de atividades do dia a dia
111. nfer ncia The 10th International Conference on Computer Science amp Education IEEE ICCSE 2015 22 24 July Cambridge Guerreiro MP Cavaco AC Claudio AP Carmo MB Pinto V Development of computer based virtual patients for training and assessment of self medication consultation skills in pharmacy students International Journal of Clinical Pharmacy In press A aplica o foi demonstrada e No Dia Aberto da FCUL para os alunos visitantes do ensino secund rio e No Museu das dos Valores em Mafra para os coordenadores de conte dos deste museu 1 4 Estrutura do documento Este documento est organizado da seguinte forma e Capitulo 2 Conceitos e trabalho relacionado Neste cap tulo s o apresentados conceitos base e descritos diversos projetos e estudos realizados que de alguma forma se enquadram no mbito do desenvolvimento deste projeto e Capitulo 3 An lise de produto Neste cap tulo apresentam se o levantamento de requisitos e o planeamento do trabalho Cap tulo 4 Implementa o Neste cap tulo descrita a implementa o da ferramenta Virtual Pharmacy Cap tulo 5 Avalia o do prot tipo Neste cap tulo s o apresentados os resultados referentes aos testes efetuados com os diferentes grupos de utilizadores Cap tulo 6 Conclus es e trabalho futuro Neste cap tulo s o apresentadas as conclus es e apontam se linhas para trabalho futuro Cap tulo 2 Conceitos e
112. nselhamento a um doente a comunica o um aspeto fulcral No desempenho de profiss es desta rea uma boa comunica o com os utentes essencial com vista a recolher o m ximo de informa o e poder realizar um diagn stico ou aconselhamento o mais correto e preciso poss vel Neste projeto recorremos ao uso de humanos virtuais HV para conceber e implementar uma ferramenta para treino e avalia o da comunica o no contexto das Ci ncias Farmac uticas O trabalho insere se no mbito de projetos que t m vindo a ser desenvolvidos pelo grupo de I amp D MAS BioISIS ex LabMag e que tamb m envolvem aplica es interativas com humanos virtuais 1 1 Motiva o Ao finalizarem o seu curso os estudantes da rea da Sa de devem ter as capacidades de comunica o necess rias para o correto desempenho da sua profiss o Os m todos de ensino destas compet ncias baseiam se numa componente te rica em que se estudam protocolos que devem ser aplicados nestas intera es com os doentes Contudo para al m do aspeto t cnico necess rio que os estudantes treinem outros aspetos importantes como por exemplo a empatia com o doente Uma insuficiente capacidade de comunicar com os doentes pode refletir se na forma como decorre o diagn stico ou recolha de informa o podendo no limite acarretar consequ ncias negativas para aqueles Os alunos devem ser treinados de modo a poderem interpretar os sinais de comunica
113. ntre finalizado e pronto para ser integrado na aplica o dever escolher a op o Export to Game que ir novamente aparecer janela para escolher o local onde guardar o ficheiro de notar que desta vez o ficheiro cont m uma extens o txt 2 Upload para a base dados Posto isto tendo o ficheiro com a extens o txt resultado da op o Export to Game dever aceder novamente ao site e escolher na barra lateral a op o Recursos e de seguida Casos Inserir e Consultar Figura 43 107 Farmacia Virtual Menu principal Criar Casos amp Vitor Menu principal EB Consultas Casos Recursos v e Criar Caso Menu principal Casos e Casos Inserir e Consultar o Elementos de estudo Inserir e Consultar Casos na base de dados Inserir novos casos ID Nome do caso Caso Nome Descri o Introduza o nome do caso 1 Cefaleia Cefaleia ou cefalgia s o os termos m dicos Alterar Pequena descri o do caso para dor de cabe a um dos sintomas mais comuns na medicina uma das queixas Introduza uma pequena descri o mais frequentes em consultas Ficheiro que cont m o di logo 2 Tosse A tosse uma contra o espasm sdica Alterar Taass ferdi nientium ficheiro Seloctionado repentina e frequentemente repetitiva da cavidade tor cica resultando em uma violenta libera o de ar dos pulm es e geralmente acompanhada por um som caracter stico Enviar Reset Figura 43 Inserir um no
114. o de desenvolvimento e tendo uma forte flexibilidade o modelo sequencial ficou fora de quest o Uma vez que o projeto pode sofrer altera es em qualquer uma das etapas definiu se que o modelo que seria mais apropriado seria o modelo iterativo e incremental Dentro deste modelo identificou se que o padr o de desenvolvimento mais apropriado de acordo com as caracter sticas do projeto seria o padr o de desenvolvimento gil 3 6 2 Recursos envolvidos no desenvolvimento Hardware e Processador Intel Core 17 2 4 GHz e Mem ria RAM 8 GB e Placa gr fica NVIDIA GeForce GT 650M 23 Software Blender aplica o de modela o 3D para modela o e edi o dos cen rios e dos humanos virtuais Vers o utilizada 2 72 http www blender org Autodesk Maya aplica o de modela o 3D anima o dos personagens virtuais vers o gratuita para uso acad mico http Awww autodesk com Unity3D game engine utilizado principalmente para o desenvolvimento de videojogos em que neste caso vai ser utilizado para o desenvolvimento da aplica o incorporando os modelos 3D importados do blender https unity3d com Daz Mixamo Fuse MakeHuman aplica es para a cria o de humanos virtuais com uma variedade de atributos e carater sticas que podem ser alterados CrazyBump aplica o utilizada para a cria o ou edi o de por exemplo normal maps ou specular maps dando como input uma imagem 3 6 3
115. o em conta as circunst ncias para o desenvolvimento da fala e respetiva anima o apenas foi considerada a solu o da Microsoft nomeadamente as bibliotecas de Speech juntamente com os pacotes de falas de TTS para a gera o do udio da fala Por n o se encontrar dispon vel ao p blico o pacote de voz masculina em portugu s foi nos gentilmente cedido pela Microsoft Portugal 4 3 1 As Blend Shapes como visemas Para realizar a anima o da fala foram criadas 16 blend shapes cada uma delas correspondendo a um visema Tabela 15 no anexo A De forma a ter uma anima o mais precisa dever amos ter 21 visemas na medida em que embora existam 40 visemas alguns deles n o s o distingu veis visualmente pelo que estes podem ser reduzidos a 21 22 No entanto atendendo a que no DazStudio apenas estavam dispon veis 16 visemas optou se por manter este n mero Caso contr rio seria necess rio manipular a mesh de forma a obter as restantes blend shapes nas quatro personagens o que seria um processo moroso As blend shapes criadas atrav s do DazStudio e que atuam como visemas s o AA EH ER F IH IY K L M OW S SH T UW TH e W Por quest es de simplifica o n o foram consideradas a utiliza o de bi visema ou tri visemas ou seja visemas que tivessem em conta os seus vizinhos Como foi referido anteriormente na sec o 4 1 2 necess rio que as deforma es correspondentes aos visemas se encontrem na mesma o
116. odeling b a Boce Polygons View Shading Lighting Show Renderer Panels NS A pL a a One Channels Edit Object Show Genesis2MaleFBXASC046Shape Translate X Translate Y Translate Z Rotate X Rotate Y Rotate Z Scale X Scale Y Scale Z Visibility on SHAPES Genesis2MaleFBXASC046ShapeSh INPUTS skinCluster1 SK Envelope AA ER oocococoocooococoooeoCoeooor lea ld id 4 D gt Di PI gt I No Anim Layer No Character Se Select Tool select an object Figura 53 Shape Keys no Maya 118 1 No Maya importar o ficheiro fbx com a express o neutra Para isso basta ir a File gt Import e selecionar o ficheiro com a express o neutra 2 N o necess rio remover nenhum acess rio 3 De seguida importar o ficheiro fbx que contem todas as express es 4 Selecionar a malha correspondente ao corpo do personagem e no separador do channel box assinalado por 1 na Figura 53 percorrer o separador dos inputs 2 at encontrar as Shape Keys criada no blender como na Figura 53 O nome do input pode ser mudado neste caso foi alterado para SK de Shape Keys 5 Antes de exportar deve se verificar o valor do Envelope logo acima das Shape Keys Figura 53 Este deve estar a 1 6 Exporta o objeto para o formato fbx Para isso ir a File gt Export AIP e escolher o formato FBX O resultado da exporta o atrav s do Maya o personagem finalizado Antes de importar personagem para o Unity3D d
117. on Cast Shadows Lon Daraiva Charme RA Receive Shadows M Figura 33 Altera o do valor da Blend Shape no Unity3D 6 https www rabbitmg com 60 Como se pode ver na Figura 33 cada blend shape no Unity3D tem um valor associado que na figura se encontra em 0 e que pode variar entre O e 100 A medida que se alteram estes valores a personagem vai evidenciando a forma da blend shape cujo o valor se est a alterar Assim por exemplo se alterarmos o valor do SK AA identificador da blend shape que corresponde ao visema AA para 100 a posi o dos l bios ir ser alterada de forma a que a personagem reproduza o visema AA Figura 33 Se este valor for alterado progressivamente ao longo do tempo ir produzir uma anima o Deste modo a ideia subjacente ao m todo para animar a fala corresponde altera o progressiva dos valores atrav s de um script E no ficheiro XML que est a informa o acerca de que blend shapes devem ser alteradas ou seja que valores devem ser atribu dos a cada uma Uma vez que a biblioteca de speech da Microsoft oferece m todos que permitem saber quais os visema que est o a ser utilizados na gera o do udio foi criado um evento que vai sendo disparado durante a gera o do udio e que retorna informa o com o c digo do visema que acabou de ser utilizado na gera o nomeadamente o tempo em que este ocorre e a sua dura o Atrav s da documenta o disponibilizada pela Microso
118. onsultas Menu principal vista gera Menu principal Cas lf Utilizadores Casos Inseridos lt gt 0 0 Media de pontua es E Elementos de estudo Figura 41 Criar um novo caso 106 De seguida deve se criar os di logo pretendido clicando com o bot o direito do rato e escolher o tipo de n para o tipo de fala pretendido Figura 42 Farmacia Virtual Menu principal Criar Casos amp Vitor E para si Fala ol EES 4 input output input F n o para a minha m e N Escolha x ff Bom dia em que lhe posso se Fala Paciente o ot Faia o fas ae Pode descrever a tosse Anipuc E N o para mim para a mint New p output Open File D input to Fil Du out Seve to Fie Export to Game Tenho aqui este xarope que d Fala x Do output input SH Obrigado Figura 42 Criar o dialogo E muito importante que o primeiro n a ser criado seja do tipo Fala Paciente Se o personagem n o for o primeiro a falar este n dever apenas ter um ponto final como na Figura 42 Uma vez criado o di logo poss vel guard lo para mais tarde alterar ou ent o export lo para ser utilizado na aplica o Para guardar o di logo dever carregar com o bot o direito do rato e escolher a op o Save to File em que aparecer uma janela para escolher o local onde pretende guardar o di logo de notar que este ficheiro cont m a extens o json Caso o dialogo j se enco
119. os maps anteriores mais as camadas interiores Pele cecccesceeceeceeneeceeceeeeeeeeeeseeesseees 39 Figura 12 Pipeline de cria o de personagens e de importa o Parte II 40 Figura 13 Da esquerda para a direita Shape Keys definidas no Blender e Blend Shapes Don DD dias a USD ST GS a ee aera 41 Figura 14 Configura o de importa o do Unity3D c 41 Figura 15 Menu principal da esquerda para a direita vers o de avalia o e vers o de TECITIO ouso ota ra ERAS O AE ances 44 Figura 16 Em cima prefab da vers o de avalia o e em baixo da vers o de treino 45 Figura 17 Sele o do caso vers o de treino ceecceesceesceesseceeeeeeceeeeeeseecsaecnseeeeeeensees 45 Figura 18 Sele o do personagem sgupsa ssa A TU 46 Figura 19 Simula o da situa o pass vel de automedica o direita surgem as 3 op es dispon veis para o aluno escolher 0 00 eee eececeseceteceeeeeesceceaeceeeeeeeeeeeeaeens 46 viii Figura 20 O HV a mostrar as diferentes express es faciais da esquerda para a direita a express o neutra contente e descontente ci ie seeeeererereeereneee 48 Figura 21 Fim da resolu o vers o de avalia o eee 50 Figura 22 Fim de resolu o vers o de treino sirene 51 Figura 23 Menu de hist rico de casos resolvidos eres 51 Figura 24 Informa o adicional sobre os caso ssseseesessesees
120. os seus movimentos corporais os participantes consideram que estes n o s o completamente realistas 3 n o concordo nem discordo 79 Em rela o sincroniza o do movimento dos l bios os participantes acham que esta ainda n o realista o suficiente 3 n o concordo nem discordo Os participantes consideram que o feedback dado atrav s das express es faciais era til Ainda sobre as express es alguns participantes 45 acham que deviam ser introduzidas novas express es como por exemplo a express o de dor duvida confus o irritado interessado desinteressado preocupa o desconfian a inc modo e admira o A n vel de anima es corporais estes acham que os HV deveriam poder inclinar o corpo gesticular das m os e bra os inclinar a cabe a em gesto de nega o ou confirma o e encolhimento dos ombros Satisfaz me a informa o que recebo no final de um caso relativa ao meu 4 desempenho na sua resolu o Satisfaz me a informa o que recebo no menu de Hist rico relativa ao meu desempenho na resolu o dos v rios casos Globalmente considero a aplica o f cil de utilizar Globalmente considero que a aplica o agrad vel de utilizar A A A Bs Globalmente a aplica o corresponde s minhas expectativas isto responde aos objetivos antecipados Tabela 13 Respostas dos alunos em rela o aprecia o global da aplica o Relativamente informa o que a
121. paciente virtual A VP Office inclui a funcionalidade de criar e fazer o carregamento destes dados para a base de dados O m dulo Dialogue Creator atrav s de uma interface gr fica permite que o di logo seja facilmente definido e atrav s do m dulo Information Upload permite que este di logo seja carregado para a base de dados II Dados relativos a elementos de estudo ou informa es adicionais dos casos de automedica o por exemplo ficheiros pdf hiperliga es para p ginas web que posteriormente ir o aparecer na vers o de treino da VP SIM Esta informa o gerida atrav s de funcionalidades implementadas na VP Office IH Informa o acerca da atividade dos alunos na vers o de avalia o da VP SIM Esta informa o pode ser posteriormente consultada e analisada atrav s de funcionalidades implementadas na VP Office podendo assim o professor verificar o progresso dos alunos e se assim o desejar estes dados tamb m podem ser exportados para um ficheiro csv de forma a que possam ser analisados por exemplo com um software de an lise estat stica A componente Speech Generator respons vel pela gera o do udio da fala das personagens assim como pela gera o da informa o necess ria para poder realizar a anima o da fala nas personagens Na vers o inicial da Virtual Pharmacy o Speech Generator correspondia a um processo lan ado em background assim que VP SIM era iniciada e gerava o udio das
122. pacientes virtuais testados n o t m recursos suficientes para que os estudantes possam praticar a comunica o n o verbal 14 Cavaco e Madeira verificaram que o acesso a este tipo de tecnologia de pacientes virtuais n o f cil para os estudantes o que pode indicar que as aplica es existentes que utilizam esta tecnologia podem n o ser assim t o simples ou requerem outro tipo de equipamento adicional 13 Foi verificado ainda no mesmo artigo que o uso de pacientes virtuais na realiza o de exames foi considerado menos eficaz o que pode significar que esta tecnologia pode ainda ser vista como experimental e como n o sendo ainda uma ferramenta confi vel de avalia o Al m disso em muitas outras reas da Sa de e n o s a utiliza o de pacientes virtuais ainda precisa de ser validada de forma a comprovar efetivamente os seus benef cios 17 2 2 2 Princ pios de desenho de pacientes virtuais A partir de um estudo ralizado por F Reichert et al e com base nas opini es dos estudantes foram identificados v rios princ pios de desenho para a produ o de pacientes virtuais de forma a obter uma experi ncia o mais pr ximo da realidade poss vel 18 Relev ncia Os casos apresentados pelos pacientes virtuais devem ser relevantes em termos da incid ncia do seu problema da gravidade e das suas consequ ncias N vel de dificuldade apropriado O n vel de complexidade deve ser adequado ao n vel de conheci
123. penha o papel de doente e o estudante que desempenha o papel de farmac utico tem que interagir com o HV A intera o do aluno com o HV feita atrav s da sele o de v rias op es que v o aparecendo na interface da VP SIM em que o aluno dever escolher aquela que melhor se adequa naquele dado momento Por outro lado o HV interage com o aluno atrav s de fala sintetizada com a respetiva movimenta o da boca movimentos corporais e express es faciais A VP SIM suporta dois modos de funcionamento um de treino e outro de avalia o A principal diferen a entre os dois modos reside na informa o que mostrada ao aluno A vers o de treino al m de conter todas as funcionalidades da vers o de avalia o como resolver as v rias situa es e consultar o hist rico permite tamb m ao aluno no final de cada resolu o saber as quest es que errou e as quais eram neste caso as respostas corretas Tamb m lhe poss vel consultar elementos de estudo adicionais sobre as v rias situa es pass veis de automedica o nomeadamente informa es sobre medica o circulares informativas protocolos entre outras Estas informa es podem ser na forma de documentos por exemplo pdfs e docx ou links para outros recursos por exemplo Moodle Uma outra diferen a entre as duas vers es est no facto de a vers o de avalia o registar no final da resolu o de cada situa o a atividade do aluno na base de dados de forma
124. pes ativa e o tipo de Rig ou seja o tipo de esqueleto deve ser Humanoid pois s desta forma que as anima es corporais da biblioteca funcionar o 40 O Inspector O Inspector dm i Man Import Settings QB Man Import Settings Open Open Model Rig Animations Model Rigo Animations Bashan Animation Type Humanoid Scale Factor fool Avatar Definition Create From This Model File Scale 1 Configure Mesh Compression Off Optimize Game Objecil Read Write Enabled Revert Apply w Optimize Mesh v Import BlendShapes v la Generate Colliders Swap UVs Generate Lightmap U Normals amp Tangents Normals Imports Tangents Calculate Smoothing Angle gt 60 Split Tangents v Keep Quads LJ Materials Import Materials v Material Naming By Base Texture Name Material Search Recurswetp Figura 14 Configura o de importa o do Unity3D Depois de importado e ap s colocar o HV na cena o Unity3D apresenta a mesh do HV como Skinned Mesh Renderer e aqui que podem ser encontradas todas as blend shapes criadas no Blender que podem ser controladas atrav s da altera o dos valores que se encontram a zero na Figura 13 Ao contr rio do que acontece no Blender em que os valores variam entre 0 e 1 no Unity3D estes valores variam entre 0 e 100 Y M Skinned Mesh Renderer YD Y BlendShapes
125. pontos chave no que diz respeito ao seu realismo mas a aplica o de uma simples textura n o muitas vezes suficiente sendo necess rio recorrer a v rios tipos t cnicas de texturiza o e rendering para recriar a superf cie dos materiais envolvidos de uma forma pr xima da realidade A abordagem mais simples e que normalmente a mais utilizada passa pela utiliza o de um diffuse map ou color map de um normal map e de um specular map Figura 9 Da esquerda para a direita diffuse map normal map e specular map 36 Diffuse Map Color Map Tratam se de texturas que s o utilizadas para definir a cor principal da superf cie do objeto Figura 9 Normal Mapping Trata se de uma t cnica que permite adicionar detalhes como por exemplo adicionar irregularidades sem ter que se aumentar o n mero de v rtices ou seja d a ilus o de que a geometria do objeto aparenta ser mais complexa do que aquela que na realidade Este efeito conseguido atrav s da manipula o dos valores das normais superf cie Figura 9 Specular Mapping Os specular maps s o utilizados para definir o brilho da superficie do objeto e normalmente s o apresentados numa escala de cinzentos do preto ao branco em que quanto mais branco for mais brilhante o objeto ir parecer Assim superf cies como a madeira tendem a ter um specular map bastante escuro pois s o superf cies pouco brilhantes ou refletoras Figura 9 Outra
126. que reduz os custos por exemplo quando se usam ambientes de treino Para o aumento da popularidade da RV tem contribu do o aparecimento de equipamento de RV imersiva de custos pouco elevados e com boa qualidade como o caso do lan amento previsto para breve dos HMD Oculus Rift da Oculus VR e com a apresenta o do Project Morpheus da Sony Contudo durante a utiliza o da RV alguns utilizadores referem sensa es de mau estar tempor rio cybersickness Existem alguns estudos que investigam este tipo de 1 https www oculus com 2 https www playstation com pt pt explore ps4 features project morpheus 6 problemas com objetivo de identificar as suas causas Por exemplo Tomasz Mazuryk e Micheal Gervautz apresentaram um estudo com utilizadores durante uma utiliza o intensiva de um simulador de voo de RV e verificaram que os sintomas mais observados foram disfun es oculomotoras como cansa o visual dificuldade de concentra o e vis o turva disfun es mentais por exemplo tonturas ou disfun es fisiol gicas por exemplo dores de cabe a e n useas 3 Este desconforto respons vel pela desmotiva o de alguns utilizadores da RV 2 2 Pacientes Virtuais na Comunica o em Sa de 2 2 1 Estudos sobre o uso de pacientes virtuais E vasto o uso de HV nas reas de entretenimento jogos e cinema contudo existem aplica es fora desta rea que recorrem a HV por exemplo na rea de sa d
127. que corresponde ao visema AA e de seguida a malha com a express o neutra e que j tem a shape key Basis Ao fazer a sele o por esta ordem a malha com a forma base ir ficando com as express es Com as malhas selecionada no separador das shape keys em vez de cliclar no como anteriormente 116 dever carregar num tipo de seta para baixo que se encontra mesmo por 66 99 debaixo do e de seguida selecionar Join as Shapes Isto ir criar uma nova deforma o que dever ser renomeada para AA para ser f cil de identificar Esta de forma o pode ser controlada pelo slider abaixo onde est Value Figura 51 8 Ap s ter criado esta nova shape key pode se apagar a malha correspondente deforma o que neste caso era a AA e importar um novo objeto com outra deforma o Repetir todo isto para as restantes express es No final dever ter algo do g nero da Figura 52 Gy Basis Gy AA EH FecharOlhos Triste Smile o o o o o o o o o o o o o o o 2 o o o o o Figura 52 Shape Keys Blender 117 9 Ap s concluir este processo devera exportar o personagem para o formato fbx Para isso selecionar File gt Export gt FBX Poder dar o nome de express es a este ficheiro 4 Incorporar o esqueleto no personagem Uma vez que o Blender n o compat vel com o formato do esqueleto do DazStudio foi necess rio recorrer ao Autodesk Maya M
128. r ID nome do utilizador e Password palavra passe Exemplo do ficheiro Server endere o do servido com Database nome da base de dados User ID nome do utilizador Password palavra passe Pooling true Depois de preenchido o ficheiro com a informa o correta pode ser criado um zip e distribui lo aos futuros utilizadores 102 C 2 Base de dados Nesta sec o vai ser dada a informa o de como configurar a base de dados de forma a funcionar com a aplica o a VP SIM ea VP Office Aqui vai ser dada uma demonstra o de como utilizar a base de dados no ambiente local ou seja no pr prio computador Instala o da base de dados MySQL e Fazer download e instalar o MySQL Durante a instala o ir aparecer para criar um utilizador e a password Neste caso foi utilizado root e password apppei http dev mysql com downloads windows installer e Criar uma nova 1 liga o MySQL com o nome 2 Figura 38 MySQL Workbench MySQL Connections O O g j Shortcuts Local instanci Setup New Connection Connection Name Tutorial 4 Type a name for the connection Connection Method Standard TCP IP Method to use to connect to the RDBMS SSL Advanced Hostname Port Name or IP address of the server host 3306 and TCPAP port Username Name of the user to connect with The user s password Will be requested ater if it s not set Password store in Keychain
129. rama o CH Esta aplica o compat vel com os principais sistemas operativos Mac Windows Linux e tem duas vertentes uma que se destina ao treino e a oura avalia o dos alunos Interfaces iniciais Assim que o aluno inicia a aplica o necess rio realizar o seu registo caso ainda n o o tenha feito anteriormente Neste registo o aluno indica o seu email nome password g nero data de nascimento e ocupa o Ap s completar o registo o aluno fica na base de dados podendo ent o fazer o login na aplica o utilizado o seu email e password Este registo associado a todas as atividades realizadas pelo aluno na aplica o Uma vez que o Unity3D n o oferece suporte direto para a comunica o com a base de dados que neste caso uma base de dados MySQL foi necess ria a utiliza o de um plugin dispon vel atrav s do site MySQL compilado para c para que possa ser 43 interpretado pelo Unity3D Este plugin j cont m as classes e m todos para realizar a comunica o com a base de dados Ap s o login na aplica o s o apresentadas ao aluno v rias op es Estas op es variam de acordo com a vers o avalia o ou treino Figura 15 U Farm cia Virtual U Farmacia Virtual Escolher situa o pass vel de automedica o Escolher situa o pass vel de automedica o Consultar hist rico Consultar hist rico Informa es sobre patologias e medica o Informa es acerc
130. rdem em todas as personagens para que o m todo descrito de seguida funcione 4 3 2 Implementa o da fala nos HV e Speech Generator A componente Speech Generator respons vel fala do VH udio e dados de anima o e ao longo do seu desenvolvimento foram usadas duas abordagens como j referido anteriormente Na primeira a gera o das falas era feita em tempo de execu o mas como esta abordagem requeria a instala o de software adicional tal revelou se muito complicado para o grupo de peritos em Comunica o em Sa de com os quais foi testado o 1 prot tipo da VP SIM Por este motivo a abordagem adotada implica a pr gera o das falas De seguida explicamos o funcionamento de ambas as vers es do Speech Generator 59 Speech Generator vers o em tempo de execu o Para a gera o do udio e cria o da anima o foi criada uma aplica o em C recorrendo biblioteca Speech disponibiliza pela Microsoft que executada por um processo em background e que trata os pedidos da VP SIM Este processo gera um ficheiro com o udio da fala pedida pelo VP SIM e um ficheiro com informa o acerca do modo como a anima o da fala se deve realizar Esta troca de mensagens entre a VP SIM e o Speech Generator feita utilizando um servi o de mensagem o RabbitMQS que permite a troca de mensagens de uma forma fi vel e simples podendo ser utilizado em v rias linguagens de programa o A troca de men
131. rsonagem do tipo Genesis 2 pois este j cont m os visemas pretendidos e express es 3 Area relativa s caracter sticas dos personagens E aqui que os atributos podem ser alterados 111 Ap s conclu da a cria o do personagem pretendido pode se avan ar para o pr ximo passo que a cria o da blend shapes 2 Cria o das Blend Shapes Shape Keys ou Morph Targets Para a cria o das Shape Keys nome utilizado pelo Blender necess rio novamente o DazStudio Ent o para criar as Shape Keys vamos primeiro come ar pela cria o dos visemas ter em conta a Figura 47 1 Com o personagem selecionado na rea assinalada com o n mero 3 navegar at ao menu visemas e no lado direito ir aparecer v rios sliders com o nome dos v rio visemas 2 Antes de fazer qualquer altera o a estes sliders deve se exportar o personagem que contem uma express o neutra Para isso dever ir a File gt Export e selecionar a forma FBX e dar por exemplo o nome de neutro 3 De seguida para criar o visema AA deslizar o slider at ao valor de 1 poss vel depois verificar que os l bios do personagem se alteraram 4 De seguida exportar novamente o ficheiro para o formato FBX mas desta vez com o nome AA deforma a identificar facilmente ao que que o objeto se refere 5 Repetir este processo para os restantes ficheiros Al m do visema devem ser criadas pelo mesmo processo as express es de contente e
132. rt Editor Michael amp HD 7 SONT Rotation Scale 6 Ams G Feet E Cheeks and Jaw Expressions Eyes G Mouth Nose W Show Sub Items Tips Figura 6 DazStudio sliders para definir as deforma es no lado direito AA fbx IY fbx OW fbx al foi x Smile fbx EH fbx K fbx S fbx ER fox Lfbx sad fbx TH fox Ffbx IH fbx M fbx OlhosFechados fbx SH fbx simpleSmile fbx UW fbx W fbx Brow VULT Up LEL i w Outer Up Right i Brow Squeeze Brow Up HL Brow Up Left i Brow Up Right i Cheek Crease i Cheek Crease Left i Cheek Crease Right i Cheek Eye Flex i Cheek Eye Flex Left i Figura 7 Ficheiros individuais com as express es pretendidas exportadas do DazStudio apenas para um personagem Ao realizar estas jun es importante que em todos os personagens se comece primeiro por juntar todos os visemas e todos pela mesma ordem devido forma como m todo de anima o da fala implementado Este processo foi realizado para os 4 personagens presentes na vers o final da Virtual Pharamcy Figura 8 35 5 ES x Genesis 0 0 0 0 0 0 0 0 0 0 0 0 0 0 On 0 0 on 0 0 On 0 0 0 0 0 0 0 0 E Fecharolhos 0 0 Ce CCC 0 CC CCC CU Relative Figura 8 Resultado da jun o de todas as deforma es no Blender 4 1 3 Texturas A textura dos humanos virtuais um dos
133. rt 1 discordo totalmente 2 discordo 3 n o concordo nem discordo 4 concordo e 5 concordo totalmente As restantes quest es em menor n mero s o de sim n o e de resposta aberta No conjunto 3 todas as quest es s o de resposta aberta O question rio dos peritos composto pelos conjuntos 1 e 3 o dos estudantes do 4 ano pelos conjuntos 1 e 2 e o dos estagi rios pelos tr s conjuntos 5 2 Teste com peritos em Comunica o em Sa de O pr teste foi realizado com peritos em Comunica o em Sa de de diferentes organiza es profissionais Neste teste foram recrutados sete participantes dois homens e cinco mulheres que se ofereceram para colaborar no estudo Cada participante recebeu um email com as instru es necess rias para instalar a aplica o no seu pr prio computador a sequ ncia de a es para executar e o link para o question rio no Google Forms para avaliar a aplica o Alguns participantes preferiram em alternativa executar a aplica o remotamente utilizando TeamViewer teamviewer com principalmente porque a instala o do TTS requeria permiss es de administra o que alguns participantes n o tinham no seu computador No entanto esta alternativa tinha o inconveniente de degradar o desempenho da aplica o Em rela o s quest es relativas interface pode verificar se resultados positivos para quest es relacionadas com o layout da interface facilidade de sele o de menu a legi
134. s Inser o de novas situa es de automedica o Ao selecionar a op o Criar Casos na barra superior o professor redirecionado para uma p gina em que de um modo interativo cria os grafos que definem os di logos entre o HV e o aluno Estes di logos dizem respeito s situa es pass veis de automedica o que v o estar presentes na VP SIM Neste grafo est o contidas as falas do HV e as op es dispon veis para o aluno escolher Este grafo pode ter v rios desfechos poss veis n o se tratando apenas de um di logo linear mas de um di logo que pode acabar de diferentes formas de acordo com as escolhas do aluno F rmacia Virtual Menu principal Criar Casos Escolha x input Escolha x D i lhe todos os dias atout HESSE input Tem aqui estes comprimidos Escolha x Fala x Obrigado output input Por fav input o Figura 27 Criador de di logos Para a implementa o desta funcionalidade recorreu se a uma biblioteca de JavaScript o JointJs que permite de forma simplificada a cria o de grafos Foi desenvolvida uma interface mostrada na Figura 27 que permite ao professor de forma intuitiva a cria o destes di logos Os n s do grafo do di logo s o de dois tipos fala do 54 paciente e fala do farmac utico Para criar um n do grafo basta usar o bot o direito do rato e automaticamente aberto um pequeno menu que permite escolher o tipo de fala
135. s e Sistema operativo Windows XP Mac OS 10 7 e Linux e Placa Gr fica DX9 shader model 2 0 em prencipio qualque uma feita desde 2004 deve funcionar e CPU SSE2 Distribuigao da aplicagao A pasta onde a aplica o esta contida deve conter os seguintes ficheiro dependendo da vers o do sistema operativo Mac e Linux e Pasta AudioFiles e Ficheiro configFile txt 101 e Farmacia Virtual app Windows e Pasta AudioFiles e Pasta FarmaciaVirtual Data e Ficheiro configFile txt e Farmacia Virtual exe Descri o e Pasta AudioFiles E nesta pasta onde se colocam os ficheiros udio e xml com as informa es para as anima es ou seja aqui que se coloca a pasta com o nome do caso gerada pelo udio generator e Pasta FarmaciaVirtual Data Apenas existe na vers o do Windows e diz respeito aos dados da aplica o sem ela a aplica o n o corre e FarmaciaVirtual app e FarmaciaVirtual exe Respetivamente vers o do Mac os e Windows diz respeito ao execut vel da aplica o e Ficheiro configFile txt Este ficheiro cont m os dados para a liga o base de dados Antes de distribuir a aplica o o ficheiro configFile txt deve ser alterado de forma a ter a informa o correta esta informa o diz respeito liga o base de dados e Server endere o do servidor e Database nome da base de dados e Use
136. s wav e xml o seu carregamento e anima o igual aos da vers o anterior 4 4 Estrutura da base de dados De modo a poder concretizar um dos requisitos funcionais pedido pelo cliente o registo da atividade do aluno foi necess rio a cria o de uma base de dados Esta base de dados foi implementada no MySQL Para tal foi criada uma estrutura na qual foram contempladas as tabelas User Atividade Caso Respostas UserWeb e Elementos estudo Figura 35 A tabela User cont m todas as informa es relativas ao utilizador da aplica o VP SIM que neste caso v o ser informa es sobre os alunos A tabela Atividade diz respeito a toda a atividade do aluno nomeadamente os casos que resolveu as personagens que atendeu as pontua es que obteve e a dura o de cada atendimento A tabela Caso cont m todas as informa es acerca dos casos ou situa es pass veis de automedica o Esta tabela utilizada pelo VP Office e pela VP SIM Atrav s do 65 VP Office poss vel a inser o de novos casos que posteriormente s o mostrados pela VP SIM aos utilizadores A tabela Respostas guarda todas as respostas dadas pelo utilizador na resolu o de um determinado caso A tabela Elementos estudo serve para guardar toda a informa o de elementos de estudo para a vers o de treino da VP SIM Estes elementos de estudo podem ser apenas informa es ou documentos pdfs docx assim como links para recursos em p
137. s a conclus o da entrevista foi pedido aos utilizadores que respondessem ao question rio no Google Forms para avaliar a aplica o A informa o surge devidamente organizada no ecr ex n mero e localiza o 2 4 dos bot es op es A execu o de tarefas direta isto a escolha das op es e ou menus f cil 4 A velocidade de funcionamento da aplica o adequada O modo de selecionar a situa o de automedica o a resolver claro n o suscita 4 d vidas A escolha da situa o de automedica o direta isto n o s o 4 necess rios demasiados passos As escolhas dadas ao utilizador s o apresentadas de forma clara isto s o f ceis 5 de ler As escolhas dadas ao utilizador s o f ceis de compreender isto o seu conte do 45 faz sentido Todos os caracteres do ecr s o leg veis 5 Tabela 7 Respostas dos alunos em rela o interface gr fica da aplica o Em rela o interface no geral obteve um resultado positivo para as quest es relacionadas com a velocidade de funcionamento a escolha direta das situa es de automedica o a apresenta o das escolhas e legibilidade n mero adequado de passos para executar todas as sele es e a legibilidade de texto Tabela 7 No entanto neste grupo houve algumas quest es com um resultado menos positivo nomeadamente se a execu o de tarefas direta isto se f cil e n o suscita d vidas Esta pontua o est rel
138. s como curvas em vez de keyframes e em que a componente do udio gerada atrav s de um TTS text to speech Em 22 apresentado um m todo para ser utilizado em tempo real que permite a gera o de anima es faciais sincronizadas com o udio gerado a partir de um text to speech Este m todo requer a constru o de anima es na personagem para um determinado conjunto de visemas em que a cria o da anima o final consiste na jun o destas anima es constru das 2 4 Conclus o Neste cap tulo apresent mos os conceitos fundamentais no contexto da RV e que recorrem a pacientes virtuais nem sempre a HV para treino e avalia o de compet ncias t cnicas e sociais no mbito da comunica o em Sa de No cap tulo seguinte descrita a abordagem tomada para o desenvolvimento do projeto 16 Cap tulo 3 An lise do produto Neste cap tulo ser feita uma descri o breve da solu o desenvolvida designada por Virtual Pharmacy e de seguida ser o apresentadas a an lise de requisitos que esteve na sua g nese a sua arquitetura e finalmente o planeamento do trabalho 3 1 Descri o breve da Virtual Pharmacy O projeto desenvolvido consistiu na conce o e implementa o da Virtual Pharmacy cujo o prop sito treinar e avaliar as compet ncias sociais dos alunos em contextos de ensino em Ci ncias Farmac uticas Esta solu o pretende atrav s da simula o de situa es reais d
139. s t cnicas Existem ainda mais t cnicas que podem ser utilizadas como o Displacement Mapping ou Occlusion Mapping No entanto as descritas acima s o as mais conhecidas e foram aquelas que foram empregues no projeto 4 1 4 Simula o das caracter sticas da pele nos humanos virtuais A pele dos humanos virtuais dif cil de recriar visto que cont m muitas caracter sticas visuais a que n s como observadores somos particularmente sens veis Um modelo com uma apar ncia realista da pela deve incluir rugas poros sardas cicatrizes entre outros que atrav s das novas tecnologias de scanning 3D poss vel obter um modelo com todas estas caracter sticas No entanto quando ao fazer o rendering desse mesmo modelo o resultado apresentado n o totalmente realista falta simular o comportamento da luz absor o e reflex o nas camadas que se encontram abaixo da superf cie da pele A este processo d se o nome de Subsurface scattering 37 A utiliza o do diffuse map juntamente com o normal map e speclura map tornam se insuficientes para simular uma pele realista devendo se tamb m ter em conta as camadas que se encontram por debaixo desta Subsurface scattering Trata se de uma t cnica de rendering em que os feixes de luz ao incidirem no objeto atravessam a sua superf cie n o sendo refletidos de imediato Este fen meno tende a ocorrer em materiais org nicos ou que n o s o totalmente opacos No caso da
140. sagens entre a VP SIM e o Speech Generator consiste primeiramente num pedido da VP SIM atrav s de uma mensagem que cont m uma string com o c digo da personagem de forma a saber de que personagem masculino ou feminino e jovem ou idoso se trata e qual a fala do paciente Esta fala uma das falas da personagem que o professor define na cria o do di logo no backoffice Assim que o Speech Generator recebe esta mensagem gera um ficheiro udio em formato wav que cont m o udio da fala e um ficheiro XML com informa o acerca da anima o para a correspondente fala e assim que os ficheiros s o gerados o Speech Generator envia uma mensagem de conclus o para a VIP SIM contendo informa o acerca da localiza o dos ficheiros que acabaram de ser gerados Ao receber a mensagem o VP SIM trata de carregar o udio e o ficheiro XML Todo este processo ocorre em tempo de execu o Y L MSkinned Mesh Renderer i amp Y M Skinned Mesh Renderer la Y BlendShapes Y BlendShapes SKAA a SKA pop SK EH 0 SK EH SK ER lo SKLER O o SKF o SKE o o SK IH 0 SK IH BO o SK IY jo SKY o SKK 0 SKK fo SKL 0 SKL CT SEM 0 SKM fo SK OW 0 SK OW lo SKS lo SKS lo SK SH 0 SK SH o o SK T 0 SK T o 4 SK TH 0 SK TH lo SKUW 0 SK UW lo SK W 0 SKW o SK FecharOlhos 0 SK FecharOlhos 0 SK Triste 0 SK Triste lo SK Smile 0 SK Smile 0 SK SimpleSmile 0 SKSimpleSmile o Cast Shadows L
141. sesetsesstseesesseseesseseesesseseese 52 Figura 25 Informa o adicional sobre o caso selecionado Cefaleia 52 Figura 26 Menu inicial da VP Omce ias iieccsaacawnvedsi send asas ASen Cesta 53 Figura 27 Criador de dialog Osc siisid3scSsisvenvisbainctassecteees JacteastaeevieGan demise eas 54 Figura 28 Da esquerda para a direita menu de sele o e n do tipo farmac utico 55 Figura 29 Di logo parcial entre o HV e 0 aluno erre 55 Figura 30 Inser o de NOVOS Casos al A TR aaa 56 Figura 31 Inser o de novos elementos de estudo 57 Figura 32 Atividade dos alunos ssssesessessesessssseesesstseesesseseesesttsessestesesseseesseseesesseseese 57 Figura 33 Altera o do valor da Blend Shape no Unity3D sssssssssssessessesssossessrssresseese 60 Figura 34 Estrutura dos ficheiros para a fala dos 4 HV no caso da cefaleia 64 Figura 35 Estrutura da base de dados uiaana ias Ries aU S LES Ui 66 Figura 36 Funcionamento geral da todas as componentes Virtual Pharmacy 67 Figura 37 Exemplo de um ficheiro XMI parcial 99 Figura 38 Cria o de uma nova liga o MySQL eee 103 Figura 39 Criar um novo Schema sas AU UI 104 Figura 40 Abrir ficheiro sql saia E RS vekecta aac 105 Figura 41 Criar um novo CASO fice iara pa 106 Fig r 42 Criar odial tO ze are e a a a RO 107 Figura 43 Inserir um novo caso na base de dados rea 108 Figura
142. sonagem acabe de andar volte para a anima o de estar parado Criar um script C e adicion lo ao personagem Este script vai servir para controlar o valor do trigger de forma a que o personagem ande para a frente O objetivo do script sempre que o utilizador carregar na tecla Espa o o valor do trigger alterado de forma a que o personagem reproduza a anima o de andar 1 using UnityEngine 2 using System Collections 4 public class AnimControllerGuiao MonoBehaviour private Animator animController void Start animController gameObject GetComponent lt Animator gt void Update if Input GetKeyDown D animController SetTrigger 130 Bibliografia Pallavi Halarnkar Sahil Shah Harsh Shah Hardik Shah and Anuj Shah A 1 Review on Virtual Reality IJCSI International Journal of Computer Science Issues vol 9 no 6 November 2012 Ning Ning Zhou and Yu Long Deng Virtual Reality A State of the Art 2 Survey International Journal of Automation and Computing pp 319 325 November 2009 Tomasz Mazuryk and Michael Gervautz Virtual Reality History 3 Applications Technology and Future Institute of Computer Graphics Vienna University of Technology Austria Grigore C Coiffet Philippe Burdea Virtual Reality Technology Wiley 4 Interscience 2003 vol 2nd ed Uno G H Fors Rolf A Bergin Interactive simulated patient an advanced 5 tool for
143. student activated learning in medicine and healthcare Department of Learning Informatics Management and Ethics Karolinska Institutet Stockholm Sweden World Health Organization WHO World Health Organization The role of 6 the pharmacist in the healthcare system preparing the future pharmacist curricular development August 1997 O Jabbur Lopes Alessandra R Mesquita and Leila M A Silva Virtual 7 Patients in Pharmacy Education American Journal of Pharmaceutical Education 2012 Safeera Yasmeen Hussainy Kim Styles and Greg Duncan A Virtual 8 Practice Environment to Develop Communication Skills in Pharmacy Students American Journal of Pharmaceutical Education December 2012 131 Christopher Churchouse and Chris McCafferty Standardized Patients Versus 9 Simulated Patients Is There a Difference Clinical Simulation in Nursing 2012 Billow J The status of undergraduate instruction in communication skills in 10 US colleges of pharmacy Am J Pharm Educ 1990 G Huang R Reynolds and C Candler Virtual Patient Simulator at U S and 11 Canadian Medical Schools P N Kizakevich C I Guinn K D Merino and S L West R C Hubal 12 The Virtual Standardized Patient A M Cavaco and F Madeira European pharmacy students experience with 13 virtual patient technology Am J Pharm Educ vol 76 no 6 p 106 August 2012 K K Orr Integrating virtual patients into a self
144. t lt float gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float gt Valores dos sliders das blend lt float gt 0 lt float gt i i i SK AA rege ela EP shapes no Unity3D para o primeiro DEA lt float gt 0 lt float gt visema SKER lt float gt 0 lt float gt SKF lt float gt 0 lt float gt 7 lt float gt 0 lt float gt SK IH lt float gt 0 lt float gt SK IY lt float gt 0 lt float gt SK K lt float gt 0 lt float gt SK L lt ArrayOfFloat gt SK M w lt ArrayOfFloat gt ___ SK OW lt float gt 70 lt float gt SK S lt float gt 0 lt float gt SK SH lt float gt 0 lt float gt lt float gt 0 lt float gt SK T lt float gt 0 lt float gt SK TH lt float gt 0 lt float gt SK UW EE E Valores dos sliders das blend SKW lt float gt 0 lt float gt gt shapes no Unity3D para o segundo lt float gt 70 lt float gt j lt float gt 0 lt float gt visoma lt float gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float gt lt float gt 0 lt float gt Figura 37 Exemplo de um ficheiro XMI parcial 99 Ap ndice C Manual de utiliza o da Virtual Pharmarcy Virtual Pharmacy A Virtual Pharmacy uma ferramenta cujo o seu prop sito treinar e avaliar as compet ncias sociais dos alunos em contextos de ensino em Ci ncias Farmac uticas Esta ferramenta pretende atrav s da simula o de situa es reais de atendimento coloc
145. tas que deveriam ser feitas aplica o Depois destes testes foram feitos ajustes aplica o e procedeu se a uma segunda fase de testes que incluiu primeiro entrevistas e respostas a question rios com alunos do 4 de Ci ncias Farmac uticas e posteriormente respostas a question rios por alunos finalistas a realizar est gio em farm cia comunit ria E importante salientar que as vers es da aplica o n o foram iguais para todos os grupos ou seja a vers o de avalia o foi usada com os peritos e estagi rios enquanto a vers o de treino foi utilizada pelos alunos do 4 ano 5 1 Estrutura dos question rios Cada grupo de utilizadores respondeu a um question rio elaborado com o Google Forms A cria o dos question rios baseou se em 3 conjuntos de perguntas ver Ap ndice A Conjunto 1 Perguntas biogr ficas acerca do utilizador e perguntas direcionadas para aspetos relativos interface e aos Humanos Virtuais pedida tamb m uma aprecia o global da aplica o 69 Conjunto 2 Um question rio de Usabilidade e Satisfa o de Utiliza o SUS e sobre o potencial de uso futuro da aplica o Conjunto 3 Perguntas sobre o uso da aplica o direcionadas especificamente para a rea das Ci ncias Farmac uticas e sobre a sua adequa o e potencial de uso para a forma o e ou treino de estudantes Nos conjuntos 1 e 2 a maioria das quest es s o respondidas usando uma escala de Like
146. tatic Main Camera Name ii Tag Untagged Layer Default A Directional Light List is Empty Model Select I Revert Open al TA Transform Position xo Y 0 11 Z 7 89 Y Rotation x Scale v 5 M Animator Controller Ei AnimController Avatar ManAvatar o Apply Root Motion Update Mode Normal Culling Mode Cull Update Transforms Clip Count 0 Curves Pos O Rot O Scale O Muscles O Generic O PPtr O Curves Count 0 Constant O 0 0 Dense 0 0 0 Stream O 0 0 Add Component Guiao AnimController controller Project Create gt Yi Favorites a Assets Guiao Qal Materials AnimController Figura 59 Animator 128 3 De seguida criar um novo controlador Para isso clicar com o bot o direito do rato na area de Assets e escolher Create gt Animator Controller ou alternativamente na barra superior ir a Assets gt Create gt Animator Controller e dar lhe por exemplo o nome de AnimController 4 Adicionar o AnimController componente Animator do personagem 5 Duplo clique no AnimController e de seguida aberta uma nova janela no separador Animator Neste separador onde v o ser adicionadas as anima es e funcionar como uma m quina de estados poss vel verificar que por default j existem dois estados o Entry estado inicial e o An
147. tion Retrieval Information Download Information Upload Figura 1 Arquitetura da Virtual Pharmacy A Virtual Pharmacy composta por tr s componentes principais a VP_SIM o VP_Office e o Speech Generator cada uma destas componentes com diversos m dulos A VP_SIM corresponde aplica o a ser utilizada pelos alunos est implementada em C utilizando o Unity3D nesta componente que feita toda a simula o das situa es pass veis de automedica o e em que os alunos interagem com o paciente virtual que por sua vez este responde atrav s de fala movimentos corporais e express es faciais Atrav s do m dulo Application Controller a VP SIM comunica 21 com uma a base de dados MySQL para registar toda a atividade dos alunos e para verificar se existem novas informa es como novas situa es pass veis de automedica o e novos elementos de estudo para os alunos poderem praticar ou estudar Est o implementadas duas vers es desta aplica o uma tendo como finalidade a avalia o e a outra o treino dos alunos A base de dados MySQL funciona como uma ponte de partilha de informa o entre a VP SIM ea VP Office e nela s o guardados tr s tipos de informa o que s o poss veis gerir atrav s das diversas funcionalidades implementadas na VP Office I Dados relativos s situa es pass veis de automedica o a serem simuladas Estes dados dizem respeito aos di logos entre o aluno e o
148. tiva da sintomas mais comuns na medicina uma das queixas mais frequentes em cavidade tor cica resultando em uma violenta libera o de ar dos pulm es e consultas geralmente acompanhada por um som caracter stico Informa o Adicional Informa o Adicional Figura 24 Informa o adicional sobre os caso Farm cia Virtual Cefaleia Informa o Adicional Voltar Circulares Informativas Circular Informativa Nimesulida Reavalia o do Perfil de Seguran a PDF Circular Informativa Nimesulida Retirada a indica o terap utica para o tratamento sintom tico da osteoartrose dolorosa PDF Medica o Protocolos Outros Figura 25 Informa o adicional sobre o caso selecionado Cefaleia Apesar desta mudan a de contexto entre a aplica o e o browser poder ser prejudicial para a experi ncia de utilizador a decis o de manter esta funcionalidade dentro da aplica o foi descartada ap s o primeiro prot tipo O Unity3D n o oferece recursos para de forma f cil se organizar muita informa o na interface ou se adicionar novos conte dos motivo pelo qual foi ent o decidido que esta funcionalidade faria mais sentido numa p gina web 4 2 2 Virtual Pharmacy Backoffice VP Office A aplica o web de backoffice designada por VP Office foi criada com o objetivo de o professor poder gerir o conte do presente na aplica o nomeadamente as situa es pass veis de automedica o e no caso da vers o
149. to n o s o necess rios demasiados passos As escolhas dadas ao utilizador s o apresentadas de forma clara isto s o f ceis de ler As escolhas dadas ao utilizador s o f ceis de compreender isto o seu Concordo Concordo N o Discordo Discordo totalmente concordo totalmente nem discordo 90 conte do faz sentido Todos os caracteres do ecr s o leg veis 11 Humanos Virtuais Concordo Concordo N o Discordo Discordo totalmente concordo totalmente nem discordo O modo de selecionar o humano virtual claro n o suscita d vidas A sele o do humano virtual direta isto n o s o necess rios demasiados passos A apar ncia dos humanos virtuais muito realista A indument ria dos humanos virtuais muito realista O olhar dos humanos virtuais muito realista A movimenta o corporal dos humanos virtuais muita realista f cil ouvir perceber as falas dos humanos virtuais f cil ler as falas dos humanos virtuais nas legendas 12 Em rela o quest o seguinte note que a express o facial do Humano Virtual d feedback sobre o desempenho ao longo da resolu o do caso Isto se a resposta escolhida a mais correta o Humano Virtual faz uma express o de agrado Caso contrario a express o facial fica mais carregada Concordo Concordo N o Discordo Discordo totalmente concordo totalmente nem discordo Concordo que este feedback t
150. trabalho relacionado Neste cap tulo ser o descritos alguns conceitos e trabalhos que s o relevantes no mbito deste projeto 2 1 Realidade Virtual A Realidade Virtual RV refere se a um ambiente simulado por computador que pretende recriar um mundo imagin rio dentro do qual o utilizador deve idealmente sentir se presente e com o qual consegue interagir 1 O termo Realidade Virtual foi primeiramente proposto por Jaron Laniner em 1989 para descrever esta tecnologia Depois de d cadas de desenvolvimento a tecnologia de realidade virtual tem se expandindo para as mais diversas reas como por exemplo a Arquitetura a Visualiza o Cient fica a Educa o a Terapia e o treino de v rias compet ncias 2 2 1 1 Imers o e Sensa o de presen a Existem tr s n veis principais de imers o no uso de RV 1 n o imersivo que diz respeito experiencia obtida atrav s de um computador de secret ria em que o ambiente virtual gerado sem recorrer a nenhum equipamento espec fico 1 2 semi imersivo em que feito o tracking da cabe a do utilizador e a imagem do ambiente virtual alterada de modo a acompanhar este movimento nestes sistemas s o frequentemente utilizados shutter glasses para visualiza o estereosc pica 3 3 totalmente imersivo em que o utilizador usa um equipamento imersivo individual um HMD head mounted display atrav s do qual visualiza a cena de acordo com a sua orienta o e
151. tras A VP Office destinada a dar suporte ao trabalho do professor e trata se de uma aplica o web de backoffice para consultar informa es sobre o desempenho dos alunos e inserir novos conte dos na VP SIM como novas situa es poss veis de automedica o e elementos de estudo para os estudantes no caso da vers o de treino da VP SIM De forma a manter o desenvolvimento da ferramenta com um custo de desenvolvimento baixo foram apenas utilizadas ferramentas gratuitas para o seu desenvolvimento 3 2 Stakeholders Nesta sec o s o identificados os Stakeholders utilizadores e n o utilizadores 3 2 1 Stakeholders n o utilizadores e Ana Paula Claudio Beatriz Carmo respetivamente orientadora e coorientadora no processo de desenvolvimento e Afonso Cavaco Doutorado em Ci ncias M dicas e Professor Associado da Faculdade de Farm cia da Universidade de Lisboa e Mara Pereira Guerreiro Doutorada em Drug Usage and Pharmacy Practice pela Universidade de Manchester e Vitor Pinto estudante envolvido no desenvolvimento do projeto 3 2 2 Stakeholders utilizadores e Professor utilizador ativo da aplica o web que interage com esta de forma a obter informa es resultados acerca de presta o de cada aluno na realiza o dos diferentes casos farmac uticos e Aluno utilizador ativo da aplica o de simula o interagindo diretamente com esta de forma a resolver diferentes casos farmac uticos 18 3 3 Especif
152. tro da pr pria institui o para uso interno e outras s o vers es comerciais muito dispendiosas n o estando ao alcance de todas as institui es Procurou se implementar uma solu o de baixo custo que pudesse ser de facto utilizada para o treino e avalia o dos alunos Tendo todos estes fatores em considera o foi implementada uma ferramenta de software que pode ser utilizada em contextos de ensino em Ci ncias Farmac uticas Nela s o simuladas situa o de pass veis de automedica o em farm cia comunit ria isto situa es onde um doente se dirige a uma farm cia para solicitar um medicamento n o sujeito a receita m dica Atrav s da intera o com o doente virtual ou HV o estudante pode treinar as suas compet ncias t cnicas e de comunica o Neste momento a ferramenta est focada para alunos de ci ncias farmac uticas em particular para situa es de automedica o em farm cia comunit ria A solu o proposta apenas requer a utiliza o de um computador n o acarretando custos com equipamentos adicionais O software utilizado no desenvolvimento do projeto software gratuito ou com licen a gratuita para o desenvolvimento acad mico O pacote de voz masculina em portugu s foi nos gentilmente cedido ao abrigo de um protocolo de investiga o entre a FCUL e a Microsoft Portugal Para o desenvolvimento da aplica o foi utilizado o Unity3D e para o desenvolvimento dos humanos virtuais HV foram
153. tton Escolher Escolher Escolher Escolher Ibias Te a eesosa Canvas Canvas Koi Btn In cio sbtninicio Button Escolha aleat ria Personagem novo Bin Sair brnsair Button Toggle Treino EToggleTreino Toggle v000000000000 00 Toggle Emotion ToggleEmotion Toggle Add Component EB Project Create E E gt OL All Scripts Tal Assets Scripts PRR G OBJ Scripts G Outros gt Gm AudiosFiles mee w See E5 RabbitConnection peas ReadinfoUser E Imagens ese o Resultado RR Pesaro Fina SelectCharacter a login C Showhistory gt Ga Prefabs gt G Prefabs Personagens Gr ae pa TtsProcess Figura 57 Adicionar um novo bot o D 3 Cria o do udio das falas do novo personagem Com o processo anterior ficou com um novo personagem pronto para falar e j com as anima es Neste momento falta ent o gerar as falas para este personagem Na aplica o AudioGenerator no ficheiro Program alterar o loop for para ir at 5 125 De seguida no ficheiro MySpeech acrescentar o que est numa cor mais clara nesta zona if vozMasculinaDisponivel amp amp vozFemininaDisponivel if codPersonagem 1 codPersonagem 2 Caso Feminino speaker SelectVoice Microsoft Server Speech Text to Speech Voice pt PT Helia valoresSliders 80F else if
154. tura Avalia o Aconselhamento Fecho Dura o 0 1 4 8 0 3 0 1 2min 12s Figura 23 Menu de hist rico de casos resolvidos Terminada a consulta virtual guardada toda a informa o relacionada com as escolhas efetuadas pelo aluno a pontua o global o n mero de respostas certas em cada fase de atendimento abertura avalia o aconselhamento e fecho 51 Na vers o de treino esta informa o guardada localmente na vers o de avalia o e guardada numa base de dados Ao carregar no bot o Continuar redirecionado para o menu principal onde pode consultar o seu hist rico Figura 23 Na vers o de treino poss vel consultar informa es sobre as situa es pass veis de automedica o atrav s da op o Informa es sobre patologias e medica o Ap s o aluno selecionar esta op o o browser iniciado abrindo uma p gina web Figura 24 Nesta p gina o aluno pode selecionar a patologia acerca da qual pretende saber mais e aceder a conte dos elucidativos como v rios documentos sobre medica o circulares informativas protocolos entre outros Figura 25 Todos estes conte dos s o geridos pelo professor atrav s da VP Office descrita na sec o seguinte Farm cia Virtual Informa o Adicional selecione o caso Cefaleia Tosse Cefaleia ou cefalgia s o os termos m dicos para dor de cabe a um dos A tosse uma contra o espasm sdica repentina e frequentemente repeti
155. uma farm cia 76 incorpora o de diferentes maneiras de reagir nos diferentes personagens e aumentar o n mero de situa es para resolver assim como aumentar a informa o sobre as patologias Relativamente ao Question rio de Usabilidade e Satisfa o de Utiliza o poss vel observar que os utilizadores consideram a aplica o criativa f cil de aprender estimulante interessante r pida original atrativa inovadora segura motivante cumpre as expetativas eficiente pr tica atraente e simp tica Tabela 10 F cil de perceber Criativa F cil de aprender Estimulante Interessante R pida Previs vel Permite fazer o que pretende sem restri es Original Atrativa Inovadora C moda Segura Motivante Cumpre as expectativas Eficiente Evidente Pr tica Atraente Simp tica Tabela 10 Respostas dos alunos ao SUS Oo U aAa A tt BB ESSO RO aA Nn O 4 5 4 5 5 4 5 Relativamente ao que mais gostaram na aplica o os utilizadores responderam a intera o com o paciente a sequ ncias l gica do dialogo a variedade e amplitude de op es que podiam escolher e a diversidade dos HV O que os utilizadores menos gostaram foi da exist ncia de poucas situa es de automedica o da possibilidade de o di logo acabar caso errem logo no in cio e alguns dos nomes de alguns bot es n o serem muito esclarecedores situa o esta que j foi corrigida 77 Sobre a possibi
156. ura de movimentos tem de ser realizado para novas falas Esta solu o n o se encontrava ao nosso alcance uma vez que requer equipamento de que n o dispomos Posto isto a op o escolhida neste projeto foi a utiliza o de uma biblioteca de Text to speech TTS juntamente com a utiliza o das blend shapes Inicialmente foram considerados dois TTS um da CereProc e outro da Microsoft O primeiro da CereProc apenas gratuito sob uma licen a acad mica enquanto o da Microsoft est dispon vel de forma gratuita embora em portugu s s tenha apenas dispon vel uma voz feminina gratuita Quanto ao SDK da CereProc compat vel com os principais sistemas operativos Mac OS Windows Linux a sua utiliza o revelou se muito confusa sendo gasto uma parte consider vel de tempo apenas para o conseguir colocar a funcionar Depois a sua integra o na aplica o VP SIM que estava a ser desenvolvida no Unity3D n o foi conseguida com sucesso Assim decidiu se avan ar para o SDK disponibilizado pela Microsoft que inicialmente limitou a compatibilidade da aplica o ao sistema operativo Windows Por m ao contr rio do SDK do CereProc a solu o disponibiliza pela Microsoft revelou se muito mais simples e f cil de integrar na aplica o que estava a ser desenvolvida no Unity3D at porque ambas usam C 4 https www cereproc com 5 https www microsoft com en us download details aspx id 10121 58 Tend
157. utilizados o Blender o DazStudio e o Maya 85 A utiliza o de software gratuito permitiu que o custo de desenvolvimento da aplica o se mantivesse o mais baixo poss vel Por outro lado a utiliza o de software gratuito tem sempre algum tipo de limita o o que por sua vez se pode refletir no resultado final como por exemplo a qualidade dos HV ou a fala sintetizada Uma das grandes possibilidades deste projeto a possibilidade de se adaptar facilmente a outras reas que envolvam a necessidade de recorrer a um interlocutor virtual para comunicar com um utilizador real por exemplo assistente tutor cliente entre outros Foram realizados testes aplica o a fim de saber se de facto na opini o tanto dos alunos como de peritos esta aplica o poderia ser utilizada para o fim a que foi destinada sendo que os resultados foram positivos o que demostra que de facto a aplica o teve algum impacto nos utilizadores No entanto na opini o de grande parte dos utilizares apenas deveria ser utilizada para treino e n o para avalia o A n vel pessoal o desenvolvimento deste projeto foi muito enriquecedor a diferentes n veis O seu desenvolvimento permitiu estar em contacto com os mais diversos tipos de ferramentas explorando as e aprendendo as Este projeto permitiu por exemplo a aprendizagem da ferramenta Unity3D que era uma das ferramentas que j pretendia explorar h algum tempo A n vel de compet nci
158. visema forma que os l bios formam ao produzir o som como explicado na sec o seguinte S assim se consegue obter uma personagem falante convincente No entanto esta sincroniza o do udio com o movimento dos l bios dif cil por v rias raz es 19 e o pr prio movimento dos l bios complexo e muito r pido e as partes da face envolvidas no processo da fala s o extremamente deform veis e complexas e a parte visual da fala n o apenas afetada pelo que falado mas tamb m como falado o que pode ser afetado por exemplo pelo estado emocional 2 3 1 Fonema e Visema Um fonema uma unidade sonora b sica de uma l ngua que quando combinado com outros fonemas forma uma unidade com significado como as palavras Os fonemas n o podem ser confundidos com as letras pois os fonemas representam o som enquanto as letras correspondem representa o gr fica desses sons Na l ngua portuguesa por exemplo o fonema z pode ser representado por v rias letras pelo lt s gt lt z gt ou lt x gt o caso contr rio tamb m verifica Um fonema pode ser descrito como a menor unidade contrastiva lingu stica que pode levar a uma mudan a de significado 20 O visema por sua vez corresponde parte visual de um som fonema nomeadamente a forma dos l bios quando produzem um som N o existe uma correspond ncia direta entre fonemas e visemas Dependendo das palavras diferentes fonemas podem corr
159. vo caso na base de dados Aqui dever introduzir o nome do caso uma descri o acerca do caso e selecionar o ficheiro com a extens o txt e n o o ficheiro com a extens o json e selecionar Enviar Se o caso for inserido na base de dados com sucesso ir aparecer na tabele ao lado onde se pode verificar que j foram inseridos dois casos a Cefaleia e a Tosse 3 Gera o do udio Ap s a inser o do caso na base de dados deve ser gerado o udio para os personagens poderem falar para isso deve se executar a aplica o AudioGenerator Figura 44 Nome do Caso Tem de ser igual ao nome colocado na base de dados Tosse Escolha o ficheiro Escolher Ficheiro C Users Vitor Documents DialogoT osse txt Gerar Audio Figura 44 Audio Generator 108 O campo para colocar o nome tem de ser igual ao utilizado no passo 2 Neste caso o nome poderia ser Cefaleia ou Tosse e o ficheiro para escolher dever ser o ficheiro com a extens o txt tamb m utilizado no passo 2 Para gerar o udio dever selecionar Gerar Audio Ao carregar em Gerar Audio ir aparecer uma mensagem A processar audio neste momento dever deixar a aplica o correr at que apare a a mensagem Concluido Verifique a pasta AudioFiles nos Meus Documentos Figura 45 Audio Generator es a Audio Generator a Nome do Caso Tem de ser igual ao nome colocado na base de
160. y State 1 Para adicionar uma nova anima o ao personagem deve ser arrastar a anima o do pacote indicado anteriormente pretendida para este grafo Figura 59 o que ir criar um novo estado Por exemplo aqui foi escolhida uma anima o para quando o personagem est parado Assim que a anima o colocada no grafo ir criar um novo estado com uma liga o para o Entry isto quer dizer que assim que come ar o jogo o personagem ir reproduzir imediatamente a anima o de estar parado de seguida foi adicionada a anima o de andar para a frente que foi ligada do Parado para AndarFrente Para controlar a anima o podem ser criados triggers bools ints ou floats Neste caso vai ser criado um triggers para assim que o utilizador carregar numa tecla fa a disparar o trigger de forma a que o personagem ande 2 Para criar o trigger no separador direito do Animator onde diz Parameters clicar no e de seguida escolher Trigger e dar por exemplo o nome de trigger Andar 3 De seguida adicionar o trigger liga o do Parado para AndarFrente clicando em cima da liga o na parte das Conditions adicionar o trigger A op o Has Exit Time deve ser desmarcada para anima o poder come ar logo que o trigger disparado 129 4 De seguida deve ser criada uma nova liga o mas desta vez do AndarFrente para o Parado para que assim que o per
161. y pleasure yard th dh th thin then f v f fork vat d t n ng d dig talk no sing k g kg cut gut p b m bmp put big mat Tabela 1 Tabela de mapeamento dos fonemas para visemas na l ngua inglesa vers o reduzida a 21 visemas 2 3 2 M todos de anima o de fala Os m todos de anima o de fala podem ser divididos em tr s categorias cada uma com as suas vantagens e desvantagens e Captura de movimento O resultado da anima o sincronizada com udio pode ser de extrema qualidade se os dados da captura e o modelo 3D forem de grande qualidade Contudo esta solu o tem dois grandes problemas O primeiro diz respeito ao tempo necess rio e equipamento requerido J o segundo refere se necessidade que todos os dados de captura necess rios t m de ser gravados a priori n o permitindo assim que sejam criadas novas anima es em tempo real 19 e M todos baseados em imagem Estes m todos podem gerar bons resultados Estes m todos consistem na grava o de por exemplo uma pessoa a falar todos os fonemas necess rios ou tri fonemas combina o de tr s fonemas Os tri fonemas t m uma grande utilidade porque grande parte dos efeitos de coarticula o entre dois fonemas representado por um tri fonema Com a utiliza o de t cnicas de processamento de imagem a mistura ou morph destes tri fonemas cria um movimento da fala bastante realista A utiliza o deste m todo permite a gera o de novas anima

humanos virtuais em ambientes de treino de competências sociais

Contents

Download Pdf Manuals

Related Search

Related Contents

humanos virtuais em ambientes de treino de compet&ecirc;ncias sociais

Contents

Download Pdf Manuals

Related Search

Related Contents

humanos virtuais em ambientes de treino de competências sociais