RAPPORT RV01 - A12
Contents
1. chelle du monde une taille trois fois plus grande et une taille trois fois plus petite C est l aide d une translation du Nav_Center ainsi qu une variable globale size que nous avons d velopp cette fonction Ne CN te Wonderlamd EN Mad Hatters Manipulation des objets S lection Pour s lectionner un objet l utilisateur le vise avec le rayon du wand et prononce le mot this L objet sera alors s lectionn comme le montre le retour visuel de la surbrillance blanche g r e l aide de particules par le BB Object Particle System Le menu contextuel s ouvrira Pour quitter la s lection il suffit de prononcer exit ou de s lectionner un autre objet avec this Mouvement Pour d placer un objet celui ci doit pr alablement tre s lectionn et une bulle sugg re alors le mot move Lorsqu il est d tect ce mot d clenche le d but du mouvement qui peut tre arr t par stop ou bien exit qui d selectionnera directement l objet L utilisateur peut d placer l objet autour de lui avec le wand puisque celui ci est dans le r f rentiel du wand l objet a donc toujours la m me face par rapport l utilisateur ainsi qu une distance constante Mais le d placement ne se comporte pas exactement ainsi puisque nous n autorisons que les rotations du plan lorsque l utilisateur cherche monter un objet d placement suivant l axe y celui c2. Mad Hatters RAPPORT RVO1 A12 Projet pr sent au 3DUI Contest 2013 Mad Hatters present Marie COLLET Esteban PASQUIER Lo c PICAVET Arthur VAN CEULEN 1 Mad Hitlers Sommaire CONTEXTE 2 Man a iS e it 3 Objectifs tenres er nn one EE E EEEN E EE E E ETE S 3 RAS ONE a a a e e a de a eO la E E les 4 Inter COR VOCE A A A A RE ER 4 Sol re dd do do e ad 4 A NAO 5 A A a A a O e EES Ora 6 Deplacement de Misteri ad ova ia 6 Orientation de l utilisateur o o ooococcnconconcnconconcnconcnnoncnncononcononnoncnncnnoncnncunoncnnonoos 6 Changement de taille de l utilisateur iia A A AA 6 Manipulation ds oi ation nina 7 Le monde virtuel nement aaa 8 A ae EI TE it ne ee eee 9 Difficult s rencontr es e see nan essence EEE EEEE EENEN EEE ERE GKE 9 Resultats par rapport a V objectif oi pai 10 Retours utilisateurs et am liorations possibles second nda teint cia 10 Conclusion generale seche acia 11 te Wemderlamd EDER Mad Hatters Contexte Dans le cadre de PUV RV01 R alit Virtuelle nous avons l objectif d appliquer les techniques et th ories apprises en cours dans un projet tout au long du semestre Dans ce contexte il nous a t propos de participer au concours 3DUI 2013 Celui ci consiste la cr ation d un environnement virtuel dans lequel l utilisateur sera capable de cr er partir de rien son propre monde et d interagir avec ce dernier
3. s tout comme il est possible de le voir dans la vid o cartement des mains pour agrandir rotation pour tourner l objet application de couleur ou textures par simple toucher etc x te Monderlamd BUILDER Mad Hatters R alisation Interaction vocale Au moment de la conception nous avons r fl chi une solution innovante qui nous permettrait d interagir avec l application de mani re simple tout en gardant les mains libres pour manipuler le monde C est assez naturellement que nous nous sommes tourn s vers la navigation par commande vocale qui devient de plus en plus pr sente et performante SIRI sur Iphone Google voice sur android etc Cela n avait jamais t fait dans le cadre du cours RVO1 et le contest 3DUI demandait une dimension innovante la reconnaissance vocale semblait tre le choix id al Solution Apr s un tat de l art nous nous avons retenu deux technologies une API Java Java Text To Speech et la reconnaissance vocale de windows 7 Cette derni re a retenu notre attention par la pertinence des r sultats obtenus nous avons t bluff s car nous n avons obtenu que tr s rarement des FA erreurs de compr hensi on tape 1 R cup ration des mots Nous avons donc d velopp une application permettant de r cup rer les mots nonc s par l utilisateur gr ce l API windows Windows 7 Speech Recognition Engine Dans cette application nous chargeons
4. Le concours imposant que le monde soit dans l univers de Disney nous avons choisi le th me d Alice aux Pays des Merveilles permettant une grande libert dans la cr ation du monde Notre quipe est constitu e de 10 personnes Etudiants Ing nieurs Doctorants Etudiants Master UX Design PICAVET Lo c CARPENTIER K vin MULLER Mathilde PASQUIER Esteban WAGREZ K vin CUELLA MARTIN Andrea COLLET Marie BAROT Camille VAN CEULEN Arthur LANQUEPIN Vincent Enseignante UTC MOUTTAPA THOUVENIN Indira Objectifs L utilisateur devra tre capable de cr er son propre monde et dans un temps limit de quinze minutes d fini par le concours Pour cela la cr ation des objets devra tre simple et intuitive et les interactions de l utilisateur avec ces derniers et le monde ne devront n cessiter qu un minimum d apprentissage Nous nous sommes pour ce faire inspir s de la vid o de pr sentation du concours 3DUI dans celle ci un menu parfaitement int gr dans lunivers permet la cr ation et la modification couleurs textures des objets et ce en toute simplicit gr ce un menu intuitif et ergonomique Nous souhaitons mettre en place ce type de menu pour notre monde en y int grant une modalit d interactions diff rente mais innovante En ce qui concerne l interaction avec les objets et galement le monde l objectif est d utiliser des gestes naturels la fois pour se d placer dans le monde et pour modifier les objets cr
5. choix Nous avons donc imagin que Putilisateur pourrait se d placer en avan ant un pied par rapport l autre et s arr ter en joignant les deux pieds Le choix de Porientation de l utilisateur dans l espace lors de son d placement a t possible apr s reception des r sultats des tests utilisateurs Le premier choix tait de permettre l utilisateur un d placement selon le vecteur entre ses deux pieds ce qui lui permettrait donc d avancer tout droit tout en tournant la t te droite ou gauche Ce mode de d placement semble plus immersif car plus proche de celui de l homme dans la r alit mais les tests utilisateurs ont r v l qu il n tait pas tr s intuitif ni tr s facile l utilisation experte Le choix s est donc port sur un d placement selon l axe du champ de vision port par le VRNR_Navigation_NavHead grace une constellation plac e au dessus du casque Sony Changement de taille de Putilisateur Lutilisateur pourra choisir de se grandir ou de se r tr cir par rapport la taille du monde en pronongant make me big ou make me small comme le fait Alice en mangeant un g teau Cette fonction lui permet alors de cr er des objets plus grands ou plus petits en fonction de sa taille dans le monde et galement de se d placer plus vite ou plus lentement Il ne peut toutefois pas s agrandir et se r tr cir linfini il a trois tailles possibles une taille par d faut l
6. deux fichiers les objets du monde les interactions avec le monde qui constituent ainsi la grammaire c est dire l ensemble des mots que peut reconna tre l application Cette application a t d velopp e avec la technologie C Etape 2 Transmission des mots vers Virtools Une fois les mots capt s nous devons maintenant les transmettre l application Virtools Le logiciel permet l utilisation du C afin de cr er nos propres Building blocks C est ce que nous avons fait Nous en avons d velopp un permettant de recevoir sous forme d un String les mots prononc s et capt s dans l application pr c dente Une fois le mot re u dans Virtools il suffit de le diffuser en utilisant le building block Broadcast Message 1 CN S te Wemderlamd EN Mad Hatters Utilisation Le menu se pr sente sous forme de bulles flottantes dans l environnement Elles sont plac es toujours face la vision de l utilisateur Les mots prononcer pour effectuer l action sont affich s dans la bulle A la reconnaissance du mot la bulle clate pour un feedback coh rent pour l utilisateur Menu Le menu g n ral permet la cr ation d objets r partie sous forme de hi rarchie exemple Environment gt Builds gt Cube Mais aussi la mise en place de diff rents ciels via le menu skybox organisation hi rarchique donne ainsi la possibilit de descendre ou monter d un niveau la prononciation du
7. e la rotation autour de Paxe y est possible et elle s active dans un sens ou dans l autre lorsque l on d place le wand vers sa gauche ou vers sa droite En fait pass e une certaine distance la rotation s active vitesse constante et lorsque l on repasse le seuil de distance elle s arr te Redimensionnement Le scale fonctionne de la m me mani re que le rotate pour son activation mais la diff rence est que l on peut l activer suivant les 3 axes selon les 2 sens et selon plusieurs axes la fois si n cessaire Les mouvements selon laxe x d forme l objet parall lement Putilisateur et ceux selon laxe z perpendiculairement l utilisateur A la fin d un scale on map la texture nouveau de mani re ne pas avoir un rendu trop laid en particulier pour viter l tirement de la texture Le monde virtuel Certains objets ont t r alis s sous 3DS Max d autres libres de droits ont t r cup r s sur internet tout comme les textures Les mod les ont t choisis pour coller au maximum lunivers d Alice au Pays des Merveilles L utilisateur peut changer les couleurs des objets il dispose pour cela d une palette de cinq couleurs correspondant celles du dessin anim L utilisateur peut galement changer le ciel gr ce des skybox r alis es avec le logiciel Terragen Les six faces du ciel sont charg es quand l utilisateur choisit celui qu il d sire dans le menu Il a le choix entr
8. e le jour la nuit un coucher de soleil et une nuit trange A son entr e dans le monde l utilisateur est sur un chemin cern par des murs ce qui va lui permettre de se familiariser avec le d placement avant d entrer dans une clairi re d limit e par des montagnes et des murailles Il pourra des lors cr er et manipuler des objets te Monderlamd AUER Mad Hatters Bilan g n ral Difficult s rencontr es La gestion de projet n a pas t simple cela compte tenu du grand nombre de membres composant l quipe Elle tait compos e de dix personnes et notamment de quatre doctorants dont il fallait naturellement respecter les d cisions Nous avons fait l erreur de ne pas utiliser de gestionnaire de versions ce qui nous convenait bien au d but du projet quand les t ches taient bien r parties entre deux bin mes de RVO1 mais le projet s est complexifi lors de la fusion du menu et des autres interactions D s lors nous tions potentiellement huit d veloppeurs travailler sur la m me version de projet et ceci dans un temps tr s limit Un gestionnaire de t ches aurait aussi n cessairement utile et nous avons d ailleurs parfois r alise deux fois le m me travail cause d incompr hensions ou de manque de communication La r partition des t ches tait d ailleurs plut t claire au d but du semestre mais plus la date de l ch ance s est approch e et plus les t ches se sont mul
9. i ne tournera pas vers lui mais restera droit Cela est bien plus convenant pour le d placement des objets c est une id e que nous avons tir e du c l bre jeu vid o Portal Cr ation Apr s avoir navigue dans le menu et avoir prononc le mot de l objet cr er l utilisateur voit l objet appara tre une distance constante de lui m me sur le rayon du wand comme nous le conseillaient les retours des tests utilisateur cr er un objet l o on vise L objet est d j s lectionn apr s la cr ation et est deja en phase de mouvement Ainsi il peut directement le d placer l endroit o il le veut Couleurs textures L utilisateur peut prononcer le mot color ou texture depuis le menu contextuel d un objet peut p P s lectionn pour naviguer dans un sous menu qui va proposer diff rentes couleurs ou textures En pronon ant le mot souhait on applique une couleur ou une texture qui sera mapp e selon la bounding box et la taille de l objet Il est possible de m langer une couleur avec une texture et nous avons donc J P g utilis des textures en niveaux de gris pour avoir un rendu correct en invitant utiliser cette fonctionnalit 1 CN te Wonderlamd EN Mad Hatters Rotation Apr s s lection d un objet une bulle sugg re le mot rotate qui une fois prononc ne fournit qu un retour sonore mais la position du wand cet instant est enregistr e Seul
10. mot de la bulle le n ud respectivement la reconnaissance du mot back Le dernier niveau du menu correspond aux objets cr er Pour ce niveau nous avons ajout en plus des mots prononcer des aper us de l objet dans la bulle permettant de rendre compte de l aspect de l objet et d augmenter l intuitivite du menu Menu Contextuel Il permet la manipulation des objets move rotate scale et leur texturing Textures et Couleurs Ce menu appara t lorsqu un objet est s lectionn celui ci l est en pointant un objet gr ce au Wand que nous verrons dans la partie qui suit puis en pronon ant le mot this Nous avons galement ajout un retour visuel sur cette s lection en effet l objet sera entour de particules blanches Pour revenir sur le menu contextuel celui ci affiche toujours sous forme de bulles les possibilit s d action sur l objet s lectionn Nous avons donc 3 bulles pour la manipulation 2 pour l habillage de l objet et enfin 2 autres exit et stop respectivement pour d s lectionner l objet et stopper l action en cours Pour d avantage d informations sur ce menu un manuel d utilisateur est disponible 1 CN S te Wemderlamd AUER Mad Hatters Interaction Spatiale L utilisateur est muni du HeadMan Display de Sony qui lui permet d tre immerg dans le monde virtuel 3D Virtools inclut le module VRPN permettant de g rer les p riph riques de r alit vi
11. n avait fait le choix de mettre tous les objets ainsi En outre le snapping magn tisme qui colle les objets sur des surfaces adjacentes afin d aider leur placement qui a t d velopp pour des objets cubiques est tr s fonctionnel mais il a t quasiment impossible de l int grer au syst me complet trop de cas possibles apparaissent tellement les objets sont modifiables alors que le script de base est d j extr mement complexe Cette g n ricit contrainte du concours a d ailleurs t assez probl matique galement nous avons toujours cherch tre exhaustif dans les possibilit s offertes catalogue d objets important toutes les couleurs que les objets n aient jamais de bas d fini car tout objet peut tre retourn etc et cela nous a co t beaucoup de temps En plus vu le temps restant et pour l aspect scenario driven nous n avons finalement pas respect certaines formes de g n ricit comme par exemple les couleurs ou le rotate selon tous les axes te YWenderland EN Mad Hatters Le concours imposait l utilisation de la langue anglaise en cela nous avons eu quelques difficult s autour de la reconnaissance vocale En effet la prononciation non parfaite emp chait parfois la reconnaissance de certains mots En fin de projet nous avons sans difficult s ajout la possibilit de naviguer dans le menu l aide de la langue fran aise l interaction a
12. n monde et de respecter ainsi le temps limit pour la construction Retours utilisateurs et am liorations possibles Les utilisateurs ont dans l ensemble trouv notre syst me sympathique amusant et intuitif Les interactions d velopp es sont pertinentes et d une fluidit acceptable et l interface est ergonomique la navigation dans le menu est intuitive et permet l utilisateur de trouver rapidement l outil qu il cherche car il n a que deux outils disposition sa voix et sa baguette Certains d tails sont cependant en attente d am lioration En effet nous avons t pris de court par le d lai assez serr ce qui nous a oblig s faire des concessions Nous n avons pas pu int grer le snapping des objets Cette fonction a t d velopp e en partie par exemple pour coller deux cubes Nous aurions aim aller plus loin en faisant du cas par cas et laisser l utilisateur la possibilit de coller des objets de mani re tr s intuitive mais cette tape nous prenait beaucoup de temps et nous avons pr f r nous concentrer sur d autres priorit s Nous aurions aim diff rencier clairement un mode normal d un mode expert qui permettrait l utilisateur de cr er des objets sans passer par tout le menu donc en pronon ant juste le nom de l objet Dans le cas du mode normal la reconnaissance des mots par l API se ferait uniquement sur les mots pr sents dans les bulles ce moment donn enlevant ainsi
13. rtuelle et nous avons donc int gre les divers trackers constellations qui seront accroch es sur les parties du corps de l utilisateur que nous avons calibr s travers des fichiers de configuration Le VRNR permet quant lui d offrir des interactions classiques de la r alit virtuelle et nous notamment l avons utilis pour la vision subjective et la vis e au wand D placement de Putilisateur L utilisateur se d place l aide de deux constellations plac es sur chacun de ces deux pieds Il avancera le pied droit pour avancer et reculera ce m me pied pour reculer Lorsque les deux pieds sont une distance de 35cm ou plus le d placement s effectue Pour aller plus vite l utilisateur pourrait choisir d avancer plus le pied mais cela tant en r alit moins intuitif que l on pourrait le penser c est gr ce la reconnaissance vocale que se fera l acc l ration quand l utilisateur prononcera le mot faster ou plus vite dans la version fran aise ce qu il pourra LA 1 If A r p ter ind finiment pour tre de plus en plus rapide Orientation de Putilisateur Nous avons choisi de d sactiver le d placement automatique deja script dans le VRNR qui permettait un deplacement naturel de Putilisateur dans la piece Mais notre utilisateur est muni d un casque Sony et ne voit donc pas les obstacles pr sents dans la pi ce et de plus la taille du monde se retrouvait tr s restreinte avec ce
14. tipli es la r partition s est alors faire de mani re parfois logique parfois al atoire La taille du groupe et la diversit des personnes le constituant GI01 doctorant avec des emplois du temps tr s diff rents nous ont parfois fait perdre un temps cons quent dans la prise de d cision lorsqu un choix se posait il fallait attendre la r union souvent hebdomadaire pour en discuter et parfois la r union elle m me tait insuffisante car il fallait attendre des r sultats pr liminaires de tests utilisateur les r sultats tant ensuite encore discuter en r union L autorit des doctorants dans la prise des d cisions n tait pas non plus claire et nous ne savions pas vraiment si nous pouvions imposer certains choix qui taient normalement sous notre responsabilit Par exemple il fallu pr s de 3 semaines pour d cider du d placement selon laxe de vision de l utilisateur au lieu que ce soit selon Paxe form par les deux pieds Ce sont les tests utilisateurs qui ont permis ce choix La taille de l application nous a amen la d velopper par morceaux afin de pouvoir travailler plusieurs aspects parall lement Cela a cr de nombreux probl mes lors des merges parfois les scripts ne fonctionnaient plus du tout car par exemple les items cr s taient en fait des characters ou taient compos s de plusieurs sous objets ou de plusieurs meshs c tait pourtant pour r gler un autre probl me que l o
15. toute ambigu t possible entre deux mots du syst me 10 e te Yenderlama OEA Mad Hitlers Conclusion g n rale La diversit des membres composant cette quipe nous a permis de travailler s rieusement la plupart des aspects et de r aliser une application r pondant nos crit res cela en un temps tr s limit Les r sultats tests utilisateurs effectu s par les deux l ves de masters ont t plut t positifs P Nous avons un peu n glig le rendu pr f rant nous concentrer sur des interactions fonctionnelles Nous aurons certainement gagn beaucoup dans le cadre du concours en int grant un NE y a autre membre l quipe a l aise en design et mod lisation Concernant les interactions nous sommes arriv s au bout de nos objectifs et le projet a t envoy au 3DUI contest Nous avons bon espoir d tre au moins s lectionn car nous faisons confiance au syst me que nous avons d veloppe Il reste cependant quelques am liorations possibles qui permettraient de peaufiner le projet et pourquoi pas de concourir pour Laval 2013 11
16. vec le monde en tait que facilite Un second probl me est survenu concernant la reconnaissance vocale en effet poss dant des versions fran aise de Windows 7 il nous a fallu installer un module de reconnaissance pour la langue anglaise Il se trouve que pour des raisons inconnues ce module pouvait se d sinstaller du syst me certainement une limitation de Microsoft Ce probl me nous obligeait re installer syst matiquement le module cela ne prenait que quelque minutes mais de pr cieuses minutes en salle immersive et fallait il encore savoir que cette manipulation tait n cessaire lorsque le responsable de la commande vocale n tait pas pr sent Ce probl me et bien d autres insignifiants ajout s la complexit de notre syst me ont conduit une perte de temps syst matique chaque relance du syst me R sultats par rapport l objectif Nos objectifs semblent avoir t remplis En effet l utilisateur est capable de cr er des objets de modifier leur taille leur orientation leur position mais aussi leur texture et leur couleur et tout cela gr ce des interactions la fois innovantes et intuitives la reconnaissance vocale combin e au tracking de la personne permettent l utilisateur de construire son monde virtuel sans difficult s Ces interactions naturelles diminuant la phase d apprentissage du syst me et renfor ant l immersion dans le monde permettent galement de cr er rapidement so
Download Pdf Manuals
Related Search