Home

Gilles Bailly TITRE : Interaction bi-manuelle pour la manipulation de

1. 103 Vous pouvez maintenant installer Eclipse Nous avons utilis la version 3 0 2 5 Installer CDT module C et C pour eclipse CDT est un plugin Eclipse qui permet de g rer des programmes en C et en C Pour installer le CDT lancer Eclipse Dans la barre de menu cliquer sur Help gt Software Updates gt Find and Install Cocher Search for new features to install puis cliquer sur Next Cliquer sur New Remote Site Tl faut alors saisir un nom par exemple Eclipse CDT et saisir l url http update eclipse org tools cdt releases new pour CDT 2 x Ou http update eclipse org tools cdt updates release pour CDT Lx Attention CDT 2 0 0 2 0 1 et 2 0 2 s utilisent avec Eclipse 3 x et CDT 1 1 1 2 et 1 2 1 s utilisent avec Eclipse 2 x Ensuite valider en cochant la version du CDT d sir ex CDT 2 0 2 2 6 Installer glut glu et opengl Les librairies associ es sous linux sont GL GLU et glut Vous devrez donc les rajouter aux propri t s de votre projet eclipse Il y a un probl me avec la librairie glut que l on peut contourner en allant dans le repertoire lib Vous devez ensuite renommer le fichier libglut so 2 en libglut so afin qu il puisse tre reconnu comme une librairie Vous devez galement t l charger le fichier glut h car ce fichier est demand pour pouvoir compiler 2 7 Installer SlimLib Slimlib est une librairie r seaux Son int r t est sa portabilit linux mac windows
2. Figure 7 Espace de conception des interfaces en entr e de Frolich En accord avec notre terminologie d une modalit le mode et les canaux repr sentent le dispositif alors que le m dia et le style sont des affinements du langage d interaction Cet espace met en vidence que le sens humain constitue une caract ristique des dispositifs Cependant nous constatons que le canal de communication de l utilisateur ne fait pas de distinction entre la main dominante et la main non dominante distinction qui semble importante de souligner en conception 2 3 Espace MSM L espace MSM Nigay 96 d fini des axes pertinents pour la conception de syst mes multimodaux Il propose les six axes reproduits la Figure 8 comme cadre d tude de la multimodalit 33 34 Fusion Fission Sens oui Y entr es r Nombre de canaux 7 E C ai non sortig_ 3 7 de m me sens Niveau d abstraction action physiqu Contexte Parall lisme Figure 8 L espace de conception MSM Nigay 96 Les deux dimensions Sens et Nombre de canaux de m me sens ont trait la notion de dispositif d entr e et de sortie Nous nous int resserons ici seulement aux canaux d entr e Les autres dimensions caract risent le degr de sophistication computationnelle des fonctions d acquisition et de restitution du syst me l encore nous nous int ressons qu la fonction d acquisition Cette derni re se caract ri
3. la fusion des param tres Par exemple pour le graphe nous avons une fonction Zoom Token tl Token t2 Cette fonction prend en param tre deux jetons La distance entre ces deux jetons fournira le facteur de zoom Nous sommes typiquement dans un cas de fusion syntaxique ou le jeton associ chaque main est un param tre d une fonction Cette fusion syntaxique s effectue entre les composants LP et CD 2 3 3 Fusion s mantique La fusion s mantique est la fusion des t ches Cette fusion a lieu dans le contr leur de dialogue Dans le cas de la reconstruction d h lice d ARN ou construction d ar tes par compression du graphe mod le de force l aide de deux jetons si le contr leur de dialogue re oit dans une fen tre temporelle arbitrairement petite deux commandes pouss e du graphe par la gauche et pouss e du graphe par la droite ces deux t ches doivent tre fusionn es afin de cr er la commande Compresser le graphe Nous venons d expliquer la conception logicielle de notre syst me NavGraphe selon le mod le PAC Amodeus Nous exposons maintenant les aspects de codage de notre syst me 3 D veloppement Le syst me est d velopp selon une technologie orient e objet Le langage utilis est le C pour plusieurs raisons Compatibilit avec tulip crit en C Facilit pour int grer openGl et GLUT Soucis de performance car les graphes manipul s peuvent tre de grandes tailles R utilisab
4. Le sextuplet lt M In Out R S W gt d note un dispositif primitif Mackinlay et ses co auteurs poposent des op rateurs de compositions pour mod liser des dispositifs plus complexes Pour notre tude un op rateur nous semble particuli rement int ressant la fusion Formellement la fusion est le produit cart sien de deux dispositifs sur les domaines d entr e des dispositifs Par exemple la position d une souris est le produit cart sien des deux dispositifs l mentaires captant respectivement l ordonn e et l abscisse En consid rant les dispositifs manipul s par chaque main nous pouvons gr ce l op rateur fusion caract riser un dispositif compos et bi manuel Ce point sera tendu dans le chapitre suivant consacr notre espace de conception En conclusion Mackinlay et ses coauteurs syst matisent la description des dispositifs d entr e au moyen d une alg bre simplifi e L avantage est double largir le champ de conception la prospection de nouveaux dispositifs et ouvrir la voie l valuation du pouvoir d expression des dispositifs en relation avec la t che Cette taxonomie comme celle de Buxton prend le dispositif comme l ment directeur Toutes deux permettent en consid rant les caract ristiques d un dispositif donn de s interroger sur son ad quation une t che donn e La taxonomie de Foley pr sent e au paragraphe suivant prend le point de vue inverse tant donn une t
5. interaction bi manuelle selon les points de vue actionnel et cognitif Le paragraphe 4 fait une synth se de l action bi manuelle afin d aborder les diff rents espaces de conception dans le chapitre suivant Le second chapitre pr sente les espaces de conception en informatique qui nous ont amen laborer notre propre espace de conception Les trois domaines investigu s font l objet d un paragraphe Le paragraphe 1 expose les diff rents espaces de conception pour les dispositifs car il existe un lien important entre le dispositif utilis et la main qui le manipule 10 Le paragraphe 2 traite de la multimodalit l originalit de notre approche tant de consid rer l interaction bi manuelle comme multimodale en entr e Le paragraphe 3 dresse un tat de l art des espaces de conception pour l interaction bi manuelle Le paragraphe 4 fait une synth se des diff rents espaces de conception existant en informatique et nous permet d aborder notre nouvel espace de conception dans le chapitre suivant Le troisi me chapitre de ce m moire d finit l espace solution Il pr sente nos contributions et expose notre nouvel espace de conception pour l interaction bi manuelle 2M Il se d compose en quatre paragraphes Le paragraphe 1 enrichit les travaux sur l interaction multimodale pour prendre en compte le r le des deux mains et introduit ainsi des niveaux d abstraction pour l tude de l interacti
6. interaction et de cr er chez eux de nouveaux besoins Ces deux types d analyse sont compl mentaires 2 1 Analyse descendante Nous voulions tr s t t se rapprocher des biologistes afin de bien comprendre leurs besoins et d laborer un syst me qui soit en ad quation avec leur travail Pour cela il a fallu mener une analyse des besoins et une analyse de l activit Ceci s est fait dans le cadre du projet ACI NavGraphe qui regroupe des biologistes des bio informaticiens et des informaticiens en IHM Les biologistes du projet nous ont propos d assister la r union ACI ARENA projet regroupant des biologistes et des bio informaticiens Beaucoup de biologistes taient pr sents ce qui nous a permis de comprendre leurs besoins pour l analyse des structures secondaires d ARN 66 67 2 2 Analyse ascendante Il est important que la collaboration se fasse dans les deux sens En effet les premi res discussions ont montr qu il tait difficile pour eux de concevoir ce que nous pouvions faire et ce qu taient nos motivations Il tait donc indispensable que l on puisse leur expliquer clairement nos sujets de recherche et comment nous pouvions apporter nos comp tences l tude et la manipulation de l ARN Pour cela lors de l ACI NavGraphe et de l ACI ARENA nous avons pr sent le contexte de travail que nous voulions proposer la table augment e et le multi surface L objectif affich est de pouv
7. Dans ce chapitre nous avons prouv l apport de l espace 2M en classant plus de vingt syst mes bi manuels L int r t de l espace 2M en conception est plus difficile prouver car il conviendrait de l utiliser pour diff rents projets et de faire intervenir plusieurs quipes de concepteurs N anmoins dans le cadre de notre tude un premier pas pour mesurer le pouvoir comparatif et g n ratif de l espace 2M est de l appliquer la conception d un syst me bi manuel Ceci fait l objet de la partie II de mon rapport o nous consid rons la conception et la r alisation d un syst me bi manuel pour manipuler des graphes d ARN 62 63 Partie II Application Manipulation bi manuelle de graphes biologiques 63 64 64 65 Chapitre V Application de nos r sultats la manipulation bi manuelle de graphes biologiques Nous illustrons l application de notre espace 2M la conception d un syst me bi manuel L un de nos objectifs est d appr cier le pouvoir comparatif et g n ratif de l espace 2M en phase de conception Le domaine d application est la biologie et nous focalisons sur le travail d un groupe de biologistes en train d tudier des graphes d ARN Tandis que ce chapitre explique l analyse de l activit que nous avons men e aupr s de biologistes et liste les t ches informatiques que nous avons d duites de cette analyse le chapitre suivant pr sente la conception de techniques d interaction bi manuelle p
8. Vous devez demander a Lionel Balme lionel balme imag fr le code pour Slimlib Votre code doit inclure les fichiers h pour la compilation et vous devez fournir une librairie 2 8 Installer le projet navGraphe Sous Eclipse importer le r pertoire navGraphe que vous aurez install a la racine de votre compte Les r pertoires a inclure sont navGrapheR include navGrapheR PRESENTATION BiToolKit include Les librairies inclure sont e Glut GLU openGL 103 104 e Tulip tulip ogl tulip qt facultatif e slimLib Les paths pour les librairies sont e usr local lib 104 105 3 Story Board Les story Boards labor s en collaboration avec le dessinateur Romain Boussard 105 106 106 107 4 Projet RICM2 Vous trouverez le sujet du projet ainsi que quelques documents qui nous ont t remis La documentation du projet est disponible l adresse http iihm imag fr bailly pda 107 108 108 109 R sum L homme utilise naturellement au quotidien les deux mains pour effectuer des t ches dans le monde physique Dans le contexte de l informatique pervasive qui vise la fusion des mondes physique et num rique l interaction bi manuelle semble donc une solution explorer Dans mon tude je propose un nouvel espace de conception pour l interaction bi manuelle not 2M Cet espace organise dans un canevas unificateur des r sultats issus d tudes sur l interaction multimo
9. ciales du clavier Nous avons environ trois boutons gauche centre droit sur la souris et quinze touches sp ciales sur le clavier SHIFT CTRL ALT TAB 1 gt J etc Donc la main dominante g n ralement la main droite qui utilise la souris a seulement trois boutons alors que la main non dominante g n ralement la main gauche en poss de quinze Or la main dominante devrait traiter une plus grande quantit d informations que la main non dominante Le sujet de recherche se focalise donc sur l interaction bi manuelle Les avantages de Pinteraction bi manuelle semblent intuitivement vidents tant pour les novices pour le c t naturel que pour les experts en augmentant le pouvoir d expression et l efficacit N anmoins comme pour la multimodalit l interaction bi manuelle peut s av rer moins utilisable que interaction une seule main Par exemple dans Kabbash 94 une t che de dessin choix de la couleur et coloriage de lignes a permis de conclure que les r sultats peuvent tre moins bons par rapport une technique a une main Cela peut s expliquer par un co t cognitif important Il parait donc int ressant de caract riser finement l interaction bi manuelle afin de pouvoir proposer des techniques d interaction en accord avec l utilisateur 2 Objectifs et d marche de travail Comme annonc notre tude concerne l interaction bi manuelle l originalit de notre approche consiste cons
10. diate du langage r side donc dans la distinction entre action discr te continue compos e Rappelons que cette caract ristique ne concerne pas le r sultat de l action c est dire le niveau t che mais bien le langage qui doit abstraire des v nements re us du dispositif selon que l action est consid r e comme discr te continue compos e D autres caract ristiques du langage issues de travaux en multimodalit sont prendre en compte comme son caract re arbitraire ou non Enfin nous soulignons que les langages associ s aux deux mains peuvent tre diff rents multi dispositif multi langage ou similaires multi dispositif mono langage Au niveau sup rieur t che il convient d tudier les t ches associ es chaque main et les travaux en psychologie de Y Guiard proposent un cadre d tude de la r partition des t ches entre chaque main comme le fait que la main non dominante fixe le contexte dans lequel la main dominante agit Enfin le dernier niveau but nous permet de distinguer le cas o l utilisateur utilise ces deux mains pour r aliser un but unique selon une d composition hi rarchique des t ches r aliser de celui o l utilisateur exploite les deux mains pour mener des activit s totalement ind pendantes La distinction que nous faisons entre t che et but n est pas aussi simple ainsi dans NOR 92 un but est d fini comme un tat du syst me que l utilisateur souhaite atteindre tandis qu une t che est un b
11. interaction deux mains peut donc tre un fardeau pour l utilisateur par la difficult coordonner les deux mouvements Par exemple dans Kabbash 94 plusieurs techniques uni manuelles et bi manuelles sont tudi es exp rimentalement pour une t che de dessin choix de la couleur et coloriage de lignes L valuation permet de conclure que lorsque chaque main est assign e des t ches ind pendantes les r sultats sont moins bons par rapport une technique une main Ce r sultat est expliqu par un effort cognitif accru et une division de l attention plus importante De plus dans le cas o un utilisateur r alise une t che compliqu e l interaction bi manuelle peut se r v ler moins utile car la t che force l utilisateur coordonner les actions de ses deux mains en plus de la grande difficult de la r alisation de la t che 3 3 Conclusion sur les avantages et les inconv nients de l interaction bi manuelle En synth se nous retenons deux types d avantages de l interaction bi manuelle avantages manuels et cognitifs Pour les avantages manuels nous distinguons une efficacit accrue du rapport mouvements temps qui peut tre expliqu e par une hausse du degr de libert une baisse du temps de transition entre les t ches et un certain parall lisme entre les t ches Pour les avantages cognitifs nous distinguons une r duction et une externalisation des chargements de planification et de visualisation
12. interaction bi manuelle comme multimodale nous jetons un nouveau regard sur l interaction bi manuelle en exposant ensuite les espaces de r f rence pour la conception multimodale Nous finissons ce chapitre par l expos du seul espace de conception pour l interaction bi manuelle Nous concluons par une synth se des espaces de conception tudi s 1 Dispositifs Les dispositifs d entr es sont les outils qui permettent l homme d interagir avec le syst me Un dispositif se caract rise par plusieurs crit res comme la rapidit de d placement la pr cision une bonne ergonomie pour une prise en main rapide mais aussi un apprentissage rapide Cette liste n est pas exhaustive Pour classer les dispositifs actuels il existe trois taxonomies consacr es aux p riph riques d entr e Dans l ordre chronologique e L approche de Buxton en 1983 e L approche de Foley Wallace et Chan en 1984 e L approche de Mackinlay Card et Robertson en 1990 Nous allons pr senter ces trois taxonomies mani re de caract riser un dispositif en commen ant par la taxonomie de Buxton qui est la plus orient e dispositif Puis nous verrons Papproche de Mackinlay qui constate des manques dans la taxonomie de Buxton et qui les comble en proposant une d marche math matique La troisi me et derni re approche est celle de Foley qui est de plus haut niveau d abstraction et orient sur les t ches graphiques Ces espaces de conception n o
13. l un des deux autres r sultats Mais ces derniers sont diff rents entre eux Consid rons un diteur de dessin qui comprend une zone d dition et une palette de couleur Avec une main l utilisateur choisit la couleur avec l autre main elle il dessine avec la couleur courante Dessiner avant ou apr s la s lection de la couleur va videmment modifier la couleur courante du trait Cependant faire les deux actions en m me temps reviendra faire l un des deux cas pr c dents 4 D pendance temporelle et fusionnelle R asp Rpsa R A amp B Les trois r sultats sont distincts Consid rons l diteur de dessin bi manuel Yee 04 o l utilisateur peut avec sa main non dominante d placer la zone d dition et de l autre dessiner Figure 24 Comme l illustre la Figure 24 les r sultats sont bien diff rents HER D placement de la Puis criture horizontale feuille vers le haut E E E Puis D placement de la feuille vers le haut D placement de la feuille vers le haut et en m me temps ecriture Ecran Feuille virtuelle criture horizontale Figure 24 Illustration du cas de d pendance temporelle et fusionnelle diteur de dessin bi manuel L utilisateur fait glisser la zone d dition avec sa main non dominante et dessine un trait avec sa main dominante 3 3 2 D pendance d un point de vue syst me Pour d finir la d pendance de deux sous t ches d un point de vue syst me nous repren
14. nous a incit syst matiquement explorer l espace solution et en particulier l axe d pendance nous a fortement influenc pour la conception de la technique d interaction deux mains en utilisant un mod le de force Les techniques ainsi con ues chapitre 6 ont ensuite t d velopp es selon un mod le d architecture et une m thode de programmation syst matique Comme il s agit d une plateforme logicielle que nous souhaitons tendre pour explorer plus en avant l interaction bi manuelle et pour l appliquer d autres domaines d application nous avons t amen tre extr mement rigoureux tant sur l architecture logicielle que sur le code et la documentation En synth se nos contributions sont la fois conceptuelles et pratiques e un nouvel espace de conception 2M pour l interaction bi manuelle publi et pr sent la conf rence UBIMOB 2005 ACM International Conference Proceedings Series 91 92 e une classification des syst mes bi manuels existants e un nouveau syst me bi manuel avec des jetons localis s par cam ra pour la manipulation collaborative de graphes d ARN projet s sur une table 20 000 lignes de code code pure commentaires r parties dans 60 classes 2 Perspectives Les deux facettes de nos travaux conception et r alisation sont galement apparentes dans les perspectives que nous donnons cette tude Dans ce paragraphe nous pr sentons tout d abord des perspectives
15. placement d une fen tre Window2M par micro rotations Description dans l espace 2M de la translation avec deux jetons Continu continu Fusion syntaxique pour obtenir la t che Rotation Zoom Parall le Mod le de force Les techniques d crites dans ce paragraphe permettent de d former le graphe mais aussi de l diter Elles sont encore plus sp cifiques que les pr c dentes puisque d pendantes du fait que le graphe manipul est un graphe d ARN Les techniques reposent sur la m taphore d un champ de force associ un jeton la force transformant ou modifiant le graphe La premi re technique est la d formation du graphe 76 77 Figure 45 D formation du graphe gr ce au mod le de force Ici le champ de force associ au jeton permet de d former le graphe en pliant une des branches du graphe Pour aboutir la d formation voulue l apport des deux mains est consid rable Buxton 05 Description dans l espace 2M de la d formation par le mod le de force Continu continu Fusion s mantique Concomitant La seconde technique est la reconstruction d h lice d ARN Figure 46 Reconstruction d h lice d ARN Description dans l espace 2M de la reconstruction d h lice utilisant le mod le de force Continu continu Fusion s mantique Parall le Ici clairement c est parce que nous utilisons les deux mains en m me temps que la reconstruction s
16. 36 RE 37 TACHE MANIPULER LE GRACE a RE 39 RE 490 DEPLACEMENT A L AIDE D UN JETON D UN FENETRE WINDOW2M RE 42 RE 35 RE 38 RE 41 RE 43 RE 45 RE 48 RE 51 LA NOTATION HTA UN UTILISER L APPLICATION ais TRAVAIL S R LE GRAPHE a E EA ELISE TACHE EDITER LE GRAPHE 64 TRAVAIL SUR LE SOUS GRAPHE ROTATION ET ZOOM D UNE FENETRE WINDOW2M A L AIDE D UN JETON cccconcncnonnnononononononononononononononona ROTATION ET ZOOM DE LA FENETRE A L AIDE DES DEUX MAINS suisses RE 44 DEPLACEMENT ET REDIMENSIONNEMENT DE LA FENETRE A L AIDE DES DEUX MAINS DEFORMATION DU GRAPHE GRACE AU MODELE DE FORCE sise secs cssnneee scene se sennee esse RE 46 RE 47 RECONSTRUCTION D HELICE DARN Erti Re E ss TABLE AUGMENTEE BERARD 99 APPLIQUEE AU DOMAINE DE LA BIOLOGIE ARCHITECTURE PAC AMODEUS id ti ls RE 49 RE 50 MODELE UML D UN AGENTPAG dd ita RE 52 ARCHITECTURE DE L APPLICATION QUI SUIT LE MODELE PAC AMODEUS HIERARCHIE D AGENTS PAC DU CONTROLEUR DE DIALOGUE ccccccnonononononononononononononononononononononononononona DEMARCHE DE TRAVAIL ET CHAPITRES DU MEMOIRE sss essssesssseessecsssseesseesssseessessssseesseessseeesseessseeess 98 99 Chapitre VIII Annexes La premi re annexe pr sente l outil de capture de jetons sur la table augment e TCLVision et l application que nous avons d velopp es qui r cup re ces v nements en C La sec
17. E Continuous i Touch Pad rotary pot Treadmill i Trackball Track point Track point mouse Property sensed Motion T Isometric orque q Pressure 3 Joystick sensing ff 2 f i pad i i Pressure Figure 3 Classification de quelques dispositifs dans la taxonomie de Buxton 1 2 Espace de conception des dispositifs physiques de Mackinlay Card et Robertson Mackinlay Card et Robertson partent du constat que l assemblage de dispositifs l mentaires en unit s de contr le plus complexes est une dimension importante en conception L objectif est alors de d finir une th orie qui syst matise la connaissance et le raisonnement sur les dispositifs d entr e 26 27 Le domaine de cette th orie est l ensemble des dispositifs d entr e Chaque dispositif est d fini par un sextuplet lt M In Out R S W gt Les op rateurs de la th orie expriment la possibilit d assembler plusieurs dispositifs e Mest un op rateur de manipulation Manipulation operator appliqu par l utilisateur Il d signe une propri t physique captable par le dispositif par exemple une position e In est le domaine des valeurs d entr e possibles de M Par exemple l ensemble des r els compris entre 0 et 180 degr s pour un bouton rotatif e Out est le domaine des valeurs de sortie possibles du dispositif Si le bouton comporte 5 positions cas d un bouton cran
18. L UTILISATEUR FAIT GLISSER LA ZONE D EDITION AVEC SA MAIN NON DOMINANTE ET DESSINE UN TRAIT AVEC SA MAIN DOMINANTE aee ora eote naira aeaaea NEn AARRE ENEA VARTOS EEEE EALER EET din POETOE TIERONE ARN obat 53 RE 25 SYSTEME BI MANUEL AVEC UN JOYSTICK DANS LA MAIN NON DOMINANTE ET UNE SOURIS DANS LA MAIN DOMINANTE PUR LA TACHE DE SCROLLER ET POINTER ZHAI 97 55 RE 26 SYSTEME BI MANUEL AVEC UN PDA DANS LA MAIN NON DOMINANTE ET UNE SOURIS DANS LA MAIN DOMINANTE POUR LA TACHE DE SCROLLER ET POINTER MYERS 00 55 RE 27 CLAVIER MICROSOFT AUGMENTE AVEC UNE ROUE POUR SCROLLER MCLONNE 03 56 RE 28 TACHE DE DESSIN YEE 04 IL EST POSSIBLE DE SELECTIONNER LA COULEUR OU DEPLACER LA FEUILLE VIRTUELLE AVEC LA MAIN NON DOMINANTE ET DESSINER AVEC LA MAIN DOMINANTE 00 00000 57 RE 29 TOOLGLASS BER DA lv E E E E AE nn tn E E EA 58 RE 30 CLAVIER XEROX AVEC DES RACCOURCIS SUR LA GAUCHE POUR LA MAIN NON DOMINANTE 006 58 RE 31 UNE INTERFACE PALPABLE AVEC DES BRIQUES SAISISSABLES FITZMAURICE 95 59 RE 32 EXEMPLE DE MANIPULATION DES BRIQUES TRANSLATION ROTATION DANS UNE INTERFACE PALPABLE FITZMAURICE liar R RE A E EEO RE dr A ER 59 RE 33 UNE INTERFACE PALPABLE DE VISUALISATION POUR LA NEUROCHIRURGIE HINCKLEY 94 60 97 FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU RE 34 L APPLICATION NAVGRAPHE RE
19. Nel A ee LR TR A fonte 21 Side l AVantages Manuel mienne E E nr mer S see de ei eae neta a ada 21 III RIA 21 3 2 INCONV NIENIS A A A A il a cds 22 3 3 Conclusion sur les avantages et les inconv nients de l interaction bi manuelle 22 4 CONCLUSION SUR L INTERACTION BI MANUELLE cooococoncoccnnoncnncncancnncnnononnrncanono rara rr rar DRENA ENEN 23 CHAPITRE III ESPACES DE CONCEPTION EXISTANTS me ssseenensmenenssennssensnsee 24 IDISPOSTTES narran la de nt 24 1 1 Taxonomie des dispositifs physiques selon Buxton ss 24 1 2 Espace de conception des dispositifs physiques de Mackinlay Card et Robertson 26 1 3 Taxonomie des t ches graphiques selon Foley ss 28 1 4 Conclusion sur les dispositifs seen 29 2 MODALITE D INTERACTION ET MULTIMODALITES cccccsesessessesessesseseesesseseescseeseescssesesecsessesecsessesscneesesentens 31 2 1 D finition modalit d interaction et multimodalit ss 31 2 2 Espace de FROLICH nn A nn et 32 2 3 Espace MS Mock ste A deed E Re Sibel od bens 33 2 4 Propriet s CARE sd rates Rene med ee ete en tn ni tee en if 37 2 5 Propri t s CARE tendues Vernier O1 sisi 37 2 6 Conclusion sur la multimodalit ses 38 3 ESPACE DE CONCEPTION DES INTERACTIONS BI MANUELLES ss 40 3 l Achon discr t A CHONICONTNUE eococs tia RE ARR EE me ER RISE en Te in 40 3 2 Temporalit LES ACI A a RE 41 3 2
20. ais Eclipse tait donc utilis pour la gestion des makefiles et la cr ation de classes Pour le d veloppement pure nous utilisions emacs pour les raisons suivantes e Tl est plus rapide que Eclipse qui est tr s consommateur de ressources e Le code est beaucoup plus lisible grace une meilleure gestion des couleurs e L indentation est beaucoup mieux g r e ce qui est important pour la relecture de code e En ouvrant deux consoles en m me temps il est possible avec emacs de voir en m me temps le fichier h et le fichier cpp Nous souhaitons enfin insister sur toutes les techniques de d veloppement que nous nous sommes impos es afin de garantir une forte modularit et propret du code En effet nous savions que les techniques d interaction ne pouvaient tre d velopp es dans le temps du M2rech et nous avons pr f r d velopper un code r utilisable sans toutes les techniques d interaction plut t qu un d monstrateur jetable Le travail de Nicolas Gandin portait l ann e derni re au sein de l quipe sur la visualisation de grands graphes Il avait l avantage de montrer les possibilit s de Tulip et la compatibilit avec TclVision Malheureusement le manque d architecture et surtout le manque complet de documentation a rendu la r utilisation de son code tr s difficile voir impossible A ce jour le code du syst me NavGraphe comprend 10 000 lignes de code pure d clar par le logiciel sloccount et 10000 ligne
21. avantage significatif pour l interaction bi manuelle de la Figure 25 qui comprenait une souris dans la MD pour pointer cliquer et un joystick position isotonique dans la MND pour d filer les pages La comparaison avec l interaction une main tait r alis e avec trois dispositifs une souris une souris mollette et la souris d IBM avec un joystick Figure 25 Syst me bi manuel avec un joystick dans la main non dominante et une souris dans la main dominante pur la t che de d filement s lection Zhai 97 Dans Myers 00 l exploitation d un ordinateur de poche PDA comme deuxi me dispositif d interaction Figure 26 est tudi e en partant du constat que ce dernier est souvent plac c t de l ordinateur et lui est connect Ce dispositif est plus g n ral que beaucoup de dispositif gr ce son cran tactile Un d savantage li cela est qu il n est pas forc ment naturel pour Putilisateur car les actions portent sur des objets affich s comme des boutons logiques et non sur la manipulation de boutons physiques Le temps pour passer du clavier au PDA souris est peine sup rieur de 10 au temps pour passer du clavier lasouris Le PDA tait manipul par la MND pour le d filement tandis que la souris dans la MD pour la s lection Plusieurs techniques de d filement ont t con ues sur le PDA des boutons une barre de d filement absolu et une technique se comportant comme un joystick trois
22. avec une surface tactile de la main non dominante tout en s lectionnant le texte avec une souris de la main dominante De plus les sujets qui faisaient du parall lisme taient les plus rapides Ceci implique videmment que les sous t ches puissent se faire en parall le Dans le cas id al de la Figure 13 le parall lisme est maximis Par exemple une valuation exp rimentale de l interaction deux mains avec des toolGlasses Bier 94 montre qu en moyenne 83 du temps se d roule en activit s parall les 42 43 Main non dominante Temps de temps transition Figure 12 R aliser les sous taches A et B en utilisant une approche deux mains Buxton 04 Main non dominante ame fF Lu temps Figure 13 R aliser les sous taches A et B en introduisant du parall lisme Buxton 04 L efficacit de l interaction deux mains par rapport celle une main est n anmoins d pendante des sous t ches consid r es Deux sous t ches peuvent m me avoir un co t cognitif si lev que la technique deux mains est encore plus lente qu une technique une main Dans Kabbash 94 cette assertion a t prouv e exp rimentalement dans le cas o l utilisateur devait colorier des points et des segments Ce co t cognitif de changement de sous t ches tait tel que les auteurs ont ni les avantages d utiliser les deux mains dans l interaction A la Figure 14 nous illustrons une intera
23. cercle dans une nouvelle fen tre La production simultan e de plusieurs informations ne conduit pas n cessairement une fusion Chaque unit d information peut faire sens Il s agit alors d un usage concurrent voir case 6 L utilisateur m ne alors de front deux t ches distinctes comportement expert La 36 37 redondance est un cas particulier de concurrence lorsque les deux informations produites en parall le couvrent le m me sens La compl mentarit et la redondance caract risent l usage de plusieurs modalit s Orthogonale la notion de multimodalit vient la notion de choix effectu par l utilisateur notion trait e par les propri t s CARE 2 4 Propri t s CARE Les propri t s CARE sont au nombre de quatre et d finissent le lien entre les modalit s dans le contexte d une interaction multimodale C A R E sont les initiales de quatre propri t s Compl mentarit Assignation Redondance et Equivalence Dans Coutaz 95 les auteurs montrent leur utilit pour classer et surtout valuer les syst mes multimodaux par l analyse des propri t s CARE du point de vue syst me S CARE syst me CARE et utilisateur U CARE utilisateur CARE Les propri t s CARE s appliquent pour le cas de modalit s d entr e et de sortie Dans le cadre de notre tude de l interaction bi manuelle nous ne consid rons que les modalit s d entr e e L assignation exprime l obligation pour un tat de d p
24. cha ne cin matique La cha ne cin matique est d finie comme l interaction au sein d un syst me de composants ces composants concourent r soudre un probl me pos au niveau du syst me Le terme cha ne cin matique qui provient d un sous domaine de la m canique d note l assemblage de plusieurs liens rigides mis en s rie Par exemple le bras dans la globalit peut tre vu comme un ensemble de liens le bras l avant bras la main et le doigt et un ensemble d articulations l paule le coude le poignet et les articulations des doigts Ces l ments travaillent ensemble pour r soudre un but commun Les quatre propri t s int ressantes de KC sont e Armature de r f rence Les l ments distales terminal les mains travaillent dans le contexte fournit par les l ments proximales origine l paule Par exemple la rotation du poignet se fait en fonction de l avant bras et non pas de la main e Hi rarchisation des composants Par exemple lorsque l on tend le bras pour saisir un objet le bras travaille beaucoup plus que la main Le bras travaille de mani re macro m trique tandis que la main fait des mouvements plus petits et plus pr cis de niveau microm trique e Organisation temporelle des activit s des diff rents composants En effet en consid rant le m me exemple le bras fait le mouvement de s approcher de l objet bien avant celui de la main ou du doigt C est ce dern
25. che elle vise proposer un ensemble de dispositifs idoines 1 3 Taxonomie des t ches graphiques selon Foley La taxonomie de Foley adopte la t che comme point d ancrage Pour classer un dispositif Foley propose de le mettre en relation avec les t ches graphiques qu il permet d accomplir Ces t ches sont au nombre de cinq s lection position orientation chemin quantificateur et texte qui peuvent selon les dispositifs tre accomplies de mani re directe ou indirecte La Figure 5 pr sente la taxonomie de Foley 28 Light pen Touch panel r From screen with ___ f direct pick device ire Tablet er Mouse Tadirect with ea Rover Fi aie Joystick absolute f A Joystick velocity A GS MI Trackball A fa Cursor control keys IR ff wi tse Selection en cu See text input 7 p o EE string name N NS a Whe E se Programmed function keyboard O Time scan Alphanumeric keyboard Y AS x Le But s Programmed Function keyboard LA wtonpush r oh adh A Soft keys NOS ma Nie Tablet and stylus Sketch recognition eh eee A Light pea x ETAR P Voice input Voice recognizer Direct with locator device Touch panel ri f _ Tablet rf p a si Mouse j Indirect with ER t s Pi A E Joystick absolute ye seg QT Joystick velocity E TR Trackball Keo Cursor control keys with auto repeat Indirect with Up down left right
26. court terme avant de pr senter nos perspectives plus long terme 2 1 Extensions A court terme les extensions concernent principalement la r alisation logicielle et les valuations mener sur notre syst me Un premier travail court terme consiste donc programmer toutes les techniques d interaction bi manuelle pr sent es dans ce m moire Pour la technique d interaction bi manuelle avec mod le de force la programmation devra aussi permettre de respecter les crit res d esth tisme de graphes des biologistes Il sera donc indispensable d approfondir les algorithmes et la structure utilis s dans la bo te outils Tulip La r alisation des techniques achev es nous envisageons de conduire des exp rimentations avec des biologistes Ceci sera facilit par le fait que des biologistes collaborent avec l quipe Le r sultat de ces valuations enrichira l espace 2M en qualifiant l utilisabilit de certains points de l espace dans le contexte de la t che consid r e 2 2 Prolongements Nos perspectives s organisent selon deux axes compl mentaires le premier axe de recherche concerne la conception de techniques d interaction bi manuelle tandis que le deuxi me est li la plateforme logicielle d interaction bi manuelle Espace de conception 2M Comme nous l avons soulign dans le m moire de nombreuses tudes li es l espace 2M sont envisag es La mesure de l impact de l espace 2M sur l utilisabilit des
27. dans le cadre du canal gestuel aux gestes ergotiques des deux mains dominante et non dominante La fa on dont les gestes sont r alis s n est pas capt e seule la reconnaissance des gestes effectu s pour sp cifier une commande ou une t che l mentaire sera tudi e 16 17 2 Psychologie de l action bi manuelle Y Guiard L homme utilise naturellement sa main gauche et sa main droite de concert en leur confiant des r les nettement diff renci s La psychologie s est int ress e une relation de comp tition entre les deux mains et s est attard e quantifier la sup riorit de la main dominante en oubliant de pr ter attention une possible logique de division inter manuelle du travail Y Guiard adopte un point de vue original son mod le de la cha ne cin matique focalise sur la coop ration entre les deux mains pour accomplir un but The two hands cooperate with each other in the service of action Guiard 87 La cha ne cin matique d crit ce travail coop ratif entre les deux mains la main non dominante agit la premi re pour d finir le cadre de travail dans lequel la main dominante effectue l action souhait e par exemple pour un droitier la main gauche tient la feuille de papier sur laquelle la main droite crit Dans les paragraphes suivants nous exposons les r sultats les plus importants pour interaction homme machine de la cha ne cin matique Kinematic Chain KC 2 1 Analogie la
28. donc translation et redimensionnement en m me temps comme le montre la Figure 43 Description dans l espace 2M de D placement Redimentionnement Continu continu Fusion syntaxique pour obtenir la t che D placement Redimensionnement S quentiel novice Concomitant expert 75 76 Figure 44 D placement et redimensionnement de la fen tre l aide des deux mains Nous venons d exposer les techniques d interaction con ues pour manipuler une fen tre Window2M Ces techniques une et deux mains sont g n rales et constituent notre bo te outils BiToolkit enti rement d velopp e Nous pr sentons maintenant les techniques sp cifiques la manipulation d un graphe puis l dition d un graphe d ARN 1 2 2 Fonctionnalit de navGraphe D placement Zoom Rotate Nous d crivons les techniques qui permettent de d placer le graphe de le zoomer et d appliquer une rotation Pour la translation un seul jeton suffit Le zoom et la rotation impliquent l usage de deux jetons Le zoom se focalise sur la zone entre les deux jetons pour maintenir la coh rence de la position relative des jetons dans le graphe Une manipulation particuli re des deux jetons permet de r aliser une translation du graphe Cependant celle ci ne g n re pas un v nement d placement mais bien Rotation Zoom la translation est le r sultat d une suite de micro rotations Nous appliquons ici le m me mod le que lors du d
29. e La fusion s mantique combine des commandes ou t ches l mentaires pour aboutir un nouveau r sultat ou but Par exemple dans VoicePaint Gourdol 92 un diteur de dessin qui permet de dessiner la souris tout en modifiant la voix les caract ristiques du pinceau peinture paisseur luminosit deux commandes dessiner une droite et changer de couleur sont combin es en une seule pour obtenir une droite deux couleurs Nous trouvons dans l diteur de dessin bi manuel Yee 04 pr sent la Figure 28 un cas tr s similaire la parole exploit e dans VoicePaint est remplac e par une s lection de la main non dominante 3 3 3 Conclusion sur la dimension d pendance Nous avons introduit deux d finitions de la d pendance des sous t ches effectu es par les deux mains l une centr e utilisateur l autre syst me Dans notre espace 2M nous adoptons la d finition syst me qui est plus g n rale en consid rant l absence de fusion ou la pr sence de fusion lexicale syntaxique et s mantique Figure 15 En effet les d pendances d finies d un point de vue utilisateur peuvent tre r alis es par une fusion lexicale syntaxique et ou s mantique Tandis que le point de vue utilisateur se base sur le r sultat obtenu c est dire le niveau but de la Figure 15 le point de vue syst me tudie les lieux de fusion dans le m canisme d abstraction qui des actions utilisateurs d duit un but ou tat syst me Il n existe
30. ee ne aetna er ne de ne le unten 61 Partie II Application manipulation bi manuelle de graphes biologiques CHAPITRE V APPLICATION DE NOS RESULTATS A LA MANIPULATION BI MANUELLE DE GRAPHES BIOLOGIQUES nn cececcdesssdensbesencesessececsves ccvescecdicesdcsesvebeccescuetessecetoccousestesseeedeces 65 1 STRUCTURES BIOLOGIQUES MANIPULEES cssccssccssecssecoeecseesseeenevsneesncessesseesseensecnsecnaeceaecsaseaeseneveneeeeensenss 65 2 DEMARCHE DE COLLABORATION AVEC LES BIOLOGISTES ere 66 Did Analyse descendante nine ad ie iio aate e niee 66 222 ANGQVSCASCENAANIE SR LEE A RS PR A AR edi ena os 67 3 ACHES IDENTIFIERS 3255 dc sslses E EE cr uses titi nets een ttes E 67 Sil Tached dilion ss sis a a a a iO dessinent er et a ete die BRT GR RS 67 3 2 T che de Compardison 2r A dire ten AA Recah rares ds esd eR 68 BiB T che A evolution iii E IDAS AA Sh SET ROE RRS 68 3 4 T che de visualisation multiple ss 68 4 CONCLUSION SUR LA COLLABORATION AVEC LES BIOLOGISTES unes 68 CHAPITRE VI TECHNIQUES D INTERACTION CON UES ET DEVELOPPEES ss 69 l DESCRIPTIONIDE L APPLICATION Sc dali 69 LS ASAT bre destaches allant ste ass nn PA Ste Us test bit 69 1 2 Techniques d interaction con ues sise 73 1 2 1 BiToolKit bo te outils bi manuelle iii 73 1 22 Fonctioninalite de navGraphe E den den RTE haa OR AND E Enea 76 2ICONCEPTION LOGICIEL LE monte ae aah MR dE 79 2 1 Mod le d architecture PAC Amodeus usines 79 2 2 Architecture
31. et le pointeur 57 58 NU ia N RS AV a Figure 1 Click through buttons a Six wedge objects b Clicking through a green fill color button c Clicking through a cyan outline color button Figure 29 Toolglass Bier 04 Cette interaction bi manuelle revient au premier cas tudi la main non dominante fixe le contexte tandis que la manipulation proprement dite est effectu e par la main dominante Buxton 05 Cependant au niveau de notre espace 2M nous distinguons les deux cas au niveau de la dimension D pendance Temporalit les sous t ches sont effectu es de fa on s quentielle et parfois concomitante pour un utilisateur expert Nature des actions MND continue MD compos e D pendance les sous t ches sont d pendantes et impliquent une fusion syntaxique En effet tandis que le d placement de la toolglass sp cifie les param tres de la commande par exemple couleur et objet celle ci est d clench e par la MD Ce cas s apparente celui de l interaction multimodale o l utilisateur d signe une ic ne et nonce la commande vocale d truire Il convient de noter que l interaction bi manuelle avec la toolglass et celle de l diteur de dessin du paragraphe pr c dent pour effectuer une m me t che comme le coloriage sont diff rentes car les sous t ches affect es aux deux mains ne sont pas les m mes Dans le cas de l diteur de dessin Yee 04 la MND s lectionne la couleur ta
32. extensions A ces fins nous avons con u notre syst me de fa on tr s modulaire gr ce l application d un mod le d architecture Ce point fait l objet du paragraphe suivant puis nous exposons les aspects particuliers de codage qui nous semblent int ressants de souligner 78 79 Figure 47 Table augment e Berard 99 appliqu e au domaine de la biologie 2 Conception logicielle Ce paragraphe d crit l architecture logicielle du syst me d velopp Afin de garantir une forte modularit et donc portabilit et modifiabilit du code pour des extensions futures du syst me et en particulier l ajout de nouvelles techniques d interaction nous avons appliqu le mod le d architecture logicielle conceptuelle PAC Amodeus Dans le paragraphe suivant nous rappelons le mod le PAC Amodeus en d taillant le r le fonctionnel de chacun de ses composants logiciels puis nous d crivons l architecture logicielle de notre syst me selon ce mod le Nous tudions ensuite le d veloppement de techniques d interaction bi manuelle au sein de l architecture 2 1 Mod le d architecture PAC Amodeus Un principe commun tous les mod les d architecture logicielle pour des syst mes interactifs r side dans la s paration de la partie logicielle g rant l interaction Utilisateur Syst me du noyau fonctionnel c est dire la partie logicielle maintenant les concepts et fonctions propres au domaine d application En partant de c
33. jeton un entier La partie d cimale de la coordonn e x multipli par 1000 du jeton un entier La partie enti re de la coordonn e y du jeton un entier La partie d cimale de la coordonn e y multipli par 1000 du jeton un entier L tiquette temps en millisecondes de l venements O Oo O O OO 0 Les messages qui peuvent tre envoy s par la socket TCLVision sont les suivants e START 1 pour lancer TCLVision le serveur met un ACK si la commande a t comprise 99 100 STOP 2 pour teindre TCLVision le serveur met un ACK si la commande a t comprise STARTEVENT 5 commencer l coute d v nements le serveur met un ACK si la commande a t comprise STOPEVENT 6 arr ter l coute d v nements le serveur met un ACK si la commande a t comprise CALIBRAGE 7 permet d ajuster les param tres de la cam ra le serveur met un ACK si la commande a t comprise o Nombre de points que l on souhaite mettre pour le calibrage g n ralement 9 o La liste des coordonn es des points coordonn es exprim es par des entiers au format d une chaine de caract re x1 yl x2 y2 x9 y9 le serveur met deux ACK si la commande a t comprise TCLVision met des acquittements la r ception des messages 1 2 CVision Nous proposons d laborer la partie client de TCLVision en C qui soit r utilisable Pour cela nous avons crit deux classes La cla
34. l usage c est dire l ordre dans lequel elles ont t effectu es Soit A et B deux sous t ches nous consid rons le r sultat R selon l ordre d accomplissement de A et B 51 52 Soit R 1 8 le r sultat de la sous t che A suivie de la sous tache B e Soit R za le r sultat de la sous t che B suivie de la sous t che A Soit R agp le r sultat de la sous tache A effectu e en m me temps que la sous t che B Tandis que A gt B et B gt A correspondent un usage s quentiel selon la dimension temporelle de l espace 2M nous regroupons sous le terme A amp B les cas d entrelacement de chevauchement et de parall lisme lors de la r alisation de A et B Nous d finissons alors la d pendance par une relation d quivalence Deux sous taches A et B sont d pendantes gt Les trois r sultats R 1 gt 8 R ps et R agp ne sont pas identiques Nous d duisons de cette d finition quatre cas Le premier est l ind pendance Les trois autres cas correspondent trois formes de d pendance Les quatre cas forment la compl tude des relations de d pendance entre la sous t che A et la sous t che B 1 Ind pendance Rasp Rpsa R A amp B L ordre des t ches n a ici aucune importance C est le cas o l utilisateur doit s lectionner deux cibles distinctes avec une souris dans chaque main Les deux sous t ches sont donc ind pendantes 2 D pendance fusionnelle R 18 R psa et Rasp R A amp B Faire
35. la r alisation d agr gats d objets d interaction dans le cas o ceux propos s par la bo te outils ne satisfont pas les besoins du CD Enfin le dernier composant est la Pr sentation P Le composant P regroupe les l ments logiciels et mat riels de la plate forme la bo te outils les pilotes des dispositifs etc C est donc au niveau du composant P que les actions physiques de l utilisateur sont capt es d placement de la souris touches de clavier appuy es etc Elles sont ensuite interpr t es et transmise au CD via le composant LP Le CD v rifie alors la coh rence de l action initi e par l utilisateur par rapport au contexte courant d interaction et via 1 ANF fait appel aux fonctionnalit s du NF pour effectuer la commande Si l action implique un retour d information du niveau s mantique l utilisateur celui ci est g n r par le NF envoy via l ANF au CD qui l adapte pour le rendre perceptible par l utilisateur au niveau du composant P via le composant LP Le contr leur de dialogue est peupl e d agents PAC agents trois facettes Pr sentation Abstraction et Contr le e La pr sentation d finit le comportement perceptible de l agent pour agent humain Elle concerne la fois les entr es et les sorties c est dire les modalit s d action accessibles l utilisateur et la restitution perceptible e L abstraction avec ses fonctions et ses attributs internes d f
36. les relations temporelles entre les actions des deux mains et enfin 3 la d pendance des actions de chaque main Comme pour tout espace de conception la pertinence de l espace 2M est tudi e au regard de son pouvoir taxinomique mais aussi de son apport lors de la phase de conception en mesurant son pouvoir comparatif d alternatives de conception et son pouvoir g n ratif de nouvelles techniques Tandis que le positionnement de nombreux syst mes existants au sein de l espace 2M a permis de souligner son pouvoir taxinomique montrer ses apports en phase de conception pouvoir comparatif et g n ratif est plus difficile En effet la validation implique en particulier d tre capable de mesurer l impact de l espace 2M sur la solution con ue Un premier pas vers cette validation a t d appliquer notre espace la conception d un syst me interactif bi manuel objet de la deuxi me partie de notre m moire La deuxi me partie du m moire vise valider nos r sultats en les mettant en uvre dans la conception et la r alisation logicielle d un syst me interactif bi manuel Le domaine d application est la manipulation bi manuelle de graphes d ARN par des biologistes L approche de conception des techniques d interaction repose sur l tude des besoins des biologistes et notre espace 2M Nous avons touch du doigt la difficult de l analyse de l activit et de la t che lors de la phase d identification des besoins chapitre 5 L espace 2M
37. n riques En cela notre syst me est plus q une bo te outils de techniques d interaction bi manuelle et constitue une plateforme o l interaction bi manuelle s effectue sur une table avec des jetons ou les doigts Nous d finissons de nombreux travaux li s cette plateforme outre la programmation court terme des techniques d crites dans ce m moire e Notre plateforme est d di e la manipulation de grands espaces d information et au travail collaboratif autour de la table Aussi nous souhaitons montrer son caract re g n rique en l appliquant un autre domaine d application Deux domaines sont consid r s la conception de sites web par prototypage et la manipulation de diagrammes UML Tous deux n cessitent un travail de groupe autour de la table La conception de sites web nous permettra d tudier la collaboration et en particulier l interaction bi manuelle par deux utilisateurs une main de chaque utilisateur La manipulation de diagrammes UML nous fournit un cadre d tude pour la visualisation de grandes quantit s d information Ce choix est aussi guid par le fait qu il sera facile de trouver des utilisateurs finaux pour les tests e Une extension notre plateforme consiste ajouter d autres surfaces d interaction par exemple exploiter les murs pour projeter des informations ou utiliser un ordinateur de poche comme t l commande pour configurer l espace informationnel ou comme palette m taphore du peintre
38. pour pr server la position et l orientation d un objet malgr les perturbations induites par la main dominante d oqued Figure 1 Deux vues du m me texte crit la main Guiard 87 La page du c t gauche de la Figure 1 montre ce que le scribe a crit sur le papier La page du c t droit Figure 1montre ce qui est apparu sur la copie au carbone plac e sur la table en dessous de la feuille crite avec la main dominante L angle de l criture comme le recouvrement des lignes est une cons quence du changement de contexte effectu par la main non dominante Ce r sultat de la main non dominante qui fixe le contexte d volution de la main dominante est illustr avec l exemple de l criture de la Figure 1 Contrairement la croyance commune l criture normale implique les deux mains Il a t observ exp rimentalement ATH 84 que P criture est ralentie lorsque l on utilise qu une seule main Les mains gauches et droites fonctionnent deux niveaux d action 18 19 e Le premier correspondant au mouvement du stylo dans le contexte de r f rence de la page e Le second au mouvement de la feuille de papier Guiard a montr Guiard 87 que les auteurs habiles replacent p riodiquement leur feuille de papier avec la main non dominante afin de limiter l extension les mouvements macro m trique de la main dominante Il convient de noter toujours par analogie de KC qu un contexte de r f rence n a pas beso
39. re entrelac e dialogue plusieurs fils Cet usage implique une certaine expertise de l utilisateur Nous appelons grappe de t ches un ensemble de t ches l mentaires permettant l utilisateur d accomplir une t che compos e Au niveau grappe de t ches le parall lisme exprime les possibilit s d entrelacement entre des espaces de travail Par exemple l utilisateur passe de l dition d un fichier teste celle d un dessin Chaque espace d dition correspond une grappe de t ches 35 36 2 3 1 3 Parall lisme s quentialit et fusion fission Le parall lisme ou la s quentialit coupl e au ph nom ne de fusion ou de fission offre un champ int ressant de r flexion pr sent la Figure 9 Comme le montre la ligne du centre de la Figure 9 la production s quentielle case 3 ou simultan e case 4 de deux ou plusieurs informations peut donner lieu une fusion pour faire sens e Dans le premier cas on parlera d utilisation altern e de modalit les modalit s sont utilis es de mani re s quentielle ou bien le syst me impose une utilisation s quentielle e Dans le second cas la fusion avec production simultan e ou quasi simultan e d informations correspond a un usage synergique de plusieurs modalit s Cet usage est illustr par le paradigme du mets a l BOL 80 Que l usage soit synergique ou altern il y a mergence de sens par suite d une fusion d informations Ce
40. sont distingu es le mode le canal de communication le canal de interface le m dia et le style Le mode d finit les deux m taphores d interaction qui sont le langage et l action Le canal de communication repr sente le sens humain mis en jeu Le canal de l interface est en correspondance directe avec le canal de communication il d signe la capacit sensorielle de P interface permettant d couter le canal de communication de l utilisateur Par exemple au canal de communication qu est la voix le canal de l interface correspondant est I audio Le m dia d signe le syst me repr sentationnel pour l change d informations Le style correspond aux techniques d interaction comme les champs remplir ou les ic nes 32 33 MODES CANAUX DE CANAUX DE MEDIA STYLES COMMUNICATION L INTERFACE DE L UTILISATEUR DU SYSTEME Langage de programmation Langage de commande Audio Parole Langage naturel Champs remplir Voix S lection de menu Langage de programmation Langage de commande Langage naturel Champs remplir S lection de menu Langag Visuel__ _32 Texte Mouveme Langage de programmation Langage de commande Langage naturel Champs remplir S lection de menu Fen tre Pa io So Audi son I n Formalisme Vv LX Fen tre Action VISU pe Graphique gt Ic ne Formalisme laptique gt 3 Geste Mouvemer Fen tre Haptique Motion Ic ne Formalisme
41. sous tache Main non dominante E Main dominante lt DEN D temps gt Figure 19 Concomitance chevauchement des sous taches A et B Par exemple les sous tache B d filement et sous tache A s lectionner pour un utilisateur expert Coincidence Une sous t che est incluse dans l autre relation During La Figure 20 pr sente le cas ou la sous tache affect e a la main non dominante est incluse dans celle de la main dominante Cela correspond par exemple l utilisation de touches sp ciales d un clavier avec la main non dominante tout en manipulant la souris de la main dominante Main non dominante E a DE EE temps 48 49 Figure 20 Coincidence inclusion des t ches A et B dans l interaction deux mains Par exemple sous t che B enfoncement d une touche sp ciale au clavier et sous t che A s lection multiple avec la souris Parall le Les t ches sont execut s en m me temps durant toute la dur e comme le sch matise la Figure 21 Nous pouvons prendre l exemple du char ou pour avancer il faut que chaque main appuie sur les acc l rateurs durant toute la phase de d placement Main non dominante m ee A temps gt Figure 21 Parall lisme des sous taches A et B dans l interaction deux mains Par exemple pour faire avancer en ligne droite un char dans un jeu de r alit virtuelle sous tache B appui de l acc l rateur pour le contr le de la
42. sur la socket le thread met jour la carte partag e et d clare qu elle a t modifi e A chaque passage dans la boucle d affichage idle c est dire d s que le programme a le temps pour s afficher un appel la carte partag e est effectu Si celle ci a t modifi e alors on demande Tulip de se r afficher sinon on ne fait rien Ainsi si durant l affichage de Tulip il y a eu 100 v nements jetons par exemple un d placement continu de la part de l utilisateur seul le dernier v nement sera consid r Nous maintenons en temps r el la coh rence entre la position des jetons et l tat de la sc ne affich e Une autre technique d optimisation de l affichage a t labor e Le r affichage de la sc ne n implique pas forc ment le r affichage de tout le graphe Par exemple pour le d placement d un graphe au lieu de demander Tulip de se r afficher pour chaque position le programme r alise une image du graphe au d part qui sera mise dans une texture Ainsi au lieu de d placer le graphe et donc d appeler la fonction d affichage de Tulip le programme d place l objet textur par un appel des fonctions openGl tr s efficaces Donc si le programme n a pas r ellement besoins des comp tences de Tulip il sollicite l objet textur pour qu il se r affiche Cette technique a t impl ment e pour la translation la rotation et une partie du zoom puisque le zoom s mantique imp
43. tache il y a un temps de transition li un co t cognitif mais aussi articulatoire explicit la Figure 11 Dans notre exemple le temps de transition correspond au temps pour positionner son regard sur la palette puis le temps pour s lectionner une propri t de la palette et enfin le temps pour revenir dans le contexte graphique du dessin en cours d dition Un exemple similaire r side dans le d filement d un texte en cours d dition Main non dominante pe LH aad Temps de Temps de Temps de temps transition transition transition Figure 11 R aliser les sous taches A et B en utilisant une approche une main Buxton 05 3 2 2 Temporalit dans l interaction deux mains Consid rons maintenant l interaction deux mains avec un dispositif d entr e pour chaque main et chaque sous t che Comme chaque main a maintenant l outil appropri et qu il peut tre a la bonne position pour chaque sous tache cette approche limine les temps de transition associ s l acquisition du dispositif et de changement d attention visuelle sur le dispositif a utiliser Par cons quent m me si les deux mains sont utilis es de mani re strictement s quentielle et m me s il reste encore un temps de transition cognitif il y a une am lioration significative dans l ex cution comme le montre la Figure 12 Ce r sultat a t montr exp rimentalement Buxton 86 dans le cas o l utilisateur faisait d filer un document
44. vitesse d une chenille d un char et sous t che A appui de l acc lrateur pour le contr le de la vitesse de l autre chenille d un char En conclusion nous avons tendu les deux relations temporelles de l espace de Buxton Buxton 05 quatre relations en exploitant des r sultats issus de l tude de la composition de modalit s Vernier 01 Cet affinement permet par exemple de distinguer le cas de la s lection multiple o la touche sp ciale du clavier reste enfonc e le temps des s lections avec la souris du cas du d filement d un texte avec une trackball tout en s lectionnant un mot avec la souris Avec uniquement les deux relations s quentiel et parall le Buxton 05 ces deux cas d usage des deux mains pourtant diff rents ne sont pas distingu s et tous deux d crits comme des sous t ches en parall le Nous constatons que les espaces de conception de l interaction multimodale et celui de l interaction bi manuelle partagent la dimension temporelle Les deux autres dimensions respectivement d pendance pour la multimodalit et nature de l action pour l interaction bi manuelle sont distinctes Ces constats sont l origine de notre espace de conception 2M 3 Nouvel espace de conception de l interaction bi manuelle 2M Comme nous l avons expliqu dans le chapitre pr c dent l interaction bi manuelle comme la multimodalit peut s av rer moins utilisable que l interaction une seule main Dans ce co
45. vitesses Pour cette derni re technique l utilisateur en glissant le doigt fait partir le d filement dans la direction indiqu e l amplitude du mouvement indiquant la vitesse Les r sultats sont tr s proches voir meilleurs que ceux report s dans Zhai 97 ae y r Figure 26 Syst me bi manuel avec un PDA dans la main non dominante et une souris dans la main dominante pour la tache de d filement s lection Myers 00 55 56 Plus r cemment dans Mcloone 03 le clavier est augment de touches sp ciales sur le c t gauche pour favoriser l interaction bi manuelle L une d entre elles est une roue pour le d filement les autres sont des raccourcis pour Copier Couper Coller pour naviguer entre les diff rentes applications CTRL TAB Le changement de clavier n augmente pas le co t cognitif car tr s naturel Les utilisateurs ont beaucoup appr ci ce nouveau clavier Figure 27 Clavier microsoft augment avec une roue pour faire d filer MCLONNE 03 L articulation des deux sous t ches d filer par la MND et s lectionner par la MD respecte la propri t nonc e dans Buxton 05 la main non dominante fixe le contexte tandis que la manipulation proprement dite est effectu e par la main dominante Au sein de notre espace cette interaction bi manuelle se caract rise par Temporalit les sous t ches sont effectu es de fa on s quentielle et parfois concomitante pour un utilisateu
46. 1 Temporalit dans l interaction une main 42 3 2 2 Temporalit dans l interaction deux mains 42 3 3 Conclusion sur l interaction bi manuelle ssssssssssssssssss 43 4 CONCLUSION SUR LES ESPACES DE CONCEPTION seen 44 CHAPITRE IV NOUVEL ESPACE DE CONCEPTION BI MANUEL 2M sense 45 1 MULTIMODALITE ET INTERACTION BI MANUELLE NIVEAUX D ABSTRACTION ss 45 2 INTERACTION BI MANUELLE ET MULTIMODALITE ASPECTS TEMPORELS cssccccseseeeesseeeeeeseeecesseeeeseseeeenes 46 3 NOUVEL ESPACE DE CONCEPTION DE L INTERACTION BI MANUELLE 2M 49 3 1 Apports d Un espace de conception etir eeta a al eee 49 3 2 Dimensions de l espace 2M oins ai it fer He de 50 3 3 DImensionDependanC vocacionales ide ddr nent d 51 3 3 1 D pendance d un point de vue utilisateur 51 3 3 2 D pendance d n point de vue Systeme irse a EE etilo arancel E 53 3 3 3 Conclusion sur la dimension d pendance ss 54 3 4 Apports del espace MM caco 3 3 POUVOIr AXIMOMIQU co sis cece A A Onde A A de none eo Saupe ste 3 51 D til ment t s l tionnsn a A case Taw sb EG de dd Te ea 3 5 2 Editeur de dessin Yee 04 3 55 SPOOL SIASS coria o RS ARE do da dd tante 3 54 Utilisation d touches Special A tre ne Mrs tt nn E 58 3 5 5 Interfaces palpables iia asain den nana frere nn fil tune dada 59 3 6 Pouvoir g n ratif et comparatif siennes 60 4 CONCLUSION SUR L ESPACE IM cinay ee ee nl
47. 4 KirsH D MAGLIO P On distinguishing epistemic from pragmatic action Cognitive Science 18 4 p 513 549 1994 KUR 90 KURTENBACH G HULTEEN E Gesture in Human Computer Communication Proceedings of CHI 94 p 417 423 1990 LEG 98 LEGANCHUK A ZHAI S amp BUXTON W Manual and Cognitive Benefits of Two Handed Input An Experimental Study Transactions on Human Computer Interaction 5 4 p 326 359 1998 95 96 MAC 90 MACKINLAY J CARD S ROBERTSON G A Semantic Analysis of the Design Space of Input Devices Human Computer Interaction Lawrence Erlbaum Vol 5 No 2 amp 3 p 145 190 1990 MAR 94 MARTIN Etude de la multimodalit fond e sur des types et buts de coop ration entre modalit s Actes des troisi mes journ es Internationales sur l interfaces des Mondes R els et Virtuels 7 11 F vrier Montpellier France p 97 106 1994 MCL 00 McLoone B KIN Pou L BO CHIEF Y Two Handed Input Using a PDA And a Mouse proceedings of CHI 00 p 4 2000 MCL 00 McLoone H HINKLEY K CUTRELL E Bimanual Interaction on the Microsoft Office Keyboard Interact 2003 2000 MYE 90 Myers B A New Model for handling Input ACM Transactions on Information Systems Vol 8 No 3 p 289 320 1990 MYE 00 Myers B KIN Pou L BO CHIEF Y Two Handed Input Using a PDA And a Mouse Proceedings of CHI 00 p 41 48 2000 NIG 93 Nigay L Coutaz J A design space for multimodal i
48. De nombreux travaux sont r aliser afin de fournir des techniques d interaction g n riques multi surfaces 3 Bilan personnel de l exp rience de recherche de cette ann e L exp rience de cette ann e a t riche d enseignements et constitue une v ritable initiation la recherche De plus cette ann e m a permis de d couvrir le domaine de l Interaction Homme Machine Interaction Homme Machine cycle de vie Pour la conception de ma plateforme j ai appliqu une conception it rative centr e sur l utilisateur J ai pu appr cier la difficult de l analyse de l activit aupr s des biologistes leurs t ches tant principalement exploratoires dans les graphes J ai donc d cid d laborer des story boards afin de faciliter les it rations avec les biologistes Pour cela j ai d trouver un dessinateur tudiant des Beaux Arts de Anger et travailler en troite collaboration avec lui pour les sc narios Pour le d veloppement j ai appliqu des mod les IHM pour la conception logicielle et tudier des m canismes de programmation syst matique de certains composants J ai aussi encadr quatre tudiants en RICM2 pendant un mois dont le travail consistait d velopper une t l commande sur PDA pour par exemple choisir le graphe projet sur la table mais aussi changer de mode d dition du graphe La facilit d int gration de leur code dans ma plateforme m a convaincu de l apport d un mod le d architecture logicielle conce
49. F ALLEN Maintenaing Knowlege about Temporal Intervals communication of the ACM 26 11 p 832 843 1983 ATH 84 ATHEMES S Adaptabilit et d veloppement de la posture manuelle dans l criture Etude comparative du droitier et du gaucher Unpublished memorandum Universit d Aix Marseille II 1984 AUB 01 Auber D Tulip a Visualization software for huge graphs GD 2001 2001 BER 99 BERARD F Vision par ordinateur pour l interaction fortement coupl e Th se soutenue a Grenoble 1999 BIE 94 BIER E STONE M FISHKIN K BUXTON W BAUDEL T A Taxonomy of See Through Tools Readings in Human computer interaction Morgan Kaufman p 358 364 1994 BOL 80 BoLTR Put That There Voice and gesture Recognition at the graphics interface Computers Graphics p 262 270 1980 BOU 01 BOURGEOIS F GUIARD Y BEAUDOUIN LAFON M Pan Zoom coordination in Multi Scale Pointing Proceedings of CHI 2001 p 157 158 2001 BUX 83 BUXTON W Lexical and pragmatic considerations of input structures Computer Graphics 17 1 p 31 37 1983 BUX 05 Buxton W Billinghurst M Guiard Y Sellen A Zhai S Human Input to Computer Systems Theories Techniques and Technology chapitre Two Handed Input in Human Computer Interaction Unpubhished CAD 94 Capoz C Le geste canal de communication Homme Machine La communication instrumental Technique et sciences de l information TSI Hermes ed vol 13 n
50. LA COULEUR DANS UNE PALETTE ET SOUS TACHE A COLORIAGE DE LA COULEUR COURANTE ss 48 RE 19 CONCOMITANCE CHEVAUCHEMENT DES SOUS TACHES ET B PAR EXEMPLE LES SOUS TACHE B DEFILEMENT ET SOUS TACHE SELECTIONNER POUR UN UTILISATEUR EXPERT cocccocccononononnnioncnancnnonanonns 48 RE 20 CO NCIDENCE INCLUSION DES TACHES A ET B DANS L INTERACTION A DEUX MAINS PAR EXEMPLE SOUS TACHE B ENFONCEMENT D UNE TOUCHE SPECIALE AU CLAVIER ET SOUS TACHE A SELECTION MULTIPLE AVEC LA SOURIS 2 sstseudessssteseuubonndspestonsStbousdeunatavagaubsausssbnsnnes a SNE eanais a Sai 49 FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU RE 21 PARALLELISME DES SOUS TACHES A ET B DANS L INTERACTION A DEUX MAINS PAR EXEMPLE POUR FAIRE AVANCER EN LIGNE DROITE UN CHAR DANS UN JEU DE REALITE VIRTUELLE SOUS TACHE B APPUI DE L ACCELERATEUR POUR LE CONTROLE DE LA VITESSE D UNE CHENILLE D UN CHAR ET SOUS TACHE A APPUI DE L ACCELRATEUR POUR LE CONTROLE DE LA VITESSE DE L AUTRE CHENILLE D UN CHAR 49 RE 22 ESPACE DE CONCEPTION 2M POUR L INTERACTION BI MANUELLE ss 51 RE 23 ILLUSTRATION DU CAS DE DEPENDANCE FUSIONNELLE DEPENDANCE D UN CHAR DANS UN JEU A CHAQUE MAIN EST ASSOCIE L ACCELERATEUR D UNE CHENILLE cccssscecesssesessseeecsessececsseeeeeeseeeesesaeeseneaaees 52 RE 24 ILLUSSTRATION DU CAS DE DEPENDANCE TEMPORELLE ET FUSIONNELLE EDITEUR DE DESSIN BI MANUEL
51. NTERFACES EN ENTREE DE FROLICH FIGURE 8 L ESPACE DE CONCEPTION MSM NIGAY 96 ETETENDU AVEC DIETRICH lucia 32 FIGURE 9 LES DIFFERENTS CAS D USAGE EN ENTREE DE MODALITES SEQUENTIELLE PARALLELE FUSION FISSION FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU FIGU NIGAN 06 is she terme dates te OEE dae idee metre nue ne de dde dr dd hues ce ata N etre etes 36 RE 10 CARE ETENDUES APPLICATION DES SCHEMAS DE COMPOSITION AUX CINQ ASPECTS DE COMPOSITION VERNIER Oli escalas 38 RE 11 REALISER LES SOUS TACHES A ET B EN UTILISANT UNE APPROCHE A UNE MAIN BUXTON 05 42 RE 12 REALISER LES SOUS TACHES A ET B EN UTILISANT UNE APPROCHE A DEUX MAINS BUXTON 04 43 RE 13 REALISER LES SOUS TACHES A ET B EN INTRODUISANT DU PARALLELISME BUXTON 04 43 RE 14 REALISER LES SOUS TACHES A ET B AVEC UN COUT COGNITIF ELEVE BUXTON 04 43 RE 15 REPRESENTATION DES CINQ NIVEAUX D ABSTRACTION POUR L ETUDE DE LA MULTIMODALITE TIREE DU SCHEMA DE NIGAY 94 COMPLETE PAR DIESTRICH 93 ET CADOZ 94 45 RE 16 CARACTERISATION DES GESTES DE CHAQUE MAIN DES RELATIONS ENTRETENUES ENTRE CES CARACTERISTIQUES EMERGE UNE INTERACTION BI MANUELLE OU NON siennes 46 RE 17 LES SEPT RELATIONS D ALLEN ALLEN 83 issus 47 RE 18 SEQUENCE DE SOUS TACHES AVEC UN TEMPS DE TRANSITION PARTIE GAUCHE ET SANS TEMPS DE TRANSITION PARTIE DROITE EXEMPLE SOUS TACHE B CHOIX DE
52. TRODUCTION siennes terra bess ets ae ns some denied sense des ess saone soso 7 EMOTIVATION AA cca ec aaa One a nee en Doce one dele te tee du ete 7 2 OBJECTIFS ET DEMARCH DE TRAVAIL 4508 tot not me ne te ten E dater M En Run ui 8 SCONTEXTE es sets dede rente E ane te oi EIRAS PA An er ias 8 IL Projet NavGraphes A de trot eases la nla tr anne dd RE 8 3 2 Position par rapport AU prOjO lacoste 9 A STRUCTURE DU MEMOR Eiane te eme titane ta Oo tt 9 Partie I Espace de conception pour l interaction bi manuelle CHAPITRE II INTERACTIONS BI MANUELLES ss snnmennssnnnssensnsonscsesenscoesee 15 TEANAL GES TUB 00 atada dto ee D ne ee Re rte 15 LES Lois Be Re ee re E VO O ANO 15 Teed Canal gestuel uaia O Leta ns Rat A O Mahesh A O Se mur 16 1 3 Conclusion sur le canal gestuel esse 16 2 PSYCHOLOGIE DE L ACTION BI MANUELLE Y GUIARD ie 17 2 1 Analogie la cha ne cin matique iii 17 2 2 Coop ration entre les deux mains la lumi re de l analogie avec la cha ne cin matique 18 2 2 1 Contexte d fini par la main non dominante se 18 2 2 2 Compl mentarit des deux mains ses 19 2 2 3 Pr c dence de la main non dominante ss 19 2 2 4 Dominance de la main dominante sense 19 2 3 Conclusion sur la pSyVCHOlO IC cece ceeccececseetetsseeeenseescseescusecseesecseeeeseesensecseesecieseeceeerenseeseeaeeeeerenseeten 20 3 AVANTAGES ET INCONVENIENTS DE L INTERACTION BI MANUELLE unes 21 IL AVANLA SCS ES SAP LIN
53. U F R EN INFORMATIQUE RCE UNIVERSITE JOSEPH FOURIER GRENOBLE y eat O ET MATHEMATIQUES APPLIQUEES Master de Recherche 2 ann e Intelligence Interaction et Information Projet pr sent par Gilles Bailly Sous la responsabilit de Laurence Nigay CLIPS IMAG Grenoble 1 David Auber LABRI Bordeaux 1 TITRE Interaction bi manuelle pour la manipulation de graphes biologiques Pr sent et soutenu le 22 juin 2005 Jury Mme Jo lle Coutaz M Jer me Euzenat M Yves Denneulin Examinateur ext rieur Mme Sabine Coquillart Et Interaction Personne Systeme F d ration IMAG D Laboratoire de Commnunication Langagi re 2 Unit Mixte de Recherche CNRS UJF INPG Remerciements Comment ne pas commencer par Laurence qui m a fait confiance et qui m a permis de d couvrir un domaine passionnant de l informatique Je la remercie vivement de m avoir propos ce sujet de m avoir encadr pendant toute cette ann e et de m avoir pouss r aliser tant de choses captivantes Merci David de m avoir si bien accueilli Bordeaux et de toute l aide qu il m a apport e Merci galement tous les membres de l quipe IHM pour l ambiance de travail et leur aide en particulier Jo lle Lionel Ga tan Fran ois et vincent Merci Romain Boussard pour ses dessins Je remercie mes parents Marie Pierre et mes amis pour leur soutien permanent Table des mati res CHAPITRE IN
54. YEE K Two handed interaction on a Tablet Display Conference on Human Factors in computing Systems Vienna Australia p 1493 1496 2004 ZHA 97 ZHAIS SMITHS SELKER T Improving Browsing Performance A study of Four Input Devices for Scrolling and Pointing Proceedings of CHI 9 P 286 292 1997 KRU 91 KRUEGER M Artificial Reality II Addison Wesley 1991 WEL 93 WELLNER P Interacting with paper on the Digital Desk Communications of the ACM Vol 36 No 7 p 87 97 1993 96 97 Tables des figures FIGURE DEUX VUES DU MEME TEXTE ECRIT A LA MAIN GUIARD 87 LA PAGE DU COTE GAUCHE DE LA FIGURE 1 MONTRE CE QUE LE SCRIBE A ECRIT SUR LE PAPIER LA PAGE DU COTE DROIT FIGURE 1 MONTRE CE QUI EST APPARU SUR LA COPIE AU CARBONE PLACEE SUR LA TABLE EN DESSOUS DE LA FEUILLE ECRITE AVEC LA MAIN DOMINANTE L ANGLE DE L ECRITURE COMME LE RECOUVREMENT DES LIGNES EST UNE CONSEQUENCE DU CHANGEMENT DE CONTEXTE EFFECTUE PAR LA MAIN NON DOMINANTE ccceeeeeeeeeeees 18 FIGURE 2 DISPOSITIF PHYSIQUE VU COMME TRANSDUCTEUR DE TROIS PROPRIETES PHYSIQUES BUXTON 83 25 FIGURE 3 CLASSIFICATION DE QUELQUES DISPOSITIFS DANS LA TAXONOMIE DE BUXTON FIGURE 4 BOUTON CRANTE to lat sage tose E A Messe FIGURE 5 LA TAXONOMIE DE FOLEY DIRIGEE PAR LES TACHES GRAPHIQUES FOLEY 84 FIGURE 6 LES QUATRE NIVEAUX D ABSTRACTION DISPOSITIF LANGAGE TACHE BUT DEFINI DANS NIGAY 94 FIGURE 7 ESPACE DE CONCEPTION DES I
55. ackball ou joystick La caract ristique Discr te Continue concerne la nature de l action elle m me et non le r sultat de l action Par exemple dans les jeux le mouvement des personnages est continu alors que les actions sont discr tes en enfon ant les touches d un clavier R ciproquement un dispositif comme un bouton crant Figure 4 sur lequel les actions sont continues est souvent utilis pour saisir des donn es typiquement consid r es comme discr tes En d clinant la caract ristique Discr te Continue au cas de l interaction bi manuelle nous obtenons le Tableau 1 Dans ce tableau nous notons le cas Continue Discr te qui est qualifi d inadapt En effet m me si les r sultats de Y Guiard identifient une compl mentarit des deux mains ils ne nient pas la sup riorit de la main dominante L action continue tant consid r e comme plus difficile qu une action discr te le cas o l action la plus difficile est affect e la main non dominante est donc inadapt Main non dominante Main dominante exemple Discr te Discr te Taper sur un clavier AZERTY Discr te Continue Utiliser une interface graphique avec une souris dans la main dominante et des touches sp ciales dans la main non dominante Continue Discr te Inadapt 40 41 Continue Continue Etirer une ligne chaque extr mit utilisant une trackball dans la main non dominante et la souris dans la ma
56. action pouvoir visualiser quelle pourrait tre la transformation qui a amen la mol cule A se transformer en la mol cule B cela surtout dans un but p dagogique En terme informatique il s agit de pouvoir partir d un graphe A initial et du m me graphe dit par les biologistes de reconstruire de mani re interactive les diff rentes tapes qu ont r alis es les biologistes pour aboutir au graphe final en quelque sorte un morphing avec contrainte sur deux structures 3 4 T che de visualisation multiple Nous avons appris qu ils allaient progressivement abandonner la structure secondaire pour passer la visualisation en 3D qui apporte beaucoup d informations sur la structure de PARN et donc sur ses fonctionnalit s Cependant en continuant de discuter les biologistes aimeraient un syst me capable de maintenir une repr sentation de la structure secondaire et de la structure tertiaire en m me temps Ils aimeraient pouvoir s lectionner une partie de la mol cule d ARN sur la repr sentation secondaire et voir cette s lection en 3D sur un autre cran 4 Conclusion sur la collaboration avec les biologistes En conclusion de ce bref chapitre consacr notre collaboration avec les utilisateurs finaux de notre syst me bi manuel les biologistes nous soulignons l approche la fois descendante et ascendante adopt e pour identifier leurs besoins et t ches Ainsi nous avons combin interviews et discussions po
57. affichera l cran 101 102 2 3 Installer Tulip Les sources de tulip sont r cup rables http sourceforge net projects auber D autres informations utiles sont pr sentes sur http www tulip software org Pour installer Tulip les tapes sont les suivantes e R cup rer l archive tulip 2 0 2 tar bz2 qui contient les sources de tulip e D compressez l archive gr ce aux outils bunzip2 et tar xvf e Dans le r pertoire tulip 2 0 2 qui a t cr tapez configure cette commande permet de v rifier que Tulip trouve tout ce qu il a besoin sur votre ordinateur e Saisir la commande make cette commande permet de compiler Tulip Il faut environ 20 minutes pour compiler e Une fois la compilation termin e il s agit de cr er les librairies qu il faudra ins rer dans le programme tulip tulip ogl tulip qt Pour cela tapez make install Les r pertoires usr loca bin usr local include ust local lib et usr local share seront alors modifi s e L installation de Tulip est alors termin e Ex cuter la commande Tulip Pour conna tre les informations sur Tulip vous pouvez utiliser la commande suivante tulip config libs pour savoir quelles sont les librairies Tulip et o elles sont install s tulip config version pour conna tre la version tulip config pluginpath pour savoir o sont les plugins Afin de pouvoir utilise
58. art et d arriv e fix s d utiliser une modalit Cette propri t exprime donc l absence de choix pour r aliser une t che consistant passer d un tat de d part un tat d arriv e Ceci n est pas forc ment un point n gatif pour l interaction L assignation d note cependant un manque vident de souplesse e L quivalence de modalit s se d finit pour un tat de d part et d arriv e fix s l quivalence d un ensemble de modalit s est v rifi e si chaque modalit permet d atteindre l tat d arriv e depuis l tat de d part en une seule tape Deux modalit s sont quivalentes pour la r alisation d une t che L utilisateur a alors le choix des modalit s pour r aliser sa t che e La redondance d note l utilisation s quentielle ou parall le Espace MSM pr sent ci dessus de plusieurs modalit s quivalentes En entr e la redondance d information en provenance de l utilisateur implique la prise en compte d une seule des modalit s par le syst me l autre pouvant ventuellement contribuer d sambiguiser l expression obtenue e La compl mentarit entre les modalit s d un ensemble M exprime le fait que pour passer d un tat un autre il faille utiliser toutes les modalit s de l ensemble M Cela signifie qu aucune des modalit s de l ensemble M ne suffise elle seule pour passer de l tat de d part l tat d arriv e Toutefois il n e
59. cessaire pour d velopper et ex cuter le syst me NavGraphe Ce manuel est fourni en Annexe 3 1 7 Conclusion sur le d veloppement Dans un souci de r utilisabilit et d extensibilit du code nous avons vis un code propre rigoureux et optimis Cela comprend e un mod le architecture explicite PAC Amodeus une structure de fichiers propres l application de patrons de conception une documentation compl te un code optimis pour r duire la latence dans l interaction 4 Conclusion sur les techniques con ues et d velopp es Dans ce chapitre nous avons d crit un ensemble de techniques d interaction bi manuelle que nous avons con ues et localis es au sein de l espace 2M De nombreuses autres techniques sont concevoir en consid rant d autres points de l espace 2M Parmi les techniques bi manuelles con ues certaines sont g n rales comme la manipulation de fen tres et composent notre bo te outils BiToolkit d autres sont sp cifiques la manipulation d un graphe voir sp cifique un graphe d ARN Nous avons ensuite expliqu la r alisation logicielle des techniques con ues Nous avons opt pour un code r utilisable et extensible sans toutes les techniques d interaction con ues plut t qu un d monstrateur jetable de toutes les techniques Ce choix a donc impliqu un tr s gros travail de conception logicielle et d impl mentation rigoureuse Il est vident que faire du code de bonne qualit est un
60. chniques d interaction correspondantes sont pr sent es au paragraphe 1 2 1 Cette zone de s lection peut concourir la r alisation des t ches de la Figure 40 e Visualiser en 3D l utilisateur s lectionne une zone du graphe gr ce la fen tre de s lection Ce sous graphe s lectionn est repr sent sur un autre cran en 3 dimensions Cette fonctionnalit est tr s attendue par les biologistes car les informations d une mol cule d ARN sont diff rentes sur une vue 2D ou sur une vue 3D Pouvoir manipuler en m me temps ces deux vues semble tr s pertinent pour le travail des biologistes e Couper Copier Coller L utilisateur peut s lectionner une partie du graphe Cette partie du graphe peut tre coup ou copi afin d tre recoll un autre endroit e Regrouper Clusteriser L ensemble du graphe s lectionn par l utilisateur peut tre regroup en un cluster afin par exemple d tre annot ou de pouvoir se focaliser sur le reste du graphe Tandis que la d finition d une zone par manipulation d une fen tre est possible nous n avons pas d velopp la r alisation des t ches ci dessus Nous venons d exposer les techniques d interaction con ues en les localisant dans notre espace 2M Toutes les techniques con ues n ont pas t d velopp es par faute de temps Dans ce contexte nous savions que le code d velopp devait tre tr s document et structur afin d en faciliter les modifications et
61. ction bi manuelle avec un co t cognitif lev Main faible Figure 14 R aliser les sous t ches A et B avec un co t cognitif lev Buxton 04 3 3 Conclusion sur l interaction bi manuelle L espace de conception de Buxton analyse l interaction bi manuelle selon deux axes le type d actions et la temporalit des actions Trois types d actions sont identifi s action discr te 43 44 continue et compos e class e selon leur complexit Pour les aspects temporels de l interaction bi manuelle l espace souligne deux cas actions s quentielles et actions en parall le ou recouvrement Nous proposons dans le chapitre suivant d tendre le mod le temporel de Buxton afin d affiner la notion de parall lisme en introduisant les relations d Allen Cet espace permet de caract riser l interaction bi manuelle mais ne fournit pas de r ponses des questions principales comme Quelles sont les sous t ches qui peuvent tre effectu es en parall le Quelle forme de d pendance y a t il entre les sous t ches Existe t il un lien entre la d pendance des sous taches et la d pendance des mains comme le propose Y Guiard 4 Conclusion sur les espaces de conception Apr s avoir tudi l interaction bi manuelle d un point de vue humain au chapitre 1 nous avons consacr ce chapitre la conception de techniques d interaction bi manuelle Pour cela nous avons d abord tudi les espaces taxinomiques des dispositi
62. d pendre de variables contextuelles ou contexte Un contexte comprend un ensemble de variables d tat utilis es par les processus internes pour contr ler l acquisition Par exemple dans les syst mes de traitement de texte les saisies au clavier ou la souris qui correspondent des commandes sont comprises par le syst me tandis que ces m mes saisies destination du contenu des documents ne sont pas interpr t es Ainsi le pouvoir d abstraction d un syst me est propre chaque dispositif mais pour un dispositif donn ce pouvoir d pend du contexte Fusion et fission d information La fusion est la combinaison de plusieurs unit s d information pour former de nouvelles unit s La fission correspond au processus inverse L une et l autre traduisent deux activit s importantes des processus d acquisition En acquisition la fusion peut intervenir un bas niveau d abstraction entre des informations provenant de plusieurs dispositifs d entr e Elle peut aussi s effectuer un plus haut niveau d abstraction pour des informations issues de diff rents contextes Par exemple l expression orale mets a ici n cessite la fusion de l v nement parole re u via le microphone avec les v nements souris qui d signent l objet et le lieu dont il est question Plus fr quente est la fusion de clics souris r partis sur une palette et une zone de dessin pour construire une figure g om trique Ces informati
63. dale et bi manuelle D une part nous enrichissons les travaux sur l interaction multimodale pour prendre en compte le r le des deux mains d autre part nous tudions l interaction deux mains au regard de la multimodalit une modalit par main pour prendre en compte les aspects temporels et de d pendance de la multimodalit lors de la conception de techniques d interaction bi manuelle Le pouvoir descriptif de l espace 2M est valu en tudiant plusieurs syst mes d interaction bi manuelle existants J tudie aussi la capacit de l espace 2M guider la conception de formes d interaction bi manuelle dans le contexte du projet NavGraphe d di la manipulation de grandes structures biologiques comme l ARN acide ribonucl ique apr s avoir tudi les besoins des utilisateurs finaux les biologistes Les r sultats de conception ont enfin t d velopp s pour d finir un syst me interactif bi manuel multi surface pour explorer et manipuler des grands graphes Mots Cl s Interaction Bi Manuelle Multimodalit Espace de Conception 109
64. de nouvelles formes d interaction L identification d un ensemble de param tres de conception au sein de l espace incite le concepteur consid rer des alternatives en changeant un ou plusieurs param tres une technique con ue En cela l espace 2M peut favoriser la conception de nouvelles formes d interaction Nous illustrerons ce point dans la partie II o nous appliquons notre espace 2M a la conception d un syst me bi manuel N anmoins il est toujours difficile de mesurer l impact d un espace de conception sur la solution con ue Il conviendrait d appliquer notre espace de nombreux syst mes et de solliciter des quipes de concepteurs diff rentes Par exemple un exercice int ressant mener r side dans une tude comparative en observant deux quipes de concepteurs sur un m me projet l un utilisant l espace 2M et l autre non puis en comparant les solutions de conception obtenues 4 Conclusion sur l espace 2M En conclusion la capitalisation de plusieurs r sultats en interaction multimodale et bi manuelle des chapitres II et III est l origine de notre nouvel espace de conception 2M d di l interaction bi manuelle comme le sch matise la Figure 34 Point de vue utilisateur Point de vue syst me R sultats en psychologie Espace de conception en informatique B n fices et difficult s chez Chapitre III l homme de r aliser des actions bi manuelles Chapitre IT Dispositif Interaction Interaction d i
65. directionnal commands En arrow keys sou T 4 KE See selection Ne Sd r y With numerical See text input coordinates N N Direct with pick device _ Light pen tracking Search for light pen ort 2 e Onent lt Sh Eo 30 ms string value 29 Indirect with Joystick absolute locator device A Joystick velocity With numerical value Sce text input Direct with valuator device Rotary potentiometer Line ar potentiometer With character _ See text input _ Tablet 2 A Mouse Quantify So deve with a Joystick absolute uant 5 y stick e Fe amio Joystick velocity IN locatos device Trackball NN AS e _ Tightpen Light hande Tablet with stylus de Up down count Keyboard from menu with Stroked character controlled by Programmed function keyboard commands _____ Alphanumeric keyboard _ Alphanumeric ee 5 Chora Tablet with stylus recognition Voice recognition Voice recognizer Direct pick from AA Light pen menu with locator Touch panel device Indirect pick See positioning locator device Figure 5 La taxonomie de Foley dirig e par les taches graphiques Foley 84 Contrairement aux taxonomies pr c dentes qui organisent les dispositifs en fonction des propri t s physiques qu ils sont capables de mod liser Foley dir
66. donc pas une relation bijective entre les d pendances d finies d un point de vue utilisateur et les trois types de fusion identifi s Les axes de l espace 2M expos s nous analysons maintenant ses apports en appr ciant son pouvoir taxinomique mais aussi ses capacit s g n ratives et comparatives utiles en phase de conception 3 4 Apports de l espace 2M Au paragraphe 3 1 nous avons rappel les trois apports possibles d un espace de conception Dans ce paragraphe nous les consid rons successivement en commen ant par tudier le pouvoir taxinomique de l espace 2M puis en consid rant ses apports en phase de conception c est dire son pouvoir g n ratif et comparatif 3 5 Pouvoir taxinomique La classification des techniques d interaction bi manuelle existantes permet de regrouper les syst mes bi manuels aux caract ristiques communes Il permettra galement de situer les futurs syst mes bi manuels par rapport l existant Pour illustrer le pouvoir taxinomique de notre espace nous consid rons plusieurs techniques d interaction bi manuelle que nous situons dans notre espace 2M 54 55 3 5 1 D filement et s lection Pour la s lection d une citation ou lien hypertexte dans un document deux sous t ches ont t tr s souvent tudi es dans le cadre de l interaction bi manuelle le d filement du document et la s lection pointer cliquer Par exemple dans Zhai 97 il a t montr qu il n y a pas d
67. du syst me NavGraphe 2 3 Solution architecturale g n rique pour l interaction bi manuelle ss 83 2 93 Eusiomlexical a A Kathe teen des oes a Ee 84 2 3 2 Fusi n syntaxi gU rs AN 84 2 35 9 Fusion SEMAN RAN 84 3 DEVELOPPEMENT REEE E E ET T E E donna etauss phaneneenteaseapa cia cleeas ten ca 84 3 1 1 Architecture globale PAC Amodeus seseseseseseseseseseereeeseseserersrsesereseseseseeeeeseserenenssssserereseseeeeenesesenenenssses 85 3 12 Patrons d Conception rm ten en MEN At bte hante nel 86 3 19 3 Optimisatlons s a fiber detre done Mine lin ne diese edge dnt le AN een ne 87 3 1 4 Une classe deux fichiers seen rene nues ds stairr da cansan died adan cn diese oldvucesdesutenssuacdeadeadebsebsacubes 87 3 1 5 Documentations 3 1 6 Installation sise 3 1 7 Conclusion sur le d veloppement seen 88 4 CONCLUSION SUR LES TECHNIQUES CON UES ET DEVELOPPEES ccsccsssscesscsseceecesecssecaecsaeeneseneseneeseeeaeenss 88 CHAPITRE VII CONCLUSION wesc sicesscesessccscstivcscesesccscssviecscesescsecsdoedssesecessecctiedseecsensecstivsoonsecesiscssaeeseeseooctees 90 1 SYNTHESE DE NOTRE CONTRIBUTION ssccessseesseceeceecsaeceseeecsaeceeneecaaeceeeeecsaeceeeeecsaeceeeecsaeceeneecaaeceeeeesaeeeeetees 90 VAA AETA OI DA AEE A E AE A A EE aida italia 92 2x VEROS dd oia E E laos EE 92 2 2 Prolongements SA apenas crabs E A A see eyed 92 3 BILAN PERSONNEL DE L EXPERIENCE DE RECHERCHE DE CETTE ANNEE ccscs
68. e pour r aliser une commande il y a trois phases Acqu rir le dispositif physique ex une souris acqu rir le dispositif logique ex prendre la barre de d filement avec la souris et activer la fonction logique ex d placer la barre de d filement afin de faire d filer des pages Web Gr ce aux interfaces palpables la seconde tape acqu rir le dispositif logique est supprim e car elle correspond au dispositif physique 59 60 Dans Hinckley 94 une interface qui est bi manuelle est propos e pour la visualisation en neurochirurgie comme le montre la Figure 33 L interaction deux mains aide la manipulation d images m dicales un scanner IRM de cerveau Dans la main non dominante le chirurgien tient une t te miniature fixation du contexte et dans l autre main un outil de s lection qui peut glisser sur la miniature Figure 33 Une interface palpable de visualisation pour la neurochirurgie Hinckley 94 Au sein de l espace 2M cette interaction bi manuelle se caract rise comme la plupart des interfaces palpables par Temporalit les sous t ches sont souvent effectu es de fa on parall le Nature des actions MND continue MD continue D pendance Cas de fusion syntaxique o les deux objets fournissent l orientation du vecteur d observation En consid rant plusieurs techniques d interaction bi manuelles existantes outre l illustration de l espace 2M nous avons d montr son pouvo
69. e apr s avec le bouton microm trique De m me pour atteindre une cible loign e on commence d abord par actionner les articulations macro m triques comme l paule et le coude puis lorsque l on se trouve proximit de la cible les articulations des poignets et des doigts accomplissent les micros ajustements finaux Le mod le KC sugg re que ce principe s applique galement dans le contexte du mouvement deux mains Ainsi toutes les fois o la main non dominante remplit une fonction de stabilisation elle doit intervenir avant que la main dominante agisse Par exemple pour enfoncer un clou celui ci doit tre tenu au bon endroit et avec la bonne orientation lorsque la collision avec le marteau se produit De m me pour la r daction d un texte la main droite commencera crire seulement apr s que la main gauche ait correctement plac la feuille 2 2 4 Dominance de la main dominante Les deux facettes de la dominance de la main sont la pr f rence et la sup riorit de la main dominante La sup riorit a tr s largement t tudi e et observ e par des tests exp rimentaux en laboratoires Le cas de la pr f rence est plus compliqu Alors que les psychologues la r sumaient par l asym trie des mains Guiard apporte un regard nouveau Dans le mod le KC la 19 20 main repr sente l l ment terminal du bras c est elle qui finit les actions qui touchent le monde L interaction deux mains peu
70. e cadre de notre projet les donn es manipul es sont seulement des structures biologiques et en particulier de l ARNm Cependant les techniques d interaction propos es dans ce m moire peuvent tre adapt es facilement d autres types de donn es L tude s inscrivant dans un projet plus long terme qui sera continu au del de l ann e Master 2 Recherche l objectif tait de fournir des r sultats r utilisables tant en conception r sultats applicables d autres domaines d application que la manipulation d ARN qu en d veloppement architecture globale et r gle de programmation pour de grands projets 4 Structure du m moire Notre m moire s organise en deux parties l une d di e la conception de l interaction bi manuelle et l autre l application de nos contributions au cas de la manipulation de graphes biologiques La premi re partie est compos e de trois chapitres Le premier chapitre d finit l interaction bi manuelle d un point de vue psychologique Il comprend quatre paragraphes Le paragraphe 1 reprend la notion de canal gestuel afin de situer l interaction bi manuelle dans un cadre d tude plus vaste Le paragraphe 2 fait le point sur les r sultats de l action bi manuelle en psychologie Nous listons un ensemble de propri t s qui qualifie la coop ration des deux mains pour Paccomplissement d une t che Le paragraphe 3 pr sente les avantages et les inconv nients de l
71. e dans les espaces sur la multimodalit En cela notre approche est originale o L interaction bi manuelle correspond une interaction multimodale multi dispositif mais qui peut tre mono ou multi langage o L interaction bi manuelle s inscrit dans la m taphore d interaction Action 38 39 e Nous retenons pour nos travaux o La notion de parall lisme des actions affin e gr ce aux relations d Allen o La fusion redondance ou compl mentarit des informations en provenance des 2 mains L espace de composition de la Figure 10 nous semble particuli rement pertinent pour notre tude pour d crire finement la composition qui s op re entre les modalit s associ es chaque main En particulier les relations d Allen peuvent nous aider caract riser pr cis ment les actions des deux mains dans le temps Nous allons d ailleurs reprendre les r sultats d Allen dans la partie suivante pour tendre l un des deux espaces de conception d di l interaction bi manuelle 39 40 3 Espace de conception des interactions bi manuelles L espace de conception de Buxton BUX 05 d di l interaction bi manuelle s appuie sur les travaux de Guiard GUI 87 pr sent s au chapitre IL Cet espace caract rise les types d actions effectu es par les deux mains La nature de l action ou le langage est directement li e aux dispositifs d entr e disponibles En conception le langage choisi devrait influencer
72. e l utilisabilit des syst mes qui exploitent des graphes De tr s nombreux domaines d application reposent sur la manipulation l exploration et la navigation dans de grands graphes comme la recherche dans les bases de donn es vid o l exploration de cartes ou r seaux s mantiques et la visualisation de structures biologiques Notre domaine d application est la biologie et nous traitons des structures biologiques en particulier l ARN acide ribonucl ique 1 Motivations Plus que jamais il faut assister l utilisateur pour explorer naviguer et retrouver l information dont il a besoin dans des graphes Le probl me classique en conception d interface homme machine IHM est d identifier pour un utilisateur donn accomplissant une t che avec un syst me une repr sentation des concepts et une fa on d interagir avec ces derniers qui soient en accord avec l attente et les comp tences de l utilisateur Dans ce contexte notre tude focalise sur l interaction bi manuelle pour des t ches de manipulation de graphes Nous sommes partis de l observation que l homme utilise naturellement au quotidien les deux mains pour effectuer des t ches dans le monde physique Or dans le contexte de l informatique les interfaces sont tr s g n ralement une main et lorsqu elles sont bi manuelles elles sont souvent mal con ues et adapt es Scott 01 Par exemple consid rons les interfaces standards souris et touches sp
73. e linux pour le faire Les tapes sont les suivantes e T l charger sur le site de nvidia le driver pour linux Il en existe qu un pour toutes les cartes gforce e Ouvrir une console l aide de la commande ctrl alt f2 e Se connecter en root e Arr ter le serveur X responsable de l affichage avec la commande gt Init 3 e Lancer le pilote nvidia avec la commande gt Bash lt nomDuDriverNvidia bin gt R pondre oui aux diff rentes questions e Une fois le driver install il faut modifier le fichier xorg conf dans etc X11 Editer le fichier en mode console avec emacs par exemple e Commenter la ligne Load dri Remplacer Driver nv par Driver nvidia Voici le r sultat que vous devez obtenir Section Module Load dbe Load extmod Load fbdevhw Load glx Load record Load freetype o Load typel Load dri EndSection Section Device o Identifier Videocard0 o Driver nvidia o VendorName Videocard vendor o BoardName NVIDIA GeForce 4 MX generic EndSection e Red marrer Linux pour que la carte graphique soit prise en compte Si la carte graphique n est pas correctement install e notre programme ne fonctionnera pas correctement et sera tr s lent temps de latence trop lev pour l interaction De plus nous utilisons une commande openGl drawBuffer AUX1 qui ne fonctionnera plus sans l installation de la carte Donc au lieu d afficher dans ce buffer openGL l
74. e pour son pouvoir d expression Nous allons donc affiner ces avantages class s en deux cat gories manuels cognitifs Puis nous verrons que des exp rimentations ont aussi r v l des inconv nients 3 1 Avantages Dans Leganchuck 98 deux types d avantages de l interaction bi manuelle sont identifi s manuels et cognitifs 3 1 1 Avantages manuels Les avantages manuels viennent de l efficacit accrue du rapport mouvements temps Une des raisons est que l utilisateur peut utiliser deux fois plus de degr s de libert simultan ment L autre raison est que l interaction bi manuelle permet des utilisateurs d accomplir des t ches plus rapidement La hausse du rapport mouvements temps peut tre attribu e plusieurs choses D abord quelques op rations peuvent tre accomplies en parall le tel que se d placer et mesurer un rectangle simultan ment Ensuite l conomie de temps peut r sulter d une r duction de la quantit de commutation de t che baisse du temps de transition entre les t ches Par exemple deux points finaux d une ligne peuvent tre d plac s sans devoir d placer le curseur dans les deux sens entre eux Nous pouvons alors se r f rer la loi de Fitts qui met en relation le temps et la distance de la cible 3 1 2 Avantages cognitifs Les avantages cognitifs sont li s la r duction de la charge mentale de l utilisateur Il existe deux types d avantages cognitifs Les dispositi
75. ection multiple les deux sous t ches sont d pendantes et leur fusion est du niveau lexical De plus les sous t ches sont effectu es de fa on co ncidente 2 Si la touche a un r le de raccourci d une sous tache fr quente les valeurs selon les dimensions D pendance et Temporalit d pendent de la t che consid r e Par exemple selon la dimension D pendance les sous t ches peuvent tre ind pendantes d pendantes avec fusion syntaxique d pendantes avec fusion s mantique 3 5 5 Interfaces palpables Au sein des interfaces palpables Graspable Fitzmaurice 95 des objets physiques saisissables servent de dispositifs d entr e La position et l orientation de ces objets sont tout instant connues du syst me y 1 2 r p de J Papica Ham 5 tty Figure 31 Une interface palpable avec des briques saisissables Fitzmaurice 95 Figure 32 Exemple de manipulation des briques translation rotation dans une interface palpable Fitzmaurice 95 Comme la manipulation d objets est plus directe et plus maniable les interfaces palpables encouragent interaction bi manuelle la simultan it des t ches et la collaboration Le prototype Briques par exemple utilise des briques lego de jouets d enfant pour dessiner des formes g om triques simples L interaction bi manuelle est exploit e lors la cr ation la d formation et le placement de formes g om triques Au sein d une interface classiqu
76. er Nous pouvons alors rajouter un quatri me niveau apr s le niveau t che qui est celui du but atteindre 31 32 Dispositif Langage T che But Modalit Figure 6 Les quatre niveaux d abstraction dispositif langage t che but d fini dans Nigay 94 et tendu avec Dietrich 93 La multimodalit en entr e comme en sortie se base sur notre d finition d une modalit le couple lt D I gt le pr fixe multi traduisant le nombre L tude de la multimodalit implique donc de consid rer le nombre de dispositifs et le langage d interaction distincts constitutifs des passerelles logiques et physiques entre le syst me et l utilisateur La multimodalit rev t alors les trois aspects suivants e Multi dispositif et mono langage e Multi dispositif et multi langage e Mono dispositif et multi langage La multimodalit peut aussi bien tre tudi d un point de vue entr e de l utilisateur vers le syst me ou en sortie du syst me vers l utilisateur Comme nous nous int ressons Pinteraction bi manuelle nous aborderons seulement les formes de multimodalit s en entr e 2 2 Espace de FROLICH Cette espace Frohlich 91 prend comme point de d part le mod le du processeur humain pour d finir un espace de conception Frolich distingue les entr es et les sorties Il y a donc deux espaces de conception nous consid rerons seulement l espace de conception d entr e la Figure 7 Cinq notions
77. essure Isometric Sensing Pad Joystick Pressure Figure 2 Dispositif physique vu comme transducteur de trois propri t s physiques Buxton 83 Les deux premiers axes de cette taxonomie d finissent les degr s de libert du transducteur dans l espace Ils expriment la capacit du dispositif traduire les actions de l utilisateur en une forme exploitable par le syst me informatique La richesse du dispositif est alors fonction du nombre de propri t s physiques capt es et pour chaque propri t le nombre de dimensions spatiales Le type direct ou indirect de la capture traduit le degr d engagement physique de l utilisateur A la Figure 3 nous positionnons plusieurs exemples de dispositifs au sein de la taxonomie de la Figure 2 Ici ne sont consid r s que les dispositifs actionnables par le geste instrumental le microphone et la cam ra ne sont pas voqu s Ces derniers constituent cependant des cas int ressants une cam ra peut servir reconna tre un geste Berard 92 Par exemple pour l interaction bi manuelle la cam ra permet de suivre des jetons que manipule l utilisateur avec ses deux mains 25 26 a Number of dimensions Lee a Oe 2 A z Tablet amp Light EM Isotonic Joystick Tablet amp stylus 8 p Joystick puck Sliding pot Rotary pot PenCat CEREELLIE Touch Touch tablet screen Pantograph Position ES
78. et nous permet gr ce aux t ches identifi es d aborder dans le cinqui me chapitre la r alisation logicielle Le cinqui me chapitre de ce m moire est d di la r alisation logicielle les diff rentes techniques d interaction con ues et d velopp es 10 11 Le paragraphe 1 pr sente les techniques d interaction con ues Le paragraphe 2 traite de la conception logicielle Il expose l architecture logicielle de Papplication correspondant la phase de conception logicielle De plus nous d taillons comment l interaction bi manuelle est trait e dans l architecture logicielle Le paragraphe 3 est d di la phase d impl mentation et pr sente les diff rentes r gles suivies pour fournir un code r utilisable Le paragraphe 4 conclue ce chapitre par un bilan de la conception En conclusion nous soulignons nos contributions th oriques et r alisation du syst me NavGraphe et d veloppons des perspectives des travaux 11 Partie I Espace de conception pour l interaction bi manuelle 14 14 15 Chapitre Il Interactions bi manuelles Dans ce chapitre nous tudions rapidement le canal gestuel afin de situer l interaction bi manuelle dans un cadre d tude plus g n ral et de sp cifier quel est le type de geste tudi dans ce m moire Nous exposons ensuite les r sultats issus de la psychologie pour mieux cerner les capacit s bi manuelles humaines et les diff rentes
79. etrich 93 que cherche atteindre l utilisateur par la r alisation de t ches selon plusieurs modalit s Pour la prise en compte de l interaction bi manuelle nous ajoutons un cinqui me niveau le canal gestuel comme pr sent la Figure 15 Le canal gestuel Cadoz 94 est d fini au chapitre II et correspond au canal de communication mouvement du mode action dans l espace de Frohlich Dans le cadre de notre tude nous r duisons le canal gestuel au cas de gestes avec la main dominante et non dominante L importance de la distinction entre les deux mains au sein du canal gestuel est soulign e par les travaux en psychologie de Y Guiard Guiard 97 Canal gestuel Dispositif Langage T che But Su Modalit Figure 15 Repr sentation des cinq niveaux d abstraction pour l tude de la multimodalit tir e du sch ma de Nigay 94 compl t par diestrich 93 et Cadoz 94 45 46 L ajout du canal gestuel nous permet d tudier chaque niveau d abstraction au regard des gestes de la main dominante et de la main non dominante comme le montre la Figure 16 Ainsi au premier niveau il convient de caract riser le dispositif tenu par chaque main et les espaces taxinomiques d di s aux dispositifs expos s au chapitre pr c dent sont directement applicables ici Au niveau suivant l importance de l tude du langage d interaction associ chaque main a t soulign e par les travaux de Buxton Une caract ristique imm
80. ette d composition en deux briques essentielles le mod le Seeheim Pfaff 92 puis le mod le ARCH Pfaff 92 proposent une d composition plus fine du logiciel Le mod le Arch pr conise 5 composants logiciels le Contr leur de dialogue tant le composant principal Le mod le PAC Amodeus Nigay 94 de la Figure 48 repose sur la d composition logicielle d Arch et affine le Contr leur de Dialogue en termes d agents logiciels PAC 79 80 Le noyau Fonctionnel NF comprend les routines et donn es informatiques qui sont propres au domaine d application Il regroupe les objets du domaine L Adaptateur de Noyau Fonctionnel ANF r alise l interface logicielle entre le NF et le Contr leur de Dialogue CD Le CD est charg de mettre en correspondance les concepts manipul s par l utilisateur dans l interface avec les concepts informatiques manipul s par le NF Il est galement charg de g rer l encha nement des t ches Le deuxi me pilier de l arche comprend en son sommet le composant Pr sentation Logique LP Il exprime de mani re abstraite le comportement des objets interactionnels requis par l interface Le composant LP permet donc de rendre le CD ind pendant de la bo te outils du composant Pr sentation P impl mentant les objets d interaction de l interface fen tre boutons etc de la m me mani re que le CD est rendu ind pendant du noyau fonctionnel par le biais de l ANF Le composant LP permet
81. fs Nous notons l approche de Mackinlay qui est la seule permettre de consid rer le dispositif bi manuel compos des deux dispositifs manipul s par les deux mains gr ce son op rateur de fusion de dispositifs Nous avons ensuite analys les r sultats d di s l interaction multimodale En effet l originalit de notre approche est de consid rer une modalit associ e chaque main Aucun espace de conception de la multimodalit ne consid re explicitement l interaction deux mains Nous retenons de ces travaux l usage combin de plusieurs modalit s et les relations temporelles dans l usage des modalit s Nous avons enfin expos le seul espace de conception qui soit d di l interaction bi manuelle Trois types d actions sont identifi s et les aspects temporels dans la r alisation des sous t ches sont tudi s L axe temps est donc commun aux espaces de conception d di s l interaction multimodale et l espace de conception pour l interaction bi manuelle Ce point est d velopp dans le chapitre suivant o nous pr sentons notre contribution un nouvel espace de conception nomm 2M qui prend ses fondements dans les tudes expos es dans ce chapitre 44 45 Chapitre IV Nouvel espace de conception bi manuel 2M Dans ce chapitre consacr la conception de l interaction bi manuelle nous pr sentons un nouvel espace de conception not 2M Cet espace organise dans un canevas unificateur des r sultats iss
82. fs bi manuels correspondent une m taphore du monde r el caract re naturel En effet au quotidien nous utilisons nos deux mains pour r aliser une t che comme l expliquait Guiard 87 L intention est d utiliser cette m taphore pour assister l apprentissage d un style d interaction Par exemple les techniques d interaction reposant sur les ToolGlasses et Magic Lenses Bier 94 sont fond s sur la m taphore du peintre qui tient sa palette dans une main tandis qu il dessine ou pointe avec l autre main Un autre avantage de l interaction bi manuelle est de diminuer la charge de composition et de visualisation de la t che courante un niveau anormalement bas impos par des techniques uni manuelles En effet lors de la r alisation d une t che comme d placer mesurer et tourner un objet graphique l utilisation de techniques uni manuelles implique pour Putilisateur l laboration d un plan d actions plus complexes qu avec des techniques bi manuelles L utilisateur n a plus besoin de composer de penser et de projeter les tapes l mentaires d une t che De plus le retour d information rapide de la 21 22 manipulation implique un traitement de la t che un niveau plus lev L utilisateur voit imm diatement le r sultat de l action par rapport au but qu il veut atteindre Les actions pist miques sont effectu es pour d couvrir l information qui est cach e ou difficile calculer me
83. fs l un contr lant l axe des x et l autre consid rant l axe des y Enfin la taxonomie de Foley nous semble int ressante par l introduction d un niveau suppl mentaire la t che r alisable avec le dispositif Nous allons approfondir ce point dans le paragraphe suivant en consid rant les modalit s d interaction et non les dispositifs pour la r alisation d une t che 30 31 2 Modalit d interaction et multimodalit s L originalit de notre d marche est de consid rer l interaction bi manuelle comme une interaction multimodale Il s agit alors d observer dans quelle mesure l interaction deux mains vues comme deux modalit s peut se d crire dans les espaces de conception de la multimodalit Nous figeons d abord la terminologie puis nous tudions les espaces de conception existants Deux mani res d appr hender le probl me Soit ces notions sont abord s par rapport l individu soit par rapport au syst me Bien que notre approche soit centr e sur l utilisateur notre objectif est d tablir un espace de conception pour l interaction bi manuelle Aussi notre point de vue est plus syst me Nous allons d abord d finir les termes modalit et multimodalit Puis nous exposons trois espaces de conception qui sont compl mentaires Nous verrons d abord celui propos par Frolich puis l espace MSM Enfin nous terminerons par les propri t s CARE et CARE tendues 2 1 D finition m
84. id rer l interaction bi manuelle comme multimodale en entr e une modalit d entr e par main Pour cela nous identifions les tapes de travail suivantes Etudier l tat de l art sur l interaction bi manuelle et la multimodalit afin d abord d valuer dans quelle mesure nous pouvons rapprocher ces deux domaines et ensuite d informer et affiner chacun des domaines l aide de l autre Organiser les aspects de conception de l interaction bi manuelle au sein d un canevas coh rent et unificateur Cet espace doit tre utile pour classer les syst mes bi manuels pour concevoir de nouvelles techniques d interaction et pour valuer ces techniques Appliquer ces r sultats au domaine de la biologie et en particulier la manipulation de graphes d ARN Les biologistes et les informaticiens en IHM sont deux communaut s qui se connaissent peu Cela implique deux d marches compl mentaires o Ascendante proposer de nouvelles techniques d interaction sur de grands graphes pour les biologistes o Descendante Observer et analyser les besoins des biologistes pour leur offrir des techniques d interaction en accord avec leurs besoins et leur contexte d usage 3 Contexte 3 1 Projet NavGraphe Le sujet de recherche s inscrit dans le contexte du projet NavGraphe ACI Masses de Donn es Le projet NavGraphe vise combiner les m thodes automatiques de l algorithme de graphes les requ tes de bases de d
85. ier qui terminera le mouvement e Dominance de l l ment distal Dans l exemple du bras l l ment terminal c est dire la main a plus d importance Dans le geste de lancer une balle on dit bien lancer une balle la main alors que tout le bras participe l action mais c est elle qui touche la balle 17 18 2 2 Coop ration entre les deux mains la lumi re de l analogie avec la cha ne cin matique Le syst me coop ratif deux mains peut tre compar aux composants proximaux et distaux d une cha ne cin matique Les quatre grands probl mes nonc s dans KC l armature de r f rence la diff rentiation m trique la priorit et la dominance peuvent tre appliqu es au comportement humain deux mains 2 2 1 Contexte d fini par la main non dominante Dans la plupart des manipulations la main dominante travaille en r f rence la main non dominante Par exemple la main dominante d visse le bouchon de la bouteille que la main non dominante tient de m mela main dominante essaye d enfiler le fil dans l aiguille que la main non dominante tient Ceci est toujours valide pour marteler ou visser une visse Pour toutes ces op rations les deux mains sont n cessaires et travaillent ensemble de mani re dissym trique Manifestement la main non dominante fixe le contexte tandis que la manipulation proprement dite est effectu e par la main dominante La main non dominante a donc un r le important
86. ige la classification par la t che On peut y voir comme avantage des recommandations prescriptives sur le choix des dispositifs en fonction des t ches accomplir Toutefois l espace des t ches envisag concerne le domaine graphique uniquement Comme pour les deux taxonomies pr c dentes la cam ra comme dispositif n est pas consid r e De plus l interaction bi manuelle n est pas explicit e De plus la classification de Foley rend difficile la comparaison des dispositifs entre eux comme le montre Figure 5 un dispositif qui peut se retrouver dans plusieurs sous arbres n a pas une localisation unique dans l espace de conception Sur ce point les propositions de Buxton et Mackinlay sont plus utiles 1 4 Conclusion sur les dispositifs Nous avons vu la taxonomie de Buxton qui ne concerne que les dispositifs physiques continus Les dispositifs qui ne sont pas actionnables par le geste instrumental comme des gestes reconnus par une cam ra ne sont pas trait s ainsi que tous les dispositifs bi manuels Mackinlay constate des manques dans la taxonomie de Buxton et tente d y rem dier l aide de la description des dispositifs d entr e au moyen d une alg bre simplifi e En introduisant des op rateurs de composition Mackinlay nous invite alors consid rer les dispositifs bi manuels comme la fusion de dispositifs un pour chaque main l image de la souris qui est la fusion de 29 30 deux dispositi
87. ilit et maintenance du code car les concepteurs susceptibles de poursuivre ce travail sont des programmeurs C La partie graphique du syst me s appuie sur la biblioth que GLUT pour simplifier le travail du d veloppeur au niveau de la cr ation de la fen tre principale de la gestion de la boucle d affichage et de la r cup ration des v nements souris pour le simulateur Pour le d veloppement nous travaillons sous linux afin de pouvoir modifier facilement le source de Tulip C tait la premi re fois que Tulip tait int gr dans un logiciel d habitude les concepteurs d veloppent des plugins qui sont charg s au d marrage de Tulip Notre approche 84 85 tait donc tout fait novatrice de consid rer Tulip comme une bo te outils Nous nous sommes donc pr par s modifier les sources de Tulip pour r agir des probl mes impr vus II s av re qu il est beaucoup plus facile de modifier le source de Tulip sous Linux La raison principale est que l interface de Tulip utilise la librairie QT qui est payante sous windows alors qu elle est gratuite sous linux L environnement de programmation utilis est eclipse avec le plugin CDT qui g re les projets C et C Il a l avantage de cr er un makefile de bonne qualit automatiquement Comme second avantage Eclipse est multi plaforme car crit en java Si dans l avenir nous souhaitons porter notre logiciel sous windows ou mac notre travail sera plus
88. in d tre stationnaire celui ci peut tre dynamique et d fini par la main non dominante 2 2 2 Compl mentarit des deux mains A la lumi re du mod le de KC les mains gauche et droite sont consid r es comme deux organes compl mentaires un macro m trique et un micro m trique qui coop rent ensemble En premi re analyse le concept d un contraste micro macro n ajoute rien l observation commune que les mouvements de la main dominante sont g n ralement sup rieurs c est dire la fois plus forts et plus pr cis que ceux de la main non dominante Dans le cas de l criture la main dominante est associ e une r solution plus fine au niveau spatial et temporelle petite oscillation du stylo tandis que la main non dominante consiste une r solution plus large grands mouvements de la feuille plus espac s dans le temps Dans Kabbash 93 il a t montr d une exp rience de s lection de cible que pour de petites distances et petites cibles la main dominante tait sup rieure Cependant pour de plus grandes cibles et de plus grandes distances les deux mains tait peu pr s identique L exp rience prouve que la main non dominante est plus qu une approximation faible de la main dominante Les mains sont compl mentaires chacune a ses propres forces et faiblesses 2 2 3 Pr c dence de la main non dominante Lorsque l on utilise un microscope on actionne d abord le bouton macro m trique puis on affin
89. in dominante Tableau 1 Classification des diff rents formes d actions bi manuelles en osid rant les actions comme tant discr tes et continues Buxton 04 Dans l espace de Buxton une troisi me classe d actions dite compos e est introduite Elle permet de distinguer des actions purement continues de celles qui incluent galement une action discr te l aide du m me dispositif Ainsi les actions compos es d signent des actions qui entrelacent des actions continues et des actions discr tes La s lection par pointer cliquer pr sente dans la plupart des interfaces graphiques ou GUI Graphical User Interface est un exemple d action compos e En utilisant cette nouvelle classe d actions nous pouvons pr ciser la cat gorisation des diff rentes formes d actions bi manuelles Le tableau 2 pr sente cette cat gorisation qui tend celle du tableau 1 Comme pr c demment certains cas sont inadapt s car les actions compos es sont consid r es comme plus difficiles que les actions continues ou discr tes Main non Main exemple dominante dominante Discr te Discr te Taper sur un clavier AZERTY Discr te Continue Positionner un curseur avec un joystick dans la main dominante et utiliser des touches sp ciales avec la main non dominante Discr te Compos e Pointer et cliquer avec une souris dans la main dominante utiliser des touches sp ciales avec la main non dominante Con
90. ini par la croix noir en haut gauche de la fen tre e Zoomer la fen tre la distance entre la croix et le coin sp cial de la fen tre donne le facteur de zoom Figure 42 Rotation et zoom d une fen tre window2M l aide d un jeton Nous d crivons maintenant les manipulations d une fen tre Window2M a deux mains 74 75 Interaction deux mains Deux jetons D placement Rotation Zoom Si il existe deux jetons dans la barre de titre la distance entre les deux jetons d finit le facteur de zoom Si on d place un jeton l autre jeton joue le r le de centre de rotation Le jeton d plac d finit langle entre son ancienne et nouvelle position Si les deux jetons sont manipul s les micro rotations ont pour cons quence une translation mais l v nement qui est re u par la fen tre est Rotation Zoom Description dans l espace 2M de Rotation Zoom Continu continu Fusion syntaxique pour obtenir la t che Rotation Zoom S quentiel novice Concomitant expert Description dans l espace 2M de D placement par micro rotations Continu continu Fusion syntaxique pour obtenir la t che d placement Parall le Figure 43 Rotation et zoom de la fen tre l aide des deux mains D placement et Redimensionnement Si un jeton est dans la barre de titre et l autre jeton sur un bord de la fen tre La coh rence entre les deux jetons et la fen tre est maintenue Il y a
91. init la comp tence de l agent ind pendamment des consid rations de pr sentation Elle constitue au sens de Seeheim le noyau fonctionnel de l agent Le Contr le a un double r le o Il sert de pont entre les facettes pr sentation et abstraction de l agent o Il g re les relations avec les autres agents PAC C est par leur partie contr le que deux agents PAC communiquent Ce mod le d architecture constitue un cadre conceptuel adapt la visualisation de donn es l interaction multimodale en entr e Nigay 94 en sortie Vernier 01 mais aussi aux interactions mixtes combinant les mondes r el et num rique Renevier 04 80 81 Contr leur de Dialogue Objets conceptuels cD Objets de pr sentation Pr sentation Logique Objets du domaine Objets d interaction Pr sentation Adaptateur de noyau Figure 48 Architecture PAC Amodeus 2 2 Architecture du syst me NavGraphe L architecture de notre application v rifie le mod le PAC Amodeus comme le montre la Figure 49 Le NF contient l ensemble des fichiers correspondant aux graphes manipulables par le syst me Nous utilisons une bo te outils de visualisation de graphes Tulip Auber 01 Plus qu une bo te outils d di e uniquement au graphique elle comprend des fonctions de transformation de format de graphes Aussi les fonctions de Tulip qui typiquement devrait tre exploit es uniquement au niveau du Composant P so
92. investissement Comme tout investissement cela a co t en temps mais les b n fices commencent d j tre perceptibles Ainsi au cours du mois de mai nous avons encadr quatre tudiants RICM2 88 89 de l cole Polytech Grenoble en stage d un mois Nous leur avons propos un sujet en relation avec le syst me NavGraphe mais suffisamment ind pendant du syst me pour distinguer les contributions de chacun Leur sujet consistait en la gestion de plusieurs surfaces d interaction dont la table augment e sur un ordinateur de poche qui sert de t l commande de configuration Le sujet propos et les documents en rapport avec ce stage sont fournis en annexe Apr s plusieurs r unions pour figer l architecture et les points d ancrage avec notre syst me Figure 49 les tudiants ont d velopp leur syst me en java l encore en appliquant le mod le PAC Amodeus Gr ce notre approche bas e sur une architecture logicielle explicite dans le code l int gration des deux syst mes a t imm diate 89 90 Chapitre VII Conclusion Nos travaux contribuent la conception ergonomique et la r alisation logicielle de techniques d interaction bi manuelle L originalit de l approche adopt e r side dans l tude de l interaction deux mains au regard de la multimodalit une modalit par main pour prendre en compte les aspects temporels et de d pendance de la multimodalit lors de la conception de techniq
93. ir taxinomique 3 6 Pouvoir g n ratif et comparatif Tandis que le positionnement de nombreux syst mes existants au sein de l espace 2M a permis de souligner son pouvoir taxinomique montrer ses apports en phase de conception pouvoir comparatif d alternatives de conception et g n ratif de nouvelles formes d interaction est beaucoup plus difficile Cependant l espace 2M par l identification de trois axes et des valeurs discr tes sur chaque axe permet de guider la conception par l exploration syst matique de l espace des solutions Les valeurs sur les axes d finissent des choix effectuer en phase de conception Notons que la compl tude de l espace n est pas prouv e des choix de conception peuvent ne pas tre pris en compte par l espace et d autres axes sont peut tre n cessaires Pouvoir comparatif N anmoins l espace ne permet pas de guider le concepteur pour choisir entre plusieurs alternatives de conception localis es en des points diff rents de l espace 2M Pour augmenter son pouvoir comparatif l espace 2M doit donc tre enrichi par une mesure de la qualit ergonomique de chaque point de l espace Ceci peut se faire dans un premier temps en consid rant des t ches bi manuelles et n cessite le d veloppement et l valuation exp rimentale de techniques d interaction bi manuelle Il conviendra alors de conclure sur la g n ralit des r sultats ind pendamment des t ches consid r es 60 61 Pouvoir g n ratif
94. ivants NavGraphe Utiliser Quitter l application l application Figure 35 Syst me NavGraphe Comme le montre la Figure 36 l utilisation de l application se d compose en deux t ches Etudier un graphe ou tudier un sous graphe 70 71 Utiliser l application Etudier un Etudier un sous graphe graphe S lectionner Travailler sur le S lectionner Travailler sur le graphe graphe sous graphe sous graphe Figure 36 T che utiliser l application La t che Travailler sur le graphe d crite la Figure 37 est d compos e en plusieurs t ches e Manipuler le graphe e Editer le graphe et e D former le graphe Travailler sur le graphe Manipuler le Editer le graphe D former le graphe graphe Figure 37 T che travailler sur le graphe Manipuler le graphe consiste pouvoir lui faire subir une translation une rotation ou un zoom comme le montre la Figure 38 71 12 Manipuler le graphe Translater le Zoomer le Tourner le graphe graphe graphe Figure 38 T che manipuler le graphe Travailler sur le graphe pouvait galement consister l diter Comme le montre Figure 39 l dition de graphe se d compose en l extraction ou l insertion d un n ud ainsi que l ajout ou la suppression d une ar te Editer le graphe Ins rer un Extraire un Marquer Supprimer Ajouter une noeud n ud une zone une ar te ar te Figure 39 T che Editer le graphe A la Fig
95. la sous t che A puis la sous t che B ou le contraire ne modifie pas le r sultat Mais si les deux sous t ches sont r alis es en m me temps alors le r sultat est diff rent Ce cas correspond l exemple du pilotage d un char dans un jeu de r alit virtuelle de la Figure 23 chaque main est associ e l acc l rateur d une chenille Si le joueur appuie sur l acc l rateur A puis sur l acc l rateur B le r sultat sera le m me que si elle il appuie d abord sur le B puis sur le A Comme l illustre la Figure 23 dans les deux cas le char revient sa position initiale Cependant si le joueur appuie sur les deux acc l rateurs en m me temps alors le char r agit diff remment et avance en ligne droite 4 Faire acc l rer telerer moteur gauche ccelerer moteur droit droit puis B Tourner de 45 surla Tourner de 45 sur la acc l rer gauche droite gauche est quivalent faire B puis A ccelerer moteur droit ccelerer moteur gauche AC Tourner de 45 surla Tourner de 45 sur la gauche droite Faire A et B en simultan fait pb avancer le char Acc lerer les deux moteurs Avancer tout droit Figure 23 Illustration du cas de d pendance fusionnelle d pendance d un char dans un jeu A chaque main est associ l acc l rateur d une chenille 52 3 D pendance temporelle R A gt B R pea et Rasp R A amp B Le r sultat R agp est quivalent
96. le choix des dispositifs d entr e En pratique les dispositifs d entr e sont souvent fix s avant les langages et dictent les limites de langage d interaction par leurs propri t s physiques Selon Buxton le langage d actions le plus simple est d fini par deux classes action discr te et action continue Une classe interm diaire regroupant des actions qualifi es de compos es est ensuite identifi e Outre les types d actions l espace consid re aussi la temporalit des actions Dans ce paragraphe nous exposons cet espace de conception en consid rant d abord le langage d action puis la temporalit des actions 3 1 Action discr te Action continue Le langage d actions comprend deux classes l mentaires d actions action discr te et action continue e Action discr te les actions discr tes sont des actions qui impliquent le d clenchement discret des v nements typiquement l action d appuyer sur un bouton Cela comprend donc la saisie au clavier AZERTY ou l utilisation de touches sp ciales mais galement les actions de pression sur des boutons d un dispositif continu tel qu une souris e Action continue les actions continues sont les actions qui impliquent le contr le continu d un ou plusieurs degr s de libert Ceci inclut les diff rentes interactions dans les interfaces graphiques traditionnelles comme pointer et d placer Ces actions sont g n ralement effectu es l aide d une souris tr
97. lique le r affichage de graphe Les r sultats obtenus sont bien sup rieurs au d monstrateur d velopp l ann e derni re 3 1 4 Une classe deux fichiers Une classe est d compos e en deux fichiers afin de s parer la d finition des m thodes de la fa on dont elles sont r alis es e Le fichier classe h qui fournit l ent te de toutes les fonctions les attributs de la classe et les commentaires sur les m thodes et les attributs e le fichier classe cpp o sont impl ment s les m thodes de la classe 87 88 La structure de mes classes suit les r gles impos es par la communaut Linux Il convient de souligner que tr s peu de livre C explique comment faire du code propre tel point que tr s souvent la notion de fichier d ent te est souvent ignor e 3 1 5 Documentations Chacune des m thodes ont t document es Les commentaires suivent la syntaxe Doxygen Doxygen est un outil de g n ration de documentation semblable javaDoc pour java Il est plus puissant car il supporte plusieurs langages de programmation plusieurs formalismes Il montre la hi rarchie des classes par rapport la classe courante La documentation du syst me NavGraphe d velopp est disponible l adresse http iihm imag fr bailly navgraphe 3 1 6 Installation Les difficult s rencontr es lors de l installation de Linux et du pilote de la carte graphique nous ont incit r diger un manuel d installation de ce qui est n
98. mantique utilisant les particularit s du graphe est possible Ces techniques bas es sur le mod le de force ont t con ues gr ce l espace 2M puisque nous avions d cid d explorer les cas de fusion s mantique avec actions en parall le Le point dans l espace fig nous avons r fl chi l usage le plus naturel d une telle technique pour la t che d dition Ces techniques n ont pas pu dans le temps de l ann e de M2Rech tre d velopp es T1 78 Ces techniques demandent d approfondir Tulip l outil de visualisation de graphes De plus les donn es manipul es tant tr s importantes l aspect algorithmique ne pourra tre ignor En effet chaque modification du graphe nous nous devons de maintenir les contraintes esth tiques qui ont une complexit algorithmique importante Ces raisons nous am nent projeter le mod le de force comme sujet de stage jusqu septembre M me si ces techniques d interaction n ont pas pu tre cod es elles nous semblent les plus pertinentes car elle semblent naturelles et prennent en compte la structure particuli re des graphes d ARN pour qui cette manipulation est justifi e La conception de ces techniques a aussi permis d illustrer le pouvoir g n ratif de notre espace 2M S lection d une zone L utilisateur peut d finir une zone de s lection du graphe Pour cela elle il manipule une fen tre semi transparente Cette fen tre est de type Window2M et les te
99. n geste est un mouvement de son corps qui donne lui m me ou un associ dans la communication Cet associ peut tre un humain ou un partenaire Cadoz 94 distingue trois types de geste suivant leur finalit principale e Le geste s miotique il sert faire conna tre par le moyen de signes ex les gestes accompagnant la parole e Le geste pist mique c est un moyen de conna tre ex la combinaison de la perception cutan e avec le mouvement des mains et des doigts qui permet de percevoir la forme ou la taille d un objet e Le geste ergotique il permet d agir physiquement sur les objets pour les saisir les d placer les modeler Dans le cadre de ce projet les gestes envisag s sont de nature ergotique ils servent manipuler des graphes La fa on de r aliser ce geste pression rapidit ne sera pas dans un premier temps capt par le syst me informatique 15 16 1 2 Canal gestuel Le canal gestuel comprend les gestes de la main dominante la main droite pour les droitiers et la main non dominante la main gauche pour les droitiers les gestes des doigts des l vres handicap s ou t ches bien sp cifique telle que le pilotage d avion des pieds p dales des membres ou le corps tout entier pour commander la machine Dans le cadre de l Interaction Homme Machine le canal gestuel est encore sous exploit 1 3 Conclusion sur le canal gestuel Dans cette tude nous nous int ressons
100. n temps de transition est ventuellement pr sent Celui ci est d un co t cognitif et ne concerne pas le temps de prise en main du dispositif comme dans le changement de dispositifs lors d interaction mono manuelle op rateur Homing dans KEYSTROKE Card 83 Ce temps de transition est d autant plus petit que les dispositifs sont en ad quation avec les sous t ches r aliser ou que l utilisateur est expert e Le cas de sous t ches parall les souligne l apport de l interaction bi manuelle sur l efficacit de l interaction Ainsi des sous taches qui taient initialement pr vues pour tre effectu es s quentiellement peuvent tre r alis es de mani re parall le si l utilisateur est un expert Par exemple dans Bourgeois 01 il est montr qu il est possible de zoomer en m me temps que de se d placer Nous affinons les deux relations temporelles identifi es s quentiel et parall le avec les relations d Allen Allen 83 de la Figure 17 Nous retenons que cinq relations temporelles des sept d Allen en ne consid rant que celles utilis es comme des sch mas de composition de modalit s dans l espace pour la multimodalit Vernier 01 Figure 10 du chapitre IT Au lieu de deux cas s quentiel et parall le nous obtenons donc cinq cas Pour chaque cas nous reprenons la terminologie de la Figure 10 du chapitre III pour l aspect temporel et nous le sch matisons en nous inspirant des sch mas comme celui de la Figure 11 d
101. nc d tre n cessaire pour r duire cette latence et rendre le syst me utilisable Tulip manipule des graphes qui ont plusieurs milliers de n uds Il faut donc minimiser le nombre d appels la fonction d affichage de Tulip Dans l ancien prototype pour chaque v nement provenant de la table un appel Tulip tait effectu Comme il faut 1 100 de seconde Tulip pour afficher le graphe pendant ce temps plusieurs v nements jeton s accumulent dans la queue d v nements et seront trait s un par un d s que Tulip aura fini d afficher Il semble vident que les v nements jetons interm diaires devraient tre ignor es afin d am liorer la r activit du syst me c est ce qui se passe pour les v nements souris dans les interfaces standards Pour cela nous avons propos d ignorer les v nements interm diaires en utilisant un objet partag Le programme est donc compos en trois parties e la boucle idle de GLUT qui est appel e en permanence pour l affichage e Un thread qui coute les v nements jetons sur la socket e Un objet partag en l occurrence une table index e par l identifiant des jetons map qui maintient en permanence l tat des diff rents jetons sur la table Cette table correspond l impl mentation de la notion de carte des jetons que nous avons expos au paragraphe 2 3 1 pour la r alisation de la fusion lexicale Du c t r seau d s qu un v nement jeton arrive
102. ndis que la MD d signe l objet colorier Dans le cas de la toolglass la MND d place la palette de couleurs et sp cifie ainsi la couleur et l objet tandis que la MD d clenche la t che 3 5 4 Utilisation de touches sp ciales Dans les interfaces graphiques classiques les utilisateurs experts ont naturellement volu vers l interaction bi manuelle en utilisant en m me temps que la souris dans la MD les raccourcis clavier par exemple Ctrl C Ctrl X Ctr V dans la MND Dans Mcloone 03 le clavier comprend des touches d di es pour un ensemble de raccourcis comme le montre la Figure 27 Notons q un clavier augment des principaux raccourcis avait t propos d s les ann es 1980 Figure 30 Clavier Xerox avec des raccourcis sur la gauche pour la main non dominante 58 59 De m me dans Myers 00 le PDA est utilis pour afficher des boutons de raccourcis s lectionn s par la MND La SNCF utilise aussi un petit bo tier avec 4 4 touches pour avoir un grand nombre de fonctionnalit s accessibles rapidement Ce bo tier oblige un apprentissage pour les utilisateurs La MND effectue une action discr te En ne faisant aucune hypoth se sur le type d action effectu e par la MD discr te continue ou compos e au sein de l espace 2M la caract risation diff re selon les dimensions D pendance et Temporalit en consid rant deux r les de la touche 1 Si la touche a un r le de modifieur comme Shift dans la s l
103. niques d interaction que nous regroupons dans une bo te outils BiToolKit Ses principaux composants sont e Une fen tre graphique Window2M e Panel e Boutons e Canvas Parmi les composants graphiques nous ne d crivons que l interaction avec une fen tre Window2M interaction qui est la plus originale et repose sur une interaction la fois une main et deux mains Interaction avec une main un jeton D placement Si le jeton est plac dans la barre des titres la fen tre devient active La fen tre est alors attach e au jeton Le d placement du jeton implique un d placement de la fen tre de la m me mani re Cette manipulation est similaire au d placement d une fen tre dans les interfaces graphiques standards comme le montre la Figure 41 13 74 Jeton cran Fen tre Figure 41 D placement l aide d un jeton d un fen tre Window2M Redimensionnement Si le jeton est sur l un des bords de la fen tre celui ci permet de redimensionner la fen tre Les redimensionnements c t gauche droit bas et en diagonale ont t d velopp s Rotation Zoom L originalit de notre fen tre est de pouvoir faire naturellement une rotation et un zoom de la fen tre avec une seule main comme le montre la Figure 42 Si le jeton est sur le coin sp cial de la fen tre c est dire en haut droit de la fen tre alors il est possible de faire e Tourner la fen tre le centre de rotation est d f
104. nt aussi utilis es dans l ANF pour transformer la structure du graphe du NF en une structure de graphe Tulip 81 82 Contr leur Adaptateur de noyau Tahe magique Tulio Figure 49 Architecture de l application qui suit le mod le PAC Amodeus Cette structure est maintenue par l abstraction de l agent Graphe dans le CD Cette structure de graphe est not e SuperGraph dans Tulip Dans le cas id al et pour une ind pendance du CD vis vis des bo tes outils le composant LP devrait traduire les demandes de pr sentation du CD en appel de fonctions des bo tes outils utilis es contenues dans le composant P Tulip pour afficher le graphe et notre bo te outils BiToolkit pour les fen tres manipulables deux mains N anmoins dans notre d veloppement le CD est d pendant de la bo te outils Tulip Enfin le composant P contient aussi la bo te outils TclVision B rard 99 pour le suivi de jetons Les v nements re us de cette bo te outils sont d crits en Annexe de ce m moire Si nous rajoutons des surfaces d interaction comme les murs le composant LP g rera l ensemble de ces surfaces Aussi si un ordinateur de poche sert de t l commande pour configurer l environnement informationnel compos de plusieurs surfaces nous rajoutons une arche au sein de l architecture initiale dont le point de contact est le composant LP Cette nouvelle arche structure le code de la meta interface meta ui
105. nt pas t tablis au d part pour l interaction deux mains Notre but sera de montrer dans quelle mesure les dispositifs deux mains un dispositif dans chaque main peuvent tre caract ris s gr ce ces espaces de conception 1 1 Taxonomie des dispositifs physiques selon Buxton Selon Buxton un dispositif d entr e est un transducteur de propri t s physiques que l on peut caract riser dans un espace trois dimensions Comme le montre la Figure 2 e le premier axe de l espace de classification Property sensed d note les propri t s que le dispositif est capable de capter Ces propri t s sont au nombre de trois la position la pression le mouvement e le second axe correspond au nombre de dimensions capt es pour chaque propri t Number of Dimensions Par exemple pour la souris la position est d termin e 24 25 par deux valeurs prises dans un syst me de coordonn es Pour le manche balai la position est un triplet e le troisi me axe distingue le type direct ou indirect de capture Sensing type Par exemple pour un cran tactile ou une cam ra la mesure est directe T alors que la souris implique un interm diaire m canique M Number of Dimensions Sliding Tablet Light Joystick Pen Joystick Touch Touch Tablet Screen Position Treadmill Trackball Trackball Continuous Rotary Pod Thumbwheel Tasa Ferinstat TD o uN gS o nN gt E o a E A Torque Pr
106. ntalement Les actions physiques rendent souvent le calcul cognitif interne plus facile plus rapide et plus fiable Par exemple nous utilisons parfois nos doigts quand nous comptons les joueurs d checs d butant peuvent physiquement d placer temporairement une pi ce d checs sa nouvelle position pour valuer le mouvement et les retours offensifs possibles par un adversaire Les actions pist miques peuvent am liorer la connaissance en r duisant 1 la m moire 2 nombre d tapes et 3 probabilit des erreurs impliqu es pendant le calcul mental Il semble que l interaction deux mains offre plus d occasions pist miques compar es aux techniques une main C est parce que l interaction bi manuelle fournit en soi plus de degr s de libert Il est donc possible de manoeuvrer des donn es plus rapidement pour d couvrir l information qui est cach e ou difficile calculer mentalement Ceci a finalement comme cons quence des temps plus rapides d accomplissement de t che Kirsh 94 Nous venons d exposer des avantages de l utilisation de l interaction bi manuelle qui sont d ordre manuel et cognitif Nous en tudions maintenant les inconv nients 3 2 Inconv nients Il a t constat que l ex cution deux mains n est pas toujours meilleure dans la pratique Pour s en convaincre consid rons l exemple classique suivant se taper la t te avec une main et tourner l autre main sur l estomac L
107. nteraction multimodale bi manuelle Espace de conception 2M Pouvoir taxinomique comparatif g n ratif Chapitre IV Figure 34 Synth se de la d marche de travail pour l espace 2M L espace 2M s articule selon trois axes pertinents pour la conception de l interaction bi manuelle qui sont e le type d actions effectu es par chaque main 61 62 e les relations temporelles entre les actions des deux mains e la d pendance des actions de chaque main En particulier nous avons men une tude d taill e des d pendances des actions de chaque main tant du point de vue utilisateur que syst me Le choix d adopter le point de vue syst me dans notre espace 2M se justifie par sa g n ralit les diff rents types de fusion identifi s pouvant exprimer les d pendances du point de vue utilisateur N anmoins la mise en relation de ces deux points de vue offre des perspectives de recherche approfondir pour cela il convient d tudier les deux flots de donn es issus des actions des deux mains au regard des niveaux d abstraction et des lieux de fusion de la fonction d abstraction des actions physiques en un but utilisateur Comme pour tout espace de conception la pertinence de l espace 2M doit tre tudi e selon son pouvoir taxinomique mais aussi son apport lors de la phase de conception de l interaction en mesurant son pouvoir comparatif d alternatives de conception et g n ratif de nouvelles formes d interaction
108. nterfaces concurrent processing and data fusion Proceedings of CHI 93 p 172 178 1993 NIG 94 Nigay L Conception et mod lisation logicielles des syst mes interactifs application aux interfaces multimodales Th se de l Universit Joseph Fourier Grenoble 1994 NIG 96 NiGay L Coutaz J Espaces conceptuels pour l interaction multim dia et multimodale Journal TSI sp cial Multim dia et Collecticiel AFCET amp Herm s Publ 15 9 p 96 1996 PFA 92 Pfaff G The uims workshop tool developers A metamodel for the runtime architecture of an interactive systems sigchi bulletin 24 1 p 32 37 1992 PFA 92 Pfaff G User interface management systems REN 04 Rennevier P Syst mes mixtes collaboratifs sur supports mobiles conception et r alisation these a l unversit Joseph Fourier Grenoble 2004 SCO 01 SCOTT MACKENZIE I GUIARD Y The Two Handed Desktop Interface Are we Yet Published in Extended abstracts of CHI 01 p 351 352 2001 SCH 93 SCHNEIDER HUFSCHMIDT M K hme T Mallinowski U Adaptative User Interfaces Principles and Practice editeurs Bullinger H J dans la s rie Human Factors in Information Technologie 10 paru chez Elsevier Science Plublishers B V Horth Holland 1993 VER 01 VERNIER F La multimodalit en sortie et son application la visualisation de grandes quantit s d information These de l Universit Joseph Fourier Grenoble 2001 YEE 04
109. ntexte il convient de caract riser finement l interaction bi manuelle afin de mieux comprendre et concevoir des techniques d interaction bi manuelle utilisables Notre espace de conception not 2M vise cet objectif en organisant les aspects de conception de l interaction bi manuelle au sein d un canevas coh rent et unificateur 3 1 Apports d un espace de conception Comme tout espace de conception l apport de notre espace 2M est triple 49 50 Classification des techniques d interaction bi manuelle existantes En vue d une meilleure compr hension de l ensemble des possibilit s l espace 2M doit permettre de classer les syst mes bi manuels par exemple de regrouper ceux aux caract ristiques communes L espace 2M doit permettre galement de situer les futurs syst mes bi manuels par rapport l existant Conception de nouvelles formes d interaction bi manuelle L espace doit permettre aux concepteurs de consid rer de fa on syst matique les param tres de conception De plus par l identification de zones de l espace non encore explor es l espace doit favoriser la conception de nouvelles formes d interaction Comparaison Evaluation de l utilisabilit des techniques d interaction bi manuelle en identifiant par exemple que certains points de notre espace correspondent a des techniques moins utilisables que d autres II est alors possible d envisager un guide de conception pour l interaction bi manuelle su
110. o 1 p 31 61 1994 CAR 83 CARD MORAN T NEWEL A The psychologie of Human Computer Interaction Lawrence Erlbaum Associates 1983 CAS 99 CASALTA D GUIARD Y BEAUDOUIN LAFON M Evaluating two handed input techniques Rectangle editiong and navigation ACM CHI 99 Conference p 236 237 1999 CRO 94 CROWLEY J BEDRUNE J Integration and Control of Reactive Visual Processes European Conference on Computer Vision ECCV 94 Stockholm 1994 DIE 93 DIETRICH H MALINOWSKI U Ktihme T Schneider Hufschmidt M State of the Art in Adaptive User Interfaces Schneider Hufschmidt 93 pp 13 48 93 FIT 95 FITZMAURICE G Isun H BUXTON W Bricks Laying the Foundations for Graspable User Interfaces Proceedings of CHI 95 P 4 1995 FOL 84 FOLEY J WALLACE V CHAN P The Human Factors of computer Graphics interaction techniques JEEE computer Graphics and Applications 4 11 p 13 48 1984 FRO 91 FROHLICH D The Design Space of Interfaces Multimedia Systems Interaction and Applications Ist Eurographics Workshop Stockholm Su de Springer Verlag p 53 69 1991 GAM 95 GAMMA E Helm R Johnson R Vlissides J Design Patterns Elements of Reusable Object Oriented Software ISBN 0 201 63442 2 HardBack 416 pages 1995 GAN 04 GANDINN Techniques d interaction avec de grands graphes rapport de DEA 2004 GOU 92 GouRDOL A NIGAY L SALBER D COUTAZ J Two Case Studies of Soft
111. odalit d interaction et multimodalit La vari t des d finitions du terme modalit laisse entrevoir la difficult d identifier une d finition consensuelle pour la multimodalit Nigay 96 Le terme modalit est tiraill entre d une part les pr occupations des psychologues et des ergonomes et d autres part les consid rations des concepteurs et informaticiens Aussi pour nos travaux nous adoptons la d finition de L Nigay Nigay 96 une modalit est d finie comme le couple lt D L gt o e D d signe un dispositif physique par exemple la cam ra le doigt e L d signe un langage d interaction par exemple pour nos travaux le langage d interaction de manipulation de graphes par manipulation directe Pan Zoom Rotation S lection Cette d finition caract rise donc en particulier les changes de l utilisateur vers le syst me car permet de mettre en relation deux niveaux d abstraction distincts que sont le niveau physique dispositif et le niveau logique langage d interaction Les modalit s sont utilis es pour r aliser une t che qui est le troisi me niveau d abstraction comme le montre la Figure 6 issue de Nigay 94 Ce niveau t che correspond au niveau t che graphique de la taxonomie de Foley du paragraphe Chapitre I1 3 L utilisateur r alise des t ches en vue d atteindre un but Pour cela il labore un plan d actions qui est une repr sentation mentale d une suite de t che r alis
112. oir visualiser une grande quantit d informations car les graphes biologiques sont de tr s grandes tailles d autoriser la manipulation d un graphe projet sur la table avec des jetons et de favoriser la collaboration tre plusieurs autour de la table Comme nous n avions pas d velopp les techniques de manipulation nous avons d cid d laborer des story boards qui leur permettraient de se rendre compte sur des cas concrets les nouvelles possibilit s qui s offraient eux Nous avons donc fait appel un dessinateur Romain Boussard Il y a eu un v ritable travail de collaboration En effet il fallait d une part lui faire comprendre ce que nous voulions qu il dessine D autre part nous retravaillions ses dessins en ins rant dans ces derniers de v ritables graphes biologiques l aide de PhotoShop Ces story boards ont t tr s utiles car ils ont permis de pr senter des techniques d interaction qu il n tait pas toujours facile d expliquer Ces story boards sont pr sent s en annexe de ce rapport 3 T ches identifi es Les r sultats de la collaboration avec les biologistes bien que difficile au d part ont t globalement fructueux et nous ont permis d identifier quatre t ches o un utilisateur peut manipuler avec des jetons un objet projet sur la table 3 1 T che d dition Certains biologistes semblaient int ress s par le fait de pouvoir diter la structure secondaire d ARN surt
113. ojeter le graphe sur une table et de le manipuler avec des jetons reconnus par une cam ra B rard 99 Outre l interaction en entr e la grande taille des graphes manipul s justifie le choix d une grande surface d affichage comme la table La Figure 47 pr sente le contexte d usage du syst me NavGraphe Notons la Figure 47 le fait que d autres surfaces peuvent tre int gr es pour tendre la table comme les murs ou un ordinateur de poche Nous entrevoyons la conception d un v ritable environnement augment informationnel Le contexte d usage fix nous expliquons maintenant la conception des techniques d interaction Au paragraphe suivant par d composition hi rarchique des t ches de haut niveau du chapitre pr c dent nous identifions les t ches l mentaires d interaction Nous d crivons ensuite les techniques d interaction con ue pour r aliser ces t ches l mentaires 1 1 Arbre des t ches La d composition hi rarchique des t ches de NavGraphe en t ches l mentaires est d crite avec la notation HTA dont les op rateurs principaux sont rappel s la Figure 34 69 70 S quence non ordonn e T che Choix l mentaire It ration Parall le Figure 34 La notation HTA L application NavGraphe se d compose en deux t ches s quentielles e Utilisation de l application e Quitter l application La Figure 35 montre ces deux t ches s quentielles qui sont affin es dans les paragraphes su
114. on bi manuelle Le paragraphe 2 tudie l interaction deux mains au regard de la multimodalit Le paragraphe 3 est consacr pr senter notre espace de conception 2M qui permet de prendre en compte les aspects temporels mais aussi de d pendance de la multimodalit lors de la conception de techniques d interaction bi manuelle Une fois les axes de l espace expos s nous analysons le pouvoir taxinomique g n ratif et comparatif de l espace 2M Le paragraphe 4 propose une synth se des contributions et de l espace 2M La deuxi me partie du m moire vise valider nos r sultats en les mettant en uvre dans la conception et la r alisation logicielle d un syst me interactif bi manuel Le domaine d application est la manipulation bi manuelle de graphes d ARN par des biologistes Elle est compos e de trois chapitres Le quatri me chapitre rappelle le probl me biologique sur lequel nous voulons appliquer nos r sultats sur l interaction bi manuelle Il est d compos en 4 paragraphes Le paragraphe 1 pr sente les structures biologiques manipul es Le paragraphe 2 expose notre d marche de collaboration avec les biologistes afin d identifier leurs besoins mais aussi leur pr senter des outils possibles en ad quation avec leur travail Le paragraphe 3 identifie les r sultats de la collaboration avec les biologistes travers quatre t ches Le paragraphe 4 fait une synth se sur les besoins identifi s
115. onde annexe explicite tout ce qui est n cessaire pour installer et d velopper l application La troisi me annexe pr sente le story board labor e en collaboration avec romain Boussard La derni re annexe pr sente quelques points de l application d velopp e par les tudiants que nous avons encadr s 1 CVision TCL Vision 1 1 TCLVision TCLVision est un outil de vision par ordinateur labor par Fran ois Berard francois berard imag fr Il permet l aide d une cam ra de capter la position de jetons sur une table Il indique galement si un jeton appara t dispara t ou se d place Ce logiciel est pr sent sur l ordinateur POUCET Nous d taillons ici la gestion des v nements avec TCLVision La position des jetons est reconnue par le syst me de vision TCLVision Ces venements sont traduits en v nements utilisateur qui arrive sur une socket TCP e l apparition d un jeton sur la table e quand il y a d placement d un jeton e la disparition d un jeton Tous les messages mis et recus par TCLVision sont cod s en NetworkByteOrder BigEndian Les messages mis par TCLVision sont les suvants e ACK 10 Un acquittement chaque appel TCLVision e EVT 3 l envoi des diff rents param tres d un jeton Ce dernier est compos o D un code venement MOTION 0 APPEAR 1 DISAPPEAR 2 L identifiant du jeton un entier La partie enti re de la coordonn e x du
116. onn es et 1 ceil expert de l utilisateur pour une navigation et une exploration performante de graphes Le projet NavGraphe se focalise sur trois domaines d application o les graphes sont manipul s Bases de donn es vid o Les donn es tant des s quences d images les capacit s du cortex humain se r v lent bien meilleur que la recherche textuelle L enjeu pour ce domaine est de pouvoir r aliser une indexation des s quences vid o en temps r el Cartes s mantiques Les cartes s mantiques sont un moyen d tablir une indexation sur un syst me d information Les techniques algorithmiques pour manipuler classer regrouper rechercher des informations dans les cartes s mantiques d finissent les d fis de ce domaine e Structures biologiques Les techniques les plus avanc es pour la conception de nouvelles prot ines pour l tude de structures tels que l ADN PARNm ou les r seaux cellulaires passent par une tape de visualisation sous forme de graphes Les bio chimistes ou g n ticiens sont demandeurs d outils de visualisation et d interaction pour manipuler et naviguer dans ces tr s grosses structures 3 2 Position par rapport au projet Notre domaine de comp tence dans NavGraphe est THM Interaction Homme Machine pour la navigation l exploration et la manipulation de grandes quantit s d informations Nous nous appuyons sur un logiciel de visualisation de graphes du LaBRI Tulip Auber 01 Dans l
117. ons la d finition introduite dans le cadre de la multimodalit la d pendance de deux sous t ches implique la fusion tandis que l ind pendance l absence de fusion Au paragraphe 2 du chapitre III nous avons tudi la pr sence ou l absence de fusion multimodale en consid rant les aspects temporels pour obtenir quatre classes d usage de modalit s Exclusif Concurrent Altern et Synergique En consid rant les niveaux d abstraction de la Figure 15 nous d finissons alors trois niveaux de fusion lexicale syntaxique et s mantique La fusion lexicale s op re entre les niveaux dispositif et langage celle syntaxique entre les niveaux langage et t che et celle s mantique entre les niveaux t che et but e La fusion lexicale traduit une synchronisation entre des informations de bas niveau Elle correspond l aspect articulatoire de l espace de la Figure 15 Par exemple l enfoncement conjoint de la touche shift et d un clic souris est 53 54 fusionn par le syst me en un seul v nement En java par exemple l v nement MouseEvent poss de un champ qui indique la position mais aussi les touches enfonc es du clavier Cette fusion correspond l op rateur de composition de l espace des dispositifs de Mackinlay paragraphe 1 du chapitre I e La fusion syntaxique consiste combiner des informations pour obtenir une commande compl te ou t che l mentaire comme le paradigme du mets a 1a Bolt 82
118. ons issues du m me dispositif la souris transitent selon des contextes diff rents pour tre regroup s un haut niveau d abstraction NIG 94 La fission en acquisition traduit le besoin de d composer une information issue d un dispositif ou d un contexte pour franchir un niveau d abstraction Par exemple l acte de parole dessine un cercle dans une nouvelle fen tre fait r f rence deux domaines de discours les figures g om triques dessine un cercle et l interface homme machine nouvelle fen tre Cette phrase dont le sens a pu tre identifi partir de donn es capt es par un seul dispositif le microphone doit tre d compos e en deux t ches l mentaires de haut niveau du syst me cr er fen tre destination du gestionnaire de fen tre et cr er cercle dans la nouvelle fen tre destination de l diteur graphique Parall lisme Le parall lisme se manifeste trois niveaux de granularit action physique t che l mentaire grappe de t ches Au niveau physique le parall lisme en entr e autorise l utilisateur agir simultan ment sur plusieurs dispositifs d entr e comme dans l exemple mets a ici Au niveau t che l mentaire le parall lisme en entr e autorise l utilisateur construire plusieurs commandes de front en parall lisme vrai si le parall lisme est g r au niveau physique ou en l absence de parall lisme physique de mani
119. our ces t ches et leur r alisation logicielle Dans ce chapitre nous pr sentons les r sultats de la collaboration avec les biologistes Nous d crivons d abord les structures d ARN manipul es afin de nous familiariser avec le contexte biologique Nous exposons ensuite la d marche de collaboration avec les biologistes travers une analyse ascendante et descendante qui nous a permis d identifier leurs besoins et les t ches informatiques qui en r sultent 1 Structures biologiques manipul es Ce paragraphe a t repris et compl t du rapport de Nicolas Gandin Gandin 04 Les structures manipul es concernent l Acide Ribonucl ique ARN L acide Ribonucl ique est une mol cule tr s importante qui accomplit un grand ventail de fonctions dans le syst me biologique On le retrouve dans le noyau o il est synth tis et dans le cytoplasme comme e ARN messager ou ARNm qui transporte l information en dehors du noyau e ARN de transfert ou ARNt qui d code l information e ARN ribosomal ou ARNr qui constitue avant le ribosome un assemblage de mol cules Ces diff rentes formes d ARN sont invoqu es dans la synth se de prot ines et d autres fonctions de r gulation Par exemple c est PARN qui contient l information g n tique du virus comme l HIV et de plus r gule les fonctions de celui ci L ARN est r cemment devenu le centre d attention des biologistes de par ses propri t s cataly
120. out des fins p dagogiques Il semble qu ils ne disposent pas actuellement de bons logiciels d dition Ils souhaitent pouvoir Supprimer rajouter ou supprimer une base Modifier les liaisons entre les bases pour cr er des boucles Mettre en vidence certaines parties de la mol cule d ARN Annoter des informations e D former certaines parties du graphe afin de se rapprocher d une autre structure Toutes ces op rations d dition doivent respecter des crit res d esth tisme fix s par les biologistes Ces crit res sont e Tailles des ar tes constantes e Repr sentation circulaire des bases non appari s e Pas de recouvrement les ar tes ne doivent pas se couper Il s agit donc de proposer des techniques d dition qui respectent ces crit res d esth tisme 67 68 3 2 T che de comparaison Les biologistes ont souvent besoin de comparer les structures d ARN venant de la m me famille Pour cela ils aimeraient pouvoir les superposer et observer une mise en vidence des diff rences entre les graphes d ARN Il faut pour cela que deux graphes d ARN qui ont une structure proche puissent avoir une repr sentation graphique proche En effet d un point de vue biologique deux esp ces qui ont une structure d ARN proche ont des fonctionnalit s communes 3 3 T che d volution Les biologistes aimeraient bien pouvoir partir d une structure A d une structure B et d un certain langage d inter
121. ph nom ne se produit lorsque des modalit s entretiennent une relation de compl mentarit chaque modalit v hicule une partie d information qui prise isol ment est insuffisante pour faire sens ENTREES Temps Combinaison des diff rentes formes de concurrence et de fusion des cases 1 et 6 Fission Usage exclusif Usage exclusif sans redondance avec redondance C i Fusion Usage altern Usage synergique et compl mentarit et compl mentarit Usage concurrent Usage concurrent sans redondance avec redondance Ni fusion Ni fission Usage exclusif S quentialit Parall lisme actions physiques ou t che ou grappe de t ches L t che ou grappe de t ches Figure 9 Les diff rents cas d usage en entr e de modalit s s quentielle parall le fusion fission Nigay 96 La ligne du bas de la Figure 9 correspond l absence de fusion et de fission On parle d usage exclusif lorsque l utilisateur emploie ou lorsque le syst me impose au plus une modalit la fois Dans la case 5 on n observe ni fusion ni parall lisme Par exemple un syst me uniquement vocal sur t l phone n autorise l usage que d une seule modalit de fa on exclusive la parole Mais comme le montre la case 1 l usage exclusif d une modalit peut amener le syst me pratiquer une fission Le r sultat de cette op ration conduit plusieurs informations distinctes comme dans l exemple de l nonc oral Dessine un
122. propri t s psychologiques prendre en compte Cette tude nous permet ensuite d tudier les avantages et les inconv nients de l interaction bi manuelle Enfin nous conclurons sur l interaction bi manuelle d un point de vue humain Ceci nous permettra d aborder dans les chapitres suivants les espaces de conception en informatique et en particulier les espaces de conception pour l interaction bi manuelle 1 Canal gestuel Cette partie est d di e au geste et au canal gestuel afin de bien cerner notre tude et les gestes tudi s dans le cadre d tude g n ral du geste humain 1 1 Gestes Dans Kurtenbach 90 un geste est un mouvement du corps qui contient l information Faire un mouvement de main pour dire au revoir est un geste Appuyer sur une touche sur un clavier n est pas un geste parce que le mouvement du doigt pour aller frapper une touche n est ni observ ni significatif Tout ce qui importe est quelle touche fut press e De m me un concepteur esquissant avec un crayon sur le papier n est pas consid r comme tant en train de faire un geste parce que ce n est pas le mouvement et le maintien de la main qui sont observ s Tout ce qui importe est la ligne qui est trac e Cependant il convient de noter que dans certains syst mes interactifs la fa on de r aliser ce geste est capt e comme la pression du stylet qui est traduite par une paisseur de trait Hummels 98 utilise alors la d finition suivante u
123. ptuelle D un point de vue purement techniques de programmation la complexit r sidait dans l int gration de bo te 93 94 outils comme TelVision Tcl Tk pour le suivi de jetons Tulip pour la dessin de graphes OpenGl au sein d une architecture d impl mentation r partie avec un serveur En conclusion la conception et d veloppement de ma plateforme constituent une v ritable exp rience de conduite de projet de l tape d analyse de l activit jusqu la r alisation logicielle tout en encadrant une quipe de quatre tudiants Enfin cette plateforme m a aussi permis d appliquer concr tement les mod les outils et m thodes du domaine de l Interaction Homme Machine Initiation la recherche Outre mes travaux de recherche au sein du laboratoire CLIPS j ai eu l occasion de participer des r unions de travail En particulier j ai pr sent mes travaux aux r unions de l ACI Masse de Donn es NavGraphe projet dans lequel s inscrivent mes travaux mais aussi une r union de l ACI ImpBio projet consacr l tude de l ARN J ai aussi effectu des s jours au sein du laboratoire LABRI o travaille D Auber mon deuxi me encadrant Enfin j ai r dig un article long la conf rence UBIMOB 2005 accept pour publication que j ai pr sent Cette premi re exp rience de conf rences m a permis de rencontrer de nombreux chercheurs du domaine de l Interaction Homme Machine 94 95 Bibliographie ALL 83 JAMES
124. que constitue la t l commande de configuration Au sein du CD la hi rarchie d agents PAC est quatre niveaux comme montr e la Figure 50 Nous avons appliqu la r gle de construction intitul e ciment syntaxique Si la sp cification d une commande implique des actions distribu es sur plusieurs agents ceux ci doivent tre plac s sous le contr le d un agent qui cimente les actions r parties en une commande Nigay 94 Ainsi nous avons un agent Racine qui est au sommet de la hi rarchie de tous les agents Ses deux agents fils sont l agent Requ te et l agent Ciment 82 83 e L agent requ te est pour l instant vide mais permettra d interroger des bases de donn es biologiques dans le futur e L agent Ciment assure la communication entre ces trois agents fils Historique Commande et Graphes afin de les rendre ind pendants e L agent Historique sera utilis dans le futur pour m moriser les commandes effectu es afin de pouvoir revenir dans un tat pr c dent en cas d erreur L agent Commande g re diff rents modes mode Manipulation mode Edition mode Force L agent Graphes g re l ensemble des graphes C est donc le p re de tous les agents Graphe L agent Graphe est responsable de la gestion du graphe Sa facette abstraction poss de la structure SuperGraph de Tulip tandis que sa facette pr sentation poss de la structure GlGraph repr sentation graphique du graphe en OpenGl
125. qui importe un graphe Tulip se trouve dans l ANF La structure du graphe Tulip SuperGraph se trouve dans la facette abstraction de l agent Graphe Sa repr sentation en OpenGl GIGraph se trouve dans la facette pr sentation de l agent Graphe De plus j ai sauvegard mon projet au moment o l architecture PAC Amodeus a t labor e Ainsi nous disposons d une bonne base pour le d veloppement de toute application multim dia qui repose sur l architecture PAC Amodeus La structure vide PAC Amodeus est d velopp e et r utilisable 3 1 2 Patrons de conception Pendant cette ann e de M2rech j ai d couvert les patrons de conception design pattern Gamma 95 Je me suis alors attach les appliquer Dans le domaine de l analyse et de la conception orient e objet un patron de conception est une mani re de construire la structure d une classe Plus g n ralement un motif de conception est un document qui d crit une solution g n rale un probl me qui revient souvent Les motifs sont bas s sur des exp riences pass es avec les m mes structures Les patrons de conception sont ainsi des techniques permettant d augmenter la productivit en adoptant certaines structures tablies et r utilisables et de faciliter la communication entre d veloppeurs 86 87 3 1 3 Optimisations L un des probl mes rencontr s avec le d monstrateur de Nicolas Gandin est la latence Un effort particulier d optimisation a do
126. r expert Nature des actions MND continue sauf pour les boutons sur le PDA MYERS 00 o l action tait discr te MND dicr te MD compos e D pendance les sous t ches correspondent des commandes distinctes qui n impliquent pas de fusion Les sous t ches sont donc ind pendantes bien qu elles concourent un but commun 3 5 2 Editeur de dessin Yee 04 Dans Yee 04 une surface bi manuelle est cr e en superposant un cran tactile au dessus d une tablette PC comme le montre la Figure 28 Deux t ches de dessin sont consid r es pour l interaction bi manuelle Une premi re t che de dessin est d compos e en deux sous t ches l une de d placement de la feuille de dessin par la MND l autre de dessin d un trait par la MD Cette t che se rapproche de celle consid r e pr c demment la MND fixant le contexte dans lequel la manipulation est faite par la MD Buxton 05 Cette interaction bi manuelle a donc la m me position dans notre espace 2M que le cas pr c dent 56 57 Figure 28 T che de dessin YEE 04 Il est possible de s lectionner la couleur ou d placer la feuille virtuelle avec la main non dominante et dessiner avec la main dominante Une autre t che de dessin est d compos e en deux sous t ches l une de s lection de la couleur dans la palette par la MND l autre de dessin d un trait par la MD Cette interaction bi manuelle permet d obtenir un trait multicolore Au sein de notre espace elle e
127. r la base de l espace 2M 3 2 Dimensions de l espace 2M L originalit de notre approche est de combiner deux domaines qui sont la multimodalit et l interaction bi manuelle Nous constatons que l espace de conception de l interaction multimodale et celui de l interaction bi manuelle partage la dimension temporelle Les deux autres dimensions respectivement d pendance pour la multimodalit et nature de l action pour l interaction bi manuelle sont distinctes Nous obtenons donc trois dimensions qui d finissent notre espace 2M comme le montre la Figure 22 La temporalit elle traduit les relations temporelles entre les sous t ches affect es chaque main Nous utilisons les quatre relations que nous avons d finies au paragraphe 2 s quentielle concomitante co ncidente et parall le La nature des actions cette dimension consid re des couples Main Non Dominante Main Dominante not s MND MD qui reprennent les diff rentes actions d finies dans Buxton 05 Le tableau 2 du chapitre II pr sente les six couples possibles en excluant trois cas qualifi s d inadapt s Nous obtenons donc un axe nature des actions six valeurs discr tes par exemple MND Discr te MD Continu La d pendance Elle traduit si les sous t ches sont d pendantes ou non 50 51 Nature des actions Comp Comp s quentielle concomitante coincidente parall le ind pendante d pendante Temporalit lexical syn
128. r les diff rentes librairies cr es vous devez imp rativement indiquer au syst me o elles se trouvent Pour cela diter le fichier bash_ profile qui se trouve la racine de votre compte et ajouter LD LIBRARY PATH usr locaVlib LD_LIBRARY_PATH Export LD LIBRARY PATH La variable d environnement LD_LIBRARY_PATH contient le chemin pour les diff rentes librairies nous avons donc ici rajouter usr local lib ce path 2 4 Installer Eclipse Nous avons travaill sous Eclipse avec le module CDT qui permet de faire du C ou du C Nous avons choisi cet environnement de d veloppement car il est capable d importer du source C et de g n rer automatiquement un makefile Eclipse est multi plateforme Il est donc plus facile avec cet environnement de faire passer son code sous windows si besoin tait Pour installer Eclipse vous devez d abord installer la derni re version de la machine virtuelle java que l on trouve sur le site de Sun Par d faut sous linux vous pouvez ex cuter du java gr ce gcc Il faut maintenant lui indiquer que vous voulez utiliser la commande java de la machine virtuelle que vous venez d installer Pour cela vous devez diter le fichier bash profile la racine de votre compte et modifier la variable d environnement PATH PATH bin java jsdk1 5 bin SPATH ATTENTION l ordre ici est important Si vous inversez le java de gcc sera le premier trouv et donc le premier ex cut 102
129. raction bi manuelle Afin de d finir un canevas int grateur des activit s de l utilisateur et du syst me lors de l interaction bi manuelle nous avons men une analyse conceptuelle des r sultats en psychologie point de vue utilisateur au chapitre II puis une tude comparative des espaces de conception en informatique point de vue syst me au chapitre III Parmi les espaces de conception tudi s nous consid rons ceux d di s aux dispositifs d entr e puisque souvent les deux mains ne tiennent pas le m me dispositif ceux d di s la multimodalit en entr e en consid rant une modalit par main et enfin un espace de conception d di l interaction bi manuelle Cette tude des espaces de conception nous permet de d finir les bases de notre contribution mais aussi de souligner l originalit de notre d marche qui allie interaction multimodale et interaction bi manuelle deux perspectives sur l interaction qui n avaient pas t tudi es conjointement jusqu aujourd hui Nous concluons la partie conception de notre m moire par l expos de notre contribution l espace de conception 2M au chapitre IV espace qui est d di l interaction bi manuelle et qui est issu de la capitalisation de plusieurs r sultats en interaction multimodale et bi manuelle Notre espace 2M s articule selon trois axes pertinents pour la conception de l interaction bi manuelle qui sont 1 le type d actions effectu es par chaque main 2
130. re la compl mentarit et la redondance aspect s mantique de la composition derni re ligne Ainsi nous remarquons que les deux premi res colonnes sont relatives la compl mentarit alors que les deux derni res correspondent aux diff rents cas de redondance respectivement redondance partielle et redondance totale La colonne du milieu d finit la relation qu il peut exister entre ces deux propri t s compl mentarit et redondance Sch mas de composition Composition 5 A Sas Parall le Temporelle Anachronique S quentielle Concomitante Co ncidente lt Simultan e Spatiale Disjointe Adjacente Intersect e Imbriqu e Recouvrance Fissionn e Partiellement Articulatoire Ind pendance Fissionn e Dupliqu e Dupliqu e Dupliqu e Syntaxique Diff rente Compl tion Divergence Extension Jumelage IO een Comple Compl mentaire Partiellement Totalement gt que Concurrente aj mentaire Redondante Redondante Redondante Figure 10 CARE tendues Application des sch mas de composition aux cinq aspects de composition Vernier 01 E de russe 2 6 Conclusion sur la multimodalit Dans le cadre de notre tude sur l interaction deux mains nous avons tudi plusieurs espaces de conception de la multimodalit en focalisant sur les modalit s d entr e De cet tat de l art e Nous concluons que o La distinction entre les deux mains n a jamais t explicit
131. s de commentaires r partis dans plus de 60 classes 120 fichiers Nous d veloppons dans les paragraphes suivants les l ments qui contribuent la qualit du code produit ce jour 3 1 1 Architecture globale PAC Amodeus Le nom des classes ainsi que la structure de mon projet suit l architecture PAC Amodeus Nous retrouvons par exemple e un r pertoire pour chaque composant ARCH du mod le PAC Amodeus e un r pertoire pour chaque agent du contr leur de dialogue Chaque agent est constitu de trois classes lt nomAgentA gt lt nomAgentC gt lt nomAgentP gt respectivement pour la facette abstraction la facette contr le et la facette pr sentation de l agent Chaque facette d un agent h rite de la facette l mentaire qui lui correspond Par exemple monAgentA h rite de facetteElementaireAbstraction Ces facettes l mentaires imposent les r gles de communication entre les diff rentes facettes des agents et les agents eux m mes 85 86 FacettePresentation FacetteControle FacettePresentation FacetteControle fc FacetteAbstraction fa FacetteControle fc KernelAdaptator ka FacettePresentation fp LogicPresentation Ip FacetteControl pere FacetteControl fils getNbFils addFils delFils getFils int i Agent lt Nom gt A Agent lt Nom gt C Agent lt Nom gt P Figure 51 Mod le UML d un agent PAC Cette r gle permet de facilement r utiliser les fonctions au sein du code Par exemple la m thode
132. se parles dimensions suivantes niveaux d abstraction contexte fusion et fission granularit du parall lisme 2 3 1 1 Dispositif d entr e Les dispositifs d entr e ou capteurs sont capables de recevoir des informations de types donn es sous le contr le d une capacit computationnelle ou processus Cette d finition met l accent non pas sur l aspect liaison mais sur les intervenants de l acte de communication la source et le r cipien 2 3 1 2 Fonction d acquisition L information acquise par les dispositifs d entr e est transform e par les processus internes du syst me Cette suite d op rations mod lise la fonction d acquisition A chaque dispositif d entr e nous associons une fonction d acquisition qui prolonge au c ur du syst me les capacit s de calcul du dispositif Ce point correspond au m canisme d abstraction de la th orie de Mackinlay Chapitre I1 2 Niveaux d abstraction La notion de niveau d abstraction exprime le degr de transformations subies par les informations re ues par les dispositifs Elle couvre galement l ventail des repr sentations que g re le syst me depuis les informations brutes les signaux jusqu aux repr sentations symboliques le sens Une fonction d acquisition se caract rise par son pouvoir d abstraction des v nements re us du dispositif d entr e auquel elle est associ e 34 35 Contexte La capacit d une fonction abstraire peut
133. solutions con ues nous semble int ressant d tudier par exemple par une tude comparative en demandant deux quipes de concepteurs l un utilisant l espace 2M comme outil de conception l autre sans de travailler sur un projet De plus le pouvoir comparatif de l espace implique de qualifier chaque point de l espace du point de vue utilisabilit Ce travail qui n cessite le d veloppement et l valuation de techniques d interaction permettra d tablir un v ritable guide de conception de l interaction bi manuelle Un ensemble de t ches l mentaires pertinentes pour l interaction bi manuelle et si possible ind pendantes du domaine d application devra tre identifi et permettra de comparer la qualit ergonomique des techniques d interaction bi manuelle entre elles au regard d une t che 92 93 Enfin nous envisageons d explorer syst matiquement les zones de l espace 2M qui sont vierges et qui correspondent aucun syst me existant Ceci nous permettra de concevoir de nouvelles formes d interaction et de les tester exp rimentalement Plateforme logicielle d interaction bi manuelle Notre syst me qui repose sur une table augment e et la manipulation de jetons constitue une v ritable plateforme pour d velopper et tester des interactions bi manuelles Tandis que certaines techniques d velopp es sont propres la manipulation de graphes d ARN d autres comme celles de manipulation des fen tres et zones de s lection sont g
134. sous Tulip et les caract ristiques de la cam ra qui regarde le graphe Figure 50 Hi rarchie d agents PAC du contr leur de dialogue 2 3 Solution architecturale g n rique pour l interaction bi manuelle Les diff rents types de fusion de l axe D pendance de notre espace de conception 2M ont t identifi s dans le contexte de l interaction multimodale Ces types de fusion ont t localis s au sein du mod le PAC Amodeus dans Nigay 94 Ce r sultat est donc directement applicable pour la conception logicielle d interaction bi manuelle Nous d crivons le lieu de ces fusions au sein du mod le 83 84 2 3 1 Fusion lexicale Rappelons que la fusion lexicale est la fusion de bas niveau Celle ci est g n ralement r alis e par la bo te outils elle m me Dans TCLVision il n y a pas de fusion lexicale pour les v nements li s aux jetons Lorsque nous recevons un v nement li un jeton nous ne recevons pas d information sur la position des autres jetons sur la table Nous pourrions tendre cette bo te outils au sein du composant Pr sentation Nous proposons de r aliser la fusion lexicale entre les composants P et LP l aide d une carte des jetons maintenus dans le composant Pr sentation Cette carte contient tout instant les propri t s de tous les jetons sur la table Lorsqu un nouveau jeton est apparu il met jour cette carte 2 3 2 Fusion syntaxique La fusion syntaxique correspond
135. ssceceesceceessececsesaeeeceueeeeesseeeenanes 93 CHAPITRE VMI ANNEXES vacidtsccsessscesenssicccebesansecechaccesesboccchanseeedssnsaceesocbsadsvasesovssesnsassuussacedeecsscdewedoeseosassuecvoe 99 VC VISION TELEVISION ic lao sd 99 AS ARA RA 99 LD OEE 3Y AAO e li TEE rta a teles Ad a eno nal a da da ess x 100 2 INSTALLATION ET D VELOPPEMENT soli 100 2 ARS TALENT O ohh cas ARR Ed ele AN mn en ele ns nr 101 2 2 Installer la carte graphique nvidia sense 101 De SANSIGUCHAUIIP Se MATE Mer er lan ne A MA eu RU Re a eaae eae nn 102 2 A nStalenEclps cit meals eat in Melek He cht se e sae selon Me M en ne L O dda de en ets 102 2 5 Installer CDT module C et C pour eclipse ccccccecccccsscecseccsssesceteeseesecseseecneeeecnseeseesecseeeeneeeeeaeets 103 2 6 Installer elut cluetopengl ss nn ane nt nan Mr einen 103 ZAS A CR SAMEDI RS tse ec aes A NN dara DE A WOM NO Me de AA de SONS Mee A ee 103 2 8 Installer le projet navGraphe soc veccsossecsasebepecnssapostandeptanssdpsesederterepadbusauedapssndesehaseastaghscsnadgedenedagbsnaaes 103 DS TORYSBOARD IEAI ARA deis 105 PROJETRICMP nn Ride A del HER oh gc ane ete dde ARR and Sees d nt ete sts 107 Chapitre Introduction Le projet de recherche a trait la conception ergonomique et la r alisation logicielle de techniques d interaction bi manuelle avec de grands graphes L tude en prenant en compte la sp cificit des donn es manipul es vise contribuer l am lioration d
136. sse Token qui poss de tous les attributs n cessaires codeEvenement id x y temps et les ascesseurs correspondants la classe CVision capable de se connecter au programme TCLVision par socket de le lancer et d couter les diff rents v nements La partie r seau est totalement transparente pour l utilisateur et repose sur la librairie de Lionel Balme lionel balme imag fr SlimLib Les m thodes de CVision sont donc les suivantes Start pour lancer le serveur TCLVision Stop pour arr ter le serveur TCLVision StartListen pour commencer couter les v nement TCLVision StopListen pour arr ter couter les v nements TCLVision Calibrage pour calibrer TCLVision En fonction des v nements lus sur la socket le programme met jour la structure de donn es contenant toutes les informations des jetons pr sents sur la table stock dans une map pour permettre l indexation directe par l identifiant du Jeton CVision est incorpor dans un thread afin de ne pas bloqu le programme parent et pour des soucis de performance 2 Installation et d veloppement Nous d taillons ici les installations n cessaires pour faire tourner l application 100 101 2 1 Installer Linux Dans le cadre de notre tude nous avons utilis Fedora Core 3 2 2 Installer la carte graphique nvidia L installation de la carte graphique n est pas toujours vidente Il est conseill de bien conna tr
137. st caract ris e par Temporalit les sous t ches sont effectu es de fa on s quentielle mais aussi co ncidente la sous t che de changements de couleurs par la MND tant effectu e pendant la r alisation de la sous t che de dessin du trait Nature des actions MND discr te MD compos e D pendance les sous t ches correspondent des commandes distinctes qui sont fusionn es au niveau s mantique pour obtenir un trait multicolore Les deux sous t ches sont donc d pendantes et leur fusion est effectu e au niveau s mantique Ce cas correspond l interaction dans VoicePaint Gourdol 91 o la couleur du trait tait chang e par la voix 3 5 3 Toolglass Une toolglass Bier 94 est une surface transparente sur laquelle sont dispos s des outils interacteurs semi transparents comme le montre la Figure 29 La fen tre de la toolglass est manipul e de la MND elle est attach e une trackball ou tout autre p riph rique chantillonnant des trajectoires planes qui permet de d placer la toolglass dans les deux dimensions du plan afin de pouvoir superposer les outils qu elle offre avec des objets de l application situ s en dessous Ce syst me d finit trois couches le pointeur manipul avec la MD la toolglass portant les outils et contr l e avec la MND et les objets de l application en dessous Pour utiliser un des interacteurs de la toolglass l utilisateur superpose l outil utiliser l objet modifier
138. st pas exclu qu une modalit non contenue dans M puisse permettre cette transition Comme pour la redondance l utilisation compl mentaire de modalit s peut tre parall le ou s quentielle 2 5 Propri t s CARE tendues Vernier 01 Dans Vernier 01 les propri t s CARE sont affin es avec la mise en relation de cinq sch mas de composition avec cinq aspects de composition qui sont le temps l espace 37 38 articulation des dispositifs la syntaxe des langages repr sentationnels et la s mantique de l information v hicul e Dans les aspects outre les dimensions spatio temporelles de la composition de deux modalit s nous retrouvons les niveaux dispositif articulatoire et langage syntaxique de la d finition d une modalit tandis que l aspect s mantique caract rise la compl mentarit et la redondance de CARE La Figure 10 illustre cette mise en correspondance Tir s des travaux d Allen Allen 83 sur l aspect temporel les cinq sch mas de composition illustrent la composition de modalit s loign es 1 colonne la composition de modalit s avec un point de contact 2 colonne la composition de modalit s avec une intersection non vide 3 colonne la composition de modalit s dont l une est plus tendue et englobe l autre 4 colonne et la composition de modalit s de m me tendue 5 colonne Cet espace de classification affine les deux propri t s CARE concernant la fusion c est di
139. t Out contient alors les 5 valeurs angulaires correspondantes e R ou fonction de r solution Resolution function d finit la correspondance entre les domaines In et Out Dans le cas du bouton cette fonction exprime les conditions de passage entre les angles du mouvement effectu par l utilisateur et les crans angles en sortie impos s par le dispositif e S d note l tat actuel du dispositif state Il comprend la valeur Jn de l entr e prise dans In l instant pr sent t la valeur Out prise dans Out et un tat interne e W d signe le fonctionnement externe et interne du dispositif physique Works Il permet de mod liser des relations int ressantes entre In et Out en fonction de l tat Par exemple certains dispositifs captent des valeurs sans percevoir les valeurs interm diaires entre deux valeurs capt es successives La tablette est dans ce cas il y a des gestes humains que le dispositif ne peut percevoir d o un risque de perte d informations potentiellement utiles la qualit de la communication 2 0 Figure 4 Bouton crant Par exemple le bouton crant de la Figure 4 est d crit par le sextuplet suivant M Rz rotation par rapport l axe z In 0 180 Out 0 45 90 135 180 R favec f In 0 22 5 0 22 5 67 5 45 67 5 112 5 90 112 5 157 5 135 157 5 180 180 W 4y 27 28
140. t tre mod lis e comme une KC o la main dominante repr sente le terminal de la cha ne Cette main re oit plus de consid ration car elle est l l ment le plus remarquable dans ce syst me deux mains Le composant directement en contact de l environnement termine des actions typiquement initi es par son associ 2 3 Conclusion sur la psychologie Pour notre tude nous retenons du mod le de Y Guiard que l interaction deux mains suit le mod le de la cha ne cin matique et donc les quatre propri t s suivantes e La main non dominante fixe le contexte tandis que la manipulation proprement dite est effectu e par la main dominante e La main non dominante est macro m trique tandis que la main dominante est microm trique e La main non dominante intervient avant que la main dominante agisse e La main dominante est la main pr f r e car elle termine les actions et touche le monde Nous allons maintenant noter les avantages et les inconv nients de l interaction deux mains dans le cadre de l informatique 20 21 3 Avantages et inconv nients de l interaction bi manuelle Dans la partie pr c dente nous avons tudi comment interagissaient les deux mains gr ce un mod le psychologique N anmoins ce mod le ne nous indique pas quand il faut utiliser interaction bi manuelle En premi re analyse il semble vident que l interaction bi manuelle est avantageuse tant pour son caract re naturel qu
141. taxique s manti ue pendance Dis discr te Cont continue Comp compos e Figure 22 Espace de conception 2M pour l interaction bi manuelle Tandis que les deux premi res dimensions ont t tudi es dans le cadre de l interaction bi manuelle la troisi me dimension d pendance est d finir pour l interaction bi manuelle 3 3 Dimension D pendance Cette dimension consid re la d pendance des sous t ches effectu es par les deux mains Comme la plupart des t ches sont compos es et peuvent donc se d composer en sous t ches il est difficile de d clarer la d pendance de sous t ches sans fixer la granularit des sous t ches consid r es En effet nous avons soulign au paragraphe 1 le continuum qui existe de l action physique l mentaire la t che de plus haut niveau d abstraction not e but la Figure 16 Outre le probl me de figer la granularit des sous t ches consid r es selon cette dimension la notion m me de d pendance est difficile d finir Nous proposons ici deux d finitions de la d pendance en adoptant deux points de vue distincts l un centr utilisateur l autre centr syst me 3 3 1 D pendance d un point de vue utilisateur Pour tudier la d pendance d un point de vue utilisateur nous consid rons le r sultat obtenu par la r alisation des deux sous t ches En effet une mani re de d finir la d pendance est d valuer le r sultat des deux sous t ches en fonction de
142. tinue Discr te Inadapt Continue Continue Etirer une ligne chaque extr mit utilisant une trackball dans la main non dominante et la souris dans la main dominante Continue Compos e Scroller avec une trackball dans la main non dominante et pointer et cliquer avec une souris dans la main dominante Compos e Discr te Inadapt Compos e Continue Inadapt Compos e Compos e Tache complexe de dessin T3 Fitzmaurice 97 Tableau 2 Classification complexe des diff rentes formes d action bi manuelles Buxton 04 Outre les types d actions effectu es par les deux mains l espace consid re aussi la temporalit des actions 3 2 Temporalit des actions Selon Buxton l autre mani re de d crire l interaction bi manuelle consiste consid rer les relations temporelles des actions effectu es par les deux mains L objectif est ici double classer les diff rentes actions bi manuelles mais aussi comparer les co ts et les b n fices de l interaction deux mains par rapport l interaction une main 41 42 3 2 1 Temporalit dans l interaction une main Supposons deux sous t ches A et B Dans un diteur de dessin la sous t che A peut tre par exemple le fait de dessiner avec l outil pinceau alors que la sous t che B consiste choisir des propri t s dans la palette Pour r aliser sa t che de dessin l utilisateur doit alterner la sous t che A et la sous tache B Entre chaque sous
143. tiques qui se traduit par le besoin d obtenir des informations structurelles Structurellement un ARN est un polym re dans lequel des monom res ribonucl iques sont li s ensemble par des ponts Chaque nucl otide contient une base Les quatre bases sont e Ademine A e Cytosine C e Guanine G e Uracil U Un ARN est constitu d une seule et m me cha ne polynucl ique qui est loin d tre r guli rement lin aire Il comporte de vastes r gions de bases appari es Les bases 65 66 compl mentaires A U et G C forment des appariements de bases stables travers la cr ation de liens d hydrog ne entre les sites r cepteurs et metteurs de ces bases Ils sont appel s appariements de type Watson Crick D autres appariements existent G U la paire branlante comme les deux pr c dentes est une paire canonique contrairement aux appariements non canoniques comme A U et G C Il existe trois fa ons de repr senter la structure d ARN e La structure primaire de ARN qui est la repr sentation de ARN comme une simple s quence de nucl otides e La structure secondaire visualisation en 2 dimensions d ARN r f re des motifs structuraux comme les tiges boucles en pingle cheveux boucles int rieures et multi branches Les tiges sont des r gions auto compl mentaires A U U A G C C G tandis que les boucles en pingle cheveux ont des r gions avec des bases non appari es Les jonctions d ARN bo
144. u chapitre III de l espace de Buxton Buxton 05 EvtB EvtB E Before Evt A Ends Evt A gt gt temps temps Evt B amr Evt B E Meets EvtA During EvtA DO gt gt temps temps Evt B C Evt B Overlaps EvtA gt equals EvtA gt gt temps temps Evt B u Starts EvtA ey temps Figure 17 Les sept relations d Allen Allen 83 Anachronique ou s quentielle Lorsque deux sous t ches sont r alis es de mani re s quentielle avec un temps de transition comme le montre la partie gauche de la Figure 18 elles 47 48 sont r alis es de fa on anachronique Si le temps de transition donc le co t cognitif tend diminuer vers 0 la r alisation des sous t ches se rapproche du cas s quentiel comme le montre la partie droite de la Figure 18 Aussi nous regroupons les deux cas anachronisme et s quentialit en un seul cas que nous notons s quence Main non dominante Temps de temps transition Figure 18 S quence de sous t ches avec un temps de transition partie gauche et sans temps de transition partie droite Exemple sous tache B choix de la couleur dans une palette et sous tache A coloriage de la couleur courante Concomitante Les deux sous taches sont r alis es s quentiellement avec un recouvrement chevauchent des sous taches comme le sch matise la Figure 19 Avant d avoir termin une sous tache l utilisateur expert commence d j l autre
145. ucles int rieures et multi branches se cr ent quand deux ou plusieurs tiges se rencontrent et qu elles contiennent des bases qui ne correspondent pas L architecture globale de la mol cule est principalement stabilis e par les paires de bases canoniques A U G C et G U Les derniers r sultats en biologie montrent que cette repr sentation atteint ses limites et qu une grande quantit d information est perdue lorsque que l on passe de la repr sentation 3D structure tertiaire la structure secondaire e La structure tertiaire structure en 3D est de plus en plus utilis e car il semblerait que ce ne soit pas la s quence de nucl otide qui soit le plus important mais la structure de ARN dans l espace La structure de l ARN d finit sa fonctionnalit Si deux ARNs n ont pas la m me s quence mais qu ils ont la m me structure dans l espace il est tr s probable que leurs fonctionnalit s soient proches 2 D marche de collaboration avec les biologistes Il est vident que la biologie n est pas notre domaine de comp tence Il tait donc indispensable pour nous de collaborer afin de pouvoir comprendre leur travail et leur contexte de travail analyse de l activit Cette premi re approche centr e utilisateur est appel e analyse descendante A l inverse l analyse ascendante consiste proposer aux biologistes de nouveaux outils d j labor s ou en cours d laboration afin de valider les techniques d
146. ues d interaction bi manuelle 1 Synth se de notre contribution Notre m moire s organise en deux parties l une d di e la conception de l interaction bi manuelle et l autre l application de nos contributions au cas de la manipulation de graphes biologiques La Figure 52 r sume notre d marche de travail mise en relation avec les chapitres du m moire Point de vue utilisateur Point de vue syst me R sultats en psychologie Espaces de conception en informatique B nefices et difficult s chez chapitre ITI l homme de r aliser des actions bi manuelles chapitre ID Dispositifs Interaction Interaction d interaction multimodale bi manuelle Espace de conception 2M chapitre IV Pouvoir comparatif et g n ratif de l espace 2M Pouvoir taxinomique de l espace 2M Application Conception et d veloppement de techniques d interaction bi manuelle pour manipulaer des graphes biologiques chapitres V et VI Classification des syst mes existants chapitre IV D marche de conception centr e utilisateur 1 Analyse des besoins r unions avec des biologistes 2 Conception de techniques bi manuelles en appliquant l espace 2M 3 Conception logicielle architecture 4 D veloppement Figure 52 D marche de travail et chapitres du m moire 90 91 La premi re partie de notre m moire compos e de trois chapitres est consacr e la conception de l inte
147. une ex cution de la t che un niveau de granularit sup rieure N anmoins en phase de conception la prudence s impose et des exp rimentations ont soulign la charge cognitive et actionnelle de synchronisation des deux mains 22 23 4 Conclusion sur l interaction bi manuelle Dans ce chapitre nous avons tudi les r sultats les plus importants sur les caract ristiques du geste humain Nous retenons pour notre tude les points suivants Le type de geste effectu par les mains est ergotique La main non dominante fixe le contexte tandis que la manipulation proprement dite est effectu e par la main dominante La main non dominante est macro m trique tandis que la main dominante est microm trique La main non dominante intervient avant que la main dominante agisse La main dominante est la main pr f r e car elle termine les actions et touche le monde L interaction bi manuelle n est pas dans l absolu meilleure que l interaction uni manuelle 23 24 Chapitre Ill Espaces de conception existants Tandis que le chapitre pr c dent est consacr aux r sultats issus de la psychologie nous tudions dans ce chapitre les espaces de conception issus du domaine de l interaction Homme Machine Nous tudions d abord les espaces de conception d di s aux dispositifs d interaction puisque l utilisateur peut manipuler des dispositifs de caract ristiques diff rentes dans chaque main Consid rant l
148. ur comprendre leur travail avec l expos de techniques d interaction que nous avons concr tis es sous la forme de storyboards De cette collaboration nous retenons un ensemble de t ches d dition de comparaison d volution et de visualisation multiple L tape suivante consiste concevoir des techniques d interaction adapt es ces t ches puis les d velopper Ceci fait l objet du chapitre suivant 68 69 Chapitre VI Techniques d interaction con ues et d velopp es Dans ce chapitre nous exposons la conception et la r alisation de techniques d interaction bi manuelle pour les t ches pr sent es au chapitre pr c dent Ce chapitre se d compose en trois parties respectivement d di es e la conception de l interaction o nous soulignons l apport de l espace 2M e la conception logicielle selon le mod le d architecture logicielle PAC Amodeus e la phase de codage o nous mettons en avant la qualit du code m canisme syst matique de codage documentation extensibilit 1 Description de l application Le syst me NavGraphe permet des biologistes d explorer de manipuler d diter et de comparer des structures d ARN Nous avons r alis des storyboards joints en annexe afin d illustrer un sc nario d usage Pour favoriser la collaboration autour d un graphe d ARN pour ne pas limiter l interaction un seul utilisateur et pour encourager l interaction bi manuelle nous avons choisi de pr
149. ure 36 nous distinguons la grappe de t ches li es un graphe ce celle li s un sous graphe La Figure 40 montre que lorsque l on travaille sur un sous graphe nous pouvons soit le copier couper coller soit le regrouper clusteriser ce sous graphe ou le voir la zone s lectionn e en 3D 12 73 Travailler sur le sous graphe Visualiser en 3D Figure 40 T che travailler sur le sous graphe 1 2 Techniques d interaction con ues Nous pr sentons les techniques d interaction con ues pour permettre la r alisation des t ches l mentaires du paragraphe pr c dent Il s agit ici de concr tiser les t ches l mentaires abstraites par la conception de techniques ou modalit s d interaction Le r sultat de cette tape est la sp cification de l interaction Nous commen ons par l expos des techniques qui sont g n rales et que nous regroupons dans une bo te outils not e BiToolkit puis nous d crivons les techniques sp cifiques la manipulation de graphes et de graphes d ARN Aussi notre expos consid re les techniques les plus g n rales d abord jusqu aux plus sp cifiques 1 2 1 BiToolKit bo te outils bi manuelle Nous pr sentons ici les techniques g n rales de manipulation de fen tres sur la table Une fen tre doit pouvoir tre manipul e deux mains et tre pivot e pour la montrer un collaborateur de l autre c t de la table Ces deux constats ont motiv le d veloppement de tech
150. us d tudes sur l interaction multimodale et bi manuelle que nous avons expos s au chapitre pr c dent Nous organisons l expos de notre espace 2M comme suit au paragraphe 1 nous enrichissons les travaux sur l interaction multimodale pour prendre en compte le r le des deux mains et d finissons ainsi des niveaux d abstraction pour l tude de l interaction bi manuelle Nous tudions ensuite l interaction deux mains au regard de la multimodalit une modalit par main en affinant d abord l axe temporel de l espace de conception de Buxton Buxton 05 Le paragraphe 3 est ensuite consacr pr senter notre nouvel espace 2M qui permet de prendre en compte les aspects temporels mais aussi de d pendance de la multimodalit lors de la conception de techniques d interaction bi manuelle Les axes de l espace 2M expos s nous analysons ensuite le pouvoir descriptif et taxinomique de l espace 2M en consid rant de nombreux syst mes bi manuels puis nous tudions son pouvoir g n ratif et sa capacit guider la conception de formes d interaction bi manuelle 1 Multimodalit et interaction bi manuelle niveaux d abstraction Bas sur la d finition d une modalit comme un couple dispositif langage Nigay 941 trois niveaux d abstraction d crits au chapitre pr c dent permettent de raisonner sur l interaction multimodale dispositif langage et t che Nous avions rajout un quatri me niveau d abstraction le but Di
151. ut que l utilisateur vise atteindre assorti d une proc dure ou plan qui d crit les moyens pour atteindre ce but Ce plan consiste en une d composition hi rarchique en sous t ches Ces d finitions soulignent donc que la fronti re entre t che et but n est pas aussi vidente que le pr sente notre Figure 15 mais qu il s agit plus d un continuum des t ches l mentaires issues d actions physiques jusqu un but Aussi lors de l tude de l interaction bi manuelle selon nos niveaux d abstraction l enjeu est de ne pas m langer au sein d un m me niveau des concepts de granularit diff rente Nous constatons cette difficult par exemple lors de l tude des relations temporelles entre les actions des deux mains qui selon le niveau d abstraction consid r pour l tude ne seront pas les m mes Les aspects temporels de l activit bi manuelle sont tudi s au paragraphe suivant age L Figure 16 Caract risation des gestes de chaque main des relations entretenues entre ces caract ristiques merge une interaction bi manuelle ou non 2 Interaction bi manuelle et multimodalit aspects temporels 46 47 Les relations temporelles des sous t ches affect es chaque main ont t tudi es dans Buxton 05 dans le cadre de l interaction bi manuelle au chapitre pr c dent Les sous t ches sont effectu es soit de fa on s quentielle ou soit parall le e Dans le cas de sous t ches s quentielles u
152. ware Architecture for Multimodal Interactive Systems VoicePaint and a Voice enabled Graphical Notebook Enginneering for Human Computer Interaction 92 p 271 284 1992 GUI 87 Guiard Y Asymmetric Division of Labor in Human Skilled Bimanual Action The Kinematic Chain as a Model Journal of Motor Behavior 19 p 486 517 1987 HIN 94 Hinckley K Paush R Goble J Kassell N Passsive Real World Interface Props for Neurosurgical Visualization CHI 94 p 452 458 1994 HUM 87 Hummels C Smeth G Overbeeke K An intuitive two handed gestrual interface for computer supported product design Proccedings of Gesture workshop 97 p 197 208 1998 HUT 86 HUTCHINS E HOLLAN J ET NORMAN D Direct Manipulation Interfaces User Centered System Design New Perspectives on Computer Interaction dit par Norman D Draper S Hillsdale New Jersey Lawrence Erlbaum Associates p 87 124 1986 IHM 91 Production des participants en ateliers JHM 9 Troisi me journ e sur l ing nierie des interfaces Homme Machine Dourdan Hillsdale p 11 13 1991 KAB 93 KABBASH P MACKENZIE LS amp BUXTON W Human performance using computer input devices in the preferred and non preferred hands Proceedings of InterCHI 93 p 474 481 1993 KAB 94 KABBASH P BUXTON W SELLEN A Two Handed Input in a Compound Task In B Laurel Ed The art of Human Computer Interface Design Addison Wesley p 307 317 1990 KIR 9

Gilles Bailly TITRE : Interaction bi-manuelle pour la manipulation de

Contents

Download Pdf Manuals

Related Search

Related Contents