Objets communicants, interfaces multimodales et création
Contents
1. l approche comportementale L approche script e consiste d clencher un script pr cis qui produira toujours le m me effet dans les m mes circonstances Ce type de syst me dont un exemple typique est le CD Rom constitue encore la base de la plupart des interactions dans les cr ations artistiques technologiques Ce principe d interaction est rigide son effet souvent pr visible et par cons quent pr judiciable au jeu de l acteur et la qualit du spectacle Il conduit l acteur adopter un comportement d explorateur cherchant toutes les solutions possibles dans le syst me au d triment de l expression de l motion Nous utilisons un syst me multi agent c est dire un ensemble d entit s r elles ou virtuelles interagissant dans un environnement qu ils sont capables de percevoir et sur lequel ils peuvent agir et communicant les uns avec les autres Les agents ont un comportement autonome poss dent des connaissances et peuvent prendre des d cisions en fonction d un but Dans Mises en Sc nes les agents constituent une troupe de spectacle form e d agents musiciens d agents danseurs d agents plasticiens d acteurs multim dia etc Ils uvrent en commun mais chacun leur mani re l accomplissement des v ux du metteur en sc ne ou de l acteur Ceci donnera lieu une succession de cycles d apprentissage supervis au cours desquels le fonctionnement du syst me sera adapt en fonction de2. Nous ne perdrons pas de vue tout au long de ce projet que l v nement interactif final est la fois un moyen de valider une nouvelle forme d interface homme machine et la mise en uvre d un dispositif exp rimental dans lequel le syst me est un outil au service de la cr ation Syst me multi agent et dispositif Les syst mes multi agents SMA sont constitu s d agents autonomes Ils sont souvent utilis s pour tudier les ph nom nes sociaux comportement des soci t s de fourmis syst mes proies et pr dateurs cosyst mes etc Nous utiliserons cette affinit particuli re qui existe entre les SMA et la repr sentation de la soci t L acteur sur la sc ne est en immersion dans le syst me multi agent comme l homme l est dans le monde Le syst me multi agent constitue un bon moyen de repr senter un monde de r seaux o le centre n existe pas et dans lequel des groupes d l ments autonomes interagissent la fois suivant des r gles de comportement et suivant le hasard Metteur en sc ne acteurs et danseurs augment s Le projet Mises en Sc nes a pour but de proposer une plate forme interactive bas e sur le comportement et utilisable comme outil de cr ation par les autres artistes L outil devrait permettre l acteur d augmenter ses moyens d expression traditionnels en les amplifiant en les traduisant en s quences multim dia La plate forme communicante transforme la fois la concep
3. communicants pp 313 336 Herm s Science Paris 2002 que l on observe dans la r alit L existence d un langage multim dia permet d indiquer au syst me l aide notamment d une interface vocale les tats de la mise en sc ne vers lesquels le syst me doit globalement tendre Les agents sont autonomes et s organisent suivant ce but Avec W Kandinsky 21 pour qui tout ph nom ne du monde int rieur ou du monde ext rieur peut trouver son expression lin aire nous consid rons que la mise en sc ne a une expression lin aire dans laquelle chaque point de la ligne repr sente la tension entre l acteur et l tat du syst me un moment donn et d finit donc le but assign au syst me 3 2 Conception de l v nement interactif Objectif g n ral Il est trop t t pour d crire une mise en sc ne qui ne commencera merger qu apr s une p riode de r flexion et de cr ation tant sur le plan scientifique que sur le plan artistique Les partenariats et le contenu de l v nement interactif proprement dit r sulteront naturellement des rencontres et des relations que la recherche permettra de nouer Il s agit d un processus de cr ation et en tant que tel il est n cessaire qu il reste ouvert le plus longtemps possible Nous pouvons cependant souligner les contraintes du dispositif exp rimental de Mises en Sc nes elles nous sont donn es par le syst me lui m me et nous prendrons appui sur elles
4. la satisfaction ou non du metteur en sc ne ou de l acteur son gard L interaction entre le syst me et l acteur ne se pr sente jamais deux fois exactement de la m me mani re puisque le but des r p titions est de d finir un espace d improvisation coh rent pour l acteur le metteur en sc ne et le syst me Le syst me intentionnel peut tre en partie ou totalement brid pour tre transform si cela est n cessaire en syst me script Plus le syst me est script et plus on se rapproche des m thodes de mise en sc ne traditionnelles Plus le syst me est autonome moins il est r p titif L uvre devient alors un organisme vivant impliquant une prise de risque et une vigilance permanente Techniquement nous nous rapprochons des recherches faites au MIT par F Sparacino G Davenport et A Pentland 31 Nous utilisons comme eux des capteurs en relation avec un syst me intentionnel multi agent La d marche diff re par l utilisation que nous faisons des partitions de qualit s cf 1 2 qui permettent la repr sentation homog ne de diff rentes modalit s d expression multim dia Notre proposition s appuie en effet sur les connaissances s mantiques des diff rents champs d expression qui permettent de d crire un comportement multim dia global semblable ceux OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicantsBinterfaces multimodales et cr ation artistique in Objets
5. le et de mani re conjointe il s agit d observer d expliciter de ma triser la mutation des processus d organisations relationnelles bas es sur la r partition fonctionnelle classique des r les celles bas es sur les nouvelles interpolations lors d une cr ation de type v nementielle nouvelles r partitions de r les de sc nes syst mes acteurs et publics en interaction continue On mod lise les processus qui r gissent les passages d un mod le l autre e d un syst me classique un syst me multim dia intentionnel et dynamique ou tous les acteurs sont pr sents simultan ment et actifs e passage d une disposition de sc ne dite l italienne public sc ne d cor machinerie une disposition d espace commun partag et volutif La mise en sc ne d un v nement interactif mettant en relation un danseur acteur et le syst me merge des recherches s mantiques et logicielles Il existe aujourd hui des recherches artistiques dans le monde des arts qui vont dans le m me sens que la n tre Voyons de quelle mani re le projet Mises en Sc nes se singularise par rapport aux autres projets 3 1 Etat de l art Nous nous situons dans un ensemble de cr ations qui utilisent des capteurs comme moyens d information sur l environnement Nous nous servons des syst mes informatiques comme partenaires de cr ation Dans ce cadre il existe plusieurs approches qui vont de l approche script e
6. teront une partie de vous m me personnalisation et une partie de l impression que vous souhaitez donner de vous l ext rieur adaptation La mise en sc ne de l objet deviendra alors une mise en sc ne de vous m me de vos capacit s de production et de communication dans lesquelles l change motionnel et informel ne seront plus exclus 5 1 Applications Contexte g n ral Le projet Mises en Sc nes ouvre sur un grand nombre d application potentielles qui rel vent potentiellement de l art des sciences cognitives des interfaces homme machine et du contr le industriel Le projet Mises en Sc nes permet la repr sentation de nouveaux types de dispositifs interactifs v ritablement multim dia Les rapports entre les partenaires du spectacle sont modifi s Le contenu du spectacle appara t en m me temps que sa forme Les nouvelles relations avec l espace et avec le public permettent d envisager des sc nographies dans des espaces tr s vari s v nements OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicantsl nterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 multim dia interactifs t l conf rences expositions mus es th tres Sur le plan des sciences cognitives Mises en Sc nes est une plate forme d tude sur la communication dans la vie quotidienne dont le spectacle multim dia repr sente un cas
7. appear 2001 10 J Coutaz L art de communiquer plusieurs voies Sp cial La Recherche L ordinateur au doigt et OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants nterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 l il n 285 mars 1996 pp 66 73 11 M Cunningham Le danseur et la danse Ed Belfond 12 J L Deneubourg G Theraulaz R Beckers Swarm Made Architectures in Towards a Practice of Autonomous Systems MIT Press Cambridge pp 123 133 1992 13 A Drogoul De la simulation multi agents la r solution collective de probl mes Th se de l Universit Paris VI novembre 1993 14 A Drogoul and J D Zucker Methodological Issues for Designing Multi Agent Systems with Machine Learning Techniques Capitalizing Experiences from the RoboCup Challenge Paris LIP6 1998 15 D Humphrey Construire la danse Ed Bernard Coutaz 16 G Hutzler Du Jardin des Hasards aux Jardins de Donn es une approche artistique et multi agent des interfaces homme syst mes complexes Th se de doctorat Universit Pierre et Marie Curie Paris 6 janvier 2000 17 G Hutzler et V Renault Les Jardins de Donn es des soci t s d agents pour la visualisation de donn es complexes ERGO IHM 2000 pp 94 101 18 G Hutzler B Gortais et A Drogoul Th
8. danseur et le syst me informatique les gestes et les d placements du danseur sont une proposition qui guide ou oriente simplement la r action du syst me informatique r action qui se traduit sous forme visuelle par la g n ration d images et sous forme sonore par la g n ration de s quences musicales dans un mouvement sym trique le danseur r agira son tour la r ponse visuelle et sonore propos e par le syst me informatique Du point de vue informatique c est toute la question de l interface entre l homme et la machine qui se trouve ainsi pos e sur des bases nouvelles et potentiellement riches de sens Il s agit en effet pour la machine d une part de percevoir et d interpr ter ce que l utilisateur humain lui propose d une mani re qui n est qu en partie formalisable et formalis et d autre part de g n rer en retour une r ponse multimodale en correspondance avec la proposition exprim e La plate forme ainsi d finie constitu e d agents intelligents et d objets communicants en r seau peut tre consid r e par le metteur en sc ne comme un partenaire possible pour la conception d un spectacle gr ce ses capacit s d apprentissage dans une premi re phase de r p titions et l ex cution de ce spectacle gr ce ses capacit s d interpr tation de l activit d un danseur et de production autonome de s quences d images et de musique On aboutit alors de nouvelles e interfa
9. des arts de la sc ne Nous pouvons envisager la cr ation d v nements interactifs hybrides Nous conduirons la r flexion sur ce point avec les professionnels des diff rents m dias Puisque le temps est l l ment commun tous les acteurs r els et virtuels de la OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 mise en sc ne nous chercherons dans quelle mesure les structures utilis es dans la composition musicale contrepoint fugue choral etc peuvent nous fournir la structure globale qui permet aux diff rentes expressions d interagir et de se d velopper de fa on autonome comme autant d instruments au service d une polyphonie leur rapport tant d autant plus fort qu il est arbitraire LES RAISONS D UNE LIAISON L exp rience suivante bien connue des psychocogniticiens prouve que nous fabriquons du sens autant que possible on demande un individu de placer trois figures g om triques dans un rectangle et d imaginer la situation qui lie les trois l ments Celui ci trouve rapidement un sens concret une situation symbolique en liant par l imaginaire des l ments tr s loign s des uns des autres Dans les arts du temps comme dans la vie quotidienne l tre humain n admet le changement qu condition de disposer d invariants qui struc
10. la signal tique Elles seront test es par des simulations de situation et des exp riences en chambre figure 7 encadr sur les constituants 4 2 Vers une criture multim dia commune En transformant pour chaque moyen d expression les valeurs quantitatives obtenues partir des capteurs ou partir du syst me informatique quantit d nergie valeur des couleurs vitesse de d placement intensit sonore etc en qualit s comparables tragique paisible chaud froid bruyant calme nous tablissons pour les diff rents moyens d expression un syst me de notation commun En prenant une m taphore musicale on peut distinguer deux types de notations compl mentaires OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants Anterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 A TITRE D EXEMPLE QUELQUES ELEMENTS CONSTITUANTS El ments constituants du son e Intensit elle se mesure en d cibels fort faible e Hauteur du grave l aigu elle varie suivant la fr quence e Timbre pais pointu compact diffus color incolore plein vide e Le tempo lent rapide El ments constituants du visuel e La teinte la combinaison des couleurs couleurs primaires et couleurs secondaires chaud froid La saturation intensit de la couleur par rapport son intensit maximale e La luminosit valeur de gris
11. particulier Le syst me devrait am liorer les moyens d tude dynamique de la notion de cr ation et d improvisation d analyse et compr hension d aspects motionnels humains partir de capteurs vari s et les d veloppement de possibilit s d interaction non verbale 5 2 Un d monstrateur de technologies innovantes Expression artistique et expression quotidienne L expression artistique et l expression quotidienne se refl tent l une dans l autre se nourrissent l une de l autre Quelques exemples Moli re Brecht Becket au th tre Stravinsky Dvorak Armstrong et la musique folklorique Martha Graham Cunningham et l introduction de la gestuelle industrielle dans la chor graphie contemporaine Ce n est pas un hasard si les termes utilis s sont les m mes Nous entendons fr quemment parler de sc nario de la vie quotidienne quand il s agit de d crire des situations typiques de la vie de tous les jours Nous employons souvent le mot th tre pour d signer le lieu de telle ou telle actualit Les moyens d expressions sont souvent communs Pour ne citer qu un exemple la signal tique industrielle celle des codes de conduite ou des codes de circulation les images publicitaires utilisent les m mes lois de couleur la m me symbolique des lignes et des formes que les plasticiens dans leur cr ation etc C est l usage des m mes champs s mantiques qui permet la relation entre l uvre et le spectate
12. sc ne de spectacle et des situations typiques de la vie quotidienne dans le m me environnement technologique constitue une situation favorable l mergence de nouvelles synergies On peut s attendre notamment la prise de conscience de nouveaux usages et de nouveaux sc narios bas s sur des interfaces plus intuitives 6 Conclusion De la capture d information leur interpr tation en contexte et la g n ration de solutions alternatives pour r soudre un probl me professionnel ou de la vie quotidienne mettre en sc ne un spectacle les m canismes et ingr dients sous jacents sont les m mes Seuls les buts et les ressentis des situations diff rent Les mod les d analyse d activit s artistiques g n rent des r gles ou r gularit s qui permettent de ma triser une grammaire d expressions communicables et param trables donc utilisables par des objets communicants La technique dans ce cas ne se substitue pas l homme mais l aide comprendre choisir et ex cuter A la fois proth se intelligente et motionnelle ce suppl ment multimodal apport par une ma trise et exploitation de l art humanisera davantage les interfaces actuelles en permettant de passant du mode commande ou entr es sorties un mode dialogue ou coop ration un mode de relation conviviale ou interpr tation qui donnera une tonalit et une coloration particuli re chaque interaction transform e en v nement plus o
13. succession d instants ou de phases de dur e plus ou moins longue e une deuxi me notation qui peut s apparenter aux partitions musicales classiques qui d finissent pr cis ment quelle est chaque instant la performance effectuer par chaque musicien Ainsi chaque qualit peut elle donner lieu une description sous forme d une courbe qui indique son intensit en fonction du temps figure 9 Le r le de la mise en sc ne sera alors d tablir en r f rence ces qualit s comparables des r gles de comportement pour les acteurs de la plate forme virtuelle et pour l acteur humain La performance du danseur telle qu elle est per ue par le syst me et la r ponse que le syst me y apporte sont repr sent es par l int grale des grilles de qualit des diff rents champs d expression superpos s figure 10 Si l on consid re cette int grale au cours du temps chaque champ d expression peut tre regard comme une partition d instrument et l ensemble des partitions comme la partition de l orchestre entier Il sera int ressant d exp rimenter l usage des formalismes d criture utilis s dans la musique contemporaine sur les partitions des grilles pour imaginer une criture multim dia temporelle bas e sur des partitions motionnelles OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants nterfaces multimodales et cr ation artistique in Objets communicants
14. ETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants3interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 e une s miologie commune de mani re ce que chacun comprenne l autre le quoi lt e une plate forme technique commune de mani re ce qu ils puissent effectivement communiquer le comment musique compos e par le syst me action Plate forme Mises en Sc nes D cision 7 4 image projet e e Ta 7 par le syst me cam ra Perception objets communicants danseur Figure 1 Le syst me informatique autonome per oit les volutions du danseur par interm diaire de capteurs appropri s d cide d une r ponse adapt e et la r alise Du point de vue s miologique l approche adopt e consiste analyser de mani re similaire les diff rents champs d expression en jeu dans le spectacle imagin la danse la musique la peinture et la mise en sc ne sous la forme de paires de qualit s par exemple chaud froid Chaque paire de qualit s peut tre repr sent e par une valeur quantitative et la mise en sc ne du spectacle pourra se fonder sur l criture de partitions indiquant au cours du temps l volution de chacune de ces qualit s voir paragraphe 4 2 Ces partitions permettant d analyser la dynamique de l interaction entre danseur et syst me doivent auto
15. GORTAIS B POULAIN G Objets communicants Sinterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 Cette analyse est une tape d abstraction pour traduire les perceptions brutes du syst me en termes de qualit s telles que d finies au paragraphe pr c dent puis en partitions de qualit s Elle s effectuera en consid rant chaque m dium d expression comme le support d une communication dont la phase Danse Physiologie Parole Autres capteurs Capteurs etc Module d analyse Ensemble de descripteurs Ensemble de Ensemble de Autres descripteurs de la performance descripteurs de l tat descripteurs du chor graphique physiologique du message vocal danseur intonation rythme s mantique etc pr alable d analyse permettra de d finir les mots la syntaxe et la s mantique figure 2 Figure 3 Mod le client serveur de la plate forme Mise en sc ne Du point de vue technique cette op ration de perception pourra s effectuer de mani re modulaire par autant de composants autonomes que n cessaires ces composants pouvant s inscrire ind pendamment aupr s du syst me selon un mod le client serveur figure 3 2 2 D placements et mouvements du danseur Nous abordons ici la question de la caract risation en temps r el de la performance du danseur Deux l ments sont principalement concern s par cette caract risation le positionnement du d
16. HUTZLER G GORTAIS B POULAIN G Objets communicants interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 Objets communicants interfaces multimodales et cr ation artistique Guillaume HUTZLER Bernard GORTAIS G rard POULAIN LaMI UMR 8042 CNRS Universit Evry Val d Essonne Laboratoire d informatique de Paris VI FT R amp D DIH D2I R sum Comment une d marche de cr ation artistique peut elle contribuer d velopper une interface multimodale g n rique int grant des objets communicants A priori les domaines sont loign s de par leurs publics et de par leurs logiques Il n en est rien Sans pour autant les confondre ils se compl tent et s enrichissent mutuellement en ouvrant de nouvelles voies de recherches propositions solutions C est ce que nous essayons dans cet article d argumenter sinon de d montrer Mots cl s Raisonnement scientifique cr ation artistique interface multimodal objets communicants 1 Introduction Une des grandes critiques des premiers travaux en Intelligence Artificielle a t que l on essayait de produire des artefacts d sincarn s qui contrairement l homme qui apprend au contact de son environnement poss dent d s le d part toute la connaissance et toute l intelligence n cessaire leur bon fonctionnement C est cette hypoth se d inscription physique qui est maintena
17. anseur sur la sc ne et donc ses d placements et ses attitudes corporelles donc ses gestes Il s agit donc d une part de capter en temps r el la position et l attitude du danseur et d autre part d analyser les s quences de positions et d attitudes pour en tirer des informations sur la dynamique de la chor graphie Contraintes Il existe diff rentes techniques de capture de mouvement mais leurs performances ne sont pas quivalentes compte tenu de nos crit res e la perception elle doit tre aussi pr cise que possible mais il est possible de travailler et de faire des choses int ressantes m me avec une pr cision faible e le temps de r ponse l interaction doit se faire en temps r el la perception doit donc non seulement s effectuer en temps r el mais galement laisser du temps de calcul aux autres op rations n cessaires d cision r alisation de la performance e le dispositif il doit tre le plus discret possible pour ne pas centrer la sc nographie autour de la technologie et le plus transparent possible pour ne pas entraver le danseur dans ses volutions chor graphiques e le co t le plus bas possible Etat de l art Les principales techniques d velopp es pour la capture de mouvement sont les suivantes e les syst mes base de traqueurs qui fonctionnent gr ce la pr sence sur le danseur d un certain nombre de capteurs en g n ral une trentaine dont le d placement est en
18. ces de prise contr le d information en retour sur l effet produit et ressenti e interactions relationnelles entre acteurs d une part acteurs et r alisateurs d autre part acteurs et public enfin e interpr tations s mantiques tenant compte de diff renciations propositionnelles Dispositif exp rimental Le danseur acteur humain qui effectuera sa performance sur la sc ne sera en interaction avec un syst me informatique autonome sorte de partenaire num rique avec lequel il devra tablir un dialogue cr atif Pour que cela soit possible il faut que le syst me lui m me per oive et analyse la performance du danseur humain imagine une r ponse convenable cette performance et enfin la r alise Cela correspond aux 3 phases que suit tout agent autonome perception d cision action voir figure 1 Autrement dit il s agit de pr voir e comment le module de perception repr sentera la performance du danseur de mani re permettre au module de d cision de choisir la r ponse donner e comment le module de d cision repr sentera la r ponse que le syst me devra r aliser gr ce au module d action Par ailleurs pour pouvoir tablir un dialogue entre le danseur et le syst me il est n cessaire de poser les bases d un langage commun entre les deux Qu il s agisse de faire dialoguer ensemble deux modules du syst me ou bien le syst me et le danseur il est n cessaire dans chaque cas de d finir OBJ
19. de la couleur sombre clair e Le point la ligne le plan El ments constituants de la chor graphie e La posture ouvert ferm e La trajectoire lent rapide r gulier irr gulier continu discontinu e Le tonus calme agjit Figure 7 Exemple de grille d improvisation traduisant la mont e d une tension tragique en quatre phases avant une 4 p p giq q P e une premi re notation qui peut s apparenter aux grilles d improvisation en jazz qui d finissent par p riodes temporelles plus ou moins longues une tonalit g n rale dans laquelle les musiciens doivent jouer figure 8 Dans ce cadre la grille d crit ainsi pour chaque p riode et pour chaque champ d expression les qualit s qui doivent la caract riser calme ou agit chaud ou froid etc expression paisible tragique tragique paisible corporelle expression musicale silencieux piano mezzo forte forte silencieux rythmique rythmique arythmique arythmique rythmique expression plastique froid statique froid chaud chaud froid statique dynamique dynamique dynamique lent lent rapide expression calme ferm un peu agit it calme ferm sc nographique Figure 8 Exemple de grille d improvisation traduisant la mont e d une tension tragique en quatre phases avant une phase d apaisement Chaque ligne correspondent l une des quatre formes d expression les colonnes correspondent une
20. e A D co son 0 0 Figure 6 Relations entre les fonctions du dispositif exp rimental A gauche syst me classique A droite syst me multim dia intentionnel dans lequel tous les diff rents partenaires de la mise en sc ne sont en relation bidirectionnelle les uns avec les autres chacun pouvant influer sur tous les autres mod lisations des fonctions et de l espace du dispositif interactif L analyse de la sp cificit du syst me passe par l analyse de la relation des l ments qui le composent Il est n cessaire pour la conception de l interface homme machine de rep rer et de mod liser les diff rentes fonctions qui entrent en jeu dans un spectacle traditionnel l auteur l acteur le danseur le d corateur le musicien le r gisseur etc et d observer la mutations de ces fonctions lors d une cr ation du type Mises en Sc nes Nous obtiendrons galement des renseignements pr cieux en mod lisant l espace sc nique traditionnellement compos des espaces techniques des l ments de d cor de la sc ne de l espace r serv au public et du lieu th tral La s miologie des diff rents m dias de la sc ne n est pas tr s diff rente de la s miologie des m dias utilis s dans la vie quotidienne L interface multisensorielle de Mise en Sc ne permettra en premier lieu un groupe d acteurs de cr er sa propre image Celle ci pourra dans un deuxi me temps tre utilis e par le
21. e Garden of Chances A Visual Ecosystem in Leonardo Vol 33 No 2 pp 101 106 2000 19 H Ishii et B Ullmer Tangible Bits Towards Seamless Interfaces between People Bits and Atoms Proceedings of Conference on Human Factors in Computing Systems CHI 97 ACM Atlanta 1997 20 Itten L art de la couleur Ed Dessain et Tolra 21 W Kandinsky Point et ligne sur plan d Gallimard 1991 22 R Laban La ma trise du mouvement Ed Acte Sud 23 F L ger Fonctions de la peinture Ed Gallimard 24 Lelarge and J D Zucker Multi Agent Learning in the Bar El Farol Problem in preparation 2001 25 W E Mackay R alit augment e le meilleur des deux mondes Sp cial La Recherche L ordinateur au doigt et l il n 285 mars 1996 pp 66 73 26 A Moukas Amalthaea Information discovery and filtering using a multiagent evolving ecosystem in Proceedings of PAAM 96 Londres 1996 27 Y Orlarey Musique amp notations Ed Aleas 1999 28 F Pachet P Roy Musical harmonization with constraints Constraints journal Kluwer dition 2000 29 J Polieri Sc nographie Ed Jean Michel Place 1990 30 R Picard Affective Computing MIT Press Cambridge 1997 31 F Sparacino G Davenport et A Pentland Media in performance interactive spaces for dance theater and museum exhibits Vol 39 Nos 3 amp 4 MIT Media lab
22. ent Dans le cadre du projet Mises en Sc nes sont tudi s les processus psychologiques sensoriels cognitifs et motionnels mis en jeu par les interactions interpersonnelles de mani re permettre au syst me de g n rer des r ponses face aux sollicitations de l acteur humain Il peut contribuer fournir des mod les d analyse de l activit des acteur danseur et plus g n ralement de l utilisateur interagissant avec les syst mes sensibles qui l entourent Il constitue un support de recherche sur les mod les explicatifs des comportements en rempla ant l acteur par un ou des utilisateurs et le sc nario du dispositif interactif exp rimental par un sc nario de la vie quotidienne S miologies Tant sur le plan de la recherche que sur le plan de la cr ation nous aurions int r t l aussi croiser les connaissances des techniciens des artistes et des ergonomes Les relations m taphoriques qui existent entre la sc ne du dispositif exp rimental et la vie quotidienne comme entre l acteur et OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants nterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 l utilisateur de NTIC devraient tre explor es avec les ergonomes de France T l com Nous nous baserons non seulement sur la s miologie des champs d expression multim dia mais aussi sur les Metteur an sr n
23. gestuelle de l tat physique et motionnel d un artiste au cours d une repr sentation e un mod le d interpr tation partag les retours relationnels de ressentis d un autre acteur du r alisateur des spectateurs constituent autant de guides pour l artiste en sc ne pour savoir o il en est en phase ou en d calage les affects qui fonctionnent le mieux les environnements qui augmentent ou diminuent la r sonance motionnelle e un interpr te les grammaires et grilles d interpr tation de gestes de rythmique de postures de couleurs et de sons permettent d explorer de nouvelles formes de repr sentation et de mise en sc ne Dans ce projet l analyse en terme de mod lisation d activit d interpr tation n est pas loign e des t ches informatiques courantes et des communications fonctionnelles On en trouve des illustrations dans la prise en compte des v nements informels et motionnels des syst mes de travail collaboratifs 2 Analyse des interfaces des comportements et gestes d un danseur Pour analyser appliquer et illustrer les directions d exploration portant respectivement sur les repr sentations individuelles communes et collaboratives d un cot sur les mutations des r les et de leur partage entre les humains et les syst mes de l autre il nous a sembl que l activit d un danseur dans une mise en sc ne lors d un v nement de repr sentation pouvait nous servir de suppo
24. ions pos es par son poque Aujourd hui les syst mes informatiques sont de plus en plus en plus autonomes Ils deviennent et deviendront de plus en plus expressifs et intelligents En passant du servom canisme au cerveau m canisme les objets communicants d barquent s expriment analysent apprennent et collaborent avec nous Mais cette collaboration ne s effectue pour le moment qu au prix d un apprentissage par l utilisateur des modes d expression et de communication de ces objets Certaines d marches de cr ation artistique se confrontent cette volution Elles int grent les syst mes informatiques et les objets communicants comme mati res de cr ation Elles associent le raisonnement scientifique et le processus de cr ation artistique sans opposer l un l autre Elles se fournissent mutuellement mati re penser et cr er sans renoncer leur fonction primordiale de connaissance et d ouverture C est dans ce cadre que se situe le projet Mises en Sc nes 1 2 Etablir un dialogue cr atif entre un danseur acteur et un syst me Objectifs Ce projet baptis Mises en sc nes vise d velopper un dispositif exp rimental mettant en relation un danseur acteur avec un syst me informatique graphique et sonore intelligent par l interm diaire de modalit s d interaction les plus naturelles et intuitives possibles Du point de vue cr atif il s agit de mettre en place un dialogue entre le
25. manisation des interfaces homme services OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants nterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 Dispositif exp rimental La conduite de projet pr voit quatre tapes de r alisation qui valideront l tat d avancement du syst me Les diff rentes tapes correspondent des situations de complexit croissante Chaque tape de la validation se fera la fois suivant des tests technologiques simples et suivant des s ries de sketchs de th tre et de chor graphie mettant en sc ne des situations de la vie de tous les jours Ils auront pour but de v rifier la coh rence du syst me dans ses diff rentes applications nouveaux usages technologiques d di s la vie quotidienne et nouveaux usages de mise en sc ne bas s sur de nouvelles interfaces multim dia sans souris et sans clavier Dans tous les cas il s agit de d montrer des interactions entre acteurs utilisateurs et un syst me multim dia intelligent via une interface multimodale Synergie Cette plate forme exp rimentale permet la relation entre la probl matique des objets communicants celle des capteurs bio physiologiques et des analyseurs de contexte vocaux dans un cadre symbolique qui pr figure le contexte global auquel ils sont destin s tre utilis s plus tard Le croisement des situations de mises en
26. niqueront dans l avenir avec les objets communicants r partis partout dans son environnement Un environnement exp rimental pour l interaction en langage naturel Du fait qu une partie importante de la mise au point du syst me passe par un apprentissage supervis par le metteur en sc ne lui m me des capacit s de perception et de r ponse du syst me il est tr s important que le dialogue entre le metteur en sc ne et le syst me soit le plus simple et le plus naturel possible Quoi de plus naturel pour le metteur en sc ne que de diriger le syst me de la m me mani re qu il dirige un acteur en lui donnant des instructions orales indiquant des modifications apporter par rapport la derni re performance Le dispositif propos dans le cadre du projet Mise en Sc ne doit ainsi permettre de mieux comprendre comment un utilisateur pourra personnaliser son interface en lui apprenant r agir comme il le souhaite Un environnement exp rimental pour la capture de donn es bio physiologiques Le dispositif propos dans le cadre du projet Mise en Sc ne de par la mise en relation qu il tablira entre un danseur acteur et diff rents dispositifs multim dia permettra l tude en situation r elle des r actions physiologiques d un homme face un syst me num rique A ce titre il constituera un environnement exp rimental potentiellement riche pour les recherches men es par No l Ch teau sur la personnalisation et l hu
27. notamment au niveau de certaines articulations e analyse d images vid o par laquelle le danseur est mod lis sous la forme d un syst me articul de polygones dont il s agit de suivre les mouvements gr ce une cam ra cette technique ne n cessite aucun appareillage sur le danseur part ventuellement un habillement permettant de distinguer facilement les diff rentes parties de son corps Le seul mat riel n cessaire consiste en une ou plusieurs cam ra s qui filme nt ses mouvements l acquisition est rapide le co t est tr s faible le d faut principal de cette technique concerne la relative impr cision de la perception obtenue Techniques envisag es Au vu de cette pr sentation synth tique des diff rentes solutions existantes notre choix s est port dans une premi re approche sur la technique la moins contraignante pour le danseur et la plus conomique celle d analyse d images vid o figure 4 Si par la suite la pr cision obtenue s av re insuffisante d autres techniques plus lourdes pourront tre envisag es en compl ment image projet e par le syst me p 7 12 cam ra x Y sc ne danseur Figure 4 Perception de la performance du danseur par le syst me Dans le dispositif envisag une cam ra filme la sc ne de mani re continue La position exacte de la cam ra face la sc ne 45 comme sur la figure ci dessous ou l aplomb de la
28. nt prise en compte par PIA Situ e Dans le m me temps les syst mes informatiques qui fonctionnaient d abord de mani re isol e se sont progressivement organis s en r seaux jusqu constituer aujourd hui un r seau de r seaux l chelle de la plan te dont le plus connu est l Internet La capacit de calcul enfin d abord limit e aux microprocesseurs des ordinateurs s int gre maintenant dans une multitude d objets de notre vie quotidienne Les objets communicants int grent ces trois dimensions puisqu ils constituent des artefacts situ s qui peuvent dans une certaine mesure percevoir et ou agir sur leur environnement qui int grent une capacit m me limit e de calcul et qui peuvent communiquer avec d autres Les objets communicants posent alors deux questions nouvelles celle d une part de l organisation de ces soci t s d objets pour permettre sinon leur coop ration du moins leur cohabitation harmonieuse ce qui signifie au moins la n cessit de se partager certaines ressources La question d autre part de la place de l homme au sein de ces nouvelles soci t s artificielles et la possibilit pour lui d interagir de mani re efficace avec un objet ou un groupe d objets Ce sont ces probl matiques qui nous abordons dans le projet Mises en Sc nes en mettant en sc ne un danseur humain qui doit int grer dans sa performance chor graphique une interaction permanente avec des objets qu il ob
29. oratory 32 R Rao Quand l information parle nos yeux Sp cial La Recherche L ordinateur au doigt et l oeil n 285 mars 1996 pp 66 73 33 L Saitta and J D Zucker A Model of Abstraction in Visual Perception Applied Artificial Intelligence 2001 34 E R Tufte The Visual Display of Quantitative Information Graphics Press Cheshire CN 1983 35 J Wagensberg L me de la m duse Seuil Paris 1985 36 J Wang and J D Zucker Solving Multiple Instance Problem a Lazy Learning Approach International Conference on Machine Learning Stanford USA Morgan Kaufmann Publishers 2000 37 M Weiser Some computer science issues in ubiquitous computing Commun ACM 36 7 July 75 84 1993 38 J D Zucker and Y Chevaleyre Comprendre et r soudre les probl mes d apprentissage multi instances et multi parties 13 mes Journ es Francophones sur l Apprentissage Arras France 1998 391 J D Zucker and Y Chevaleyre Solving multiple instance and multiple part learning problems with decision trees and decision rules Application to the mutagenesis Paris France LIP6 2000 KKK ke K K K K K K K K K KK K K K K KK K K K 2e OBJETS COMMUNICANTS 2002
30. pp 313 336 Herm s Science Paris 2002 Lent rapide Musique Piano forte Chaud froid Plastique Lent rapide Clair obscur Figure 9 Exemple de partition donnant l volution de chaque qualit en fonction du temps 5 R sultas attendus De cette mani re on obtient un cadre un mod le une m thode et un instrument de production d v nements uniques de par leur caract re non d terministe non r p titif et enrichi par la perception la repr sentation et l motion de chacun des interacteurs e Grille 2 e Grille 1 Figure 10 L int grale des grilles multim dia constitue la partition de la performance Pour y parvenir il faut commencer par une relation simple entre un acteur et un syst me et trouver les moyens pour communiquer entre eux non seulement en terme de communication d tats ou d informations mais de r gulations r ciproques et en temps r el Il s agit en quelque sorte pour prendre une analogie de passer du miroir instrument passif de r flexion d image un miroir qui renvoie une partie de son image que l on peut grossir sans d former un miroir qui donne une autre image de vous comme un double qui per oit l impression que vous voulez lui transmettre comme un public et non vous m me En terme de retomb es sur les interfaces des objets communicants rien n emp che alors d imaginer un dialogue de collaboration dans lequel les objets refl
31. riser les trois modules du syst me autonome perception d cision action communiquer les uns avec les autres Danseur et objets physiques communicants Le dispositif exp rimental tel qu il a t d fini dans un premier temps ne fait intervenir qu un seul danseur et un syst me informatique multim dia Du point de vue de la mise en sc ne il est cependant int ressant d introduire des objets pr sents sur la sc ne que le danseur peut utiliser Les objets physiques communicants connect s en r seau qui ont habituellement pour fonction d offrir des services aux utilisateurs auraient ici le r le d accessoires ou d l ments de mise en sc ne actifs Ces objets physiques communicants sont dot s e dune interface avec le r seau informatique qui les relie e de capacit s de traitement de l information e de capteurs et ou d actionneurs Ces caract ristiques leur permettent d interagir entre eux et avec l utilisateur En interaction physique avec leur environnement au sens large ces objets physiques communicants peuvent e modifier leur tat e agir sur les autres objets e interagir avec l utilisateur e interagir avec leur environnement Le terme d objets communicants regroupe en fait un ensemble de dispositifs num riques tr s diff rents aux capacit s d interaction diverses Les objets dits communicants peuvent soit percevoir l action d un utilisateur capteurs de direction de dis
32. rt d exploration et d exemple d illustration Cette mise en sc ne est accompagn e et renforc e e l aide de dispositifs physiques d observation et de capture d information d une part objets communicants de production de propositions et m diations de l autre agents intelligents e terme param trable par des fonctions d interface simplifi es pour offrir la possibilit de cr er une uvre multim dia enrichie et de la mettre en sc ne en s appuyant sur une partie stable La partie variable voluera de mani re dynamique fonction de crit res li s la perception des contenus des mouvements des humeurs de chacun des acteurs et d un public donn 2 1 La perception du spectacle par le syst me La perception du spectacle concerne l analyse par le syst me de tout ce qui lui est ext rieur c est dire notamment ce qui se passe sur la sc ne et dans le public Cela concerne en particulier tous les d placements du danseur ses attitudes corporelles et gestuelles sa physiologie rythme cardiaque respiration tension superficielle de la peau etc ses paroles et plus g n ralement toutes ses interactions avec son environnement objets autres danseurs public etc Production du message Figure 2 Principe g n ral de communication d un message gestuel langagier physiologique etc Analyse Emetteur f s mantique R cepteur OBJETS COMMUNICANTS 2002 HUTZLER G
33. sc ne sera pr ciser selon les r sultats des premi res exp rimentations Un mod le 3D de la sc ne devra tre d velopp pour faciliter la reconnaissance de la position et des postures du danseur La reconnaissance des mouvements du danseur s effectue en plusieurs tapes e un ensemble de descripteurs primitifs est extrait de l image vid o bo te englobante direction du d placement haut bas avant arri re gauche droite dynamicit acc l ration ralentissement Ces descripteurs peuvent tre compl t s par des informations de fiabilit Les Webcams du march sont vendues avec des logiciels qui font d j une partie de ce travail e ces descripteurs peuvent ensuite tre exploit s en compl ment d infos structurelles sur le corps humain pour la d termination de la position du danseur sur la sc ne et la reconnaissance de postures OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants 7interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 e les descripteurs primitifs la position les postures doivent enfin tre analys s dans le temps pour en retirer des informations sur les rythmes des s quences chor graphiques Il s agit par exemple de caract riser les trajectoires du danseur rectiligne courbe r guli re irr guli re continue discontinue 3 Analyses des interactions relationnelles En parall
34. serve et qui l observent A travers la performance artistique c est donc un dialogue multimodal entre l homme et les objets communicants que nous nous int ressons 1 1 Nouvelles technologies et cr ation artistique Depuis plus d un si cle la communication de l information utilise des r seaux dont les codes sont sp cifiques Presque tous les domaines professionnels ont t investis et instrumentalis s par les syst mes et r seaux multim dias Le domaine de l art n y chappe pas Notre poque p riode de transition rapide entre un mode de production industriel dominant et une pr pond rance des services d information est caract ris e par la pr sence concomitante de d marches de cr ations tr s diff rentes relevant de traditions artistiques vari es Il n y a pas de progr s en art c est connu Un instantan des expositions d art ayant lieu en France montrera que l on peut y trouver simultan ment des d marches artistiques qui vont de l poque pr historique nos jours utilisant un ventail vari de technologies OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants2interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 Parmi celles ci on trouvera aussi les nouvelles technologies de l information et de la communication Naturellement car la d marche artistique consiste r pondre aux quest
35. suite analys par un syst me appropri Il peut s agir suivant les cas de diodes lectroluminescentes lectromagn tiques ou encore hybrides ces techniques pr sentent l avantage d tre tr s pr cises et de fonctionner en temps r el elles ont cependant un co t lev la technique optique pr sente des probl mes de masquage diodes non visibles par les OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicantsbinterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 cam ras dans toutes les positions la technique magn tique pose quant elle des probl mes de tremblement de fragilit des capteurs de complexit de l installation notamment perturbation du champ magn tique e les combinaisons de donn es qui fonctionnent sur le principe des gants de donn es data glove maintenant largement r pandus dans le domaine de la r alit virtuelle Au lieu de ne capter que les mouvements de la main ces combinaisons habillent tout le corps et permettent donc de suivre les mouvements chacune des parties du corps ces syst mes pr sentent un certain nombre d avantages le prix la rapidit d acquisition la stabilit des mesures et le faible encombrement du dispositif l inconv nient majeur est qu il s agit de dispositifs tr s contraignants pour les danseurs qui sont limit s dans leurs mouvements
36. syst me pour proposer une r ponse une situation en se comportant comme un partenaire virtuel multim dia Le projet Mise en Sc ne devrait permettre d analyser les caract ristiques cognitives et physiques du comportement des usagers et par del le comportement physique les aspects mentaux de l interaction perception m morisation raisonnement L tude s miologique des diff rents champs d expression et l utilisation exp rimentale de Mises en Sc nes devrait permettre de faire merger un langage multim dia permettant de cr er une v ritable plate forme de communication 4 Analyses des interpr tations s mantiques En parall le et en compl ment il s agit d analyser les significations informationnelles et motionnelles des interactions entre les objets communicants les humains les activit s et les syst mes afin de valider des mod les de g n rations de nouvelles formes enrichies de communication qui soient suffisamment explicites et explicatifs pour les rendre efficaces ma trisables et volutifs en temps r el et dans le sens d une meilleure humanisation des interfaces On s appuie sur la mod lisation d activit s artistiques par nature complexes et fortement charg es en significations et motions en utilisant e une analyse s mantique de type significations des positionnements gestes paroles humeurs e une analyse s mantique de type repr sentations visuelles et sc niques par m dia et s
37. tance d acc l ration de temp rature de contact etc soit restituer une information pour l utilisateur ou effectuer des actions crans moteurs pas pas soit encore permettre le contr le d autres objets par l utilisateur t l commandes OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants4interfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 PDAs etc Ces objets peuvent devenir autant d acteurs participant directement la dynamique de la performance du danseur et du spectacle en g n ral Par l utilisation de tags badges actifs ou passifs ces objets peuvent permettent une localisation simple du danseur sur la sc ne Au final plus qu un dialogue entre un danseur et un syst me d agents logiciels le spectacle se composera d un dialogue entre performeurs humains objets physiques communicants et agents logiciels de composition multim dia Assistance op rationnelle Cet outil constitue un assistant personnel sous forme de proth se intelligente d instrument de capture de mod le d interpr tation partag Trois exemples pour illustrer cette assistance op rationnelle e un instrument de capture les interfaces de type capteurs sensoriels distance ou plac s sur le corps de type cam ra vid o ou positionneurs dans l espace constituent autant de sources de pistage du positionnement de la
38. tion et l ex cution de l uvre Dans la phase de conception les r ponses que donne le syst me aux propositions de l acteur ou du metteur en sc ne peuvent d passer son imagination et le surprendre tout en lui convenant sur le plan de la mise en sc ne Dans la phase d ex cution le public dont l activit peut tre per ue par le syst me peut interagir avec le syst me et le danseur dans un but de mise en sc ne Enfin nous pouvons envisager des installations o le public dialogue directement avec le syst me multim dia sans la pr sence d un acteur Les arts du temps Les diff rents m dias ont en commun d tre tous des arts du temps La chor graphie la musique les ambiances sonores le th tre les arts plastiques la vid o les marionnettes souvent s par s les uns des autres pour des raisons techniques et culturelles deviennent pour le syst me des mani res particuli res de traiter le son la voix la musique les ambiances sonores le chant la lumi re la lumi re les couleurs les formes le mouvement les d placements la danse l acrobatie les gestes figure 5 Dans Mises en Sc nes tous les arts du temps se retrouvent potentiellement sur la m me plate forme Nous chercherons les l ments d un langage commun par l analyse des l ments s mantiques et l exp rimentation L utilisation de ce nouveau genre d interface comme outil de cr ation remet en question les cadres traditionnels
39. ts qu il caract rise par la posture l intensit la trajectoire etc le com dien conna t aussi une palette de gestes de types de d placements et de modulations de la voix propres servir telle ou telle expression Ainsi il existe une s miologie des signaux visuels une s miologie des signaux sonores une s miologie du champ d expression gestuel une s miologie de la sc nographie Le processus de cr ation met en relation dialectique le champ d expression analytique bas sur la s miologie avec un champ d expression ind termin afin d exprimer une nouvelle relation Autrement dit un moment donn un cr ateur conna t les outils dont il dispose et leur mode d emploi Pour organiser et comprendre les donn es qu il re oit un syst me cr ateur doit aussi poss der des fonctions d valuation s miologique Une deuxi me tape d analyse consiste laborer une correspondance entre les qualit s physiques l mentaires identifi es dans chaque champ d expression et des qualit s motionnelles qui r sultent d une combinaison de qualit s physiques On pourra consid rer par exemple que la qualit motionnelle tragique r sultera d une combinaison de luminosit faible de fort contraste de couleur de d placements lents Ces correspondances naturellement relatives une poque et une culture donn e seront construites en fonction de nombreux exemples puis s dans l histoire de l art et dans
40. turent le temps et l espace Il se charge d attribuer de la signification aux l ments qui interagissent l int rieur de cette structure aussi diff rents soient ils les uns des autres Nous chercherons l unit de la mise en sc ne et la correspondance entre les expressions des diff rents m dia en tenant compte de ce ph nom ne Figure 5 les raisons d une liaison 3 3 Ergonomie La m taphore de la sc ne Le projet Mises en Sc nes permet de mettre en situation les relations multimodales que l tre humain est amen ou va tre amen entretenir avec la machine dans un futur proche Nous sommes d j entour s dans les lieux publics de travail ou d habitations d artefacts et d objets communicants Un adulte des pays industrialis s est aujourd hui selon une tude cit e par M Weiser 37 environn par une moyenne de 40 microprocesseurs enfouis dont 5 capables de communiquer via des r seaux c bl s lectriques sans fil t l phoniques etc Il est g n ralement estim que d ici dix ans nous serons via les objets de notre vie quotidienne en contact permanent avec plusieurs centaines de microprocesseurs dont la majorit sera reli e ces m mes r seaux Internet ou autres Mises en Sc nes est une plate forme gr ce laquelle ce nouveau monde d interfaces homme machine intelligentes permettant des relations s mantiques intuitives gestuelles sonores ou visuelles peut tre exp rim
41. u moins unique et de plus en plus adapt chacun et chaque public Il reste encore bien du chemin faire pour y parvenir mais d s aujourd hui la voie semble trac e et praticable pour se lancer dans des exp rimentations d usages et des prototypages techniques amor ant et accompagnant les ruptures 7 Bibliographie 1 A Arcela Notas e cores http www lpe cic unb br literat teoria lit090 1it090p html 2 A Berthoz Le sens du mouvement Ed Odile Jacob Paris 1997 3 J F Billeter L art chinois de l criture Ed Skira 4 G Bonabeau et E Theraulaz Eds L intelligence collective Herm s Paris 1996 5 F Brown Les trois ges de la musique par ordinateur recherches et applications en informatique musicale Herm s 1998 6 L Boucris L espace en sc ne Ed Librairie Th trale 1993 7 L Breton J D Zucker and E Clement Eds A Multi agent approach for the resolution of equations in granular physics Multi agent systems and Agent Based Simulation Boston USA Springer 2000 8 Y Chevaleyre and J D Zucker Noise Tolerant Rule Induction from Multi Instance Data Proceedings of the ICML 2000 Workshop on Attribute Value and Relational Learning Crossing the Boundaries Stanford USA pp 47 52 2000 9 Y Chevaleyre and J D Zucker A framework for learning Multiple Instance Decision Trees and Rule Sets European Conference on Machine Learning pp to
42. upport danse musique peinture OBJETS COMMUNICANTS 2002 HUTZLER G GORTAIS B POULAIN G Objets communicants linterfaces multimodales et cr ation artistique in Objets communicants pp 313 336 Herm s Science Paris 2002 Variations de l expression du point et de la ligne dans un carr Nous comprenons le sens d une image suivant des codes d expression graphique Le point la ligne sont des signes graphiques qui poss dent des valeurs d expressivit m me sans rapport avec le r el L expression attribu e un visuel est le sentiment que lon ressent en le percevant Ce pouvoir d expression d un visuel est fonction du champ culturel ou il est per u Dans un champ culturel donn on consid re qu il existe des visuels dont la signification est plut t objective et d autres 4 1 Analyse des champs d expression artistique Il existe un champ analytique dans toute expression artistique dans lequel le cr ateur essaie de d finir la part du syst me dans son art pour acqu rir libert d termination dans son geste et d cisions Le plasticien conna t les lois des couleurs les architectures qui peuvent sous tendre une image la symbolique des formes et des formats etc le compositeur conna t les lois de l harmonie les timbres des instruments les structures musicales etc le chor graphe sait comment tablir une partition en d composant de fa on syst matique une s quence de mouvemen
43. ur La m taphore de la sc ne est bas e sur la stylisation des moyens d expressions quotidiens Elle est une repr sentation symbolique de la vie quotidienne De la sc ne de la vie la sc ne du spectacle la distance n est souvent pas tr s grande C est pourquoi le projet Mise en sc ne est la fois un outil de cr ation d di au spectacle et un dispositif exp rimental servant d montrer la validit de nouveaux moyens de communication sc naris s dans le m me espace Elle est un moyen d exp rimenter dans un environnement quotidien simul et jou une gamme compl te de services Un environnement exp rimental pour les objets communicants Suivant les tapes du projet nous mettrons en situation dans le cadre de sc narii de complexit croissante des interactions entre des utilisateurs et un certain nombre d objets ou de dispositifs communicants Ces objets communicants incluent des capteurs cam ras capteurs de temp rature de direction d acc l ration de contact de distance des dispositifs de localisation tiquettes radio fr quence ou tags des syst mes de restitution crans de visualisations objets t moins de feedback des effecteurs moteurs pas pas robots ou encore des objets de communication tels que des t l phones portables ou des assistants personnels Le dispositif simulera ainsi certains des principes d utilisation qui pourraient tre propos s des utilisateurs finaux qui commu
Download Pdf Manuals
Related Search