Rapport Final 2
Contents
1. image analys e cam ra 1 e M me si le passage par un logiciel de traitement d image tait n cessaire le travail de pr paration de l image ins rer sur la transcription a t simplifi car les images sont d une tr s bonne qualit donc un temps suppl mentaire pour le travail de retouche n a pas t utile luminosit contraste brouiller affiner e Un travail d incrustation de fl ches sur l image s lectionn e a t fait visant la visualisation du mouvement en question e Gr ce au plan visage il a t possible de s lectionner les traits pertinents du visage la direction le clignement du regard et les diff rentes mimiques faciales e Gr ce au plan profondeur certains mouvements ont t d gag s qui ne sont pas enti rement visibles sur le plan am ricain en deux dimensions Ce plan nous donnent la possibilit de voir le mouvement en profondeur utilisation de l espace 5 1 2 2 R sultats La r solution de la d finition de l image nous a beaucoup facilit le travail de transcription et de d gagement de param tres Gr ce la qualit d enregistrement de ce corpus la fin de notre travail de transcription nous avons pu d tecter avec pr cision e La pertinence du clignement des yeux en tant qu indice de segmentation bornes de P nonc e Ia structure interne des transferts notamment celle du transfert situationnel e Le r le du regard protagoniste de l nonc2. 4 amp action de la silhouette du locuteur ol n Application de l algorithme de suivi sur la main Exemples de signature du mouvement pour la silhouette gauche pour les r gions de peau 4 2 2 2 1 Etude syst me Les recherches men es au sein du projets LS Colin sur l application du traitement d images l tude de la langue des signes se placent dans un cadre plus large qui constitue un des axes de recherche de l quipe TCI En effet les op rateurs valid s dans le cadre de ce projet fournissent un premier ensemble coh rent d outils permettant d extraire des primitives significatives de la s quence d images L exploitation de ces op rateurs au sein de syst mes d interpr tation d images permettant de construire des descriptions de concepts de la langue des Signes ici des configuration de gestes des param tres lingusitiques etc voir Dalle 2001 L int r t de ce syst me pour le projet LS COLIN r side dans l approche utilis e pour formuler ce que l on recherche dans l image les sp cifications se font par des interactions directes dans les images pr sent es par le syst me L utilisateur linguiste est donc amen d finir ses objectifs en termes visuels et il voit en retour ce que le syst me a compris et sait 2N retrouver d apr s ses indications La sp cification et l extraction d indices ne passent donc pas par l interm diaire d un langa
3. rence syntaxique d un groupe de morph mes Morph me pas de coh rence syntaxique signes standards param tres Morph mes li s Phon tique signifiantes activit c r brale unit s non signifiantes des param tres niveaux des param tres ex emplacement t te description articulatoire changement d actant de plan suppression d actant clignement de paupi res cht direction regard croisement regard oui x3 dictum le fait modus comment c est dit clignement de paupi res pas toujours pic de tension musculaire sur noyau pr dicatif pauses modification de la configuration changement d emplacement Prosodie rythme long bref r p titions tension 3 Conception et laboration du corpus L objectif tait de r aliser un corpus qui permette pour les linguistes de mettre en vidence l iconicit de la langue des Signes grammaire spatiale et d apporter un support de haute qualit pour les informaticiens en traitement de d image La LSF tant une langue naturelle et non un artefact il fallait donc d finir des nonc s avec des structures diff rentes pour faire merger la langue dans ses multiples composantes Nous avons donc vari les genres discursifs afin de constituer un ventail des langages possibles r cits complets partir d images histoire du Cheval de l Oiseau discours en interaction argumentation etc La production de ces nonc s par
4. s du logiciel et des boutons d actions sur la vid o La partie inf rieure comporte la transcription associ e 9A Fichier Video Options Compteur images 0 marche Sequence Groupe de parametres Parametre Segment arret Sequence debut 0 0 0 0 1 0 images 0 a 25 incluse regard direction mains dominante Figure 1 aspect graphique de l diteur 4 1 3 Description d taill e de la partie transcription La transcription est repr sent e sous forme d une partition L axe horizontal repr sente le temps et l axe vertical contient l ensemble des param tres s lectionn s ex direction du regard mouvement des mains fonction syntaxique type de transfert etc Ces param tres sont d finis par l utilisateur en fonction du but poursuivi lors de son analyse Sur l axe horizontal Chaque param tre est d crit au sein d une bande horizontale d coup e en sections pouvant elles m me tre d coup es le cas ch ant en segments e La premi re section partir de la gauche contient le nom du param tre ex Signe Main Domin e e La section suivante contient une s rie de segments repr sentant les valeurs correspondantes du param tre pour une s quence temporelle donn e ex bonjour Lorsque l on clique sur un segment un menu contextuel d roulant donne la liste des valeurs disponibles pour le param tre correspondant et permet d effacer le segment ou
5. ce moyen de notation utilisable par les chercheurs et par le grand public poss de son codage propre et permet la reconstitution de signes isol s e Sign Synthesis Inspir de l analyse de la synth se de la parole le projet SignSynth est d velopp par le D partement de Linguistique de l Universit du Nouveau Mexique C est un syst me d analyse phonologique qui associe une image de synth se les param tres configuration orientation emplacement et mouvement tudi s par Stokoe e Kheiros Con u par Alexandre Bonucci universit de Lyon 2 dans le cadre de sa th se de doctorat Kheiros constitue une base de donn es d entr es lexicales de la LSF bas e sur une analyse phonologique et une indexation figurative des signes 2 2 Les transcriptions r alis es dans le cadre de LS COLIN Une fois pr sent cet tat des lieux des syst mes existants nous avons d cid de soumettre aux participants ayant d j r alis dans le cadre de leurs travaux la transcription d une langue des signes un court passage du conte Blanche Neige sign en LSF transcrire afin d appr hender les int r ts de chacun et de d finir les possibilit s d un travail commun et les bases sur lesquelles il devait tre men Ce travail a t r alis entre d cembre 2000 et mars 2001 La s quence transcrire la m me pour tous durait 17 secondes environ On n en reportera ici qu une infime partie afin de mettre en exe
6. de type symbolique relative au regard Nous avons segment la s quence vid o en utilisant les num ros d images A Transcription des configurations 1 Mode d emploi de la transcription Chaque ligne d finit une zone de la s quence d images durant laquelle la configuration est constante Elle est d crite par la s quence description de la configuration num ro d image e La description de la configuration est donn e par un terme classique pince main plate un chiffre ou une lettre 5 s ou un terme li au contexte jambe jambe bouge e Le num ro est celui de la 1 image de zone Notation e Transition zone de co articulation entre 2 zones pour lesquelles la configuration est constante Liste des descriptions utilis es e pince jambe jambe bouge main plate angle s n 5 o index 2 neutre Exemple e pince 1 transition 2 jambe 39 Lecture de l exemple On observe une configuration pince dans l image 1 puis une configuration de transition de l image 2 l image 38 puis une configuration jambe de l image 39 l image 2 Transcription pour la main dominante 3 Transcription pour la main domin e B Transcription du rapport entre les deux mains 1 Mode d emploi de la transcription Chaque ligne sauf la derni re d finit une zone de la s quence d images durant laquelle le rapport entre les deux mains est constant Elle est d crite par la
7. des informateurs d ge sexe profession et origine r gionale tr s diff rents et une grande libert dans leurs productions taient un gage de qualit du contenu de ce recueil Ceci a impliqu de la part des chercheurs un change constant avec des locuteurs natifs de la langue des signes participant activement cette r alisation Dans le cadre d une convention avec l INJS Institut National des Jeunes Sourds de Paris l enregistrement sous la ma trise des techniciens du studio Photo et Vid o eux m mes pratiquant la LSF r unissait les meilleures conditions d accueil et de libert d expression pour nos informateurs L enregistrement sur vid o num rique permettant un arr t sur image pr cis et assurant une bonne portabilit tait le meilleur support actuel pour la r alisation de ce corpus Les s ries de crit res d finis pour tre tudi s orientation du regard position du corps de la t te et des paules mimique faciale nous ont conduits apr s plusieurs essais un enregistrement avec 3 cam ras qui permet la prise en compte simultan e de tous ces param tres linguistiques Un montage des trois vues diff rentes sur le m me film est en cours de r alisation Ce corpus vid o sera transf r sur des supports diff rents VHS CD et DVD en fonction des utilisateurs potentiels 3 1 Sp cifications de r alisation 3 1 1 Les locuteurs Le recrutement de locuteurs sourds adultes pr sentant u
8. et protagoniste de l nonciation 5 1 2 3 Ouverture vers les pistes de recherches M me si nous sommes encore loin d une reconnaissance d taill e des gestes par l ordinateur les param tres d tect s nous incitent approfondir la r flexion sur l identification de gestes non manuels notamment la direction du regard et le clignement des yeux en tant qu indice de segmentation des LS Il est clair que lorsqu on aura un syst me informatis respectant des contraintes d ouverture et d volutivit au niveau des param tres retenus ainsi que la possibilit de personnalisation de la pr sentation des diff rentes transcriptions de corpus vid o des LS le travail d analyse sera moins p nible au niveau du traitement de l image et plus rentable au niveau de l analyse et de la mise en relief de la structure interne des LS RA 24
9. fait de rejeter l iconicit hors langue et donc de passer c t d une des caract ristiques constitutives des langues des signes il ne prend pas en compte la mimique faciale et laisse de c t le regard param tres pourtant d terminants pour la construction du sens Paul Jouison ducateur sp cialis de formation Paul Jouison rencontre le monde des Sourds au d but des ann es 70 et met au point un syst me d criture de la LSF baptis D SIGN le D est l pour discours qui n a pas pour but de d crire la forme visuelle des signes mais de restituer leur dynamique de production Jouison se place en effet dans une perspective nonciative et discursive Il distingue d abord l orientation du regard et l action du visage et souligne ensuite l importance de la localisation ou orientation du signe par rapport au corps du signeur Jouison labore aussi un classement des configurations manuelles selon une logique interne qui les rend iconique auxquelles il faut ajouter un l ment suppl mentaire qui correspond peu pr s aux classificateurs de formes proformes Enfin le dernier param tre retenu est le mouvement global du corps qui comme le regard aura un r le important dans la coh sion de l nonc Globalement ce syst me t moigne d une grande pr cision et d une observation minutieuse des param tres gestuels Mais sa complexit le rend difficilement utilisable par un chercheur non
10. s quence description du rapport num ro d image e La description du rapport est donn e par une p riphrase md glisse sur MD e Le num ro est celui de la 1 image de zone Notations md main domin e MD main dominante transition zone de co articulation entre 2 zones pour lesquelles le rapport entre les 2 mains est constant Liste des descriptions utilis es e main si une seule main md glisse sur bras MD 2 mains sym triques MD au dessus md 2 mains se touchent 2 mains asym triques Exemple 1 main 1 transition 32 md glisse sur bras MD 43 Lecture de l exemple On observe une seule main de l image 1 l image 31 puis une transition de l image 32 l image 42 puis la md glisse sur le bras de la MD de l image 43 l image 2 Transcription 1 main 1 transition 32 md glisse sur 43 bras MD transition 102 Snan 123 symetr ques C Transcription du regard 1 Mode d emploi de la transcription Chaque ligne d finit une zone de la s quence d images durant laquelle le regard est constant Elle est d crite par la s quence description du regard couple de 2 num ros d image e La description du regard repr sente soit la direction gauche face soit le fait que les yeux sont ferm s ferme e Les num ros d images d crivent un intervalle 1 image de la zone derni re image de la zone Liste des descriptions utilis es e Gauche ferme face bas gauc
11. segment partir de r sultats obtenus par l application d op rateurs sur tout ou partie de la s quence vid o D autre part le traitement d images donne acc s des informations invisibles directement occupation de l espace mesures de vitesse mod lisation cin matique etc Enfin le traitement d images peut tre int gr dans une application plus complexe de construction interactive de concepts voir Dalle 2001 Le linguiste peut comparer la description qu il a fournie en termes d indices visuels avec les r sultats propos s par ce syst me qui lui pr sente les objets correspondant la description donn e Par cette mise en correspondance le linguiste pourra v rifier la pertinence des indices visuels utilis s pour mettre en vidence des structures particuli res de IA la langue des Signes Ce dernier domaine d application constitue toutefois un sujet de recherche long terme qui ne rentre pas dans le cadre du projet LSCOLIN il ne sera donc qu voqu la fin de cette section 4 2 1 Possibilit d automatisation partielle par traitement d images Les informations report es dans les diff rents niveaux de la partition proviennent d une analyse et d une interpr tation par le linguiste de la s quence d images d termination des composantes de l image et analyse des mouvements Afin de l aider dans cette analyse et donc de faciliter l utilisation de l diteur de partitions nous avons tudi
12. 2 tat de l art et d marche retenue Les langues des signes par la quadridimensionnalit dans laquelle elles s inscrivent et la simultan it d information dont elles proc dent sont difficilement analysables Les syst mes de transcription le plus souvent manuels et mis au point par les chercheurs en fonction des ph nom nes linguistiques qu ils souhaitent tudier se r v lent peu satisfaisants En pr alable un premier travail de transcription r alis par les membres de chaque laboratoire participant au projet LS COLIN afin de d finir un cadre de recherche commun un r capitulatif des diff rents syst mes de notation existants a t fait 2 1 Relev des diff rents syst mes d criture et de transcription existants 2 1 1 Les syst mes de notation manuels Roch Ambroise B bian La plus ancienne tentative connue de notation d une langue des signes date du XIXe si cle En 1825 Roch Ambroise B bian professeur fran ais sp cialis dans l enseignement des Sourds crit Mimographie ouvrage dans lequel il propose une description de la LSF en moins de 200 symboles en prenant en compte la mimique faciale la description de la forme des mains etc Ce syst me pourtant pr curseur n a pas t exploit un congr s international r unissant des partisans de l oralisme s tant tenu Milan en 1880 et ayant pr conis pour des raisons essentiellement politiques et religieuses l interdiction d
13. 2 2 2 R alisation d op rateurs d analyse d image Les recherches concernant les op rateurs de TI pertinents ont t men es ind pendamment de la r alisation de l diteur de partitions Les op rateurs ont t r alis s dans le but de fournir un vocabulaire minimal permettant de d crire partir de s quences vid o des structures de la langue des signes Il s agit donc d op rateurs relativement simples et g n riques exploitant en outre les conditions de r alisation du corpus fond bleu et v tements noirs Op rateur d extraction de la silhouette du locuteur par soustraction des pixels appartenant au fond Op rateur de d tection des zones visage et mains par classification des couleurs et s lection des zones ayant la couleur de la peau Op rateurs de suivi d un composant d fini par sa zone englobante d une main ou du visage dans une version assist e par des interactions avec l utilisateur Suivi des d placements du bout du doigt D tection de la direction indiqu e par le doigt et mat rialisation de la zone point e dans l espace de signation D tection d indices visuels spatio temporels Module de visualisation synth tique du mouvement D finition d un mod le biom canique du bras et validation d une m thode permettant l estimation 3D des configuration statiques du bras 9Q Extraits de la s quence originale la s quence a t r alis e ind pendamment du projet LSCOLIN
14. averti et rend peu g rable la transcription de s quences enti res de r cits Le syst me HamNoSys Hambourg Notation System labor en Allemagne par un groupe de chercheurs sourds et entendants commenc au d but des ann es 70 il reprend les quatre param tres retenus par Stokoe auxquels il ajoute la mimique faciale Il se distingue du syst me pr c dent car il adopte une d marche plus phon tique description de l ensemble des ph nom nes concourant la r alisation d un signe que phonologique approche distinctive visant mettre en vidence un inventaire de ch r mes De plus le classement des configurations de la main ob it des crit res fonctionnels et articulatoires Ce syst me est iconique alors que celui de Stokoe est surtout dactylologique et les caract res de transcription d HamNoSys id ographiques permettent un d codage rapide Un logiciel informatique regroupant tous les symboles existe depuis 1989 Mais leur trop grand nombre on recense environ 500 symboles rend leur m morisation tr s difficile et ce syst me ne satisfait pas en d finitive des conditions optimales de lisibilit La transcription en partition Elle se met en place au d but des ann es 80 et est aujourd hui largement utilis e par la communaut linguistique internationale Elle vise l analyse du discours et fait appara tre la simultan it ainsi que la corr lation structurelle entre les param tres de chaque signe Le
15. d acc der une fen tre de dialogue pour ajouter une nouvelle valeur Lorsque l on clique sur un espace vide de la bande un nouveau segment appara t qu il est possible de modifier en dur e en emplacement et en contenu gr ce au menu contextuel DK e On peut trouver des bandes de param tre ferm es pour lesquelles il y a des segments de valeurs sur toute la bande et des bandes ouvertes d crivant des v nements un moment donn de la s quence vid o Sur l axe vertical e On peut regrouper certains param tres au sein d un groupe de param tres visuellement identifi lorsque cela est justifi ex main dominante main domin e deux mains e Une barre verticale synchronis e avec le d filement de la vid o peut se d placer le long de la transcription selon l axe temporel Une transcription vid o est compos e de plusieurs partitions diff rentes En effet un utilisateur peut vouloir tudier plusieurs extraits d une m me vid o ou transcrire de plusieurs mani res diff rents la m me vid o 4 1 4 G n ricit flexibilit ouverture L diteur peut tre utilis la fois par des linguistes et par des informaticiens Il est donc pr vu des facilit s de personnalisation et de modification de la partie transcription Chaque transcription avec ses s quences ses param tres avec leurs diff rentes valeurs et les segments qui la composent est d crite et sauvegard e dans un fichier de t
16. dans quelle mesure le traitement d image permettrait d automatiser certaines t ches Nous allons pr senter les diff rents probl mes que l on peut tenter de r soudre par traitement d image d une fa on g n rale puis sp cifier ce qui peut tre r alis dans le cadre limit du projet LS COLIN et enfin nous pr senterons les tudes men es et les r sultats interm diaires obtenus 4 2 1 1 Analyse au niveau d une image Les param tres de la LS figurant dans la transcription concernent des l ments du corps comme la main ou les sourcils dont le TI doit savoir retrouver les correspondants dans l image Il s agit donc de segmenter l image en zones ayant des propri t s visuelles communes comme la couleur zones de peau ou de localiser des configurations de pixels particuli res indices visuels Ce traitement peut tre enti rement automatis ou au contraire men en coop ration avec l utilisateur celui ci indiquant la zone approximative de l l ment tudier ou d signant un pixel de cet l ment le syst me de TI se chargeant ensuite de d terminer les fronti res pr cises de l l ment Ces l ments peuvent tre compos s on doit donc savoir structurer les composants l mentaires en composants plus complexes yeux nez bouche joues front visage Enfin ces composants sont caract ris s par un ensemble de valeurs intrins ques position de la main ou relationnelles main la hauteur de la bouche Ces
17. de recherches linguistiques sur l ASL entrepris par les universit s de Boston et de Gallaudet Washington constitue un outil de gestion pour une base de donn es informatis e compl te des signes de cette langue Il reprend le concept de transcription du paradigme gestuel sous forme de partition se d roulant dans le temps et pr sente aussi l int r t d int grer des images vid o num ris es au dessus de chaque segment transcrit Toutefois ce syst me est incomplet car il ne prend en compte ni la mimique faciale ni la direction du regard dans l analyse Sign Writing Ce syst me propose une criture des langues des signes Il est issu au d part 1974 du Dance Writing et s inscrit dans un syst me plus g n ral de notation et d criture du mouvement Sutton Mouvement Writing amp Shortland Utilis essentiellement lors de sa cr ation pour la transcription d enregistrements vid o destin s la recherche ce syst me a beaucoup volu et il existe aujourd hui plusieurs axes d application dont on retiendra a le d veloppement d une forme d criture des Langues des Signes applicable dans l enseignement de ces langues tant en primaire que dans le secondaire b l criture et la lecture de contes en Langues des Signes c la pr servation du registre th tral des LS sous forme crite e _ SignPS Issu du projet europ en TIDE Technology Initiative for Disabled and Elderly People 1994 1997
18. e la langue des signes dans les milieux ducatifs Cela mit fin pour des d cennies toute recherche sur les langue des signes et partant toute tentative de transcription de ces langues William Stokoe Ce n est qu au d but des ann es 1960 que s amorce un regain d int r t pour les langues des signes et qu on voit r appara tre aux Etats Unis un nouveau syst me d criture mis au point par le linguiste William Stokoe Ce dernier dont le but tait de d montrer la double articulation de l ASL American Sign Language afin de la faire acc der au rang de langue du monde vacue l iconicit de ses recherches car consid r e par lui comme non pertinente et appel e dispara tre Il tablit en se basant sur les travaux de B bian que les signes ne sont pas des gestes holistiques mais sont d composables en une configuration une orientation un emplacement et un mouvement param tres auxquels il donne le nom de ch r mes quivalents gestuels des phon mes des langues orales Ce syst me de transcription labor par Stokoe comporte 55 symboles repr sentant 55 ch r mes et sera utilis pour la r alisation d un dictionnaire paru en 1965 comportant plus de 3000 entr es Toutefois cette transcription phonologique des signifiants de l ASL pr sente l inconv nient de ne noter que les gestes car on pensait cette poque que l essentiel des effets de sens ne passaient que par les signes Outre le
19. e la variation de la taille d un objet e ajout de connaissances suppl mentaires par exemple sur la taille r elle des composants ou de contraintes sur la g om trie de la sc ne e exploitation de mod les abstraits dont le TI d terminera les param tres ex mod le biom canique du bras e ajout de donn es suppl mentaires e en utilisant une seconde image prise depuis un point de vue diff rent et en appliquant les techniques de st r ovision e en utilisant plusieurs images dans le temps et en interpr tant les mouvements dans les images Dans notre cadre de travail actuel s quence d images vid o mono cam ra non calibr e les possibilit s de reconstruction 3D sont tr s limit es 4 2 2 Le traitement d images dans le projet LS COLIN 4 2 2 1 Probl mes abord s Les linguistes ont recens les principaux indices visuels et marqueurs utilis s pour analyser la LS ainsi que leurs valeurs signifi es respectives et le contexte dans lequel elles sont valu es Ceci a permis de sp cifier les param tres leur mode de repr sentation les relations pouvant lier diff rentes parties de la transcription et enfin de d finir ainsi la structure et le contenu d une partition On a vu qu une partition se pr sente sous forme de plusieurs lignes d coup es en cases par des s parations temporelles correspondant des v nements spatio temporels Chaque ligne correspond un composant tudi et chaque segment tempore
20. es doivent donc tre param trables chaque utilisation en fonction du but poursuivi ou des informations recherch es dans lors de la r alisation de la transcription par exemple des structures langagi res ou des indices visuels permettant la segmentation de la s quence Enfin il fournit un environnement permettant l application d op rateurs de traitement d images sur la vid o e Visualisation et manipulation de s quence vid o L diteur permet la visualisation de films num ris s la mani re d un magn toscope lecture arr t sur image ainsi qu un acc s non lin aire aux images de la s quence e Transcription de vid os Il permet aussi de r aliser une transcription de vid os c est dire d associer une ou plusieurs images des informations symboliques ou num riques Une fois la transcription r alis e on peut la sauvegarder afin de pouvoir la restituer lors d un chargement ult rieur de la s quence vid o e Application d op rateurs de traitement d image L diteur de partition int gre des fonctionnalit s permettant de convertir les donn es contenues sous forme compress e dans la vid o dans une forme manipulable par des op rateurs de traitement d images 4 1 2 Aspect graphique de l diteur L diteur est constitu de deux parties Figure 1 La partie sup rieure contient la visualisation de la s quence vid o avec une s rie d ic nes cliquer permettant d acc der rapidement aux fonctionnalit
21. et de la m me couleur 4 5 Am liorations possibles Fonctionnalit s Il serait int ressant d tablir des liaisons entre diff rentes parties de la transcription e soit des liens auxquels on peut associer une r f rence appartenant la liste des r f rences d j rencontr es ou une r f rence cr er e soit des r f rences spatiales temporelles pouvant tre li es aux liens existant ou venir 21 Cela permettrait par exemple d associer un classificateur au signe standard auquel il fait r f rence Ergonomie Il serait int ressant de pouvoir regrouper verticalement des param tres avec des zones de couleurs diff rentes ou en utilisant la transparence afin par exemple de visualiser les zones relatives aux signes standards et celles de grande iconicit 29 5 Exploitation du corpus 5 1 Premi re transcription manuelle du corpus LS COLIN Les linguistes participant au projet ont d cid de r aliser une premi re transcription manuelle d un court extrait du corpus LS COLIN l diteur de partitions tant encore en phase de test Notre but premier est de v rifier l apport pour la transcription et pour l analyse d un tel type de corpus r alis dans des conditions techniques d une tr s bonne qualit Nous avons choisi de travailler partir d un syst me de transcription en partition commun tous les linguistes fin de pouvoir partager et changer les connaissances sur la q
22. figurations plus complexes balancement et la notion de mesures relatives trajectoires parall les 97 Enfin le mouvement tant fugitif il est int ressant pour faciliter son analyse par le linguiste de pouvoir le mat rialiser et de le visualiser en superposition dans l image techniques de r alit augment e Il s agit donc de construire une image qui enregistre l historique du mouvement en rendant compte la fois de son occupation spatiale et de son d roulement temporel D une fa on plus g n rale il est tr s pertinent de pouvoir repr senter l espace de signation d y faire figurer les r f rents mis en place au cours du discours et de mat rialiser les zones d sign es par les pointeurs 4 2 1 3 Remarque La reconnaissance d un l ment ou d une configuration peut souvent tre tablie partir de sa signature visuelle dans l image ou dans une image transform e Par contre les mesures ou les descriptions faisant r f rence l espace de signation trajectoires pointages d tection d un mouvement vers l avant n cessitent une reconstruction partielle 3D L image seule ne suffit alors pas car des informations ont t irr m diablement perdues lors du processus de formation de l image projection perspective occultations Il faut donc disposer d informations suppl mentaires pour pouvoir reconstruire l information 3D elles peuvent tre obtenues par e raisonnement tude des lignes de fuite d
23. ge de requ te qui risquerait de biaiser l analyse 4 3 R alisation Plusieurs tapes de r alisation de l diteur de partition ont t envisag es e un premier prototype int grant la vid o mais ne disposant pas des outils de traitement d images qui doit permettre une premi re valuation sur les aspects utilisabilit ergonomie fonctionnalit s e un deuxi me prototype int grant une partie des outils de traitements d images qui doit lui m me tre valu par les utilisateurs e un troisi me prototype int grant tous les outils de traitements d images envisag s lui aussi valu Dans le cadre du projet LS Colin seul le premier prototype a t r alis Il doit encore tre valu en situation d usage r el L int gration des outils de traitement d images et les valuations successives se feront dans une tape ult rieure 4 4 valuation Avant d tre int gr s dans l diteur de partition les outils de traitement d images doivent eux m mes tre valu s car ils doivent tre suffisamment fiables et robustes pour apporter une aide r elle la transcription Ce travail a t retard par le temps n cessaire la r alisation et l exportation du corpus dans un format exploitable pour le traitement d images Il faut galement noter la dichotomie qui existe entre l algorithme effectivement ex cut par l ordinateur op rant dans le seul domaine de l image et l interpr tation des
24. he face plisse Exemple Gauche 1 6 ferme 7 46 face 47 51 Lecture de l exemple La narratrice regarde gauche de l image 1 l image 6 puis elle ferme les yeux de l image 7 l image 46 regarde en face de l image 47 l image 51 2 Transcription 2 3 Conclusion 1 6 ferme face ferme La confrontation de ces diff rents modes de transcription attestait que si les linguistes avaient tous choisi une dition en port e en revanche le versant informatique exposait une analyse notoirement diff rente De plus les diff rentes partitions r v laient des voies diff rentes de prise d indices Il tait par cons quent difficile tant donn e l h t rog n it de ces diff rentes versions de s entendre et de trouver une base commune de recherche moins d envisager la mise au point d un diteur de partition qui servirait aux linguistes l analyse des langues de signes et constituerait pour les informaticiens un outil pour la communication homme machine Une r union tait donc n cessaire afin d tablir conjointement une grille d analyse qui servirait de base aux informaticiens pour la cr ation de cet diteur 2 4 Grille d analyse valable pour un monologue D finitions Niveaux Indices de segmentation interaction th me changement de th me Enonc s coh rence s mantique et syntaxique Mimique point de vue du signeur discours unit s Signe Syntagme coh
25. ipl me du DPCU choisir un th me du programme de linguistique et l expliquer la mani re d un cours Raconter nouveau l histoire du Cheval Photo 2 lt explication des consignes par le linguiste Ivani Fusellier droite s adressant en LSF au locuteur Juliette Dalle gauche Les intervenants pr paraient leur prestation pendant un temps moyen de 20 minutes puis venaient dans le studio d enregistrement pour tre film s face aux cam ras et face la personne qui les avaient pris en charge ils devaient s adresser elle La dur e de la production varie entre 5 8 s quences cons cutives par locuteur en fonction de sa disponibilit de sa m morisation et de ses envies Le but tant de rester le plus naturel possible nous sommes intervenus au minimum lors de la prise de vue Nous obtenons un total 99 de 90 productions diff rentes dont r cits explications techniques explications m talinguistiques argumentation Annexe 2 Des interruptions cause d incidents techniques batterie d charg e ou sur demande de l intervenant ont pu se produire pour certains locuteurs dans ce cas nous avons essay de reprendre toute la s rie depuis le d but 13 locuteurs ont ainsi particip la r alisation de ce corpus nous avons donc environ 6 heures de film analyser 2 heures par cam ra Le d tail du corpus brut est donn en annexe tableau de synth se liste d taill e des producti
26. l correspond une valeur de param tre constante pour ce composant Pour les composants ne faisant pas intervenir d information d ordre s mantique le TI peut intervenir sur chacun de ces l ments e Ajout d une ligne images en plus de la vid o permettant de synth tiser une s quence par une attitude caract ristique du signeur augment e de graphismes illustrant le signe fl ches synth se de mouvement e Segmentation temporelle par d tection d v nement c est dire par d tection des changements de valeurs pour une propri t donn e d un composant tels que des changement de mouvement orientation ou vitesse de configuration ou de relations IQ Ajout de valeurs dans les cases par reconnaissance de configurations ou mesures direction de mouvement vitesse etc G n ration de nouvelles lignes correspondant de nouveaux concepts valuables par analyse d image relation entre plusieurs indices Les travaux en TI ont donc consist tudier et r aliser les outils et op rateurs de base n cessaires pour mettre en uvre ces diff rentes fonctionnalit s Analyse des indices spatio temporels pouvant tre extraits par traitement informatique de la s quence d images Interface de pilotage d une s quence vid o et de mise en forme de la vid o permettant l analyse image par image de fa on non lin aire ainsi que l exportation de la s quence dans un format permettant son traitement 4
27. ne Sallandre Doctorante Paris 8 face 2 jambes descendre du cheval faire qq pas locatif cheval Traduction fran aise 12 Transcription n 5 Ivani Fusellier Souza Doctorante Paris 8 Images Direction des mouvements Regard _ Vers le locatif le locatif Vers la camera Vers la camera camera DS dominante mon de transfert de forme TS d but du DES De liactant TS St De liactant vers le sol emee mms des jambes du personnage Deux mains mains a y RME de la o o N pench en arri re mew en face c des O vers la sup rieure r corps M Traduction approch e Traduction approch e EE de son cheval Transcription 6 Nathalie Monteillard DEA Paris 8 E wooo ppa Ra oea Transfert Traduction b II descend de cheval Transcription n 7 Annelies Braffort Ma tre de Conf rences LIMSD transcription des configurations Christophe Collet Ma tre de Conf rences LIMSD transcription du regard Remarques pr alables nos transcriptions habituelles comportent des donn es num riques fournies par nos syst mes de capture gant ou cam ra ainsi que des donn es symboliques associ es ces donn es que nous ne pouvons donc pas fournir sur la s quence Blanche Neige 14 Les parties A et B contiennent les transcriptions de type symbolique relatives aux configurations des mains dominante et domin e La partie C contient la transcription
28. ne vari t sociolinguistique maximale et une bonne comp tence en langues des signes a eu lieu par diff rents moyens mailing fax SMS et supposait une bonne connaissance de la communaut des Sourds fran ais Il a t effectu sur une p riode de trois mois par les deux doctorantes en linguistique de la LSF de Paris 8 qui ont contact environ 35 personnes Finalement 13 personnes ont r pondu positivement Le temps d volu l tablissement des dossiers pour le d fraiement de ces personnes n est pas non plus n gliger En effet nous avons constat que le d fraiement de locuteurs participant un enregistrement audio ou vid o n est actuellement pas une pratique institutionnalis e et donc facilit e dans les Universit s fran aises Une fiche d engagement Annexe 1 nous permettant de nous assurer du droit des images sur les films produits a t sign e par chaque intervenant ce qui nous met en r gle vis vis de la loi sur la propri t intellectuelle et nous autorise reproduire et diffuser notre corpus dans un cadre pr cis 3 1 2 Les techniques d acquisition Des essais d enregistrement ont t effectu s l INJS le 26 octobre 2001 Le but tait de d terminer les conditions id ales d clairage de positions de cam ra qui devaient convenir 2NA la fois aux linguistes pour la compr hension de la LSF et aux informaticiens pour l analyse des images Nous en avons retenu la configurati
29. on suivante e 3 cam ras num riques professionnelles une de face en plan am ricain une de face en contre plong e situ e 2 m devant le locuteur et Om75 de hauteur la derni re au dessus du locuteur e Eclairage maximum 6 projecteurs avec des r flecteurs de part et d autre du locuteur permettant de minimiser au maximum les ombres e Un fond bleu sur lequel les locuteurs portant un v tement noir manches longues viendraient se d tacher e La synchronisation des 3 cam ras serait assur e par un flash 3 2 R alisation L enregistrement a eu lieu les 11 et 12 janvier 2002 l INJS de Paris avec les personnes suivantes e les techniciens du studio Photo et Vid o St phane MANGAUD et Gr gory GONZALEZ e En pr sence des quipes participant au projet e Pour les Sciences du langage de l Universit Paris 8 Marie Anne SALLANDRE Ivani FUSELLIER et Gwena lle JIROU vendredi e Pour le LIMSI Annick CHOISIER Christophe COLLET vendredi et Fanch LEJEUNE vendredi apr s midi e Pour L IRIT Boris LENSEIGNE 3 2 1 Ces journ es ont t organis es par Marie Anne SALLANDRE et Ivani FUSELLIER du d partement des Sciences du Langage de l Universit Paris 8 pour le recrutement des signeurs l laboration des consignes et du protocole exp rimental et l tablissement des dossiers pour le paiement des signeurs Annick CHOISIER et Christophe COLLET du LIMSI pour les aspects mat riels achat et ge
30. ons 3 3 Evaluation La qualit technique de ces films num ris s qui n cessite des moyens informatiques importants est valid e par le confort de visualisation qu elle procure Les montages transferts et productions finalis es nous ont demand d acqu rir des techniques lourdes de traitement de films Bien que l analyse linguistique ne soit pas achev e nous constatons que le panel obtenu des productions en LSF est tr s satisfaisant et est actuellement in dit en France ainsi que sur le plan international Au cours du projet un corpus de Langue des Signes Primaire LSP et de LIBRAS Langue des Signes Br silienne a galement t r alis au Br sil dans le but d effectuer une analyse transversale d un m me r cit l histoire du Cheval La mise disposition de ces donn es vers des communaut s scientifiques diff rentes linguistes informaticiens p dagogues sourds de la LSF reste un des buts atteindre Ce sont en partie ces communaut s qui par le d pouillement et l analyse de ce corpus dans leurs diff rentes sp cialit s valideront notre d marche 92 4 R alisation de l diteur de partition 4 1 Sp cifications 4 1 1 R le de l diteur Le r le de l diteur de partition est de permettre la visualisation et la manipulation de s quences vid o de LSF et la r alisation de transcriptions de vid os selon des crit res utiles la fois aux linguistes et aux informaticiens Ces crit r
31. r sultats obtenus par un linguiste qui ignore tout du fonctionnement de cet op rateur L tude de la robustesse se ram ne alors l valuation de l ad quation d un op rateur donn avec la t che pour laquelle souhaite l utiliser qui se fera au fur et mesure de l exploitation de ces op rateurs par les linguistes D autre part un certain nombre des op rateurs et sp cialement les op rateurs de segmentation mis en uvre exploitent des hypoth ses priori sur les images notamment la pr sence d un fond bleu et les v tements unis des locuteurs Il convient n anmoins de souligner que ces op rateurs sont tr s d licats mettre en uvre sans ces hypoth ses et que leur mise au point dans le cas g n ral reste un probl me ouvert Enfin la stabilit des op rateurs doit tre envisag e en consid rant la cha ne d interpr tation dans son ensemble segmentation gt mesure gt identification cette cha ne pouvant contenir des m canismes permettant la remise en cause des r sultats obtenus par l op rateur seul et ventuellement leur correction Il faut de plus noter que la pr sence d art facts dans les r sultats obtenus par l application d un op rateur seul peut permettre de d tecter l occurrence d un v nement spatio temporel par exemple si l on suit par la couleur un objet identifi comme tant une main et que cet objet est perdu cela signifie que la main est pass e devant un autre obj
32. rgue les pr occupations de chacun et les crit res de segmentation retenus Transcription n 1 Fanch Lejeune doctorant en co direction LIMSI Orsay et Paris IV Situation 1 Nature de la situation Mouvement par rapport un rep re descendre d un cheval Informations sur les entit s md locatif config main plate gt cheval Phases saillantes de la situation main dominante cot main domin e PN Description de ces phases main dominante sur main domin e Information cin matique mouvement vers le bas de la main dominante depuis main domin e Informations dynamiques Autres informations mimique soutenue mouvement du buste vers la gauche Regard devant Transcription n 2 Annie Risler post doctorante Paris 8 Corps mouvt t te mouvt des paules qui accompagne les mains Regard Vague vague devant mimique R solu contr le d action Mains D descend de G D class jambs G class base vertical Transcription n 3 Gw na lle Jirou DEA Paris 8 02 56 00 68 SIGNES _ descendre de cheval Es Mimique aE d cid e l vres serr es et tir es l vres serr es et tir es RO du corps haussement d PR figurant l effort Traduction en a _ _ Le personnage e prince descend de cheval Il marche Segment 1 03 24 Segment 2 03 92 Transcription n 4 Marie An
33. s choisi une s quence de ce r cit pour pouvoir r aliser la transcription C est ce r cit racont par Khadra Abdelghefar Corpus LS COLIN S quence de 06 15 PRET 06 27 personnage transf r Cheval Un premier travail d extraction et de traitement d images a t r alis par une des linguistes Ensuite une grille partition en param tres a t construite et remplie par l ensemble des linguistes L extraction de l ensemble des images a t faite sur le plan am ricain n anmoins nous avons extrait certaines images sur les deux autres plan afin de voir la qualit et l apport visuel de ces images 5 1 2 1 Remarques sur le travail d extraction et de traitement d images La num risation de l extrait avec les trois plans synchronis s et incrust s dans la m me fen tre permet une visualisation remarquable au niveau de l analyse en vid o de la langue N anmoins lors de l extraction d image nous n avons pas pu incruster l image telle quelle sur la transcription car les trois plans ne donnaient pas une vue analytique de l image Ainsi nous avons d utiliser un logiciel de traitement d images pour s lectionner la portion de l image mettre sur le document 22 e Le corps du locuteur ainsi que l espace de signation ont t s lectionn s en soustrayant les autres plans et les parties qui ne sont pas pertinentes l analyse Ce travail permet de donner une impression de zoom l
34. s explications relatives aux diff rents param tres sont donn es dans la langue du chercheur et en d signent selon les param tres consid r s la face signifiante par exemple pour le regard les mouvements du visage mouvements de la bouche ou la face signifi e ainsi pour la mimique faciale dans la mesure o il est impossible d tablir un syst me lisible qui rendrait compte de tous les muscles du visage entrant en jeu pour telle ou telle expression En ce qui concerne les signes standard ils sont crits entre crochets le mot inscrit ne devant en aucun cas tre associ au signifi du signe ni m me v ritablement son sens mais plut t l invariant signifiant de ce signe auquel on associe une fois pour toute tel mot de la langue orale consid r e 2 1 2 Les syst mes de notation informatis s Les ann es 90 voient l mergence dans divers pays de diff rents syst mes informatis s de transcription et d criture des langues des signes Sync Writer La premi re version de ce programme allemand de transcription pour MAC date de 1991 La seconde version plus labor e para t en 2000 Elle utilise le proc d de transcription en partition en adoptant le champ classique des classifications linguistiques et int gre le syst me HamNoSys Dot de pistes configurables ce programme permet l inclusion d un support d images au moyen de Quick Time Sign stream Ce programme qui s inscrit dans un vaste projet
35. stion des diff rents formats de cassettes vid o convention avec l INJS droits des images 3 2 2 Conditions techniques Nous avons adopt l option maximale des conditions d finies le 26 octobre 2001 c est dire 3 cam ras un fond bleu et un tr s fort clairage voir photo 1 La cam ra 1 une SONY DVCAM situ e 5 m face au signeur et une hauteur de 1m60 filmait la personne en plan am ricain La cam ra 2 une SONY mini DVCAM situ e 2m55 face au signeur et Om90 en hauteur cadrait la t te en contre plong e La cam ra 3 une mini DV au dessus du signeur hauteur depuis de sol 2m60 enregistrait l amplitude des mouvements de bras et de buste Un flash au d but de l enregistrement devait permettre de synchroniser les images des 3 cam ras au montage 71 Photo I pr paration du tournage Le protocole tait d fini comme suit chaque signeur convoqu une heure pr cise tait accueilli par l une des trois linguistes qui lui expliquait voir photo 2 dans une salle part ce qu on attendait de lui savoir l 2 3 rie Raconter l histoire en images du Cheval Raconter l histoire en images de l Oiseau S exprimer sur l un des deux sujets au choix ou les deux suivant les locuteurs le passage l euro ou les v nements du 11 septembre 2001 Expliquer sa recette de cuisine pr f r e Pour les personnes ayant suivi le cursus de linguistique de Paris 8 d
36. ualit du corpus ainsi que sur l analyse des structures de la langue Ce travail s est av r ainsi utile et compl mentaire au premier travail de transcription Blanche Neige r alis entre d cembre et mars 2001 Gr ce l incrustation manuelle des images dans le syst me de partition nous avons pu en quipe de linguistes examiner quelques aspects structuraux de la LSF qui permettent de valider la pr sence de certains indices r currents qui peuvent tre pertinents lors du traitement d images pr diction v rification et lors de la segmentation de l nonc par un syst me automatique de transcription des LS 5 1 1 Objectifs e Examiner la qualit de l enregistrement lors de la transcription et de l analyse Estimer un ventuel gain de temps lors de l extraction et le traitement des images ins rer dans la partition manuelle e Mettre en vidence l apport d un tournage de qualit vid o num rique professionnelle et l utilisation de trois plans diff rents notamment les plans visage et profondeur qui exposent de fa on explicite certains indices visuels non manuels tr s fin mimique faciales et mouvement du corps par exemple d hanchement qui ne sont pas forc ment visibles lors des enregistrements classiques sur plan am ricain et qui sont des l ments constitutifs de la structure des LS 5 1 2 D marche Suite la num risation en trois plans synchronis s du r cit Le Cheval nous avon
37. valeurs peuvent tre d termin es par un traitement plus ou moins automatique en effectuant des mesures directes dans l image yeux ferm s ou en reconstruisant l information 3D associ e direction du regard Elles concernent les l ments de base orientation de la main ou des l ments compos s visage souriant Il peut s agir de valeurs num riques dans le cas de mesures directes ou de valeurs symboliques n cessitant une interpr tation de plus haut niveau partir des mesures effectu es sur les entit s 2D ou 3D ou partir des indices visuels et en exploitant des connaissances a priori mod lisation des composants du corps on peut identifier les entit s r gion de couleur peau taille forme gt main en diff rents niveaux d abstraction suivant la complexit de l information introduite dans le programme r gion de couleur peau main main droite gt main dominante gt signe standard 4 2 1 2 Analyse au niveau de la s quence d images La transcription concerne aussi le mouvement des mains ou du corps l ments qu il faut donc savoir suivre dans la s quence d images c est dire retrouver dans chaque image de la s quence Les param tres portent alors sur une caract risation de ce mouvement vitesse direction signature de trajectoire classification en mouvements de type particulier On retrouve ici aussi la notion de structuration les mouvements l mentaires pouvant tre combin s en des con
38. ype texte Il est possible d ajouter de nouvelles s quences de nouveaux groupes et param tres ainsi que de nouvelles valeurs pour chaque param tre et de nouveaux segments Les valeurs peuvent tre repr sent es selon plusieurs types e JL ic ne ex pour configuration main plate e C symbole ex F pour regard de Face e G description litt rale ex bonjour e V valeur num rique ex 5cm Ainsi chaque utilisateur peut ajouter e de nouveaux param tres e de nouvelles valeurs aux param tres Chaque utilisateur peut choisir e les param tres qu il souhaite tudier e le type d affichage pour chaque param tre ic ne code e l ordre dans lequel ces param tres sont affich s Un utilisateur peut r cup rer une transcription d j r alis e et modifier la forme de la pr sentation Pour cela des profils utilisateurs sont associ s chaque transcription Ainsi la r ouverture d une transcription donn e par un utilisateur donn celui ci retrouve la configuration de l diteur telle qu il l avait d finie pr c demment 4 2 Apports du traitement d images Les apports du traitement d images un outil tel qu un diteur de partitions peuvent tre consid r s sous deux aspects D une part il permet de faciliter la t che du linguiste en automatisant partiellement la r alisation de la transcription segmentation temporelle ou remplissage automatique des valeurs affect es au
Download Pdf Manuals
Related Search