Méthodologie d`exploration de corpus et de formalisation de règles
Contents
1. gles Cet article d crit tout d abord la m thodologie employ e pour mettre en vidence les ph nom nes syst matiques d une LS puis d crit le nouveau formalisme AZee propos pour les repr senter en s appuyant sur deux exemples 2 La conception des r gles Cette section pr sente la m thodologie et le r sultat d une tude multilingue sur les LS fran aise LSF grecque GSL anglaise BSL et allemande DGS r alis e pendant le projet europ en Dicta Sign Une structure linguistique identifi e est celle que nous nommons la structure de qualification d signation C est un exemple repr sentatif du type de r gle repr senter 2 1 M thodologie de la forme la fonction et r ciproquement Deux approches sont possibles pour d terminer une r gle syst matique entre une structure ou une relation s mantique d une part et une production de surface phon tique d autre part soit partir de la fonction s mantique soit partir de la forme de la surface La structure pr sent e ici a t d couverte au moyen de la deuxi me approche qui a comport trois tapes 1 Choix des occurrences collecter dans le corpus Nous avons tout d abord rep r un grand nombre d occurrences o la posture de la main domin e tait maintenue pendant que les gestes de la main dominante continuait sans que les deux mains ne soient en relation pour des raisons g om trique ou topologique comme lorsque la main2. Text sign parallel corpus study to start designing an automatic translation system In proceedings of SLTAT workshop 2011 Sign Language Translation and Avatar Technology Dundee Scotland GonzaLez M Funoi M Comer C 2012 Semi automatic Sign Language corpora annotation using lexical representations of signs Language Resource and Evaluation Conference Istanbul HUENERFAUTH M 2006 Generating American Sign Language classifier predicates for English to ASL machine translation PhD thesis University of Pennsylvania USA Lier S K Jonnson R E 1989 American Sign Language the phonological base Sign Language studies 64 Cambridge University press Marsau L S F R 2004 Sign Language Generation in an ALE HPSG In proceedings of HPSG 11 Leuven Belgique http www sign lang uni hamburg de dicta sign portal 382
3. dominante pointe vers la main domin e Ceci nous a conduit d finir le crit re de rep rage de ces structures de forme nomm persistance ind pendante de la main domin e comme suit Un signe bimanuel s0 suivi par un ou plusieurs signes monomanuels de la main dominante pendant que la posture finale de sO est maintenue par la main domin e Main dominante _s0 _ _ signes monomanuels s ___ Main domin e _ sO maintenue 2 De la forme la fonction en LSF Dans la partie LSF du corpus nous avons recueilli un minimum de 150 occurrences claires de la forme de la surface d crite en 1 et nous avons constat que toutes correspondaient l une des deux cat gories ci dessous a Qualification d nomination La suite s r alis e par la main dominante qualifie le signe 50 tel un adjectif le nomme avec un nom signe nom propre en LS ou encore pelle un mot avec la dactylologie pour l identifier Cela peut tre une combinaison de ces r alisations b Conservation de l activation sO est tenu par la main domin e parce qu il est http www dictasign eu 376 nouveau n cessaire apr s la s quence monomanuelle de la main dominante s0 est souvent r p t ensuite Cela peut tre consid r comme une parenth se dans un discours au cours de laquelle s0 doit tre conserv actif 3 De la fonction la forme en diff rentes LSs L tape suivante a t de commencer un processu
4. en jeu un certain nombre de TI qu il faut synchroniser et chaque TI contient une partie de la signation qu il faut sp cifier Notons en outre que l observation d un corpus de vid os montre que pour une construction linguistique donn e tous les locuteurs ne synchronisent pas n cessairement les TI de mani re rigoureusement identique On remarque que le maintien de la configuration finale du signe LIGNE par la main domin e peut varier dans sa dur e mais que la synchronisation initiale des deux mains au d but du signe LIGNE reste identique pour tous les signeurs propos de cette variabilit et en vue de sp cifier la structure linguistique nous posons les trois objectifs suivants e toute variabilit dans la production n entra nant pas de modification du sens doit rester possible pas de sur sp cification e tout changement entra nant une modification du sens de l nonc fait l objet d un param tre de la r gle e toute sp cification valable quelle que soit le contexte et le signeur doit tre fix par la r gle on appelle ces l ments les invariants de la structure Pour traiter ce probl me nous proposons le recours des ensembles minimaux de contraintes gestuelles et temporelles suffisantes pour noncer une r gle sans contraindre trop la signation e Ja possibilit pour les l ments de sp cification de d pendre de variables contextuelles non fix es par la r gle mais qui prendront une valeu
5. n cessaires sur les bornes des intervalles relations lt gt ou sur les intervalles tout entiers Allen 1983 Ces contraintes apparaissent dans la premi re section de l azalisting encadr es par et le premier s parateur Nous en donnons quelques exemples ci dessous etc un bloc pour chaque TI apparaissant dans le bloc de synchro e gaze lt pt le d but du TI nomm gaze pr c de imm diatement le d but du TI pt pointage manuel e gaze lt pt la fin de gaze pr c de celle de pt __ ptid md le TI pt est inclus dans md p ex la tenue de la main domin e le d est pour during A B C A d bute entre la fin de B et la fin de C Chaque TI doit ensuite tre sp cifi dans son propre bloc de sp cification Cela peut repr senter un simple regard sur une cible une suite de signes manuels un geste des paules du buste des sourcils ou une combinaison de ceux ci Formellement cela peut repr senter e une simple liste de contraintes qui sera maintenir durant toute sa dur e en utilisant des contraintes articulatoires l mentaires ces contraintes ciblent les articulateurs du corps comme un os du squelette ou un muscle du visage ventuellement param tr s par un num ro d ordre p ex la n i me phalange http perso limsi fr filhol zebedee 380 du doigt et ou par un c
6. M thodologie d exploration de corpus et de formalisation de r gles grammaticales pour les langues des signes Michael Filhol Annelies Braffort LIMSI CNRS Campus d Orsay bat 508 BP133 91403 Orsay cx michael filhol limsi fr annelies braffort limsi fr R sum Cet article pr sente une m thodologie visant partir d une observation de corpus vid o de langue des signes rep rer puis formaliser les r gularit s de structure dans les constructions linguistiques Cette m thodologie est applicable tous les niveaux du langage du sub lexical l nonc complet En s appuyant sur deux exemples il pr sente une application de cette m thodologie ainsi que le mod le AZee qui int grant la souplesse n cessaire en termes de synchronisation des articulateurs permet une formalisation des r gles rep r es ABSTRACT Methodology for corpus exploration and grammatical rule building in Sign Language This paper presents a methodology for Sign Language video observation to extract and then formalise observed linguistic structure This methodology is relevant to all linguistic layers from sub lexical to discourse as a whole Relying on two examples we apply this methodology and describe the AZee model which integrates the required flexibility for synchronising articulators hence enables a specification of any new systematic rule observed Mors ci s Langue des signes analyse de corpus mod le grammatical synchronisatio
7. e et ainsi augmenter notre chantillon d tude Nous comptons poursuivre ce travail pour multiplier le nombre de structures ainsi d crites et terme pouvoir conclure sur la capacit d AZee couvrir l ensemble des structures linguistiques mises en vidence Notre hypoth se est qu une fois combin es ces r gles pourront permettre de d crire des nonc s complets en LS Ceci sera le point de d part d une valuation approfondie du mod le AZee et de sa mise en uvre au sein d applications d di es la g n ration et LS et plus long terme la traduction du texte vers la LS en utilisant les entr es de ces r gles comme sortie d un syst me d analyse textuelle Ces r gles pourront aussi faire suite au travail d j entam avec Zebedee Gonzalez 2012 pour tendre les travaux de reconnaissance des signes lexicaux aux structures plus larges des nonc s 5 R f rences ALLEN J F 1983 Maintaining Knowledge about Temporal Intervals In Communications of the ACM 26 11 pp 832 843 New York USA Ecuorr R GLauerr J JENNINGS V Kennaway R 2004 An overview of SiGML notation and SiGMLSigning software system In Proceedings of LREC 2004 Language Resources and Evaluation Conference workshop RPSL Representation and Processing of Sign Languages From SignWriting to Image Processing Information techniques and their implications for teaching documentation and communication Lisbon Portugal Funol M 2011
8. n Keyworps Sign Language corpus analysis grammatical models synchronisation 1 Introduction Notre objectif g n ral est de repr senter de mani re formelle le fonctionnement des Langues des Signes LS ses l ments et ses r gles Ces repr sentations doivent nous permettre de g n rer des nonc s et produire automatiquement des animations en LS via un signeur virtuel personnage virtuel en 3d s exprimant en LS et terme d envisager la traduction d une langue crite vers la LS Filhol 2011 Les LS sont des langues peu dot es dont les ressources dictionnaires livres de grammaire m thodes p dagogiques corpus sont tr s limit es En France la LSF n est reconnue comme langue part enti re que depuis 2005 Les quelques descriptions existantes sont sommaires et nous avons pu observer pour certaines d entre elles qu elles ne r sistent pas la v rification sur corpus C est pourquoi notre d marche comporte Loi 2005 102 La langue des signes Histoire et grammaire IVT ed 1998 La LSF mode d emploi M Companys ed 2003 Actes de la conf rence conjointe JEP TALN RECITAL 2012 volume 2 TALN pages 375 382 Grenoble 4 au 8 juin 2012 2012 ATALA amp AFCP 375 l annotation et l analyse d un corpus de LS pour identifier des r gularit s de forme qui conduiront la description de r gles grammaticales Ensuite nous laborons des mod les formels permettant de repr senter ces r
9. oposons nomm AZee 3 1 Mod les composante temporelle Le projet le plus abouti reste celui labor durant le projet europ en ViSiCAST bas sur HPSG Marshall 2004 Il est int gr dans un syst me de g n ration automatique d nonc s en LS qui d finit des s quences de mouvements ou de signes l mentaires s par s par des transitions de m me nature Elliott 2004 Ce type de repr sentation n int gre pas de syst me de synchronisation suffisant pour repr senter les ph nom nes li s la multi lin arit de la LSF Deux mod les font tout de m me appara tre la multi lin arit dans les descriptions Liddell amp Johnson 1989 ont montr que les signes taient divisibles en unit s temporelles o les articulateurs du corps se synchronisaient en postures s par es par des unit s de transition alternant sur une ligne temporelle de description Ce mod le reste en revanche comme ses pr d cesseurs port sur l activit manuelle et la description lexicale dans sa forme de citation dictionnaire or les LS permettent la cr ation spontan e et s mantiquement productive d unit s non r pertori es qui contrastent avec le vocabulaire fig standard en cela qu elles mettent souvent en jeu de nombreux articulateurs non manuels paules buste muscles faciaux etc qu il faut synchroniser Le mod le P C de Huenerfauth 2006 permet de diviser par endroits une ligne de temps en deux lignes parall les pour
10. ouvant s exercer sur les v nements manuels et qui sont probablement accompagn s d autres contraintes d couvrir sur des l ments non manuels par exemple Nous avons remarqu la pr sence de ces structures 2a dans la base de donn es de lexique de LSF construite pendant le projet Dans cette base de donn es chaque entr e est une unit lexicale lemmatis e associ e un ou plusieurs concepts Une entr e poss dant une telle structure doit elle tre consid r e comme une unit lexicale ou s agit il d une construction syntaxique laquelle on peut associer un concept Le signe est il une tape de la lexicalisation d une structure et comment trancher De plus il est possible que des articulateurs non manuels soient porteurs d une structure comme 377 chez certaines observ es dans le projet DictaSign et leur synchronisation peut devenir d autant plus complexe Pour en revenir notre motivation initiale de concevoir des mod les informatiques ces consid rations plaident en faveur de repr sentations qui ne sont ni organis es autour de l activit manuelle a priori ni limit s des niveaux linguistiques sp cifiques lexique syntaxe etc mais proposent un point de vue global 3 La repr sentation des r gles Cette section pr sente un tat des lieux des mod les existants le cahier des charges auquel selon nous doit r pondre un mod le de description de la LS puis le nouveau formalisme que nous pr
11. r selon leur utilisation 3 3 Le mod le AZee Le mod le Azee permet de repr senter les contraintes n cessaires et suffisantes CNS de synchronisation et de r alisation d un nonc en LS Il est compos de deux mod les Zebedee et Azalee 379 Zebedee est un langage de description qui impl mente des CNS ainsi que des d pendances contextuelles pour donner aux s quences posture transition ces m mes propri t s Il a t initialement con u pour d crire les unit s lexicales de la LS Nous ne d taillons pas ce formalisme ici mais une page web lui est d di e Azalee est un formalisme capable de d crire tous types de synchronisation entre TI En Azalee les TI g n ralement superpos s doivent tre agenc s sur la ligne de temps selon des contraintes temporelles d terminer puis chaque TI doit tre sp cifi s par ment sp cifiant ainsi la totalit de la structure Soit un ensemble de TI num rot s TI1 TI2 etc concourant une structure linguistique Azalee d crit cette structure en un azalisting en les encapsulant comme suit l r gle de synchro Liste des contraintes temporelles r gle de synchro n cessaires et suffisantes agen ant r gle de synchro les TI sur l axe temporel I TH bloc de sp cification I TI2 bloc de sp cification IEE Il l instar des CNS de Zebedee les TI sont agenc s sur l axe temporel avec un ensemble minimal de contraintes temporelles
12. s avec une d pendance contextuelle nomm e target qui repr sente la cible du pointage 4 Conclusion et perspectives Cet article a pr sent une m thodologie visant partir d une observation de corpus vid o rep rer puis formaliser les r gularit s de structure apparaissant entre le sens et la forme de constructions linguistiquement motiv es Cette m thodologie se veut le moins possible empreinte de courant linguistique a priori et applicable tous les niveaux du langage du sub lexical l nonc complet Le rep rage vid o s organise autour de deux d marches inverses et compl mentaires rechercher une forme et g n raliser sur le sens ou rechercher une valeur s mantique et en extraire les invariants 381 surfaciques La formalisation de r gles de production partir de ces r gularit s observ es est rendue possible gr ce au mod le AZee dont nous avons pr sent les bases Celui ci permet une combinaison des deux strat gies de synchronisation qu offrent les langages Zebedee et Azalee respectivement la synchronisation par postures et celle par agencement contraint d intervalles temporels sur une ligne de temps Si la partie Zebedee de ce mod le est d j bien valu e 2000 signes LSF d crits nous n avons pour l instant explor qu une dizaine de structures Les cinq heures de corpus DictaSign annot es devraient nous permettre de recueillir plus de ces structures et plus d occurrences pour chacun
13. s de v rification multilingue sur les parties LSF DGS et GSL respectivement LS fran aise allemande et grecque du corpus Dicta Sign Toutes les langues ont t fouill es pour trouver des occurrences de la fonction s mantique de qualification d nomination 2a et les formes correspondantes observ es Les LS ont t analys es ind pendamment par des experts de chaque LS et les r sultats nous ont permis de confirmer nos observations sur la LSF et de proposer la r gle suivante commune aux trois LSs Lorsque s0 est un signe bimanuel suivi par un ou plusieurs signes monomanuels de qualification ou de d nomination la main domin e a tendance garder de mani re ferme la derni re posture de sO tandis que les autres signes sont effectu s avec la main domin e Dans l exemple LSF montr figure 1 il s agit d une qualification suivie d une d nomination d une ligne de m tro sur un plan le locuteur identifie la ligne jaune U3 La main domin e garde tr s clairement la posture finale du premier signe et est maintenue fermement tout au long des trois signes suivants jusqu ce que les deux mains soient rel ch es Ficure 1 Combinaison des quatre signes LIGNE JAUNE U 3 2 2 Discussion Ces premiers r sultats doivent tre affin s que ce soit sur les formes associ es la fonction ou sur les fonctions associ es la forme Mais d s pr sent ils nous permettent de mettre en lumi re un certain type de contraintes p
14. sp cifier deux activit s simultan es L nonc peut se repr senter sous la forme d un arbre o les feuilles sont des signes lexicaux et les n uds interm diaires sont chacun e soit de type C constituant dont les enfants sont des sous parties de l nonc concat ner e soit de type P partition dont les enfants sont des sous parties de l nonc parall liser Le probl me est alors que les n uds P et C partagent syst matiquement les m mes bornes temporelles et ne peuvent se chevaucher librement moins d utiliser des n uds sp ciaux qui ne repr sentent rien linguistiquement et rendent les descriptions fastidieuses 378 3 2 Cl s pour un nouveau mod le Nous proposons un nouveau formalisme de description nomm Azee En utilisant deux m thodes de synchronisation combin es AZee peut d crire n importe quel motif de synchronisation des articulateurs du corps en LS Dans le cas g n ral un groupe d articulateurs dans une production sign e a une p riode d activit pendant laquelle ils concourent l nonc et hors de laquelle ils sont ou retournent dans une position de repos Cette p riode est appel e intervalle et not e TI time interval Par exemple le sch ma suivant montre 5 TI synchronis s sur un axe temporel qui correspondant l exemple de la figure 1 Main dominante _LIGNE JAUNE _U_ _3_ Main domin e LIGNE Chaque production linguistique met
15. t du corps gauche droit ou dominant domin e une synchronisation de postures s par es par des transitions en utilisant le langage Zebedee pr vu cet effet une structure temporellement plus complexe savoir un azalisting imbriqu r partissant ainsi les TI contenus sur le morceau de l axe temporel d di au TI englobant Les deux formalismes Azalee et Zebedee et ce faisant les deux strat gies de synchronisation se combinent et permettent l imbrication libre de structures r utilisables Voici un exemple complet d azalisting pour une structure activant une zone de l espace de signation par un pointage dont le sch ma g n ral est d crit ci dessous le regard pr c de toujours d un temps tr s court le signe du pointage le regard et le pointage ciblent tous deux le m me point de l espace qui d pend de l nonc e si le regard est maintenu il ne d passe jamais la r tractation du pointage manuel AZOP activation pointage de l espace Ci dessous d claration d une d pendance au contexte DEP spaceloc Point repr sente l emplacement activ I Igaze lt pt regard d bute juste avant pointage gaze lt pt regard termine avant la fin du pointage gaze LOOK at spaceloc regarder l emplacement activer Il pt SEQ pointage WITH ce m me emplacement comme cible target spaceloc END T END o pointage est une zebedescription d finie par ailleur
Download Pdf Manuals
Related Search