Home

Rapport Final complet

image

Contents

1. La t te se baisse et rentre dans les paules Mouvement de la bouche Semi ouverte Souffle Souffle Mouvement du corps Redress e Vers le bas Mouvement progressif du corps vers l avant Mouvement progressif du corps vers l avant Traduction approch e Le personnage le cheval est pr t Il souffle un grand coup et s lance 35 Fragment 5 6 7 Dur e de la s quence 06 18 14 06 19 03 06 19 04 06 19 10 06 19 11 06 20 07 Images Direction des mouvements Perspective profondeur et mouvement Regard sur les mains qui se rapprochent Fin clignement fermeture clignement Vers l espace neutre devant Signes Se rapprocher du corps Courir Prendre de l lan et sauter Prendre l lan et Prendre de sauter l lan et sauter Main dominante Deux mains Barri re Pattes Pattes Pattes Pattes Mouvement des poignets 2 fois Main domin e Transferts DT TP TP TP TP Mimique faciale Yeux l g rement ferm s froncement des sourcils concentration Yeux pliss s souffle Yeux pliss s mvt de la Effort continu bouche vers le bas Mouvement de La t te se baisse et rentre dans les paules Se tend vers le haut la t te au Mouvement de Souffle moue moue L vres arrondies la bouche Mouvemen
2. Bascule droite Bascule l g rement gauche Traduction approch e en bois est bris e Il tombe 38 Fragment 17 18 19 20 21 22 Dur e de la s quence 06 25 15 06 26 00 06 26 01 06 26 19 06 26 22 06 27 11 27 12 27 21 Images Direction des RES Ad mouvements AT N V v Regard Vers interlocuteur Vers interlocuteur Fermeture Vers la Br ve regard vers l interlocuteur Fermeture Vers l espace clignement droite clignement neutre Signes ISANG Saigner saigner SOUFFRIR ICRIER Pattes Main SANG Du sang qui m dominante Deux mains SOUFFRIR CRIER pattes Pattes en l air immobile Main domin e Pattes Transferts STP TS DT STP STP TP Mimique Mimique de souffrance faciale souffrance Mouvement de la t te Inclin e vers la gauche De face pench e vers la droite vres tir es ouvertes squisse de emi Mouvement de L vres tir e la bouche labialisation uuu ouverte Mouvement de Le torse se balance Torse tourn et arr t la p artie de gauche droite vers la droite sup rieure du corps Sa patte saigne Il souffre beaucoup et crie tout en restant immobile 39 6 R SULTATS OBTENUS 6 1 Des tapes n cessaires pour tudier les langues des signes Il est logique q
3. e de nouvelles valeurs aux param tres Chaque utilisateur peut choisir 165 param tres qu il souhaite tudier 16 type d affichage pour chaque param tre ic ne code l ordre dans lequel ces param tres sont affich s Un utilisateur peut r cup rer une transcription d j r alis e et modifier la forme de la pr sentation Pour cela des profils utilisateurs sont associ s chaque transcription Ainsi la r ouverture d une transcription donn e par un utilisateur donn celui ci retrouve la configuration de l diteur telle qu il l avait d finie pr c demment 4 2 Apports du traitement d images Les apports du traitement d images un outil tel qu un diteur de partitions peuvent tre consid r s sous deux aspects D une part il permet de faciliter la t che du linguiste en automatisant partiellement la r alisation de la transcription segmentation temporelle ou remplissage automatique des valeurs affect es au segment partir de r sultats obtenus par l application d op rateurs sur tout ou partie de la s quence vid o D autre part le traitement d images donne acc s des informations invisibles directement occupation de l espace mesures de vitesse mod lisation cin matique etc Enfin le traitement d images peut tre int gr dans une application plus complexe de construction interactive de concepts voir Dalle 2001 Le linguiste peut comparer la description qu il a fournie en termes d indices
4. me le proc d qui consiste partir d un signe standard par exemple CHIEN apporter des informations nouvelles qualifiant sa taille sa forme son aspect transferts de taille et de forme pseudo transfert personnel c est dire reprendre cet item en en affinant la granularit Noyau 1997 est bien une focalisation au sens premier de changement de focale Christian Cuxac 6 2 1 1 Par rapport la probl matique de la communication non verbale Si les langues des signes sont pr sent des objets incontournables pour s interroger sur le statut accorder la gestuelle conversationnelle par exemple Singleton Goldin Meadow amp McNeill 1995 leur prise en compte a fait merger des questionnements pist miques totalement neufs Ainsi les expressions d motions lorsqu elles caract risent l tat d esprit du sujet nonciateur d une langue orale sont selon une vieille tradition rejet es hors analyse linguistique En langue des signes lorsqu un narrateur sourd raconte une histoire et qu il devient tour tour en utilisant les structures de transfert personnel les diff rents protagonistes de cette histoire il dira l tat d esprit de ceux ci il parlera s il le veut bien de leurs motions en convoquant sur son propre visage des l ments retenus parmi le paradigme de ses propres expressions faciales Le fait qu elles puissent varier en qualit 47 comme en quantit d un indivi
5. visuels avec les r sultats propos s par ce syst me qui lui pr sente les objets correspondant la description donn e Par cette mise en correspondance le linguiste pourra v rifier la pertinence des indices visuels utilis s pour mettre en vidence des structures particuli res de la langue des Signes Ce dernier domaine d application constitue toutefois un sujet de recherche long terme qui ne rentre pas dans le cadre du projet LSCOLIN il ne sera donc qu voqu la fin de cette section 26 4 2 1 Possibilit d automatisation partielle par traitement d images Les informations report es dans les diff rents niveaux de la partition proviennent d une analyse et d une interpr tation par le linguiste de la s quence d images d termination des composantes de l image et analyse des mouvements Afin de l aider dans cette analyse et donc de faciliter l utilisation de l diteur de partitions nous avons tudi dans quelle mesure le traitement d image permettrait d automatiser certaines t ches Nous allons pr senter les diff rents probl mes que l on peut tenter de r soudre par traitement d image d une fa on g n rale puis sp cifier ce qui peut tre r alis dans le cadre limit du projet LS COLIN et enfin nous pr senterons les tudes men es et les r sultats interm diaires obtenus 4 2 1 1 Analyse au niveau d une image Les param tres de la LS figurant dans la transcription concernent des l ments du corps c
6. 2 mains sym triques MD au dessus md 2 mains se touchent 2 mains asym triques Exemple 1 main 1 transition 32 md glisse sur bras MD 43 Lecture de l exemple On observe une seule main de l image 1 l image 31 puis une transition de l image 32 l image 42 puis la md glisse sur le bras de la MD de l image 43 l image 2 Transcription main 1 transition 32 md glisse sur 43 bras MD transition 102 suene LL C Transcription du regard 1 Mode d emploi de la transcription Chaque ligne d finit une zone de la s quence d images durant laquelle le regard est constant Elle est d crite par la s quence description du regard couple de 2 num ros d image Ladescription du regard repr sente soit la direction gauche face soit le fait que les yeux sont ferm s ferme Les num ros d images d crivent un intervalle 1 image de la zone derni re image de la zone Liste des descriptions utilis es Gauche ferme face bas gauche face plisse Exemple Gauche 1 6 ferme 7 46 face 47 51 Lecture de l exemple La narratrice regarde gauche de l image 1 l image 6 puis elle ferme les yeux de l image 7 l image 46 regarde en face de l image 47 l image 51 gt 17 2 Transcription 2 3 Conclusion 47 51 55 58 Gauche 59 59 ferme La confrontation de ces diff rents modes de transcription attestait que si les linguistes avaient tous choisi un
7. Anne Sallandre Ces va et vient fonctionnels avaient jusque l t tudi s partir d un corpus limit et uniquement dans le cadre d une analyse qualitative voir Sallandre 2001 Le corpus LS COLIN doit permettre de r aliser une analyse la fois qualitative et quantitative de ces va et vient Pour cela plusieurs tapes d analyse sont n cessaires Un premier travail quantitatif consiste d nombrer le nombre d unit s minimales ou signes et tablir les proportions des signes produits en grande iconicit et des signes standards par type de discours et par locuteur Un second travail qualitatif et quantitatif sera d tablir un ordre canonique des signes dans les nonc s en LSF nouveau par type de discours et par locuteur On pourra alors mettre des hypoth ses nouvelles sur ces va et vient entre les structures linguistiques de la LSF Marie Anne Sallandre De m me le corpus montre que les r les fonctionnels grande iconicit standard loin d tre fig s absolument dans des genres peuvent s inverser en cas de conduites m talinguistiques un peu de la m me mani re qu on l observe dans le cadre de communications entre locuteurs sourds pratiquant des langues des signes diff rentes voir la recherche de Nathalie Monteillard sur les communications internationales entre locuteurs sourds Cela s explique par le fait que les transferts en tant que savoirs partag s d origine perceptive transferts de forme et situ
8. LS Colin http www irit fr LS COLIN 50 BIBLIOGRAPHIE Arapu D 1983 Un constant forme sens partir de couper en arabe In Typologie linguistique 33 62 Journ e d Etudes n 5 A Cartier ed UFR de Linguistique G n rale et Appliqu e Universit Ren Descartes Paris Cao X H 1985 Phonologie et lin arit r flexions critiques sur les postulats de la phonologie contemporaine SELAF Paris Cuxac C 1996 Fonctions et structures de l iconicit des langues des signes Th se de Doctorat d tat Universit Paris V Cuxac C 2000 La langue des signes fran aise LSF les voies de l iconicit Faits de Langues 15 16 Ophrys Paris Denis M 1989 Image et cognition PUF Paris Fusellier Souza L 2001 La cr ation gestuelle des individus sourds isol s De l dification conceptuelle et linguistique la s miog nese des langues des signes In A Z L E 15 p 61 96 Paris Goldin Meadow S amp Mylander C 1998 Spontaneous sign systems created by deaf children in two cultures 279 281 In Nature 391 666 Lakoff G 1997 Les universaux de la pens e m taphorique variations dans l expression linguistique In C Fuchs amp S Robert eds Diversit des langues et repr sentations cognitives 165 181 Ophrys Paris L dtke H 1969 Die Alphabet Schrift und das Problem der Lautsegmentierung Phonetica n 20 147 176 Paivio A 1986 Mental Representations A Dual Coding Approach Oxford Unive
9. Philippe Histoire du cheval XX XX Histoire de l oiseau EW 2 X XX Euro 2 EF EB Ej ke gt 0 X Ev nement s du 11 septembre t Usine AZF X XX X X 0 X Recette de Lingui cuisine stique X X x x x 0 x 0 x 0 x 0 x x x x x x x x x 0 x x Histoire du cheval n 2 gt 04 gt x C Tableau de synth se les productions du corpus LSP et 173111 Fusellier Souza LIBRAS LS COLIN corpus LSP et LIBRAS tableau synth se Histoire du Histoire de 6 cheval l oiseau bern d image d animaux de vie 1 Ana Maria LSP o o apo 1 48 30 101 2 Josenildo LSP E 2 2 06 40 27 73 3 gsp 01 01 01 01 13 43 32 92 a ZEE et Cl sio S Rog rio LIBRAS 01 Ww 22 01 6 Liliane LIBRAS 2 2 z 01 2 2 01 7c ENNEN 7 gt T lt Fm LIBRAS o 101 0 1 05 9 Fabricia LIBRAS o 1 ZEE 04 10 Glaucia LIBRAS 0 1 EN ALNekon LIBRAS 01 82122 E 2 01 12 Eduardo fr re LSP 01 a 2 01 2 02 entendant UN v 10 06 07 34 131 136 334 55
10. activit s partiels dont les donn es sont recueillies artificiellement en laboratoire On pourrait ainsi parler d une fonction langagi re se fondant dans l interaction tr s int grative en ce sens qu elle distribuerait en les articulant diff rents univers repr sentationnels en fonction de jeux de langage Wittgenstein 1961 d une remarquable diversit La linguistique tudier ces va et vient travers les jeux de langage qui les motivent dans le vif de discours en train de se construire c est dire en portant la recherche non plus sur des repr sentations id alis es mais sur des fa ons de repr senter retrouverait par l m me une place de premier plan parmi l ensemble des sciences cognitives On pourra certes mettre en doute la repr sentativit et donc la validit d un mod le cognitif construit partir d objets linguistiques qui ne concernent directement qu un milli me de la population mondiale Songeons toutefois la pi tre connaissance que nous aurions de l appareil psychique humain si nous avions limit nos observations et nos investigations aux tats de pleine conscience des gens dits raisonnables 48 7 Conclusion et perspectives Comme nous avons soulign dans le chapitre pr c dent les travaux men s au d but de cette tude conform ment au planning que nous nous tions fix ont montr la n cessit r aliser plusieurs tapes pr liminaires Tout d abord le manque de donn es pouvant su
11. ce qui a occup l ensemble du temps imparti pour ce projet En revanche les travaux pr liminaires relatifs aux rapports entre langage et cognition ont avanc Ils taient destin s fournir aux informaticiens des l ments d analyse morphologique de la langue sur lesquels ils pourront s appuyer pour le traitement d images Les 43 tentatives de lecture de l organisation iconique de l espace de signation dispositions dans l espace et morphologie manuelle se sont appuy es sur les formalisations des op rations s mantico cognitives sous jacentes la mise en ceuvre de cet espace Travaux r alis s Nous nous sommes appuy s sur les travaux pr liminaires r alis s dans sa th se par Annie Risler Risler 2000 Elle a examin des nonc s paraphrastiques avec un informateur collaborateur sourd afin d explorer l hypoth se de similitude entre l utilisation de l espace et la mise en uvre des op rations langagi res d crites dans les grammaires cognitives et en particulier la GAC que sont la cat gorisation la d termination la pr dication et l nonciation Ce travail a d bouch sur une nouvelle mani re d envisager les cat gories de signes signes standards et relateurs l espace de signation structur par l iconicit d image pour les signes standards et l iconicit diagrammatique pour les signes relateurs ou op rateurs et les marques morphologiques Dans la phase nouvelle de cette recherche nous avons confron
12. certains param tres au sein d un lt groupe de param tres gt visuellement identifi lorsque cela est justifi ex main dominante main domin e deux mains 25 e Une barre verticale synchronis e avec le d filement de la vid o peut se d placer le long de la transcription selon l axe temporel Une transcription vid o est compos e de plusieurs partitions diff rentes En effet un utilisateur peut vouloir tudier plusieurs extraits d une m me vid o ou transcrire de plusieurs mani res diff rents la m me vid o 4 1 4 G n ricit flexibilit ouverture L diteur peut tre utilis la fois par des linguistes et par des informaticiens Il est donc pr vu des facilit s de personnalisation et de modification de la partie transcription Chaque transcription avec ses s quences ses param tres avec leurs diff rentes valeurs et les segments qui la composent est d crite et sauvegard e dans un fichier de type texte Il est possible d ajouter de nouvelles s quences de nouveaux groupes et param tres ainsi que de nouvelles valeurs pour chaque param tre et de nouveaux segments Les valeurs peuvent tre repr sent es selon plusieurs types ic ne ex V pour configuration main plate symbole ex lt F gt pour regard de Face description litt rale ex lt bonjour gt valeur num rique ex 5cm Ainsi chaque utilisateur peut ajouter denouveaux param tres
13. charge ils devaient s adresser elle La dur e de la production varie entre 5 8 s quences cons cutives par locuteur en fonction de sa disponibilit de sa m morisation et de ses envies Le but tant de rester le plus naturel possible nous sommes intervenus au minimum lors de la prise de vue Nous obtenons un total 22 de 90 productions diff rentes dont r cits explications techniques explications m talinguistiques argumentation Annexe 2 Des interruptions cause d incidents techniques batterie d charg e ou sur demande de l intervenant ont pu se produire pour certains locuteurs dans ce cas nous avons essay de reprendre toute la s rie depuis le d but 13 locuteurs ont ainsi particip la r alisation de ce corpus nous avons donc environ 6 heures de film analyser 2 heures par cam ra Le d tail du corpus brut est donn en annexe tableau de synth se liste d taill e des productions 3 3 Evaluation La qualit technique de ces films num ris s qui n cessite des moyens informatiques importants est valid e par le confort de visualisation qu elle procure Les montages transferts et productions finalis es nous ont demand d acqu rir des techniques lourdes de traitement de films Bien que l analyse linguistique ne soit pas achev e nous constatons que le panel obtenu des productions en LSF est tr s satisfaisant et est actuellement in dit en France ainsi que sur le plan internatio
14. couleurs diff rentes ou en utilisant la transparence afin par exemple de visualiser les zones relatives aux signes standards et celles de grande iconicit 32 5 Exploitation du corpus 5 1 Premi re transcription manuelle du corpus LS COLIN Les linguistes participant au projet ont d cid de r aliser une premi re transcription manuelle d un court extrait du corpus LS COLIN l diteur de partitions tant encore en phase de test Notre but premier est de v rifier l apport pour la transcription et pour l analyse d un tel type de corpus r alis dans des conditions techniques d une tr s bonne qualit Nous avons choisi de travailler partir d un syst me de transcription en partition commun tous les linguistes fin de pouvoir partager et changer les connaissances sur la qualit du corpus ainsi que sur l analyse des structures de la langue Ce travail s est av r ainsi utile et compl mentaire au premier travail de transcription Blanche Neige r alis entre d cembre et mars 2001 Gr ce l incrustation manuelle des images dans le syst me de partition nous avons pu en quipe de linguistes examiner quelques aspects structuraux de la LSF qui permettent de valider la pr sence de certains indices r currents qui peuvent tre pertinents lors du traitement d images pr diction v rification et lors de la segmentation de l nonc par un syst me automatique de transcription des LS 5 1 1 Objectifs Examin
15. en fonction des ph nom nes linguistiques qu ils souhaitent tudier se r v lent peu satisfaisants En pr alable un premier travail de transcription r alis par les membres de chaque laboratoire participant au projet LS COLIN afin de d finir un cadre de recherche commun un r capitulatif des diff rents syst mes de notation existants a t fait 2 1 Relev des diff rents syst mes d criture et de transcription existants 2 1 1 Les syst mes de notation manuels Roch Ambroise B bian La plus ancienne tentative connue de notation d une langue des signes date du XIXe si cle En 1825 Roch Ambroise B bian professeur frangais sp cialis dans l enseignement des Sourds crit Mimographie ouvrage dans lequel il propose une description de la LSF en moins de 200 symboles en prenant en compte la mimique faciale la description de la forme des mains etc Ce syst me pourtant pr curseur n a pas t exploit un congr s international r unissant des partisans de l oralisme s tant tenu Milan en 1880 et ayant pr conis pour des raisons essentiellement politiques et religieuses l interdiction de la langue des signes dans les milieux ducatifs Cela mit fin pour des d cennies toute recherche sur les langue des signes et partant toute tentative de transcription de ces langues William Stokoe Ce n est qu au d but des ann es 1960 que s amorce un regain d int r t pour les langues des signes et qu
16. lecture arr t sur image ainsi qu un acc s non lin aire aux images de la s quence Transcription de vid os Il permet aussi de r aliser une transcription de vid os c est dire d associer une ou plusieurs images des informations symboliques ou num riques Une fois la transcription r alis e on peut la sauvegarder afin de pouvoir la restituer lors d un chargement ult rieur de la s quence vid o Application d op rateurs de traitement d image L diteur de partition int gre des fonctionnalit s permettant de convertir les donn es contenues sous forme compress e dans la vid o dans une forme manipulable par des op rateurs de traitement d images 4 1 2 Aspect graphique de l diteur L diteur est constitu de deux parties Figure 1 La partie sup rieure contient la visualisation de la s quence vid o avec une s rie d ic nes cliquer permettant d acc der rapidement aux fonctionnalit s du logiciel et des boutons d actions sur la vid o La partie inf rieure comporte la transcription associ e 24 1 4 ner vI pouver Compteur images marche 0 arret Sequence Groupe de parametres Parametre Segment Sequence debut 0 0 0 0 1 0 images 0 a 25 incluse regard regard direction mains dominante Figure 1 aspect graphique de l diteur 4 1 3 Description d taill e de la partie transcription La transcription est repr sent e sous forme d une partiti
17. les linguistiques d coulant de cette tude serviront de base l laboration de syst mes informatiques pour le traitement et la reconnaissance de langues des signes partir d images capt es par cam ra vid o Nous avons dans un premier temps confront nos approches sur les diff rentes d marches d analyse d un corpus vid o de LS Nous avons ensuite d fini les objectifs suivants extraire des primitives signifiantes de s quences vid o utiles pour la reconnaissance et l interpr tation tant au niveau linguistique qu au niveau informatique trouver et quantifier des structures dans une s quence d image v nements p riodiques configurations mettre au point un outil de transcription automatis partir de vid o num rique adapt aux besoins des linguistes et des informaticiens en tenant compte des diff rentes approches Dans un deuxi me temps notre objectif tait de trouver un mode de transcription commun aux linguistes et aux informaticiens qui permettrait e de passer entre les niveaux du formel au signifi de guider cibler voire anticiper les traitements d images pr diction v rification 2 tat de l art et d marche retenue Les langues des signes par la quadridimensionnalit dans laquelle elles s inscrivent et la simultan it d information dont elles proc dent sont difficilement analysables Les syst mes de transcription le plus souvent manuels et mis au point par les chercheurs
18. on voit r apparaitre aux Etats Unis un nouveau syst me d criture mis au point par le linguiste William Stokoe Ce dernier dont le but tait de d montrer la double articulation de l ASL American Sign Language afin de la faire acc der au rang de langue du monde vacue l iconicit de ses recherches car consid r e par lui comme non pertinente et appel e dispara tre tablit en se basant sur les travaux de B bian que les signes ne sont pas des gestes holistiques mais sont d composables en une configuration une orientation un emplacement et un mouvement param tres auxquels il donne le nom de ch r mes quivalents gestuels des phon mes des langues orales Ce syst me de transcription labor par Stokoe comporte 55 symboles repr sentant 55 ch r mes et sera utilis pour la r alisation d un dictionnaire paru en 1965 comportant plus de 3000 entr es Toutefois cette transcription phonologique des signifiants de l ASL pr sente l inconv nient de ne noter que les gestes car on pensait cette poque que l essentiel des effets de sens ne passaient que par les signes Outre le fait de rejeter l iconicit hors langue et donc de passer c t d une des caract ristiques constitutives des langues des signes il ne prend pas en compte la mimique faciale et laisse de c t le regard param tres pourtant d terminants pour la construction du sens Paul Jouison ducateur sp cialis de formation Paul Jouison
19. orie de Cuxac 2000 Le sujet de cette th se porte sur la s miog n se des Langues des Signes Les tudes sur la cr ation des Langues des Signes Primaire LSP par des personnes sourdes vivant dans diff rents environnements culturels sp cifiquement entendants d montrent que ces individus sourds utilisent le m me proc d cognitif lors de la cr ation des signes gestuels cf Fusellier Souza 2001 Goldin Meadow 1998 Yau 1992 Il a t constat que les formes signifiantes des signes renvoyant aux m mes r f rents stables sont fortement semblables d un individu sourd l autre cf Cuxac 1996 Fusellier Souza 2001 Cette ressemblance s explique par l activation du processus d iconicisation de l exp rience fond principalement sur l appr hension et la reprise de formes saillantes la description de contours de formes et de tailles et la reprise iconique de sc nes actants et d placements au moyen d une gestualit corporelle spatialis e Le caract re g n ral de ce processus d iconicisation ainsi que la similitude iconique des formes appr hend es confirment bien que les individus sourds vivant exclusivement en milieu entendant reproduisent dans leur micro univers familial les premiers stades de la constitution des langues des signes De ce fait nous pouvons postuler que les diff rentes langues des signes standardis es pratiqu es actuellement par des sourds vivant en communaut ont eu comme point de d part des situat
20. ou 3D ou partir des indices visuels et en exploitant des connaissances a priori mod lisation des composants du corps on peut identifier les entit s r gion de couleur peau taille forme main en diff rents niveaux d abstraction suivant la complexit de l information introduite dans le programme r gion de couleur peau main main droite main dominante signe standard 4 2 1 2 Analyse au niveau de la s quence d images La transcription concerne aussi le mouvement des mains ou du corps l ments qu il faut donc savoir suivre dans la s quence d images c est dire retrouver dans chaque image de la s quence Les param tres portent alors sur une caract risation de ce mouvement vitesse direction signature de trajectoire classification en mouvements de type particulier On retrouve ici aussi la notion de structuration les mouvements l mentaires pouvant tre combin s en des configurations plus complexes balancement et la notion de mesures relatives trajectoires parall les Enfin le mouvement tant fugitif il est int ressant pour faciliter son analyse par le linguiste de pouvoir le mat rialiser et de le visualiser en superposition dans l image techniques de r alit augment e Il s agit donc de construire une image qui enregistre l historique du mouvement en rendant compte la fois de son occupation spatiale et de son d roulement temporel 27 D une fa on plus g n rale il e
21. rencontre le monde des Sourds au d but des ann es 70 et met au point un syst me d criture de la LSF baptis D SIGN le D est l pour lt discours gt qui n a pas pour but de d crire la forme visuelle des signes mais de restituer leur dynamique de production Jouison se place en effet dans une perspective nonciative et discursive Il distingue d abord l orientation du regard et l action du visage et souligne ensuite l importance de la localisation ou orientation du signe par rapport au corps du signeur Jouison labore aussi un classement des configurations manuelles selon une logique interne qui les rend iconique auxquelles il faut ajouter un l ment suppl mentaire qui correspond peu pr s aux classificateurs de formes proformes Enfin le dernier param tre retenu est le mouvement global du corps qui comme le regard aura un r le important dans la coh sion de l nonc Globalement ce syst me t moigne d une grande pr cision et d une observation minutieuse des param tres gestuels Mais sa complexit le rend difficilement utilisable par un chercheur non averti et rend peu g rable la transcription de s quences enti res de r cits Lesyst me HamNoSys Hambourg Notation System labor en Allemagne par un groupe de chercheurs sourds et entendants commenc au d but des ann es 70 il reprend les quatre param tres retenus par Stokoe auxquels il ajoute la mimique faciale Il se distingue du syst me pr c d
22. se les param tres configuration orientation emplacement et mouvement tudi s par Stokoe Kheiros Con u par Alexandre Bonucci universit de Lyon 2 dans le cadre de sa th se de doctorat Kheiros constitue une base de donn es d entr es lexicales de la LSF bas e sur une analyse phonologique et une indexation figurative des signes 2 2 Les transcriptions r alis es dans le cadre de LS COLIN Une fois pr sent cet tat des lieux des syst mes existants nous avons d cid de soumettre aux participants ayant d j r alis dans le cadre de leurs travaux la transcription d une langue des signes un court passage du conte Blanche Neige sign en LSF transcrire afin d appr hender les int r ts de chacun et de d finir les possibilit s d un travail commun et les bases sur lesquelles il devait tre men Ce travail a t r alis entre d cembre 2000 et mars 2001 La s quence transcrire la m me pour tous durait 17 secondes environ On n en reportera ici qu une infime partie afin de mettre en exergue les pr occupations de chacun et les crit res de segmentation retenus Transcription n 1 Fanch Lejeune doctorant en co direction LIMSI Orsay et Paris IV Situation Situation 1 Nature de la situation Mouvement par rapport un rep re descendre d un cheval Informations sur les entit s md locatif config main plate gt cheval MD config V jambes i Phases saillantes de la situa
23. sous la maitrise des techniciens du studio Photo et Vid o eux m mes pratiquant la LSF r unissait les meilleures conditions d accueil et de libert d expression pour nos informateurs L enregistrement sur vid o num rique permettant un arr t sur image pr cis et assurant une bonne portabilit tait le meilleur support actuel pour la r alisation de ce corpus Les s ries de crit res d finis pour tre tudi s orientation du regard position du corps de la t te et des paules mimique faciale nous ont conduits apr s plusieurs essais un enregistrement avec 3 cam ras qui permet la prise en compte simultan e de tous ces param tres linguistiques Un montage des trois vues diff rentes sur le m me film est en cours de r alisation Ce corpus vid o sera transf r sur des supports diff rents VHS CD et DVD en fonction des utilisateurs potentiels 3 1 Sp cifications de r alisation 3 1 1 Les locuteurs Le recrutement de locuteurs sourds adultes pr sentant une vari t sociolinguistique maximale et une bonne comp tence en langues des signes a eu lieu par diff rents moyens mailing fax SMS et supposait une bonne connaissance de la communaut des Sourds fran ais Il a t effectu sur une p riode de trois mois par les deux doctorantes en linguistique de la LSF de Paris 8 qui ont contact environ 35 personnes Finalement 13 personnes ont r pondu positivement Le temps d volu l tablissement de
24. vid o num ris es au dessus de chaque segment transcrit Toutefois ce syst me est incomplet car il ne prend en compte ni la mimique faciale ni la direction du regard dans l analyse Sign Writing Ce syst me propose une criture des langues des signes Il est issu au d part 1974 du Dance Writing et s inscrit dans un syst me plus g n ral de notation et d criture du mouvement Sutton Mouvement Writing amp Shortland Utilis essentiellement lors de sa cr ation pour la transcription d enregistrements vid o destin s la recherche ce syst me a beaucoup volu et il existe aujourd hui plusieurs axes d application dont on retiendra a le d veloppement d une forme d criture des Langues des Signes applicable dans l enseignement de ces langues tant en primaire que dans le secondaire b l criture et la lecture de contes en Langues des Signes c la pr servation du registre th tral des LS sous forme crite SignPS Issu du projet europ en TIDE Technology Initiative for Disabled and Elderly People 1994 1997 ce moyen de notation utilisable par les chercheurs et par le grand public poss de son codage propre et permet la reconstitution de signes isol s Sign Synthesis Inspir de l analyse de la synth se de la parole le projet SignSynth est d velopp par le D partement de Linguistique de l Universit du Nouveau Mexique 11 C est un syst me d analyse phonologique qui associe une image de synth
25. CTIFS 5 1 2 D MARCHE 20 20 20 20 21 21 21 23 24 24 24 24 25 26 26 27 28 31 31 33 33 33 33 6 R SULTATS OBTENUS 6 1 DES TAPES N CESSAIRES POUR TUDIER LES LANGUES DES SIGNES 6 2 EN TANT QU ANALYSEURS PIST MOLOGIQUES 6 2 1 DE LA FACULT DE LANGAGE 6 2 2 ETDELA COGNITION 7 CONCLUSION ET PERSPECTIVES LISTE DES PUBLICATIONS DU GROUPE LS COLIN 40 40 42 42 48 49 50 51 52 53 54 55 BIBLIOGRAPHIE ANNEXES A FICHE D ENGAGEMENT DU SIGNEUR B TABLEAU DE SYNTH SE LES PRODUCTIONS EN LSF DU CORPUS LS COLIN C TABLEAU DE SYNTHESE LES PRODUCTIONS DU CORPUS LSP ET LIBRAS D PUBLICATIONS DU GROUPE LS COLIN ERREUR SIGNET NON D FINI LISTE DES PARTICIPANTS NOM et Pr nom Laboratoire Discipline Nombre de mois consacr s au projet Christian Cuxac Sciences du Langage Universit linguistique Paris 8 Ivani Fusellier id Nathalie Monteillard id Marie Anne Sallandre id Gw na lle Jirou id Annie Risler id Fanch Lejeune CAMS LaLIC universit Paris 4 informatique et LIMSI CNRS Orsay Annelies Braffort LIMSI CNRS Orsay informatique Annick Choisier id Christophe Collet id Rachid Gherbi id Patrice Dalle IRIT TCI universit Toulouse 3 informatique Guillemette Jausions id Boris Lenseigne id 1 Pr sentation de l action LS COLIN Introduction C est dans le cadre de l A C I Cogn
26. La technologie informatique peut formuler une mod lisation de param tres qui pourrait valider l hypoth se de la bifurcation fonctionnelle pr dite par C Cuxac Concernant la recherche sur l espace en LSF le recours l analyse d image peut s int grer de deux mani res d une part afin de mettre l preuve les param tres formels d gag s qui ne sont pas de type phonologique mais morph mique d autre part afin d objectiver la construction de l espace telle qu elle est r alis e dans un nonc par la mise en relief des portions d espace pertinis es et des relations entre les espaces topologiques Pour r aliser cette tude nous avons dans un premier temps confront nos approches de l analyse de corpus vid o sur la LS Nous avons ensuite d fini les objectifs suivants Extraire des primitives signifiantes de s quences vid o utiles pour la reconnaissance et l interpr tation tant au niveau linguistique qu au niveau informatique Trouver et quantifier des structures dans une s quence d image v nements p riodiques configurations Mettre au point un syst me de transcription manuel partir de vid o num rique adapt aux besoins des linguistes et des informaticiens en tenant compte des diff rentes approches Rappel des enjeux et objectifs fix s l origine L apport crois des recherches en linguistique et en informatique doit permettre de cr er de nouveaux outils pour l analyse du fonctionnement int
27. PROGRAMME COGNITIQUE Septembre 2002 APPEL PROPOSITIONS 2000 LANGAGE ET COGNITION RAPPORT DE FIN DE RECHERCHE Titre du projet Langues des signes analyseurs privil gi s de la facult de langage apports crois s d tudes linguistiques cognitives et informatiques traitement et analyse d image autour de l iconicit et de l utilisation de l espace Dur e du projet 24 mois Sous th me s dont rel ve ce projet Langue des signes S mantique syntaxe Lexique morphologie Traitement de l Image Notation et transcription de corpus Responsable scientifique Nom et pr nom CUXAC Christian Fonction Professeur d Universit en Sciences du Langage Organisme Universit Paris 8 UMR 7023 Adresse 2 rue de la Libert 93526 Saint Denis Cedex T l phone 01 49 40 65 35 T l copie 01 49 40 67 90 M l ccuxac univ paris8 fr Equipes partenaires Laboratoire Equipe Coordonn es CAMS Paris IV LaLIC 96 bd Raspail 75 006 Paris LIMSI CNRS Geste et Image Bat 508 Campus Universitaire 9 403 Orsay Cedex IRIT Traitement et Compr hension Universit Paul Sabatier d Image 118 route de Narbonne 31062 Toulouse Cedex Organisme gestionnaire de l op ration Universit Paris 8 r sum signal tique R sum Les analyses linguistiques des LS langue des signes sont particuli rement d licates mener car la transcription linguistique et l tiquetage informati
28. a simultan it alors qu en langues orales il faut absolument recourir des nonc s successifs C est gr ce aux mod les cognitifs qu il est possible de d composer les primitives de ces mouvements dans lesquels interviennent simultan ment la position du buste du signeur les configurations manuelles la mimique et le regard Listage des configurations manuelles syntaxiques Nous avons propos une classification des configurations manuelles des signes processifs qui s appuie sur leur analyse en termes de caract risation cognitive des entit s qui participent au proc s Nous avons pu mettre en vidence la relation entre les r les et la n cessit d un typage des entit s dans le sens des sch mes pr dicatifs lieu individu fronti re et les configurations manuelles du signe de proc s voir en annexe le texte de pr sentation de ce travail au colloque recherches sur les langues des signes Toulouse novembre 2001 L tude des formes des signes apporte des confirmations l analyse cognitive et inversement les recherches en mati re de cognition aident analyser les formes manuelles et l utilisation de l espace Ce travail contribue enrichir l diteur de partition recherches d indices de changement d espace Un travail a t esquiss et devra se poursuivre sur le r le du regard Le signeur regarde alternativement son interlocuteur et l espace de signation Il apparait dans un r cit qu il regarde son interlocuteur
29. amiques d une iconicit caract re sch matique diagrammatique et abstrait Nos objectifs taient de mettre en vidence que la construction de l espace de signation r pond aux m mes lois que celle de l espace de repr sentation s mantico cognitif Nous avions comme projet d arriver objectiver cette construction par un marquage automatis de l image Cet objectif pluridisciplinaire implique la fois les linguistes et les cognitivistes qui doivent proposer une grille de d coupage des unit s structurales de la LS en analysant l espace de la langue en regard des formalisations abstraites des op rations langagi res les informaticiens et les traiteurs d image qui devaient mettre au point des logiciels destin s reconnaitre automatiquement certains indices ou couples d indices morphologiques issus de l analyse linguistique La r flexion initiale autour de l criture de la LSF et la LS comme objet cognitif a aliment le d bat et nourri l orientation de choix informatiques devant rendre compte au mieux de la construction de l espace et de la mise en valeur d indices et primitives visuelles reposant sur des hypoth ses rencontr es en linguistique cognitive Notre objectif n a t que partiellement r alis compte tenus des d lais avant de pouvoir passer la r alisation de logiciels de traitement de l image adapt s la LS il tait imp ratif de r aliser un diteur de partition et de constituer un corpus commun
30. ationnels et pratique transferts personnels fonctionnent dans ces cas l comme introducteurs de th me pour les co nonciateurs et vont permettre d acc der une information de type m talinguistique non encore partag e en position de focus Observable dans le seul cadre interactif r unissant des locuteurs sourds de nationalit s et de langues diff rentes ce que l on appelle aujourd hui commun ment la Langue des Signes Internationale se pr sente comme une v ritable strat gie langagi re mise en place par les Sourds pour d velopper l extr me l efficacit des changes L analyse compar e de plusieurs corpus permet de d gager certaines r gularit s quant son fonctionnement et ses composantes On constate que la singuli re empathie dont fait preuve chaque locuteur signeur l gard de ses cong n res auxquels il essaie d assurer la meilleure compr hension l am ne pr f rer 40 1 l emploi de signes standards suppos s connus du public a signes internationaux qui ont comme cadre de cr ation les r unions cosmopolites de Sourds et tendent constituer un lexique standard international de plus en plus important b signes standards emprunt s aux langues des signes des signeurs en pr sence 2 s adresser et solliciter un ou des interlocuteurs pour s assurer d un signe ou pour convenir de l acception de tel autre L entente sur un vocabulaire commun dans un groupe s effectue souvent tr s rapidemen
31. coh rent d outils permettant d extraire des primitives significatives de la s quence d images L exploitation de ces op rateurs au sein de syst mes d interpr tation d images permettant de construire des descriptions de concepts de la langue des Signes ici des configuration de gestes des param tres lingusitiques etc voir Dalle 2001 L int r t de ce syst me pour le projet LS COLIN r side dans l approche utilis e pour formuler ce que l on recherche dans l image les sp cifications se font par des interactions directes dans les images pr sent es par le syst me L utilisateur linguiste est donc amen d finir ses objectifs en termes visuels et il voit en retour ce que le syst me a compris et sait 30 retrouver d apr s ses indications La sp cification et l extraction d indices ne passent donc pas par l interm diaire d un langage de requ te qui risquerait de biaiser l analyse 4 3 R alisation Plusieurs tapes de r alisation de l diteur de partition ont t envisag es un premier prototype int grant la vid o mais ne disposant pas des outils de traitement d images qui doit permettre une premi re valuation sur les aspects utilisabilit ergonomie fonctionnalit s un deuxi me prototype int grant une partie des outils de traitements d images qui doit lui m me tre valu par les utilisateurs un troisi me prototype int grant tous les outils de traitements d images envisag s lui auss
32. ctions envisag es par les grammaires cognitives rep rages orientation de la relation pr dicative positionnement de l espace par rapport au signeur 1 2 1 2 Sur l apport du traitement d image Les recherches men es en France sur la LS tant en linguistique qu en informatique ont ceci en commun qu elles exploitent des donn es r elles de terrain en s appuyant sur des corpus d images vid o Cette d marche n cessaire l analyse de la LS est n anmoins d licate mener car elle n cessite la r alisation d une transcription linguistique ou tiquetage informatique des s quences vid o en tenant compte de divers aspects e laquadrimensionnalit du support 18 prise en compte simultan e de param tres s miotiques tels que les gestes le regard la mimique faciale ainsi que les mouvements du visage et du corps Ja difficult du maniement de syst mes de transcription tenant compte de tous ces effets de sens 11083080830011 des rares logiciels d aide la transcription quand ils sont accessibles de documents vid os Cette transcription rend le travail d analyse extr mement long et fastidieux Un domaine de recherche particuli rement int ressant concerne l laboration de syst mes informatiques d di s la LS dont le but est de faire de l analyse de la reconnaissance ou de la g n ration automatique Dans le cadre de notre tude nous utilisons des cam ras vid o qui permettent de capter les
33. cuteur sup rieure droite chute du corps Traduction p 2 Mais s y prend mal et butte sur la barri re et tombe La barri re approch e 37 Fragment 12 13 14 15 16 Dur e de la s quence 06 22 07 06 22 15 06 22 16 06 23 08 06 23 11 06 23 12 06 23 25 06 24 06 25 05 Images Direction des mouvements Regard Vers interlocuteur Fermeture Vers camera Fermeture Vers l interlocuteur Fermeture clignement vers le main s vers clignement clignement interlocuteur Signes BOIS Se briser Tomber Tomber les quatre Saigner fers en l air Main La barri re qui se brise sang qui coule mouvement brusque Mouvement de dominante vers le haut l avant bras droite 3 fois Deux mains BOIS Pattes Pattes mouvement dans tous les sens Main domin e Une des parties de La Pattes barri re locatif stable Transferts DT DT TP DT STP Mimique Assertive Yeux plis s s Yeux pliss s Martien de l expression de souffrance facial Souffrance Yeux ciale Effort 2 pliss s changement Souffrance 5 douleur cri d tat Mouvement de L g rement droite la t te Mouvement de Labialisation bois L g re explosion des L g rement ouverte L vres tir es ferm es Bouche ouverte L vres tir es ferm es l g re la bouche l vres ouverture Mouvement de la partie sup rieure du corps
34. dant par l m me son assignation d universel langagier la compositionnalit phonologique peut du m me coup faire l objet de nuances th oriquement recevables en ce qui concerne les langues orales par exemple L dtke 1969 et Cao 1985 quant la minimalit structurale de segments purement signifiants exc dant la dimension des phon mes Arapu 1983 quant l existence de sch mas morphodynamiques consonantiques structurant le lexique un travail manuel socialement organis n est pas incompatible avec le maintien d une communication orale simultan e la saisie d un message linguistique gestuel monopolise l attention visuelle alors que la focalisation de l audition de par sa nature omnidirectionnelle est nettement moindre et permet de lib rer en grande partie le regard 46 titre d exemple la r flexion amorc e autour de la multilin arit compositionnelle intra signes standards ne concernera dans la partie qui va suivre que le param tre mouvement la mod lisation topologique de la dynamique interne li e au s mantisme du verbe a permis Ren Thom 1972 1980 de pr senter sous forme de graphes un paradigme de morphologies actancielles irr ductibles On ne peut qu tre frapp par la ressemblance entre les graphes de ces morphologies l mentaires et la forme du mouvement des signes qui sont leurs quivalents conceptuels en LSF C est particuli rement vrai pour la morphologie de capture manifest e en LSF
35. dont le propos est l analyse de la Langue des Signes Droits des parties Les Droits de fixation reproduction communication et exploitation des images recueillies sont fix s aux termes de l article L 212 3 du code de la propri t intellectuelle Le La soussign e c de gratuitement ses droits sur la totalit des images enregistr es lors de sa prestation fix es sur quelque support que ce soit cassette vid o CD ROM ou m moire d ordinateur par exemple Cette session comprend galement les droits de reproduction et de modification des images recueillies en tout ou partie par quelque moyen que ce soit de communication au public de s fins d enseignement de d monstration d explications en tout ou en partie par quelque moyen que ce soit et en toute circonstance d exploitation de ces images des fins de recherches sans aucune restriction sur la dur e de l exploitation ni sur le territoire d exploitation droits d exploitation pour tout pays Signature pr c d e de la mention lu et approuv 23 B Tableau de synthese les productions en LSF du corpus LS Colin M A Sallandre 2002 TABLEAU DE SYNTHESE LES PRODUCTIONS EN LSF DU CORPUS LS COLIN PRODUCTIO NS _ LOCUTEURS MO CE 7 11 12 13 Khadra St phanie Josette Laurent Nasr ddine Anthony Nicolas Fr d ric Victor Christelle Juliette Henri
36. du l autre n est pas diff rent de celui du maniement in gal des phrases complexes en fran ais oral ou de la connaissance in gale elle aussi d un stock lexical chez deux natifs francophones Nul doute que ces expressions du visage lorsqu elles caract risent l tat d esprit du personnage transf r s appliquant s mantiquement aux l ments verbaux du r cit commutables l int rieur d un paradigme et s inscrivant donc dans la perspective structurale des deux axes sont bien de ce fait des l ments linguistiques ils peuvent avoir un statut quivalant selon le contexte aux adjectifs ou aux compl ments de mani re en fran ais N est il pas alors paradoxal que lorsque ces m mes l ments formels interviennent dans une situation dialogique et manifestent l tat d esprit des partenaires de l interaction ils se voient rel gu s dans le non linguistique Comme pour le statut de la gestuelle conversationnelle proposer une r ponse n entre pas dans les objectifs de ce projet il s agissait en premier lieu de montrer que l av nement des langues des signes dans le champ de la linguistique g n rale a permis de renouveler la probl matique des fronti res entre verbal et non verbal 6 2 2 de la cognition Relayant les travaux en psychologie cognitive sur la fonction d imagerie les tudes sur les langues des signes invalident l hypoth se du verbal comme lieu exclusif de l interpr tation s mantique D abord parce q
37. e dition en port e en revanche le versant informatique exposait une analyse notoirement diff rente De plus les diff rentes partitions r v laient des voies diff rentes de prise d indices Il tait par cons quent difficile tant donn e l h t rog n it de ces diff rentes versions de s entendre et de trouver une base commune de recherche moins d envisager la mise au point d un diteur de partition qui servirait aux linguistes l analyse des langues de signes et constituerait pour les informaticiens un outil pour la communication homme machine Une r union tait donc n cessaire afin d tablir conjointement une grille d analyse qui servirait de base aux informaticiens pour la cr ation de cet diteur 18 2 4 Grille d analyse valable pour un monologue D finitions Niveaux Indices de segmentation interaction th me changement de th me Enonc s coh rence s mantique et syntaxique Mimique point de vue du signeur discours unit s Signe Syntagme coh rence syntaxique signifiantes d un groupe de morph mes Morph me de coh rence syntaxique signes standards param tres Morph mes li s Phon tique activit c r brale unit s non signifiantes des param tres niveaux des param tres ex emplacement t te description articulatoire changement d actant de plan suppression d actant clignement de paupi res cht direction regard croisement regard
38. e renforcer l id e que les langues des signes et la surdit de naissance constituent des analyseurs privil gies de la facult de langage aussi bien par rapport aux langues orales que par rapport la probl matique de la communication non verbale mais aussi des analyseurs de la cognition Plusieurs publications sont venues tayer ce point de vue Les changes linguistes informaticiens ont t tr s b n fiques pour affiner le cadre m thodologique d analyse de la langue des signes et pour sp cifier les fonctionnalit s d un syst me d analyse Les participants n ayant pas encore pu exploiter l diteur de partition le projet n a pas encore eu de retomb es importantes sur les mod les utilis s par les deux communaut s Cependant l int r t qu ils ont trouv s dans ce travail commun a conduit les membres du projet s impliquer dans une nouvelle action dans le cadre d une Action Sp cifique STIC consacr e l interaction gestuelle o la langue des signes intervient comme analyseur des gestes co verbaux Concernant la langue des signes elle m me les participants souhaitent vivement poursuivre leur collaboration Dans un premier temps le site web du projet http ww irit fr LS COLIN servira de support aux changes de r sultats et d analyses Plusieurs projets sont en cours d laboration consacr s la communication en langue des signes ou son criture ainsi qu la transcription de corpus Il apparait indispensable que
39. ence ce qui est un cas fr quemment observ en ce qui concerne les toponymes Une tude venir devrait permettre d appr cier dans quelles proportions ces diff rents proc d s sont utilis s et selon quelle fr quence Nathalie Monteillard L exercice qui a consist mettre chaque chercheur linguiste ou informaticien contribution pour transcrire une petite partie du corpus a r v l que nous ne prenions en compte ni les m mes niveaux de repr sentation ni par voie de cons quence les m mes indices de segmentation L id e de r aliser dans le cadre du projet un diteur de partition int grant cette pluralit d approches s est alors impos e Plus qu un outil servant faciliter et rendre plus efficace la transcription de la LSF l diteur de partition dans le cadre de son laboration m me s est av r tre un incontournable instrument d analyse pour l ensemble des chercheurs participant au projet C est ainsi qu il propose aux chercheurs diff rents niveaux de lecture allant des unit s minimales signifiantes la dynamique nonciative o n apparaitront que les param tres pertinents pour le niveau choisi Ces niveaux tant interconnect s le chercheur aura toujours le loisir de retourner pour un nonc ou une structure donn e un autre niveau d analyse plus haut ou plus bas que celui sur lequel il travaille habituellement D autre part dans son tat final gr ce aux logiciels de traitement d image une fo
40. ent car il adopte une d marche plus phon tique description 10 de l ensemble des ph nom nes concourant la r alisation d un signe que phonologique approche distinctive visant mettre en vidence un inventaire de ch r mes De plus le classement des configurations de la main ob it des crit res fonctionnels et articulatoires Ce syst me est iconique alors que celui de Stokoe est surtout dactylologique et les caract res de transcription d HamNoSys id ographiques permettent un d codage rapide Un logiciel informatique regroupant tous les symboles existe depuis 1989 Mais leur trop grand nombre on recense environ 500 symboles rend leur m morisation tr s difficile et ce syst me ne satisfait pas en d finitive des conditions optimales de lisibilit La transcription en partition Elle se met en place au d but des ann es 80 et est aujourd hui largement utilis e par la communaut linguistique internationale Elle vise l analyse du discours et fait apparaitre la simultan it ainsi que la corr lation structurelle entre les param tres de chaque signe Les explications relatives aux diff rents param tres sont donn es dans la langue du chercheur et en d signent selon les param tres consid r s la face signifiante par exemple pour le regard les mouvements du visage mouvements de la bouche ou la face signifi e ainsi pour la mimique faciale dans la mesure o il est impossible d tablir un syst me lisib
41. ent question de l iconicit dite d image c est dire du lien de ressemblance formelle entre le signe et ce quoi il r f re dans le monde r el Ce type d iconicit structure le lexique des langues des signes et rend compte de la constitution des signes dits standard Cependant un autre type d iconicit diagrammatique intervient de facon massive dans la structure syntaxique des nonc s en langue des signes On note une ressemblance entre l agencement des signes dans l espace et le rapport des l ments dans l espace de r f rence Cette iconicit qui n est pas sp cifique aux langues sign es trouve son origine au niveau langagier des repr sentations s mantico cognitives Elle n est cependant plus autant perceptible dans les langues vocales Haiman 1985 du fait de l obligation de lin ariser l nonc oral Au contraire elle se maintient selon certaines r gles en langues sign es du fait de leur expression dans une modalit gestuelle spatio temporelle Nous savons gr ce aux travaux de Goldin Meadow Yau Fusellier Souza que des personnes sourdes vivant en milieu entendant ou vivant en petites communaut s ont mis en ceuvre des strat gies communicationnelles fond es sur un processus d iconicisation de l exp rience perceptivo pratique Celui ci est l origine de toutes les langues des signes pratiqu es dans le monde quel que soit leur statut institutionnel De ce fait ces langues constituent aujourd hui un terrain d obser
42. er la qualit de l enregistrement lors de la transcription et de l analyse Estimer un ventuel gain de temps lors de l extraction et le traitement des images ins rer dans la partition manuelle Mettre en vidence l apport d un tournage de qualit vid o num rique professionnelle et l utilisation de trois plans diff rents notamment les plans visage et profondeur qui exposent de fa on explicite certains indices visuels non manuels tr s fin mimique faciales et mouvement du corps par exemple d hanchement qui ne sont pas forc ment visibles lors des enregistrements classiques sur plan am ricain et qui sont des l ments constitutifs de la structure des LS 5 1 2 D marche Suite la num risation en trois plans synchronis s du r cit Le Cheval nous avons choisi une s quence de ce r cit pour pouvoir r aliser la transcription C est ce r cit racont par Khadra Abdelghefar Corpus LS COLIN S quence de 06 15 PRET 06 27 personnage transf r lt Cheval gt Un premier travail d extraction et de traitement d images a t r alis par une des linguistes Ensuite une grille partition en param tres a t construite et remplie par l ensemble des linguistes L extraction de l ensemble des images a t faite sur le plan am ricain n anmoins nous avons extrait certaines images sur les deux autres plan afin de voir la qualit et l apport visuel de ces images 5 1 2 1 Remarques sur le travail d extractio
43. erme classique pince main plate un chiffre ou une lettre 5 s ou un terme li au contexte Jambe jambe bouge num ro est celui de la 1 image de zone Notation Transition zone de co articulation entre 2 zones pour lesquelles la configuration est constante Liste des descriptions utilis es pince jambe jambe bouge main plate angle s n 5 o index 2 neutre Exemple pince 1 transition 2 jambe 39 Lecture de l exemple On observe une configuration pince dans l image 1 puis une configuration de transition de l image 2 l image 38 puis une configuration jambe de l image 39 l image 15 2 Transcription pour la main dominante 3 Transcription pour la main domin e B Transcription du rapport entre les deux mains 1 Mode d emploi de la transcription Chaque ligne sauf la derni re d finit une zone de la s quence d images durant laquelle le rapport entre les deux mains est constant Elle est d crite par la s quence description du rapport num ro d image Ladescription du rapport est donn e par une p riphrase md glisse sur MD Le num ro est celui de la 1 image de zone Notations md main domin e MD main dominante transition zone de co articulation entre 2 zones pour lesquelles le rapport entre les 2 mains est constant Liste des descriptions utilis es 1 main si une seule main md glisse sur bras MD
44. erne des langues des signes LS et leur traitement automatique Les mod les informatiques de reconnaissance des formes et de traitement d image permettent d extraire d un corpus vid o des param tres pertinents pour la compr hension des LS Ils contribuent une validation et une formalisation de mod les linguistiques concernant l iconicit et l espace en LS L iconicit des messages fonctionne comme analyseur cognitif On sera amen affiner l inventaire des structures dites de grande iconicit d finies par Cuxac 2000 mod liser la mani re dont peu peu un large vocabulaire standard a pu merger du processus d iconicisation initial v rifier partir de productions de locuteurs sourds en LSF ainsi qu partir de cr ations gestuelles des sourds isol s certaines des hypoth ses des grammaires cognitives en particulier l expression compl mentaire des primitives spatiales et non spatiales issues des repr sentations s mantico cognitives dans les nonc s en LS Concernant la recherche sur l espace en LSF le recours l analyse d image peut s int grer de deux mani res mettre l preuve les param tres formels d gag s qui ne sont pas de type phonologique mais morph mique mettre en vidence la construction de l espace telle qu elle est r alis e dans un nonc par la mise en relief des portions d espace pertinis es et des relations entre les espaces topologiques Les mod
45. et 0m90 en hauteur cadrait la t te en contre plong e La cam ra 3 une mini DV au dessus du signeur hauteur depuis de sol 2m60 enregistrait l amplitude des mouvements de bras et de buste Un flash au d but de l enregistrement devait permettre de synchroniser les images des 3 cam ras au montage 21 Photo 1 pr paration du tournage Le protocole tait d fini comme suit chaque signeur convoqu une heure pr cise tait accueilli par l une des trois linguistes qui lui expliquait voir photo 2 dans une salle part ce qu on attendait de lui savoir 1 2 3 Raconter l histoire en images du Cheval Raconter l histoire en images de l Oiseau S exprimer sur l un des deux sujets au choix ou les deux suivant les locuteurs le passage l euro ou les v nements du 11 septembre 2001 Expliquer sa recette de cuisine pr f r e Pour les personnes ayant suivi le cursus de linguistique de Paris 8 dipl me du DPCU choisir un th me du programme de linguistique et l expliquer la mani re d un cours Raconter nouveau l histoire du Cheval Photo 2 explication des consignes par le linguiste Ivani Fusellier droite s adressant en LSF au locuteur Juliette Dalle gauche Les intervenants pr paraient leur prestation pendant un temps moyen de 20 minutes puis venaient dans le studio d enregistrement pour tre film s face aux cam ras et face la personne qui les avaient pris en
46. i valu Dans le cadre du projet LS Colin seul le premier prototype a t r alis Il doit encore tre valu en situation d usage r el L int gration des outils de traitement d images et les valuations successives se feront dans une tape ult rieure 4 4 valuation Avant d tre int gr s dans l diteur de partition les outils de traitement d images doivent eux m mes tre valu s car ils doivent tre suffisamment fiables et robustes pour apporter une aide r elle la transcription Ce travail a t retard par le temps n cessaire la r alisation et l exportation du corpus dans un format exploitable pour le traitement d images Il faut galement noter la dichotomie qui existe entre l algorithme effectivement ex cut par l ordinateur op rant dans le seul domaine de l image et l interpr tation des r sultats obtenus par un linguiste qui ignore tout du fonctionnement de cet op rateur L tude de la robustesse se ram ne alors l valuation de l ad quation d un op rateur donn avec la t che pour laquelle souhaite l utiliser qui se fera au fur et mesure de l exploitation de ces op rateurs par les linguistes D autre part un certain nombre des op rateurs et sp cialement les op rateurs de segmentation mis en ceuvre exploitent des hypoth ses priori sur les images notamment la pr sence d un fond bleu et les v tements unis des locuteurs Il convient n anmoins de souligner que ces op rate
47. ions de communications similaires celles observ es chez les sourds vivant exclusivement en entourage entendant Sur le plan de la forme des points communs mergent entre les structures des langues des signes standardis es et celles des langues des signes primaires Dans les premi res l iconicit pr sente est exploit e intentionnellement des fins de vouloir montrer ce qui n est pas pr sent Dans une premi re analyse du corpus de LSP r alis dans le cadre du projet LS COLIN j ai observ que mes informateurs poss dent une ma trise certaine de leur langue sur des activit s discursives dans lesquelles cette volont de montrer ce que l on dit apparait bauch e de fa on tr s pr cise Les formes utilis es attestent visiblement un air de famille avec les structures de grande iconicit Ces formes signifiantes gestuelles sont actionn es lorsque le locuteur sourd veut sp cifier un signifi quelconque ou bien lors de descriptions de sc nes narratives J envisage que ces formes signifiantes soient les premiers agencements de l op ration de transfert au moyen de laquelle le locuteur sourd adulte est dans la possibilit de reproduire une exp rience v cue ou imagin e dans l espace de signation travers une tude comparative de trois diff rentes Langues des Signes Primaires LSP et de deux autres LS standardis es Langue des Signes Br silienne LIBRAS et Langue des Signes Fran aise LSF j essayerai de rep rer certai
48. irs Op rateur d extraction de la silhouette du locuteur par soustraction des pixels appartenant au fond Op rateur de d tection des zones visage et mains par classification des couleurs et s lection des zones ayant la couleur de la peau Op rateurs de suivi d un composant d fini par sa zone englobante d une main ou du visage dans une version assist e par des interactions avec l utilisateur Suivi des d placements du bout du doigt D tection de la direction indiqu e par le doigt et mat rialisation de la zone point e dans l espace de signation D tection d indices visuels spatio temporels Module de visualisation synth tique du mouvement D finition d un mod le biom canique du bras et validation d une m thode permettant l estimation 3D des configuration statiques du bras 29 Extraits de la s quence originale la s quence a t r alis e ind pendamment du projet LSCOLIN A amp 8 action de la silhouette du locuteur Exemples de signature du mouvement pour la silhouette gauche pour les r gions de peau 4 2 2 2 1 Etude lt syst me gt Les recherches men es au sein du projets LS Colin sur l application du traitement d images l tude de la langue des signes se placent dans un cadre plus large qui constitue un des axes de recherche de l quipe TCI En effet les op rateurs valid s dans le cadre de ce projet fournissent un premier ensemble
49. is int gr s notre diteur de partition est congu pour fournir aux chercheurs toutes les informations concernant l histoire structurale et spatiale des liens s mantiques entre la direction du regard activation d une portion d espace et les pointages anaphoriques et ou cataphoriques reprenant les signes et les reliant cet espace pr alablement historiquement activ 41 6 2 en tant qu analyseurs pist mologiques Faisant retour au paysage pist mologique mergent voqu au d but du projet nous d fendrons l id e que les langues des signes et la surdit de naissance sont en position d analyseurs centraux tout d abord 6 2 1 de la facult de langage 6 2 1 1 par rapport aux langues orales Plusieurs raisons nous font dire que les langues des signes sont des objets cognitifs qui se pr tent mieux que les langues orales une mod lisation linguistique de la facult de langage Tout d abord relativement la s miog n se du langage le cas des personnes sourdes vivant en milieu entendant et des langues les microcommunaut s sourdes inventant des langues gestuelles les langues des signes constituent bien des observables synchroniques Un des objectifs scientifiques propos lors du d but du projet LS COLIN sera poursuivi dans le cadre d une th se de doctorat par un de membres du projet soutenance envisag e en d cembre 2003 1 s agit de l tat de lieu du processus d iconicisation de la th
50. it qu partir d un jeu intervenant secondairement sur des cat gorisations non iconiques qui leur pr existent Certes l hypoth se du caract re central des m taphores corporelles n est pas invalid e pour autant si l on pr cise que la dissociation cat gorisations m taphorisations conceptuelles n est due qu un effet de canal et n implique pas de ce fait une hi rarchisation Mais il n emp che que la preuve par les exemples lorsque ceux ci portent sur des langues orales o l iconicit m taphorique op re par la force des choses sur des signes non iconiques sera toujours entach e d un soup on de gratuit En raison de l iconicit morph mique des param tres qui interviennent dans la formation des signes standards on peut alors restituer toute sa centralit au processus de m taphorisation conceptuelle en montrant qu il est productif d s le niveau m me des cat gorisations Enfin il n est pas jusqu aux termes utilis s en linguistique g n rale qui ne b n ficient en quelque sorte par raccroc d une l gitimation cognitive ainsi le proc d qui consiste avant pendant ou apr s l mission d un signe activer une portion d espace au moyen du regard puis reprendre ce signe par pointage pour lui assigner le lieu pr c demment activ proc d qui est la base de toutes les constructions de r f rences spatiales temporelles et actancielles venir est bien au premier sens du terme une topicalisation De m
51. itique 2000 Langage et Cognition qu est n le projet LS COLIN Langues des signes Analyseurs privil gi s de la facult de langage apports crois s d tudes linguistiques cognitives et informatiques traitement et analyse d image autour de l iconicit et de l utilisation de l espace Il regroupe des quipes des universit s de Paris 8 Sciences du langage Paris 4 CAMS LaLIC Toulouse3 IRIT TCI et du CNRS 1 1 451 La responsabilit scientifique est assur e par Christian Cuxac linguiste professeur l universit Paris 8 1 2 Pr sentation de l action LS COLIN 1 2 1 Hypoth ses sur la Langue des Signes L tude des langues des signes permet d entrevoir au plus pr s ce qu est une langue en remettant en question les fronti res habituelles de ce que nous consid rons comme appartenant au domaine du linguistique 1 2 1 1 Le cadre th orique Nous proposons une analyse linguistique des langues des signes dont le principe fondateur est la th orie de l iconicit d finie par Cuxac Cuxac 1996 amp 2000 elle m me inscrite dans une s miologie plus g n rale Cette th orie peut s appliquer toutes les langues des signes LS les LS standardis es comme la LSF mais aussi les autres langues comme la LSI Langue des signes internationale les langues de petites communaut s de Sourds et enfin les langues des signes primaires mises au point par des Sourds isol s Dans cette th orie il est essentiellem
52. le travail pr liminaire qui a t r alis dans le cadre du projet LS COLIN soit valoris et amplifi en mettant en ceuvre la m thodologie qui a t labor e et en r alisant les outils correspondants Ces d veloppements pourront s appuyer sur le savoir faire et la qualit de communication du r seau de chercheurs qui a t constitu au cours de cette action 49 LISTE DES PUBLICATIONS DU GROUPE LS Colin COURTIN Cyril SALLANDRE Marie Anne 2002 paraitre Cons quences cognitives des transferts en langue des signes num ro sur la langue fran aise en langue des signes revue DIALANG Universit de Rouen CUXAC Christian 2003 paraitre Langue et langage un apport critique de la langue des Signes fran aise Langue Fran aise f vrier 2003 in Cuxac ed La langue des signes statut institutionnel et linguistique DALLE Patrice LENSEIGNE Boris HUDELOT C line 2001 Apport d un syst me d analyse d image pour l tude de la langue des signes colloque Recherches sur la langue des Signes Toulouse 23 24 novembre 2001 FUSELIER SOUZA Ivanie 2001 La construction de r f rences temporelles dans les langes des Signes Primaires LSP pratiqu es par les sourds vivant exclusivement en entourage entendant colloque Recherches sur la langue des Signes Toulouse 23 24 novembre 2001 Equipe LS COLIN r daction collective Projet LS COLIN Quel outil de notation pour quelle analyse de la LS colloque Recherche
53. le qui rendrait compte de tous les muscles du visage entrant en jeu pour telle ou telle expression En ce qui concerne les signes standard ils sont crits entre crochets le mot inscrit ne devant en aucun cas tre associ au signifi du signe ni m me v ritablement son sens mais plut t l invariant signifiant de ce signe auquel on associe une fois pour toute tel mot de la langue orale consid r e 2 1 2 Les syst mes de notation informatis s Les ann es 90 voient l mergence dans divers pays de diff rents syst mes informatis s de transcription et d criture des langues des signes Sync Writer La premi re version de ce programme allemand de transcription pour MAC date de 1991 La seconde version plus labor e parait en 2000 Elle utilise le proc d de transcription en partition en adoptant le champ classique des classifications linguistiques et int gre le systeme HamNoSys Dot de pistes configurables ce programme permet l inclusion d un support d images au moyen de Quick Time Sign stream Ce programme qui s inscrit dans un vaste projet de recherches linguistiques sur l ASL entrepris par les universit s de Boston et de Gallaudet Washington constitue un outil de gestion pour une base de donn es informatis e compl te des signes de cette langue Il reprend le concept de transcription du paradigme gestuel sous forme de partition se d roulant dans le temps et pr sente aussi l int r t d int grer des images
54. m mes d une langue des signes l autre sans qu il y ait de liens de parent entre elles Ainsi un niveau supra lexical m me dans les cas o la dimension figurative n est pas activ e lorsqu il s agit d un dire sans intention illustrative un tiquetage s mantique des relations o la distinction s mantique syntaxe se trouve en quelque sorte neutralis e est suffisant pour rendre compte de la structure formelle de la LSF J ai ainsi montr que l opposition syntaxique ergatif accusatif ainsi que la notion de sujet ou d objet syntaxique n avaient pas de pertinence tre pos es en LSF Cuxac 2000 Il en va de m me pour l orientation active ou passive du verbe puisque c est la direction du mouvement du verbe tout verbe tant pourvu d un mouvement qui change son orientation s mantique au sens propre comme au sens figur L opposition actif passif en quelque sorte neutralis e en raison de la spatialisation des relations actancielles n a donc pas de raison d tre Cela peut sembler dur concevoir mais hors de tout contexte actanciel un verbe comme INFORMER est tout autant informer qu tre inform un verbe comme INVITER tout autant inviter qu tre invit Et en contexte les suites FILLE point GAR ON point INFORMER avec comme emplacement de d part du mouvement fille et emplacement d arriv e du mouvement gar on sont tout autant la fille informe le gar on que le garcon est i
55. mod les cognitivo linguistiques la fois tr s g n raux et structurellement stables que sont les langues des signes devient alors qu entrainent comme mises en forme possibles pour des syst mes linguistiques l application de contraintes tr s fortes comme de ne pouvoir recourir ni un support spatial ni des strat gies d iconicisation du monde et de l exp rience On verrait ainsi dans les structures formelles des langues audio orales des traces attest es des op rations n cessit es par la mise en jeu de ces contraintes2 J illustrerai mon point de vue l aide de quelques exemples Un coll gue math maticien ayant dit que l ajout d une ou plusieurs dimensions contribuait souvent faciliter r solution de probl mes il nous est venu l esprit la comparaison suivante vouloir int grer les structures formelles des langues des signes dans le moule formel des langues orales serait un peu comme si l heure actuelle et malgr l existence de l avion on persistait faire entrer tout probl me de d placement fonctionnel d un point un autre dans le cadre structural de la g om trie plane avec ses ponts ses tunnels ses lacets Le seul obstacle ce raisonnement repose sur le probl me du choix de l humanit en faveur de la voie audiophonatoire puisque seules les communaut s de sourds ont d velopp d authentiques syst mes linguistiques visuo gestuels En fait les raisons suivantes qui justifien
56. mouvements des mains mais aussi du buste les expressions faciales ainsi que le regard Les s quences d images ainsi enregistr es servent de support aux tudes informatiques notamment dans le domaine du traitement d images Pour les chercheurs sp cialis s en traitement d image l analyse de s quences vid o de signeurs en LS pr sente un int r t particulier C estun des rares cas o l image v hicule un sens explicite o elle est produite avec une intention de communication et o les mouvements sont produits en respectant les r gles d une grammaire contrairement aux sc nes habituellement trait es en vision par ordinateur De ce fait on peut exploiter cet aspect s mantique et cette base linguistique pour introduire de nouveaux m canismes d analyse de repr sentation et de reconnaissance choix des primitives visuelles analyse multi niveaux pr diction pilotant l analyse etc De plus l tude des relations spatiales et la conception d outils d interaction portant sur l organisation spatiale sont des l ments essentiels qui peuvent tres r exploit s dans le cadre de syst mes d Interaction Homme Machine IHM ou dans celui d IHM de syst me d interrogation d images ou de construction de sc nes 1 2 2 Objectifs de l action Nous croyons qu une recherche crois e de la linguistique et de l informatique peut nous apporter des r ponses int ressantes concernant le fonctionnement interne des langues des signes
57. mouvements ont t d gag s qui ne sont pas enti rement visibles sur le plan am ricain en deux dimensions Ce plan nous donnent la possibilit de voir le mouvement en profondeur utilisation de l espace 5 1 2 2 R sultats La r solution de la d finition de l image nous a beaucoup facilit le travail de transcription et de d gagement de param tres Gr ce la qualit d enregistrement de ce corpus la fin de notre travail de transcription nous avons pu d tecter avec pr cision La pertinence du clignement des yeux en tant qu indice de segmentation bornes de l nonc astructure interne des transferts notamment celle du transfert situationnel Ler le du regard protagoniste de l nonc et protagoniste de l nonciation 5 1 2 3 Ouverture vers les pistes de recherches M me si nous sommes encore loin d une reconnaissance d taill e des gestes par l ordinateur les param tres d tect s nous incitent approfondir la r flexion sur l identification de gestes non manuels notamment la direction du regard et le clignement des yeux en tant qu indice de segmentation des 1 5 Il est clair que lorsqu on aura un syst me informatis respectant des contraintes d ouverture et d volutivit au niveau des param tres retenus ainsi que la possibilit de personnalisation de la pr sentation des diff rentes transcriptions de corpus vid o des LS le travail d analyse sera moins p nible au niveau du traitemen
58. n et de montage des vid os La num risation de l extrait avec les trois plans synchronis s et incrust s dans la m me fen tre permet une visualisation remarquable au niveau de l analyse en vid o de la langue N anmoins lors de l extraction d image nous n avons pas pu incruster l image telle quelle sur la transcription car les trois plans ne donnaient pas une vue analytique de l image Ainsi nous avons d utiliser un logiciel de traitement d images pour s lectionner la portion de l image mettre sur le document 33 Lecorps du locuteur ainsi que l espace de signation ont t s lectionn s en soustrayant les autres plans et les parties qui ne sont pas pertinentes l analyse Ce travail permet de donner une impression de zoom l image analys e cam ra 1 M me si le passage par un logiciel de traitement d image tait n cessaire le travail de pr paration de l image ins rer sur la transcription a t simplifi car les images sont d une tr s bonne qualit donc un temps suppl mentaire pour le travail de retouche n a pas t utile luminosit contraste brouiller affiner e Un travail d incrustation de fl ches sur l image s lectionn e a t fait visant la visualisation du mouvement en question e Gr ce au plan visage il a t possible de s lectionner les traits pertinents du visage la direction le clignement du regard et les diff rentes mimiques faciales Gr ce au plan profondeur certains
59. nal Au cours du projet un corpus de Langue des Signes Primaire LSP et de LIBRAS Langue des Signes Br silienne a galement t r alis au Br sil dans le but d effectuer une analyse transversale d un m me r cit l histoire du Cheval La mise disposition de ces donn es vers des communaut s scientifiques diff rentes linguistes informaticiens p dagogues sourds de la LSF reste un des buts atteindre Ce sont en partie ces communaut s qui par le d pouillement et l analyse de ce corpus dans leurs diff rentes sp cialit s valideront notre d marche 23 4 R alisation de l diteur de partition 4 1 Sp cifications 4 1 1 R le de l diteur Le r le de l diteur de partition est de permettre la visualisation et la manipulation de s quences vid o de LSF et la r alisation de transcriptions de vid os selon des crit res utiles la fois aux linguistes et aux informaticiens Ces crit res doivent donc tre param trables chaque utilisation en fonction du but poursuivi ou des informations recherch es dans lors de la r alisation de la transcription par exemple des structures langagi res ou des indices visuels permettant la segmentation de la s quence Enfin il fournit un environnement permettant l application d op rateurs de traitement d images sur la vid o Visualisation et manipulation de s quence vid o L diteur permet la visualisation de films num ris s la mani re d un magn toscope
60. nes primitives structurales afin de mod liser le processus d iconicisation Gr ce la r alisation du corpus LS COLIN dans une optique niveau international chelle g ographique et sociolinguistique diversifi e il sera possible d effectuer cette tude Lors de l enregistrement du corpus en France et au Br sil les consignes m thodologiques ont t soigneusement choisies dans le but de pouvoir effectuer ce type d analyse Dans l ensemble du corpus 42 un m me r cit en forme d image l histoire du Cheval t expos aux diff rents locuteurs sourds Je vais pouvoir ainsi r aliser une analyse transversale de ce m me r cit racont par au moins une dizaine de locuteurs sourds pratiquant les trois langues cit es ci dessus De ce fait une consid rable partie du travail de recherche de ma th se sera consacr e tablir l tat des lieux du point de d part de la bifurcation des vis es existante dans les langues des signes standardis es Il s agit ainsi de d gager les structures mises en ceuvre dans ce processus au moyen d un inventaire des primitives structurales s mantico cognitives pr sentes dans les LSP notamment 165 transferts structures minimales de grande iconicit Les r les du regard et de la mimique faciale dans les structures minimales de grande iconicit les pointages utilisation pertinente de l espace dans la construction des relations s mantico cognitives J esp re galeme
61. nform par la fille La m me d marche typologique s applique aussi au niveau infra lexical pour les unit s minimales entrant dans la composition des signes standards des diff rentes langues des signes consid r es abusivement selon mon point de vue comme des quivalents stricts de phon mes Ainsi le paradigme des configurations des mains attest es dans les diff rentes langues des signes est il fortement semblable d une langue des signes l autre Certes les l ments sublexicaux les plus facilement r alisables articulatoirement sont aussi ceux dont la saillance perceptive est maximale Mais cela est insuffisamment convainquant pour rendre compte de tant de similitudes phon tiques entre langues des signes En fait l assimilation stricte de ces l ments sublexicaux aux phon mes des langues orales ou des matrices de traits distinctifs a pour effet de les vider de leur ind niable valeur morph mique iconique La pr sence de telles constantes iconiques forme sens au sein du lexique standardis expliquerait la raison pour laquelle les m mes l ments se retrouvent peu de choses pr s dans les diff rentes langues des signes et pourquoi ils sont peu sensibles des changements diachroniques d ordre phon tique Par voie de cons quence une telle analyse Cuxac 2000 remet en question l universalit d une seconde articulation caract re n cessairement phonologique Imputable un fort effet de canal et per
62. nt pouvoir mettre en vidence les r sultantes linguistiques iconiques de ces primitives au moyen d une mod lisation informatique Ivani Fusellier Souza D autre part le support quadridimensionnel qu offre le canal visuel gestuel permet pragmatiquement des repr sentations relevant de l univers de l imagerie d tre dites tout en en maintenant la figurabilit Un tiquetage cognitivo s mantique est alors suffisant pour rendre compte de cette mise en forme C est ce que r v le la description des structures de grande iconicit o les primitives sont 7 les configurations de la main en tant que constants forme sens et 8 le mouvement figurant le d ploiement non temporel d une forme dans l espace ou temporel d un d placement par rapport un rep re fixe localisation mutuelle des deux mains On a montr que m me dans les cas o cette dimension figurative n est pas activ e lorsqu il s agit d un dire sans intention illustrative une analyse s mantique des relations o la distinction s mantique syntaxe se trouve en quelque sorte neutralis e tait l encore suffisante pour rendre compte de la structure formelle de la LSF Cuxac 2000 C est particuli rement vrai en ce qui concerne les sch mas d actance en LSF En effet les structures actancielles lorsqu elles ne rel vent pas d une vis e iconicisatrice se pr sentent en spatialisant les protagonistes de l nonc et le verbe qui les relie comme des micro sc nes dyn
63. omme la main ou les sourcils dont le TI doit savoir retrouver les correspondants dans l image Il s agit donc de segmenter l image en zones ayant des propri t s visuelles communes comme la couleur zones de peau ou de localiser des configurations de pixels particuli res indices visuels Ce traitement peut tre enti rement automatis ou au contraire men en coop ration avec l utilisateur celui ci indiquant la zone approximative de l l ment tudier ou d signant un pixel de cet l ment le syst me de TI se chargeant ensuite de d terminer les fronti res pr cises de l l ment Ces l ments peuvent tre compos s on doit donc savoir structurer les composants l mentaires en composants plus complexes yeux nez bouche joues front visage Enfin ces composants sont caract ris s par un ensemble de valeurs intrins ques position de la main ou relationnelles main la hauteur de la bouche Ces valeurs peuvent tre d termin es par un traitement plus ou moins automatique en effectuant des mesures directes dans l image yeux ferm s ou en reconstruisant l information 3D associ e direction du regard Elles concernent les l ments de base orientation de la main ou des l ments compos s visage souriant Il peut s agir de valeurs num riques dans le cas de mesures directes ou de valeurs symboliques n cessitant une interpr tation de plus haut niveau partir des mesures effectu es sur les entit s 2D
64. on L axe horizontal repr sente le temps et l axe vertical contient l ensemble des param tres s lectionn s ex direction du regard mouvement des mains fonction syntaxique type de transfert etc Ces param tres sont d finis par l utilisateur en fonction du but poursuivi lors de son analyse Sur l axe horizontal Chaque param tre est d crit au sein d une bande horizontale d coup e en sections pouvant elles m me tre d coup es le cas ch ant en segments La premi re section partir de la gauche contient le nom du param tre ex lt Signe gt Main Domin e e section suivante contient une s rie de segments repr sentant les valeurs correspondantes du param tre pour une s quence temporelle donn e ex bonjour Lorsque l on clique sur un segment un menu contextuel d roulant donne la liste des valeurs disponibles pour le param tre correspondant et permet d effacer le segment ou d acc der une fen tre de dialogue pour ajouter une nouvelle valeur Lorsque l on clique sur un espace vide de la bande un nouveau segment apparait qu il est possible de modifier en dur e en emplacement et en contenu gr ce au menu contextuel On peut trouver des bandes de param tre lt ferm es gt pour lesquelles il y a des segments de valeurs sur toute la bande et des bandes ouvertes d crivant des v nements un moment donn de la s quence vid o Sur l axe vertical On peut regrouper
65. onstration la plus subtile et la plus convaincante de ce qu est une langue Elles sont quasiment identiques d une langue des signes l autre ce qui permet une intercompr hension rapide entre des signeurs de nationalit s diff rentes Toutefois aucune tude syst matique n ayant encore t men e sur ces structures des questions fondamentales demeurent Les grammaires cognitives apportent un cadre d analyse pertinent tous les niveaux d analyse de la LS Ces grammaires offrent effectivement des points de vue int ressants sur une langue iconique et spatiale Elles nous permettent d envisager l iconicit pour les langues orales donc a fortiori pour les langues gestuelles Elles envisagent le passage du cognitif au linguistique en trois niveaux cognitif langagier et de la langue Aux deux premiers niveaux se r alisent des op rations de repr sentation cognitives et langagi res communes toutes les langues Chaque langue d termine son propre syst me travers son lexique et sa syntaxe mais les op rations langagi res sont toujours du m me type Une langue gestuelle peut s inscrire dans un tel mod le Enfin et surtout ce mod le recours un vocabulaire abstrait topologique et spatial pour formaliser les op rations langagi res ainsi qu des sch matisations qui rappellent fortement l agencement des signes dans l espace de signation On peut mettre en vidence en LSF une construction de l espace du m me ordre que les constru
66. oui x3 dictum le fait modus comment c est dit clignement de paupi res pas toujours pic de tension musculaire sur noyau pr dicatif pauses modification de la configuration changement d emplacement Prosodie rythme long bref r p titions tension 19 3 Conception et laboration du corpus L objectif tait de r aliser un corpus qui permette pour les linguistes de mettre en vidence l iconicit de la langue des Signes grammaire spatiale et d apporter un support de haute qualit pour les informaticiens en traitement de d image La LSF tant une langue naturelle et non un artefact il fallait donc d finir des nonc s avec des structures diff rentes pour faire merger la langue dans ses multiples composantes Nous avons donc vari les genres discursifs afin de constituer un ventail des langages possibles r cits complets partir d images histoire du Cheval de l Oiseau discours en interaction argumentation etc La production de ces nonc s par des informateurs d ge sexe profession et origine r gionale tr s diff rents et une grande libert dans leurs productions taient un gage de qualit du contenu de ce recueil Ceci a impliqu de la part des chercheurs un change constant avec des locuteurs natifs de la langue des signes participant activement cette r alisation Dans le cadre d une convention avec l INJS Institut National des Jeunes Sourds de Paris l enregistrement
67. par la fermeture d une configuration de d part ouverte de la main et que l on trouve dans des verbes comme PRENDRE ARRACHER ATTRAPER COMPRENDRE APPRENDRE une legon SE SITUER prendre place APPRENDRE UNE NOUVELLE Il en va de m me pour la morphologie de bifurcation mission manifest e en LSF par l ouverture d une configuration de d part ferm e de la main que l on trouve dans des verbes comme EMETTRE CRIER DIFFUSER INFORMER ALLUMER L ELECTRICITE Ainsi on peut rendre compte de la fa on dont issus du processus d iconicisation initial des constants forme sens l mentaires de type morph mique tels que ouverture de la paume mission fermeture de la paume capture ont permis en s associant une m taphorisation conceptuelle morph mique elle aussi ancr e corporellement par exemple morphologie de capture au niveau du cr ne comprendre de stratifier de mani re fine le champ complexe de l exp rience socioculturelle Le point d achoppement de l hypoth se de Lakoff 1997 quant la corpor it comme source d un processus de m taphorisation conceptuelle si impressionnante que soit la quantit d exemples recens s dans diff rentes langues orales tient ce que ce processus repose sur la concat nation d unit s lexicales d j l Il y a donc une apparente contradiction d fendre la centralit langagi re des m taphores alors m me que l on ne peut poser leur possibil
68. pporter l tude de la LSF nous a amen s concevoir organiser et r aliser la constitution d un corpus de qualit tant par la diversit des locuteurs et des genres que par la qualit des enregistrements La constitution de ce corpus est un acquis tout fait significatif du projet LS COLIN De m me devant le manque d outils de transcription de la LSF adapt s diff rents type de recherche linguistique et exploitant les possibilit s offertes par l informatique et le traitement de l image nous avons d cid d tudier et de r aliser un diteur de partition Sa r alisation actuelle ne repr sente qu une premi re version dans la mesure o elle n int gre pas encore tous les op rateurs tudi s dans le cadre du projet notamment les op rateurs d analyse d image Cependant le travail collectif de conception de cet outil a eu plusieurs retomb es tout a fait b n fiques il a contribu pr ciser les diff rents niveaux de lecture de la LSF et les param tres d analyse associ s Ainsi les premi res analyses du corpus effectu es dans ce cadre m thodologique ont permis de renforcer les hypoth ses de d part sur la langue des signes Enfin il a permis d tablir un langage commun et de faciliter la compr hension entre les linguistes et les informaticiens participants au projet Au del de ces deux r alisations qui ont constitu l essentiel des travaux communs des participants les travaux men s par les linguistes ont permis d
69. quand il effectue un signe standard et qu il anticipe le mouvement relateur signe de proc s ou pointage manuel en portant avant le geste manuel son regard sur le point de l espace qui 44 sera point d arriv e de ce mouvement La direction du regard apparait donc comme un indice de changement d espace et donc un marqueur syntaxique de la construction de l espace Ce genre d indices peut ais ment tre rep r automatiquement par un logiciel de traitement d image aussi bien pour le changement de direction du regard que le lien entre la direction d un mouvement manuel et du regard Ces 3 types de t ches nous ont appris travailler ensemble et nous montrent en quoi les travaux interdisciplinaires sont utiles aux uns et aux autres on cherche mettre en vidence un certain fonctionnement cognitif dans l nonc en langue des signes partir d hypoth ses g n rales sur la cognition Ce faisant on peut isoler des param tres de l ordre de la morphologie sur lesquels peut s appuyer un traitement automatis Poursuites donner ce travail interdisciplinaire L analyse du corpus r alis dans le cadre de ce projet LS Colin l aide de l diteur de partition devrait permettre des avanc es significatives sur le plan de la connaissance des rapports entre langage et cognition et sur celui du fonctionnement de la langue des signes travail sur les primitives non spatiales et leur effet sur l utilisation de l espace listage exha
70. que des s quences vid o se heurtent des sp cificit s telles quella quadrimensionnalit du support et la simultan it de param tres s miotiques signes manuels regard mimique faciale mouvements pertinents du visage et du corps Par ailleurs pour les chercheurs sp cialis s en traitement d image l analyse de s quences vid o de signeurs en LS pr sente l int r t particulier de se pencher sur des images v hiculant un sens explicite et produites en appliquant les r gles d une grammaire Notre projet issu de la rencontre de ces disciplines s est labor en trois temps Recensement des diff rentes d marches d analyse d un corpus de LS des formalismes existants ainsi que des environnements informatiques les mettant en uvre R alisation d un corpus vid o de locuteurs en LS in dit sur le plan international Construction d un diteur de partition permettant de visualiser et de manipuler des s quences vid o de LS et de r aliser des transcriptions de ces vid os selon des crit res utiles la fois aux linguistes et aux informaticiens Notre projet doit d boucher sur une automatisation partielle par traitement d images Mots cl s LSF Langue des Signes Fran aise Iconicit Grammaire cognitive Repr sentations spatiales Traitement de l image Nombre total de participants au projet 18 Chercheurs Sciences du Langage 1 Informatique 1 Enseignants chercheurs et assimil s Sciences du Langage 1 Informatiq
71. rsity Press New York Sallandre M A 2001 Va et vient de l iconicit en Langue des Signes Fran aise A I L E Acquisition et Interaction en Langue Etrang re n 15 Les Langues des Signes une perspective s miog n tique pp 37 59 Singleton J L Goldin Meadow S amp D McNeill 1995 The cataclysmic break between gesticulation and sign Evidence against a unified continuum of gestural communication In K Emmorey amp J S Reilly eds Language gesture and space 287 311 Erlbaum Hillsdale Thom R 1972 Stabilit structurelle et morphogen se Ediscience Paris Thom R 1980 Sur la typologie des langues naturelles essai d interpr tation psycholinguistique In Mod les math matiques de la morphogen se 243 259 C Bourgois Paris Wittgenstein L 1961 Investigations philosophiques Gallimard Paris Yau SC 1992 Cr ation Gestuelle et d but du Langage Cr ation de langues gestuelles chez les sourds isol s ditions Langages Crois s Hong Kong 51 ANNEXES A Fiche d engagement du signeur FICHE D ENGAGEMENT DE SIGNEUR Le la soussign e Nom Prenom AR ee Taurum ida rd m 80168864 net DL EY E mail et ou FAX accepte d tre film e dans le cadre du projet de recherches d crit ci dessous Projet de recherches LS COLIN financ par le Minist re de la recherche dans son programme Cognitique 2000
72. s dossiers pour le d fraiement de ces personnes n est pas non plus n gliger En effet nous avons constat que le d fraiement de locuteurs participant un enregistrement audio ou vid o n est actuellement pas une pratique institutionnalis e et donc facilit e dans les Universit s frangaises Une fiche d engagement Annexe I nous permettant de nous assurer du droit des images sur les films produits a t sign e par chaque intervenant ce qui nous met en r gle vis vis de la loi sur la propri t intellectuelle et nous autorise reproduire et diffuser notre corpus dans un cadre pr cis 3 1 2 Les techniques d acquisition Des essais d enregistrement ont t effectu s l INJS le 26 octobre 2001 Le but tait de d terminer les conditions id ales d clairage de positions de cam ra qui devaient convenir 20 la fois aux linguistes pour la compr hension de la LSF et aux informaticiens pour l analyse des images Nous en avons retenu la configuration suivante 3 cam ras num riques professionnelles une de face en plan am ricain une de face en contre plong e situ e 2 m devant le locuteur et 0m75 de hauteur la derni re au dessus du locuteur Eclairage maximum 6 projecteurs avec des r flecteurs de part et d autre du locuteur permettant de minimiser au maximum les ombres e Un fond bleu sur lequel les locuteurs portant un v tement noir manches longues viendraient se d tacher Lasynchronisa
73. s mouvements dans les images Dans notre cadre de travail actuel s quence d images vid o mono cam ra non calibr e les possibilit s de reconstruction 3D sont tr s limit es 4 2 2 Le traitement d images dans le projet LS COLIN 4 2 2 1 Probl mes abord s Les linguistes ont recens les principaux indices visuels et marqueurs utilis s pour analyser la LS ainsi que leurs valeurs signifi es respectives et le contexte dans lequel elles sont valu es Ceci a permis de sp cifier les param tres leur mode de repr sentation les relations pouvant lier diff rentes parties de la transcription et enfin de d finir ainsi la structure et le contenu d une partition On a vu qu une partition se pr sente sous forme de plusieurs lignes d coup es en cases par des s parations temporelles correspondant des v nements spatio temporels Chaque ligne correspond un composant tudi et chaque segment temporel correspond une valeur de param tre constante pour ce composant Pour les composants ne faisant pas intervenir d information d ordre s mantique le TI peut intervenir sur chacun de ces l ments Ajout d une ligne lt images gt en plus de la vid o permettant de synth tiser une s quence par une attitude caract ristique du signeur augment e de graphismes illustrant le signe fl ches synth se de mouvement Segmentation temporelle par d tection d v nement c est dire par d tection des changements de
74. s sur la langue des Signes Toulouse 23 24 novembre 2001 colloque Recherches sur la langue des Signes Toulouse 23 24 novembre 2001 RISLER Annie LEJEUNE Fanch 2001 Configurations manuelles pronominales en langue des Signes fran aise essai de classification colloque Recherches sur la langue des Signes Toulouse 23 24 novembre 2001 SALLANDRE Marie Anne 2002 Towards Iconic Structures in French Sign Language Poster pr sent au colloque international Deaf Way II Universit de Gallaudet Washington D C 9 13 juillet 2002 SALLANDRE Marie Anne 2002 LS Colin Project sign language remarkable analyzer of human faculty of language crossing contributions of linguistic cognitive and computer studies concerning iconicity and the use of space Poster pr sent au colloque international Deaf Way IL Universit de Gallaudet Washington D C 9 13 juillet 2002 Pr sentation collective l UMR 7023 24 juin 2002 Un outil d annotation pour les LS le projet LS COLIN Christian Cuxac UP8 Marie Anne Sallandre UP8 Patrice Dalle IRIT Pr sentation au Colloque international Technologie et Handicap du DESS Handi Universit Paris 8 3 4 octobre 2002 Elaboration d un outil d annotation et d analyse de la LSF dition de partition et traitement d images Action Cognitique 2000 projet LS COLIN Christian Cuxac UP8 Marie Anne Sallandre UP8 Christophe Collet CNRS LIMSI Patrice Dalle IRIT Site internet du projet
75. st tr s pertinent de pouvoir repr senter l espace de signation d y faire figurer les r f rents mis en place au cours du discours et de mat rialiser les zones d sign es par les pointeurs 4 2 1 3 Remarque La reconnaissance d un l ment ou d une configuration peut souvent tre tablie partir de sa signature visuelle dans l image ou dans une image transform e Par contre les mesures ou les descriptions faisant r f rence l espace de signation trajectoires pointages d tection d un mouvement vers l avant n cessitent une reconstruction partielle 3D L image seule ne suffit alors pas car des informations ont t irr m diablement perdues lors du processus de formation de l image projection perspective occultations Il faut donc disposer d informations suppl mentaires pour pouvoir reconstruire l information 3D elles peuvent tre obtenues par raisonnement tude des lignes de fuite de la variation de la taille d un objet ajout de connaissances suppl mentaires par exemple sur la taille r elle des composants ou de contraintes sur la g om trie de la sc ne exploitation de mod les abstraits dont le TI d terminera les param tres ex mod le biom canique du bras ajout de donn es suppl mentaires en utilisant une seconde image prise depuis un point de vue diff rent et en appliquant les techniques de st r ovision enutilisant plusieurs images dans le temps et en interpr tant le
76. sup rieure corps pues DERE Traduction approch e Traduction approch e de son cheval Transcription 6 Nathalie Monteillard DEA Paris 8 Vers MD puis vers un point sur la gauche endroit d o provient la voix descendre de cheval locatif cheval Dynamique Double Transfert Enonciative Traduction b descend de cheval Transcription n 7 Annelies Braffort Maitre de Conf rences LIMSD transcription des configurations Christophe Collet Ma tre de Conf rences LIMST transcription du regard Remarques pr alables nos transcriptions habituelles comportent des donn es num riques fournies par nos syst mes de capture gant ou cam ra ainsi que des donn es symboliques associ es ces donn es que nous ne pouvons donc pas fournir sur la s quence Blanche Neige Les parties A et B contiennent les transcriptions de type symbolique relatives aux configurations des mains dominante et domin e La partie C contient la transcription de type symbolique relative au regard Nous avons segment la s quence vid o en utilisant les num ros d images 14 A Transcription des configurations 1 Mode d emploi de la transcription Chaque ligne d finit une zone de la s quence d images durant laquelle la configuration est constante Elle est d crite par la s quence description de la configuration num ro d image La description de la configuration est donn e un t
77. t elles seules la pr dominance du canal audio oral parce que il rend possible une communication de nuit difficilement envisageable gestuellement en l absence d une maitrise du feu 45 Je ne nie pas qu il y ait des points communs entre les configurations manuelles utilis es en grande iconicit attest es dans toutes les langues des signes tudi es ce jour et les classificateurs des langues orales ne serait ce que leur valeur de reprise mais appliquer purement et simplement le terme de classificateur aux langues des signes fait perdre de vue la dynamique propre ces langues qui consiste reprendre des l ments th matis s du lexique standard pour les int grer en tant que formes dans une vis e illustrative comme ca et je montre en disant La d marche inverse partant des langues des signes permet d envisager la pr sence de certains classificateurs dans les langues orales tout au moins ceux qui comme en birman cat gorisent les r f rents selon leur forme ou leur taille comme des traces d op rations cognitives vis e similaire qui en raison de la nature du canal ne sont pas reproductibles iconiquement en langue En fonction de la quadridimensionnalit des langues des signes on pourrait s attendre un nombre consid rable de r solutions formelles attest es En fait il n en est rien les r solutions formelles qui sont effectivement attest es sont peu nombreuses et de plus sont souvent les
78. t ces r sultats obtenus partir d nonc s isol s des textes et r cits Nous avons galement essay de continuer ce travail sur les marques morphologiques Nous nous sommes fix 3 types de t ches dans l analyse de ces r cits La d composition des s quences en situations saillantes en mettant en valeur les rep rages mouvements et changements e classification des configurations manuelles ayant un r le syntaxique La recherche d indices de changements d espace D composition des s quences en situations saillantes de rep rages mouvements et changements Les r cits tudi s ont t d coup s en situations partir de l identification des mouvements relateurs des signes verbaux qui construisent un espace relationnel casu Ce d coupage qui s appuie sur les sch mes s mantico cognitifs de J P Descl s s est r v l tr s instructif Il a permis de confirmer l influence des primitives spatiales REP MOUVT et CHANGT sur la forme la spatialisation des relations par les signes relateurs de mettre en vidences les possibilit s d expression simultan e de deux situations Par exemple quand le signeur prend le r le d un actant dont il exprime un changement de qualit alors que par ses mains il exprime un changement de rep rage de ce m me actant ou d un autre au moyen de configurations anaphoriques La complexit des nonc s en langue des signes tient en ces ressources offertes dans l
79. t soit sur la base de signes ressentis au d part comme internationaux par la communaut sourde en raison de leur iconicit conservation des traits saillants forme taille ou fonction des entit s l accord se fait alors par un rapide change Ce signe ca va soit en faisant appel aux exp riences communes du groupe Ainsi une SOIR E pourra tre d crite comme la nuit derni re chez M Untel Ce qui est suppos non connu du public peut tre pr sent de diff rentes fa ons r pertori es ci apr s 3 Une entit peut tre expos e par un passage en grande iconicit qui tient lieu de topic puis un signe standard est exprim en focus sur lequel on se met d accord 4 On observe certains passages o l acc s la g n ricit s effectue par une accumulation de structures de transfert sans qu aucun signe standard ne soit employ le premier transfert personnel tant repris la fin du passage et pouvant ensuite fonctionner au cours de la conversation comme un signe standard 5 Un signe standard international ou de la propre langue des signes du locuteur signeur peut galement tre mis tout d abord en topic puis explicit par des structures de grande iconicit focus et repris la fin du passage explicatif 6 Enfin un signe standard international ou de la propre langue des signes du locuteur signeur peut aussi tre expliqu par un signe standard d une autre langue des signes en pr s
80. t de l image et plus rentable au niveau de l analyse et de la mise en relief de la structure interne des LS 34 Transcription d une s quence de l histoire Cheval racont e par Kadra Abdelghefar CORPUS LS COLIN S quence de 06 15 PRET 06 27 personnage transf r Cheval Fragment 1 2 2 4 Dur e de la 06 15 12 06 15 18 06 16 07 06 16 14 06 16 23 06 17 04 06 17 05 06 18 07 s quence Images Direction des b d f mouvements k 3 k he D but du signe Fin du signe Vers interlocuteur Fermeture Vers interlocuteur Fermeture des yeux Vers l espace neutre devant Vers l espace neutre Regard des yeux Fo devant Signes PRET souffler Souffler Courir Courir vite Main dominante Deux mains PRET mouvement des deux mains vers le bas Fin de PRET Mouv Vers le haut position Retenir son souffle Retenir son souffle En position de pattes du cheval En position de pattes du cheval courir vite pattes du cheval Courir Mouvement des poignets 6 fois Main domin e Transferts STP TP TP TP Mimique Neutre assertive Neutre assertive Neutre assertive Clignement des yeux et fin du Yeux pliss s souffle Des yeux facial D but du soufflement souffle continu sp cification de la l g rement vitesse ferm s et pliss s effort Mouvement de la t te Redress e L g rement tourn e vers le haut
81. t de les bras tendus vers l avant se rapprochent du torse Les genoux fl chissent Mouvement assez lent la partie du corps vers le haut sup rieure du corps Traduction La barri re s approche Il prend son lan et saute approch e 36 Fragment 8 9 10 11 Dur e de la s quence 06 20 08 06 20 14 06 20 17 06 21 02 06 21 02 06 21 25 06 22 00 06 22 06 Images 1 y Direction des mouvements Regard Vers interlocuteur sur les mains Vers interlocuteur Clignement des yeux 1 600866 106006 Vers le mains vers l interlocuteur 8 5 l interlocuteur Signes SE TROMPER Butter contre la Tomber Barri re 8 barri re Main SE TROMPER Pattes dominante Deux mains Pattes les deux mains tournent Les deux mains montrent la forme de la barri re Main pattes Barri re locatif domin e Transferts STP TS DT TP TF yeux carquilles d tonnement Mimique Neutre assertive Yeux pliss s d sarroi Yeux pliss s d sarroi Neutre assertive faciale yeux carquilles d tonnement Mouvement m Sur le cot droite de la t te Mouvement Tn A de la Joues gonfl es Gonflement de joues Bouche ouverte imitant le fait de crier CNE On verte B sp cifiant le choc bouche Mouvement de la partie Commence basculer Tout le torse se bascule droite sp cifiant la Retour du corps face l interlo
82. tion 12 Transcription n 2 Annie Risler post doctorante Paris 8 Corps mouvt t te mouvt des paules qui accompagne les mains Regard Vague vague devant mimique R solu contr le d action Mains D descend de G D class jambs G class base vertical Transcription n 3 Gw na lle Jirou DEA Paris 8 Segment 1 03 24 Segment 2 03 92 Transferts Regard vers mains Mimique d cid e l vres serr es et tir es l vres serr es et tir es S NR du corps haussement d figurant l effort Traduction en e Le personnage ANM prince descend de cheval Il marche Transcription n 4 Marie Anne Sallandre Doctorante Paris 8 2 jambes descendre du cheval faire qq pas amp RN ouche 0115566 intrigu e et r solue Traduction francaise ouss par la curiosit il descendit de cheval 13 Transcription n 5 Ivani Fusellier Souza Doctorante Paris 8 Images Direction des mouvements Regard Vers le locatif le locatif Vers la camera Vers la camera camera EN dominante de transfert de forme TS d but du bd De liactant TS De liactant vers le sol BEN J des jambes du personnage Deux mains mains n dela Mod Ur S pench en arri re pem 6 en face des 00000000 vers la
83. tion des 3 cam ras serait assur e par un flash 3 2 R alisation L enregistrement a eu lieu les 11 et 12 janvier 2002 l INJS de Paris avec les personnes suivantes Jes techniciens du studio Photo et Vid o St phane MANGAUD et Gr gory GONZALEZ En pr sence des quipes participant au projet Pour les Sciences du langage de l Universit Paris 8 Marie Anne SALLANDRE Ivani FUSELLIER et Gwena lle JIROU vendredi Pour le LIMSI Annick CHOISIER Christophe COLLET vendredi et Fanch LEJEUNE vendredi apr s midi Pour L IRIT Boris LENSEIGNE 3 2 1 Ces journ es ont t organis es par Marie Anne SALLANDRE et Ivani FUSELLIER du d partement des Sciences du Langage de l Universit Paris 8 pour le recrutement des signeurs l laboration des consignes et du protocole exp rimental et l tablissement des dossiers pour le paiement des signeurs Annick CHOISIER et Christophe COLLET du LIMSI pour les aspects mat riels achat et gestion des diff rents formats de cassettes vid o convention avec l INJS droits des images 3 2 2 Conditions techniques Nous avons adopt l option maximale des conditions d finies le 26 octobre 2001 c est dire 3 cam ras un fond bleu et un tr s fort clairage voir photo 1 La cam ra 1 une SONY DVCAM situ e 5 m face au signeur et une hauteur de 1m60 filmait la personne en plan am ricain La cam ra 2 une SONY mini DVCAM situ e 2m55 face au signeur
84. ue 4 Doctorants et autres tudiants Sciences du Langage 6 Informatique 5 Nombre total d hommes mois 114 SOMMAIRE LISTE DES PARTICIPANTS 1 PR SENTATION DE L ACTION LS COLIN 1 2 PR SENTATION DE L ACTION LS COLIN 1 2 1 HYPOTH SES SUR LA LANGUE DES SIGNES 1 2 2 OBJECTIFS DE L ACTION 2 TAT DE L ART ET D MARCHE RETENUE 2 1 RELEV DES DIFF RENTS SYST MES D CRITURE ET DE TRANSCRIPTION EXISTANTS 2 1 1 LES SYST MES DE NOTATION MANUELS 2 1 2 LES SYST MES DE NOTATION INFORMATIS S 2 2 LES TRANSCRIPTIONS R ALIS ES DANS LE CADRE DE LS COLIN 2 3 CONCLUSION 2 4 GRILLE D ANALYSE VALABLE POUR UN MONOLOGUE 3 CONCEPTION ET LABORATION DU CORPUS 3 1 SP CIFICATIONS DE R ALISATION 3 1 1 LES LOCUTEURS 3 1 2 LES TECHNIQUES D ACQUISITION 3 2 R ALISATION 3 2 1 CES JOURN ES ONT T ORGANIS ES PAR 3 2 2 CONDITIONS TECHNIQUES 3 3 EVALUATION 4 R ALISATION DE L DITEUR DE PARTITION 4 1 SP CIFICATIONS 4 1 1 R LE DE L DITEUR 4 1 2 ASPECT GRAPHIQUE DE L DITEUR 4 1 3 DESCRIPTION D TAILL E DE LA PARTIE TRANSCRIPTION 4 1 4 G N RICIT FLEXIBILIT OUVERTURE 4 2 APPORTS DU TRAITEMENT D IMAGES 4 2 1 POSSIBILIT D AUTOMATISATION PARTIELLE PAR TRAITEMENT D IMAGES 4 2 2 1 TRAITEMENT D IMAGES DANS LE PROJET LS COLIN 4 3 R ALISATION 44 VALUATION 4 5 AM LIORATIONS POSSIBLES 5 EXPLOITATION DU CORPUS 5 1 PREMI RE TRANSCRIPTION MANUELLE DU CORPUS LS COLIN 5 1 1 OBJE
85. ue la modalit visuo gestuelle permet d int grer ces repr sentations imageantes dans la langue Et comme ces repr sentations font pleinement partie en langue des signes de la mati re nonc e il n est pas possible de les consid rer comme des options simplement illustratives au service d un univers verbal seul avoir une dimension s mantique et interpr tative Notons que cela ne permet pas de trancher entre l hypoth se a du double codage Paivio 1986 postulant deux voies repr sentationnelles verbale s quentielle temporelle discr te digitale non iconique versus imag e simultan e spatiale continue analogique iconique pouvant coincider point par point avec la perception visuelle consid r es comme deux lieux cognitifs distincts toutefois interconnect s o s labore la signification et b les conceptions propositionnelles d un lieu amodal et abstrait o se construirait le sens partir du verbal et ou de l imagerie simples supports des repr sentations cf Denis 1989 Mais il se peut aussi que cela ne soit pas une bonne mani re de poser le probl me ou plut t que le probl me s est pos ainsi par la nature m me des exp rimentations qui l ont fait naitre Poser la question des liens potentiels entre types de repr sentations partir des langues des signes ouvre plus de complexit dans la mesure o les observations portent sur une pragmatique interactionnelle et pas seulement sur des objets ou des
86. ue notre projet se soit tout d abord centr sur la constitution d un corpus bas sur une grande diversit des locuteurs et des genres la LSF n ayant t jusque l tudi e qu une chelle moindre par exemple la th se d tat de C Cuxac 1996 reposait sur l analyse d un idiolecte Ce corpus dans un premier temps nous a permis de valider des hypoth ses de d part Ainsi m me sans avoir proc d faute de temps son analyse minutieuse on voit que l hypoth se d une partition fonctionnelle et structurale grande iconicit et structures de transferts qui donne voir nonc s standards qui ne donne pas voir parait fond e Les transferts sont bien des op rations cognitives mettant en oeuvre un processus d iconicisation de l exp rience perceptivo pratique ritualis es au sens employ par R Thom linguistiquement Plus surprenant est que leur pr sence massive ne se limite pas comme nous l attendions aux activit s de r cit l histoire du cheval mais s tend d autres jeux de langage comme par exemple des activit s prescriptives valeur p dagogique telles que les recettes de cuisine Un autre fait marquant a pu tre rep r le grand nombre de va et vient fonctionnels entre signes standards et structures de grande iconicit ainsi que leur couplage fr quent dans des activit s non descriptives au moyen des structures de semi transfert personnel ph nom nes qui font l objet de la th se de Marie
87. urs sont tr s d licats mettre en uvre sans ces hypoth ses et que leur mise au point dans le cas g n ral reste un probl me ouvert Enfin la stabilit des op rateurs doit tre envisag e en consid rant la chaine d interpr tation dans son ensemble segmentation gt mesure gt identification cette cha ne pouvant contenir des m canismes permettant la remise en cause des r sultats obtenus par l op rateur seul et ventuellement leur correction Il faut de plus noter que la pr sence d art facts dans les r sultats obtenus par l application d un op rateur seul peut permettre de d tecter l occurrence d un v nement spatio temporel par exemple si l on suit par la couleur un objet identifi comme tant une main et que cet objet est perdu cela signifie que la main est pass e devant un autre objet de la m me couleur 4 5 Am liorations possibles Fonctionnalit s Il serait int ressant d tablir des liaisons entre diff rentes parties de la transcription 501 des liens auxquels on peut associer une r f rence appartenant la liste des r f rences d j rencontr es ou une r f rence cr er soit des r f rences spatiales temporelles pouvant tre li es aux liens existant ou venir 31 Cela permettrait par exemple d associer un classificateur au signe standard auquel il fait r f rence Ergonomie Il serait int ressant de pouvoir regrouper verticalement des param tres avec des zones de
88. ustif des configurations anaphoriques listage des indices de changement d espace Ces premiers r sultats sont encourageants et laissent vraiment entrevoir que notre objectif initial de faire apparaitre l image la construction de l espace relationnel est maintenant r alisable Annie Risler et Fanch Lejeune Tout cela incite penser que ces structures communes l ensemble des langues des signes sont plus proches des primitives d interface cognitivo s mantique que les structures formelles des langues orales qui en raison d un fragile quilibre d l unidimensionnalit du canal n cessitent en diachronie des lissages conomiques incessants Et de la m me mani re que l on ne peut penser les caract ristiques essentielles du triangle partir des propri t s sp cifiques du triangle quilat ral je pense qu on ne peut d duire les structures formelles du langage humain partir de r flexions typologiques pens es partir des langues orales En revanche les LS constituent un ensemble de langues non marqu es iconiques et non iconiques temporelles et spatiales si ressemblantes entre elles elles offrent un taux de g n ralit id al de m me qu un empan fonctionnel langagier maximal pour s interroger sur l tre formel du langage humain C est dans cet esprit que je propose d op rer un retournement pist mologique concernant la recherche en typologie linguistique La question pos e partir de la base concr te des
89. valeurs pour une propri t donn e d un composant tels que des changement de mouvement orientation ou vitesse de configuration ou de relations Ajout de valeurs dans les cases par reconnaissance de configurations ou mesures direction de mouvement vitesse etc e G n ration de nouvelles lignes correspondant de nouveaux concepts valuables par analyse d image relation entre plusieurs indices 28 Les travaux en TI ont donc consist tudier et r aliser les outils et op rateurs de base n cessaires pour mettre en ceuvre ces diff rentes fonctionnalit s Analyse des indices spatio temporels pouvant tre extraits par traitement informatique de la s quence d images Interface de pilotage d une s quence vid o et de mise en forme de la vid o permettant l analyse image par image de fa on non lin aire ainsi que l exportation de la s quence dans un format permettant son traitement 4 2 2 2 R alisation d op rateurs d analyse d image Les recherches concernant les op rateurs de TI pertinents ont t men es ind pendamment de la r alisation de l diteur de partitions Les op rateurs ont t r alis s dans le but de fournir un vocabulaire minimal permettant de d crire partir de s quences vid o des structures de la langue des signes Il s agit donc d op rateurs relativement simples et g n riques exploitant en outre les conditions de r alisation du corpus fond bleu et v tements no
90. vation privil gi des faits synchroniques concernant la s miog n se formation de signes ou de syst mes de signes par une communaut linguistique donn e des langues Dans cette perspective s miog n tique la bifurcation postul e par Cuxac Cuxac 2000 d termine deux p les qui coexistent et entre lesquels le va et vient est constant dans tous types de discours On a d une part la grande iconicit traces structurales d une vis e illustrative ou iconicisatrice de l exp rience v cue qui donne voir tout en disant d autre part les signes standard sans vis e illustrative C est par ces deux grands axes qu une grammaire de la LS peut tre tablie Il est tonnant d observer que les langues des signes naturelles utilisent des structures autant syntaxiques que s mantiques pr sentant un grand degr d iconicit Ainsi on peut exprimer des id es complexes sans recourir au lexique standard Cependant il est int ressant d analyser quel moment du discours les signes standard sont n cessaires et inversement et dans quels cas la grande iconicit est obligatoire par exemple dans le cas d nonc s absurdes qui ne peuvent tre traduits que par un transfert personnel on cite souvent l exemple de Cuxac 1996 le chocolat mange le gar on Nous tentons de d montrer que ces structures de grande iconicit trop souvent consid r es comme de la pantomime sont bien des l ments linguistiques et constituent m me la d m

Download Pdf Manuals

image

Related Search

Related Contents

User`s Manual    testo 870 - Wärmebildkamera, Bedienungsanleitung  LG Electronics WD11020D Washer User Manual  User`s Manual - Voltronic Power  TDSHーBA 東芝 トランジスタメガホン取扱説明書  TEFAL WO601601 Instruction Manual  Epson Endeavor VL User's Manual    CROM Epoxi 220  

Copyright © All rights reserved.
Failed to retrieve file