Home
        Consignes aux auteurs
         Contents
1.      34 635 mots     Nous avons calcul   pour chaque fichier le WER g  n  ral et le WER sur les mots  qui repr  sentent des entit  s 4 extraire  Pour ce faire  nous avons corrig   les  transcriptions automatiques pour obtenir des transcriptions de r  f  rence et calcul   le  WER selon la formule  1   o   S est le nombre de substitutions  D le nombre de    suppressions  1 le nombre d    insertions et N le nombre total de mots du corpus     WER _S D I  1   N    Afin de calculer la d  gradation de la d  tection des entit  s nous avons annot   les  transcriptions de r  f  rence avec les entit  s extraites par nos grammaires  Cette  annotation automatique sert de r  f  rence pour la suite des travaux  Nous avons  ensuite lanc   la d  tection automatique sur les transcriptions originales et mesur   la  pr  cision  2  et le rappel  3      142 TAL  Volume 51     n   3 2010    oo   Extractions Correctes  Pr  cision   2     Extractions            ExtractionsCorrectes  3     Rappel      Entit  sDeR  f  rence    Nous affichons les r  sultats dans le tableau 2 ci dessous  La diff  rence entre  100   et les valeurs de pr  cision et de rappel ainsi obtenue est la baisse caus  e par  la transcription automatique     Nbre WER Sie D  tection  mots G  n  ral Hor Entit  s entit  s PA Rappel  entit  s sion   1 1 629 34 33 15 51 96 86  2 1 803 44 41 72 83 72 52  3 5 867 39 38 36 166 77 73  4 1 201 32 31 28 44 88 87  J 5 873 24 23 35 223 88 72  6 3 955 44 43 38 91 81 67  7 2714 33 32 31 78 76 78  8
2.     impossible        scandaleux         la fin  apr  s la prise finale du rendez vous  la cliente prend la parole  la  monopolise jusqu      la fin de l   appel et se plaint de la situation en employant le  m  me vocabulaire qu    auparavant            positif       n  gatif    Score de polarit      21 41 61 81 101 121 141 161 181 201 221    Tour de parole    Y     Le  fi      2  w  T  v     O  v  w    181 361 541 721 901 1081 1261 1441 1621    Temps en secondes       Figure 4   D  roulement   motionnel d   une conversation  sur   chelles de tour de  parole et de temps  exemple 3     150 TAL  Volume 51     n   3 2010    L   exploitation d   une telle mod  lisation est   vidente   elle peut   tre transform  e  en crit  res de s  lection avec quelques simples heuristiques  Il sera par exemple  possible de chercher toutes les conversations qui se sont globalement mal pass  es   ou bien celles qui ont mal commenc   mais bien fini  ou I    inverse     D   apr  s nos premi  res observations  chaque conversation dont le score de  polarit   n  gative d  passe le seuil de 4 pr  sente un int  r  t pour les services  d   am  lioration de la qualit   de la relation avec le client  Avec ce seuil  le syst  me  s  lectionne 178 conversations sur 7 564  soit 2 35   des conversations du corpus   Cette heuristique choisit des conversations qui repr  sentent donc des pics d    activit      motionnelle  mais ignore celles qui ne se passent pas tr  s bien dans l   ensemble  Ces  conversations pe
3.    Analyse des sentiments et transcription  automatique   mod  lisation du d  roulement  de conversations t  l  phoniques      ogge k kk a EEEF  Frederik Cailliau  gt      Ariane Cavet         Sinequa  12  rue d   Ath  nes  F 75009 Paris       T IPN  Universit   de Paris 13   Paris Nord  99  avenue Jean Baptiste Cl  ment  F 93430 Villetaneuse        UFR de Linguistique  Universit   Paris 7  30  rue du chateau des rentiers  F 75013 Paris    cailliau  sinequa com  cavet  sinequa com       RESUME  Dans cet article  nous pr  sentons une m  thode pour mod  liser le d  roulement de  conversations provenant d   un centre d   appels  Le syst  me d   analyse des sentiments prend en  entr  e des transcriptions automatiques  ce qui rend la d  tection d   entit  s moins fiable a  cause des in  vitables erreurs de transcription  Nous   valuons la d  gradation subie en termes  de pr  cision et de rappel sur un corpus manuellement annot    Pour y faire face  nous avons  d  fini un grand nombre d   entit  s   valuatives et de modalit  s    extraire  auxquelles nous  avons attribu   des poids d   intensit    Lors du compte de polarit   pour chaque tour de parole   les entit  s neutres sont compt  es avec celles    forte polarit    Le plus haut score   tant  gagnant  cette mod  lisation permet de visualiser le d  roulement   motionnel de la  conversation par des courbes positif et n  gatif    ABSTRACT  This paper presents a way to model conversational speech from call centers   Sentiment analy
4.   la r  action      videmment     qui traduit  aussi une conviction  dans laquelle le locuteur ne s   implique pas   motivement  Le  doute se rencontre dans des phrases telles que   II l   a fait  soi disant       dans  laquelle le locuteur s   implique  ou    Maintenant  je m   interroge     dans laquelle le  locuteur ne s   implique pas   motivement  La supposition s   exprime en divers degr  s  interm  diaires   supposition certitude forte  dans lequel le locuteur exprime un fort  degr   de certitude  comme dans l   exemple   motivement marqu      J   en ai bien  peur        ou l   exemple neutre    Visiblement   a a   t   fait      supposition certitude  moyenne  dans lequel le locuteur exprime un degr   de certitude moyen  comme dans  l   exemple   motivement marqu      J   esp  re que   a va marcher     ou son   quivalent  neutre    Je crois que   a va marcher     ou supposition certitude faible  dans lequel  le locuteur exprime un degr   de certitude faible  comme dans l   exemple neutre  suivant      Il y a peu de chances que   a marche     Ici  aucun exemple   motif n   a    t   retenu     Mod  lisation du d  roulement de conversations t  l  phoniques 141    3 5 Surprise    Notre derni  re classe d   entit  s est la surprise  c est a dire la r  action du locuteur  face    un fait qui lui appara  t comme nouveau  Cette r  action peut   tre de trois  types  qui illustrent les trois sous types pour la classe surprise  La surprise positive  repr  sente une r  action posi
5.  790 24 24 23 23 91 91  9 666 21 19 33 28 96 86  10 708 35 32 55 40 96 65  11 5 640 48 47 39 187 80 69  12 3 789 38 37 31 132 79 73  Moy  37 32 47 83 72    Tableau 2  WER  pr  cision et rappel de la d  tection d   entit  s    Sur notre s  lection  la moyenne du WER g  n  ral est assez   lev  e par rapport     l     tat de l   art  Elle n   est n  anmoins pas tr  s repr  sentative car on constate de  grandes disparit  s entre les fichiers individuels  La moyenne du WER sur les entit  s    Mod  lisation du d  roulement de conversations t  l  phoniques 143    est encore plus   lev  e  mais elle n   est pas repr  sentative non plus  sept  conversations sur douze ont un meilleur WER sur les entit  s que sur les autres mots   Il n   existe donc pas de lien syst  matique entre le WER sur les entit  s et celui sur les  autres mots ou les mots en g  n  ral     Il convient de rappeler ici que nous traitons des donn  es en provenance de  centres d   appels  et que le son n   est pas toujours de bonne qualit    La ligne peut   tre  assez bruit  e  notamment quand les clients appellent depuis un portable  et le son se  d  grade   galement quand les locuteurs   l  vent la voix  De plus  les conversations  ont   t   enregistr  es sur un seul canal et  quand le client et le t  l  conseiller parlent en  m  me temps  il est impossible d   obtenir de bonnes transcriptions  alors que nous  avons transcrit la voix qui prenait le dessus     Les erreurs de transcription influent   norm  ment sur le
6.  comme les t  l  conseillers  eux m  mes ou leurs superviseurs  Le but de notre mod  lisation est en effet de  s  lectionner  dans une grande masse de donn  es  les conversations qui peuvent   tre  utilis  es dans une d  marche d   am  lioration de la relation entre le client et le  t  l  conseiller     La s  lection des conversations probl  matiques en combinaison avec une  extraction des groupes nominaux    la vol  e permettra d   identifier grossi  rement les  th  mes abord  s dans les passages qualifi  s de probl  matiques  Ce sera un d  but  d identification de la raison de l     nervement du client et pourra  apr  s analyse   servir    l am  lioration du service en g  n  ral        Pavenir  l     volution technique permettra l   enregistrement de conversations  t  l  phoniques sur deux canaux  ce qui donnera une meilleure qualit   de  transcription  la possibilit   d   exploiter le taux de recouvrement et de param  trer  notre analyse selon que le locuteur est le client ou le t  l  conseiller  Cela devrait  nettement augmenter les performances g  n  rales du syst  me     Remerciements    Les auteurs remercient   liane Cheung et M  lodie Soufflard pour leur    participation    l     valuation  ainsi que EDF R amp D et Vecsys pour la mise     disposition des corpus de transcriptions     7  Bibliographie    Benveniste  E      L appareil formel de l     nonciation     in Langages  vol  5 17  p  12 18   1970  Repris dans Probl  mes de linguistique g  n  rale  II  Gallimard  
7.  du d  roulement de conversations t  l  phoniques 145    pas transcrits en patrons correspondant    des entit  s  Ces corr  lations sont  visualis  es dans la figure 1                                            100 R 100        80    80   gt   5 8 PS    8  8 60    60  S   3     40 2         20   20   0   T T T 0  0  20  40  60  80  0  10  20  30  40  50   WER entit  s WER nonentit  s       Figure 1  Corr  lations entre WER et rappel  gauche   et WER et pr  cision  droite     5  Mod  lisation de la conversation  5 1 M  thode    L objectif est de mod  liser le d  roulement   motionnel d   une conversation en  polarit  s positive et n  gative  Comme vu ci dessus  l   identification des expressions    valuatives est tr  s vuln  rable aux erreurs de transcription  Il est donc impossible de  se fier aveuglement aux entit  s   valuatives d  tect  es pour simplement compter le  nombre d   entit  s qui manifestent explicitement un   v  nement positif ou n  gatif   Pour cette raison  nous avons d  velopp   la m  thode de mod  lisation suivante     Nous commen  ons par d  tecter les entit  s d  crites dans la section 3  Nous  partons du principe qu   une densit     lev  e de ces entit  s indique un passage  int  ressant et que certaines entit  s sont plus importantes que d   autres  Nous avons  class   les types d   entit  s en positif  n  gatif et neutre  et attribu      chaque type un  score d   intensit   que nous avons d  termin   et affin   de fa  on empirique  Les entit  s  les mo
8.  et nous avons ajout   une classe d   entit  s surprise  La  suppression de cette classe est due au constat que  dans le cadre de l   analyse de  conversations issues de centres d   appels  le jugement et l   appr  ciation sont tr  s  difficilement diff  renciables  tant du point de vue du lexique employ       nul         catastrophique     etc   que du point de vue de l   intention du locuteur  En effet   l   approbation et la d  sapprobation du client sont en g  n  ral tr  s fortement li  es    un  sentiment positif ou n  gatif suite    une action de la part de l   entreprise  Le client a  alors tendance    identifier le t  l  conseiller    l   entreprise  ce qui se traduit par  l   emploi du pronom personnel    vous         vous faites barrage        vous m   enverrez    la note     Ces observations nous ont encourag  s    verser le contenu de jugement  dans appr  ciation  et    supprimer la classe d   entit  s jugement     L   ajout de la classe d   entit  s surprise est d      un autre constat r  alis   lors de  l     coute des enregistrements des conversations  Dans nos conversations  la surprise  s   exprime le plus souvent par l   emploi du mot      tonnant     Le cas prototypique la  place plut  t du c  t   du client  puisque c   est lui qui appelle avec une question  Or   parfois c   est le client qui apporte des informations qui engendrent un sentiment de  surprise chez le t  l  conseiller  Il arrive m  me que les deux interlocuteurs expriment  un sentiment de surp
9.  l   expression d   une certaine insatisfaction face    un fait ou un  objet  comme c   est le cas dans l   exemple   motivement marqu     J en ai ras le  bol      ainsi que dans l   exemple neutre    Je trouve que c   est excessif        3 2 Acceptation refus    L   acceptation refus se pr  sente   galement  sous forme de polarit     acceptation ou  refus  Il s   agit donc de l   acceptation ou du refus du locuteur face    une proposition  faite par son interlocuteur  Comme stipul   pr  c  demment  nous n   avons pas  d   exemple   motif pour illustrer l   acceptation  L   acceptation neutre se reconna  t  dans des phrases telles que   C   est d   accord      Le refus   motivement marqu    appara  t dans l   exemple   C   est hors de question      tandis   Je suis vraiment  r  ticent     rel  ve d   un refus non   motivement marqu       140 TAL  Volume 51     n   3 2010    3 3 Accord d  saccord    L   accord d  saccord se pr  sente sous la forme d   une gradation qui s     tend de  l   accord total exprim   par le locuteur envers son interlocuteur au d  saccord  en  passant par l   accord approximatif  qui exprime un accord un peu moins franc que  dans le cas de l   accord total  et la rectification  qui est une correction apport  e par  le locuteur sur un propos de son interlocuteur qu   il juge erron   ou insuffisant  Un  locuteur qui r  pond    Ah   a j   imagine       son interlocuteur exprime son accord  total  tout en s   impliquant   motivement  tandis que s   il r  p
10.  plus profonde  Les acteurs des centres d   appels  et en  premier lieu les t  l  conseillers m  mes  sont int  ress  s par toute information qui leur  donne un retour sur l   interaction avec le client  dans le but de s   auto  valuer et  d   am  liorer le service     Les m  thodes du traitement de        crit que nous appliquons s   adaptent plut  t bien     la recherche et    la fouille de donn  es dans des corpus de transcriptions  automatiques  Le syst  me d  velopp   dans le projet Infom gic ST2 31  Garnier   Rizet  2008   en est la preuve   il enregistre  transcrit  analyse et rend accessibles les  conversations d   un centre d   appels d EDF  Son interface donne un acc  s  multimodal aux conversations  Cailliau et Giraudel  2008  et visualise de multiples  informations statistiques sur les conversations  Garnier Rizet et al   2010   Gr  ce     la mod  lisation du d  roulement   motionnel de la conversation  nous mettrons     disposition de l   utilisateur des crit  res de s  lection de conversation suppl  mentaires  qui indiquent si la conversation s   est bien ou mal pass  e  Cette mod  lisation est faite  par analyse textuelle de transcriptions automatiques  Plus tard dans le projet  nos  r  sultats seront crois  s avec les r  sultats de l   analyse   motionnelle du son  Vaudable et  al   2010      La d  tection d   entit  s avec des patrons morphosyntaxiques reste n  anmoins tr  s  d  pendante de la qualit   de la transcription automatique  Sur un corpus de  transc
11.  rer des mod  les de classification avec des m  thodes d   apprentissage     Les indices lexicaux sont extraits automatiquement  ce qui donne de bons  r  sultats sur des domaines sp  cifiques  N  anmoins  Pang et al   2002   apr  s avoir  test   trois diff  rentes m  thodes d   apprentissage sur des critiques de films  concluent  que les r  sultats sont bons  mais qu   ils n     galent pas ceux obtenus en classification  th  matique  Introduisant un peu plus d   analyse linguistique  les indices de Turney   2002  sont des bigrammes correspondant    des patrons morphosyntaxiques  pr  d  finis  comme par exemple adjectif nom et adverbe verbe   utilis  s pour  classifier avec des r  sultats partag  s des avis de consommateurs   de 84   d   avis  bien classifi  s pour les voitures    seulement 66   pour les films  Dave et al   2003   ont fait varier les indices lexicaux entre unigrammes  bigrammes  trigrammes et  sous cha  nes  des n grammes de mots d   une longueur maximale s  lectionn  s  simplement selon un seuil de fr  quence   Si les trigrammes sont bien meilleurs que  les unigrammes et les bigrammes  une l  g  re am  lioration est encore obtenue avec  les sous cha  nes  Ce r  sultat est assez int  ressant en ce que les sous cha  nes se  rapprochent le plus de ce qu   on pourrait attendre dans un lexique grammaire  constitu      la main     En France la d  tection de l   opinion a r  cemment fait l   objet des ateliers DEFT  de 2007 et de 2009  http   deft limsi fr    Les pa
12.  vous pouvez utiliser  d  caf  in    ingr  dients     3  Les partenaires du projet Blogoscopie   le LINA de l   universit   de Nantes Atlantique   l   h  bergeur de blogs Over Blog et Sinequa  Blogoscopie est un projet ANR  appel 2006   commenc   en d  cembre 2006  d   une dur  e de 24 mois     136 TAL  Volume 51     n   3 2010    m  diocre   adjectif   mort de rire     adjectif     nul doute que   conjonction   p  tard mouill     nom   protester   verbe   probablement     adverbe     refuser     verbe     Appr  ciation   d  favorable   m  diocre  r  sultats de foot   Appr  ciation   favorable   mdrrrrrrrr  roman  auteur    mdr  dictionnaire de mots invent  s   Opinion   supposition certitude forte   nul doute que  n  vrose  charognards   Appr  ciation   d  favorable   est un peu un p  tard mouill    film   Accord d  saccord   d  saccord   protestaient contre  interdiction   Opinion   supposition certitude moyenne   vient tr  s probablement  explication pour les gr  ves    sont probablement  interpr  tations   associations    Ou bien plus probablement  milieux   chape de plomb   Acceptation refus   acceptation   Je ne refuse jamais  g  teau au chocolat   Acceptation refus   refus   On refuse  dipl  me    je refuse  armement nucl  aire   Accord d  saccord   d  saccord    refuse  privatisation des universit  s     Tableau 1  Extrait du lexique d   valuations du projet Blogoscopie    Au cours des derni  res ann  es  l   objet d     tude est pass   de textes courts et  monoth  ma
13. 1974  p  79 88     Bestgen Y   Lories G      Un niveau de base pour la t  che 1  corpus fran  ais et anglais  de  DEFT   09     Actes de l atelier de cl  ture du 3   DEfi Fouille de Textes  DEFT 2009   Limsi  2009     152 TAL  Volume 51     n   3 2010    Bloom K   Garg N   Argamon  S      Extracting appraisal expressions     Proceedings of the  human language technology conference of the North American chapter of the association  of computational linguistics  HLT NAACL 2007   Rochester  New York  USA  2007a   p  308 315     Bloom K   Stein S   Argamon S      Appraisal extraction for news opinion analysis at NTCIR   6    Proceedings of the sixth NTCIR workshop meeting on evaluation of information  access technologies   Information retrieval  question answering  and cross lingual  information access  National Institute of Informatics  Tokyo  Japan  2007b  p  279 285     Breck E   Choi Y   Cardie C      Identifying expressions of opinion in context     R  Sangal  H   Mehta  and R  K  Bagga  Eds   International Joint Conference On Artificial Intelligence   Morgan Kaufmann Publishers  San Francisco  CA  2007  p  2683 2688     Cailliau F   de Loupy C      Aides    la navigation dans un corpus de transcriptions d   oral      actes de TALN 2007  Toulouse  2007  p  143 152     Cailliau F   Giraudel A      Enhanced Search and Navigation on Conversational Speech      Proceedings of Searching Spontaneous Conversational Speech  SSCS 2008   SIGIR 2008  workshop  Singapour  2008     Charaud
14. LIMSI CNRS et de Vecsys  Research     3  Types d   entit  s extraites    Nous avons essay   de respecter autant que possible le cadre th  orique h  rit   du  projet Blogoscopie  Vu le caract  re conversationnel des donn  es  ce cadre nous  semble m  me mieux adapt   qu      l   analyse des blogs  En effet  toute expression    valuative prononc  e peut   tre consid  r  e comme subjective dans le contexte d   un  centre d   appels  En revanche  nous avons d   adapter la moiti   du lexique et donc les    4  Third International Workshop on EMOTION  satellite of LREC   Corpora for Research on  Emotion and Affect     138 TAL  Volume 51     n   3 2010    grammaires associ  es aux entr  es lexicales  Celles ci sont au nombre d   environ un  millier  L   extrait du lexique original  tableau 1  ci dessus  illustre les raisons de  l   adaptation   certaines entr  es sont typiques du langage   crit  nul doute que  ou du  langage Internet  mdr  et d   autres ont peu de chances d   appara  tre dans les  conversations  p  tard mouill     De l   autre c  t    nous avons ajout   des entr  es  typiques du langage conversationnel  voir   3 1   Cette adaptation a   t   faite  manuellement    partir de tests sur les transcriptions automatiques des appels et une  exploration intensive du corpus oral     Nous avons apport   une l  g  re modification    la liste des modalit  s   valuatives  d  crites par Charaudeau et extraites pour le projet Blogoscopie   la classe d   entit  s  jugement a disparu 
15. ammaticales  par des automates       tats finis comme dans Intex  Silberztein  1993  et Unitex  Paumier  2002   Il est en  outre possible  comme dans les langages de programmation  d   instancier et de  manipuler des variables  Une entit   n   est donc rien d   autre qu   un mot ou une suite  de mots qui correspond aux crit  res d  finis dans une grammaire d   extraction     Nous d  tectons cinq classes d   entit  s en plusieurs degr  s  totalisant seize types  d   entit  s que nous pr  sentons et d  finissons dans cette section  Chaque type  d   entit  s a un   quivalent   motif  qui indique une forte implication   motionnelle du  locuteur et porte le nombre de types d   entit  s extraites    trente deux  Cette  implication   motionnelle peut s   exprimer sous diverses formes selon le type  d   entit  s   enthousiasme  soulagement  compassion  col  re  g  ne  m  fiance  etc  Elle  est marqu  e par le fait que le message exprime autant l     tat   motionnel du locuteur  qu   il v  hicule du contenu informatif  comme le montrent les exemples qui  accompagnent les d  finitions     3 1 Appr  ciation    L   appr  ciation se pr  sente sous la forme d   une polarit   favorable  ou d  favorable   La polarit   favorable indique l   expression par le locuteur d   une satisfaction face     un fait ou un objet  comme on peut le voir    travers l   exemple   motivement marqu       merci beaucoup     ou dans l   exemple neutre    c   est int  ressant     La polarit    d  favorable indique
16. cadrent dans une th  orie plus large  d     nonciation  Nous utilisons cette d  tection tr  s g  n  rale dans un but tr  s  sp  cifique     Nos travaux ont montr   qu   il est possible de mod  liser le d  roulement d   une  conversation t  l  phonique par une d  tection du sentiment exprim   par les  interlocuteurs  m  me sur des transcriptions automatiques  Au cours de nos  exp  rimentations  l   affinage des poids a   t   assez d  licat  Il est apparu qu   il fallait  diff  rencier les expressions en fonction de leur charge   motive pour mieux capter  l     tat d   esprit des interlocuteurs   cela fait la diff  rence entre m  contentement et  col  re  entre satisfaction et soulagement  En outre  il nous   tait impossible  d   attribuer une polarit   positif n  gatif aux entit  s d   opinion pourtant importantes    Mod  lisation du d  roulement de conversations t  l  phoniques 151    pour mod  liser le sentiment  En effet  il aurait fallu une analyse fine de l   objet sur  lequel porte l   opinion pour d  terminer sa polarit   de fa  on automatique  Cette  analyse   tant d  pendante du domaine et du m  tier  nous ne nous sommes pas  engag  s dans cette voie     Les prochaines   tapes seront de transformer la mod  lisation du d  roulement de  la conversation en crit  res de s  lection pour un moteur de recherche et d     valuer la  pertinence des extraits et des conversations ainsi s  lectionn  s  Celles ci pourront  ainsi   tre cherch  es et analys  es par des professionnels
17. eau P      La critique cin  matographique   faire voir faire parler     La Presse  Produit   Production  Reception  Paris  Didier Erudition  1998  p  47 70     Charaudeau P   Grammaire du sens et de      expression  Paris  Hachette Education  1992     Dave K   Lawrence S   Pennock D      Mining the Peanut Gallery   Opinion Extraction and  Semantic Classification of Product Review     Proceedings of the Twelfth International  World Wide Web Conference  2003     Devillers L   Vasilescu I      D  tection des   motions    partir d   indices lexicaux  dialogiques et  prosodiques dans le dialogue oral     actes de JEP  Fez  2004     Dubreil E   Vernier M   Monceaux L   Daille B      Annotating opinion     evaluation of  blogs     Proceedings of the LREC workshop on Sentiment Analysis   Metaphor  Ontology  and Terminology  EMOT 08   Marrakech  2008     Esuli  A   Sebastiani  F      Determining the semantic orientation of terms through gloss  classification     Proceedings of the 14th ACM international Conference on information  and Knowledge Management  CIKM 05   ACM  New York  NY  2005  p  617 624     Galliano S   Geoffrois E   Mostefa D   Choukri K   Bonastre J  F   Gravier G      The ESTER  Phase II Evaluation Campaign for the Rich Transcription of French Broadcast News      Proceedings of the European Conf  on Speech Communication and Technology   Interspeech   Lisbonne  2005     Gauvain J  L   Lamel L   Adda G      The LIMSI Broadcast News Transcription System      Speech Commu
18. es lexiques constitu  s manuellement  Ceux ci souffrent principalement  d   une couverture insuffisante  Pour pallier cela  ces lexiques peuvent   tre constitu  s  avec des m  thodes d   apprentissage avant d     tre retravaill  s comme d  crit dans   Wiebe  2000  et plus r  cemment dans  Wiebe et Riloff  2005   Pour rendre le  lexique moins d  pendant du domaine  il existe des m  thodes de bootstrapping  qui  consistent    cr  er un lexique adapt   plus large    partir des    graines    que sont les  entr  es du lexique existant  Turney et Littman  2003  Riloff et Wiebe  2003    Whitelaw et al   2005   Il existe cependant aussi des m  thodes automatiques comme  celle mise en ceuvre par  Esuli et Sebastiani  2005   Les lexiques ainsi obtenus sont  alors g  n  ralistes et utilisables dans des contextes moins sp  cifiques  comme dans  l   analyse des blogs     On trouve principalement deux cadres th  oriques en vigueur en analyse des  sentiments  m  me si la plupart des travaux ne font r  f  rence    aucun cadre th  orique  linguistique  Le premier cadre est la th  orie de l     valuation  Appraisal Theory    publi  e par  Martin et White  2005  dans la suite de  Halliday  1994   Elle repose  sur quatre types d   attributs qu   ont les adjectifs  attitude  affect  appr  ciation   jugement   graduation  force  focus   orientation  positif  n  gatif  et polarit     marqu    non marqu     Ces quatre types ont ensuite de nombreuses options qui  permettent de classer finement les ad
19. ets  mets    vous avez qu      marquer un post it vous avez qu      marqu   impossible  ilyayaya il y a  e a  e a  e  c   est ma passion c   est pas possible    Tableau 4  Exemples d   entit  s rep  r  es    cause d   une erreur de transcription    Nous avons   galement identifi   un ph  nom  ne marginal   dans un nombre tr  s  limit   de cas  la transcription a remplac   du texte correspondant au patron d   une  entit   par du texte correspondant au patron d   une autre entit    Nous donnons les  quatre exemples trouv  s dans notre corpus dans le tableau 5        Phrase de r  f  rence Transcription automatique  pas malin pas mal   mais n   importe quoi mais d   accord ce sera   avec quelqu   un qu   on aime avec quelqu   un quand m  me  Je vous engueule je vous emb  te    Tableau 5  Exemples d   entit  s mal rep  r  es a cause d   une erreur de transcription    Les coefficients de corr  lation lin  aire entre le WER et les mesures de pr  cision  et de rappel confirment nos constats  Le coefficient est de     0 92 pour la corr  lation  entre le rappel de la d  tection des entit  s et le WER sur les mots correspondant a un  patron d   extraction  Le coefficient est de    0 65 pour la corr  lation entre la  pr  cision de la d  tection des entit  s et le WER sur les mots ne correspondant pas a  un patron d   extraction  Il est normal que ce second coefficient soit plus bas   le  coefficient prend   galement en compte la mauvaise transcription de mots qui ne sont    Mod  lisation
20. eur r  pond favorablement ou non  Le jugement est exprim   lorsque le locuteur  d  clare son approbation ou sa d  sapprobation    propos d   une action r  alis  e par son  interlocuteur  Ces cinq modalit  s peuvent avoir plusieurs degr  s     L    approche adopt  e dans le projet de recherche Blogoscopie pour la constitution  du lexique a   t   d   annoter d   abord un corpus de billets de blogs  Dubreil et al    2008   Ces annotations ont ensuite servi de base pour la constitution d   un lexique   grammaire par l     quipe de Sinequa contenant 982 entr  es dont essentiellement des  adjectifs  493   des verbes  192   des noms  166  et des adverbes  60   Il s   agissait  d   un travail de synth  se des annotations du corpus et d   enrichissement pour   tendre  la couverture  Ce lexique d     valuations  dont quelques entr  es sont illustr  es dans le  tableau 1  est    la base des extractions des opinions dans les blogs par cat  gorisation  automatique  mises en   uvre par  Vernier et al   2009b   Il a   galement   t   le point  de d  part pour nos travaux d   analyse   motionnelle des conversations     Entr  e lexicale   valuation   exemple  th  matique dans laquelle  l     valuation a   t   exprim  e        bien s  r Accord d  saccord   accord total   adverbe  Bien s  r  soleil  autobronzants   Oui  bien s  r  Russie  d  mocratie   Opinion   conviction  bien s  r que  planche    d  couper le saucisson   Bien s  r que cela a   t   commandit    assassinat  Russie     bien s  r
21. icle  nous   valuons la d  gradation du syst  me de d  tection d   entit  s et proposons  une m  thode de mod  lisation de la conversation qui en tient compte     Apr  s un   tat de l   art sur la d  tection des expressions   valuatives dans les  conversations orales  nous situons le cadre th  orique choisi et le lexique pr  existant   Ensuite  nous passons en revue l   ensemble des entit  s que nous d  tectons  Nous    valuons alors l   influence des erreurs de transcription sur les entit  s que nous  extrayons  et exposons la m  thode que nous mettons en   uvre pour pallier le  nombre   lev   d   extractions non pertinentes dues aux erreurs de transcription  Avant  de conclure nous donnons quelques exemples de conversations et leur visualisation  sur un graphe projet   sur deux   chelles diff  rentes   le tour de parole et le temps     2  L analyse des sentiments    Les travaux en analyse des sentiments connaissent leur essor au d  but des  ann  es 2000 avec un grand nombre d   articles publi  s sur ce sujet  Cette floraison  d   activit   est directement li  e    l   av  nement du Web 2 0   d  sormais les internautes  ont la possibilit   d   exprimer en quelques lignes leur opinion sur des produits  des  films  etc  sur le site de l     diteur ou du comparateur  Ils   crivent des   valuations qui  sont en g  n  ral courtes et leur attribuent des annotations comme une note  par  exemple   3 5  ou un nombre d     toiles  Cela fait de ces pages des corpus parfaits  pour g  n 
22. ins prononc  es et les neutres obtiennent un score de 1  alors que celles qui se  trouvent aux extr  mit  s de la polarit   positif n  gatif obtiennent un score de 2  Ces  scores sont multipli  s par deux si l   expression est consid  r  e comme   motive  Cette  attribution de poids est illustr  e dans le tableau 6        146 TAL  Volume 51     n   3 2010    Poids non Poids    nee   motif   motif   Favorable positive 2 4   Appr  ciation  D  favorable n  gative 2 4  Acceptation positive 2 4   Acceptation refus   Refus n  gative 2 4  Accord total positive 2 4  Accord d  saccor Accord approx  positive 1 2  d Rectificatif n  gative 1 2  D  saccord n  gative 2 4  Opinion  tous  neutre 1 2  Positif positive 2 4   Surprise  N  gatif n  gative 2 4    Tableau 6  Poids d intensit   et polarit  s assign  s aux types d   entit  s    Chaque tour de parole obtient un score de polarit  s positif et n  gatif  gr  ce    la  somme des poids d   intensit   des entit  s rencontr  es  Les poids d   intensit   des  entit  s neutres sont alors ajout  s au plus haut score entre les scores de polarit  s  positive et n  gative  De cette fa  on  la densit   locale des modalit  s exprim  es  renforce la polarit   du tour de parole     Nous illustrons ce calcul en l    appliquant sur l   exemple de la figure 2  dans lequel  nous avons mis en gras les entit  s d  tect  es              bon je vous emb  te parce que c   est bien pour rien mais quand  m  me c   est scandaleux suppression de de consid  rer ge
23. jectifs  Cette th  orie a   t   mise en pratique dans   Whitelaw et al   2005   Bloom et al   2007a   Bloom et al   2007b   La seconde  th  orie est celle des   tats mentaux  Private States Theory   mise au point par Quirk  etal   1995   Les   tats mentaux recouvrent les opinions  les croyances  les  jugements  l     valuation  les pens  es et les sentiments  Cette th  orie a   t   mise en  pratique dans  Wiebe et al   2005   Breck et al   2007   Somasundaran et al   2006    avec de l  g  res adaptations     Mod  lisation du d  roulement de conversations t  l  phoniques 135    Le cadre th  orique choisi pour l   annotation dans Blogoscopie  s   inspire  n  anmoins directement de  Charaudeau  1992   dont la th  orie se situe dans la  lign  e des th  ories de l     nonciation  r  f  rant notamment     Benveniste  1970   Ce  cadre a   t   mis au point pr  c  demment sur des critiques de film dans  Charaudeau   1988   Sur les douze types de modalit  s que propose Charaudeau  1992  et qui  fa  onnent le discours  cinq expriment une   valuation  Une opinion est exprim  e  lorsque le locuteur   value la v  rit   de son propos et r  v  le son point de vue   L   appr  ciation pr  suppose un fait sur lequel le locuteur donne son sentiment  donc  une valeur affective  L   accord d  saccord pr  suppose un message adress   au  locuteur qui demande son adh  sion  que le locuteur confirme ou non   L   acceptation refus pr  suppose une demande d   accomplissement d   un acte auquel le  locut
24. llers et Vasilescu  2004  combinent les indices lexicaux  dialogiques  et prosodiques dans un corpus de 5 000 tours de parole s  lectionn  s dans des appels  d   un centre de transactions boursi  res  Chaque tour de parole est annot   avec une    motion   col  re  peur  neutre  satisfaction  excuse  L   annotation des   motions est  faite par un groupe de quarante personnes  dont seulement la moiti   a acc  s aux  fichiers audio  Elle b  n  ficie d   un taux d   accord de 55   entre les deux groupes   montrant ainsi l importance des indices lexicaux  Avec les indices lexicaux  les  auteurs obtiennent un taux de d  tection des   motions de 70   pour les cinq    motions  et 85   si on r  duit les   motions    positif et n  gatif     Nos travaux visent    mod  liser le d  roulement   motionnel d   une conversation en  s   appuyant sur les expressions utilis  es par les interlocuteurs tout au long de la  conversation  Nous nous appuyons sur toutes les expressions indiquant des    motions ou des opinions  car elles nous donnent une indication sur le sentiment des  interlocuteurs  Le sentiment est ensuite exprim   sous la forme d   une polarit    positive et n  gative     Les corpus que nous avons    notre disposition ont des tailles bien sup  rieures     ceux de l     tat de l   art  350 heures et 1 000 heures ont   t   enregistr  es dans les  centres d   appels d EDF et transcrites dans le cadre des projets Infom gic ST2 31 et  VoxFactory  en utilisant les technologies issues du 
25. nication  37 1 2   2002  p  89 108     Gauvain  J  L   Adda G   Lamel L   Lef  vre F   Schwenk H      Transcription de la parole  conversationnelle     Traitement automatique des langues  vol  45 3  Lavoisier  Paris   2004  p  35 47     Mod  lisation du d  roulement de conversations t  l  phoniques 153    Garnier Rizet M   Adda G   Cailliau F   Guillemin Lanne S   Waast Richard C      CallSurf    Automatic transcription  indexing and structuration of call center conversational speech  for knowledge extraction and query by content     Proceedings of LREC 2008  Marrakech   2008     Garnier Rizet M   Cailliau F   Guillemin Lanne S      Search by Content  Navigation and  Knowledge Extraction on Call Center Conversational Speech  for Marketing and  Strategic Intelligence     Proceedings of RIAO  Paris  2010     Halliday M   Introduction to Functional Grammar  Edward Arnold  second edition  1994     Hollard S   Tomokiyo M   Tufelli D      Une Approche de l   expression orale des   motions      tude d   un corpus r  el     actes des quatri  mes Journ  es de la Linguistique de Corpus   Lorient  2005     Jakobson R      Linguistique et po  tique     Essais de linguistique g  n  rale  Paris    ditions de  Minuit  1963  p  215 217     Martin J R   White P R R   The Language of Evaluation  Appraisal in English  London  amp   New York  Palgrave Macmillan  2005     Pang B   Lee L   Vaithyanathan S      Thumbs up     sentiment classification using machine  learning techniques     Proceeding
26. ns moi je  suis d  sol   il y a des gens qui                   Figure 2  Extrait d   un tour de parole  client     Le d  tail de la d  tection d   entit  s est donn   dans le tableau 7  Le nom de chaque  entit   est sp  cifi    avec sa polarit   et son poids d   intensit    Les poids d   intensit      Mod  lisation du d  roulement de conversations t  l  phoniques 147    sont additionn  s et donnent un score de polarit   n  gative de 19  auquel on a ajout    le score de polarit   neutre de 1  puisque le score de polarit   positive est de 0  Le  patron d  sol   fait en effet partie de deux grammaires et compte deux fois dans le  calcul     Patron Entit   Polarit   Intensit      emb  te Appr  ciation   d  favorable    motif n  gative 4  quand m  me  Accord d  saccord   rectificatif n  gative 2  scandaleux Appr  ciation   d  favorable    motif n  gative 4  suppression Appr  ciation   d  favorable n  gative 2  consid  rer Opinion   supposition certitude forte neutre 1  d  sol   Appr  ciation   d  favorable    motif n  gative 4  d  sol   Acceptation refus   refus n  gative 2       Tableau 7  Entit  s reconnues dans l   exemple de la figure 2    Pour adoucir l    impact des d  tections isol  es et pour passer du tour de parole au  passage  nous prenons la moyenne sur une fen  tre glissante  selon la formule  donn  e en  4      1 p L  Les 1221 LY  4     i p L    Ce calcul a l   effet d   un filtre passe bas   il att  nue les valeurs   lev  es tout en  r  duisant fortement le bruit ca
27. ond    Bien entendu      cet accord total ne sera pas marqu     motivement  L   accord approximatif est  reconnu dans des phrases comme    Je comprends        dans laquelle le locuteur  s   implique   motivement  sans pour autant vouloir mettre autant d   enthousiasme  dans sa r  ponse que dans le cas de l   accord total   motif  Avec    Certes        le  locuteur ne s   implique pas   motivement  et exprime une certaine retenue  La  rectification s   exprime dans des phrases telles que   Je ne vous dis pas le  contraire      dans le cas o   le locuteur s   implique   motivement  ou    Tout de  m  me      dans le cas inverse  Dans ces deux derni  res phrases  le locuteur ne peut  se satisfaire des propos tenus par son interlocuteur et s   appr  te 4 y apporter une  rectification  Enfin  le d  saccord est identifiable sous sa forme   motivement  marqu  e dans une phrase comme    C   est vraiment n   importe quoi    et sous sa  forme neutre    C   est pas coh  rent ce que vous me dites        3 4 Opinion    L   opinion d  signe ici le degr   de certitude du locuteur  Celle ci se pr  sente donc  sous la forme d   une gradation qui va de la conviction  qui exprime une certitude  absolue du locuteur  au doute qui  au del   de l   absence de certitude  va jusqu       mettre en doute la v  racit   d   un fait  Dans    Je vous garantis que je l   ai fait     le  locuteur exprime sa conviction  dans le but de convaincre son interlocuteur  et  s   implique   motivement  contrairement  
28. ressions in oral dialogues    towards an extension of Universal Networking Language     Jestis Cardefiosa  Alexander  Gelbukh  Edmundo Tovar  eds     Universal Networking Language   advances in theory  and applications  Mexico City  2005     154 TAL  Volume 51     n   3 2010    Torres Moreno J M   El B  ze M   B  chet F   Camelin N     Comment faire pour que  l   opinion forg  e    la sortie des urnes soit la bonne   Application au d  fi DEFT 2007      actes de Il    atelier de cl  ture du 3   DEfi Fouille de Textes  DEFT 2007  AFIA  2007     Turney P  D      Thumbs up or thumbs down     semantic orientation applied to unsupervised  classification of reviews      Proceedings of the 40th Annual Meeting on Association for  Computational Linguistics  Morristown  NJ  2002  p  417 424     Turney P  D   Littman  M  L      Measuring praise and criticism  Inference of semantic  orientation from association     ACM Trans  Inf  Syst  21  4  Oct   2003  p  315 346     Vaudable C   Rollet N   Devillers L      Annotation of affective interaction in real life dialogs  collected in a call center    Third International Workshop on EMOTION  LREC  Workshop  Malta  2010     Vernier M   Monceau L   Daille B      DEFT   09   d  tection de la subjectivit   et cat  gorisation  de textes subjectifs par une approche mixte symbolique et statistique     Actes de l   atelier  de cl  ture du 3   DEfi Fouille de Textes  DEFT 2009  Limsi  2009a     Vernier M   Monceaux L   Daille B   Dubreil E      Cat  go
29. riptions d   missions de radio  Cailliau et Loupy  2007  ont constat   une  d  gradation significative mais acceptable des groupes nominaux extraits pour la  navigation  portant le nombre de groupes nominaux mal form  s de 5      10    Le  taux d   erreur de transcription des mots  WER  est n  anmoins bien plus   lev   sur les  conversations que sur les   missions de radio  Le WER sur ces   missions est de  moins de 20    Gauvain et al   2002  et atteignait m  me les 11 9   lors de la  campagne ESTER  Galliano et al   2005      L adaptation du m  me syst  me au traitement de la parole conversationnelle a  permis de r  duire un taux d   erreur initial de 51      21   avec un temps de 18 9 fois  le temps de signal  Gauvain et al   2004   Or  d   apr  s les r  sultats d   un test  ind  pendant sur 10 heures de conversations t  l  phoniques semblables aux n  tres    c   est    dire provenant d   un centre d   appels EDF  le taux d   erreur varie de 27      1  Le projet VoxFactory  labellis   par le p  le de comp  titivit   Cap Digital  est financ   par le  FUI6   2  Fait lors d   Infom  gic ST2 31sur un sous ensemble des donn  es du projet     Mod  lisation du d  roulement de conversations t  l  phoniques 133    pour les t  l  conseillers    33   pour les clients  Si l   on peut esp  rer des progr  s dans  la transcription de ce type de donn  es dans les ann  es    venir  les erreurs de  transcription poseront toujours un d  fi pour l   extraction des connaissances  Dans cet  art
30. risation des   valuations dans un  corpus de blogs multi domaine     Revue des Nouvelles Technologies de l Information   RNTI   RNTI E 17  p  45 70   2009b     Whitelaw C   Garg  N   Argamon  S      Using appraisal groups for sentiment analysis      Proceedings of the 14th ACM international Conference on information and Knowledge  Management  CIKM  05   ACM  New York  NY  2005  p  625 631     Wiebe J      Learning Subjective Adjectives from Corpora     Proceedings of the Seventeenth  National Conference on Artificial Intelligence and Twelfth Conference on innovative  Applications of Artificial intelligence  AAAI IAAI   AAAI Press  2000  pp  735 740     Wiebe J   Wilson T   Cardie C      Annotating expressions of opinions and emotions in  language     Language Resources and Evaluation  vol  39 2 3  2005  p  165 210     Wiebe J   Riloff  E     Creating Subjective and Objective Sentence Classifiers from  Unannotated Texts     Proceedings of the 6th International Conference on Computational  Linguistics and Intelligent Text Processing  CICLing 05   Invited Paper  Springer LNCS  vol  3406  2005  Springer Verlag     
31. rise au sein d   une m  me conversation  Ces appels non  prototypiques traduisent g  n  ralement d   un certain d  s  quilibre entre les  interlocuteurs dont les r  les    informateur    et    inform      sont   chang  s  Ainsi   bien que la surprise ne soit pas originellement une modalit     valuative  nous l   avons  ajout  e    la liste des types d   entit  s extraites  Le mot      tonnant    revient assez  souvent     Deux types d   entit  s n   ont pas d   entr  es lexicales correspondantes pour l   instant   Notre liste se veut homog  ne et sym  trique  mais dans les faits  une simple  reconnaissance lexicale ne suffit pas toujours    reconna  tre toutes les   motions  Par  exemple  l   acceptation   motive dans acceptation refus pourrait   tre exprim  e par un     oui    tr  s accentu   sur le plan prosodique  Cependant  l   insertion de ce mot dans  le lexique sans tenir compte de la prosodie engendrerait trop de bruit   il rel  ve tr  s  souvent de la fonction phatique du langage  Jakobson  1963   et sert donc  uniquement    valider le fait qu   un message est correctement parvenu    son  destinataire     Mod  lisation du d  roulement de conversations t  l  phoniques 139    Nous avons construit une grammaire d   extraction pour chaque type d   entit  s  La  technologie utilis  e est propre    Sinequa et s   appelle TMA  Text Mining Agent    Elle permet d   exprimer des patrons textuels avec des crit  res multiniveaux   expressions r  guli  res  lemmes  cat  gories gr
32. rticipants de DEFT 2007 ont    134 TAL  Volume 51     n   3 2010    travaill   sur quatre types de textes   critiques de spectacles  tests de jeux  relectures  d   articles scientifiques et d  bats sur des textes de loi  Les textes de ces corpus ont    t   annot  s avec des valeurs d   opinion  L     quipe du LIA   tait class  e premi  re a  DEFT 2007 avec un syst  me fusionnant les r  sultats de plusieurs classifieurs   Torres Moreno etal   2007   En 2009 il s   agissait de classifier des articles de  journaux selon leur subjectivit   et de d  tecter des passages subjectifs dans les  documents  La premi  re t  che a   t   gagn  e par l     quipe de l   UCL  Bestgen et  Lories  2009  avec un classifieur SVM  la seconde par le LINA  Vernier et al    2009a  avec une approche mixte symbolique et statistique     Pour une vue d   ensemble sur le domaine de l   analyse des sentiments  Pang et  Lee  2008  et Tang et al   2009  donnent une synth  se compl  te de son  d  veloppement  Ils font   galement   tat des autres probl  mes    surmonter comme par  exemple la distinction entre   nonc  s subjectifs et objectifs  Pang et Lee  2004      Une caract  ristique des m  thodes d   apprentissage est que les mod  les qu   elles  engendrent sont tr  s li  s    leurs corpus d   entrainement  et plus particuli  rement     leurs domaines  Certains travaux comme  Pang et al   2002  indiquent que la  constitution automatique des indices lexicaux donne de meilleurs r  sultats qu   en  utilisant d
33. s of the Acl 02 Conference on Empirical Methods in  Natural Language Processing  vol  10  Morristown  NJ  2002  p  79 86     Pang B   Lee L     A Sentiment Education  Sentiment Analysis Using Subjectivity  Summarization Based on Minimum Cut     Proceedings of ACL  2004  p  271 278     Pang B   Lee L      Opinion Mining and Sentiment Analysis      Found  Trends Inf  Retr  2  1   2  Jan  2008   2008  p  1 135     Paumier S   Manuel d utilisation d   Unitex  Universit   de Marne la Vall  e  2002     Quirk R   Greenbaum S   Leech G   Svartvik J   A comprehensive grammar of the English  language  Harlow   Longman  1985  p  1779     Riloff E   Wiebe J      Learning extraction patterns for subjective expressions     Proceedings  of the 2003 Conference on Empirical Methods in Natural Language Processing  vol  10   Theoretical Issues In Natural Language Processing  ACL  Morristown  NJ  2003  p  105   112     Silberztein  M   Dictionnaires   lectroniques et analyse automatique de textes   le syst  me  INTEX  Masson  Paris  1993     Somasundaran S   Wiebe J   Hoffmann P   Litman D      Manual annotation of opinion  categories in meetings     Proceedings of the Workshop on Frontiers in Linguistically  Annotated Corpora 2006  ACL Workshops  ACL  Morristown  NJ  2006  p  54 61     Tang H   Tan S   Cheng X      A survey on sentiment detection of reviews     Expert Systems  with Applications  vol  36 7  2009  p  10760 10773     Tomokiyo M   Chollet G   Hollard S      Studies of emotional exp
34. s performances de la  d  tection des entit  s  agissant    la fois sur le rappel et sur la pr  cision     La baisse du rappel indique que la transcription automatique contient moins  d   entit  s que la r  f  rence  L   origine de cette baisse vient du fait que la transcription  a remplac   des mots qui correspondaient    un patron    extraire par des mots qui ne  correspondaient pas    ce patron  Nous donnons quelques exemples de ce  ph  nom  ne dans le tableau 3     Phrase de r  f  rence Transcription automatique  tout    fait tout   a c   est   C   est d  bile d  bile d  bile c   est des billes d  lit d  bit    votre recouvrement de merde votre recouvrement de mais      a m a co  t   deux cents euros ces   a m a co  t   deux cents euros  conneries   conomique    vous les avez envoy   chier vous qui est d   abord oui j   ai    Tableau 3  Exemples d   entit  s non rep  r  es    cause d   une erreur de transcription    La baisse de la pr  cision indique qu   une partie des entit  s reconnues dans les  transcriptions automatiques le sont    tort  La transcription a donc remplac   du texte    qui ne contenait pas de patrons    extraire par du texte qui en contenait  Nous  donnons quelques exemples de ce ph  nom  ne dans le tableau 4     144 TAL  Volume 51     n   3 2010    Phrase de r  f  rence Transcription automatique       l installation   lectrique est aux normes l installation   lectrique   tonnant    la l     a y est maintenant moi je vous la place et malheureusement je m
35. sis on speech transcripts is less reliable because of the unavoidable mistakes  made by the automatic transcription  We evaluate the degradation in terms of precision and  recall on a manually annotated corpus  To counter it  we defined a great number of  evaluative and modality entities to be extracted  and weighted them on intensity  When  counting the polarity score for each speech turn  neutral entities are counted with the entities  having a strong polarity  For each speech turn  the highest score is taken  This way of  processing allows us to represent the emotional course of the conversation by positive and  negative curves     MOTS CLES   analyse des sentiments  parole conversationnelle  d  tection des modalit  s  fouille  de texte     KEYWORDS  sentiment analysis  conversational speech  modality detection  text mining        TAL  Volume 51     n   3 2010  pages 131    154    132 TAL  Volume 51     n   3 2010    1  Introduction    De nos jours  les centres d   appels sont devenus une interface importante entre le  client et l   entreprise  Les grandes quantit  s d   informations qu   ils v  hiculent  int  ressent en premier lieu les d  partements commerciaux et marketing  Soucieuses  d   am  liorer la relation avec le client  les entreprises s   int  ressent   galement au  contenu   motionnel de ces conversations  Dans le cadre du projet VoxFactory    nous d  veloppons une m  thode pour s  lectionner les conversations pr  sentant un  int  r  t pour une analyse humaine
36. tiques    des textes plurith  matiques tels les billets de blogs g  n  ralistes   On cherche   galement    distinguer les passages objectifs des passages subjectifs      identifier l   objet de l     valuation et son   metteur     r  sumer et    visualiser les  r  sultats  Pour nos travaux  le type de textes   tudi   nous simplifie  en quelque sorte   la t  che  En effet  nous restons dans un seul et m  me domaine  Le vocabulaire des  conversations n   est pas tr  s diversifi    et les interlocuteurs sont les   metteurs des    Mod  lisation du d  roulement de conversations t  l  phoniques 137    messages  Les erreurs faites par la transcription automatique ajoutent n  anmoins  une difficult   bien particuli  re     Les travaux d   analyse des sentiments sur de la parole conversationnelle ne sont  pas nombreux  C   est souvent le corpus qui fait d  faut comme le signale    juste titre  l appel    contributions du troisi  me workshop EMOTION     LREC 2010  la  plupart des corpus auraient une dur  e de moins de 30 minutes et leur annotation ne  serait pas optimale  Dans ce domaine  Hollard et al   2005  et Tomokiyo et al     2005  ont pu travailler sur un corpus d   enregistrements de messages laiss  s sur le  r  pondeur de l   assistance informatique d   un h  pital public  Le corpus correspond     5h30 de parole  Les auteurs ont   tudi   les marqueurs lexicaux et phonologiques   ton  d  bit  et  d   apr  s leurs observations  les deux types ne correspondent pas  toujours  Devi
37. tive du locuteur face 4 ce fait nouveau  comme dans  l   exemple   motivement marqu      Bingo     ou non marqu     En voila une  surprise       Au contraire  la surprise n  gative indique une r  action n  gative du  locuteur face    ce fait nouveau  comme dans l   exemple   motif    A  e       ou dans  l   exemple non   motivement marqu      Il y a une anomalie      Enfin  la surprise peut  d  clencher une r  action chez le locuteur  mais le terme ou l   expression utilis  s ne  permettent pas de d  terminer si cette r  action est positive ou n  gative  C   est par  exemple le cas quand un locuteur prononce la phrase    J   en reste baba      dans  laquelle il s   implique   motivement  ou      a c   est   tonnant       dans laquelle il ne  s   implique pas  Nous avons nomm   ce sous type la surprise neutre     4  Evaluation de la d  gradation de la d  tection des entit  s    Pour   valuer l   impact des erreurs de la transcription automatique sur la d  tection  des entit  s   valuatives  nous avons pris douze conversations que nous avions  s  lectionn  es au cours de la d  couverte du corpus parce qu   elles concentrent un  nombre   lev   de ces entit  s     Les douze conversations repr  sentent presque 3 heures de parole  Comme le  signal des vingt premi  res secondes de chaque conversation a   t   anonymis   pour  des raisons de confidentialit    nous ne les avons pas prises en compte dans cette    valuation  Cela porte le nombre de mots total de ce corpus d     valuation
38. uiti  me tour de parole la t  l  conseill  re  appelle un tiers  professionnel   galement  pour v  rifier les propos de la cliente  Les  sept tours de parole suivants  au cours desquels aucune entit   n  gative n   est  d  tect  e  repr  sentent la prise de contact avec le tiers  Cette conversation dure  jusqu      ce que l   enregistrement soit coup    Pendant toute la conversation  la  t  l  conseill  re est rest  e calme               positif n  gatif    Score de polarit    On BD Ow    1 6 11  16 21 26 31 36 41 46    51    Tour de parole       Score de polarit      1 61 121 181 241 301 361 421 481 541    Temps en secondes       Figure 3   D  roulement   motionnel d   une conversation  sur   chelles de tour de  parole et de temps  exemple 2     Mod  lisation du d  roulement de conversations t  l  phoniques 149    L   appel de l   exemple 3  figure 4  provient d   une cliente dont le fils a rat   le  rendez vous avec le technicien  La conversation dure un peu moins de 30 minutes   La majeure partie de la communication se passe entre des t  l  conseill  res afin de  fixer un rendez vous  avec quelques courts allers retours avec la cliente pour lui  proposer des cr  neaux horaires  Celle ci parle d   un ton exc  d   tout au long de la  conversation  mais son temps de parole limit   n   a pas permis de faire   merger des  passages m  me si son vocabulaire   tait tr  s n  gatif      arnaque        insupportable         trucs de fou        soci  t   de fou        inadmissible    
39. us   par des valeurs basses  Nous l   appliquons sur une  fen  tre de cinq tours de parole  donc la demi longueur L de la fen  tre est   gale    2   ce qui est la meilleure valeur d   apr  s nos observations  Ce calcul permet de  visualiser le d  roulement   motionnel de la conversation sous forme de courbes  positive et n  gative     Afin d   obtenir une meilleure vision du d  roulement de la conversation  nous  avons projet   cette repr  sentation sur une   chelle temporelle  gr  ce au minutage des  tours de parole dont nous disposions dans les transcriptions automatiques     Les deux types de courbes  sur   chelle du tour de parole et sur   chelle  temporelle  sont illustr  s ci dessous     148 TAL  Volume 51     n   3 2010    5 2 Exemples    Nous avons s  lectionn   les exemples 2 et 3 de notre corpus annot   pour illustrer  notre mod  lisation  L   exemple 2  figure 3  est une conversation qui est tr  s    motionnelle au d  but et qui se normalise en diff  rentes   tapes  Elle dure environ  10 minutes  Elle commence par une cliente tr  s   nerv  e  qui m  ne un   change tr  s  d  s  quilibr   avec la t  l  conseill  re  Celle ci reste tr  s calme et pos  e  en d  pit de  l   agressivit   subie  Au douzi  me tour de parole  la cliente passe le combin      une  personne de son entourage  Elle est un peu moins agressive mais la situation reste  tendue  Elle emploie des expressions comme    pas normal        pas logique     Cette  personne se calme peu    peu  et au trente h
40. uvent   tre rep  r  es par deux autres heuristiques que nous  exp  rimentons   galement  La premi  re rep  re une courbe n  gative qui est  relativement haute sur toute la conversation  sur un certain pourcentage  par  exemple un tiers  de la conversation  le score de polarit   d  passe un seuil    d  finir   La seconde heuristique exploite la fr  quence relative des expressions   motives dans  les conversations   au dela d   un certain seuil  la fr  quence d   expressions   motives  d  note la pr  sence d   une   motivit   sup  rieure    la normale     Ces trois m  thodes restent      valuer plus pr  cis  ment  mais sont  compl  mentaires pour s  lectionner diff  rents types de conversations  probl  matiques   celles contenant un pic d   activit     motionnelle et celles dont  l   activit     motionnelle est importante mais r  partie sur l   ensemble de la  conversation     6  Conclusion et perspectives    Si les m  thodes de traitement de l     crit s   adaptent bien au traitement de l   oral   certains types de donn  es posent un vrai d  fi  Dans cet article  nous avons   valu   la  d  gradation que subit un syst  me de d  tection d   entit  s quand il est confront      des  transcriptions automatiques de conversations  Nous avons ensuite propos   une  m  thode d   exploitation des entit  s qui visualise le d  roulement   motionnel d   une  conversation tout en int  grant activement cette d  gradation  Les entit  s   valuatives  que nous d  tectons sont des modalit  s qui 
    
Download Pdf Manuals
 
 
    
Related Search
    
Related Contents
Nord Stage EX ユーザー・マニュアル  Samsung 721S Инструкция по использованию  Owner`s Manual - B&W Group North America Service & Support  LE DÉPARTEMENT FAIT LE PRINTEMPS ! ET AUSSI  Lifetime 60053 Instructions / Assembly  Operating Instructions  CyberView X - SF USER INTERFACE  ステンレス製 ジェットスイファン 取扱説明書  APC NetShelter VS 42U Enclosure w/Sides Black    Copyright © All rights reserved. 
   Failed to retrieve file