Home

L`indexation multimédia

Contents

1. SAU 85 SAUSSUREF Cours de linguistique g n rale Payot Paris 1985 8 Ces tudes ont eu le support de la R gion Rh ne Alpes projet SHIVA de type Emergence Nous remercions galement Brigitte Meillon pour le d veloppement des logiciels de capture et de mesure oculaires ainsi que Michel Nicola qui a contribu une partie des analyses et des r sultats dans le cadre de son DEA en sciences cognitives Pour plus de d tails sur les travaux de S Hollard B Meillon et M Nicola voir le site web du laboratoire Clips http www clips imag fr
2. cran de t l vision le papier du livre un haut parleur etc La forme physique d appropriation du document Le support physique pr sente le contenu Pour cela ce dernier doit tre pr sent dans une forme physique compatible avec le support physique pour que le contenu puisse tre appr hend par l utilisateur Par exemple partir du signal magn tique forme d enregistrement de la cassette vid o support d enregistrement la t l vision support d appropriation reconstruit un signal visuel les points de couleurs de l cran regard par le spectateur La forme s miotique d appropriation du document La repr sentation affich e sur le support d appropriation respecte une structure ou une forme telle qu elle est directement intelligible par l utilisateur Cette forme est donc la forme d appropriation permettant un utilisateur de s approprier le contenu La forme d appropriation correspond une forme directement interpr table par un utilisateur dans la mesure o elle appartient un registre s miotique dont l utilisateur a d j fait l apprentissage culturel ou scolaire Lorsqu un document mobilise plusieurs formes s miotiques d appropriation on dira que le document est multim dia Par exemple l audiovisuel est multim dia car il mobilise l image la musique le bruit et la parole L image peut elle m me tre multim dia si elle comporte des textes et des structures iconiques
3. le mouvement mouvement de cam ra trajectoire analyse du mouvent dans l image etc la localisation en particulier une localisation spatiotemporelle permettant de d finir dans une s quence vid o un tube ou r gion spatio temporelle qui peut tre connexe ou non d ailleurs enfin la reconnaissance des visages Comme on le voit les sch mas pour la vid o sont essentiellement con us en fonction de l tat de l art de l extraction Autrement dit si MPEG 7 ne normalise pas les techniques d extraction il normalise la mani re de repr senter les r sultats de ces techniques On peut regretter que la normalisation ait t plus pilot e par ce que L indexation multim dia 167 l on sait faire que par ce qui est utile L hypoth se implicite est que l information extraite par les algorithmes d extraction est utile et qu il est inutile de rechercher ce qui est utile ind pendamment de savoir comment l extraire manuellement ou automatiquement car les algorithmes pourront terme tout extraire Cette hypoth se ne nous semble pas fond e car elle suppose pour tre v rifi e que l on sache combler le foss s mantique entre l information physique d un contenu vid o et l interpr tation conceptuelle qui en est faite ce qui n est pas envisageable pour le moment 5 5 4 Les sch mas pour le multim dia Cette derni re ensemble de sch mas est le plus riche et le plus complexe De
4. 144 Assistance intelligente la RI La modalit d appropriation La forme s miotique d appropriation s adresse une ou des modalit s perceptives Quand il y a plusieurs modalit s d appropriation le document est multimodal Par exemple l audiovisuel est multimodal car il s adresse la vue et l ou e Traditionnellement nous sommes habitu s au document textuel sur un support papier Ce type de document est bien qu il ait incarn longtemps ce qu il fallait comprendre par document particulier car dans ce cas support d enregistrement et support d appropriation sont confondus le support sur lequel on lit est celui que l on range et stocke les formes d enregistrement et d appropriation sont confondues ce que l on lit est bien ce que l on a inscrit sur le support Le document papier est devenu un cas particulier quand il a fallu envisager un autre type de document les documents temporels En effet il faut faire une importante distinction parmi les formes s miotiques d appropriation des documents les formes statiques et spatiales d appropriation les structures interpr tables sont pr sent es simultan ment l utilisateur L ordre et le rythme dans lequel se d roule la lecture ou la consultation sont laiss s la discr tion du lecteur utilisateur M me si la succession lin aire des caract res d un document papier sugg re un ordre canonique de lecture
5. L indexation permet d instrumenter des documents pour les exploiter dans le cadre de services et usages allant de la recherche d information la publication ditoriale en passant par la navigation et la consultation de bases documentaires Pour mieux appr hender la complexit inh rente de l indexation documentaire et des probl mes rencontr s quand on aborde des contenus multim dias il convient de s interroger sur la nature des documents et de leurs principales caract ristiques Etymologiquement document vient du latin doceo j enseigne Principalement destin fixer une information permettant de justifier un droit ou un contrat le document est originellement utilis dans un cadre juridique comme trace permettant d administrer une preuve A pr sent un document a une vocation plus large mais il conserve de ses origines la fonction d inscrire dans la permanence une information pour des consultations futures Mais il poss de d autres propri t s ou fonctions qu il nous faut d gager Risquons pour cela une d finition dont nous analyserons les composantes Un document c est un contenu institu par un acte de publication inscrit sur un support mat riel et poss dant une d limitation temporelle et spatiale Pr cisons pr sent Contenu Un contenu est une forme inscrite sur un support se pr tant une interpr tation travers laquelle elle fait sens pour quelqu un ou une communaut C
6. Elle est donc relative et amendable Au lieu de d crire une r alit intrins que au document qui lui est immanente elle apporte une interpr tation extrins que qui lui est transcendante Extrins que ne veut pas dire arbitraire gratuit ou al atoire l indexation est une interpr tation qui est motiv e par le document index fond e en lui mais sans avoir de rapport de n cessit logique ou d ductive avec lui 5 4 Indexation multim dia Le num rique permet d envisager des documents multim dias c est dire mobilisant des formes s miotiques d appropriation diff rentes Comme dans le cas du texte le num rique permet de consid rer autant d unit de s miotisation que n cessaire Le multim dia introduit deux innovations essentielles qui modifient consid rablement la probl matique de l indexation la prise en compte des objets temporels et des hyperdocuments 5 4 1 Les objets temporels Les objets temporels sont des contenus dont la forme s miotique de restitution est temporelle ou dynamique Ce sont par cons quent des objets qui prescrivent l ordre et le rythme de la lecture par apposition aux documents aux formes s miotiques de restitution spatiales qui n imposent ni ordre ni rythme de lecture Les objets temporels poss dent une dur e qui est constitutive il est impossible de les consid rer globalement dans un seul instant ce sont par essence des contenus pour L indexation multim dia 159
7. lesquels il faut du temps pour les consulter Les objets temporels posent classiquement de nombreux probl mes l indexation qui sont principalement li s leur temporalit et leur caract re non alphab tique Dans un contexte technologique num rique ces probl mes peuvent tre lev s mais de nombreux difficult s doivent alors tre r solues Dans un contexte analogique les syst mes de lecture sont des dispositifs physiques ayant pour fonction de restituer la forme temporelle du document partir de son enregistrement spatial cod Ces dispositifs sont d di s c est dire qu ils sont sp cialement con us pour reconstruire la lin arit temporelle de la lecture Cela a pour cons quence d interdire quasiment l acc s direct ou al atoire une partie quelconque du document ind pendamment du reste Quand quelques outils le permettent ils restent d un maniement malais et garantissent rarement l exactitude requise comme par exemple le magn toscope Par ailleurs la forme temporelle des documents ne se pr te pas une lecture rapide un feuilletage du document comme nous sommes accoutum s le faire pour les documents papiers L acc s l information doit donc passer soit par une lecture enti re du document jusqu ce que l on rencontre l information recherch e soit par son rep rage explicite permettant de la localiser sur l enregistrement pour y acc der directement Mais le rep rage explici
8. t d information et par ailleurs pour que le web soit autre chose qu un simple instrument de diffusion de contenus publi s ailleurs mais un lieu de publication original o l on trouve ce qui n existe pas ailleurs et par cons quent exigeant une m moire 5 4 3 Un cahier des charges pour l indexation multim dia Face ces transformations induites par le num rique et aux difficult s soulev es une indexation multim dia et hyperm dia doit par cons quent proposer des solutions aux diff rents probl mes suivants g rer des contenus poss dant diff rentes formes s miotiques en particulier les formes s miotiques temporelles permettre de repr senter une information qualifiant le contenu cette information peut tre de diff rents formats et niveaux d abstraction descripteurs linguistiques constituant des index descripteurs physiques descripteurs iconiques etc articuler l information qualifiant le contenu au contenu lui m me il doit tre possible de rep rer n importe quelle partie d un hyperm dia segment d un texte segment spatiotemporel d une vid o d un son fragment hyperm dia d un hyperm dia articuler la structure de l information d crite celle de l information d crivante comment articuler la structure de la description la structure spatiotemporelle d une vid o Ces points ne sont actuellement trait s par aucun outil ou formalisme Cepe
9. 3 Le syst me fonctionnel d une langue correspond l ensemble des morph mes munis de leur s mes inh rents RAS 94 Un morph me correspond la plus petite unit linguistique pourvue d une signification Les s mes correspondent aux traits de signification caract risant le signifi des morph mes le s m me obtenus par une analyse diff rentielle avec les autres morph mes voisins en langue Par exemple bistouri et scalpel se distinguent par le fait que le premier est pour les vivants et le second pour les morts Pour les morts et pour les vivants sont par cons quent des s mes ici inh rents car caract risant par d faut avant leur usage en contexte les morph mes en question 4 Il est d usage en linguistique depuis Beauz e notamment de distinguer le sens de la signification La signification correspond au sens id alis reconstruit par le linguiste abstrait partir des diff rents usages du terme Le sens correspond au sens en contexte L indexation multim dia 153 requ te on obtient des parties du document qui ont potentiellement un lien avec la requ te C est la base de la recherche en texte int gral Ce sch ma fondamental doit tre videmment am liorer pour pallier ses d ficiences bien connues puisqu un mot en contexte ne signifie pas toujours la m me chose que hors contexte en fait dans le contexte d une requ te on r cup re des segments sans lien avec la requ t
10. d autre part la nature et la valeur des unit s discr tes Par lieu direct il faut entendre deux choses d une part l interpr tation du document ne permet pas de d duire la nature et la valeur de l unit discr te d autre part l alt ration de l unit discr te n alt re pas l interpr tation du document Ainsi il n existe pas de liens r guliers et stabilis s m me arbitraires entre la forme discr tis e et son interpr tation Par exemple le pixel est une unit discr te poss dant un rapport arbitraire au sens de l image dont il fait partie En outre modifier un pixel dans une image n alt re pas significativement l image C est ainsi que les crans plasma tol rent jusqu 5 points d ficients avant que la garantie du constructeur ne s exerce on accepte donc que 5 pixels d ficients par image affich e ne peuvent alt rer significativement le contenu affich La num risation de la forme s miotique correspond au fait que les unit s discr tes obtenues entretiennent un lien avec l interpr tation du contenu Ce lien peut tre arbitraire au sens o le signifiant linguistique est arbitraire mais il est syst matique modifier une unit discr te modifie le sens Ainsi l alphabet et les caract res sont des unit s discr tes composant la forme crite Bien que poss dant un lien arbitraire au sens l alt ration d un caract re modifie le sens d un document Qui voudrait d un cra
11. du document C est le c l bre slogan metadata is data On conna t bien ce principe pr sent que les contenus num riques se r pandent l information documentaire pr sente sur la jaquette des CD musicaux est d sormais int gr e dans les DVD sans laquelle ils sont difficilement consultables Le format du DVD permet d int grer document et documentation En conclusion la principale innovation apport e par le num rique est un fait simple mais fondamental la coexistence sur un m me support du contenu et des informations documentaires Mais cette coexistence n implique pas une inclusion si les m tadonn es sont int gr es et align es au contenu elle ne sont pas incluses dans le contenu En effet dans un document temporel num rique les balises permettant de localiser un segment index ne sont plus dans le document lui m me ce qui permettait de d terminer implicitement que le segment textuel index par deux balises correspond au texte qu elles encadrent Du fait qu il s agit d un flux binaire temporel les informations documentaires engendr es par l indexation ne sont pas dans le document mais dans une notice ou une description mat rialis e en une structure num rique distincte du document index Il se pose alors le probl me de faire l articulation entre le document index et son indexation de mani re explicite et de permettre une localisation spatio temporelle des segments index s Cela entr
12. elle n est pas une condition n cessaire et incontournable de la lecture les formes temporelles et dynamiques d appropriation les structures interpr tables sont pr sent es successivement l utilisateur dans un ordre et selon un rythme impos l utilisateur par le document lui m me En particulier l ordre et le rythme constituent ce par quoi le document fait sens pour un utilisateur Acc der au sens du document temporel c est se conformer l ordre et au rythme du document Ce dernier cas correspond aux documents sonores et audiovisuels documents qui enregistrent un cours temporel pour le pr server et le restituer Ces documents rencontrent cependant la difficult suivante un support d enregistrement est n cessairement mat riel donc spatial Charg de pr server dans le temps le contenu il ne peut poss der l coulement du temps La forme d enregistrement est par cons quent spatiale la forme s miotique est temporelle c est dire que la temporalit fait partie intrins que du mode de signifiance du document qui doit par cons quent v hiculer par lui m me en lui m me la temporalit qui permet de restituer le contenu On en d duit que contrairement au document papier il ne peut y avoir identit entre le support d enregistrement et le support de restitution la forme d enregistrement et la forme s miotique d appropriation pour le document temporel L indexation
13. est donc une forme mat rielle interpr table C est d ailleurs pour cette raison que le terme de contenu sert parfois qualifier non pas la forme interpr table mais son sens c est dire le r sultat de son interpr tation Si l on parle de contenu la notion de contenant n est pas loin Le contenant sera dans ce contexte d une part tout ce qui permet de fixer ou r ifier en un format manipulable le contenu et d autre part les outils pour manipuler ce format et le produire le reproduire le transformer 142 Assistance intelligente la RI et le transmettre Par exemple un contenu pourra tre un texte crit en consid rant particuli rement la forme mat rielle des lettres de la mise en page et autres d terminations de ce qui fait sens Le contenant sera le papier l encre et les outils permettant d imprimer reproduire etc Acte de publication Une forme mat rielle interpr table est un document quand elle est mise disposition d un public m me potentiel par son auteur ou cr ateur Cette mise disposition institue la forme mat rielle comme tant une forme interpr table car manant d une intentionnalit D limitation spatiale Pour qu un contenu soit un document il doit tre possible de d terminer avec certitude o il commence o il finit ce qui lui appartient ou ce qui ne lui appartient pas Cette caract ristique est essentielle car elle constitue la possibilit de la lectu
14. la notion d sormais banale d hypertexte g n ralis e des documents quelconques Bien que les hyperdocuments existent depuis longtemps dans la tradition crite le num rique alt re sensiblement leur nature et par cons quent l indexation qui peut en tre faite lt titre gt le titre lt titre gt Al lt morceau anthologie gt l lt loctime gt 14 00 18 00 lt loctime gt Ba RSR AAC lt titre gt sc ne de la douche Atitre gt lt morceau anthologie gt lt auteur gt toto lt auteur gt lt sc ne gt c est une sc ne lt loctime gt 12 43 13 50 lt loctime gt lt sc ne gt Figure 5 5 Indexer un objet temporel l information documentaire n est pas dans le document et son organisation n est pas celle du document d crit l ordre de la description n est pas celui du d crit On a vu plus haut qu un document tait un contenu publi d limit spatialement et temporellement Or les hyperdocuments num riques que l on peut trouver sur le web en particulier ne v rifient aucune de ces propri t s un contenu sur le web ne poss de plus de d limitation spatiale les hyperliens interdisant de fixer une fronti re Quand on le fait c est que l on r plique sur le web des crit res documentaires h rit s du monde du papier et de l imprimerie un contenu sur le web ne poss de plus de d limitation temporelle puisque la publication est i
15. mas n appartenant pas la norme bien qu exprim s par son moyen rien ne garantit que les informations format es par ces sch mas puissent tre chang es et exploit es par d autres utilisateurs il faut pour cela d une part transmettre la structure du sch ma lui m me comme il faut communiquer la DTD pour analyser un document SGML ou XML et d autre part transmettre la s mantique de cette structure pour permettre son interpr tation En effet l int r t d utiliser les sch mas exprim s dans la norme est que leur s mantique est d finie dans les documents normatifs auxquels chacun a acc s Il est donc possible de r utiliser l information transmise dans le format MPEG 7 A pr sent nous donnons quelques exemples de sch mas de descriptions renvoyant le lecteur aux documents normatifs pour plus de d tails 5 5 2 Les sch mas pour le son Les sch mas pour l audio sont con us pour permettre d exprimer des informations sur le signal sonore telles que les outils actuels permettent de l extraire Ces sch mas portent sur les effets sonores 166 Assistance intelligente la RI la description du timbre des instruments Le timbre correspondant ce qui peut diff rer quand deux sons poss dent la m me hauteur et la m me intensit Le sch ma d crit les propri t s perceptuelles avec un nombre r duit de descripteurs comme richesse attaque etc la parole elle est d cr
16. matique de publication d un contenu partir de son enregistrement C est la raison pour laquelle l volution du document papier au document num rique a pour cons quence l volution d une indexation d volue la recherche d information une indexation con ue pour la publication lectronique Chapitre r dig par Bruno BACHIMONT 140 Assistance intelligente la RI l int gration de diff rents m dias sur un m me support jusqu au num rique chaque m dia tait confin sur un support d di sans avoir d interaction avec les autres m dias L audiovisuel enregistr sur un support magn tique la cassette vid o ou argentique le film n tait associ aucune autre information textuelle graphique etc R ciproquement un texte pouvait difficilement inclure des photos par exemple des pages de qualit diff rente au milieu d un livre et encore moins de l audiovisuel Le num rique permet chaque m dia de sortir de son splendide isolement Outre des probl mes techniques nouveaux cette nouvelle situation renvoie des difficult s fondamentales sur l criture et la lecture multim dias comment int grer diff rents m dias dans une criture pens e pour une lecture L indexation prend dans ce contexte le r le d une instrumentation pour la lecture l indexation ne sert pas tant retrouver de l information qu l organiser pour la lecture la num risation de
17. multim dia 145 Par cons quent il ne peut y avoir de document temporel qu partir du moment o l on dispose d un proc d permettant partir de l enregistrement de reproduire une forme temporelle Ce proc d doit tre un proc d m canique c est dire un proc d permettant de reconstruire un d roulement temporel partir d un ordonnancement statique et mat riel d l ments Ainsi le signal magn tique statique permet de piloter un magn toscope et une t l vision pour reconstruire une forme physique d appropriation laquelle fusionne une forme s miotique temporelle On doit par cons quent distinguer la forme d enregistrement du contenu car elle n est pas lisible comme telle elle est destin e non tre lue mais tre jou e par un m canisme qui va reconstruire la forme temporelle du document La forme d enregistrement n est donc accessible que par la m diation d un dispositif de lecture un player qui permet de d coder cette forme pour reconstruire le document Forme Forme d enregistrement d enregistrement codage codage N Support D d enregistrement Dispositif de reconstruction de la lecture Support de restitution Formes de restitution Formes de restitution Figure 5 1 Les dimensions documentaires La forme s miotique d appropriation est au contraire lisible sa finalit es
18. peut en d duire des cons quences confirm es par la pratique professionnelle L indexation n est pas universelle au sens o elle serait unique et valable une fois pour toute Comme toute interpr tation elle est situ e dans un contexte qui en 158 Assistance intelligente la RI fixe les limites de pertinence Il n y pas une objectivit documentaire permettant d tablir une indexation universelle mais des points de vue interpr tatifs plus ou moins stables et tablis L indexation n est pas d finitive cons quence du point pr c dent une indexation n est jamais termin e De la m me mani re qu il est toujours possible de reprendre une interpr tation de la modifier de la compl ter de la reformuler une indexation est toujours born e par un contexte et un acte interpr tatif finis et limit s L indexation h rite de l interpr tation son caract re holiste o le contexte global d termine le local Comme le souligne F Rastier RAS 94 d terminer la signifiance d un document c est dire ce qui fait signe et comment n est pas un donn du document mais le r sultat d une interpr tation L tablissement des signes est le r sultat et non la condition du parcours interpr tatif Par cons quent l indexation qui est une s miotisation n est pas un processus qui d crit ce qui est dans un document ou ce qui est donn avec lui mais une interpr tation qui ajoute et enrichit le document
19. pour leur associer une signification permettant de les retrouver et de les utiliser 5 3 3 Indexation trois types et trois aspects Il est temps pr sent de r sumer nos propos sur l indexation Depuis sa tradition documentaire sa mutation entra n e par le num rique on peut distinguer trois grands types d indexation l indexation conceptuelle le contenu est qualifi par un concept qui d crit ce dont il est question dans le document On dit en g n ral que l indexation conceptuelle est th matique Les concepts appartiennent des syst mes dont l organisation est plus ou moins explicites allant de simples index au sens de liste de termes des ontologies en passant par des th saurus ou des terminologies L organisation est toujours de nature linguistique ou logique elle ne traduit pas comment sont articul s les segments d crits par les concepts mais les relations logiques entre les concepts les indexant De nombreux travaux portent pr sent sur les possibilit s d utiliser les ressources de l intelligence artificielle et de la repr sentation connaissance pour profiter dans le cadre de l indexation des outils d inf rence l indexation structurelle les index ont pour fonction de d crire comment sont reli s entre eux les segments index s L indexation structurelle porte donc sur la mise en forme du document et sa structure Elle insiste particuli rement sur la mani re d articuler la q
20. sa lecture La recherche d information ne devient qu un cas particulier l une des t ches n cessaires pour publier et lire des contenus multim dias On comprendra par cons quent que l indexation multim dia est avant tout un probl me conceptuel avant de renvoyer des difficult s techniques C est pourquoi ce chapitre se concentre dans un premier temps b tir un cadre dans lequel poser les enjeux d une indexation multim dia Nous verrons ainsi successivement qu est ce qu un document Nous y d finissons les diff rents types de document et en particulier nous introduisons la notion de m tadonn e L indexation multim dia 141 qu est ce que l indexation Nous y d finirons les diff rents types d indexation savoir l indexation conceptuelle documentaire et par le contenu qu entra nent les possibilit s multim dias du num rique En particulier quelles sont les difficult s pos es par l indexation d un objet temporel d une image d un flux audiovisuel Quels sont les diff rents niveaux d indexation selon sa propre nature s miotique et celle du contenu index par exemple indexer un son par un son ou un mot Nous rassemblerons les conclusions auxquelles aboutissent ces consid rations conceptuelles dans une derni re partie consacr e l indexation audiovisuelle et multim dia telle qu elle est abord e dans des normes mergentes comme MPEG 7 5 2 Document
21. storyboard etc diffusion magazines de t l vision conducteurs etc conservation notice documentaire La documentation est donc clat e sur diff rents supports selon les diff rentes tapes de son cycle de vie Le num rique permet d une part d int grer le document et la documentation sur un m me support et d autre part de rassembler et d changer la documentation tout au long du cycle de vie Le contenu se construit s change se diffuse s archive en emmenant avec lui sa documentation qui s enrichit et s adapte en fonction de son cycle de vie Alignement de la documentation Dans un contexte analogique la documentation s par e du document est difficilement coupl e ce dernier comme on l a dit Cela implique en particulier que la structure de la documentation n est pas articul e la structure du document Dans le contexte num rique o document et documentation sont r unies les diff rentes parties de la documentation peuvent tre align es r f renc es sur des segments du document Int gration des documents et de la documentation La documentation int gr e et align e au document rassemble les informations permettant d acc der et d exploiter le contenu La documentation est par cons quent une condition sine qua non de l exploitabilit du contenu et ne peut en tre s par e L indexation multim dia 161 la documentation indissociable du contenu devient une partie
22. Ceci est un autre segment lt paragraphe gt encore un autre segment lt paragraphe gt lt chapitre gt Figure 5 2 Balises et d termination d unit s de manipulation Cette possibilit permet d envisager de manipuler directement le segment index travers la manipulation des balises associ es les balises pos es par l indexeur poss dent une syntaxe et une s mantique claires puisqu elles sont cr es par l indexeur en vue de l exploitation du contenu Par cons quent il est possible d extraire toutes les introductions d une collection pour constituer une anthologie simplement en rep rant les segments textuels compris dans chaque document entre 152 Assistance intelligente la RI la balise ouvrante lt introduction gt et la balise fermante lt introduction gt Par le jeu des balises toute unit de s miotisation peut devenir une unit de manipulation La documentation en son ensemble subit donc une volution fondamentale puisque la seule limite d sormais la pose d index r side dans la capacit rep rer des unit s de sens 5 3 2 2 Indexation par le contenu Si l informatisation permet de red finir volont les unit s de manipulation d un document et d articuler l indexation du contenu sur la structure documentaire de ce dernier l informatisation a ouvert d autres possibilit s qui ont renouvel galement les travaux sur l indexation En effet traditionnellemen
23. Chapitre 5 L indexation multim dia 5 1 Introduction L indexation est traditionnellement associ e la recherche d information dans la mesure o la pose d index permet d am liorer la recherche de documents r pondant une requ te donn e Les concepts et m thodes de l indexation se sont principalement constitu s dans un contexte o les documents textuels sur des supports de type papier sont pr dominants Sous l effet de la num risation des contenus et de l informatisation de leur exploitation le cadre conceptuel et m thodologique doit voluer profond ment pour affronter des probl mes in dits et tirer partie des nouvelles possibilit s offertes par le cadre technologique mergent Plusieurs faits sont l origine de ces mutations la d mat rialisation des contenus la notion classique de document s est labor dans un contexte o le support permettant d enregistrer et de conserver un contenu est le m me que celui qui permet de le restituer le papier que je lis est le m me que celui que je range Dans le contexte num rique de d mat rialisation des supports le support de conservation le disque dur n est pas celui qui permet de restituer le contenu l cran ou le papier imprim Entre les deux s est introduit la m diation d un dispositif reconstruisant le document lire partir du document enregistr Si bien qu au fondement m me du document num rique g t la probl
24. a ne quelques difficult s L ordre de la description ne co ncide pas n cessairement avec l ordre du d crit l ordre dans lequel se succ de les descriptions documentaires ne correspond pas n cessairement avec l ordre dans lequel se succ de les segments documentaires d crits Par exemple dans la figure suivante la description documentaire commence par la description d un morceau d anthologie qui succ de dans le document d crit des segments qui ne sont d crits qu apr s lui Par ailleurs il faut adopter des m thodes pour r f rencer le contenu tant dans l espace que dans le temps Pour toute indexation d un document temporel il faudra par cons quent adopter un format permettant d une part d exprimer une localisation et d autre part de l articuler effectivement au contenu Ce sera notamment repris par des normes comme MPEG 7 que nous pr senterons bri vement titre d exemple 7 On conna t ce ph nom ne dans le monde du texte En effet la table des mati res est avant une m tadonn e permettant de naviguer dans un contenu et de le consulter Cette information est tellement indispensable que tout ouvrage est muni d une table des mati res qui fait d sormais partie du contenu part enti re D ailleurs une table des mati res peut se lire pour retracer par exemple l argumentation de l auteur 162 Assistance intelligente la RI 5 4 2 Les hyperdocuments Par hyperdocument nous entendons
25. au sein duquel il doit localiser l information L unit de manipulation devient alors la page la structure du codex permet en effet un acc s direct acc s L indexation multim dia 149 al atoire une page donn e arbitrairement Le lecteur n a alors plus affaire un biblioth caire assurant la m diation entre sa recherche et le fonds disponible mais des outils de navigation et de consultation comme la table des mati res et les index En associant ces outils au livre ce dernier devient une base documentaire auto d crite Le lecteur peut alors assumer le double r le de biblioth caire et de lecteur 5 3 2 Les cons quences de l informatisation 5 3 2 1 Granularit et informatisation L indexation conna t une mutation profonde du fait de l informatisation massive des contenus Cette informatisation peut avoir une port e plus ou moins profonde ou engendrer plus ou moins de probl mes fondamentaux selon la mani re dont elle est men e Il faut distinguer deux approches la num risation de la forme physique d appropriation et la num risation de la forme s miotique d appropriation La num risation de la forme physique correspond au fait que la forme sous laquelle le contenu appara t est discr tis e Les unit s discr tes obtenues par la num risation sont arbitraires par rapport au sens v hicul par le document il n y a pas de lien de direct entre d une part l interpr tation du document et
26. dire MPEG 7 a donc pour ambition de permettre l change des m tadonn es mais non de prescrire leur nature A ce titre l objectif de MPEG 7 est fort proche de XML et on peut r sumer lapidairement MPEG 7 comme le XML pour l audiovisuel A ce titre MPEG 7 comme XML ne traite pas des points suivants MPEG 7 ne prescrit pas comment obtenir les m tadonn es MPEG 7 ne prescrit pas comment utiliser les m tadonn es MPEG 7 ne prescrit pas comment interpr ter les m tadonn es Exploitation de la description Production de la description Description standard Limite de la norme MPEG 7 Figure 5 6 Limite de la norme MPEG 7 Autrement dit MPEG 7 n est pas une norme pour les outils d extraction obtenir les m tadonn es pour les moteurs de recherche exploiter les m tadonn es pour les ontologies interpr ter les m tadonn es 5 5 1 Structures de MPEG 7 MPEG 7 propose plusieurs structures d information permettant d exprimer les descriptions Ces structures sont les suivantes les notions ou features qui correspondent tout ce que l on peut avoir besoin d exprimer pour d crire un contenu On pourra avoir ainsi besoin de la notion d auteur de plans de sc ne de segment etc pour exprimer une description les descripteurs ou descriptors qui correspondent la repr sentation formelle et informatique d une feature L indexation multim dia 165 l
27. e c est le bruit puisqu un mot peut avoir une signification exprim e par d autres expressions linguistiques on ne r cup re pas les segments contenant ces expressions alors qu il le faudrait c est le silence En voquant une indexation par le contenu on envisage ainsi deux choses le fait que l on dispose d une requ te sous la forme d un son ou d une image permet de retrouver des documents similaires au sens d une distance entre images ou sons il s agit alors d une recherche d information par similarit le fait que l on puisse indexer un contenu documentaire par des index de nature imag e ou sonore Nous argumentons que si le premier cas renvoie une possibilit effective mais peu utile la seconde est impossible Pour le dire en un slogan rapide les descripteurs de l indexation par le contenu ne sont pas des index au sens propre du terme Il n est donc pas correct de parler d indexation par le contenu mais simplement de recherche par similarit Pour le comprendre il faut revenir la nature s miotique de l image et du son En effet l interpr tation des images ne s effectue pas selon le m me r gime que l interpr tation linguistique Il convient par cons quent de pr ciser la nature s miotique des images pour mieux appr hender les difficult s inh rentes de son indexation Tr s grossi rement il convient de distinguer au moins trois registres s miotiques principau
28. ela est abondamment illustr par la production t l visuelle o de m mes images sont r utilis es dans des contextes diff rents et pour soutenir ou illustrer des significations diff rentes C est ainsi que l image utilis e pour montrer la pollution p troli re pendant la guerre du Golfe n tait pas une image film e lors de ce conflit mais l image d un cormoran mazout de la mar e noire provoqu e par le naufrage de l Amoco Cadiz dans les ann es 1970 Il en est tout autrement pour les concepts ceux ci s expriment par des mots emprunt s la langue et ils en h ritent les propri t s de syst maticit La langue comme syst me est une conception linguistique th oris e par Saussure dans son Cours de linguistique g n rale SAU 85 Saussure pose que chaque unit linguistique signifie en fonction des identit s et des diff rences qu elle entretient avec les autres unit s linguistiques en particulier celles qui lui sont les plus proches dans la langue La signification linguistique est donc diff rentielle c est la diff rence avec les voisins en langue qui constitue la signification d un terme Dans l int rieur d une m me langue tous les mots qui expriment des id es voisines se limitent r ciproquement des synonymes comme redouter craindre avoir peur n ont de valeur propre que par leur opposition si redouter n existait pas tout son contenu irait ses concurrents La langue se pr se
29. ent et ses propri t s Plusieurs dimensions permettent de d crire cette articulation L indexation multim dia 143 Le support d enregistrement du document Un document est l inscription mat rielle d un contenu Le support d enregistrement est par cons quent le support d inscription le support que l on charge de pr server et conserver le contenu inscrit Par exemple un livre a pour support d enregistrement le papier un document audiovisuel le support d une bande magn tique vid o ou le support d un film argentique le document num rique enfin la m moire adressable d un support informatique La forme d enregistrement Le support d inscription permet de consigner le contenu dans une certaine forme La forme d enregistrement est la forme sous laquelle le contenu est inscrit sur le support d enregistrement Pour un livre c est la typographie d un r pertoire alphab tique pour un document audiovisuel le signal magn tique sur le support vid o ou enfin le code num rique binaire des documents num riques Le support d appropriation du document Le document ne pr serve et ne conserve un contenu que pour le rendre accessible et public puisqu il r sulte d un acte de publication Un document doit par cons quent pouvoir tre lu consult visualis sur un support le permettant Ce support est celui o un utilisateur peut faire sien le contenu se l approprier Un support d appropriation est l
30. es sch mas de description ou schema description qui correspondent des structures articulant entre eux diff rents descripteurs et d autres sch mas de description D une certaine mani re le sch ma de description adapte au contexte de MPEG 7 la notion de DTD de XML ou de sch ma de XML schema un m talangage le DDL description definition language permettant de cr er des descripteurs et sch mas de description Le DDL est fond sur XML Schema qu il tend quelque peu On appelle description la m ta information cr e sur un contenu et exprim e en suivant la norme MPEG 7 MPEG 7 propose a priori des descripteurs et des sch mas de base permettant d exprimer de mani re standard l information documentaire D une certaine mani re MPEG 7 va au del de la simple sp cification d un m talangage en int grant dans la norme des structures de base formatant la description Pour reprendre un exemple issu du monde du texte MPEG 7 int gre XML et la TEI qui est comme on le sait une DTD propos e la communaut des chercheurs en sciences humaines pour exprimer et changer leurs corpus textuels Le c ur de MPEG 7 est donc constitu des diff rents sch mas de base propos s Ils se r partissent en fonction de la nature du m dia on compte donc les sch mas pour le son la vid o et le multim dia Il reste bien s r possible de d clarer de nouveaux sch mas en fonction de ses propres besoins mais ces nouveaux sch
31. exploit es pour tudier les objets audiovisuels STI 96 p 97 160 Assistance intelligente la RI Alors que le probl me cl de la num risation est la transformation du contenu en appliquant des techniques issus du traitement du signal reconnaissance des formes plus g n ralement de math matiques appliqu es celui de l informatisation est l change et la manipulation du contenu en appliquant des techniques issus du g nie documentaire g nie logiciel plus g n ralement de l informatique symbolique Pour la num risation le contenu est un objet physique la lumi re encod e dans les pixels une onde sonore que l on traite par des math matiques du continu op rationnalis es par le calcul num rique pour l informatisation le contenu est une information un objet informatique que l on traite par des processus symboliques C est essentiellement l informatisation qui modifie la perspective de l indexation pour les objets audiovisuels Ces modifications sont les suivantes Int gration de la documentation et de la cha ne documentaire La documentation dans un contexte analogique est n cessairement sur un autre support que l objet temporel dont le support est d di au codage de l enregistrement du contenu Par ailleurs l objet temporel tant un objet techniquement et ditorialement complexe se produit en plusieurs tapes distinctes poss dant chacune leur propre documentation production scripts
32. exploitables pour des buts donn s des contenus hyperm dias Plusieurs enjeux se dessinent ainsi que quelques verrous lever L inter changeabilit des donn es et des m tadonn es L informatisation des contenus permet d envisager l int gration des outils et informations participant aux diff rentes tapes du cycle de vie des contenus Fluidifiant la cha ne de production diffusion conservation des contenus l change des informations documentaires permet d int grer chaque tape du cycle de vie les connaissances et informations engendr es lors des autres tapes L enjeu d sormais est autant de cr er l information documentaire que de la r diter pour l adapter aux utilisations propres l tape envisag e des m tadonn es pour produire diffuser ou conserver et r exploiter L interop rabilit des outils d exploitation L int gration informatique implique que d sormais de m mes postes informatiques permettent d effectuer toutes les t ches se rapportant un contenu qu il s agisse de le cr er de le produire de l diter archiver etc Au lieu d avoir des stations sp cialis es on s oriente vers des stations g n riques banalis es accueillant les applicatifs n cessaires Mais cette convergence des outils sur une plate forme g n rique ne pourra tre pleinement effective que si les applications sont interop rables et permettent l utilisateur non seulement d changer
33. ible qu au niveau de l appropriation quand un contenu est pr sent de mani re intelligible s miotiquement compr hensible pour un utilisateur On arrive au paradoxe apparent qu un document temporel n existe que pendant son d roulement temporel le document audiovisuel le film par exemple n est un film que pendant sa projection au cin ma ou sa diffusion la t l vision Il ne s agit pas d un paradoxe mais simplement de la conclusion qu il faut tirer de la nature temporelle du document Ainsi le film enregistr sur un support argentique le document audiovisuel consign sur une cassette vid o ne sont pas des documents mais des outils des ressources que l on peut utiliser pour consulter les documents dont ils sont l enregistrement Ainsi une cassette n est pas l enregistrement d une r alit faite d images et de sons mais l enregistrement d un document audiovisuel c est dire de l acte de publier dans une certaine forme pour exprimer un certain sens d un d roulement construit dans le temps Le document lu ou consult est toujours le r sultat d une reconstruction effectu e par un dispositif technique aujourd hui majoritairement num rique Ce qui est consult ne correspond pas ce qui est enregistr mais sa transformation par le calcul Un document devient par cons quent indissociable du processus informatique qui le reconstruit et des informations qui param trent et pilotent
34. informations qui rendent l information utile et exploitable Cette notion g n ralise celle d index et de recherche d information Enfin les m tadonn es doivent tre cr es avec le contenu documentaire en amont et non aval comme la plupart des informations d indexation Autrement dit les m tadonn es s int grent au contenu en constituent une partie indissociable si bien que l on peut dire leur endroit que les m tadonn es sont des donn es 5 3 Indexation caract risations g n rales 5 3 1 Indexation traditionnelle L indexation a pour principal objectif de rendre accessible des informations que l on rep re pour cela au moyen d index L indexation est le processus selon lequel le contenu d un document est analys pour tre ensuite reformul dans une forme permettant d acc der au contenu et de le manipuler Le terme d indexation qualifie la fois le processus et son r sultat Une indexation est par cons quent la description d un document effectu e dans la perspective d une utilisation et exploitation donn e L indexation repose traditionnellement sur deux tapes clairement distingu es une tape d analyse conceptuelle le contenu est analys et interpr t par un documentaliste pour d finir les principaux concepts permettant de le caract riser une tape de reformulation documentaire l analyse conceptuelle permet au documentaliste de reformuler le contenu da
35. ite par une combinaison de sons et de mots permettant ainsi de retrouver les mots inconnus d un vocabulaire par les sons associ s les m lodies le sch ma est con u pour permettre des requ tes par similarit notamment entre un air siffl ou fredonn par un utilisateur et une m lodie stock e des descriptions de bas niveau sur le son enveloppe temporelle spectre harmonies etc un descripteur silence permet finalement de d crire un contenu comme silencieux 5 5 3 Les sch mas pour la vid o Les sch mas consacr s la description des contenus vid o et visuels sont complexes et labor s Ils portent principalement sur les aspects suivants des descripteurs basiques permettant de localiser selon une pr cision variable une partie dans un contenu visuel ou vid o Cela renvoie par exemple un syst me de coordonn es 2D qui peut tre propre chaque frame ou commun plusieurs permettant dans ce dernier cas de comparer les positions entre diff rents frames la couleur On retrouve le savoir faire habituel de l extraction automatique On dispose ainsi de descripteurs et sch mas pour d clarer l espace de couleur la quantization la couleur dominante etc les textures repr sentation d une image comme partition de zones de texture homog ne des histogrammes etc les formes analyse en r gion repr sentation des contours des formes tridimensionnelles
36. la reconstruction Ces informations d crivent ce qui est n cessaire propos du document pour que la reconstruction soit conforme l objectif vis Cette information est donc une 1 Le fait qu un document soit toujours le r sultat d un processus calculatoire ne va pas sans poser de nombreuses questions en particulier sur l authenticit d un document Dans quelle mesure un archiviste un historien ont ils affaire au document brut quand il est num ris Qu est ce qui peut leur garantir l authenticit du document consult En fait aucune r ponse ne peut venir de la technique puisque comme nous l avons montr le document num ris n est pas un objet stable et unique mais un processus dynamique entre enregistrement et restitution Ce n est que dans la confiance que l utilisateur met dans la reconstruction qu il peut fonder son exploitation du document L inauthenticit introduite par la technique doit se compenser par les r seaux de la probit et de la confiance parce que je sais qui m a donn tel enregistrement parce que je connais le programme que j utilise je crois ce que je vois sur l cran Plus que jamais le fonctionnement technique renvoie une herm neutique de la confiance sur ces questions voir notre article BAC 00 p 3 15 L indexation multim dia 147 m tadonn e information sur le document qui le rend exploitable pour une reconstruction donn e Les m tadonn es sont donc ces
37. le notion pour l indexation est qu il ne sert rien de localiser une information plus pr cis ment que l unit de manipulation qui la contient En effet cette derni re tant la plus petite entit directement accessible et manipulable il ne sert rien de savoir o dans une unit se situe l information recherch e puisqu on ne pourra exploiter cette information de localisation dans le syst me d acc s au contenu C est pourquoi dans la plupart des syst mes documentaires habituels comme les biblioth ques classiques l unit de manipulation tant le livre l indexation effectu e quelle que soit sa finesse conceptuelle et structurelle ne poss de jamais une granularit inf rieure celle du document car la biblioth que comme syst me de recherche d information ne manipule physiquement que des livres et non des pages par exemple Ainsi il ne sert rien pour le biblioth caire de savoir que telle information se situe telle page ou telle page d un livre car de toute mani re si c est cette information qui est recherch e c est le livre en son entier qu il faut sortir des rayonnages Localiser l information en termes de pages et non en termes de livres n a un int r t que si on peut manipuler les pages ind pendamment des livres Evidemment le point de vue du lecteur est diff rent de celui du biblioth caire le syst me documentaire n est plus pour le lecteur la biblioth que mais le livre
38. mplicite et assum e par la mise en ligne il est impossible de savoir si le contenu a chang depuis une derni re consultation ou non Le contenu n est pas fig en une version de r f rence ce qui est du ressort de la publication ditoriale Par cons quent le web fait bien une mise disposition du public un contenu ce en quoi il s agit bien d une publication il ne publie pas les contenus au sens du monde de l dition C est lors de la lecture que l on peut fixer une version de r f rence un contenu et une date de mani re distinguer lors des prochaines consultations si l on a affaire une nouvelle publication ou non On a donc un d placement de la publication ditoriale de l auteur vers le lecteur ce n est plus un auteur qui s entend avec un diteur pour avoir une version de r f rence mais un lecteur qui organise ses consultations et retient des versions de r f rence publi es partir des mises jour du contenu qu il peut constater L indexation multim dia 163 Cela am ne r viser la conception classique de l indexation documentaire En effet quel est l objet de l indexation Comment identifier le contenu le d limiter Ces probl mes se posent de mani re particuli rement aigu pour archiver les contenus du web ou d un intranet et les indexer Ils devront pourtant tre r solus pour aborder le d p t l gal du web comme semble le pr coniser les projets de lois sur la soci
39. n qui alt re cinq caract res par page affich e 2 La linguistique mobilise la notion d arbitraire du signe Cette notion signifie que la forme signifiante d un signe n est pas motiv e par le signifi du signe Ainsi n y a t il pas de lien entre le signifi du mot chien et la suite de lettres c h i e n qui donne ce m me mot 150 Assistance intelligente la RI La num risation de la forme s miotique est une discr tisation s appliquant sur ce qui fait signe dans un contenu alt rer les unit s discr tes modifie la signifiance du document Une telle num risation repose sur le fait qu une s miotisation a d j t faite et a t fix e inscrite sur le support En effet il faut qu il y ait eu une d finition des signes composant le document pour que la num risation puisse produire des unit s discr tes co ncidant avec ces signes L histoire de l criture nous apprend que telle est son r le elle a contribu tablir et fixer un r pertoire de signes dont la combinatoire permet de produire la presque totalit des formes signifiantes linguistiques De cette mani re on comprend que l alphab tisation le processus tablissant une criture alphab tique est une sorte de num risation que la num risation actuelle reconduit en apportant en plus la manipulation calculatoire et alphab tique R ciproquement on peut supposer que la num risation des contenus puisse avoir un impact sur la d
40. ndant de nombreux travaux sont en cours qui permettent d envisager des solutions prometteuses Nous concluons ce chapitre avec un exemple repr sentatif MPEG 7 5 5 MPEG 7 MPEG est un comit d expert motion picture expert group qui s est constitu pour proposer des normes technologiques pour l audiovisuel et aujourd hui l hyperm dia Les travaux de ce comit ont essentiellement port jusqu pr sent sur la compression des objets sonores et vid os Les normes MPEG 1 MPEG 2 et MPEG 4 permettent de transmettre sur les r seaux des contenus audiovisuels dont le 164 Assistance intelligente la RI volume non compress rendait cette op ration impossible MPEG 7 est la derni re n e des normes MPEG Contrairement aux pr c dentes MPEG 7 ne porte pas sur la compression mais la description des contenus Avec MPEG 7 MPEG change de paradigme et largit son horizon il ne s agit plus de num riser un signal et de le transformer mais d changer les contenus en communiquant pour cela les descriptions documentaires permettant leur identification et exploitation En reprenant les notions pr sent es plus haut MPEG passe de la num risation l informatisation MPEG 7 de son nom complet multimedia content description interface est une proposition de normalisation portant sur la description des contenus Mais au lieu de normaliser ce qu il faut dire propos d un contenu MPEG 7 porte sur la mani re de le
41. ns une forme permettant sa manipulation Ce dernier point est essentiel la nature des index composant une indexation est d termin e par le type de manipulation vis e sur le document Classiquement la principale exploitation consid r e est la recherche d information savoir o est l information recherch e et extraire du fonds documentaire les documents correspondants L indexation a donc deux finalit s d une part elle doit tre directement exploitable pour d terminer o l information recherch e d autre part elle doit permettre d aller chercher cette information Ainsi dans un biblioth que classique chaque ouvrage est r f renc par une cat gorie d terminant son contenu et une cote permettant de le situer sur une tag re donn e Par ailleurs des fiches rassemblent toutes les descriptions d ouvrages lorsqu un lecteur r clame un ouvrage le biblioth caire consulte ses fiches pour d terminer quels ouvrages correspondent la demande et pour savoir sur quelles tag res les chercher L index a donc servi d terminer l information les ouvrages pertinentes et la localiser les tag res Les fiches sont con ues pour tre facilement consultable par le 148 Assistance intelligente la RI biblioth caire l indexation doit tre elle m me manipulable pour permettre l acc s et la manipulation des contenus qu elle r f rence Finesse et granularit d indexation La question habit
42. nte donc comme un syst me o chaque unit voit sa signification d termin e en fonction de sa position dans le syst me Toute modification d une unit modifie en cons quence les autres et reconfigure leur signification Quand on dit qu elles les valeurs correspondent des concepts on sous entend que ceux ci sont purement diff rentiels d finis non pas positivement par leur contenu mais n gativement par leurs rapports avec les autres termes du syst me Leur plus exacte caract ristique est d tre ce que les autres ne sont pas 5 On pourrait imaginer d autres sch matisations interpr tant et illustrant dans d autres registres perceptifs le concept Cette notion de sch matisme est complexe Comme on le sait elle remonte Kant qui voyait dans les sch mes une figuration des concepts dans le cadre spatio temporel d une perception possible Litt ralement le but du sch me est de montrer quoi pourrait ressembler concr tement le concept dont il est le sch me Un exemple kantien est que le concept de causalit se traduit dans le temps de la perception comme une succession ordonn e si A cause B alors dans les faits concrets A pr c de B Un exemple non kantien est le concept de d montage d une roue et le sch ma explicatif du mode d emploi L indexation multim dia 155 Le concept prescrit une signification car il appartient un syst me d oppositions et de diff rences qui lui donne hors conte
43. on les index qualifi s et localis s sont agenc s et articul s entre eux Cette articulation permet de croiser qualification et localisation au sein de structures d index Localisation 1 Qualification Structuration l A l l Descripteur i l B l i E iB RE i ue i i E l i i li i l D Lie aR Document Document Document Figure 5 4 Les trois tapes de l indexation Ces trois tapes sont intimement li es et se font plus ou moins simultan ment car elles sont mutuellement d pendantes les unes des autres pour localiser il faut savoir que quoi l on veut parler et galement pour savoir de quoi on veut parler il faut d terminer o on en parle L indexation est par cons quent la production d une description documentaire paraphrasant le contenu en index localis s et structur s L indexation est par cons quent une interpr tation du contenu De mani re fondamentale l indexation tablit en quoi un document ou un objet est signifiant fait signe pour une recherche d information ou une autre exploitation Etablissant la signifiance du document l indexation le s miotise litt ralement elle en fait un signe qui signifie pour son lecteur En comprenant l indexation comme une s miotisation c est dire un processus interpr tatif tirant ses d terminations de la s mantique et de la s mantique on
44. onn Par cons quent la segmentation en objets MPEG 4 du flux audiovisuel prescrit a priori une s miotisation en signes porteurs d un sens possible Rien n emp che de vouloir lors de la consultation de vouloir interpr ter diff remment le contenu et d y voir une autre s miotisation mais le spectateur doit n gocier avec cette prescription avant toute chose car la r ception qu il en a est conditionn e par elle par exemple les objets MPEG 4 sont interactifs si bien que le spectateur est amen lui aussi les consid rer comme des objets part enti re L audiovisuel a d abord connu une num risation de la forme physique et non de sa forme s miotique La raison est qu il n existe pas de syst mes de signes audiovisuels stabilis s et norm s culturellement partir desquels les contenus sont constitu s Il n est donc pas possible d tablir des unit s discr tes co ncidant avec L indexation multim dia 151 des unit s signifiantes dans la mesure o ce qui fait signe peut constamment changer dans l image selon le point de vue adopt sans que des r gularit s se d gagent Nous aurons l occasion d y revenir Qu il s agisse d une num risation de la forme physique ou de la forme s miotique elle apporte dans les deux cas la possibilit de d finir autant niveau de granularit pour les unit s de manipulation que n cessaire Par cons quent toute unit rep rable comme tant signifiante fai
45. plus il prend explicitement en compte des informations d ordre documentaire ditorial et conceptuel n cessaires pour la description hyperm dia MPEG 7 largit son int r t pour l information documentaire en g n ral au del des r sultats d algorithmes d analyse Les principales structures propos es concernent les points suivants le management du contenu les l ments MPEG 7 d crivent ce qui concerne la cr ation du contenu sa production son encodage les formats de codage et de fichier la description du contenu cela concerne les aspects structurels structure du contenu d un point de vue spatial temporel et les aspects conceptuels description du contenu du point de vue d une s mantique fond e sur le monde r el et mobilisant des notions conceptuelles la navigation et l acc s au contenu des structures de r sum sont propos es ainsi que des partitions ou d compositions et galement des variations description de diff rentes ressources repr sentant des variantes d un m me contenu que l on peut choisir en fonction du contexte par exemple des variantes linguistiques d un m me programme audiovisuel l organisation du contenu ces descripteurs et sch mas permettent de d crire l organisation en collections des objets v nements ou segments du contenu l interaction avec l utilisateur cela concerne les pr f rences et le profils des utilisate
46. re et de l interpr tation on ne peut lire un contenu que lorsqu on peut faire la part entre le document lu et la lecture qui en est faite entre le discours et le m tadiscours que l on tient son endroit C est partir de la finitude documentaire que commence l interpr tation interpr tation qui quant elle n est jamais termin e La finitude et fermeture documentaire renvoient l ouverture ind finie de l interpr tation D limitation temporelle Un document doit tre persistant dans le temps Autrement dit la forme mat rielle interpr table le constituant ne doit pas varier en fonction du moment o s effectuent la consultation et la lecture Toute modification du contenu tient lieu d une republication du document C est en cela aussi qu un contenu n est pas n cessairement un document Un contenu ne devient un document seulement quand une intention le fixe et le livre la consultation d un public Un contenu renvoie une criture non une publication le modifier n est pas le republier Les usages du monde de l dition le confirme un livre publi n est plus modifiable il doit tre r dit pour cela Enfin le document est inscrit sur un support L articulation du contenu au support sur lequel il est inscrit varie en fonction de la technologie mise en uvre pour l laboration du support et le proc d d inscription utilis Cette articulation d termine le type du docum
47. ribute name editingLevel use optional gt lt simpleType base string gt lt enumeration value global gt lt Or InterShot gt lt enumeration value composition gt Par ailleurs la s mantique est pr cis e de la mani re suivante Describes a transition realized between two edited video segments during an editing process Three different types of transitions are distinguished based on the TransitionT ype value of the attribute editingLevel global transitions composition transitions and internal transitions Three different types of transitions are also distinguished based on the value of the attribute evolution cuts analog cuts and gradual transitions Describes the transition when it is a gradual optional GradualEvolution It does not apply to transitions that are cuts and analog residual cuts On constate ainsi que tout utilisateur de MPEG 7 se voit proposer une syntaxe et une s mantique pour d clarer l information documentaire sur le contenu MPEG 7 est donc bien un format g n ral pour l indexation hyperm dia L indexation multim dia 169 5 6 Conclusion Du fait du num rique l indexation est d sormais hyperm dia les contenus sont multim dias et organis s par des hyperliens ou par une juxtaposition dans un m me espace de pr sentation un cran une page etc L indexation a pour but de produire les informations documentaires permettant de rendre
48. s objets temporels par objet temporel il faut comprendre les objets sonores et audiovisuels qui imposent le rythme et l ordre de la lecture Au lieu de se construire dans un espace comme un texte les objets temporels se construisent dans et par une dur e La num risation de ces objets permet de revoir l indexation en effet dans un contexte classique analogique l indexation audiovisuelle est essentiellement une identification du document que l on appelle souvent catalogage et une description globale du contenu de quoi a parle sans qu il y ait de description segment par segment En effet l acc s technique une partie quelconque du document tant co teuse et difficile dans ce contexte analogique il n est d aucune utilit de r f rencer et localiser finement le contenu sur son support puisque de toutes mani res il faut avoir le document en entier pour consulter l une de ses parties Le num rique permet d avoir un acc s al atoire au contenu en pratique une partie du document sans avoir consulter l ensemble du document Cette possibilit am ne revoir profond ment indexation et documentation L indexation adopte par cons quent de nouvelles m thodes pour de nouvelles finalit s Les m thodes ce sont les moyens d associer des index des contenus multim dias et des objets temporels Les finalit s renvoient l organisation du contenu l aide de ces index pour sa publication et
49. sant sens pour un point de vue donn peut tre manipul e en tant que telle et extraite pour tre exploit e ind pendamment du contenu dont elle est issue Cette possibilit accro t consid rablement la complexit de l indexation alors que dans le cas classique l unit de manipulation est implicitement d termin e par le syst me le livre ou le document la num risation implique qu il est n cessaire de pr ciser explicitement la partie du document correspondant l information recherch e Les index ne sont plus seulement structur s en fonction des relations logiques et conceptuelles entre les descripteurs qu ils mobilisent mais en fonction des relations unissant les parties d crites d un contenu Ainsi l index ne dira pas seulement qu un document par de l apprentissage des langues l index tant structur par le concept d apprentissage reli par une relation a pour _ objet au concept de langue mais par exemple que la partie voquant l apprentissage du latin est incluse dans celle traitant des langues mortes Cette possibilit a eu pour cons quence bien connue de pouvoir rep rer un contenu en le marquant par des balises ins r es dans le document un segment index est un segment compris en une balise ouvrante et une balise fermante le libell de la balise permettant de qualifier le contenu lt Introduction gt Ceci est un segment de texte lt Introduction gt lt chapitre gt
50. ses informations et m tadonn es mais galement de passer librement d une application une autre pour travailler le contenu L intercompr hension des donn es et m tadonn es Echanger les informations dialoguer entre applications ne portent tous leurs fruits qu la condition que chaque application recevant des informations puissent disposer de leur s mantique pour optimiser leur exploitation Or pour un outil disposer de la s mantique signifie avoir une repr sentation formelle du sens qui param tre son fonctionnement Diff rentes solutions sont l tude en particulier autour des ontologies et des formats de repr sentation comme RDF L intercompr hension des donn es et m tadonn es constitue l enjeu comme on le sait des travaux orient s autour du web s mantique En effet puisque l on sait d sormais changer des informations gr ce aux outils fond s sur XML il s agit pr sent de partager une compr hension commune de ces informations pour 170 Assistance intelligente la RI permettre leur exploitation Sans nul doute le web s mantique deviendra le probl me par excellence pour conceptualiser l indexation hyperm dia et exp rimenter des solutions 5 7 Bibliographie BAC 00 BACHIMONT B L archive num rique entre authenticit et interpr tabilit Archives vol 32 p 3 15 2000 RAS 94 RASTIER F CAVAZZA M ABEILLE A S mantique pour l analyse Masson Paris 1994
51. spondent deux usages ou exploitations distinctes du contenu Les concepts cat gorisent les contenus documentaires Le sch ma suivant r sume l argument en illustrant que les descripteurs sont de l information pr cat goris e et les index de l information cat goris e Autrement dit si l indexation a pour fonction d appliquer un syst me de cat gories sur un fonds documentaire pour en permettre l exploitation la description par le contenu n est pas une indexation Figure 5 3 Iconicit de l image cette image montre quelque chose que l on voit et reconna t mais que repr sente t elle Une temp te un attentat une meute 156 Assistance intelligente la RI La pratique documentaire confirme cette analyse Dans le monde audiovisuel les contenus sont accompagn s tout au long de leur cycle de vie de document textuel leur prescrivant une signification Puisque les documents audiovisuels ne peuvent signifier par eux m mes ils sont plong s d s leur conception dans un univers textuel qui construit le sens dont ils seront la manifestation audiovisuelle C est ainsi que lettres d intention projets scripts conducteurs notes de montage etc entourent l objet audiovisuel et en cat gorisent le contenu Lors de sa diffusion les guides de programme et les journaux de t l vision par exemple T l rama construisent un sens a priori pour le t l spectateur Finalement l archivage documente les contenus
52. t comme nous l avons vu plus haut le contenu documentaire s indexe par des concepts exprim s linguistiquement dans un vocabulaire ou langage contr l Le support num rique permettant de manipuler n importe quelle repr sentation binaire il n est plus n cessaire de se restreindre des index de nature linguistique C est ainsi que depuis de nombreuses ann es on tudie la possibilit de recourir des index non linguistiques par exemple des images ou des sons La question est alors de savoir si l on peut indexer un contenu documentaire par de l image ou du son en suivant l intuition selon laquelle il serait plus naturel d indexer de l image par de l image plut t que par du texte Cette intuition se fonde sur une analogie avec la recherche d information textuelle En effet le propre d un texte est d tre compos de cha nes de caract res s par es par des blancs correspondant peu ou prou des mots Cette propri t anodine en apparence est riche de cons quences En effet les mots poss dent la propri t d avoir une signification hors contexte prescrite par le syst me fonctionnel de la langue et de poss der un sens en contexte qui correspond plus ou moins au sens hors contexte Par cons quent en composant une requ te de mots hors contexte pour retrouver des segments textuels les utilisant par une simple comparaison des cha nes de caract res s par es par des blancs avec les unit s de la
53. t de renvoyer un registre s miotique ma tris et connu par l utilisateur On en d duit que pour les documents temporels le document lu c est dire la forme s miotique d appropriation adoss e la forme physique d appropriation n est pas le document enregistr la forme d enregistrement sur le support d enregistrement Une fois que l on a introduit la notion d un m canisme permettant de jouer le document partir de son enregistrement le passage au num rique co ncide simplement avec un changement de codage et de technologie Ainsi au premier abord le num rique n introduit fondamentalement rien de nouveau rien que l on ne 146 Assistance intelligente la RI connaissait d j avec les documents temporels Pourtant comme la section consacr e au num rique t chera de le montrer ce changement anodin en apparence contient la possibilit de mutations bien plus profondes Pour conclure cette section une question peut tre de savoir o g t la v ritable nature du document dans quelle dimension faut il voir la quintessence du document Il nous semble que ce sont les formes d appropriation qui sont le v ritable d positaire du document et que les dimensions attach es l enregistrement caract risent non le document mais les ressources permettant de reconstruire le document Si l on reprend la d finition vue plus haut des documents l inscription mat rielle d un contenu n est appr hens
54. te retombe sur le probl me du caract re non alphab tique des images En effet puisque les images montrent sans signifier il faut expliciter dans un registre de type linguistique l information recherch e et lui associer une localisation dans le document Mais dans ce dernier cas on retombe sur le probl me pr c dent d un acc s direct techniquement malais Le num rique permet de r viser la perspective de l indexation en offrant de multiples possibilit s En effet le num rique intervient concernant les objets temporels deux niveaux la num risation qui consiste discr tiser les contenus en un format num rique et leur appliquer des traitements compression protection etc et analyses d tection extraction de descripteurs etc l informatisation qui consiste int grer les contenus temporels dans un syst me d information pour l change et l exploitation Plus r cente que la num risation l informatisation est responsable de la r volution num rique dont on parle tant depuis quelques ann es 6 Les objets temporels ont t particuli rement tudi s dans la tradition ph nom nologique Husserl a ainsi consacr de c l bres analyses au son et aux m lodies dans ses Le ons sur la conscience intime du temps HUS 64 p 128 Ces tudes ont connu des prolongements dans la post rit ph nom nologique GRA 68 p 69 ou analytique MIL 84 p 108 mais ont galement t
55. termination de formes signifiantes l mentaires de signes la base de la constitution des contenus Autrement dit la num risation des contenus en inscrivant dans le syst me technique les unit s discr tes obtenues contribue voir en elles les signes alphab tiques la base de l criture des contenus En anticipant sur les aspects multim dias que nous d velopperons ci apr s nous pouvons prendre comme exemple les normes de compression et de num risation MPEG MPEG 1 et 2 sont des normes op rant au niveau du pixel et exploitant la redondance de l information associ e chaque pixel Cette information est une information physique de luminance et chrominance sans lien direct avec l interpr tation L interpr tation ne d gage jamais dans sa s miotisation le pixel comme signe support du sens En revanche la norme MPEG 4 analyse le flux audiovisuel comme un ensemble d objets reli s et articul s par des relations spatio temporelles Or la caract risation des objets se fait sur la base d un point de vue selon lequel telle ou telle partie du contenu fait sens Par exemple pour des raisons li es l conomie de la production on consid rera que le fond d cran de t l vision est un objet distinct des autres parce qu il est construit de mani re sp cifique et tant peu variable dans une mission il peut tre transmis seulement intervalles espac s Ces objets sont donc des signes pour un point de vue d
56. ualification et la localisation l indexation par le contenu comme on l a vu cette d nomination est impropre il conviendrait de parler de description par le contenu Il s agit d extraire une information une signature permettant d associer un contenu documentaire similaire au sens d une m trique donn e La m trique et la similarit peuvent pr tendre constituer une indexation si et seulement si elles sont capables d offrir une cat gorisation par exemple le contenu du concept triste correspond un cluster constitu par similarit de contenus Mais on sait que le probl me de la cat gorisation d passe largement celui de l indexation pour renvoyer des questions passionnantes mais non r solues de sciences cognitives L indexation multim dia 157 Par ailleurs l indexation se d compose en trois tapes importante qui retracent les fonctions que l on assigne une indexation une tape de qualification il s agit de caract riser l information contenue dans le document de point de vue de l interpr tation qu elle poss de pour une recherche d information Grossi rement il faut savoir de quoi a parle pour tablir le lien avec ce que l on cherche une tape de localisation outre le fait de savoir de quoi a parle il faut savoir o on en parle La localisation situe l information recherch e en termes d unit s de manipulation une tape de structurati
57. uelle laquelle il faut r pondre pour mener bien une indexation est de savoir jusqu quel degr de finesse de description il faut conduire le processus Cette finesse s entend deux niveaux d une part elle correspond la richesse des concepts ou descripteurs mobilis s pour constituer une indexation d autre part elle correspond la granularit de la localisation des informations dans les documents d crits Appelons la premi re acception la finesse de description et la seconde la granularit de la description La finesse de description d pend de la fid lit avec laquelle il faut rendre compte du contenu des documents pour permettre de r pondre ad quatement aux recherches d information Deux facteurs rentrent habituellement en ligne de compte le r pertoire conceptuel utilis et la structure permettant d articuler les index entre eux au sein d une m me indexation C est ainsi que la structure autoris e habituellement est l articulation bool enne de concepts dans une requ te Le r pertoire quant lui renvoie au syst me de cat gorisation utilis La granularit de description d pend de la manipulabilit de l information contenue dans les documents Pour un ensemble de contenus appelons unit de manipulation la plus petite entit directement accessible et manipulable Par exemple l unit de manipulation d un texte est le caract re d une image le pixel etc L int r t d une tel
58. urs pour la consultation des contenus Ces descripteurs peuvent tre utilis s avec ceux concernant les variations pour proposer les contenus les plus adapt es un utilisateur ceux de sa langue par exemple Ces sch mas et descripteurs sont donc fort riches et complets Il semble au premier abord que la plupart des informations sur un contenu puissent tre d crites par leur interm diaire Mais seul l usage futur de la norme pourra le confirmer 168 Assistance intelligente la RI Pour conclure cette section sur MPEG 7 nous donnons un exemple de sp cification d un sch ma de description portant sur les transitions entre des segments vid os mont s c est dire tablies lors du montage Il faut d abord tablir la syntaxe Les d clarations suivantes l aide du DDL fond sur XML Sch ma permettent de le faire lt L EAEE IE EAE TE AE FE FEAE TE AE AE TE AE FE FE AE TE AE AE TE AE FE TE FE TE EAE EE E EE E EE EEE EE EER SES xl Definition of Transition DS gt CS ES SSSR T T S S S S S T T See lt complexType name TransitionType gt lt complexType gt lt extension base mpeg7 VideoSegmentType gt lt sequence gt lt element type GradualEvolution type mpeg7 GradualEvolutionType minOccurs O gt lt element name SpatioTemporalLocator type mpeg7 SpatioTemporalLocatorType minOccurs O gt lt sequence gt lt att
59. x les images les sch mas et les concepts Les images sont des repr sentations analogiques du r el A ce titre ce sont des signes en reprenant l antique caract risation du signe comme aliquid stat pro aliquo Mais c est un signe qui renvoie ce qu il signifie en le montrant travers une forme perceptive analogue C est pourquoi on peut parler de signe qui montre pour les images Les concepts sont des repr sentations arbitraires du r el le lien qui unit un signe ce qu il signifie est arbitraire et conventionnel On peut parler de signe qui dit pour caract riser ce type de signe Enfin les sch mas sont des signes qui illustrent par une forme perceptive le contenu d un concept un dessin vaut mieux qu un long discours comme l voque un c l bre adage Dans ce cas le sch ma est le signe qui illustre Le sch ma montre dans un rapport analogique une r alit dont la complexit est r duite de mani re montrer perceptivement le contenu du concept Le sch ma 154 Assistance intelligente la RI montre dans l espace et le temps de la vision la signification du concept Il n en est pas l explicitation ou l explication car le sch ma interpr te le contenu du concept pour l illustrers La principale difficult pr sent e par l image ou par tout signe qui montre est que l image montre sans pr ciser ce qu elle montre L image ne prescrit pas par elle m me une signification C
60. xte un contenu La situation est donc tr s diff rente des images et des sons Il n existe pas de syst me fonctionnel pour les images et les sons c est dire de syst me permettant de prescrire a priori une signification une image ou l un de ses segments C est pourquoi il faut donc soigneusement distinguer les descripteurs d une image ou d un son des index permettant de la qualifier un descripteur est une information extraite d un document ou d un contenu par des moyens automatiques L information associ e un descripteur est donc proche du contenu physique du document un index est une position ou une valeur donn e dans un syst me d interpr tation associ l exploitation d un ensemble de documents c est dire un fonds documentaire un descripteur n est pas un index dans la mesure o deux descripteurs poss dant une information distincte ne renvoient pas n cessairement deux interpr tations diff rentes c est dire deux index diff rents Par exemple si l information extraite est un histogramme de couleur une diff rence entre deux histogrammes n implique pas qu il faille consid rer diff remment les images dont ils sont extraits Le probl me est que les descripteurs sont des informations extraites mais pas cat goris es Ils ne r duisent pas la complexit du r el comme permet de le faire un syst me conceptuel En revanche deux index ou concepts diff rents corre

Download Pdf Manuals

Related Search

Related Contents

manuel d`utilisation cp1700 series    Cooper Lighting 6105 User's Manual  FC4901  Nokia 3585i Cell Phone User Manual  Panasonic WV-CP254 Specification Sheet  

Copyright © All rights reserved. Failed to retrieve file