Home

Comment déchiffrer le code impulsionnel de la Vision: vers une

Contents

1. 118 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e 120 D corr lation spatiale Lau san dur der 9 A mee se 121 Harmonisation des histogrammes par la statistique des images HAPUTCLIOS 78 here hbNre dede ss ed nt le Et 123 Distance subjective entre des images 126 Quantification de la valeur absolue des coefficients de la transform e par leur rang 2 4 doen wei eee cas 127 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e optimis e 128 Mod le de neurone d tecteur d asynchronie 133 Principe du codage d une valeur par son rang 134 Etude statistique de l activit d un neurone codage par rang 139 Estimation de la densit de probabilit du temps de tir d un neurone codage par rang 2e 2 on o we a 140 S lectivit Ultra rapide l orientation dans VI 143 Recherche de concordance 04 44 eo 4k Se a 145 Architecture de SPIKENET 146 Instabilit de la repr sentation par ondelette 151 Principe du codage impulsionnel par poursuite gourmande 160 Codage impulsionnel par poursuite a gourmande 162 Comparaison ondelettes poursuite gourmande sur une grille CVACIGUC co Bae oti a See oh wee Ne ea Nine Ge See 8 165 Champs r cepteurs des neurones de V1 chez le chat 169 R
2. Fic 3 1 10 D tection non supervis de coh rence et STDP En reproduisant les conditions de l exp rience de Bi et Poo 1998 on a trac pour chaque pas de l apprentissage donc chaque tir du neurone r cepteur le changement relatif de l efficacit en fonction du d lai du neurone pr synaptique Le mod le observe un comportement qui peut se rapprocher la STDP voir Fig 3 1 8 A la forme de la fen tre se rapprochant plus d un PPS Toutefois la r gle de STDP appliqu e une assembl e de neurones n est pas suffisante pour permettre la d tection de la coh rence des impulsions culi re un seul signal Cette efficacit est aussi d autant plus forte que la synapse est peu activ e de sorte qu une synapse qui serait active dans tous les motifs serait consid r e comme non significative L inhibition correspon dant aux perdants de la comp tition permet aussi de faire en sorte qu un neurone et un seul tire pour chaque signal Finalement le syst me converge de fa on non supervis e pour faire correspondre un motif chaque neurone voir Fig 3 1 11 Une extension de ce mod le consiste influencer la convergence par le pro fil de V suivant les fibres voisines du gagnant pour obtenir l image des cartes associatives de Kohonen 1982 une correspondance spatiale des as sociations complexes comme cela a t abord avec les espaces de visa ges Cette exp rience montre que cette m
3. OE OV V V D Vi Je FO mi B wiy 3 1 20 OV dp o p t est la r ponse chaque entr e impulsionnelle S d finie par ses temps de tir t7 l par des synapses dont les poids sont normalis s 1 pilt Szet D et t 3 1 22 tTj On peut alors induire un apprentissage en minimisant progressivement le co t chaque PA on compte le temps d apprentissage n par les v nements post synaptiques par une m thode de descente de gradient Amari 1998 Il 3 1 Mod les de codage temporel 95 vient alors on a crit p pour p t OE D S 3 1 23 E Ow Bin Yn VE Vi Pi An AE Ae 3 1 24 avec Jn satisfaisant la condition de convergence pour les algorithmes stochas tiques 0 1 oo In et D In lt 00 Finalement on en d duit une r gle de modification de l efficacit synaptique que l on peut rapprocher des formulations de Kempter et al 1999 induites par les exp riences neurophysiologiques mais qui est g n ralis e une as sembl e de neurones et tir e d une formulation fonctionnelle oi dp Bact 1 2 1 dt dt p2p wig 1 ya wi VE Vi Pi Ba D w Cette quation est alors facilement implantable en utilisant des algorithmes similaires la m thodologie du SRM Tout d abord on remarque que si l on r plique les conditions de l exp rience de Bi et Poo 1998 sur une synapse et un seul neurone alo
4. 1996 Cette repr sentation permet donc de d finir des classes de stimuli ici des courbes similaires qui permettent par exemple simplement d implanter une distance dans une carte corticale par exemple le temps de propagation entre deux neurones et d utiliser la position des neurones comme un outil computationnel Ainsi on peut observer dans IT des neurones sensibles un objet tridimen sionnel simple e g un trombone tordu et si l on fait tourner cet objet des neurones voisins seront activ s l objet et ses vues semblent donc tre repr sent es explicitement On peut alors trouver des neurones voisins qui seront d autant plus proches que cette rotation est proche Tanaka 1996 Cette exp rience neurophysiologique permet d interpr ter les r sultats psy chologiques de Shepard et Metzler 1970 dans une exp rience de manipu lation mentale d objets tridimensionnels pour lesquels le temps de r ponse tait lin airement proportionnel l angle de rotation en sugg rant que cette rotation a bien lieu sous la forme d un d placement de l activit sur cette aire corticale soit donc un d placement de la repr sentation Cette notion tend donc la notion de mot neuronal une carte discr te par la position 2 2 Anatomie du syst me visuel 57 des neurones mais continue dans la r ponse de son implantation corticale Surtout elle permet de traduire par la simple position de l activit corticale des
5. langage suit des chemins sp cifiques et est particuli rement sensible la succession exacte des v nements I a par exemple t mis en vidence que dans une t che de cat gorisation entra nant l activation d une aire sp cifique du SNC si l on d rangeait la temporisation de l activit dans cette aire sans changer sa r ponse mais en la retardant suivant un d lai pr cis on pouvait bloquer la r alisation globale ici la prise de conscience de cette t che La vision est donc un processus d pendant au niveau de son organisation macroscopique de l ordre de la temporisation relative des activit s de ses sous modules la vision est donc au niveau macroscopique un processus asynchrone Aussi les exp riences de Thorpe et al 1996 ont montr qu il existait des contraintes sur le temps de traitement visuel Ces exp riences que nous d crirons en d tail dans la Sec 2 3 montrent que la vue traditionnelle sur le 18 Chapitre 1 Comment casser le code de la vision code neural est incompatible avec les observations biologiques et exige dans ce cadre une nouvelle exploration de la physique de ces calculs Par exemple une part de information doit pouvoir tre fournie exclusivement en avant pour privil gier le temps de r ponse le chemin le plus court entre l il et le cortex moteur pour ce traitement rapide est donc direct il ne boucle pas Ce mod le remet alors en cause de nombreux mod les ta
6. Comme il a t propos par Thorpe et Imbert 1989 ce code peut alors correspondre un type de proces sus utilis pour le traitement ultra rapide de l information visuelle On peut alors d gager un principe fondamental du codage par rang l information est transmise en avant de facon asynchrone et entre deux couches neurales Vinformation analogique est cod e temporellement puis d cod e par l ordre d activation Par cons quent on pourra implanter un syst me plus simple en crivant explicitement la modulation suivant le rang et en construisant un mod le de type Int gre et Tire utilisant le rang en entr e voir Fig 3 3 2 De nombreuses tudes men es dans le laboratoire de Simon Thorpe ont montr les performances d un tel codage par le rang Thorpe et Gautrais 1998 par rapport au codage fr quentiel Gautrais 1997 Gautrais et Thorpe 3 3 Codage par Rang 135 1997 au codage par synchronie Delorme 2001 p 162 ou encore d autres codages temporels comme l intervalle inter impulsionnel Van Rullen et Thorpe 2001 Ces tudes ont t compl t es en collaboration avec M Samuelides par des tudes math matiques de ce code On a notamment tudi son rapport avec les statistiques non param triques Barbe et Hallin 1995 comme le test de Wilcoxon mais aussi analys ses performances pratiques grace aux travaux de M lis 1995 mais aussi sur l apprentissage d orientations d E Veneau 1996
7. Gauche Une synapse entre deux neurones est excit e de facon r p t e dans le temps par un PA pr synaptique qui g n re un PPS trace du haut et par un PA post synaptique On provoque a chaque pr sentation l mission de ces PAs avec un d lai fixe ici du PA post synaptique par rapport au PPS qui est retard Haut ou avanc Bas Droite Modulation de l efficacit de la synapse mesur e par la pente du PPS en fonction du d lai et dans le temps Apr s environ 10 minutes on observe que la synapse correspondant l association causale soit la succession PA pre puis PA post est renforc e alors que l efficacit de l autre synapse est diminu e adapt de Markram et al 1997 90 Chapitre 3 Mod les de codage rapide 2 2 ao 6 CS oo Change in EPSC amplitude Change in EPSC amplitude 100 1000 Spike timing ms Initial EPSC amplitude pA 80 40 0 40 80 FIG 3 1 8 Plasticit modulation temporelle relative r sultats A Variation de l efficacit de la synapse en fonction du d lai Si l on r p te l exp rience pour des d lais diff rents le signe de la variation reste similaire a Fig 3 1 7 les synapses causales sont renforc es Mais l amplitude de la variation diminue avec le d lai des d lais plus faibles correspondent a un apprentissage plus rapide B Variation de l efficacit relative en fonction de l amplitude de l efficacit Si l on trace maintenant
8. In terms of complicated pre and post synaptic elements Ionic channels Calcium binding proteins Or as a non reciprocal and stochastic switching device that transmits a binary signal rapidly between two neurons and remembers its history of usage The 3 1 Mod les de codage temporel 83 answer is that we must be concerned with both aspects with biophysics as well as computation Christof Koch Koch 1998 En g n ral les neurones ont une morphologie et des fonctions plus complexes que celles de l axone g ant du calmar et au lieu d investir une grande quan tit de calcul dans la pr cision d un mod le tendu comme le mod le HH il est souvent plus important de prendre en compte les nombreux processus non lin aires qui interviennent dans le traitement comme autant de bri ques de l algorithme neural Dans l arbre dendritique par exemple on peut introduire directement le d lai correspondant la propagation de la synapse au soma ou encore consid rer que l int gration des entr es est non lin airei On peut aussi int grer des non lin arit s fortes comme celle introduite par une r gle comme le seuillage dans le mod le IF Koch et Segev 2000 a dans ce sens propos un mod le o si deux branches de l arbre dendritiques qui se rejoignent sont activ es en m me temps le r sultat propag est sup rieur la somme de leurs contribu tions implantant ainsi dans l arbre dendritique le
9. Le neurone de Hodgkin Huxley Une des plus grandes d couvertes scientifiques en neurosciences a t la d couverte par Hodgkin et Huxley 1952 du processus cellulaire de g n ration d un PA sur l axone g ant du calmar Celle ci r compens e par un prix Nobel est remarquable autant pour ses r sultats que par ses m thodes et reste aujourd hui encore une r f rence C est en effet par la confrontation multidisciplinaire sur ce syst me neuronal simple de mesures neurophysio logiques compl tes extra et intra cellulaires et membranaires par patch clamp avec des th ories de la physique de l ing nieur comme l quation du t l graphe qui r git la propagation d ondes lectriques dans les cables m talliques qu ils ont pu mod liser l volution du potentiel de membrane par un jeu d quations diff rentielles Plus pr cis ment Hodgkin et Huxley ont montr que les courants membra naires pouvaient tre d compos s en un courant capacitif de capacit C et en diff rents courants d pendant du potentiel V En effet pour chaque canal ionique sodium Na potassium K et de fuite L le courant est proportionnel la diff rence avec le potentiel de repos F du canal et la conductance du canal g V g f V o f V est une fonction non lin aire normalis e 1 pour son potentiel de repos i e g E g caract risant la d pendance au potentiel et qu on note m n et h ion E en
10. Un Dirac est un mod le math matique repr sentant une fonction de somme des aleurs absolues norme L normalis e 1 mais dont l talement temporel est n gligeable sa localisation temporelle est alors consid r e comme ponctuelle 78 Chapitre 3 Mod les de codage rapide On consid rera deux cat gories de synapses excitatrices et inhibitrices sous ensembles de l ensemble des synapses que nous noterons simplement exc et inh que nous caract riserons ici par le courant synaptique qu elles g n rent mais agissant sur le potentiel du neurone par des canaux ioniques et des neurotransmetteurs diff rents et donc avec des potentiels diff rents resp E exe et Eim En n gligeant dans ce mod le l effet de arbre dendritique on approche alors avec une grande pr cision le courant synaptique excitant le neurone comme la r ponse de systemes dynamiques lin aires du premier ordre de constante de temps Tsyn 5ms aux entr es synaptiques S Chaque synapse est alors caract ris e par son type et son poids w de dimension physique un courant et le courant synaptique a la synapse i7 est d termin par d 1 sii ma I t 93 3 1 6 syn et le courant total par T t T gV Eexc Gy Einn 3 1 7 avec i i Da Jij 3 1 8 Ji he Jij ce qui d finit enti rement un mod le de neurone LIF courants synaptiques LIF SC comme une transform e d un train de PAs en un train de PAs En r sum de q
11. a la cog nition Elle fait appara tre leur dimension artificielle gauche ou naturelle a droite et s pare alors les processus relevant du monde r el en haut des calcu lateurs comme ceux a transistors au Systeme Nerveux Central SNC de ceux relevant du monde de la connaissance en bas des calculateurs th oriques les Machines de Turing l tude scientifique du SNC les neurosciences Ainsi les r seaux de neurones RN apparaissent alors naturellement a la crois e des neu rosciences et des calculateurs th oriques comme l tude th orique de calculateurs inspir s de la biologie Enfin l Ing nierie Neuromorphique IN appara t de fa on compl mentaire aux RN comme l interm diaire entre l implantation de ces calcu lateurs et le SNC d veloppant ainsi une approche d ing nieur sur les processus cognitifs en se concentrant sur la physique des calculs biologiques figure inspir e d une conf rence de Rodney Douglas 16 Chapitre 1 Comment casser le code de la vision Address Event Representation ou AER bas sur des v nements Boahen 2000 Applications neuromorphiques et robots Une application imm diate de l ing nierie neuromorphique est l implan tation de ces syst mes sur des robots Un exemple marquant est par exemple le cas des robots autonomes utilisant la vision comme moyen de guidage sur un sol inconnu l image du rover Sojourner sur la surface de la plan te Mars Dans ce cas p
12. comparable pour de forts taux de compression Enfin nous pr senterons des applications du codage impulsionnel pars que nous combinerons avec le mod le de r tine que nous avons pr sent et en particulier nous montrerons comment ce principe peut tre implant pour tre tendu d autres couches Nous tudierons alors l efficacit de ce mod le hybride et d duirons un mod le simple d attention dans ce mod le de propa gation que nous comparerons l attention visuelle biologique et au mod le de Itti et al 1998 Enfin nous voquerons des applications robotiques compl tes en tudiant tout d abord un syst me neuromorphique combinant un mod le d attention avec une autre modalit sensorielle puis en d crivant une application pour un robot mobile guidage visuel dont la t che est de d tecter une cible connue Chapitre 2 Neurophysiologie du syst me visuel Learning the secret of flight from a bird was a good deal like learning the secret of magic from a magician After you know the trick and what to look for you see things you didn t notice when you did not know exactly what to look for Orville Wright 1913 2 1 La vision comme un syst me dynamique La vision est une sensation si famili re qu il est parfois difficile d imaginer la complexit des processus soutenant la simplicit de sa perception Pour la d finir comme un processus dynamique nous allons devoir d ranger le sens commun et re
13. est souvent ind pendante du mode de repr sentation photo ou dessin alors qu elle peut d pendre norm ment du contexte Enfin une exposition prolong e a des ob jets ou des images modifie la sensibilit de ces neurones En simplifiant ce mod le et s il existe bien des processus adaptatifs similaires laissant merger des propri t s statistiquement ind pendantes on comprend alors comment peuvent alors appara tre spontan ment des neurones aussi sp cifiques que ceux sensibles l image de Bill Clinton que nous avons voqu s dans la Sec 1 2 3 2 2 3 Repr sentations temporelles de l information vi suelle En cheminant le long de l architecture du syst me visuel nous avons vu la multiplicit et la complexit de son organisation et de son code par rapport l unit que l introspection nous sugg re Pour aborder le code de la Vision nous allons donc essayer de comprendre quelle forme prend la repr sentation de l information visuelle aux diff rents niveaux de son observation 2 2 Anatomie du syst me visuel 55 Fic 2 2 2 Les Chemins de la vision Cette figure synth tise sch matiquement l organisation des premiers modules du syst me visuel impliqu s dans la cat gorisation ultra rapide Depuis A les yeux la r tine forme le nerf optique qui se s pare au chiasma B formant la commissure optique jusqu au tectum non repr sent et au CGL C La commissure geniculo calcerine projette s
14. fluence de cette heuristique On introduit donc un compromis dans le choix d un filtre entre la saillance d un objet et la distance des choix successifs Cette r gle et alors tr s facile incorporer au syst me de code pars que nous avons implant Dans le cadre du traitement automatique d images de grandes tailles comme les images satellitaires ou de mammographie on a souvent besoin de d tecter des structures dans des zones bruit es Da au caract re parall le du traitement dans le code impulsionnel une solution est 186 Chapitre 4 Vers un code dynamique pars de concentrer la propagation sur une zone de l image saillante d termin e par un processus plus simple On a exp rimentalement utilis une distance s exprimant seulement en fonc tion de la distance entre les centres des filtres et donc ici sur la distance depuis le dernier filtre choisi Cette m thode a t appliqu e des images de visages d une base donn e Samaria et Harter 1994 On a ensuite synth tis de nouvelles images en superposant les visages d tour s manuellement sur un bruit spatial uniforme Si on a une connaissance a priori de la position du visage on peut influencer le choix des filtres en baissant le seuil des neurones centr s sur cette zone voir Fig 4 3 1 Milieu une strat gie utilis e dans Van Rullen et Thorpe 1999 2002 Par contre quand cette position n est pas connue a priori l image du visage v
15. l adaptation de ces filtres acc l rera d autant la convergence de l algorithme 4 2 Mod le neuronal de repr sentation corti cale sur compl te dans l aire visuelle pri maire V1 La section pr c dente a donc montr que l on pouvait d finir des mod les labor s de code r tinien impulsionnel en adaptant un algorithme de pour 168 Chapitre 4 Vers un code dynamique pars suite gourmande pour mod liser les interactions lat rales Toutefois ces r sul tats doivent tre compris la lumi re des contraintes impos es par la nature de la r tine et du goulot d tranglement informationnel du nerf optique Nous allons voir que cet algorithme prend alors toute sa dimension dans un mod le de repr sentation corticale que nous allons limiter dans un premier temps laire visuelle primaire V1 4 2 1 Le mod le de Hubel et Wiesel Une repr sentation des contours de l image L aire visuelle primaire est une partie du cortex situ e dans la r gion oc cipitale du cerveau Comme nous l avons d crite dans la Sec 2 2 2 cette aire joue un role majeur tant par sa position que par sa taille relative Par rapport au million de fibres quittant la r tine cette aire comprend chez l homme pres de 300 millions de neurones Cette aire va donc tre essentielle pour former les repr sentations qui vont ensuite se propager vers les aires secondaires V2 V4 et sup rieures comme IT Par rapport la r tine
16. nique la famille Jones Erik Jeremy Trisha Charris et tous les autres Un grand merci ma famille et mes proches pour leur soutien et leur amiti et surtout a C cile Table des mati res R sum xiii Abstract xvii Introduction 1 1 Comment casser le code de la vision 3 1 1 La vision un objet d tude scientifque 2 3 1 1 1 La vision comme prototype d un processus cognitif 3 1 1 2 Mod les computationnels de la vision 9 1 13 L inspiration biologique en traitement de l image vers l ing nierie neuromorphique 13 1 2 Vers une vision dynamique 16 1 2 1 Quel est le r le du temps dans le calcul neural 17 1 2 2 Quels mod les de codage impulsionnel rapide 20 1 2 3 Vers des mod les fonctionnels de la vision 23 1 3 Organisation de la th se 26 1 3 1 M thodologie scientifique 26 1 3 2 Plan de l tude Has oa init eS s 28 2 Neurophysiologie du syst me visuel 31 2 1 La vision comme un syst me dynamique 31 2 1 1 Quel est le but de la vision 31 2 1 2 La vision et son corr l t neuronal 39 2 1 3 Flux d information dans l architecture du SNC 40 TABLE DES MATIERES vi 2 2 Anatomie du syst me visuel 45 2 2 1 La r tine de l information lumineuse au codage im pulsigniich s as pos ae Ne
17. t mon directeur de th se Grace ton enthousiasme et ta rigueur scientifique tu m as fait d couvrir le sens et la beaut de la recherche merci Je te remercie aussi particuli rement pour les gestes qui m ont guid dans les moments difficiles Je remercie aussi vivement Simon Thorpe et toute l quipe du CERCO qui m ont accueilli choy et guid tout au long de ce travail Merci Rufin pour nos changes et merci Arno pour les multiples discussions et l ac cueil San Diego Je souhaite sinc rement remercier Michel Imbert Jeanny H rault et Yves Burnod pour avoir accept de participer mon jury et aussi pour l int r t qu ils ont manifest lors de la lecture et le soutenance de ce travail Pour m avoir accueilli pendant ces ann es au sein du DTIM D partement de Traitement de l Information et mod lisation laboratoire de l ON RA centre de Toulouse je tiens remercier Ren Jacquart alors responsable du d partement et Daniel Kalfon coordinateur de notre quipe Merci a Jo sette Brial No lle Desblancs et Christiane Payrau pour leur dynamisme et leurs encouragements ainsi qu tous les stagiaires Merci Manu pour le d placement depuis Marseille ill Je pense aussi tous ceux que j ai rencontr durant la th se lors de rencontres impr vues de conf rences ou coles d t en particulier Jorg Muito obri gado a Luis Matteus Susana Yuval Peter Anna Valeria Sander Domi
18. tation de la balise depuis son estimation pr c dente Cette technique a t utilis e gr ce une r gulation du haut en bas de l attention qui permet de r duire norm ment les co ts de calculs Ceci permet d envisager une im plantation sur le robot en d composant la phase lente de recherche s rielle de la cible dans l environnement puis une phase de guidage attentif Elle ouvre ainsi la porte l implantation d un guidage d un robot mobile par des amers qui est le sujet de la th se d Emmanuel Zenou dans ce m me laboratoire 4 3 Systemes visuels dynamiques et applications 197 Fic 4 3 4 D tection de balises par un robot Cette image pr sente une sc ne du robot mobile contenant les balises utilis es des drapeaux triangulaires noirs sur fond blanc Cette simulation se rapproche du traitement d une image dans le syst me visuel l information est pr trait e travers un syst me d une couche simulant l aire V1 puis par une couche similaire V4 d tectant des angles ai gus en particulier ceux correspondants aux polarit s des balises Une couche similaire IT d tecte enfin en combinant cette derni re information les diff rents types de triangles rencontr s diff rentes positions distances et angles La pro pagation de l information est progressive et hi rarchique dans le syst me Conclusion I am never content until I have constructed a mechanical mo del of the subjec
19. 3 1 3 Nous pourrons alors analyser le mod le de r tine pr sent par Van Rullen et Thorpe 2001 Celui ci aApropose un codage impulsionnel de l information r tinienne et en particulier un codage de cette information par l ordre d ac tivation voir Sec 3 2 2 Nous tudierons math matiquement cette trans formation et proposerons des alternatives constructives aux probl mes ren contr s En particulier nous proposerons une optimisation statistique de la propagation de ces impulsions gr ce aux statistiques des images naturelles voir Sec 3 2 3 que nous relierons une distance subjective entre les images Cette derni re section nous am nera alors naturellement une formalisation du codage impulsionnel par l ordre d activation voir Sec 3 3 Apr s avoir pr sent un mod le biologique plausible qui nous clairera sur ces principes nous tudierons cette transformation de fa on formelle en utilisant les outils des statistiques non param triques voir Sec 3 3 2 Des applications illustre ront ces r sultats et montreront en particulier l importance des param tres de cette formalisation mais aussi d une d finition exacte du rang Vers un code dynamique pars Apr s avoir voqu des limites du syst me pr c dent nous tudierons des mod les d interactions lat rales qui tendent les possibilit s de ce code neural En effet nous pourrons alors utiliser une repr sentation sur compl te de l informa
20. Bi et G G Turrigiano Stable hebbian lear ning from spike timing dependent plasticity The Journal of Neuroscience 20 23 8812 21 2000 G A Rousselet M Fabre Thorpe et S J Thorpe Two unrelated natural scenes can be processed as fast as one ECVP 2001 Supplement 2002 220 BIBLIOGRAPHIE J Rubin D Lee et H Sompolinsky Equilibrum properties of temporally asymmetric hebbian plasticity In ESF Symposium on Neuronal Plasticity and Dynamics Trieste 2000 Emilio Salinas et Terrence J Sejnowski Correlated neuronal activity and the flow of neural information Nature reviews Neuroscience 2 539 554 2001 Ferdinando Samaria et Andy Harter Parameterisation of a stochastic model for human face identification In Proceedings of 2nd IEEE Workshop on Applications of Computer Vision Sarasota FL December 1994 1994 URL http www uk research att com pub docs att paper 95 2 ps Z Manuel Samuelides Simon J Thorpe et E Veneau Implementing Heb bian learning in a rank based neural network Lecture Notes in Computer Science 1327 145 50 1997 Maria V Sanchez Vives Lionel G Nowak et David A McCormick Mem brane mechanisms underlying contrast adaptation in cat area 17 in vivo The Journal of Neuroscience 10 11 4267 85 2000 URL http www cns nyu edu earclub artfiles sanchez vives2000 pdf Walter Senn Misha Tsodyks et Henry Markram An algorithm for synap tic modification based on exact timing o
21. Mod le de neurone impulsionnel l Int gre et Tire Fuite A Le mod le Int gre et Tire Fuite est excit selon le m me protocole que pour la Fig 3 1 1 et en choisissant Tm 20ms tret 2ms Vieuin 54mV Vrepos 70mMmV et Vaaz 60mV De fa on similaire le neurone r pond pour une excitation suffisante et g n re alors un PA et sa latence change avec l amplitude De m me le neurone est ensuite hyperpolaris et peut g n rer un nouveau PA B Latence du premier PA du neurone en fonction de l amplitude de l excitation partir d un certain seuil de courant le neurone g n re un PA de plus en plus rapidement selon une fonction monotone similaire au mod le de Hodgkin Huxley temps de fuite Le potentiel de membrane V t d vie alors du potentiel de repos Vyepos en int grant le courant d entr e Z t jusqu atteindre le seuil La sortie est alors la suite des PAs t k gt 0 Core t rm Vilt aes 7 f bit 3 1 2 si V t gt Vieui1 alors P et VE lt t lt ti tref Vaaz Les potentiels Vieui1 et Vraz correspondent resp aux potentiels de seuil et de remise z ro Par cons quent si au temps t 0 on applique un courant constant d amplitude Zp au neurone son potentiel de repos V Vispos on peut calculer explicitement le comportement lin aire du neurone pour les 3 1 Mod les de codage temporel 77 temps positifs V t lt ep 3 1 3 Par cons q
22. ale de l image La th orie des ondelettes permet de prouver que l on peut reconstruire l image partir des coefficients de la transform e si la transform e d finit un cadre ou frame en anglais C est le cas en g n ral pour une classe de tranform e en ondelettes et la formule de Calderdn permet de reconstruire de fa on g n rale l image depuis les coefficients de la transform e Cette architec ture particuli re permet d crire une formule plus simple de reconstruction Th or me Soit I une image et Ci lt 1 6 gt pour i o X les coeffi cients correspondants la transform e en ondelettes dyadique Si on note Qs le complexe conjugu du sym trique de o ie bo et K E Ert o 01 2 571 1 lt s lt N Alors la reconstruction alley l Ss Ci pif l sera telle que Le I K D monstration Etudions d abord l image des coefficients une taille Les coefficients forment sur les points x y d chantillonnage de D une image C telle que Cole lt Fr Pee gt D eran OE AD Avec D dp la matrice nulle sauf sur les points de la grille de sous chantillonnage la taille Alors cette image peut s crire comme une convolution avec les sym triques des filtres chantillonn e aux points de D C I o Do On pourra alors crire la reconstruction c restreinte aux coefficients C et 3 2 Mod le dynamique de la r tine 109 donc limit
23. appara tre des sensibilit s qui couvrent progressivement toutes les orientations comme ce qui est observ dans V1 sous forme de pinwheels 182 Chapitre 4 Vers un code dynamique pars et avec le champ encore plus large des repr sentations sur compl tes Afin de comparer la compacit de cette repr sentation de notre mod le avec d autres techniques de compression nous avons cod des images 128 x 128 pixels par le code visuel de V1 pr sent auparavant et donc sur complet de 60 fois par pixel On en d duit dans un premier temps que le nombre de neurones est donc de 1282 60 et donc que l information n cessaire pour coder une impulsion est de log 128 60 8 2 48 byte par impulsion On peut alors comparer notre mod le au standard JPEG sur ces m mes images pour les mesures de qualit que nous avons d finies Ainsi on montre que malgr la simplicit de notre mod le il rivalise avec ce standard industriel Cela est d autant plus vrai pour l EQM sur les forts taux de compression JPEG tant optimis pour une qualit de 75 dans une chelle de 0 100 et aussi pour l EQMB voir Fig 4 2 8 des taux inf rieurs de compression En effet comme JPEG introduit une analyse par blocs ceux ci apparaissent aux forts taux de compression introduisant une erreur sensible haute fr quence auquel l il humain et l EQMB sont plus sensibles D tection de contours Un autre application importante en trait
24. avec la d viation standard lors de l apprentissage la zone pleine correspond une d viation standard de la moyenne Les variances sont plus faibles que dans Fig 3 2 5 et les courbes sont rectilignes sugg rant une loi en puissance de la r partition des discontinuit s dans les images naturelles on observe que dans le cas pr c dent les d croissances des coefficients sont diff rentes alors que gr ce l optimisation statistique on a ramen cette d croissance des coefficients aux diff rentes tailles des amplitudes et pentes similaires Ceci explique donc que l utilisation de la LUT est ici plus na turel dans ce cas car il correspond une r gularit dans la physique des images naturelles cette loi refl te la distribution de probabilit des coeffi cients d irr gularit de Lipschitz dans les images naturelles et est li e aux propri t s d auto similarit des images naturelles Turiel et al 1998 Turiel et Parga 2000 On en d duit de ces calculs une implantation qui permettent alors de d terminer les r sultats de la propagation progressive de l image pour ce code optimis voir Fig 3 2 11 Comme le laissait pr voir nos observations et la faible variance de la fonction de modulation on observe que la conver gence de la reconstruction est beaucoup plus fine que pour la reconstruc tion pr c dente Aussi on remarque que si on d couple la propagation diff rentes chelles ce qui semble
25. centaines de neurones V1 totalise chez l homme environ 350 millions de neu rones V1 est une aire corticale organis e verticalement comme nous l avons d crit dans la Sec 2 1 3 et les travaux de Hubel et Wiesel 1959 1962 ont montr qu elle tait form e d hyper colonnes montrant une s lectivit la direction du contour d un stimulus visuel Des m thodes d imagerie Tanaka 1996 permettent de mettre en vidence la carte de la r partition de ces orien tations montrant une inter digitation des diff rents stimuli Cette organisa tion est caract ristique de la projection d un signal multidimensionnel sur la surface bidimensionnelle du cortex par des processus locaux de comp tition et coop ration et forme des bandes dites de Turing Turing 1952 Plus pr cis ment les fibres de la voie Magno correspondant l information rapide de luminance projettent sur une sous couche de la couche corticale granulaire la couche IV C de V1 pour former une image principalement st r oscopique et des contours puis contactent comme nous l avons d crit les couches supra granulaires II et III les cellules simples Une l sion de ces aires entra ne une disparition totale de toute perception visuelle corres pondant la surface l s e La propagation peut alors tre modifi e par les neurones de la couche IV B qui sont sp cifiquement s lectifs des mouve ments dans la direction perpendiculaire la direction pr f r
26. e les cellules complexes et ainsi pr voir la r ponse future Ainsi le contexte d orienta tion direction du regard profondeur sont autant de facteurs qui influencent la r ponse des neurones de V1 et soulignent l importance du contexte dans les processus cognitifs L aire visuelle secondaire V2 Les neurones de V1 projettent ensuite sur l aire corticale voisine V2 apr s un total d environ 50 70 ms La fonction de cette aire de surface l g rement plus r duite semble tre semblable premi re vue les neurones tant sen sibles des barres diff rentes orientations mais sur des champs r cepteurs plus larges Wallis et Rolls 1997 un ph nom ne d largissement qui se g n ralise en allant vers les aires sup rieures Toutefois Leventhal et al 2 2 Anatomie du syst me visuel 53 1998 a prouv que la r ponse des neurones de V2 pouvait tre ind pendante de la fagon dont ces barres sont dessin es c est a dire qu un m me neurone r pondra une barre pleine et la m me barre dessin e avec une texture Ce r sultat sugg re un principe g n ral d organisation corticale Tout d abord il montrerait qu la suite de la transformation dans la r tine un des prin cipes des processus neuronaux pourrait tre de d composer le signal en ca naux ind pendants en s parant ici le contour de la texture Ceci revient un processus d ing nierie inverse dans le sens o le si
27. e sur des images naturelles de 128 x 128 blan chies par le noyau de d corr lation pr cis pr c demment et 15 filtres 9 x 9 on suit donc exactement le protocole de Olshausen et Field 1996 On a de m me utilis les m thodes de contr le du gain de SPARSENET pour contr ler la comp tition entre les neurones On v rifie en pratique que si deux neu rones convergent vers des filtres similaires alors cette solution sera instable et qu un seul sera pr serv de telle sorte qu il n y a pas de doublons Aussi apr s environ 500 it rations les filtres convergent nettement vers des filtres similaires ceux observ s dans les travaux pr curseurs de Linsker 1986 dans les r sultats de van Hateren et van der Schaaf 1998 ou dans l algo rithme SPARSENET et qui correspondent aux composantes ind pendantes de l image Bell et Sejnowski 1997 voir Fig 4 2 6 On a donc prouv que nos r gles plus simples et sans contrainte de type cologique peuvent permettre de retrouver des r sultats similaires On remarque toutefois que l ordre des filtres est indiff rent et qu ils n ont pas de relation spatiale entre eux On peut alors introduire des relations spa tiales excitatrices courte port e et inhibitrices port e plus large qui vont stimuler comme dans une carte auto organisatrice de Kohonen la formation de relations topographiques Ici on a exp riment cette modification de l al gorithme en reliant ces filtres
28. il est d sirable que la r ponse des neurones reste la m me et donc qu elle soit qualitative au lieu d tre quantitative Il est alors n cessaire d uti liser le rang local c est dire le rang calcul pour un neurone comme il a t sugg r dans le mod le biologique Nous avons simul une telle application pour une recherche de motifs dans une image dont le contraste transversal varie suite une erreur de num risation suivant une rampe Les r sultats montrent que si l on utilise le rang glo bal des motifs incorrects peuvent tre propag s avant des motifs corrects mais peu contrast s voir Fig 3 3 6 Milieu Suivant l application on pourra plutot choisir le rang local les motifs correspondent a des r ponses similaires ind pendamment du contraste local voir Fig 3 3 6 Bas Cette derni re pro pri t est commune dans le syst me visuel et permet d tendre la gamme dy namique de notre perception Toutefois si ce processus est vident a implan ter dans un syst me de calcul parall le il est prohibitif dans un calculateur de type von Neumann 3 3 Codage par Rang 145 publics L eau est grise bras de mer Un ray ciel an antit cette comi publies L wau st D publies L gau est gris bras d mer Un rayon el an antit estt com FIG 3 3 6 Recherche de concordance Le codage par rang est particuli rement adapt la recherche de motifs appris dans l image
29. les sources thalamiques et servir de r gulateur du flux d information visuelle Elle influence aussi directement la sensibilit de la voie en avant en modi fiant le seuil de g n ration d un v nement en avant depuis l activit de la colonne On pourra dans ce cadre d finir les poids li s cette activit par un processus de renforcement qui par exemple dans V1 mettra en avant les contrastes d orientation Mod lisation de V4 Afin d illustrer ce mod le de fa on fonctionnelle imaginons que nous connections une premi re aire visuelle s lective aux orientations locales soit comme V1 une aire compos e de neurones s lectifs des angles cour bures et lignes et qui correspondrait donc biologiquement V4 Pour des raisons de volume de calcul nous ne consid rerons ici plus qu une fraction de la carte r tinotopique Les v nements calcul s depuis V1 se projetteront sur ces neurones de telle sorte qu chaque point correspondra une activit d autant plus forte que la courbure locale c est dire que l angle entre des segments contigus est proche d une pointe Si l on repr sente une reconstruction de l information v nementielle depuis les sorties de ces deux aires nous obtiendront des r sultats dynamiquement diff rents Comme nous l avons vu la sortie de V1 met en avant les contrastes orient s dans l ordre de la mesure de leur singularit et nous verrons typi quement appara tre da
30. lit nous avons privil gi le recours massif des d finitions et de notations unifi es pour viter les confusions Une table d abr viations et les hyperliens de la version lectronique vise respecter la fluidit du texte Nous allons Le logiciel sous licence GPL Octave permet dans une large mesure de r aliser ces simulations De m me le logiciel SciLab permet lui de convertir les scripts dans un langage similaire 28 Chapitre 1 Comment casser le code de la vision aussi essayer d exploiter la contrainte de langue de mani re constructive pour proposer de normaliser en fran ais des termes consacr s en anglais Nous in diquerons alors les n ologismes quand ils sont inhabituels 1 3 2 Plan de l tude Comme il a t sugg r ce travail va d buter par l tude de la neurophy siologie du syst me visuel pour ensuite proposer des mod les de neurones et de r seaux neuronaux de codage rapide Nous proposerons alors un mod le de codage impulsionnel pars et nous pr senterons aussi des applications de ce mod le La neurophysiologie du syst me visuel Dans un premier temps le chapitre 2 pr sentera les fondements physio logiques des processus de la vision Tout en gardant une vision d ing nieur nous soulignerons en particulier les aspects temporels de la biophysique des calculs dans le syst me visuel et nous tudierons l organisation distribu e et les particularit s du traitement de
31. math matiquement le logarithme base 2 de l inverse de la probabilit d un message donne l information en bit Shannon 1948 6 et donc si la sortie d un neurone seul est relativement peu surprenante la situation est diff rente si l on consid re le motif spatio temporel des PAs d une assembl e de neurones Dans un premier temps ceci explique que th oriquement un ordinateur ca denc 2 GHz sur un mot de 32bits soit peine plus efficace que par exemple l quivalent parall le et synchrone du cerveau d une pieuvre dont chacun des 300 millions de neurones produirait un maximum de 200 Pits s soit th oriquement m me si cette vision holistique est id alis e et ne sert bien s r que d illustration 60 GOps Ce calcul peut tre tendu l homme en consid rant les 10 synapses qui re oivent une moyenne de 10 impul sions par seconde Aussi la structure asynchrone du code le rend autrement plus performant En effet dans ce cas les signaux vont d pendre du d cours temporel des impulsions et cette explosion combinatoire est th oriquement encore d autant plus amplifi e que la pr cision des impulsions est grande En r sum nous pouvons en d duire que le corr l t du code neural est port de neurone en neurone par des signaux l mentaires impulsionnels et ro bustes qui se composent pour former le code neural Cette composition per SUn argument c l bre examine un singe un peu particu
32. orie neurale bas e sur cet axiome et qui conduise une nouvelle math matique du code neuronal qui exhibe de tr s bonnes performances par rapport d autres types de codage De plus des mod les biologiques permettent de la justifier mais aussi d en pr ciser la d finition La vision pourrait alors dans ce cadre tre d crite par un flux d v nements crypt par les chemins qu il emprunte selon des cl s comme celle de l ordre d activation des neurones sur une aire Les neurones consid r s alors dans ce type de r seaux comme des routeurs utilisent ce code pour savoir s il doivent relayer cette information et avec une mesure modul e par leurs temps de tir relatifs Adaptation cologie et volution dans les neurones impulsionnels Ce type de code bas sur le rang implique que l information est cod e gr ce aux coop rations et comp titions entre neurones La r ponse des diff rents m canismes neuronaux doit donc tre adapt e pour que ces comp titions op timisent l information port es par les PAs tout en respectant les contraintes m taboliques Par exemple si l on simplifie le nerf optique un canal bruit de transmission de l information des principes d optimisation compl mentaires viseraient maximiser la qualit de la transmission de l information tout 22 Chapitre 1 Comment casser le code de la vision en minimisant la consommation d nergie li
33. rales comme le support d un algorithme de poursuite Poursuite gourmande En effet ces m canismes se rapprochent d un algorithme de poursuite gourmande qui est une technique introduite en statistique pour calculer un mod le g n ratif de densit s de probabilit s On va estimer les filtres et co efficients d q 4 1 2 en utilisant une strat gie r cursive gourmande ou gloutonne 1 on choisit le point correspondant l activit la plus forte puis 2 on inhibe l image suivant le filtre qui a t s lectionn en sous trayant l image la projection orthogonale du filtre Cet algorithme va donc introduire un processus r cursif g n rant d un cot une suite de r sidus de l image d composer et d un autre une estimation lin aire par les l ments 156 Chapitre 4 Vers un code dynamique pars du dictionnaire Formellement on va donc dans un premier temps calculer les activit s C pour tous les filtres en utilisant le produit scalaire d fini par un espace de Hilbert H ici le produit scalaire usuel C lt Qi gt D er I 1 amp 1 4 1 4 Ensuite on va choisir le filtre i correspondant l activit maximale ce que l on note i ArgMax C 4 1 5 On retire alors de l image la projection de ce filtre c est en effet la solu tion optimale pour minimiser la distance dans l espace H pour obtenir une nouvelle image T le r sidu lt
34. thode peut fournir des moyens simples de d tection d entr es synchrones Il faut alors tendre ce syst me des r seaux et des principes plus complets et particuli rement des motifs asynchrones Par exemple V exp in T o correspond une distance et T une temp rature 3 1 Mod les de codage temporel 97 synapse potential mV A al ine aris sol 7 6 2000 2 1000 200 400 600 800 1000 neuron 0 0 time ms time ms FIG 3 1 11 D tection de la coh rence par STDP Gauche L entr e est un flux constant de PAs que l on peut caract riser comme un processus ponctuel de Poisson de moyenne 1 5Hz pour chaque fibre et sur lequel on ajoute 5 si gnaux synchronis s diff rents ici t 100ms 300ms 500ms 700ms 900ms Droite La couche neurale consiste en 5 neurones qui apprennent de fa on non supervis e suivant la r gle d crite dans le texte voir Eq 3 1 25 Apr s environ 100s en temps du r seau simul le r seau a converg et r pond aux diff rents signaux et seulement un de ceux ci le r seau s est donc adapt l entr e pour d tecter les signaux coh rents 98 Chapitre 3 Mod les de codage rapide 3 1 3 Codage impulsionnel par la latence de la premi re impulsion Les mod les que nous avons pr sent s dans les sections pr c dentes per mettent de r pliquer des aspects fondamentau
35. tre le cas dans la r tine avec les voies Magno et Parvo on pourra garder cette strat gie de codage de la valeur 128 Chapitre 3 Mod les de codage rapide 0 8 ee 1 5 a 0 6 ra EQM 64 M 02 oe S R 0 20 40 60 80 100 0 20 40 60 80 100 Rang Rang Fic 3 2 11 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e optimis e On a compar la mesure de A l Erreur Quadratique moyenne EQM ou MSE et B de l information mutuelle pour le code r tinien optimis avec la reconstruction id ale par les coef ficients La reconstruction est plus lente au sens de l EQM car cette propagation se base sur l EQMB mais est beaucoup plus fine par rapport la reconstruc tion th orique traits pointill s L information mutuelle s approche ainsi de fa on quasi parfaite de la reconstruction th orique 3 3 Codage par Rang 129 absolue tout en propageant certaines chelles avant suivant les contraintes de rapidit impos es au syst me Cette strat gie montre en effet que la valeur analogique est parfaitement cod e par l ordre d activation des neurones dans cette architecture correctement quilibr e gr ce aux statistiques des images naturelles 3 3 Codage par Rang Le mod le que nous avons construit pr sente donc un code complet de propagation asynchrone et temporelle de l information r tinienne par l ordre d
36. une surface pliss e dont nous cherchons les contours La d tection est ais e sur la surface mais Gauche la m thode de Canny pr sente certains probl mes aux faibles contrastes mais surtout aux coins aigus et aux jonctions algorithme im plant par MATLAB Droite La strat gie de connaissance a priori garanti la propagation en avant des contours colin aires ou cocirculaires La repr sentation obtenue par le codage impulsionnel permet de d coupler les contours suivant leur param tres orientation taille et permet d viter les erreurs lors de croisements de lignes de contour on a repr sent les pixels qui correspondent une impulsion ainsi que les lignes qui correspondent des liens entre contours voisins de Canny cette m thode peut alors servir comme base la reconstruction de limage Mallat et Zhong 1992a b De plus on observe que les contours sont d tect s suivant des avalanches se propageant de proche en proche le long des cr tes de l activit En d finissant cet algorithme par un jeu de r gles locales qui imitent les m canismes de perception du contour Peterhans et Von der Heyt 1989 on d finit ce processus dans son implantation corticale de fa on analogue aux automates cellulaires 4 3 Syst mes visuels dynamiques et applica tions Above all the cerebral cortex is a part of a multi level biological system which has a global coherence Burnod 1989 p 7 4 3 Systemes vi
37. we will at first base the mechanisms of this code on the biological processes on the scale of the neurone and synapse This me thod will make it possible to define a generative model of synaptic plasticity Perrinet et Samuelides 2000 which formalisation and results are compa tible with the neurophysiological observations Perrinet et al 2001 Delorme et al 2001b In particular such a model can induce thanks to informational principles the non supervised extraction of coherent information in the flow xvii xviii Abstract of the neuronal impulses Perrinet et Samuelides 2002a Coding by the latency of the first spike can then be applied to a model of the retina which makes it possible to define a complete spike coding and de coding algorithm in the optic nerve Van Rullen et Thorpe 2001 It is based on multi scale architecture similar to a wavelet transform and exploits the regularities of its coefficients over the set of natural images to quantize their values by the rank of the spikes We will then optimize this method according to the results of Atick 1992 by using an ecological approach for the visual spike code This code is based on optimisation of the information transmit ted by the impulses Perrinet et Samuelides 2002b thanks to the statistics of natural images This method improves the regularity of the coefficients on all the natural images both theoretically and practically and therefore the effectiveness of
38. ASE 4 et Ases 0 ou une activit plus r guli re avec la d pression ASE 0 5 et ASE 2 88 Chapitre 3 Mod les de codage rapide Plasticit hebbienne 4 modulation temporelle relative Spike Time Dependant Plasticity STDP Alors que l on consid re souvent que l adaptation synaptique r sulte d ac tivations impulsionnelle massives Debanne et al 1995 ont prouv que si on excite une synapse par des PAs pr et post synaptiques dont le d lai relatif de l ordre de 10 ms est constant et que l on r p te cette exp rience le temps relatif entre ces PAs peut changer long terme de l ordre de 10 min Veffi cacit de cette synapse En particulier Markram et al 1997 et Bi et Poo 1998 ont montr que le signe de cette variation d pendait de l ordre de tir entre l impulsion pr et post voir Fig 3 1 7 et que l amplitude de ce chan gement augmentait avec la bri vet de ce d lai voir Fig 3 1 8 A Ainsi si le neurone pr synaptique contribue faire tirer le neurone post synaptique la synapse est augment e Potentiation Long Terme alors que si le neu rone tirait avant qu il re oive un PA la synapse est diminu e D pression Long Terme Ce processus va donc privil gier les synapses qui entretiennent une relation causale entre l entr e et la sortie On peut donc rapprocher cette r gle de la r gle de Hebb voir Sec 2 1 2 puisque la formulation est quali tativement exac
39. Celebrini et al 1993 4 1 Pour un mod le d interactions lat rales 163 le ce n est pas r aliste biologiquement Il suffira alors de consid rer la m me architecture que pour Sec 3 2 2 et crire la reconstruction gr ce la relation dans Eq 4 1 12 C est a dire qu a chaque impulsion arrivant au r cepteur on pourra crire PH i 4 mihu 4 1 22 o mt value la valeur du coefficient de rang t De mani re similaire Sec 3 2 2 nous avons tudi la r gularit de la d croissance de la valeur absolue des coefficients en fonction du rang de d charge Mais on peut am liorer le code impulsionnel en imaginant alors que cette fonction de modulation est apprise aux niveaux du d codage mais aussi du codage et ainsi profiter du caract re adaptatif de la poursuite gourmande Ainsi comme dans Sec 3 2 2 on va calculer la table de correspondance par par exemple mi 4 mt ERSA m t 4 1 23 o n correspond au pas d apprentissage de la table de correspondance Tou tefois on va utiliser pour l inhibition la valeur correspondant celle qui est attendue au d codage On aura donc une nouvelle expression de l algorithme sous la forme it ArgMax p C C CF mt lt bit Gi gt Ces expressions d finissent alors une strat gie compl te de codage et d codage impulsionnel avec une repr sentation sur compl te et parse en utilisant des interactions lat rales 4 1 4 Appl
40. Haut On a utilis le rang global pour calculer le potentiel lin aire d un neurone s lectif un motif ici la lettre e en chaque point de l image Milieu en mettant progressive ment des impulsions toiles rouge puis vertes Toutefois il existe une variation de contraste suivant une rampe transversale et des neurones r pondent des motifs incorrects mais plus contrast s Bas On a alors utilis le rang local pour d terminer le potentiel des neurones la r ponse est alors ind pendante du contraste mais varie seulement avec le rapport signal sur bruit La r ponse im pulsionnelle est meilleure et ily a moins de fausses d tections source du texte A Rimbaud R v lations BNF 146 Chapitre 3 Mod les de codage rapide VI 2 R tine Pj AAE R On 45 225 centre oI 2 Image Off 90 710 bo centre _ C L Bouche LU A ta Un FIG 3 3 7 Architecture de SPIKENET L image est cod e de fa on asynchrone suivant des chemins divergents de la r tine sur l aire V1 puis converge vers une carte similaire V4 Cette carte d tecte des parties de l image yeux bouche puis enfin l activit dans la derni re carte correspond la localisation d un visage source Van Rullen et al 1998 Spikenet Finalement on peut imaginer un syst me entier bas sur ces principes pour implanter un processus visuel comple
41. Mod le dynamique de la r tine 113 ondelettes puis l algorithme quivalent de propagation utilisant les coeffi cients de la pyramide laplacienne Dans les deux cas on reconnait l image apr s seulement quelques centaines de PAs sur un total de 512 x 8 3 700 10 voir Fig 3 2 3 soit dans un cadre physiologique environ 25 ms et la reconstruction est presque parfaite apres qu autant de PAs aient t mis qu il y a de pixels soit environ 20 On remarque la pyramide laplacienne semble aussi adapt e ce qui est confirm par les mesures statistiques de la convergence de ces reconstructions sur une base d images dont on extrait des imagettes de 128 x 128 pixels On mesure alors en g n ral la convergence de l algorithme en mesurent l Erreur Quadratique Moyenne EQM ou en an glais Mean Squared Error MSE qui mesure quantitativement une nergie moyenne de l cart entre l image J et sa reconstruction Irec sur les pixels Z de l image EQM I Irec El Irecl ED Irec l 3 2 10 IET et l Information Mutuelle comme la quantit moyenne d information gagn e sur J quand est connu soit la somme des entropies voir q 3 1 28 des luminosit s pour chaque image Ly et Lr donc l entropie des probabilit s marginales moins l entropie des luminosit s coupl es soit l entropie de la probabilit jointe IM I Izec H P 1 H PUrec H P L Irec 3 2 11 P Lr Lr D
42. Rev E 59 4498 4514 1999 Richard Kempter Wulfram Gerstner et J Leo Van Hemmen Intrinsic sta bilization of output rates by spike based hebbian learning Submitted to Neural Comput Dec 1999 revised Sep 2000 2000 1 definition of heb bian learning refs on stdhp 2 possible scenarios 3 rate based learning 4 spike based C Keysers D Xiao P Foldiak et D I Perret The speed of sight J Cog Neurosci 13 1 90 101 2000 Christof Koch editor Biophysics of Computation Information Processing in Single Neurons Oxford University Press New York 1998 214 BIBLIOGRAPHIE Christof Koch et Idan Segev editors Methods in Neuronal Modeling From Synapses to Networks The MIT Press Cambridge MA Cambridge Mas sachusetts second edition 1999 Christof Koch et Idan Segev The role of single neurons in information processing Nature Neuroscience 3 1171 7 2000 T Kohonen Self organized formation of topologically correct feature maps Biological Cybernetics 43 59 69 1982 G Kreiman I Fried et Christof Koch Single neuron correlates of subjective vision in the human medial temporal lobe Proc Natl Acad Sci USA 99 8378 83 2002 L Lapicque Recherches quantitatives sur l excitation lectrique des nerfs trait e comme une polarisation J Physiol Paris 9 620 35 1907 S B Laughlin A simple coding procedure enhances a neuron s information capacity Z Naturforsch 36c 910
43. S 20 50 15 60 J I I fF j i A 70 5 Tes L L 1 L MM 80 L 1 1 20 40 60 80 100 20 40 60 80 100 time ms time ms time ms FIG 3 1 4 Mod le de neurone impulsionnel On a mod lis un neurone SRM avec 50 entr es synaptiques Gauche Trains de PAs en entr e g n r s par un processus de Poisson et auquel on a ajout t 25ms un motif synchrone sur la moiti des synapses avec un talement temporel de 2ms Milieu Courants synaptiques dans le temps Droite Potentiel du neurone un PPS g n r par la synapse 1 est montr comme illustration Le neurone met un PA quand il d passe le seuil ligne discontinue t 0 voir q 3 1 2 Tm n t n t avec 7 0 Vaaz Vseui1 soit n t Vraz A N gt 0 Tm 3 1 11 3 1 12 tant donn s et n les potentiels correspondant resp au PA et la p riode 82 Chapitre 3 Mod les de codage rapide r fractaire le mod le SRM est alors donn par Vi t nlt 4 Oy Der welt t a 3 1 13 si V t gt Veeuir et Vi t t lt Veena alors t t Bien que seulement descriptif ce mod le peut simuler avec pr cision la r ponses d un neurone biologique De plus ce mod le est lin aire et contrairement au mod le HH permet une implantation et une tude math matique simple de la transformation du neurone I permet aussi par rapport au mod le LIF de d crire
44. a ICE 3 2 15 avec pu le gain stochastique et qui v rifie donc RE Se EL X _1 vo Hn lt Cette r gle peut tre r alis e biologiquement par un pro toutefois d croissante on choisit e g la r gle lin aire avec m 0 1 1 et mO N 0 typiquement u 1 n 118 Chapitre 3 Mod les de codage rapide 2000 1 50 1500 0 8 40 0 6 1000 30 0 4 500 UT x LUT 0 2 10 3 0 0 0 0 01 0 1 1 10 100 0 01 0 1 1 10 100 0 01 0 1 1 10 100 Rang Rang Rang Fic 3 2 5 Quantification par leur rang de la valeur absolue des coefficients de la transform e On a compar les trois fonctions de quantification A LUT B LUT et C LUT voir q 3 2 14 les zones pleines correspondant un cart d une fois l cart type depuis la moyenne Les derni res m thodes r duisent nettement la variance mais n cessite la transmission d un coefficient normalisa teur cessus adaptatif plus long terme que la dynamique du syst me et peut par exemple utiliser le codage par fr quence Comme math matiquement le choix de u modifie seulement le d codage et non le codage u tend donc vers la fonction LUT calcul e pr c demment ce qui est confirm par les simulations Une repr sentation compacte et dynamique La reconstruction d imagettes 128 x 128 par cette m thode montre que la reconstruction de l image par la valeur quantifi e des coefficients dans
45. a priori trop pauvre puisque quelle que soit sa latence exacte son information se r sumerait tre ou ne pas tre syn chrone soit une information d un bit par neurone qui ne peut pas expliquer le flux d information observ En effet il faudrait alors par exemple de la r tine au CGL un nombre bien plus important de fibres Il semble donc qu une part suppl mentaire de l information est port e par l asynchronie des impulsions Mais comme toutefois il parait improbable qu il existe une horloge globale les neurones ne peuvent pas voir la latence absolue et nous allons explorer la possibilit que l information soit cod e par la latence relative du front de PAs 2 3 3 Vers un mod le dynamique de la vision Nous allons volontairement simplifier ce mod le iconoclaste pour laisser appara tre clairement les processus que ce mod le met en vidence et qui semblent essentiels aux processus visuels et cognitifs Un processus en avant et asynchrone Tout d abord l oppos des mod les classiques de la vision ce mod le propose que les processus li s la CUR et au traitement visuel rapide en g n ral sont propag s en avant et de mani re asynchrone C est dire tout d abord qu un seul passage de l information par couche est suffisant et que les processus r currents ne sont pas n cessaires la r ponse Aussi le mode 2 3 Contraintes temporelles sur le code visuel 67 de prop
46. activation des neurones Il permet gr ce au codage par rang de d duire un m canisme simple pour transmettre progressivement l image au niveau du CGL Cette alternative aux codages neuronaux classiques et parti culi rement au codage par la fr quence de d charge a t propos e initia lement par Thorpe et Imbert 1989 et permet dans un cadre biologiquement plausible d expliquer le traitement rapide dans le syst me visuel Mais c est aussi un formidable outil de calcul parfaitement adapt au traitement du signal et de l image 3 3 1 Inspiration biologique du codage par rang En se basant sur des donn es neurophysiologiques r centes nous allons tout d abord proposer un mod le qui compl tera les mod les de la Sec 3 1 en prenant en compte l aspect temporel et asynchrone du signal neuronal Implantation biologique d un codage par l ordre d activation On a vu voir Sec 2 3 des m canismes possibles pour qu une partie de l information impulsionnelle soit cod e par la latence voir Sec 3 1 et nous avons montr que les param tres des neurones et de leurs synapses taient des facteurs d terminants pour pr voir leur r ponse au flux impulsionnel En particulier les m canismes d adaptation que nous avons introduits induisent des m canismes hom ostatiques qui font en sorte que la r ponse en latence est plus rapide le potentiel tant plus souvent proche du seuil de d charge et que 130 Chapitr
47. airement par l ensemble des sensibilit s de ces neurones un compor tement qui se rapproche des observations biologiques par rapport au mod le lin aire de Rodieck 1965 D codage impulsionnel De la meme mani re pour tudier la qualit d un d codage impulsionnel nous allons imaginer que l on veuille reconstruire l image m me si r p tons 162 Chapitre 4 Vers un code dynamique pars 180F T T T T T orientation Ss LS 90 F 180 E fi fi fi fi fi 1 fi 100 200 300 400 500 600 700 latence ms FIG 4 1 3 Codage impulsionnel par poursuite a gourmande On a simul ici un r seau de 25 neurones LIF s lectifs l orientation filtres de Gabor auxquels on pr sente l instant 0 la direction pr f r e En plus du m canisme impulsionnel et de la remise z ro on a simul une poursuite a gourmande pour a 50 La r ponse fr quentielle sur 3s est pr sent e droite courbe pleine et est compar e avec la r ponse lin aire Cet exemple simple montre que la poursuite gourmande resserre donc la courbe de sensibilit des neurones et on contr le ce comportement par le param tre a et accentue l expression temporelle d un code impulsionnel un comportement non lin aire qui est observ dans V1 Pour le cas a 1 le neurone correspondant la direction pr f r serait le seul r pondre On remarque la similarit de la r ponse impulsionnelle avec les r sultats de
48. al 1999a et dont les performances se rapprochent des syst mes biologiques Toutefois les conditions sur l architecture du mod le de transmission dans le nerf optique impliquent des limites qui ne permettent pas son extension d autres aires visuelles Nous allons r pondre aux besoins d un mod le effi cace de la Vision en fondant une th orie de repr sentation impulsionnelle sur compl te de l image Cette formalisation conduit alors une strat gie de code impulsionnel pars Perrinet et Samuelides 2002c en d finissant de fa on ri goureuse des interactions lat rales Cette strat gie peut alors tre tendue un mod le de colonne corticale adaptative gr ce une r gle d apprentis sage par renforcement qui montre des comportements comme l mergence de filtres corticaux similaires la biologie et aux r sultats d autres mod les computationnels comme ceux de Olshausen et Field 1998 De plus ce pa R sum XV radigme s adapte particuli rement la construction d une carte de saillance mod lisant de fa on dynamique les zones d attention dans l image Perrinet et al 2002 Tout en s int grant dans le cadre de l ing nierie neuromor phique ces techniques font merger de nouveaux outils pour le traitement de l image dont nous montrons des applications la d tection de contours a la compression dynamique d images et enfin a la reconnaissance d objets appliqu e a la r
49. ask it the ultimate question Is there a God After several tense minutes of clicking and clacking and flashing of lights a card pops out which reads There is now Alwyn Scott in How Smart is a Neuron A Review of Christof Koch s Biophysics of Computation Comme il a t sugg r par Marr 1982 pour construire un mod le de la vi sion nous allons maintenant proposer des implantations des d finitions neu rophysiologiques que nous avons introduit au chapitre 2 Nous allons pour cela introduire tout d abord des mod les r alistes de neurones impulsion voir Gerstner et al 1999 pour une revue compl te et tudier ainsi les capa cit s de calcul et d adaptation des neurones Nous tudierons alors un mod le de r seau neural impulsionnel simulant la transformation r tinienne et com patible avec les contraintes introduites par les r sultats de la cat gorisation ultra rapide CUR Sec 2 3 Enfin nous allons proposer un mod le de co dage neural impulsionnel bas simplement sur l ordre d activation des neu rones et montrer son efficacit 71 72 Chapitre 3 Mod les de codage rapide 3 1 Mod les de codage temporel 3 1 1 Mod lisation du m canisme impulsionnel Nous allons tout d abord pr senter des mod les de g n ration mais aussi d int gration et d adaptation des PAs afin d tudier des mod les impulsion nels de neurones comme base d un mod le de codage temporel
50. cale dans une aire en rendant les neurones progressivement plus sensibles et en les soulignant depuis le plus activ Ces rythmes illustrerait alors une coop ration entre la physiologie et la fonctionnalit du r seau pour pouvoir coder l image dans l espace et le temps par un code impulsionnel temporel et asynchrone L image est cod e par le front de PAs Ce mod le est confirm par des tudes statistiques pouss es sur des en registrements de neurones in vivo initi es par Panzeri et al 1999 Ces exp riences montrent que si l on initie une activit transiente une grande partie de l information est cod e dans les premiers PAs de ce train d impul 66 Chapitre 2 Neurophysiologie du syst me visuel sions alors que les PAs suivants organis s en bouff es d activit ou en un tir r gulier sont plus pr dictibles et portent donc par cons quent moins d infor mation L information visuelle est donc cod e en premier par le premier PA sur chaque fibre et donc par le front des impulsions neuronales Ceci a t mis en vidence en particulier dans V1 ot les latences de tir du front de PAs sont corr l es de cette fa on la sensibilit l orietation Celebrini et al 1993 Ce type de codage est particuli rement robuste une transmission le long d une commissure mais on peut se demander par quels m canismes celle ci pourra tre d cod e Ainsi l information de synchronie est
51. consid rer l activit de chaque neurone on observera alors plut t la suc cession dans le temps des fibres activ es On comprend alors qu il est im portant de fixer pr cis ment la norme des poids synaptiques des diff rents filtres c est dire le gain des cellules ganglionnaires car elle contr lera la latence relative des filtres Dans un premier temps comme dans Van Rullen et Thorpe 2001 et comme il est habituel en th orie des ondelettes nous choi sissons de normaliser les filtres pour n importe quelle taille 1 c est dire de poser que si nous pr sentons l image des poids d un filtre quelconque la r ponse de ce filtre lui m me sera 1 L image d un filtre quelconque quel que soit sa taille fournira un premier PA une m me latence standard Nous consid rerons alors que le nerf optique n introduit pas de diff rence de d lai et que la vol e de PAs produite a la r tine arrive dans le m me ordre au CGL Une fois ce sch ma d fini on peut se demander comment les impul sions transmises au CGL peuvent tre interpr t es et comment elles peuvent transmettre la valeur des coefficients de l ondelette et donc une reconstruc tion progressive de l image On peut alors proposer que le rang de ces PAs est suffisant pour reconstruire correctement l image Pour cela l image d une analyse de corr lation invers e nous allons construire une fonction donnant la valeur analogique en fonct
52. d unit s activ es de fa on coh rente Dans le cadre du codage de l information visuelle ce code doit pouvoir don ner une repr sentation stable pour les transformations usuelles c est dire que la repr sentation de la transform e d une image peut se rapprocher d une transform e de la repr sentation de l image l oppos donc de ce que l on a vu a la Fig 4 1 1 Ainsi par exemple on peut souhaiter que la repr sentation d une image grossie puisse se d duire d une transformation simple de la repr sentation originale Un avantage computationnel imm diat est la g n ralisation de cette repr sentation d un objet par exemple depuis des images prototypes l ensemble d images g n r es par les compositions de ces transformations et par exemple l apprentissage d un tel objet depuis un nombre limit de pr sentations Un autre avantage est que le codage pars va alors permettre comme il a t sugg r dans Sec 2 2 2 d implanter des calculs complexes comme interpoler un visage inconnu depuis deux visages connus simplement par la configuration spatiale de l activit sur des surfaces les cartes topologiques repr sentant des gammes de stimulus complexes auto organis s comme dans l espace de faces observ dans IT Si l on consid re une assembl e de neurones un tel codage n cessite une pro pagation de l information entre ces neurones et donc d implanter des inter LOL 2 ee
53. de contours LDG AG 3 2 4 2e ihep Pea lill exp 7 3 2 5 re 1 2 x Go D Grace 0 3 2 6 La derni re quation Eq 3 2 6 approchant comme l avait sugg r Marr 1980 ce filtre par une diff rence de gaussiennes voir Fig 3 2 2 Dans ces d finitions o correspond un facteur d chelle de la largeur du filtre et par une simple translation du vecteur de poids on pourra donc d finir un filtre quelconque i de m me norme par sa position et sa taille i o A gr ce En particulier les passages par z ro de cette transform e indique un maximum du gradient local l chelle soit une localisation d un contour local 106 Chapitre 3 Mod les de codage rapide ee Fic 3 2 1 Architecture du mod le dynamique de r tine Le syst me est com pos d une couche de photo r cepteurs PhRs dont les activit s se combinent lin airement sur la couche de cellules ganglionnaires CGs qui produisent une vol e de PAs Ceux ci sont transmis sans bruit par le nerf optique pour induire une activit dans le corps genouill lat ral Pour quantifier la qualit de la trans mission on imagine contre ce qui est observ dans le syst me visuel que l image est reconstitu e au CGL Un neurone est soulign en rouge laissant appara tre son champ r cepteur centre ON son axone dans le nerf optique sa synapse un neurone du CGL et le champ metteur correspondant dans la couche d
54. de passer une nouvelle partie de l image Toutefois cette inhibition est la m me pour tous les points maximaux et la suite de filtres choisis ne permet pas de recons truire l image Si par exemple deux points proches sont galement saillants cette inhibition cachera un des deux points et effacera indiff remment l acti vit au voisinage du maximum Une autre approche consiste utiliser les r gularit s de l image pour en retirer les redondances Elle a t formalis e par Barlow et Foldiak 1989 et consiste a utiliser les statistiques des images naturelles pour obtenir des r ponses d corr l es c est a dire moins d pendantes voir Sec 3 2 3 Toute fois cette m thode s approche plus d une analyse en composantes principales alors que les signaux visuels poss dent des corr lations d ordre sup rieur qui ne sont pas extraites par ce processus Enfin une autre m thode consiste apprendre la forme de l inhibition Li 1998 et d utiliser un processus r p titif qui va choisir les filtres les plus adapt s puis d inhiber lat ralement les voisins suivant cette forme avant de recommencer le processus Plus pr cis ment on peut choisir d inhiber lat ralement l activit suivant la corr lation des filtres entre eux il est en effet plus logique d inhiber plus fortement les filtres fortement corr l s au filtre choisi C est cette m thode qui nous a conduit tudier les interactions lat
55. de telle sorte qu il deviennent compatibles avec la CUR Par exemple comme il existe une relation d quivalence dans un neurone entre la latence et la fr quence de d charge le code par la latence de premi re d charge reste compatible avec les mod les classiques et pr sente une extension n cessaire pour expliquer la rapidit du syst me visuel en par ticulier Mais il souligne aussi l importance des processus dynamiques et leurs implication dans les processus cognitifs en g n ral Comme on l a dit nous allons essayer de simplifier sa formalisation pour en extraire les caract ristiques dynamiques De possibles g n ralisations de ce mod le pourront alors tendre le PA d autres quanta de l information comme des signaux plus tendus en temps comme par exemple des bouff es de PAs Delorme 2001 ou alors encore dans l espace et on peut imaginer que le quanta de l information soit le tir commun d une assembl e r duite de neurones comme ceux d une colonne corticale Un mod le dynamique de la vision Ce mod le pr sente une alternative aux codages neuronaux classiques par fr quence par population ou par synchronie En effet ceux ci de rares ex ceptions van Rossum et al 2001 ne peuvent prendre en compte la rapidit de la propagation neurale et ne profitent ni de la pr cision des r ponses tem porelles ni du caract re asynchrone de la propagation inh rente un r seau de neurones biol
56. des champs r cepteurs similaires a des fonctions de Gabor de phases orientations et fr quences diff rentes d apr s Daugman et Downing 1995 170 Chapitre 4 Vers un code dynamique pars gaussienne de variance voir Mallat 1998 p 160 2 W r sin v 7 a de exp I 4 2 1 comme il a t observ dans laire V1 de nombreux mammif res Daugman et Downing 1995 voir Fig 4 2 1 Dans un premier temps en accord avec les r sultats neuro physiologiques et pour limiter la charge computationnelle nous utiliserons une grille en quin conce avec des filtres de Gabor sym triques ou antisym triques i e o 0 ou 77 2 de fr quences contraintes par la variance de la gaussienne sur 15 orientations diff rentes r parties uniform ment sur 0 27 Cette repr sentation est donc sur compl te d une magnitude 2 x 2 x 15 60 De la m me mani re que pour le code r tinien nous avons choisi d utiliser une optimisation sta tistique analogue des contrastes En effet si l on suppose une invariance par rotation de la loi de distribution de l nergie fr quentielle on pourra optimiser l entropie de la repr sentation en ajustant le gain des diff rentes orientations seulement en fonction de leurs tailles Code impulsionnel de V1 par poursuite gourmande Cette architecture a t utilis e sur des images en niveaux de gris et nous avons tudi de la m me fa on la reconstruction par cet algorithme
57. des neurones est limit e environ 200 Hz on en d duit que les neu rones doivent fournir une r ponse en int grant seulement l information d au maximum une impulsion par synapse L activit sur chaque fibre cr e par une image flash e doit donc pouvoir tre cod e dans la premi re impulsion Thorpe et Imbert 1989 Ce type de codage s observe de fa on explicite dans le syst me auditif de la chauve souris Portfors et Wenstrup 1999 o chaque neurone r pond la stimulation une fois au plus et avec une grande pr cision d autant plus rapidement que l activit est forte Mais plus g n ralement les enregistrements neurophysiologiques sugg rent que l activit est cod e par la premi re impulsion et que les impulsions suivantes et donc par exemple la fr quence de d charge indiquent une information redondante pouvant po tentiellement affiner le codage dans le temps Comme on a vu qu en g n ral un neurone met d autant plus rapidement un PA qu il est activ la latence de tir d une impulsion est d autant plus courte que l activit est forte elle peut donc en principe coder une valeur au m me titre que la fr quence de d charge qui est l hypoth se majeure du codage neu 2 3 Contraintes temporelles sur le code visuel 65 ronal depuis les d couvertes de Adrian 1928 De plus ce m canisme privil gie un calcul asynchrone puisque l activit la plus forte va tre mise en avant et trans
58. doigt qui par exemple a t sectionn va modifier les sous aires en r organisant la place de la sous aire du doigt non utilis Cette structure va favoriser l activation parall le et distribu e des proces sus suivant le mod le de McClelland et al 1986 En effet elle va favoriser les associations gr ce au riche r seau de connexions cortico corticales entre aires On remarque que de fa on g n rale afin de minimiser le volume des connexions si deux fonctions corticales sont similaires ou corr l es alors leurs localisations seront voisines Ce genre de processus implant pour des r seaux de neurones artificiels par Kohonen 1982 permet de construire des cartes topologiques partir des statistiques des entr es en minimisant l er reur de repr sentation de l ensemble des entr es sur la surface de la carte Cette m thode permet par exemple de projeter sur une surface des signaux de grande dimension comme les similarit s entre des visages et donc de pla cer c te c te sur une carte les visages similaires Ainsi comme il a t observ dans le gyrus fusiforme une aire corticale pourrait repr senter l en semble des formes du visage sur un espace de visages Leopold et al 2002 l inverse on pourra alors d finir un visage interm diaire comme la pro jection inverse de l interm diaire topologique sur la surface corticale des deux repr sentations Les interactions entre colonnes qui peuvent alors
59. duction de dimension pourrait limiter le nombre de filtres en contrai gnant par exemple la taille suivant l excentricit depuis le centre optique Typiquement ce nouveau pavage irr gulier est le pavage log polaire de la surface de la r tine et peut s adapter des contraintes comme le scotome ou des l sions L algorithme pr sent reste toujours valable dans ce cas les r sultats de Mallat et Zhang 1993 indiquant que la repr sentation sera par faite dans l espace g n r par les filtres utilis s Pavage en quinconces Dans le cadre d un mod le de la r tine pour des images classiques sur une grille rectangulaire un pavage en quinconces se trouve tre un bon com promis entre la repr sentation sur complete et la contrainte de r duction de dimension Ce pavage se d finit simplement par sa construction depuis la grille d chelle 1 comme des transformations combinant une dilatation de V2 et d une rotation de 7 4 i e la grille des chelles impaires est la grille dya dique Par rapport une grille dyadique o on divise le nombre de points De m me une grille multi chelle adapt e a un maillage hexagonal pourra utiliser une une dilatation de V3 et d une rotation de 7 3 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 167 par 4 le nombre de points est divis par deux entre deux chelles On en d duit alors que la matrice de transformat
60. e a cette transmission Ainsi par des principes de d corr lation de Vintensit de deux points voisins dans des images naturelles Atick 1992 a pu proposer un mod le maximisant le transfert d information dans le nerf optique et compatible avec les courbes de sensibilit observ es dans la biologie Enroth Cugell et Robson 1966 Cette facult d adaptation prend une part importante dans la d finition d un code de la Vision De fa on plus large on peut regrouper sous le terme d cologique les facteurs qui permettent de pr voir de mani re g n rale l volution de syst mes visuels par l optimisation de leur efficacit Celle ci peut prendre en particulier la forme de principe de maximisation d un but par exemple la qualit de transmission de l information pour Laughlin 1981 ou similairement de minimisation d une contrainte la redondance du signal par exemple Barlow et Foldiak 1989 Ceux ci permettent alors de d duire des comportements universels d adaptation des neurones que l on peut traduire dans le cadre d un code visuel impulsionnel Toutefois les m thodes cologiques ne sont pas des approches t l ologiques mais per mettent de d duire l architecture du syst me en l tudiant comme un produit de l Evolution Aussi il semble alors que ces principes cologiques soient des facettes de principes adaptatifs unitaires Diff rentes approches d optimisation de la repr sentation neuronale se
61. est ensuite transmise de fa on asynchrone au reste du r seau Applications du th or me central limite permutationnel tudions dans un premier temps la statistique du potentiel si l on abs trait le processus de g n ration de l impulsion Le th or me central limite permutationnel Barbe et Hallin 1995 montre alors que la loi de probabi lit du potentiel pour des vecteurs de rang al atoires est approximaitvement gaussienne Or on montre d autre part que les moments statistiques du po tentiel peuvent tre facilement d duits de ceux du poids et de la modulation Pour la moyenne et la variance au rang t si l on note Mod la fonction de modulation tronqu e aux t premi res valeurs et valant 0 ensuite V t Tnax w Mods 2 2 2 OVi a Tmax g 1 0 0 Mod 3 3 8 sous la condition de Noether sur les poids que l on supposera v rifi e Gautrais 1997 ce qui est vrai en pratique pour des modulations d croissant rapidement 138 Chapitre 3 Mod les de codage rapide et ces calculs s tendent aussi aux calculs des moments d ordre arbitraire On peut donc estimer pour tout neurone tant donn s ses poids et sa fonction de modulation la densit de probabilit du potentiel a chaque impulsion c est dire chaque rang t voir Fig 3 3 3 Ce r sultat permet alors d estimer pour une sensibilit d sir e du neurone le seuil en fonction des poids et de la fonction de modulati
62. et nous l tudierons comme un mod le pour la perception et la cognition en g n ral Notre vision de la Vision En effet en participant de fa on active aux processus vitaux et cogni tifs la vision est un mod le en Sciences Cognitives pour comprendre les ph nom nes perceptifs et le fonctionnement de la connaissance Elle permet de construire avec les autres modalit s sensorielles une perception stable a partir de lunivers des sensations Cette stabilit s exprime notamment par la constance de la perception personnelle qu elle soit temporelle ne voyais je pas de la m me fa on quand j tais enfant ou plus court terme avec par exemple la constance de la prception des couleurs malgr des chan gements de luminosit Elle existe aussi de fa on inter personnelle de telle sorte que des personnes ayant une aberration st r oscopique qui ne voient donc pas le relief per u en fusionnant les images des yeux gauche et droit ne pourront souvent se rendre compte de leur diff rence perceptive qu apr s de nombreuses ann es en confrontant leur perception par des tests sp cialis s On comprend alors l importance des lois de la Gestalt de l allemand mod le ou motif c est dire en simplifiant des lois regroupant des percepts en unit s indivisibles un disque un visage et qui semblent merger des fonc tions sup rieures de la vision Par analogie avec le langage on peut imaginer que ces processus utilisent
63. filtres Cet algorithme est particuli rement adapt des syst mes physiques de calcul parall le Si dans un calculateur synchrone on simule ce syst me en r pliquant les configurations des neurones param tres poids connexions lat rales dans un syst me biologique des r gles d adaptation locales per mettent de d terminer des jeux de param tres locaux Dans cette optique il est alors int ressant d tudier des r gles d auto organisation spatiale de tels neurones et de voir comment elles peuvent s adapter et coop rer avec le prin cipe de codage que nous avons expos Nous avons donc simul un mod le d aire visuelle primaire sur une grille rectangulaire de la taille d images 128 x 128 comportant un filtre de Gabor parmi 8 orientations diff rentes et un seul sur chaque point de l image Dans cette simulation on essaye d optimiser la r partition spatiale initialement al atoire de ces filtres diff rentes polarit s afin d optimiser la repr senta tion de l image D un cot comme un point correspond une seule polarit il faut que les diff rents filtres soient assez distribu s pour couvrir localement 176 Chapitre 4 Vers un code dynamique pars Fic 4 2 5 Auto organisation spatiale des polarit s dans la r tine On a mod lis une couche de neurones sensibles des contrastes suivant des DDG Eq 3 2 2 o chaque pixel correspond une polarit possible La polarit d un n
64. finis SNC Syst me Nerveux Central Sec 1 1 1 PA Potentiel d Action Sec 2 1 2 PPS Potentiel Post Synaptique Sec 2 1 2 EEG lectro enc phalogramme Sec 2 1 3 CG Cellules Ganglionnaires Sec 2 2 1 PhR Photor cepteurs Sec 2 2 1 CGL Corps Genouil Lat ral Sec 2 2 2 VI Aire visuelle primaire Sec 2 2 2 IT Inf ro Temporal Sec 2 2 2 CUR Cat gorisation Ultra Rapide Sec 2 3 1 LIF SC Leaky Integrate amp Fire Synaptic Current Sec 3 1 1 STDP Spike Time Dependant Plasticity Sec 3 1 2 LUT Look Up Table Sec 3 2 2 EQM Erreur Quadratique Moyenne Eq 3 2 10 IM Information Mutuelle q 3 2 10 EQMB Erreur Quadratique Moyenne Balanc e q 3 2 22 MP Matching Pursuit Sec 4 1 2 Publications L PERRINET ET M SAMUELIDES A generative model for spike time dependent hebbian plasticity In Proceedings of DYNN Bielefeld 2000 L PERRINET A DELORME S J THORPE ET M SAMUELIDES Net work of integrate and fire neurons using rank order coding A how to imple ment spike timing dependant plasticity Neurocomputing p 817 22 2001 A DELORME L PERRINET S J THORPE ET M SAMUELIDES Net work of integrate and fire neurons using rank order coding B spike timing dependant plasticity and emergence of orientation selectivity Neurocompu ting p 539 45 2001 L PERRINET ET M SAMUELIDES Coherence detection in a spiking neuron via hebbian learning Neurocomputing p 133 9 2002a L PERRINET ET M SAMUELIDES Sparse image c
65. il n existe plus de contrainte aussi forte sur le nombre de neurones et nous pourrons utiliser un dictionnaire sur complet Depuis les travaux pionniers de Hubel et Wiesel 1959 on sait que de nom breuses cellules de cette aire sont s lectifs aux orientations des contours repr sent s par la r tine Ben Yishai et al 1995 Dans le cadre du trai tement rapide nous nous int resserons donc particuli rement ces cellules dites simples qui vont r pondre une orientation pr f rentielle Nous avons d j rencontr de telles cellules dans des mod les o elles taient isol es voir Sec 3 3 3 ou encore une application o de telles cellules mergeait d un ap prentissage hebbien dans le cadre du codage par rang et nous allons main tenant essayer de d finir un mod le de V1 comme des couches de neurones sensibles diff rentes orientations et diff rentes chelles Pour cela nous allons mod liser les cellules simples par des filtres lin aires comme des fonctions de Gabor 1946 d finies comme une sinuso de orient e suivant une direction et une fr quence v de phase et modul e par une 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 169 Fic 4 2 1 Champs r cepteurs des neurones de V1 chez le chat Haut La r ponse impulsionnelle des neurones de V1 peut tre reconstruite par des m thodes neuro physiologiques Bas Elle fait appara tre
66. images qu on lui pr sentait Par contre quand d courag celui ci prit la cam ra en main alors l interaction de l action avec l image lui a donn une conscience du lien entre le monde r el et l image la vision a t cr e On peut alors faire une analogie avec la salle chinoise de Searle Cette exp rience de pens e imagine un travailleur scrupuleux enferm dans une salle et auquel on transmet des feuilles comportant des signes qu il peut traduire gr ce un dictionnaire appropri Si les signes sont des calligrammes chinois et que la traduction est bien correcte on ne pourra toujours pas dire que la per sonne sait traduire le chinois De la m me fa on lorsque nous voyons il est n cessaire d agir sur le monde lumineux pour que les processus participant cette traduction prennent un sens O Regan et No 2001 8 Chapitre 1 Comment casser le code de la vision La vision dans le Systeme Nerveux Central Aussi pour tudier o et comment ont lieu les processus biologiques par ticipant a la vision il est alors n cessaire d tudier les chemins conduisant de l organe sensitif l il jusqu aux lieux de l action comme par exemple les muscles du bras qui vont orienter un mouvement Plus particuli rement ces chemins font partie du Syst me Nerveux Central SNC c est dire l en semble des cellules neurales regroup es par fibres suivant les nerfs le long de l pine dorsale et dans
67. interpr ter comme l arte fact Ces remarques revendiquent donc un mod le distribu de codage de l informa tion et sugg rent une repr sentation par l activation temporelle simultan e et souvent rythmique d ensembles pr cis de neurones Or il est surpre nant de voir dans la litt rature que l asynchronie d un code c est dire son d cours temporel est souvent assimil l incoh rence de son message Ainsi alors que nous avons vu l importance que jouait le temps dans les processus cognitifs mais aussi l importance de l ordre de la propagation du flux d infor mation dans l architecture des r seaux de neurones biologiques l ordre pr cis d arriv e d impulsions sur un neurone est cart En fait la technologie de mesure neurophysiologique de l activit des neurones est souvent limit un petit nombre de neurones dont on ne peut souvent pr voir ni les ca ract ristiques ni les inter relations On peut donc imaginer que les progr s dans la technologie des multi l ctrodes mais aussi du choix des neurones seront d terminants pour comprendre le code neural dans une assembl e Une repr sentation visuelle globale Toutefois un niveau plus global les travaux de neurophysiologie montrent que les processus cognitifs peuvent tre influenc par le d cours exact de l ac tivit et de fa on plus g n rale par le contexte temporel c est dire par l his torique de l activi
68. l information lumineuse En effet nous nous concentrerons dans une premi re section voir Sec 2 1 sur les aspects dynamiques du calcul neural en red finissant pr cis ment le but de la vision la physique des calculs biologiques puis enfin en d crivant le flux d information dans le SNC Cette section s tendra par une tude de l anatomie du syst me visuel depuis la r tine voir Sec 2 2 1 jusqu aux aires visuelles sup rieures pour enfin tudier les mod les neuromim tiques de repr sentation de l information visuelle voir Sec 2 2 3 Cette tude pourra alors introduire en d tail les exp riences de Cat gorisation Ultra Rapide CUR voir Sec 2 3 et leurs cons quences sur nos mod les de la vision Cette approche neurophysiologique pourra alors s achever sur une d finition pr cise des contraintes impos es par la CUR pour proposer des mod les alternatifs de la vision 1 3 Organisation de la th se 29 Mod les de codage rapide Nous tudierons alors dans le chapitre 3 des mod les computationnels de ce codage rapide Tout d abord nous analyserons des mod les neuronaux de codage impulsionnel voir Sec 3 1 En tudiant des m canismes d taill s et leurs cons quences sur le codage nous proposerons des m canismes d ap prentissage pour le neurone mais aussi pour une assembl e de neurones Ces r sultats nous aideront alors a tablir les bases d un code impulsionnel par la latence voir Sec
69. la transform e en ondelettes d finie par Van Rullen et Thorpe 2001 et Bas la pyramide laplacienne L information est transmise progressi vement par les impulsions resp de gauche droite apr s 250 750 2500 5000 9000 et 21000 impulsions de telle sorte qu apr s 1 de neurones activ s on reconnait nettement l image Les deux transform es semblent de performances quivalentes toutefois la complexit computationnelle de la pyramide laplacienne est largement moindre image originale un codage de l image en sous bandes qui vont correspondre au d couplage des diff rentes chelles dyadiques de grandeur des objets Nous avons mis en uvre cet algorithme gr ce aux travaux de Eero Simoncelli et d crits dans Simoncelli et Freeman 1995 la charge computationnelle et l utilisation de la m moire est alors largement r duite en comparaison avec la transform e en ondelettes classique Enfin cet algorithme est biologiquement plausible car ce calcul r cursif de filtres peut tre mis en correspondance avec les pro cessus de diffusion li s aux processus chimiques et aux jonctions synaptiques lectriques dans la r tine elle introduit ainsi un principe d conomie du volume de connexions et montre que les interactions locales vont pouvoir implanter de proche en proche le calcul de contrastes m me pour de grandes chelles En pratique on a dans un premier temps r pliqu l algorithme utilisant les 3 2
70. la variation en fonction de l efficacit originale on observe que la potentiation est multiplicative et la d pression est soustractive source Bi et Poo 1998 Xie et Seung 2000 et la distribution finale des poids Kempter et al 1999 Aussi des mod les explicites avec une forme de fen tre fix e ont t tudi s intensivement pour en d duire l volution de ses poids synaptiques et lin fluence sur la stabilit de l apprentissage Rubin et al 2000 Rossum et al 2000 En particulier Cateau et Fukai 2002 a montr de fa on g n rale lim portance de la forme de cette fen tre temporelle et propose un algorithme inverse d duisant cette fen tre de la fonction recherch e Mod le g n ratif de plasticit On peut relier ces m canismes d adaptation long terme aux m canismes synaptiques que nous avons voqu plus haut pour en d duire un mod le de la plasticit De la m me mani re que nous avions mod lis le potentiel et les courants par des cin tiques du premier ordre on peut en effet mod liser la plasticit de la synapse par sa constante de temps Tg Celle ci est plus 3 1 Mod les de codage temporel 91 longue que pour les r gles pr c dentes puisqu elle peut tre de l ordre de la seconde ou de la minute On en d duira alors un mod le dynamique de la synapse contr l par l historique d arriv e des PAs sur celle ci Par analogie avec les m canismes de facilitation e
71. le cerveau La position classique consid re alors le SNC comme un syst me transformant hi rarchiquement l information lumi neuse depuis l il en une activit dans le syst me visuel l information visuelle et qui est progressivement traduite suivant le contexte pour tre transmise par exemple au syst me moteur Comme cela s est r p t dans l histoire de la compr hension de la perception cette vision est largement inspir e par la technologie actuelle de calcul Et par analogie avec les calculateurs modernes on imagine souvent que la vi sion consiste en diff rents processus s quentiels de calcul l image des algorithmes de traitement de l image qui vont suivre une suite ordonn e et hi rarchique de processus avant de produire une r ponse e g motrice En se basant sur ce sch ma on peut alors se demander quel est alors le r le des diff rentes parties du SNC mais aussi comment et par quels principes celles ci se sont organis es au cours de Evolution Cette d finition sous entend aussi que les r seaux de neurones formant le SNC pourraient se r duire des processus calculatoires logiques transformant l entr e visuelle en une r ponse comportementale Toutefois les neurones ne sont pas seulement des calculateurs et pr sentent des dissimilarit s trop im portantes asynchronie plasticit pour tre compar s des op rateurs de logique classique En effet si certains de leurs comportemen
72. les c nes On d finit alors pour les cellules ganglionnaires leur champ r cepteur Im bert 1983 comme l ensemble des PhR qui participent son excitation On observe alors que ceux ci ont des contours sensiblement circulaires dont le rayon grandit en moyenne proportionnellement leur excentricit Depuis le fov a o il quivaut un PhR c ne par CG les champs r cepteurs peuvent atteindre 10 deg de champ visuel la p riph rie de la r tine On peut donc d finir une carte r tinotopique qui va correspondre la transfor mation spatiale de l image par cet arrangement spatial de la grille des neu rones Elle est souvent approch e par une transform e log polaire de l image sph rique centr e sur l ceil Cette carte est incompl te d au recouvrement de r gions par les axones des CGs le scotome et notamment la conver Soit environ la taille d un ongle bout de bras Cette observation contre intuitive peut tre v rifi e par un dispositif exp rimental simple on fixe la direction du regard et on pr sente des stylos de couleur en p riph rie environ 10 deg les couleurs sont per ues illusoirement mais ne peuvent tre d termin es avec pr cision tOn d finira par extension les champs r cepteurs des neurones dans le syst me visuel de la m me fa on Tl est int ressant de noter que si la concentration de PhRs baisse proportionnellement l excentricit et que l image
73. lumineuse Ils diffusent cette activit gr ce leurs synapses avec les cellules bipolaires et horizontales de telle sorte que les activit s de ces cellules sur la surface r tinienne forment une image des contrastes lumineux Ce signal est ensuite propag en avant des cellules bipolaires jusqu aux CGs Les cellules horizontales et amacrines jouent alors un r le important en propageant en m me temps le signal lat ralement dans la r tine tudions plus sp cifiquement la nature des signaux r tiniens L image r ti nienne image optiquement distordue et invers e de l information lumineuse est transform e analogiquement travers la r tine en une image complexe correspondant l activit des neurones des diff rentes couches En effet de puis le signal synaptique mis par les PhRs l information est cod e par un signal analogique se propageant par des contacts synaptiques et par diffu sion chimique Les cellules bipolaires sont sensibles des contrastes spatiaux alors que les cellules amacrines sont plus particuli rement sensibles des variations temporelles Elles vont ainsi transformer temporellement limage des contrastes lumineux qui vont tre propag en avant vers la couche des CGs Toutefois ces comportements sont plus complexes et vari s et corres pondent toute une famille de transform es spatio temporelles qui ne sont pas encore aujourd hui toutes connues pour une revue on pourra consulter Meister et B
74. mV g en 5 cm Na 115 120 K 12 36 L 10 6 3 3 1 Mod les de codage temporel 73 On obtient alors un syst me de quatre quations diff rentielles coupl es qui donnent l volution du potentiel pour un courant externe d entr e Z C V Gya m h V Eya gk nt V Ex T 3 1 1 La 1 2 a V xBr V o la variable x correspond alternativement aux fonctions auxiliaires m n et h dont les dynamiques sont coupl es celle de V par les fonctions a et Bz Ces fonctions sont alors pour chaque type de variable des fonctions du potentiel V en mV calcul es empiriquement par Hodgkin et Huxley pour s ajuster aux donn es de l axone g ant du calmar T az V B V m eel 4 exp u 18 n seem 125exp u 80 h 0 07 exp V 20 con Les r sultats de ce mod le descriptif reproduisent avec une grande pr cision le comportement de la membrane la g n ration du PA et la p riode r fractaire ou Post Hyperpolarisation voir Fig 3 1 3 A Ses param tres sont interpr tables comme des mesures statistiques de l ouverture des canaux ioniques en fonction du voltage et cette m thode s tend alors d autres types de neu rones D autres mod les permettent de r duire le nombre de degr s de libert et rendent le mod le math matiquement et calculatoirement plus simple En particulier le mod le de Morris Lecar Rinzel et Ermentrout 1999 lin arise ces quations
75. ment r partis dans l espace des permutations et alors dans ce cas l information port e par chaque signal du codage par rang est potentiellement de log e N bit Toutefois on a vu que pour tenir compte du caract re asynchrone du signal il est n cessaire de pouvoir valuer le nombre d impulsions qui sont arriv es de telle sorte qu une d charge massive de toutes les fibres ne produise pas de r ponse par rapport un signal pr f r constitu d un sous ensemble de ces fibres En fait il semble que pour moduler l efficacit synaptique suivant le rang l inhibition divisive ou shunting inhibition Borg Graham et al 1998 Monier et al 1997 soit un m canisme adapt En effet cette inhibition qui prend la forme de potentiels synaptiques inhibiteurs rapides et globaux au neurone se pr sente sous deux aspects elle est tout d abord divisive lors de l ouverture des canaux ioniques c est dire pendant quelques milli secondes puis soustractive comme la conductance de la membrane augmente o e exp 1 value i lt k lt N F 3 3 Codage par Rang 131 Ici nous nous int resserons particuli rement ces premi res millisecondes o la conductance membranaire peut alors jusqu tripler BorgGraham 1999 divisant alors d autant l efficacit des PPS excitateurs l instar de Delorme et Thorpe 2001a qui ont utilis le logiciel de simulation NEURON nous allons implanter un mod le de neurone d cod
76. milieu ext rieur avec l int rieur hyperpolaris et peuvent propager de proche en proche ce d s quilibre lectrochimique qui peut ainsi constituer un si gnal neuronal Un neurone peut prendre des morphologies tr s diff rentes mais est fonc tionnellement constitu de structures similaires un prolongement richement arboris les dendrites un corps cellulaire ou soma et un axone On ap pellera alors potentiel du neurone la valeur du potentiel au soma L arbre dendritique re oit les signaux des organes sensoriels ou d autres neurones les transforme pour enfin les transmettre au corps cellulaire Celui ci o a aussi lieu l ensemble des processus m taboliques int gre cette information pour la transmettre l axone l antenne mettrice du neurone Certains sont re couverts d une gaine la my line qui permet d acc l rer la propagation d une moyenne de 1 s dans le corps cellulaire jusqu environ 100 s pour certains axones my linis s Les neurones forment un r seau en tablissant des contacts entre eux par des synapses qui sont des zones de contact sp cialis es assurant le transfert des signaux inter neuronaux titre d illustration notons qu on estime que le SNC humain comporte 10 neurones interconnect s par un total d environ 240 10 synapses Koch 1998 p 87 soit environ 10000 synapses par neu rones en moyenne Celles ci existent sous forme lectrique le contact est alors di
77. n influen ait pas les r sultats Ainsi Delorme et al 2000 ont prouv que les performances ne se d gradaient pas si les images taient pr sent es en noir et blanc De plus il a t aussi montr que ni la familiarit des images Fabre Thorpe et al 2001 ni l intervalle entre la pr sentation des images Delorme 2001 n influen aient les r sultats Enfin la m me exp rience a t r alis e dans un environnement diff rent per mettant la projection de l image en r gion p riph rique Si l on observe une d gradation de la r ussite surtout apr s 70 les sujets reportent souvent ne pas avoir conscience de l image mais donnent souvent une r ponse significa tivement plus correcte que le hasard la rapidit est toujours relativement pr serv e De plus une rapidit similaire est observ e pour un protocole o deux images sont pr sent es en parall le Rousselet et al 2002 et montrent que cette t che n est pas trait e s quentiellement mais bien en parall le Ces extensions montrent que ce traitement rapide ce chemin le plus court entre la vision et l action suit s rement la voie Magno traitement rapide des in formations hors de la macula sans couleur mais surtout que la CUR r v le un aspect universel et rapide du traitement visuel Nous allons donc pouvoir formuler des hypoth ses quant la forme de la repr sentation visuelle 2 3 2 Cons quences une premi re repr sentation de la
78. pourra d finir simplement le PSP en multipliant par le poids synaptique Neurone r ponse impulsionnelle Une extension de ce mod le est le mod le du neurone r ponse impul sionnelle Spike Response Model ou SRM Gerstner et al 1999 p 16 Le principe de ce mod le est de m moriser la r ponse impulsionnelle c est dire la r ponse un PA de la synapse le PPS depuis un mod le e g Hodgkin Huxley ou LIF CS en n gligeant la d pendance au voltage voir Sec 3 1 1 ou depuis des enregistrements neurophysiologiques Comme dans le LIF on consid re que la dendrite int gre ces contributions en les sommant i e qu on peut calculer son potentiel comme la somme modul e par les poids synap tiques De fa on similaire quand le potentiel atteint le potentiel de seuil le neurone g n re un PA et on ajoute au potentiel un potentiel tabul qui cor respond au PA et p riode r fractaire comme un potentiel 7 Par analogie avec le mod le LIF on peut par exemple choisir 7 tel que si le neurone 2 tire 80 Chapitre 3 Mod les de codage rapide 40 i i r A B C 357 7 o 6t 1 10 30 1 os 1 4 10f g E 0 4 E E 20 8 20 15 5 5 0 3 30 4157 12 L 0 2 t 40 107 OO I ae 0 17 5 J 60 0 f 70 i 0 10 20 30 0 50 100 100 200 300 Entr e temps ms temps ms Fic 3 1 3 Mod le int gre et tir r ponse impulsio
79. que l aiguillage de l information contr l par une connecti vit adaptative pr cise est alors l origine des processus cognitifs Les neurones impulsion Dans ce cadre les impulsions neuronales semblent clairement constituer le support universel de l information dans le SNC et l tude des m canismes neuronaux vont nous aider mieux comprendre comment baser le code neu ronal sur ces impulsions En effet ces pics d intensit lectrique de moins d une ms pour environ 0 1 V d clenchent les v nements de transmission neuronale au niveau des synapses ou d action au niveau des muscles par exemple d o leur d nomination de potentiels d action PAs De plus ils sont quasi g n ralis s dans les SNC des tres vivants et sont pour un indi vidu tr s semblables Ces aspects se rapportent alors de nouveau un niveau plus d taill du code neuronal et qui conduit tudier le neurone comme un syst me complexe m tabolisme communications que l on peut encore d composer en sous syst mes et dans lequel les synapses semblent constituer un r le cl ou spike en anglais 20 Chapitre 1 Comment casser le code de la vision En particulier nous allons tudier quel est le corr lat de information qu ils v hiculent a travers ces impulsions En effet ces impulsions montrent que le code neural est discr tis en amplitude par l arrangement spatio temporel des impulsions Cet aspect
80. que nous avons pr sent sont bas sur un mod le g n ratif de l image On comprend alors l importance des ph nom nes adaptatifs qui vont transformer non lin airement les activit s pour que ce mod le soit va 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 175 lable En premier lieu on choisira donc d utiliser la luminosit des pixels pour pouvoir tablir des contrastes par des filtres lin aires dans la r tine De la meme fa on on choisira de modifier la sensibilit des filtres aux diff rentes tailles comme d crit dans Sec 3 2 3 On remarque alors que si on imagine un syst me dynamique compos de plusieurs couches neurales l adaptation introduite dans une couche sera pro pag e aux couches suivantes Ainsi pour un syst me compos de la r tine et de V1 si l on optimise la norme des filtres dans la r tine alors la reconstruc tion fera apparaitre cette optimisation Ainsi dans l aire visuelle primaire certaines orientations peuvent tre pri vil gi es suivant les statistiques des images naturelles En particulier les images produites dans des environnements artificiels ville laboratoire pr sentent avant tout des horizontales et des verticales Si on veut optimiser la taille de la repr sentation d une image on pourra donc normaliser en cons quence les filtres en fonction de leur orientation pr f r e Auto organisation spatiale des
81. qui acc l reront sans nul doute le rapprochement entre technologie et biologie 1 1 3 L inspiration biologique en traitement de l image vers l ing nierie neuromorphique En parall le avec ces avanc es th oriques les applications et la technologie jouent un r le primordial dans l orientation des recherches dans les mod les de vision Applications de l tude de la Vision En effet les applications utilisant les derni res avanc es issues des neu rosciences computationnelles ont une part grandissante dans les march s des technologies de l information On peut citer le cas de la soci t Visionics men e par J Atick dont les syst mes de reconnaissance de visages ont t choisis en particulier dans de nombreux a roports am ricains Cette soci t a fusionn r cemment avec Identix pour devenir le leader mondial de la biom trie Aussi ce champ touche alors tous les syst mes de traitement d images d un type plus g n ral que celles auxquelles nous sommes habitu s comme les images satellitaires et qui peuvent donc tre compos es de nombreuses ban des de fr quence ou encore transmettre des informations suppl mentaires de phase comme pour la technologie SAR Des techniques neurales utilisant des Fonctions Base Radiale ont par exemple t d velopp es VONERA centre de Toulouse par Bruno Pelletier et permettent d identifier les types de plancton partir d une telle image multi
82. r compens e par un prix Nobel fut la d couverte par Hubel et Wiesel 1959 des champs r cepteurs s lectifs l orientation dans l aire V1 du cortex du chat Les modeles bas s sur ces observations constituent avec le modele Hodgkin Huxley deux piliers de la neurosciences et montrent la divergence qu il existe dans cette discipline au niveau de description au dessus ou au dessous de la cellule Nous allons prendre l exemple de la r tine pour d crire un modele complet de transformation impulsionnelle qui puisse s int grer dans un modele neural plus complet tout en restant compatible avec le traitement rapide de l information visuelle 3 2 1 Codage multi chelle de information r tinienne Nous avons d crit la r tine dans la Sec 2 2 1 comme un convertisseur d une image analogique en un front de PAs et nous allons essayer ici de proposer un mod le de cette transform e tout en exploitant les r sultats des sections pr c dentes Cette section va reprendre le mod le pr sent dans Van Rullen et Thorpe 2001 dans un cadre math matique plus g n ral La fonction de ce mod le va tre de transmettre par un code impulsionnel le signal travers le canal informationnel du nerf optique Nous allons alors for maliser notre mod le de r tine comme un traitement parall le sur des couches correspondant la transform e lin aire de l image en une repr sentation com pacte sa transform e en PAs puis enfin le r
83. rapprochent en fait de l mergence de codes d tectant de fa on non supervis e la coh rence du signal c est dire capable de s parer de fa on aveugle les sources du signal Ces facult s d adaptation coexistent alors a plusieurs chelles temporelles On peut par exemple tendre ces m canismes l volution plus long terme du syst me visuel et expliquer comment alors que le syst me visuel humain est encore en d veloppement la naissance la majorit des fonctions visuelles comme la st r opsie ou le suivi de mouvements sont d j stables chez un enfant de 6 mois Implantation du code visuel rapide dans le SNC Dans notre recherche du code neural rapide et de son implantation phy siologique il est essentiel de circonscrire les fonctions de ce code Quel est par 1 2 Vers une vision dynamique 23 exemple le role de la r tine cette seule partie du cerveau qui en relativement d tach e et dont la sortie le nerf optique constitue un v ritable goulot d tranglement pour l information visuelle Son tude physiologique r v le que la transformation de l information lumineuse en un train d impulsions peut avoir plusieurs fonctions d coupl es dans le temps comme transmettre l information au plus vite ou comprimer la taille d une repr sentation fine de la sc ne visuelle Le nombre limit de fibres dans le nerf optique peut alors tre une contrainte majeure de fonctionnement En passan
84. resse non plus seulement un seul niveau de description le neurone la segmentation des objets la sensation visuelle mais de confronter ces approches sur plusieurs niveaux l image de la richesse des processus dans le SNC Par cons quent l tude des r seaux de neurones les neurosciences computa tionnelles est de fait devenue une discipline novatrice r unissant math ma ticiens informaticiens physiciens et biologistes permettant de confronter et comparer par des approches parall les les m thodes classiques avec des mod les alternatifs En tudiant la biophysique des calculs ce mouvement participe ainsi en collaboration avec d autres champs des Sciences Cogni tives la d finition de mod les du fonctionnement des processus cognitifs Les r centes avanc es de ce champ se concentrent en particulier sur l aspect temporel des calculs neuronaux Pr voyant ainsi l mergence de nouvelles technologies de calcul comme les calculateurs asynchrones les syst mes dis tribu s ou encore les syst mes d exploitation OS non monolithiques ces nouveaux codes vont d ranger beaucoup d a priori A l image d Internet consid r par certains comme un calculateur distribu plan taire l impor 1 1 La vision un objet d tude scientifque 13 tance des calculs distribu s et asynchrones vont ouvrir de nouveaux besoins et de nouvelles voies de recherche vers la mod lisation de processus cogni tifs
85. sans quations diff rentielles un comportement similaire en r duisant ainsi le nombre de variables en les remplacant par des variables exog nes En fait ces deux mod les sont exactement quivalents si l on choisit et v correctement comme les r ponses impulsionnelles de la synapse et de l axone lors de la g n ration d un PA et si l on s abstrait de la d pendance des sy napses au potentiel de membrane comme d fini au paragraphe pr c dent Un grand avantage de ces deux derniers mod les par rapport au mod le HH en r duisant les calculs mais surtout en construisant des r gles v nementielles r ception ou mission d un PA Ces mod les sont facilement implantables sur des architectures de type VLSI Mead 1989 qui permettent d envisager des applications en temps r el Il permettent aussi d tudier les cons quences de l inclusion de m canismes plus pr cis ou encore de cr er des mod les de r seaux de neurones Dans le reste de cet ouvrage nous utiliserons le mod le LIF SC avec les constantes que nous avons donn es dans Fig 3 1 2 mais nous utiliserons aussi une formalisation quivalente par SRM pour tudier le comportement math matique de ces neurones Processus non lin aires l mentaires du code neuronal Thinking about brain style computation requires a certain frame of mind related to but distinctly different from that of the biophy sicist For instance how should we think of a chemical synapse
86. se est appuy e par les mod les neurophysiologiques voir Sec 3 1 que nous avons pr sent s puisque nous avons vu puisque par exemple pour le mod le Int gre et Tire il existe pour une excitation constante une relation bi jective monotone d croissante entre l amplitude de l entr e et la latence de d charge Toutefois la diff rence des calculateurs synchrones il n existe pas dans le SNC d horloge absolue pour chaque neurone et le d codage de cette information ne peut tre que relatif une activit d ensemble comme les acti vit s y qui semblent r guler l activit de nombreux neurones La coop ration entre les diff rents neurones dans le temps implicite un mod le utilisant l asynchronie du signal est donc n cessaire pour distinguer un signal pr f r d un afflux massif d impulsions D tecter un front asynchrone d impulsions Gr ce aux mod les math matiques que nous avons introduits par exemple le mod le SRM des configurations synaptiques diff rentes peuvent permettre de cat goriser des informations et que ces cat gories pouvaient tre apprises de fa on non supervis e tudions le comportement d un neurone au repos sur lequel converge une vol e de PAs Ainsi si l on mod lise ce neurone 7 par ses poids w et que l on ne consid re que les premiers PAs arrivent sur la synapse des latences t alors on pourra noter l accroissement AV d acti 100 Chapitre 3 Mod l
87. sy 4 1 Pour un mod le d interactions lat rales 153 actions lat rales De telles interactions semblent en fait jouer un role majeur dans le SNC puisque leur inactivation peut par exemple annihiler la pro pri t d invariance au contraste de la courbe de sensibilit des neurones de V1 Vorientation Troyer et al 1998 et donc des m canismes r duisant la redondance des r ponses dans le cortex Aussi il a t montr que ces m canismes jouent un r le pour des neurones s lectifs une orientation dans Vannihilation de la r ponse une direction perpendiculaire Les interactions lat rales rapides peuvent donc jouer un role dans une repr sentation robuste et rapide de l information visuelle en vue de son traitement rapide Repr sentations sur compl te l image d une traduction d un texte en plusieurs niveaux d criture un texte technique par rapport un texte de vulgarisation la repr sentation sera d autant plus parse que le dictionnaire utilis est adapt et riche On pourra implanter un codage pars en utilisant une repr sentation sur compl te c est dire en utilisant un dictionnaire dont la dimension sera de plusieurs magnitudes la dimension de l espace a repr senter Typiquement cette repr sentation sera reli e aux causes physiques du signal a repr senter et on d sirera notamment aux diff rents niveaux du traitement d terminer les causes ind pendantes a l origine du s
88. syst me visuel en consid rant les PPS comme la r ponse impulsionnelle donc du PA d un filtre lin aire la synapse Et si l amplitude des PPS varie d une synapse a l autre on observe par des exp riences neurophysiologiques que leur forme est relativement constante pour un neurone Plus pr cis ment les PPS participent typiquement de 3 10 la diff rence de potentiel pour atteindre le seuil Aussi m me si l ensemble de ces processus n est qu une simplification de la complexit des comportements neuronaux il est souvent admis que la contribution des PPS s ajoute lin airement au soma avec un coefficient de proportionnalit qui caract rise la polarit et la force de la synapse l efficacit synaptique Dans cette section guid s par l architecture du neurone nous avons d fini de fa on implicite un sens dans la direction de la propagation depuis les dendrites vers le soma puis vers l axone Toutefois des m canismes de propagation des PAs du soma vers les dendrites ont t mis en vidence par Stuart et Sakmann 1994 propaga tion antidromique et semblent corr l s des m canismes de contr le du gain et d apprentissage Finalement ces observations biologiques permettent de d finir un mod le complet de r seau de neurones comme un syst me dyna mique complexe Capacit s computationnelles des neurones Mais malgr cette complexit des processus neuronaux le substrat de son informat
89. temporel 103 Une strat gie est alors de maximiser l entropie du code i e l information moyenne des messages utilis s et en pratique ce processus revient trou ver la densit de probabilit de la valeur transform e qui soit la plus tal e Cela revient donc une galisation moyenne de l histogramme d un ensemble d images En pratique nous avons calcul pour des images naturelles non ca libr es les valeurs des pixels correspondant aux luminances et tir es de la base de donn es utilis e dans van Hateren et Snippe 2001 pour calculer Ventropie de la distribution de la luminance et de ses transformations par des lois logarithmiques de bases diff rentes Le facteur optimal pour la base de donn e est alors gal environ y 2 8 voir Fig 3 1 12 B courbe pleine centrale et la luminosit va donc correspondre la luminance transform e par cette loi de puissance Aussi la technologie s est de m me adapt e et les standards d imagerie uti lisent le plus souvent une loi en puissance pour coder ou d coder en luminance la luminosit Malheureusement les standards se sont multipli s et ce fac teur est mal connu rendant le risque fort qu une image transform e suivant des cascades de processus par des personnes et des medium diff rents perde progressivement de l information voir Fig 3 1 12 C On d duit finalement que l on peut adapter la gamme dynamique de r ponse d un neurone pour qu il re
90. the pulse code and defines in addition a measure of the distance between images closer to subjective disparity This visual code model makes it possible to envisage the construction of a multi layer spiking model adapted to the vision and simply based on the or der of activation of the neurones This code by the rank of the discharges is based on a hierarchical feed forward architecture which is distinguished in addition to its simplicity by its mathematical and computational perfor mances In particular the use of statistical tools extended to these dynamic models makes it possible to define and optimise the macroscopic parameters of the models based on this code One will be able then to establish com plete solutions of visual processing as the SPIKENET Delorme et al 1999a software which compare to biological systems However the conditions on the architecture of this model of transmission in the optic nerve imply limits which do not allow its extension to other visual areas We will meet the needs for an effective model of Vision by defining a theory of over complete event representation of the image This formalization leads then to a strategy of a sparse spike code Perrinet et Samuelides 2002c by defining in a rigorous way lateral interactions between neurones from a same area Thanks to a reinforcement learning rule this strategy can then be extended to a model of an adaptive cortical column which shows behaviors like the eme
91. the viewer and not cluttered with irrelevant information Marr et Nishihara Toutefois cette approche diverge de ce que l on observe dans la nature puisque d une part les implantations pratiques se limitent aux technologies existantes alg bre lin aire dans le traitement de l image calculateurs syn chrones et car d autre part elle d bute par la d finition de son but fonc tionnel Elle aura toutefois dans l histoire des syst mes de vision artificielle une influence cr ative et elle a notamment permis de faire merger par des processus d optimisation des syst mes se rapprochant de la biologie Avec ce cadre pist mologique Marr a alors d fini dans le syst me visuel les processus suivant quatre niveaux hi rarchiques Le premier est constitu par l image brute partir de laquelle est constitu e une esquisse primitive En particulier le syst me de d tection de contours propos par Marr 1980 montre que cette approche permet d obtenir des r sultats copiant des as pects du traitement r tinien Ensuite cette bauche permet de construire une repr sentation en 21 2D i e entre une repr sentation dessin e ou en vo lumes des primitives des objets contours texture orient e des surfaces qui permettent un troisi me niveau de reconna tre ces formes primitives ou g ons Biederman 1985 Cette repr sentation permettrait enfin d aboutir un mod le tridimensionnel coh rent de la sc ne que nous la
92. tudes mergeant de cette nouvelle approche du code de la vision des syst mes robotiques Couplage multisensoriel Nous avons tout d abord tudi un syst me perceptif multi sensoriel initi en France au LORIA par D Martinez Rochel et al 2002 Ce syst me consiste en un robot mobile de type Koala dont le but est de pouvoir naviguer dans un environnement partiellement connu en utilisant des indices visuels et olfactifs et est sp cialement con u pour pouvoir tre utilis en milieu in dustriel lors d incidents chimiques par exemple o une action non humaine est n cessaire Des capteurs olfactifs de type Figaro sont plac s des deux cot s du robot en face de tubes aspirant l air par des pompes de telle fa on qu on obtient un signal analogique multi canal et st r o de l environnement chimique Toutefois ces capteurs manquent de sensibilit temporelle et ol factive particuli rement lorsque le robot est en mouvement et un traitement par des techniques neurales est alors utilis pour cat goriser les odeurs Les capteurs olfactifs sont particuli rement peu performants si la source de l odeur est loign e du robot d autant plus si cette odeur comme l thanol est volatile Nous avons donc consid r la possibilit d utiliser d explorer l environnement dans ce cas o aucune odeur n est cat goris e en 194 Chapitre 4 Vers un code dynamique pars Fic 4 3 3 Syst me olfac
93. une grammaire sp cifique au monde des images percues La vision serait selon cette d finition un processus inf rant le monde depuis son image par une suite hi rarchique de r gles logiques Toutefois certaines images pr sentent des illusions optiques qui montrent que cette inf rence produite par la vision n est ni simple ni parfaite Ces limites se r velent alors par des distorsions ou des hallucinations qui sont difficiles voire impossibles a liminer malgr le caract re illogique de leur perception voir Fig 1 1 1 A Ce contre exemple montre alors que la vision est plut t un processus inductif devinant depuis information visuelle une interpr tation n cessaire aux processus vitaux mais qui peut tre incompl te ou fausse La vision comme objet d tude r v le aussi qu elle n est pas unique et qu elle 1 1 La vision un objet d tude scientifque 5 s inscrit dans un contexte Par exemple l ensemble de taches de la figure Fig 1 1 1 B ne semble pas pr senter une organisation particuli re si l on ne sait pas a quel contexte il appartient Par contre on ne peut pas ne plus voir l objet qu elle repr sente quand on l a reconnu La nature de la per ception pose alors des questions qu est ce que nous percevons est ce un reflet exact du monde mon voisin ressent il la m me chose et la mouche en volant qui montrent que la vision est un objet d tude ardu qui refl te notr
94. une formalisation solide et l mergence d appli cations efficaces tendant ou alternatives aux solutions classiques on pourra voir Haykin 1999 les approches connexionnistes ont souffert d une manque de reconnaissance par rapport aux approches purement logiciennes car le r sultat de leurs applications peut dans leur ressemblance avec la souples 12 Chapitre 1 Comment casser le code de la vision se de la biologie sembler trop impr visibles et leurs codages et apprentis sages ne se pliaient pas aux r gles standardis es refl t es dans l organisation de l ordinateur de von Neumann Paradoxalement c est aussi s rement la nature de la mod lisation initiale du neurone formel de McCullough et Pitts 1943 comme un syst me lin aire et suivant des m canismes similaire aux calculateurs de l poque synchronie poids statiques que les r seaux de neurones formels n ont pu encore se rapprocher de l efficacit des syst mes biologiques Une nouvelle re Toutefois une nouvelle re semble se dessiner avec l int gration du conne xionnisme avec l Intelligence Artificielle dans les Sciences Cognitives L in terdisciplinarit et les changes soutenus avec les neurosciences sont des fac teurs importants d unification d une th orie de la vision et d assouplissement des dogmes et fronti res de chaque discipline Il permettent aussi d envisager des probl mes comme celui qui nous int
95. 1996 Elles pr tendent donc ouvertement soutenir ces travaux pour tudier des alterna tives computationnelles compatibles avec les r sultats de ces exp riences et en tendant les mod les et codes propos s par une tude math matique ap profondie Nous porterons donc en particulier notre attention sur le codage temporel ultra rapide de l information visuelle Dans ce cadre nous restreindrons le domaine de notre tude aux conditions de ces exp riences que nous expliciterons la Sec 2 3 c est dire que nous tudierons la vision pour des images statiques flash es De plus ces images seront toujours en niveaux de gris et nous nous int resserons particuli rement au comportement rapide de la vision et donc l information port e en avant par la vol e d impulsions produite par l image Pour simplifier l influence du contexte nous consid rerons aussi dans les mod les que l image est pr sent e apr s un temps d adaptation qui permet de consid rer le syst me visuel au repos Nous nous attacherons de plus montrer que les mod les alternatifs propos s 1 3 Organisation de la th se 27 comme le codage de l information impulsionnelle par l ordre de d charge sont des processus g n raux une philosophie que l on peut tendre avec le cadre relativement abstrait de leur formalisation math matique actuelle Simulations num riques et applications robotiques Les images utilis e
96. 2 1981 D A Leopold M Wilke A Maier et N K Logothetis Stable perception of visually ambiguous patterns Nature Neuroscience 5 605 9 2002 AG Leventhal Y C Wang MT Schmolesky et Y Zhou Neural correlates of boundary perception Vis Neuroscience 15 1107 1118 1998 Zhaoping Li A neural model of contour integration in the primary vi sual cortex Neural Computation 10 4 903 940 1998 URL http citeseer nj nec com 1i98neural html Ralph Linsker From basic network principles to neural architecture Emer gence of spacial opponent cells orientation selective cells orientation columns Proceedings of the National Academy of Sciences 83 7508 7512 8390 8394 8779 8783 1986 Nikos K Logothetis D A Leopold et D L Sheinberg What is rivalling during binocular rivalry Nature 380 6575 621 4 2001a BIBLIOGRAPHIE 215 Nikos K Logothetis Jon Pauls Mark Augath Torsten Trinath et Axel Oel termann Neurophysiological investigation of the basis of the fmri signal Nature 412 150 7 July 2001b Wolfgang Maass et Christopher M Bishop editors Pulsed Neural Networks The MIT Press Cambridge MA 1999 URL http www cis tu graz ac at igi maass PNN html Wolfgang Maass et A Zador Computing with spiking neurons In Maass et Bishop 1999 pages 55 86 URL http www cis tu graz ac at igi maass PNN html K MacLeid A Backer et G Laurent Impaired odour discrimination on desynchronizat
97. 2 Code impulsionnel multicouche vers des repr sentations corticales Malgr la grande souplesse de ce codage et les applications dont nous venons de faire une revue ces algorithmes supposent implicitement la re 4 3 Systemes visuels dynamiques et applications 189 image or Fic 4 3 2 Carte de saillance dynamique L algorithme de carte de saillance permet de g n rer une suite de points de saillance d croissante en se basant sur des crit res locaux Cet algorithme a t ici appliqu Haut une image de la base d Itti et al 1998 On peut d duire de la r partition de l nergie corres pondant aux coefficients Gauche une carte de saillance dynamique indiquant en clair les points correspondant la plus haute nergie Droite L image propag par ce processus montre la reconstruction de l image avec ce processus Cette exp rience exhibe des r sultats similaires mais permettent de tenir compte de points de saillances plusieurs chelles Aussi l inhibition de retour est exacte et on peut reconstruire l image correspondant cette propagation 190 Chapitre 4 Vers un code dynamique pars construction analogique interm diaire d une image qui g n re alors une pro pagation dans la nouvelle couche neurale Nous allons alors tendre notre algorithme un nombre arbitraire de couches et qui ne n cessite pas une reconstruction interm diaire de l image Formalisation Pla ons nous
98. 3 229 39 1998 224 BIBLIOGRAPHIE Rufin Van Rullen et Simon J Thorpe Spatial attention in asynchronous neural networks Neurocomputing 26 7 911 8 1999 Rufin Van Rullen et Simon J Thorpe Is it a bird is it a plane Ultra Rapid Visual Categorisation of natural and artifactual objects Submitted to Perception 2000 Rufin Van Rullen et Simon J Thorpe Rate coding versus temporal order coding What the retina ganglion cells tell the visual cortex Neural Com putation 13 6 1255 83 2001 Rufin Van Rullen et Simon J Thorpe Surfing a spike wave down the ventral stream Vision Reseach page in press 2002 F Varela J P Lachaux E Rodriguez et J Martinerie The brainweb phase synchronization and large scale integration Nat Rev Neurosci 2 4 229 39 2001 Emmanuel Veneau Codage impulsionnels par rangs et apprentissage Tech nical report Rapport de Fin d Etude SUPAERO Toulouse France 1996 William E Vinje et Jack L Gallant Sparse coding and decorrelation in primary visual cortex during natural vision Science 287 1273 1276 2000 R Vogels Categorization of complex visual images by rhesus monkeys Eur J Neurosci 11 4 1223 55 1999 G Wallis et E T Rolls Invariant face and object recognition in the visual system Prog Neurobiology 51 167 194 1997 Xiaohui Xie et Sebastian H Seung Spike based learning rules and stabiliza tion of persistent neural activity In Jordan
99. 3 1 2 et q 3 1 8 il vient pour le comportement lin aire du mod le d 1 exc inh avi r AV _ Vrepos T gi Vi IE Esze gi AV _ Einn On peut alors d finir l effet d un PA re u t t pour une synapse avec un poids w 1 unitaire en int grant le courant dans q 3 1 6 avec S t to Ce calcul permet de calculer directement le Courant Post Synaptique tti g t l exp A t gt to 3 1 9 Tsyn 3 1 Mod les de codage temporel 79 o A t est la fonction chelon A t 0 pour t lt 0 et 1 sinon De la m me mani re si l on n glige pour le courant Z t dans Eq 3 1 8 de la variation de potentiel il vient pour le potentiel synaptique que nous d noterons dans la suite an sie Tm E t ELD _ Tm Tsyn Tm C Tsyn J A gt to 3 1 10 La pente de vaut donc 1 pour t to Ce mod le d finit bien le Potentiel Post Synaptique voir Sec 2 1 2 comme la r ponse normalis e d un PA sur le potentiel de la membrane voir Fig 3 1 3 B avec to 0 La confronta tion avec des mesures neurophysiologiques permettent de d finir Tsyn 5ms Cette fonction atteint son maximum pour t re In soit environ t 9 24ms On pourra d finir la force d une synapse par la pente du PSP a son origine c est dire que le poids synaptique pourra se d duire d un en registrement neurophysiologique par la pente du potentiel post synaptique Ainsi on
100. 4 on oe Ge oe SES 62 3 1 1 Mod le impulsionnel de Hodgkin Huxley 74 3 1 2 Mod le de neurone impulsionnel l Int gre et Tire Fuite 76 3 1 3 Mod le int gre et tir r ponse impulsionnelle 80 3 1 4 Mod le de neurone impulsionnel 81 Belo SN TA DNS atc eT MR AN Re Gee de mes Aa 85 3 1 6 Facilitation et d pression 87 3 1 7 Plasticit modulation temporelle relative exp rience 89 3 1 8 Plasticit modulation temporelle relative r sultats 90 3 1 9 Mod le g n ratif de la STDP 92 3 1 10 D tection non supervis de coh rence et STDP 96 3 1 11 D tection de la coh rence par STDP 97 3 1 12 Luminance et luminosit 102 3 2 1 Architecture du mod le dynamique de r tine 106 3 2 2 Filtres lin aires de la r tine 107 TABLE DES FIGURES 3 2 3 3 2 4 3 2 5 3 2 6 3 2 7 3 2 8 3 2 9 3 2 10 3 2 11 3 3 1 3 3 2 3 3 3 3 3 4 3 3 5 3 3 6 3 3 7 4 1 1 4 1 2 4 1 3 4 1 4 4 2 1 4 2 2 Reconstruction progressive de l image par les coefficients de la tra sf rm e Lean ini DSC NS RS N E SOS 112 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e 114 Quantification par leur rang de la valeur absolue des coeff cients de la transform e
101. 49 4 1 2 Codage par poursuite 2124 Lada 2 a 4 2 ee ARS 154 41 3 Code impulsionnel pars 159 4 1 4 Application au codage r tinien 163 Table des mati res vil 4 2 Mod le neuronal de repr sentation corticale sur compl te dans laire visuelle primaire V1 4 tn hoa ee od nm mas 167 4 2 1 Le mod le de Hubel et Wiesel 168 4 2 2 Mod les d adaptation 2 4 4 4 5 dus at pate 174 4 2 3 Cons quences en traitement de l image 180 4 3 Syst mes visuels dynamiques et applications 184 4 3 1 Heuristiques attentives et g n ration de cartes d atten HON ER et eaa Re PR DS eee AN 185 4 3 2 Code impulsionnel multicouche vers des repr sentations c Ttticaleg nnn a nie en ds ANS CS SE 188 4 3 3 Applications la robotique et la vision active 193 Conclusion 198 Abr viations et acronymes 201 Publications 203 Bibliographie 224 Table des figures 1 1 1 Fronti res dela vision 6 1 1 2 Approches sur la nature des calculs dans les processus cognitifs 15 2 2 1 Organisation axiale simplifi e de la r tine 46 2 2 2 Les Chemins de la vision 55 2 3 1 Cat gorisation animal non animal exemples d images uti lis es par Thorpe et al 1996 osc Manet ts 61 2 3 2 Activit diff rentielle entre les potentiels voqu s EEG des cibles et des distracteurs asf 4
102. C vee 4 1 20 CHE ot oy sete Cette strat gie est la fois computationnellement plus efficace au lieu de recalculer tous les produits scalaires on ne doit que m moriser initialement ces corr lations et effectuer des additions mais aussi biologiquement plus r aliste On pourra aussi imaginer que la poursuite soit seulement a gourmande c est a dire que chaque impulsion corresponde a une inhibition telle que Cla do Sek 4 1 21 Nit L information impulsionnelle pour a 0 1 sera alors plus progressive le mod le pr sente alors des trains d impulsions similaires la biologie voir Fig 4 1 3 D un autre c t un mod le avec a gt 1 pr sentera comme pour un systeme diff rentiel du second ordre une relaxation plus rapide mais en contrepartie plus instable Nous nous limiterons dans la suite au cas corres pondant la poursuite gourmande classique a 1 Cet algorithme pr sente donc un mod le simple de codage non lin aire im pulsionnel I permet de pr voir des comportements neuraux biologiques qui ne correspondent pas un mod le lin aire comme par exemple la r ponse de neurones de V1 des orientations En effet si l on observe qu un seul neurone dans notre mod le comme ce qui est souvent une limite de la tech nologie d enregistrement neurophysiologiques l activit va d pendre directe ment de l activit des neurones corr l s Son comportement va tre influenc non lin
103. Comme l avait pressenti Mallat et Zhang 1993 cet algorithme peut alors tre interpr t dans la structure d un r seau neural Nous allons montrer qu il s applique particuli rement un code impulsionnel et permet grace la d finition d interactions lat rales de construire un code impulsionnel pars Codage impulsionnel En effet on peut interpr ter l algorithme de codage par poursuite gour mande dans le cadre d une couche de neurones impulsions Tout d abord comme pour Sec 3 2 1 l activit initiale C des filtres 7 peut tre calcul e gr ce au mod le lin aire que nous avons pr sent Aussi comme nous l avons vu le premier neurone mettre un PA sera celui dont l activit sera la plus forte et donc le premier PA correspond au premier filtre s lectionn 1 Selon Eq 4 1 5 cela correspondra a i ArgMax p C 4 1 18 On d finit alors une couche d interactions lat rales comme des interactions tres rapides et d finies par la corr lation entre les filtres Une r gle de type hebbien semble alors parfaitement adapt e pour calculer ces poids puis qu elle correspond exactement la corr lation lt Qi Qi gt entre les filtres de deux neurones 7 et 72 Dans ce mod le th orique nous inhiberons alors imm diatement l activit des filtres corr l s avec le filtre s lectionn O lt Qio Vi gt Cie oc ae 4 1 19 La propagation peut alors tre poursuivie pour les
104. I Qi gt p I gt bo 4 1 6 ME G Qio Ci Ne 4 1 7 Aussi on peut calculer l effet de l inhibition sur l activit par CoS ee 4 1 8 lt Do Qi gt Ci Co 2 No 4 1 9 Cette derni re quation montre alors qu on peut directement retirer de l acti vit la corr lation d un filtre par rapport au filtre s lectionn et continuer la proc dure r cursive sans utiliser q 4 1 5 Si on initialise l image et l activit I I et C C alors il vient en r p tant les proc dures pr c dentes pour t gt 0 it ArgMax cp Ci yet yt Ch Bs 4 1 10 Ctl PT Qi an 4 1 Pour un mod le d interactions lat rales 157 ou encore de fa on quivalente en calculant directement l activit r siduelle i ArgMax ep C 4 1 11 t 1 _ pt t lt jt di gt Enfin on pourra alors reconstruire simplement le signal comme la somme des filtres que nous avons s lectionn s Pi 04 0 4 1 12 soit TT t Pit i oe FR 4 1 13 et qui correspond bien notre but dans Eq 4 1 1 et Eq 4 1 2 On justifie le terme gourmand par le fait qu on choisit un instant donn le meilleur filtre sans se soucier des cons quences a long terme L algorithme que nous avons construit est alors exactement une Poursuite de Concordance ou Matching Pursuit MP Mallat 1998 pp 412 9 pour des filtres normalis s N 1 pour tout i Cet algorithme est particuli rement adapt a des a
105. Il est alors int ressant de simuler le mod le complet de neurone impulsionnel que nous avons b ti et qui comprend alors les m canismes membranaires et les m canismes synaptiques court et long terme Son comportement se rapproche sur de nombreux points aux neurones biologiques Les poids sont modifi s de telle fa on ce que la fr quence de d charge se stabilise quelle que soit la fr quence de d charge des PAs en entr e et donc de ce mod le peut merger un processus hom ostatique de r gulation Kempter et al 2000 Chechik et Tishby 2000 Cette r gle est particuli rement adapt e par des codes se basant sur la synchronie des PAs et a souvent t tudi e dans ce Cas 3 1 Mod les de codage temporel 93 D tection de la coh rence Une relecture de la r gle de Hebb 1949 montre qu elle prend vraiment son sens dans des assembl es de neurones Dans ce cadre nous allons utiliser une approche fonctionnelle en d rivant cette r gle d un co t qui quantifie sa r ussite Une m thode de descente de gradient nous fournira alors une r gle d apprentissage sur cette assembl e que nous rapprocherons la m thode pr c dente Perrinet et Samuelides 2002a Nous tudierons une assembl e de neurones telles que les cellules ganglionnaires de type B de la r tine du crapaud qui n ont pas d arbre dendritique mais qui poss dent une quarantaine de boutons synaptiques sur leurs soma Nous mod liserons alors de
106. L information est alors propag e suivant 2 1 La vision comme un syst me dynamique 41 un chemin axial d finissant ainsi une colonne corticale d environ quelques centaines de neurones et qui peut d finir un automate ind pendant structu rant un r seau cortical adaptatif Burnod 1989 Les neurones de la couche supra granulaire projettent alors l information par des relations sym triques c est dire r ciproques sur les neurones d autres colonnes proches pour les neurones de la couche III ou plus distaux pour ceux de la couche IT Les neurones des couches infra granulaires re oivent cette information de fa on non r ciproque et peuvent alors la retro propager au thalamus cr ant ainsi une boucle dans le flux de l information Le flux d information arrive donc en premier par une voie en avant o l in formation en provenance d autres r gions du SNC par exemple des entr es thalamiques est int gr e via la couche granulaire par la couche supra Une voie lat rale propage alors cette information aux colonnes voisines Une autre voie descendante va int grer l activit corticale locale sur les couches infra pour la renvoyer la source Une colonne peut tre partiellement seulement les couches supra ou globalement activ e par l excitation simultan e des cellules des couches infra et supra Une activation globale peut induire une action motrice par exemple par l interm diaires des ax
107. THESE pr sent e en vue de Vobtention du titre de Docteur de l Universit Paul SABATIER Sp cialit Sciences Cognitives Comment d chiffrer le code impulsionnel de la Vision Etude du flux parall le asynchrone et pars dans le traitement visuel ultra rapide par Laurent PERRINET Soutenue le 7 F vrier 2003 devant la commission d examen compos e de MM M IMBERT Pr sident J H RAULT Rapporteur Y BURNOD Rapporteur S THORPE Co directeur de th se M SAMUELIDES Directeur de these THESE pr sent e en vue de Vobtention du titre de Docteur de l Universit Paul SABATIER Sp cialit Sciences Cognitives Comment d chiffrer le code impulsionnel de la Vision Etude du flux parall le asynchrone et pars dans le traitement visuel ultra rapide par Laurent PERRINET Soutenue le 7 F vrier 2003 devant la commission d examen compos e de MM M IMBERT Pr sident J H RAULT Rapporteur Y BURNOD Rapporteur S THORPE Co directeur de th se M SAMUELIDES Directeur de these a Paul Remerciements Josu ben Pera hia et Nitai d Arbele re urent d eux la tradition Josu ben Pera hia disait Fais toi un maitre acquiers toi un compagnon et juge tout homme favorablement Pirke Avot Trait des P res chap I paragraphe 6 Michna 6 Je tiens tout d abord remercier Manuel Samuelides professeur de Math matiques SUPAERO et chercheur l ON RA pour avoir
108. V1 amp V2 Journal of Comp Neuroscience 248 164 89 1986 J Vaccaro D Gourion M Samuelides et S Thorpe Rank based hebbian learning in a multi layered neural network In Proccedings of VI DYNN 98 Royal Institute of Technology Stockholm Sweden 1998 J H van Hateren Spatiotemporal contrast sensitivity of early vision Vision Research 33 257 67 1993 J H van Hateren et H P Snippe Information theoretical evaluation of pa rametric models of gain control in blowfly photoreceptor cells Vision Research 41 1851 65 2001 J H van Hateren et A van der Schaaf Independent component filters of natural images compared with simple cells in primary visual cortex Proc R Soc Lond B 265 359 66 1998 Mark C W van Rossum Gina G Turrigiano et Sacha B Nelson Fast propagation of firing rates through layered networks of noisy neurons The Journal of Neuroscience 22 5 1956 66 2001 Rufin Van Rullen Une premi re vague de potentiels d actio une premi re vague id e de la sc ne visuelle R le de l asynchronie dans le traitement rapide de l information visuelle PhD thesis 2001 Rufin Van Rullen Arnaud Delorme et Simon J Thorpe Feed forward contour integration in primary visual cortex based on asynchronous spike propagation Neurocomputing 1 4 38 40 1003 9 2001 Rufin Van Rullen Jacques Gautrais Arnaud Delorme et Simon J Thorpe Face processing using one spike per neuron BioSystems 48
109. What does the retina know about natural scenes Neural Computation 4 2 196 210 1992 205 206 BIBLIOGRAPHIE P Bach y Rita Tactile vision substitution past and future Int J Neurosci 1 4 19 29 36 1983 Roland Baddeley The correlational structure of natural images and the calibration of spatial representations Cognitive Science 21 3 351 372 1997 URL http citeseer nj nec com baddeley96correlational html Wyeth Bair et Christof Koch Temporal precision of spike trains in extra striate cortex of the behaving macaque monkey Neural Computation 8 6 1185 1202 1996 Philippe Barbe et Marc Hallin Statistiques de rang lin aires normalit asymptotique et th or me de projection de Hajek In Inf rences non pa ram triques Association pour la Statistique et ses Utilisations 1995 Horace B Barlow et P Foldiak Adaptation and decorrelation in the cortex In G Mitchinson ed R Durbin C Miall editor The Computing Neuron number 4 page 54 72 New York Addison Wellesley 1989 Anthony J Bell et Terrence J Sejnowski The independent components of natural scenes are edge filters Vision Research 37 23 3327 38 1997 R Ben Yishai R L Bar Or et H Sompolinsky Theory of orientation tuning in visual cortex Proc Natl Acad Sci USA 92 3844 8 1995 G Q Bi et M M Poo Synaptic modifications in cultured hippocampal neu rons Dependence on spike timing synaptic strength and postsynapti
110. a cat gorisation ultra rapide autant par l architecture pa rall le et asynchrone du calcul que par sa robustesse par exemple aux chan gements de contrastes et de fa on quivalente au bruit Delorme et Thorpe 2001c Ainsi dans le cadre de la start up SPIKENET TECHNOLOGIES ces algorithmes sont utilis s pour des applications industrielles Ces technologies peuvent tre gr ce leur structure implant s sur des syst mes distribu s comme des clusters c est dire une r seau de calculateurs d di au cal cul des cartes multiprocesseurs Cette repr sentation se rapproche de la Repr sentation par l Adresse des v nements Address Event Response ou AER Deiss et al 1999 et peut donc tre de fa on simple transpos e des cartes de type VLSI Ces fondations ouvrent donc la voie l implantation de syst mes de vision complets dont la rapidit rivalise avec les syst mes biologiques Chapitre 4 Vers un code dynamique pars Il faudrait faire en sorte que tout soit aussi simple que possible mais pas plus simple Albert Einstein cit par Marvin Minsky in Society of Mind 4 1 Pour un mod le d interactions lat rales Apr s avoir pr sent un mod le complet de codage r tinien Sec 3 2 et un code impulsionnel bas sur les rangs d arriv e des impulsions Sec 3 3 nous allons voir maintenant pourquoi il est n cessaire de proposer un mod le d interactions lat rales pour implanter un code v
111. a dans ce cas induire les premiers tirs qui donneront une information non supervis e des parties saillantes de l image et favoriser le tir des filtres voisins On voit alors les parties corres pondant des zones coh rentes se propager en premier et l avalanche de tirs locaux entra ne la propagation en avant du visage Carte attentive dynamique de saillance Cette exp rience se rapproche donc dans un sens de la carte attentive de saillance de Itti et al 1998 Celle ci consiste en un empilement de cartes neurales mod lisant des neurones de LIP dont on suppose qu ils collectent les donn es saillantes de l image comme le contrastes en luminosit en chromi nance direction et leurs combinaisons pour diriger le mouvement des yeux Ces donn es saillantes se distinguent d autres caract ristiques de l image dans le sens o elles sautent aux yeux pop out au lieu de n cessiter une ex ploration s rielle dans l image comme par exemple la recherche la recherche d un gar on avec un maillot ray rouge dans une foule La m thode de Itti et al 1998 collecte ces diff rents aspects dans l image pour les int grer et cr er une carte attentive qui correspond une mesure quantitative de la saillance L algorithme choisit alors r cursivement le maximum vers lequel le regard est port et inhibe en retour inhibition of return une aire de surface fixe la surface de saillance voir Fig 4 3 2 Cet algori
112. agation est v nementiel on suppose alors qu il n y a pas d hor loge globale mais que l information se propage de fa on asynchrone et qu un v nement c est dire dans ce cas simplifi un simple PA se propage vers ses eff rents en fonction des autres v nements et de la configuration du r seau de propagation Par analogie avec les processus de calcul asynchrone et pour viter les collisions on pourra supposer dans ce mod le que le d lai de pro pagation est fixe et que le PA est propag d s qu il est mis et d finir ainsi un nouveau simulateur de calcul neuronal bas sur des v nements Delorme et Thorpe 2001b Ce mode de fonctionnement a t observ de mani re spectaculaire dans le syst me visuel et les exp riences de Keysers et al 2000 sont ce titre exem plaire Ces exp riences consistent a pr senter a un singe dont on a trouv un neurone dans IT sensible une image cible particuli re dans une base de donn e une s rie d images de fa on tr s rapide Rapid Serial Presentation et dans laquelle on introduit de fa on al atoire l image cible Les auteurs observent alors que m me quand la fr quence de pr sentation des images at teint 71 Hz soit environ 14ms par image le neurone peut r pondre l image cible Comme la distance en latence de la r tine IT est d environ 100 ms latence qui est confirm d autre part par cette exp rience environ 7 vagues d i
113. al cortex II contours bridging gaps The Journal of Neuroscience 9 1749 1763 1989 BIBLIOGRAPHIE 219 C V Portfors et J J Wenstrup Delay tuned neurons in the inferior colliculus of the mustached bat implications for analyses of target distance Journal of Neurophysiology 82 1326 38 1999 Charles Poynton Frequently asked questions about gamma Technical report 1999 URL http www inforamp net poynton Alexander D Protopapas Michael Vanier et James M Bower Simulating large networks of neurons In Koch et Segev 1999 chapter 12 pages 461 498 John Rinzel et Bard Ermentrout Analysis of neural excitability and oscilla tions In Koch et Segev 1999 chapter 7 pages 251 292 O Rochel D Martinez E Hugues et F Sarry Stereo olfaction with a sniffing neuromorphic robot using spiking neurons In Eurosensors 2002 R W Rodieck Quantitative analysis of cat retinal ganglion cell response to visual stimuli Vision Research 5 583 601 1965 E Rodriguez N George J P Lachaux J Martinerie B Renault et F Va rela Perception s shadow long distance gamma band synchronizationof human brain activity Nature 397 430 3 1999 Rosenblatt Perceptron simulation experiments Proceedings of the I R E 20 167 192 1960 Botond Roska et Frank Werblin Vertical interactions across ten parallel stacked respresentations in the mammalian retina Nature 410 583 7 2001 Mark C W Van Rossum G Q
114. ale qui constitueront les bases d un code visuel impulsionnel 1 2 2 Quels mod les de codage impulsionnel rapide Les m canismes cognitifs rapides que nous avons voqu montrent que le SNC ob it des processus temporels qui sont incompatibles avec les th ories classiques du code neuronal Peut on alors proposer en utilisant l information impulsionnelle des mod les de construction d un code neuronal adapt ce r gime particulier du fonctionnement neuronal 1 2 Vers une vision dynamique 21 Le calcul neural vers un code v nementiel Concentrons nous sur la nature du calcul neural En effet le SNC poss de une capacit de calcul immense gr ce sa structure parall le Thorpe et Im bert 1990 mais pr sente des limites quant sa connectivit les connexions entre neurones prennent elles seules 95 du volume du cerveau alors qu un calculateur classique monoprocesseur l inverse peut communiquer tr s ra pidement mais poss de une capacit de calcul relativement faible Comment imaginer alors un autre paradigme sur le calcul neural que celles inspir es des calculateurs actuels En particulier l exp rience neuropsychologique de Thorpe et al 1996 que nous avons cit e plus haut permet de proposer un code dans une assembl e par l ordre d activation des neurones Cette proposition iconoclaste qui semble a priori incompatible avec les principes biologiques permet de construire une th
115. ant la complexit du r seau neural cortical mais nous nous limiterons ici des architectures hi rarchiques en avant pour conserver toutes les propri t s de la poursuite de concordance On en d duit que dans cette formalisation pure 4 3 Systemes visuels dynamiques et applications 191 ment v nementielle d automates d terministiques le temps est bas sur les v nements et en premier lieu sur les impulsions r tiniennes Par cons quent si d un cot l ensemble des temps de propagation d une couche sont inclus dans l ensemble des temps de tir de la couche suivante on peut aussi voir que chaque tir dans une couche sup rieure est due une avalanche d impulsions depuis une impulsion r tinienne Vers un mod le fonctionnel de colonne corticale Afin de synth tiser les r sultats que nous avons pr sent et proposer un mod le fonctionnel nous allons maintenant d crire un mod le de colonne corticale comme un automate adaptatif Burnod 1989 Ce mod le th orique va donc comprendre plusieurs neurones li s fonctionnellement que l on va d crire au niveau de description de l aire corticale comme un syst me auto nome Cette colonne va tre caract ris e par son entr e et sa sortie impul sionnelles et par son tat interne Par analogie avec les observations neuro physiologiques et comme d crit dans Sec 2 1 3 cet automate sera constitu de plusieurs couches que nous simplifierons en ne consid r
116. ant que les entr es et sorties thalamiques et cortico corticales Une couche d entr e int gre les entr es thalamiques et cortico corticales c est dire dans le cadre de notre mod le simplifi de V1 les impulsions g n r es par le code r tinien pour d finir l activit analogique de la co lonne Cette activit est transform e en un v nement d autant plus vite que cette activit est forte c est la voie en avant de la colonne Cet v nement est alors transmis par des connexions lat rales et sym triques ce qui corres pondrait dans un mod le biologique la couche II pour rendre compte de l v nement gagnant sur les voisins de telle sorte ce que la repr sentation soit parse et efficace c est la voie lat rale de la colonne D apr s notre for malisation les poids correspondant peuvent tre d termin s par la corr lation des filtres et donc par une r gle de type hebbienne On d finit alors une couche superpos e mais dans la direction descendante qui va correspondre la voie en arri re de la colonne et qui va implanter fonctionnellement les processus r gulateurs et attentifs On d finira dans ce 192 Chapitre 4 Vers un code dynamique pars cadre une activit correspondant l attente de la colonne int gr e depuis les v nements des voies en avant des colonnes voisines Cette activit d attente de la colonne peut se propager sous forme d un v nement en retour vers
117. ant que m me pour LUT la variance est largement r duite voir Fig 3 2 10 et que le graphe de la modulation ob it une loi lin aire du lo garithme du rang relatif En comparant ces courbes aux diff rentes chelles En effet l auto corr lation de la luminosit des points dans une image est infinie l origine et la pond ration propos e annule donc cette composante 126 Chapitre 3 Mod les de codage rapide Fic 3 2 9 Distance subjective entre des images On a bruit une image originale Or par des bruits de spectres diff rents pour obtenir 5 images diff rentes A E Les mesures de distance donnent alors la distance depuis l original pour la MSE les r sultats sont du plus proche au plus loign A B E C et D alors que EQMB donne D E A B et C Cette derni re distance correspond donc plus une mesure subjective du bruit ajout sur l image originale voir par exemple en d tail l oreille du z bre et par extension de la distance entre des images 3 2 Mod le dynamique de la r tine 127 N 15 an 0 8 UT 300 E UT 0 6 10 200 0 4 5 100 0 2 0 0 0 0 01 0 1 1 10 100 0 01 0 1 1 10 100 0 01 0 1 1 10 100 Rang Rang Rang Fic 3 2 10 Quantification de la valeur absolue des coefficients de la trans form e par leur rang On a compar les trois fonctions de quantification A LUT B LUT et C LUT voir Eq 3 2 14
118. ant un signal asynchrone gr ce Vinhibition divisive mais en utilisant un formalisme explicite simplifi Mod le de neurone sensible l asynchronie Plus pr cis ment imaginons alors un neurone avec N synapses j sur lesquelles il re oit des impulsions qui modifient alors son potentiel mod lis par les quations LIF CS voir Sec 3 1 1 et Eq 3 1 9 et que l on peut donc param trer par un vecteur de poids et le seuil On d finit alors l inhibition divisive comme un processus qui va int grer avec une m me efficacit sy naptique les impulsions donc les compter dynamiquement pour g n rer un courant ionique dont le potentiel de repos est proche du potentiel excitateur du neurone et dont l effet sera diviseur sur l efficacit du courant excitateur L efficacit de la synapse 7 sera donc transform e en Jij Jij Jshunt 3 3 1 avec d 1 gI t aa Jsnunt t OG aie t y Sj 3 3 2 j o a est le taux d inhibition par impulsion entrante et qu on r glera suivant les donn es neurophysiologiques On peut approcher qualitativement la r ponse d un tel mod le si l on consid re une vague d impulsions o chaque synapse re oit une et une seule impulsion au temps tj En effet l inhibition divisive grandira en suivant une expo nentielle d croissante du nombre d impulsions arriv es sur le neurone et on pourra crire comme dans Sec 3 1 3 que l activit excitatrice du neurone s
119. apide de l information vi suelle Thorpe et al 1996 nous allons d finir les bases d un code parall le et asynchrone de la vision Celui ci transforme l information visuelle analogique organis e spatialement l image en une vague d v nements l mentaires co dant gr ce leur succession dans le temps l information de fa on progressive et hi rarchique Afin d explorer les m canismes neuronaux fondamentaux qui implantent le traitement ultra rapide nous allons baser dans un premier temps les m ca nismes de ce code sur les processus biologiques l chelle du neurone et de la synapse Cette m thode permettra de d finir un mod le g n ratif de plas ticit synaptique Perrinet et Samuelides 2000 dont la formalisation et les r sultats sont compatibles avec les observations neurophysiologiques Perri net et al 2001 Delorme et al 2001b En particulier un tel mod le peut induire gr ce des principes informationnels l extraction non supervis e de l information coh rente dans le flux des impulsions neuronales Perrinet et Samuelides 2002a Le codage par la latence de la premi re d charge peut alors tre appliqu un mod le de la r tine qui permet de d finir un algorithme complet de codage et d codage impulsionnel dans le nerf optique Van Rullen et Thorpe 2001 xiii Xiv R sum Celui ci se base sur une architecture multi chelle similaire une transform e en ondelettes qui peu
120. ar le compromis entre le taux de compression et la qualit de l image cela reste donc un crit re subjectif et ils ont connu au cours de leur histoire des p riodes de stagnation relatives entrecoup es d am liorations soudaines li es des changements de paradigme Ainsi les premiers standards comprimaient les donn es d intensit des pixels sans se pr occuper de leur position Une nouvelle re est symbolis e par le standard JPEG qui code par une technique proche des ondelettes l image par blocs de 8 x 8 pixels Une nouvelle ere semble s annoncer avec le nouveau standard JPEG2000 bas enti rement sur des techniques d ondelettes multi chelles 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 181 FIG 4 2 7 Emergence d une carte topologique de filtres s lectifs l orienta tion On a tudi l mergence de filtres corticaux comme dans Fig 4 2 6 mais en introduisant des relations spatiales entre les filtres de num ros voisins circu lairement la mani re d une carte auto organisatrice de Kohonen Pour cela on a modifi pendant la propagation le seuil des activit s voisines pour des filtres voisins par sym trie des valeurs de contraste les polarit s sont indiff rentes On voit appara tre de la m me fa on des filtres s lectifs l orientation mais de plus les filtres voisins vont avoir des s lectivit s voisines de telle sorte que l on voit
121. articulier la vision tait tridimensionnelle par un ba layage de l environnement par un rayon laser t l m trique pour permettre une relative autonomie entre les d lais impos s par le temps de transmission des commandes de la Terre Mars environ 10 min Elles s tendent aussi des missions de t l chirurgie qui font notamment appara tre un besoin d interactivit entre la vision de l op ration r elle et les gestes t l guid s du chirurgien L tude de telles applications peut donc changer les modalit s buts et contraintes sur le syst me que nous tudions Cette approche d veloppe la cr ativit de tels mod les et la d finition des taches qu ils doivent accomplir et montre que notre vision de la vision doit tre modifi e Nous voyons alors que la vision n est pas un sujet d tude vident tant par sa g n ralit que par les processus qui la sous tendent la d couverte du code de la Vision reste un d fi 1 2 Vers une vision dynamique Apr s cette courte synth se de l tat de l art sur l tude de la vision et de ses applications nous allons souligner les aspects particuliers de la vision que nous allons explorer En particulier notre but va tre de d finir les aspects de la vision qui permettent de mieux la comprendre comme un processus dynamique et adaptatif Nous allons donc confronter des faits sur la structure la fonction et le caract re adaptatif des processus visuels pou
122. ation et l en semble des calculs visuels doit correspondr une strat gies optimale dans le compromis entre la construction d une relation coh rente du monde physique et par rapport l ensemble des contraintes 2 1 2 La vision et son corr l t neuronal Pour mieux comprendre comment Evolution a implant cet ensemble de processus nous allons tudier de fa on g n rale l architecture des pro cessus neuronaux En particulier nous insisterons sur les diff rents niveaux d tudes du SNC depuis les cellules neuronales jusqu au r seau complexe que ces cellules forment Le syst me visuel est un r seau de neurones Depuis les travaux de Cajal 1911 nous savons que le SNC est compos d un complexe r seau discontinu de cellules sp cialis es les neurones sou tenues par des cellules de soutien principalement des cellules gliales dans une proportion de 90 du nombre total de cellules Le r le de ces derni res tLe lumen est une unit mesurant la puissance lumineuse 36 Chapitre 2 Neurophysiologie du syst me visuel cellules est de subvenir aux besoins des neurones nergie vacuation des d bris mais aussi de structurer le r seau des neurones La membrane des neurones comporte des canaux ioniques sp cialis s s ouvrant ou se fermant pour laisser le passage activement ou passivement aux ions en solution au gr de l activit locale Ces canaux produisent une diff rence de potentiel du
123. bande Ces applications peuvent aussi recouvrir d autres champs de recherche et le nouveau standard mergeant de compression d image Jpeg2000 bas sur la th orie des ondelettes est alors un exemple de fusion de techniques de trai tement logique avec une structure math matique inspir e de la biologie De la m me fa on les logiciels de la firme Synaptics qui voient les mouve 14 Chapitre 1 Comment casser le code de la vision ments du doigt sur le trackpad des ordinateurs portables sont bas s sur des techniques neuronales Ing nierie Neuromorphique Cette derni re application est bas e sur les principes naissants de I Ing nierie Neuromorphique IN Les m thodes qu elle introduit vont avoir une grande influence sur notre vision des processus cognitifs En effet PIN a t d finie par Mead 1989 comme un champ de l ing nierie copiant l architecture et la structure de syst mes de calculs sur les syst mes nerveux biologiques et est donc le compl mentaire naturel pour les implantations physiques des principes des r seaux de neurones voir Fig 1 1 2 En particulier son but vise mod liser des processus comme la transformation r tinienne par des microprocesseurs d di s qui approchent l architecture et les performances des syst mes biologiques en insistant sur la physique des calculs et du code tout en veillant aux contraintes comme la consommation lectrique d un syst me Ce
124. blis et permet d mettre des hypoth ses nouvelles sur les mod les candidats qui puissent implanter un tel traitement La synchronie et l asynchronie On interprete souvent le code au niveau des sous parties du SNC comme des synchronisations temporelles a diff rents niveaux entre neurones groupes ou aires Pour r pondre aux exp riences de cat gorisation ultra rapide nous allons resserrer notre niveau d tude a des assembl es de neurones que nous essaierons d tudier de fa on g n rique ce niveau la synchronisation est compatible avec le probl me de liage de diff rentes modalit s et permet alors d imaginer que le concept de pomme rouge puisse tre repr sent e tempo rellement par la synchronisation de deux assembl es de neurones respective ment sensibles aux pommes et la couleur rouge Toutefois on peut douter tout d abord de l existence de l implantation biologique du liage comme une synchronisation mais aussi se demander si la repr sentation correspondant cette approche largement accept e est satisfaisante En effet celle ci n est ni optimale ni compatible avec un traitement rapide et on peut tre tent de trouver des alternatives ce code En effet si la synchronie semble jouer un role important elle peut n tre qu un aspect d un code plus complexe Ainsi par exemple la pr cision du code li a la localisation chez la chouette par des informations auditives st r oscopi
125. bre Eq 3 1 15 Tpre Pis a E me 3 1 16 ee 1 Apost cs Qpost D o t Ta ASE Apost Tpost i Bee 1 1 Apre Qpre D 6 t ty Aasti A t Les param tres a g n ralement de l ordre de 0 3 d crivant l effet relatif ils sont donc compris entre 0 et 1 d un PA ce qui correspond aux observations 3 1 Mod les de codage temporel 85 Fic 3 1 5 Synapses A Cette microphotographie pr sente deux synapses Syn1 et Syn2 sur une dendrite Den du cortex auditif du rat Elle met en vidence les v sicules de neurotransmetteur ainsi que l espace inter synaptique plus sombre source Burt 1992 p 42 B Sch ma du mod le d une sy napse entre un neurone metteur pre j et un neurone r cepteur post i Les disques correspondent aux v sicules pr synaptiques et les couleurs repr sentent leur disponibilit facteur Apre Les rectangles qui leur font face correspondent alors aux canaux sensibles ce neurotransmetteur alors que leur couleur cor respond la densit de canaux recrut s pour la transmission facteur Apost En crivant l quilibre de ces processus suivant leurs activations par les PAs on pourra d terminer les variations de l efficacit de la synapse et donc l amplitude du potentiel post synaptique qui va exciter le neurone 86 Chapitre 3 Mod les de codage rapide neurophysiologiques Les valeurs A d crivent alors la valeur asympto tique quand
126. bsolue rapidement vers 0 Les contours sont propag s en avant dans V1 et l information est propag e plus rapidement 172 Chapitre 4 Vers un code dynamique pars B 0 1 1 10 100 0 1 5 10 FIG 4 2 3 Code impulsionnel dans VI A On a calcul de mani re r cursive la fonction de modulation donnant la valeur absolue d un coefficient en fonction de son rang B La reconstruction de l image par cet algorithme prouvent qu on a ainsi d fini un code visuel de V1 par des filtres de Gabor qui conduisent une repr sentation impulsionnelle parse les diff rentes orientations et nous avons en particulier utilis l algorithme de steerable pyramid Freeman et al 1989 Comme ces calculs restent par ticuli rement lourds sur un calculateur classique on a limit l apprentissage et la reconstruction 20 images Toutefois les r sultats restent similaires la r tine qualitativement m me si la convergence est beaucoup plus rapide Introduction de connaissance a priori coop ration locale On remarque en pratique qu un neurone de V1 a d autant plus de chances de tirer qu un neurone voisin a d j tir et cela malgr l inhibition des neu rones corr l s De mani re plus pr cise on remarque que dans les images naturelles les contours orient s sont le plus souvent continus et qu en de hors d une texture al atoire il existe donc des corr lations d ordr
127. c tiv s en m me temps Est ce alors une contrainte physiologique i e d cono mie du calcul parall le des neurones ou plut t une strat gie efficace de co dage et de repr sentation de l information neurale Aussi comme ces repr sentations sont tr s nombreuses elles sont inter d pen dantes et leurs sensibilit s se recouvrent On observe alors en particu lier dans le cortex que ces repr sentations sont fortement corr l es a leur implantation physiologique mettant en avant importance des interactions lat rales L tude d implantations possibles de ces m canismes nous clairera alors sur les fonctions possibles de ce code impulsionnel pars Auto organisation Aussi l tude de l anatomie du SNC et du syst me visuel en particulier r vele une grande pr cision de son architecture Comme il est exclu que ces principes soient seulement supervis s par le code g n tique par exemple quels sont alors les principes qui les guident et peut on alors les relier des buts et fonctionnalit s Peut on sugg rer l existence de processus d auto 1 2 Vers une vision dynamique 25 organisation On peut alors imaginer que les repr sentations du type de Bill Clinton vont merger de fa on non supervis e dans des assembl es de neurones Toutefois on peut se demander quels sont les principes sous jacents guidant la forma tion de telles assembl es c est dire savoir quels principes ada
128. c cell type The Journal of Neuroscience 18 10464 72 1998 I Biederman Human image understanding Recent research and a theory Computer Graphics Vision and Image Processing 32 29 73 1985 Kwabena A Boahen The retinomorphic approach pixel parallel adaptive amplification filtering and quantization In Analog Integrated Circuits amp Signal Processing volume 13 pages 53 68 1997 URL http www neuroengineering upenn edu boahen boahen_body htm BIBLIOGRAPHIE 207 Kwabena A Boahen Point to point connectivity between neuromorphic chips using address events IEEE Transactions on Circuits and Systems Invited Tutorial 2000 URL http www neuroengineering upenn edu boahen boahen_body htm L J Borg Graham C Monier et Y Fregnac Visual input evokes transient and strong shunting inhibition in visual cortical neurons Nature 6683 393 369 73 1998 Lyle J BorgGraham Interpretations of data and mechanisms for hippocam pal pyramidal cell models In Cerebral Cortex volume 13 P S Ulinski E G Jones and A Peters New York Plenum Press March 1999 Nicolas Brunel et Simone Sergi Dynamics of sparsely connected networks of excitatory and inhibitory spiking neurons Journal of Computational Neuroscience 1999 Robert W Buccigrossi et Eero P Simoncelli Image compression via joint sta tistical characterization in the wavelet domain In Proceedings ICASSP 97 IEEE International Conference on Acoust
129. calcul de fonctions tempo relles non lin aires Ce comportement qui peut tre rencontr dans des neu rones pyramidaux du cortex permet alors d effectuer des calculs alg briques complexes D autres processus non lin aires ont t observ s au niveau des boutons sy naptiques En particulier les synapses chimiques semblent jouer un r le cl dans ces processus et apparaissent alors comme des syst mes dynamiques complets d une complexit quivalente au neurone Tsodyks et al 1998 Comme nous l avions voqu le signal synaptique est transmis par lin term diaire de neurotransmetteurs contenus dans des v sicules voir Fig 3 1 5 qui s accumulent dans le site pr synaptique mais qui peuvent tre en nombre limit Leur lib ration est stochastique de l ordre de moins de 30 de chance d tre lib r lors de l arriv e d un PA On peut alors d velopper un mod le de la dynamique synaptique partir de l estimation de la probabilit Ppre d mission d une v sicule en fonction de l entr e pr synaptique les PAs La th orie des c bles cylindriques pr voit ainsi que la lin arit est en VV 84 Chapitre 3 Mod les de codage rapide Senn et al 1997 De la m me fa on l activation des r cepteurs post synapti ques laquelle correspond la probabilit post peut tre mod lis e en fonction des PAs se r tro propageant jusqu la synapse Ce mod le tend le mod le LIF CS que no
130. ce fonctionnelle sugg re que son role de relais une forte importance computationnelle Ainsi il semble que des neurones du CGL puissent tre bloqu s suivant le contexte ce qui expliquerait alors les processus d interruption ou de s lection de cer tains aff rents qui peuvent tre utilis s dans certains m canismes attentifs Il pourrait aussi tre l origine de la modification de la transmission de l infor mation lumineuse lors de saccades ou encore lors de rivalit s binoculaires Logothetis et al 2001a Il est important de noter que les fibres correspon dant au fov a divergent principalement vers l aire 7 suivant la classification de Broadman via une autre formation thalamique le tectum Depuis le CGL la vague d activit atteint alors le cortex par l aire visuelle primaire V1 l aire 17 dans la classification de Broadman voir Fig 2 2 2 V1 apr s environ 40 60 mst Cette aire est beaucoup plus vaste que Nous ignorerons ici la voie Konio encore trop peu connue tOn parle souvent abusivement de suppression mais il a t prouv qu un perception est possible durant la saccade Castet et Masson 2000 Elle atteint aussi l aire MT mais cette voie semble privil gier l information de mou vement et nous ne la traiterons donc pas dans le cadre de notre tude 52 Chapitre 2 Neurophysiologie du syst me visuel la r tine et le CGL puisqu a chaque fibre entrante va correspondre plusieurs
131. cepteur la couche de neurones du CGL qui permet m me si ce n est pas biologiquement r aliste la re construction th orique de l image voir Fig 3 2 1 Architecture de la transform e lin aire Comme l ont sugg r les mesures neurophysiologiques de Rodieck 1965 nous allons mod liser la transformation de l image par la r tine comme une 3 2 Mod le dynamique de la r tine 105 transformation lin aire Celle ci est caract ris e sur une couche de cellules ganglionnaires 7 d finies par leurs vecteurs de poids synaptiques sur leurs champs r cepteurs R voir Fig 3 2 1 left Nous crirons de fa on g n rale le potentiel C induit par la pr sentation de l image comme le produit scalaire Atick et Redlich 1992 C lt 1 6 gt SI 3 2 1 IER ou I i est l intensit lumineuse la position T en informatique resp la valeur et position du pizel D apr s Field 1994 nous d finirons les filtres d apr s des gaussiennes G comme des Diff rences De Gaussiennes filtres DDG voir Mallat 1998 pp 77 gt gt gt DDG 9 G Gal 3 2 2 G l Sey Jl 3 2 3 V 210 20 qui approchent les filtres observ s dans la r tine biologique Enroth Cugell et Robson 1966 On pourra aussi utiliser la d riv e seconde de la fonction gaussienne la Laplacienne de Gaussienne LDG qui est utilis e en traite ment de l image comme un filtre de d tection
132. ceptive fields of single neurones in the cat s striate cortex Journal of Physiology 148 574 91 1959 David Hubel et Torsten Wiesel Receptive fields binocular interaction and functional architecture in the cat s visual cortex Journal of Physiology 160 106 54 1962 Michel Imbert La neurobiologie de l image La recherche 14 600 13 1983 BIBLIOGRAPHIE 213 Giacomo Indiveri A current mode hysteretic winner take all network with excitatory and inhibitory coupling Analog Integrated Circuits and Si gnal Processing 28 279 91 2001 URL http citeseer nj nec com indiveri0icurrentmode html Laurent Itti Christof Koch et Ernst Niebur A model of saliency based visual attention for rapid scene analysis JEEE Transactions on Pattern Analysis and Machine Intelligence 20 11 1254 1259 1998 URL http citeseer nj nec com itti98model html S Jaggi et al High resolution pursuit for feature extraction Technical memo Massachusetts Institute of Technology 1995 D A Jeffreys A fac responsive potential recorded from the human scalp Exp Brain Res 78 1 193 202 1989 Michael I Jordan Michael J Kearns et Sara A Solla editors Advances in Neural Information Processing Systems volume 12 2000 The MIT Press Cambridge MA Gaetano Kanizsa editor Organization in Vision Praeger New York 1979 Richard Kempter Wulfram Gerstner et J Leo Van Hemmen Hebbian lear ning and spiking neurons Phys
133. cerveau chez lembryon sugg re que volution a pr f r adopter une structure laminaire dite de dimension 2 qui priv ligie des organisations suivant des surfaces En par ticulier cette organisation en couches neurales est remarquable dans le cortex du grec corce c est dire la partie la plus externe du cerveau Le cortex est suppos tre apparu le plus tard dans Evolution autour d un noyau commun constitu de l pine dorsale et du m senc phale C est une surface dense en neurones richement pliss e chez l homme le cortex d ploy couvre environ 1m qui malgr sa diversit fonctionnelle d veloppe sur toute son tendue une structure similaire Il est constitu de 6 sous couches de neurones num rot es depuis l ext rieur I VI et dont chacune contient des cellules pyramidales selon un principe qui se r p te tangentiellement sa surface une couche granulaire la couche IV ainsi appel e pour la forme des neu rones qui la constituent qui le divise alors en couches supra granulaires sur le cot externe les couches I III et les couches infra granulaires sur le cot interne Le cortex est form d une majorit de neurones pyramidaux d orien tation radiaire et dont leur apex dendritique est dans la couche I Les axones des aff rents du thalamus traverse la couche infra granulaire et forment des synapses exclusivement dans la couche IV avec les dendrites des neurones des autres couches
134. cette base la moiti de ces images constitue des cibles des animaux poisson insecte tigre vu de derri re ou occult en partie et n importe quelle position posture ou orientation voir Fig 2 3 1 A et l autre moiti des distracteurs comme des paysages un dirigeable en forme d l phant ou des plantes voir Fig 2 3 1 B 2 3 Contraintes temporelles sur le code visuel 61 A B Fic 2 3 1 Cat gorisation animal non animal exemples d images utilis es par Thorpe et al 1996 Les images sont tir es al atoirement d une base et repr sentent ou non un animal A Cibles B Distracteurs Les sujets doivent r pondre quand une cible est d tect e GO et seulement dans ce cas NOGO La r ponse est donn e selon un processus GO NOGO les humains doivent relacher le bouton d une souris informatique alors que les singes doivent rel cher un bouton et toucher l cran pour exprimer une r ponse positive Les sujets doivent r pondre avec la plus grande pr cision et le plus rapidement possible cette t che de cat gorisation Si l on peut exprimer explicitement ces conditions exp rimentales aux humains les singes eux sont entrain es par un conditionnement qui associe du jus de fraise une bonne r ponse et une punition r affichage de l image une mauvaise ou une absence de r ponse R sultats la cat gorisation a lieu en seulement 150 ms Cette t che est effectu e pour n im
135. cette simulation correspond 3 3 Codage par Rang 143 mp fh ey 58 55 g a a D O1 k 51 a A a oO 50 49 a oo 48 a latence ms ol D latence ms EN Lie EN QQ 47 y 46 45 D A O nS a 45 EN KR 45 45 20 40 180 90 0 90 180 180 90 0 90 180 rang orientation orientation Fic 3 3 5 S lectivit Ultra rapide l orientation dans V1 On a simul un neurone auquel on pr sente l image de barres orient es A Latence quivalente de d charge en fonction du rang pour diff rents contrastes de l entr e Le neurone de sortie est s lectif une orientation pr f r e O B et C Influence du seuil sur la largeur de la courbe de sensibilit les niveaux de gris indiquent la r ponse du neurone pour le choix de diff rents seuils la forme de la courbe de sensibilit est sensiblement similaire mais plus rapide et large pour des seuils bas B vs C Influence de la fonction de modulation On a choisi en C une fonction d croissant plus lentement fonction g om trique de raison 0 9 au lieu de 0 95 pour B la r ponse est plus lente mais la courbe de sensibilit est plus resserr e et pr cise traits gras aux observations de Celebrini et al 1993 et montre aussi que la largeur de la courbe de sensibilit est bien ind pendante du contraste ce qui est une cons quence directe du choix du codage On remar
136. d autant plus rapidement que le flux qui les touche correspond une classe pr f r e de motifs Ces premiers r sultats sugg rent alors des principes macroscopiques de calcul non lin aires une r ponse un flux incoh rent doit tre cod par une sortie r guli re alors qu une entr e coh rente donc porteuse d informa tion doit tre cod e par une sortie irr guli re Zador 1998 Ces r sultats sugg rent aussi que l information la plus importante est propag e en premier Ce calcul est d riv d une formulation similaire de Maass et Zador 1999 3 1 Mod les de codage temporel 101 et donc qu un code efficace doit pouvoir prendre en compte l ordre d arriv e des impulsions Thorpe 1990 Adaptation du codage temporel Consid rons la figure Fig 3 1 12 A si on essaye d valuer subjective ment les contrastes entre les niveaux de gris d finis ici quantitativement par la densit de noir fond clair 90 gris 50 et fond noir 10 le gris apparait plus contrast sur fond sombre alors que des diff rences de luminance indi queraient un contraste quivalent En fait comme d autres sensations r gies par la loi de Stevens notre perception de l intensit lumineuse la luminosit est plut t sensible des ratios de luminance Ce point r v le une donn e physique souvent clips e en traitement de l image et dont les cons quences peuvent tre cruciales En effet
137. d un cercle centr sur le fov a touchera un m me nombre sensiblement gal de PhRs ce qui introduit une stabilit par structure 2 2 Anatomie du syst me visuel A9 gence des axones vers le nerf optique qui constituent une zone insensible le point aveugle Finalement les CGs sont sensibles des contrastes de lumi res plusieurs tailles et qualitativement certaines CG r pondant maximalement lorsque le signal correspond un spot de lumi re entour d un pourtour de la taille de son champ r cepteur cellule centre ON ou son inverse centre sombre sur fond clair les cellules centre OFF Aussi m me si les r ponses des cellules sont tr s vari es et malgr la complexit du r seau r tinien Rodieck 1965 a montr que la r ponse jusqu au soma des CGs pouvaient tre mod lis e de fa on lin aire par rapport aux r ponses des photor cepteurs Cette sim plification peut th oriquement permettre de d terminer de fa on exacte la transform e d une CG qui est alors un filtre spatio temporel lin aire gr ce sa r ponse impulsionnelle un spot de lumi re Toutefois de nombreux ph nom nes non lin aires sont introduits dans les r ponses r tiniennes comme la perception de la couleur par des m canismes non lin aires Alleysson et al 2002 De plus Sherman et Guillery 1996 a montr que le contexte pouvait modifier l activit des CGs Transformation multicanaux l image impulsionnelle On a
138. d et pr sent s al atoirement au r seau suivant un processus de Poisson de faible fr quence 4Hz soit une pr sentation en moyenne toutes les 250 ms Nous allons d finir un co t de type hebbien dans le cadre des neurones im 94 Chapitre 3 Mod les de codage rapide pulsionnels en associant une adaptation synaptique chaque tir d un neu rone r cepteur qui sera alors not le neurone gagnant i et n sera donc le temps d apprentissage Le co t est d fini comme la somme de la diver gence des potentiels membranaires d une valeur souhait e V Cette valeur souhait e est fix e de telle sorte que le neurone gagnant corresponde une valeur haute comme le potentiel Eexc alors que les neurones qui ont perdu correspondent une valeur basse comme Einn soit une r ponse de type Winner Take All On ajoute ce co t des termes de r gularisation qui cor respondront un valuation de l nergie d pens e en courants synaptiques et aussi une valuation des ressources utilis es le nombre de canaux sy naptiques n cessaires Le co t est d fini l instant o le neurone gagnant tire par on a crit V pour V t OV 3 x 2 5 112 y 2 1 lt i lt Nrec 1 lt i lt Nrec pete es les potentiels V tant Vin Eexc A 3 1 19 eg Ein pour VAL On r gle a et 5 comme des param tres r gularisateurs On peut alors calculer le gradient de ce co t et le simplifier gr ce Eq 3 1 13
139. d finir des principes fondamentaux comme son but son corr l t neuronal et son fonctionnement 2 1 1 Quel est le but de la vision Nous allons essayer de d finir pr cis ment les concepts que nous avons introduits en Sec 1 1 pour d finir le but de la vision 31 32 Chapitre 2 Neurophysiologie du syst me visuel La vision est une strat gie La vision est une strat gie chez les tres vivants pour interagir avec le monde lumineux Ce monde lumineux est constitu des photons qui forment les rayons lumineux et mis ou r fl chis par les objets du monde et qui consti tueront donc une source d information sur le milieu L organe sensible de la Vision l oeil permet en focalisant les rayons optiques de concentrer une par tie de cette information sur sa partie photo sensible la r tine en formant une image du monde lumineux Une partie de cette information en parti culier seules les ondes entre 400 et 700 nm la lumi re visible va tre cod e pour tre trait e dans le SNC On peut alors d coupler un sous syst me du SNC sp cialis dans ces t ches le syst me visuel qui permet alors d analyser sp cifiquement cette information Ainsi la vision va participer en parall le avec les autres sens et fonctions cognitives aux processus vitaux d une fa on progressivement de plus en plus int gr e Le but de la Vision dans le sens o nous l avions d fini la Sec 1 1 1 est de fournir une r ponse compo
140. dans Eq 3 1 15 tous les processus sont actifs Au premier ordre une facilitation forte Ati gt gt 1 correspondra une addition de l efficacit chaque PA alors qu une d pression 0 lt A if lt lt 1 correspondra une division de l efficacit M me si ce mod le est tr s simplifi par rapport des mod les tenant compte des m canismes synaptiques comme le comportement d ancrage des v sicules sur la membrane pr synaptique les simulations correspondant ce mod le sur un neurone LIF CS montrent qu court terme ces processus l mentaires vont avoir une forte influence sur la forme du train de PAs En particulier ils permettent d interpr ter physiologiquement des ph nom nes de facilitation et de d pression qui sont observ s dans les exp riences neurophysiologiques En particulier le processus r trograde en se propageant l ensemble des synapses d un neurone joue un r le de contr le du gain Abbott et al 1997 ou de processeur temporel Chance et al 1998 Aussi Markram et Tso dyks 1996 ont prouv que ce m canisme pouvait dans les neurones tre reli une redistribution des poids synaptiques et donc un m canisme d adaptation court terme Ce dernier m canisme montre qu alors de telles briques l mentaires du processus neuronal peuvent par exemple ampli fier le contraste de la composante spatiale plut t que temporelle d un signal convergeant vers le soma et qu
141. dans un premier temps dans une architecture o les im pulsions de la r tine arrivent directement sur l aire visuelle primaire selon une suite d indices it correspondant des filtres r tiniens On peut alors d abord imaginer que l image est reconstruite progressivement par L t 1 L t pt rz Ps o gf est la polarit et m est la modulation LUT calcul e comme pr c demment Si l on note 4 les filtres de V1 on peut it rativement calculer l activit d un neurone 7 de V1 par Ci t 1 lt L t 1 4 gt CE p m lt see a gt 4 3 2 Ni Cette approche se rapproche du mod le propos par Hubel et Wiesel o les filtres de V1 sont exprim s comme une composition de filtres r tiniens On en d duit donc que l activit est calcul e directement depuis l adresse des impulsions sans passer par une reconstruction En d finissant un seuil 0 on peut alors d finir un nouveau m canisme im pulsionnel dans V1 Comme le filtre qui tire sera le filtre qui correspondra temporairement la meilleure concordance on pourra construire des inhi bitions de la m me mani re et mettre jour les activit s voisines au tir du 4 neurone j en retranchant la projection de Y v Ifl 1 4 1 1 lt Yp Yj gt Crt C t C t I 4 3 3 lvl i On peut alors d finir la propagation dans de nouvelles couches par ce forma lisme et imaginer aussi que ces propagations suivent des architectures copi
142. de fonctionnelle du comportement de mod les de neurones r alistes et en particulier l tude de l adaptation de la dy namique la statistique des entr es et l mergence non supervis e de s lectivit extrayant la coh rence d un flux asynchrone d impulsions au niveau neuronal le lien entre ces mod les d taill s et un code visuel complet bas sur l ordre d activation des impulsions En particulier on a tudi des mod les d adaptation mais aussi une formalisation per mettant de pr voir le comportement de tels neurones et des mod les Conclusion 199 appliquant ces mod les des applications visuelles comme le traite ment r tinien au niveau des assembl es de neurones on a d fini une m thode permet tant d implanter gr ce des interactions lat rales une repr senta tion impulsionnelle sur compl te et parse Nous avons alors montr son efficacit tant au niveau de la capacit de repr sentation que des applications pour le traitement mais aussi sa g n ralit en l tendant a plusieurs couches et en d finissant des processus adaptatifs Enfin on a reli des heuristiques de propagation des ph nom nes attentifs qui peuvent mod liser certains aspects de l attention visuelle Ces contributions s appuient donc sur les paradigmes d un mouvement mer gent du connexionnisme en Sciences Cognitives qui tablit les bases d une th orie biophysique des calculs cogn
143. de la masse c r brale t t dans le d veloppement de l embryon Sa morphologie et son fonctionnement complexes sont donc plus facilement observables que le cortex La r tine est donc un morceau de choix pour initier l tude du syst me visuel Morphologie de la r tine de la lumi re l impulsion La r tine est une mince surface d environ 5 mm situ e au fond de chaque il couvrant 75 du globe oculaire Elle constitue la partie sensitive de la vision en transformant l image lumineuse focalis e par l il en un signal de PAs Comme le reste du SNC elle est constitu e de neurones accompagn s par des cellules de soutien et est largement innerv e par des vaisseaux san guins Suivant les observations de Cajal 1911 dont les coupes taient sou vent pr par es verticalement la surface on sait que la r tine est constitu e de 6 couches successives de neurones diff renti s depuis la couche des neu rones sensibles la lumi re les photor cepteurs PhR jusqu sa sortie la couche des cellules ganglionnaires CG dont les axones forment le nerf op tique Les PhRs sont les neurones sensibles la lumi re et peuvent gr ce a leur capacit d adaptation r pondre de tr s faibles intensit s dans des condi tions exp rimentales pr cises un photon seul peut suffire les stimuler Ils existent sous deux formes les c nes r ponses rapides et sensibles sui 46 Chapitre 2 Neurophysiologie d
144. de mani re circulaire avec une excitation pour les filtres voisins imm diats et une inhibition plus pr cis ment un bruitage trois filtres de distance En pratique on a augment la sensibilit des neu rones voisins excitation lat rale pour des cartes voisines association locale On voit alors merger des filtres similaires l exp rience pr c dente mais la colin arit des lignes dans l image favorise l apparition de filtres s lectifs des orientations voisines sur des cartes voisines voir Fig 4 2 7 Toutefois 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 179 ce NE AN NE Fic 4 2 6 Emergence de filtres s lectifs l orientation Dans le cadre de notre code impulsionnel on a tudi un processus adaptatifs de choix de la base sur compl te On a choisi un protocole similaire Olshausen et Field 1996 mais avec une d composition sur l image compl te et pas seulement sur des imagettes de la taille des filtres On observe apr s quelques dizaines d it ration l mergence de filtres s lectifs l orientation comme ce qui est observ dans V1 Comme les images des sc nes d ext rieur exhibent de nombreuses textures on voit aussi appara tre des filtres avec des r ponses plus complexes voir filtres 3 et 16 par exemple 180 Chapitre 4 Vers un code dynamique pars ceux ci apparaissent plus vite grace au m canisme de coo
145. des per mutations Ainsi pour la moyenne V t 4 Den icici Wp Mod i Dre Mod i D per Wp i i lt icy Mod i w Le calcul est plus long pour la va riance mais il utilise le m me principe 3 3 Codage par Rang 139 Activit o o 2 o Oo D wo A O1 O fo a Rang Fic 3 3 3 Etude statistique de l activit d un neurone codage par rang On a simul des int grations neuronales lin aires sur 30 synapses par un co dage par rang pour des entr es al atoires et donc des permutations al atoires de l ordre d activation des synapses Les courbes extr mes correspondent aux valeurs th oriques maximales et minimales du potentiel alors que le trait gras correspond sa moyenne et la zone pleine un cart d un cart type de la moyenne Les autres traits correspondent des r alisations du potentiel pour des vecteurs al atoires On observe en pratique que la densit de probabilit du potentiel chaque rang est donn avec une bonne approximation par le th or me central limite permutationnel 140 Chapitre 3 Mod les de codage rapide 10 20 30 40 50 60 70 80 90 100 Rang F1G 3 3 4 Estimation de la densit de probabilit du temps de tir d un neurone codage par rang Gr ce l estimation du potentiel d un neurone lin aire voir Fig 3 3 3 on peut estimer la densit de probabilit de tir du neurone impulsion nel On pr sente pour un neurone avec 100 synapse
146. discret qui se rencontre rarement dans la nature est analogue au codage de l information g n tique par l ADN et ses expres sions En effet le support de l information g n tique permet de traduire la synth se de tout un dictionnaire chimique et spatial de mol cules avec un nombre limit d acides amin s qui s assemblent pr f rentiellement sui vant les mots ou g nons cr s par la combinaison des bases Certaines hypoth ses imaginent alors qu il existe de m me des mots neuronaux de base et des lettres pour l alphabet du langage neural qui s assemblerait sui vant une grammaire sp cifique Toutefois cette langue si elle existe n a pas t d crypt e et on se demande plus simplement quelles peuvent tre des r gles de composition de ces signaux impulsionnels et comment expliquer par exemple la grande irr gularit du signal impulsionnel des neurones Softky et Koch 1993a b Pour b tir un mod le de la Vision il faut donc d finir un code en imagi nant des r gles plausibles de composition et de transmission de l information bas es sur ces impulsions Les synapses sont alors des sous systemes neuro naux essentiels de ce code loin de l approche symbolique de leurs mod les dans les neurones formels Ces id es nous pousseront a d velopper des algo rithmes bas s non sur un temps continu mais sur les v nements neuronaux et synaptiques commencer desquels l impulsion neuron
147. du syst me visuel traitement du signal Delorme et al 2001a ont montr que l activation des aires se fait de mani re pr cise et asynchrone travers le SNC comme une succession d v nements corticaux En consid rant le SNC du primate en entier maintenant on en d duit des principes fondateurs de son organisation Dans l optique de mod liser ce syst me on peut tre tent de simplifier dans un premier temps son organisa tion en regroupant l ensemble des r seaux autour d un noyau central qui cor respondrait au syst me m senc phalique plus ancien au sens de l volution comme en particulier le thalamus sp cialis dans la r ception des signaux sensoriels et de son routage vers le cortex contr l par les boucles de retour Le flux d information va se propager comme une succession d v nements corticaux se propageant dans l ensemble du SNC Ce flux d information est organis plusieurs niveaux par associations pour produire par exemple partir du cortex moteur les actions musculaires L organisation du SNC montre donc clairement que la propagation de l acti vit c r brale est dynamique du niveau du neurone jusqu au niveau cortical Le corr l t neuronal du code visuel est donc organis suivant la coop ration entre la propagation de l information visuelle et les transformations tempo relles de cette information dans les aires corticales o la confrontation entre des processus de r
148. e l chelle o Co Co Dj eer es x y soit Co Co Po I Do Do Qo soit dans l espace de Fourier amp Epo D o L Los JED Q Do Qo or comme nous sommes en 2D et que les filtres sont r els a bo We Wy 0 0 0 Wz O Wy Aussi comme D lez O c k o d apr s la formule de Poisson voir Mallat 1998 p 29 adapt e au cas bidimensionnel O 2mk 2m Ce a den eZ finalement Co Was Wy 47 gt o ue Pas nn Wy EZ k l o 0 W 20k o wy 2rl blows T Wy Or si on consid re que e est de support compact compris dans 7 m x a 7 alors pour o gt 1 s l est aussi et les termes de la somme pour k l A 0 0 sont donc nuls On peut donc simplifier la somme et trouver par Es Wr Wy An T we wy 6 o we o wy et inversement 1 Co I x 3h03 bo 110 Chapitre 3 Mod les de codage rapide Finalement si l on somme la contribution de chaque chelle Treg I k i 3 2 7 avec K z203 ba Cette relation est analogue la transformation d un point dans un syst me optique Point Spread Function et K va donc correspondre la r ponse impulsionnelle du filtre lin aire constitu par le codage d codage travers la transform e en ondelettes et K sym triquement la fonction de trans fert de la transform e lin aire Il y a donc une coop ration fine entre le sous chantillonnage et
149. e MP et le standard de compression a diff rentes qua lit s Jpeg Gauche EQM Droite EQMB Le code visuel est plus compact aux forts taux de compression alors un compromis entre la pr cision et la localisation du contour Deriche 1987 a alors d riv des classes de fonctions qui optimisent ce compromis Nous allons pour notre part simplement utiliser de tels filtres a diff rentes orientations et chelles Dans le cadre d un code neural la d tection de contours mergera alors de la repr sentation de l information par des im pulsions On pourra donc consid rer soit les contours comme l ensemble des points ayant tir ou alors garder la repr sentation compl te comme la forme ou le type de contour qui sera propag e en avant Exp rimentalement on a appliqu une telle technique une image de synth se choisie pour la difficult li e a la d tection de ses contours On a compar les r sultats de la propagation progressive des impulsions par rapport l algo rithme de Canny pour diff rents seuils qui laissent appara tre un m me taux de points activ s dans l image Notre m thode poss de le premier avantage de pouvoir d finir des classes diff rentes de contours et donc de transmettre par cette esquisse plus d information que l image des contours par l algorithme 184 Chapitre 4 Vers un code dynamique pars 4 FIG 4 2 9 D tection de contours Milieu Une image de synth se pr sente
150. e 3 Mod les de codage rapide la r ponse impulsionnelle moyenne des neurones reste tr s irr guli re En fait les rythmes d activit neurale a l chelle du SNC comme le rythme y sont des facteurs qui soutiennent une propagation par vagues des impulsions neuronales On d finira alors gr ce ce rythme V initialisation de la vague d impulsions dans une assembl e neuronale et partir de laquelle on d duira a chaque oscillation un vecteur des latences d arriv e des impulsions sur un neurone Comme nous l avons vu pour notre mod le de la r tine nous allons ici plus particuli rement tudier le vecteur des rangs d arriv e des premi res impulsions soit le front d impulsions De plus la section pr c dente a mis en vidence que des m canismes cologi ques qui modifient la sensibilit des neurones en quilibrant par exemple la densit de probabilit de la latence de tir peuvent tre d terminants pour construire un code neural par le rang des impulsions comme celui qui a t mis en vidence dans la r tine voir Sec 3 2 2 Comme pour une commissure de N fibres le nombre de signaux diff rents est du nombre de l ensemble des permutations des fibres qui sont actives soit de l ordre de e N o e est le nombre d Euler Dans le cas o les probabilit s sont parfaitement quilibr es les vecteurs des rangs d arriv e d un front d impulsions sont par cons quent uniform
151. e PE TS PUL 3 2 12 Lrrec Irec L information mutuelle sera donc nulle pour des valeurs ind pendantes et sera maximale gale l entropie de la luminosit dans l image pour une recons truction exacte Ces mesures donnent des r sultats relativement similaires pour les deux m thodes voir Fig 3 2 4 montrant ainsi qu une reconstruc tion progressive par les coefficients conduit bien une reconstruction progres sive de l image Mais les r sultats compar s la charge computationnelle de TCette base utilis e par Hoyer et Hyv rinen 2002 est rendue disponible par l auteur Nous utiliserons ce m me protocole pour comparer les mod les propos s 114 Chapitre 3 Mod les de codage rapide 0 8 0 6 EQM 0 4 0 2 0 01 0 1 1 10 100 0 20 40 60 80 100 Rang Rang F1G 3 2 4 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e On a compar pour les deux transform es ondelettes en trait vert et pyramide laplacienne en rouge la mesure de A l Erreur Quadratique Moyenne EQM ou MSE et B de l Information Mutuelle l cart type de ces mesures est indiqu par les traits pointill s La reconstruction finale est exacte pour le pyramide laplacienne et la reconstruction progressive est quivalente au sens de l EQM mais la pyramide laplacienne est sup rieure pour l information mutuelle car cette derni re mesu
152. e de bruit donn e par rapport a un bruit blanc et que la distance EQMB est donc parfaitement adapt e a la mesure de la distance entre des images naturelles et donc a l valuation du codage r tinien De fagon annexe comme voqu dans Van Rullen et Thorpe 2001 alors que la MSE est sensible la composante continue de l image ce n est plus le cas pour la EQMB Code impulsionnel optimis statistiquement Nous avons alors implant ces r sultats pour l architecture de code r tinien impulsionnel en changeant simplement la norme des filtres aux diff rentes chelles On observe alors que l on ne peut pas pr voir quelle chelle va tre propag e en premier lieu et donc que les filtres peuvent correspondre a de pe tites tailles d s les premiers rangs En particulier la reconstruction de l image va faire apparaitre les contours et les discontinuit s en premier lieu En fait on s apercoit de fa on g n rale que les zones de l image vont tre maintenant propag es suivant des irr gularit s d croissantes et ind pendamment de leur taille Ce codage r tinien permet donc de propager en avant et dans l ordre les points puis les lignes cr neaux et pentes qui composent l image Il est alors int ressant de suivre la m me proc dure que plus haut afin de construire un code impulsionnel complet En effet en calculant de la m me fa on la valeur absolue du coefficient en fonction du rang on s apercoit mainten
153. e de l excitation calcul e quand le potentiel d passe le potentiel 56mV A partir d un certain seuil de courant le neurone g n re un PA de plus en plus rapidement selon une fonction monotone 3 1 Mod les de codage temporel 75 syst me peut alors tre simul avec une grande pr cision mais au prix d une grande complexit qui rend souvent les calculs de simulation tr s co teux Des logiciels sp cialis s comme NEURON Hines et Carnevale 1997 ou GE NESIS Protopapas et al 1999 facilitent toutefois la cr ation de tels mod les Ils permettent alors de mettre en vidence l importance du processus d int gration dendritique ou de m canismes l mentaires Sanchez Vives et al 2000 comme la diff rence des constantes de temps de processus inhibiteurs GABA A et B sugg rant leur importance dans les processus neuronaux En particulier ils permettent de mod liser par des syst mes d quations diff rentielles similaires au mod le Hodgkin Huxley le comportement d une synapse gr ce au courant qu elle engendre lors de l arriv e d un PA Ce der nier point permet alors de construire le neurone comme un syst me complet transformant un train de PAs en entr e en un autre train de PAs de sortie Un mod le explicite l Int gre et Tire Fuite Une autre classe de mod les simplifie les quations r gissant le neurone en quantifiant plut t qu en expliquant des processus comme l int gration d
154. e la condition de la transform e en ondelettes et choisir des filtres diff rents 4 chaque chelle pour qu ils ne r pondent pas a une surface plane i e qu ils gardent une somme nulle en particulier aux petites tailles Aussi on adaptera les filtres notamment aux grandes tailles pour qu ils pr servent une invariance par rotation R p tons que m me s il est biologiquement exclu que l image soit reconstruite dans le syst me visuel nous allons tudier la qualit de cette re construction de l image partir de cette information pour mesurer la qualit de la transmission travers le canal du nerf optique Aussi cette architecture poss de certaines limites Tout d abord en rap port avec le traitement de l image des ph nom nes au bord de l image vont g ner une propagation homog ne de l image En effet si en th orie des on delettes ceux ci peuvent tre pris en compte les bords de l image dans cette description vont correspondre aux contrastes les plus lev s et donc des valeurs consid r es comme les plus importantes Les solutions classiques sont d utiliser des convolutions circulaires ou pr f rentiellement d tendre l image par miroir sur ses bords ce que nous avons utilis dans cette section pour pouvoir r pliquer les r sultats de reconstruction Ensuite un probl me plus important va tre la d finition des filtres sur la discr tisation impos e par le maillage carr de l image et pou
155. e relative ignorance des processus cognitifs L illusion de l homuncule La sensation de l image mentale et d une fa on plus large des processus mentaux qui sont reli s cette perception comme revoir et manipuler men talement des objets m moris s ou se balader mentalement dans un endroit connu conduit souvent penser que la vision et plus particuli rement la vi sion humaine serait le produit d une repr sentation interne par l homuncule ce petit homme dans notre t te qui jugerait analyserait puis traduirait nos sensations Si une silhouette de cet homuncule existe de fait dans le cortex pr frontal sous la forme d une carte sensorielle repr sentant les diff rentes parties de notre corps et dont l aire varie avec l importance sensitive re lative et qui relie cette partie du cerveau aux muscles correspondants ce concept est illusoire En effet cette vision de notre cognition et de la vision a t largement critiqu e pour les contradictions qu elle entra ne comme par exemple sa r cursivit th orique l homuncule a t il lui m me un homun cule et par son caract re simpliste De fa on plus pratique elle est en contradiction avec les observations neurophysiologiques et des troubles li s des l sions de zones pr cises du cerveau par exemple montrent que des facettes de la perception peuvent tre perdues alors que la globalit de la sensation est souvent pr serv e La vision et les proce
156. e sup rieur li es la continuit des lignes de contours et par cons quent entre des neu rones voisins sensibles des orientations voisines Il est alors d sirable dans la cadre du traitement rapide de prendre en compte cette connaissance a priori de la structure des images pour propager en avant les contours continus des objets Cette d marche se rapproche alors du principe d hyst r sis dans l al gorithme de d tections des contours de Canny 1986 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 173 Du c t neurophysiologique des tudes r centes se rapprochent de cette strat gie En effet Berry et al 1999 ont montr que d s la r tine les cellules ganglionnaires pouvaient tre sensibles des mouvements qui pou vaient pr dire la prochaine position du stimulus visuel la corr lation en jeu est alors directement reli e la continuit des mouvements physiques Plus particuli rement le seuil de s lectivit des neurones de V1 peut tre modifi en fonction de l activit du voisinage Li 1998 Nous allons donc proposer un mod le qui va baisser le seuil de tir ou r flectivement qui va augmenter la norme relative des filtres dans le crit re de choix comme voqu pr c demment des neurones susceptibles d tre reli s par cette corr lation d ordre sup rieur Ce profil va tre appris sur des images synth tiques pr sen tant des bords co
157. econnaissance et des processus locaux de coop ration ou de comp tition induisent la mise en avant de certains aspects saillants de l information Le flux temporel est organis suivant une voie en avant mais est ensuite influenc par le retour de l information des couches infra Finale ment les processus neuronaux comme la Vision ne sont donc pas une suite de calculs mais plut t un flux d information pr cis ment transform par les interactions entre les neurones une suite d v nements dans une structure adaptative Afin de mieux saisir le fonctionnement particulier de ces interac tions dans les processus visuels nous allons nous consacrer maintenant plus sp cifiquement au syst me visuel On utilisera dans la suite par analogie avec l anglais le substantif saillance 2 2 Anatomie du syst me visuel 45 2 2 Anatomie du syst me visuel Les principes g n raux du SNC que nous avons montr vont se mat ria liser d une fa on sp cifique pour le syst me visuel Aussi nous allons d finir pr cis ment l anatomie fonctionnelle du syst me visuel en suivant l informa tion lumineuse au cours de son trajet depuis l il jusqu la r ponse motrice 2 2 1 La r tine de l information lumineuse au codage impulsionnel Tout d abord la r tine est une partie tr s particuli re du SNC cette par tie du cerveau dont la surface peut tre visible simplement par r tinoscopie s isole du reste
158. econstruction de l image par une poursuite gourmande soit dans la r tine soit dans V1 171 TABLE DES FIGURES xi 4 2 3 4 2 4 4 2 5 4 2 6 4 2 7 4 2 8 4 2 9 4 3 1 4 3 2 4 3 3 4 3 4 Code impulsionnel dans V1 172 Introduction de connaissance a priori 174 Auto organisation spatiale des polarit s dans la r tine 176 mergence de filtres s lectifs l orientation 179 mergence d une carte topologique de filtres s lectifs l orien TATION pnt oe he MAR es AR ee ae Bake erates 181 Compression par le code impulsionnel pars de l image Lena 183 D tection de contours 64 214 4 gave Pek Yee ES 184 Heuristiques de propagation 187 Carte de saillance dynamique 189 Syst me olfacto visuel Nose 194 D tection de balises par un robot 197 R sum Les mod les de codage de la Vision c est dire les algorithmes qui ex traient des informations pertinentes de l information visuelle brute produite par des capteurs biologiques l il ou artificiels une cam ra se basent aujourd hui le plus souvent sur des techniques h rit es du calculateur de von Neumann et ne r pliquent ni l architecture ni les performances des syst mes biologiques En nous fondant sur des exp riences neurophysiolo giques mettant en vidence le traitement ultra r
159. elativement saillantes Dans notre cadre cette sensibilit va permettre de propager plus rapidement les parties de l image les plus saillantes conduisant de plus une transformation temporelle de l information spatiale De fa on analogue on observe que les cellules ganglionnaires transforment l information lumineuse en signaux re lativement ind pendants Ainsi l information de couleur la chrominance est s par e de l information d intensit lumineuse conduisant un multiplexa ge de l information lumineuse Roska et Werblin 2001 On observe ainsi que des CGs morphologiquement et fonctionnellement diff rentes cellules a B et y vont porter des canaux diff rents Ce d couplage sera aussi tempo rel puisque l information d intensit lumineuse est plus rapidement activ e que la couleur cr ant ainsi des voies plusieurs latences pour l information r tinienne Finalement si on pr sente assez rapidement une image un sujet pour viter toute saccade oculaire celle ci va se projeter au fond de l il en une image distordue et invers e activer les photo r cepteurs puis tout le r seau r tinien pour enfin tre transform e en de multiples canaux par les cellules ganglionnaires De mani re synth tique chacune de ces cellules peut alors tre caract ris e par une sensibilit maximale un canal particulier et par une r ponse temporelle mais les sensibilit s peuvent se recouvrir avec celles d autres CG
160. elles impliquent donc une grande variation qualitative du r sultat voir Fig 3 1 6 3 1 2 Codage impulsionnel et adaptation synaptique L importance des m canismes synaptiques montrent que le neurone n est donc pas la seule unit computationnelle dans le SNC Nous allons pr ciser le r le de la synapse en tudiant son adaptation en fonction du flux impulsionnel qui la traverse 3 1 Mod les de codage temporel 87 HAN URI ARE 7 UE MIME IMI M FY IMI 1 WALLET UNE OU EEE AT j LAUU M TTT 1 Fic 3 1 6 Facilitation et d pression Pour tudier les m canismes synap tiques court terme on a g n r un A train de PAs traits noirs par un processus ponctuel dont l intensit est constante par morceaux ou Poisson par morceaux la fr quence du processus varie de 0 20 Hz et est indiqu e par la ligne continue servant d entr e commune diff rents mod les B Un mod le LIF avec courants synaptique g n re un train de PAs similaire l entr e avec un d lai constant C et D Train de PAs g n r par un mod le LIF avec des m canismes synaptiques de facilitation et de d pression Tpre 25ms taUpost 100ms Apre 0 15 et Qpost 0 5 Les trains font alors respec tivement appara tre des bouff es de PAs tr s rapides et contrast es avec une facilitation forte pour
161. ement de l image est la d tection des contours des objets Elle est donc compl mentaire dans ce sens la seg mentation des textures des objets et correspond selon le paradigme de Marr l esquisse primitive de l image comme premi re repr sentation dans les che mins de la vision Historiquement les techniques introduites par Marr et Hildreth 1980 ont t formalis es par Canny 1986 et enfin par Deriche 1987 Celles ci ont t enfin la base d une th orie de repr sentation des images par des contours multi chelles qui est l origine de techniques comme la poursuite de concordance Mallat et Zhong 1992a Les techniques les plus simples calculent le gradient local dans l image et donnent pour chaque pixel une r ponse si l algorithme consid re que ce gra dient est maximum localement ou que la d riv e seconde s annule localement dans l algorithme du passage par z ro Ces algorithmes mod lisent donc im plicitement un contour par un saut d intensit et ces algorithmes introduiront 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 183 200 120 180 110 160 100 140 uw 90 oy 120 2 80 gt 100 70 80 60 0 40 30 20 1000 2000 3000 1000 2000 3000 FIG 4 2 8 Compression par le code impulsionnel pars de l image Lena On a compar la qualit de reconstruction en fonction de la taille du code en bytes Poursuite de concordanc
162. emi res chelles est att nu par un filtre passe bas Dans le mod le progressif de propagation l ordre des filtres choisis en les rangeant par activit seront alors ind pendant de la taille 124 Chapitre 3 Mod les de codage rapide Distance de Mahalanobis Nous avons vu que nous pouvons modifier l importance relative des diff ren tes chelles pour maximiser l entropie du code r tinien en reliant la sensibilit de le norme des neurones inversement proportionnelle leur occurrence Cette strat gie se rapproche de la distance introduite par Mahalanobis 1936 qui permet de d finir une distance pour des vecteurs plusieurs variables n ayant souvent pas de rapport direct entre elles comme c est souvent le cas en sta tistique Elle est d finie alors pour deux vecteurs 7 et y par Dul y YU E y 3 2 20 o correspond la matrice de covariance de la variable 7 Dans notre cas cette m thode se rapproche de notre calcul du filtre de d corr lation K voir q 3 2 18 et correspond la m me strat gie de renormalisation de chaque composante de l information pour l image cela correspondra aux diff rentes chelles pour pouvoir les comparer et donc d finir une distance On peut aussi rapprocher cette strat gie de l analyse en composantes prin cipales ACP puisque nous avons d corr l la valeur de la luminosit en fonction de la taille en normalisant chaque composante ici les tail
163. en compl ment ces neurones deviennent de plus en plus s lectifs des objets pr cis de fa on de moins en moins localis e jusqu cer tains neurones corticaux recouvrent le champ visuel entier L image est donc transform e au profit d une repr sentation progressivement plus fonction 54 Chapitre 2 Neurophysiologie du syst me visuel nelle On peut d gager depuis des tudes neurophysiologiques des fonctions sp cifiques ces aires les neurones de V4 sont particuli rement sensibles l orientation et ceux de V3 aux formes laissant sugg rer que l image se rait d compos e en attributs de plus en plus complexes abstraits Zeki et Shipp 1998 mais les comportements non lin aires de neurones r pondant des signaux complexes montrent que cette th orie est limit e et que ces s gr gations ne sont pas strictes Les neurones du cortex inf ro temporal IT sont alors particuli rement per tinents dans le cadre de notre tude car une l sion de ces aires affecte sp cifiquement la reconnaissance des objets mais sans en perdre la percep tion Plus pr cis ment de nombreuses exp riences d enregistrement ont t conduites sur des neurones de cette r gion en pr sentant de larges vari t s d objets pour en tudier la s lectivit Ainsi des neurones de IT sont sp cifi quement sensibles aux mains au yeux ou d autres objets naturels ou artificiels Tanaka 1996 Vogels 1999 Aussi cette sensibilit
164. ent Perrinet Arnaud Delorme Simon J Thorpe et Manuel Samuelides Network of integrate and fire neurons using rank order coding A how to implement spike timing dependant plasticity Neurocomputing 38 40 1 4 817 22 2001 URL http laurent perrinet free fr publi perrinet0O1 pdf Laurent Perrinet et Manuel Samuelides A generative model for spike time dependent hebbian plasticity In Proceedings of DYNN Bielefeld 2000 URL http laurent perrinet free fr publi perrinet00dynn pdf Laurent Perrinet et Manuel Samuelides Coherence detection in a spiking neuron via hebbian learning Neurocomputing 44 6 C 133 9 2002a URL http laurent perrinet free fr publi perrinet02 pdf Laurent Perrinet et Manuel Samuelides Sparse image coding using an asynchronous spiking neural network In Proceedings of ESANN pages 313 8 2002b URL http laurent perrinet free fr publi perrinetO2esann pdf Laurent Perrinet et Manuel Samuelides Visual strategies for sparse spike coding In Actes de Neurosciences et Sciences de l Ing nieur L Agelonde 2002c URL http laurent perrinet free fr publi perrinet0O2nsi pdf Laurent Perrinet Manuel Samuelides et Simon Thorpe Sparse spike coding in an asynchronous feed forward multi layer neural network using matching pursuit Neurocomputing 2002 URL http laurent perrinet free fr publi perrinetO2sparse pdf E Peterhans et R Von der Heyt Mechanisms of contour perception in mon key visu
165. era 132 Chapitre 3 Mod les de codage rapide proportionnelle a gf gt gr wiz AG ty expl X Aft t 3 3 3 j j j Il ressort de cette expression que comme j A t tij est une mesure ex plicite du rang au temps t le courant int gre des valeurs proportionnelles Vefficacit de la synapse mais modul es par le rang On en d duit donc que qualitativement l activit sera d autant plus forte que la corr lation entre les poids et le vecteur d croissant avec le rang sera fort c est a dire que les poids seront dans le m me ordre que l ordre temporel des impulsions On a simul l volution de ce mod le suivant les m mes m thodes que pr c demment voir Sec 3 1 1 mais avec maintenant un front d impulsions cod de fa on asynchrone g n r rythmiquement avec des d lais modul es dans le temps suivant une sinuso de ce front simule par exemple la r ponse d une r tine monodimensionnelle une mire sur laquelle le contraste varie p rio diquement Ce m me signal est permut travers les fibres et g n re plu sieurs fronts diff rents d impulsions suivant la m me modulation sinuso dale On observe alors voir Fig 3 3 1 que le neurone adapt au d cours temporel des impulsions 1 e dont les poids sont en corr lation avec un ordre particulier d arriv e des impulsions g n re une impulsion la pr sentation du signal alors que ce m me signal permut al atoirement ne g
166. erry II 1999 Finalement c est seulement la couche des CGs donc la plus interne que les contrastes lumineux peuvent produire des im pulsions neuronales qui constitueront alors enti rement le signal impulsionnel emprunt par le nerf optique La r tine a alors achev la transformation de l information visuelle en un train d impulsions 48 Chapitre 2 Neurophysiologie du syst me visuel Organisation spatiale des neurones de la r tine de l image lumi neuse l image r tinienne Cette approche radiale de la r tine a t affin e par des techniques ins trumentales modernes qui ont montr l importance de l organisation spatiale sur la surface de la r tine Comme Cajal l avait d j observ la concentration et la nature des diff rents neurones varient suivant la position sur la r tine En effet on observe tout d abord que la concentration en c nes augmente fortement quand on s approche de l axe de vision de l il le fov a il n y a presque plus de c nes en dehors du disque d un degr depuis le fov a la macula En compl ment la concentration en b tonnets y est nulle mais atteint un maximum vers 3 deg Cette observation explique que nous n avons pas de sensibilit la couleur hors de la fov at et de fa on sym trique que pour voir une toile faible il est conseill de fixer son regard l g rement cot pour que la lumi re de l toile frappe les b tonnets plut t que
167. es de codage rapide vit dans la phase lin aire du potentiel post synaptique c est dire avant environ 5ms On rappelle que A d signe la fonction cr neau voir Sec 3 1 1 Eq 3 1 9 On en d duit que comme le neurone de McCullough un codage temporel par la latence peut permettre de calculer une somme pond r e et donc de d tecter une s quence particuli re de latences m me si ce mod le r pondra prioritairement au flux total d impulsions et donc r pondra particuli rement lors d un afflux massif d impulsions sur les synapses excitatrices Toutefois ce mod le n est pas encore satisfaisant car il r pondrait indiff remment un afflux massif de PAs et qu il donne le m me poids aux impulsions quel que soient leur ordre d arriv e De fa on plus g n rale on peut alors montrer que les neurones impulsions peuvent calculer un nombre arbitraire de fonctions Maass et Zador 1999 Nous devons donc tendre les signaux coh rents des signaux asynchrones qui la diff rence de signaux synchrones vont pouvoir transmettre une valeur modul e comme cela est produit dans une assembl e de neurones Dans un mod le de V1 par exemple on pourra donc imaginer que la similitude la plus forte avec une orientation pr f r e sera transmise avant les autres et que le calcul neural correspondra plut t un flux d information Dans cette analogie les neurones jouent plut t le r le de relais s activant
168. et al 2000 A Zador Impact of synaptic unreliability on the information transmitted by spiking neurons J Neurophysiol 79 1219 29 1998 URL http citeseer nj nec com zador98impact html S Zeki et S Shipp The functional logic of cortcal connections Nature 335 311 7 1998 R sum Comment d chiffrer le code impulsionnel de la Vi sion Etude du flux parall le asynchrone et pars dans le trai tement visuel ultra rapide Le cadre de ce travail est l tude de mod les neuromim tiques de codage parall le et asyn chrone de l information visuelle tel qu il est mis en vidence dans des taches de traitement ultra rapide en la transformant en une vague d v nements l mentaires d importance d croissante Nous allons baser dans un premier temps les m canismes de ce code sur les processus biologiques l chelle du neurone et de la synapse En particulier la plasticit synaptique peut induire l extraction non supervis e de l information coh rente dans le flux des impulsions neuronales Le codage par la latence de la premi re d charge permet de d finir un code impulsionnel dans le nerf optique gr ce une architecture multi chelle Nous avons tendu cette d marche en utilisant une approche cologique qui permet exploiter les r gularit s de ses coefficients sur les images naturelles pour les quantifier par le rang d arriv e des impulsions neuro nales Ce code par le rang des d charge
169. et enfin l apprentissage supervis de motifs Samuelides et al 1997 et de textures de J Vaccaro et D Gourion Vaccaro et al 1998 Aussi il est important d voquer le caract re g n ral de ce codage qui n ap parait pas dans sa formalisation En effet si pour se d marquer des nombreux codes utilisant information de population ou de fr quence le codage par rang se concentre sur une propagation en avant avec une impulsion par neu rone le quanta de l information neurale ici impulsion peut dans le cadre du mod le tre tendu des signaux neuronaux diff rents Par exemple des bouff es d impulsions ou bursts sont caract ristiques de certains neurones mais on peut aussi imaginer que des petites assembl es de neurones qui r agissent en synchronie puissent ainsi exhiber des r ponses plus robustes 3 3 2 tude th orique du codage par rang Nous allons maintenant expliciter et tudier ce mod le pour montrer la richesse d un calcul bas sur les rangs d activation Formalisation math matique du codage par rang On se placera dans cette section dans le cas o l information est simple ment cod e par une vague d impulsions avec au plus une impulsion par fibre et qu on l on peut donc d terminer cette vague par la liste ordonn e o r des impulsions o r est le rang de l impulsion et o r l adresse de la fibre cor respondante A l inverse on peut crire le rang d une fibre
170. et permet un traitement analytique Si ces mod les permettent la g n ration intrins que d un PA ils sont en contrepartie moins g n raux et moins pr cis par rapport au mod le HH Celui ci en expliquant plut t qu en copiant une partie des m canismes neuronaux est donc le mod le de r f rence des processus membranaires au niveau de description neuronal Par analogie avec la th orie des c bles il est alors naturel d tendre ce mod le a des types de neurones plus complexes en consid rant qu il sont compos s de compartiments r agissant suivant le mod le HH et qu on soude ces diff rents l ments pour former un neurone complet Le comportement de ce 74 Chapitre 3 Mod les de codage rapide Voltage mV o 5 10 15 20 25 Time ms Entr e FIG 3 1 1 Mod le impulsionnel de Hodgkin Huxley A Mod le Hodgkin Huxley excit t Oms par des chelons de courant d amplitudes croissantes Le neurone r pond pour une excitation suffisante et g n re alors un PA Les PAs g n r s r pliquent avec une grande pr cision le PA observ dans l axone g ant du calmar la forme d un PA est relativement ind pendant de la stimulation mais sa latence change avec l amplitude Le neurone est ensuite hyperpolaris mais comme l excitation est constante il peut g n rer un nouveau PA B Latence du premier PA du neurone en fonction de l amplitud
171. et que celles ci seront propag es par ordre d croisant de discontinuit Les premi res valeurs transmises correspondent alors la fois une grande importance ils transmettent les contours et une grande va riabilit En effet Van Rullen et Thorpe 2001 a observ que la fonction donnant la valeur absolue des coefficients en fonction du rang que l on a utilis pour d finir l ordre de propagation des PAs tait r guli re sur une base de donn e d images naturelles On peut donc construire une fonction donnant la modu lation en fonction du rang en calculant la moyenne de la valeur absolue des coefficients ensuite normalis e 1 au rang 1 pour d duire la valeur de co efficient d un PA depuis son rang d arriv e Cette normalisation induit donc que la reconstruction sera approch e un coefficient multiplicateur pr s La m thode pour retrouver ce coefficient n est pas pr cis e dans l article origi nal On peut donc explorer diff rentes strat gies pour d coder la valeur absolue d un coefficient en fonction de son rang Tout d abord on peut prendre la moyenne de ces fonctions pour une base de donn e d images naturelles voir Eq 3 2 14 o l on a not y la moyenne de la variable y sur cette base et 3 2 Mod le dynamique de la r tine 117 on obtient une fonction comme une table arithm tique Look Up Table ou LUT donnant la d croissance de la valeur absolue du contraste en fonction d
172. eurone volue suivant un renforcement en pr sentant des images naturelles transform es par le code impulsionnel d fini par la poursuite gourmande Cette adaptation met en jeu une coop ration locale et une comp tition plus longue distance de telles sorte que la simulation fait appara tre des bandes de Turing comme il est observ dans la r tine ou les aires corticales chaque point D un autre cot les filtres coop rent localement et on tendance s arranger par sensibilit voisines Ce processus d adaptation va donc combiner une excitation courte port e et une inhibition plus large qui sont caract ristiques des syst mes tudi s par Turing 1952 Ainsi une simulation sur des images naturelles r v le bien l mergence de bandes de Turing comme ce qui est observ dans de nombreux syst mes biologiques comme aussi l aire visuelle primaire voir Fig 4 2 5 mergence de filtres et s paration aveugle de sources Le principe de l algorithme de poursuite de concordance peut se rap procher des algorithmes de Quantification par Vecteurs En effet ce dernier algorithme est utilis pour repr senter un signal par des vecteurs prototy pe tir s d un dictionnaire Par exemple on peut quantifier la couleur d un pixel par les trois composantes rouge vert et bleu ces composantes seront 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 177 alor
173. eut alors reproduire les r sultats de la Fig 3 1 8 A avec les param tres ad quats voir Fig 3 1 9 A On 92 Chapitre 3 Mod les de codage rapide hange in EPSC amplitud o Le hange in EPSC amplitud o 000000000000099 0 2 0 00 0 os 1 1 10 1 1 1 04L 25 2 15 10 5 0 5 10 15 20 25 10 10 difference to the post spike ms initial EPSC amplitude Fic 3 1 9 Mod le g n ratif de la STDP Comme dans Fig 3 1 8 une synapse est excit e de fa on r p t e par un PA pr synaptique et un PA post synaptique dont le d lai relatif est constant on utilise alors le mod le g n ratif de plasticit Perrinet et Samuelides 2000 d crit dans le texte avec g 0 1 tre 15ms Tpost 25MS Apre 0 5 Qpost 0 5 ASE 2 et ASE 0 5 A Variation de l efficacit de la synapse en fonction du d lai du PA pr synaptique relativement au PA post synaptique B Variation de l efficacit relative en fonc tion de l amplitude initiale de l efficacit remarque aussi que comme d crit dans Fig 3 1 8 B cette expression fait en sorte que la d pression soit divisive et la potentiation additive dans le cas particulier o g est faible Fig 3 1 9 B Cette r gle param tr e par les param tres de m canismes synaptiques court terme peuvent alors avec un jeu diff rent de param tres prendre des formes tr s diverses comme par exemple une r gle anti hebienne
174. f pre and post synaptic action potentials In ICANN 97 pages 121 126 1997 C E Shannon A mathematical theory of communication Bell System Technical Journal 27 379 423 623 56 1948 Roger N Shepard et Jacqueline Metzler Mental rotation of three dimensionnal objects Science 171 701 4 1970 S M Sherman et R W Guillery Functional organization of thalamocortical relays Journal of Neurophysiology 76 1367 95 1996 Mariano Sigman Guillermo A Cecchi Charles D Gilbert et Marcelo O Magnasco On a common circle Natural scenes and gestalt rules PNAS 98 4 1935 40 February 2001 BIBLIOGRAPHIE 221 E P Simoncelli et W T Freeman The steerable pyramid A flexible architec ture for multi scale derivative computation In Second Int l Conf on Image Processing Washington DC October 1995 William Softky et Christof Koch Cortical cells should fire regularly but do not Neural Computation 4 643 646 1993a William Softky et Christof Koch The highly irregular firing of cortical cells is inconsistence with temporal integration of random epsps The Journal of Neuroscience 13 334 350 1993b Sen Song Kenneth D Miller et Larry F Abbott Competitive Hebbian learning through spike timing dependent synpatic plasticity Nature Neu roscience 3 919 26 2000 Charles F Stevens et Anthony M Zador Input synchrony and the irregular firing of cortical neurons Nature Neuroscience 1 3 1998 G J Stua
175. gle que nous utilisons va donc utiliser non la diff rence de temps entre les impulsions pr et post synaptiques mais directement leur rang De mani re qualitative on va donc renforcer positivement la valeur des poids des synapses en fonction de leur rang vers la valeur correspondante de modulation jusqu au tir du neurone puis inhiber les autres synapses ce qui correspond exp rimentalement aux observations biologiques Perrinet et al 2001 Cette formalisation permet alors d tablir une r gle simple d apprentissage de type hebbien qui pr sente par sa structure des r gles hom ostatiques explicites comme la conservation de la somme des poids Dans un article compagnon Delorme et al 2001b cette r gle a t appliqu e dans un mod le de l aire visuelle V1 sur laquelle on fait converger l informa tion r tinienne des contrastes Les stimuli taient constitu s de 2790 images de taille 364 x 244 en niveaux de gris sur 8bit dans lesquellles on extrait des sous images de 50 x 50 Celles ci taient cod es sur une chelle par une r tine constitu e de cellules ON et OFF puis d cod es gr ce un codage par rang sur la deuxi me couche Les neurones de la deuxi me couche int grent alors l information suivant le mod le que nous avons d crit et avec une fonction de modulation fix e Les seuils des neurones soit les sommes des poids varient au cours de l apprentissage pour adapter la sensibilit des neurones leur con
176. gnal est transform depuis sa perception pour essayer de s parer des processus causaux distincts qui l ont g n r comme ici la forme d un objet va tre d duite de son contour alors que la nature de sa surface va l tre de sa texture Aussi dans notre cadre ce r sultat montre que le code visuel va pouvoir traduire ce r sultat en un signal spatio temporel et que le flux d information va ce niveau diverger entre des informations parall les et autonomes Les aires sup rieures Apr s V1 et V2 le flux d information se distribue dans plus de 30 aires Ces aires sont elles m mes largement inter connect es dans un r seau com plexe mais on peut toutefois extraire de ce r seau d aires corticales deux voies principales la voie dorsale qui se concentre sur les mouvements et la localisa tion des objets voie O et la voie pari tale qui se concentre sur l iden tification de la sc ne voie Quoi Ungerleider et Desimone 1986 et qui forment ainsi les chemins de la vision Plus particuli rement le long de la voie Quoi le flux atteint V4 puis les aires Post rieure Inf ro Temporale PIT Centrale Inf ro Temporale CIT et finalement Ant rieure Inf ro Temporale AIT apr s environ 80 100 ms voir Fig 2 2 2 En g n ral les champs r cepteurs des neurones grandissent et sont par exem ple cent fois plus grands dans CIT que dans V1 de telle sorte que la r tinotopie s estompe et qu
177. h lorsque le potentiel du neurone atteint un certain seuil un afflux massif d ions cr e alors un bref et intense pic de potentiel positif le potentiel d ac tion PA suivi d une p riode de relaxation o le neurone est r fractaire toute stimulation Le PA est activ d autant plus vite et fr quemment que l activit excitatrice sur le neurone est forte Le PA tend tre similaire en amplitude forme et dur e dans tout le SNC il correspond donc en th orie un signal localis et binaire Comme les bits des ordinateurs son caract re binaire est tout ou rien l information neuronale est transmise de fa on robuste par l axone L information est donc cod e temporellement par un ensemble d impulsions binaires En effet les PAs sont transmis sans att nuation par les axones jusqu aux terminaisons synaptiques Ces derni res s activent et en particulier pour les synapses chimiques lib rent des v sicules de neurotransmetteurs dans l in terstice synaptique Ce signal g n re avec une certaine probabilit au niveau post synaptique un courant et donc un potentiel lectrique le Potentiel Post Synaptique PPS qui se propage alors jusqu au soma pour recommencer le processus d int gration De fa on formelle on simplifie souvent ce m canisme fun PA nominal temp rature corporelle a pour constantes de temps initiation 75 us mont e 12 us et descente 250 us 38 Chapitre 2 Neurophysiologie du
178. ic 3 1 12 Luminance et luminosit A Effet de contraste cette fi gure pr sente un papillon horizontal de luminance 50 le blanc correspon dant a 100 le noir 4 0 par rapport a un fond clair luminance 90 ou sym triquement fonc luminance 10 Pourtant le contraste subjectif semble plus fort droite nous percevons la luminosit c est dire des ratios de lumi nance Pour un y non standard de l impression ou de l affichage de cette figure l effet de contraste peut lui m me tre distordu on v rifiera sur une impres sion noir et blanc tram e que la surface d encre noire pour la luminance 50 est quilibr e avec la surface non couverte de papier blanc de telle sorte sue la lu minance n est pas per ue identiquement gauche et droite B Histogramme moyen des luminosit s d images images calibr es tir es de la base de donn e mise disposition par van Hateren 1993 corrig es par y croissants La courbe pleine pour les faibles luminosit s correspond l histogramme moyen des lumi nances y 1 L entropie maximale est r alis e pour y 2 8 courbe pleine centrale C Effet de cr nelage sur des zones sombres apr s une diminution du nombre de bit par pixel Haut codage par luminance y 2 8 et Bas par luminosit y 1 Le codage par luminosit peut faire perdre de l information comme ici par exemple dans le gradient sombre qui entoure ici l il de Lena 3 1 Mod les de codage
179. ication au codage r tinien Une fois pr sent le mod le nous allons pouvoir le comparer celui que nous avions pr sent la Sec 3 2 et pr senter des extensions qui r pondent aux probl mes que nous avions voqu pour proposer un mod le impulsionnel 164 Chapitre 4 Vers un code dynamique pars de codage r tinien Comparaison sur une grille dyadique Tout d abord a des fins de comparaison nous avons confront les r sultats du mod le par ondelette par rapport au mod le par poursuite gourmande sur une grille dyadique avec les m mes filtres Comme ces filtres sont quasiment orthogonaux ces algorithmes vont tre tr s proches En particulier si l on choisit une base orthogonale alors les interactions lat rales que nous avons d finies se r duisent seulement une inhibition du neurone qui a tir Toutefois si l on consid re maintenant le codage impulsionnel dans son en semble on remarque que la poursuite gourmande par son caract re adapta tif va garantir une meilleure reconstruction de l image voir Fig 4 1 4 Au niveau computationnel implantation d un tel code sur un calculateur clas sique requiert une grande quantit de m moire pour m moriser les filtres et toutes leurs corr lations Pour une grille g n r e par translation de N chelles on calcule les noyaux de corr lation par des convolutions entre chaque chelle et donc par sym trie N N 1 2 filtres Ensuite les calculs consis
180. ics Speech and Signal Proces sing number 414 Munich Germany 1997 URL http citeseer nj nec com article buccigrossi97image html J Bullier et L G Nowak Parallel versus serial processing new vistas on the distributed organization of the visual system Curr Opin Neurobiol 4 5 497 503 1995 A N Burkitt et G M Clark New technique for analyzing integrate and fire neurons In Neurocomputing volume 26 27 pages 93 99 1999 Yves Burnod An Adaptive Neural Network The Cerebral Cortex Masson 1989 Alvin Burt Textbook of neuroanatomy Saunders 1992 Peter J Burt et Edward H Adelson The laplacian pyramid as a compact image code EEE Transactions on Communications COM 31 4 532 40 1983 URL http citeseer nj nec com burt83laplacian html 208 BIBLIOGRAPHIE Santiago Ramon Y Cajal Histologie Du Syst me Nerveux de Homme et Des Vert br s Maloine Paris 1911 J Canny A computational approach to edge detection EEE Transactions on Pattern Analysis and Machine Intelligence PAMI 8 679 98 1986 Eric Castet et Guillaume S Masson Motion perception during saccadic eye movements Nature Neuroscience 3 2 177 83 2000 Hideyuki Cateau et Tomoki Fukai A stochastic method to predict the conse quence of arbitrary forms of spike timing dependent plasticity Neural Computation 2002 S Celebrini Simon J Thorpe Y Trotter et M Imbert Dynamics of orienta tion coding in area V1 of the awake
181. ignal Cette approche se rapproche alors d un cadre probabiliste qui consid re la probabilit conditionnelle de g n rer un signal en fonction des statistiques des signaux qui sont consid r s comme une r alisation d un mod le g n ratif Dans la suite on se ram nera une repr sentation lin aire et dans le cadre d un mod le g n ratif lin aire une implantation d un codage pars consiste consid rer des filtres pour D o D est un dictionnaire sur complet et de chercher une approximation J de l image J de la forme I X aigi 4 1 1 telle que les coefficients a sont nuls pour une grande majorit des filtres Olshausen et Field 1998 Dans le cadre du codage dynamique que nous avons d fini nous allons plus particuli rement chercher une repr sentation 154 Chapitre 4 Vers un code dynamique pars telle que 0 0 et T t 1 I t arpi 4 1 2 avec des coefficients a d croissant le plus rapidement vers z ro Pour r soudre le choix des filtres et des coefficients il est alors n cessaire de d finir un crit re qui prend g n ralement la forme d une distance I entre l image et sa reconstruction Dans le probleme dimension finie qui nous int resse cela revient choisir une sous base comme un sous ensemble du dictionnaire et qui repr sente optimalement l image au sens de cette dis tance Or il a t montr que ce probl me conduit une explosion combi
182. ion le PA est tr s simple Aussi les contraintes physiologiques comme la fr quence maximale de d charge 200Hz due a la p riode r fractaire limitent la capacit computationnelle d un neurone De plus on observe dans le SNC que les neurones sont toujours sous tension et qu au cune aire n est totalement silencieuse de telle fa on que les neurones tirent une fr quence moyenne de 1 10 Hz et que le son des neurones semble tre relativement uniforme travers le SNC Softky et Koch 1993b Cette obser vation est s rement corr l e la plasticit neuronale et un neurone ne peut donc pas tre consid r comme un simple processus solitaire et statique de calcul Ils sugg rent l importance de r gles hom ostatiques qui contraignent C est dire le son produit par des haut parleurs lorsqu on amplifie le signal impul sionnel d un neurone 2 1 La vision comme un syst me dynamique 39 alors les degr s de libert d un neurone et donc sa capacit computationnelle th orique Comme l a sugg r Hebb 1949 les neurones appuy s par les cellules de sou tien cr ent un code complexe en interagissant pour former des assembl es changeantes au cours du temps et donc l efficacit est sup rieure la somme de ses sous parties De fait la capacit d une assembl e conduit une explo sion combinatoire On peut valuer th oriquement l information d un mes sage par sa surprise
183. ion des grilles d une chelle 21 On en d duit alors bien que le nombre total de neurones sera sup rieur au 1 1 V2 5nex 1 1 v2 2 Comme il existe une seule d composition binaire d un entier il existe une la suivante est simplement nombre de pixels d un facteur multiplicatif de y soit environ mani re simple de repr senter l activit sur une image de 2 couches ou double r solution en d calant la deuxi me couche de 1 2 1 2 une couche correspondant la premi re chelle et les points de la deuxi me correspon dant un un aux points des chelles suivantes et qui sera adapt e un codage compact Pour cela il faut translater la grille a chelle k g n r e par une dilatation de 2 et d une rotation de k r 4 par exemple au centre d un maillage non plein de la grille pr c dente Enfin pour terminer la construction de cette transformation on peut alors facilement cr er une pyramide en cr ant une transform e r cursive par une fonction d chelle adaptant le signal une grille plus grossi re puis par une fonction d ondelette voir par exemple Mallat 1998 p 153 Les in teractions entre les filtres sont de la m me mani re d finis r cursivement Cette d finition est donc moins restrictive que la d finition de la pyramide laplacienne mais on choisira des filtres semblables adapt s une bonne repr sentation de l information dans cette pyramide en quinconces En effet
184. ion du rang et valuer le code transmis S il est valid ce code va donc permettre de transmettre l information visuelle par une transformation impulsionnelle Transmission de la valeur des coefficients par leur ordre En fait si l on note z la valeur absolue du coefficient de rang k pour N coefficients et z donc la proportion de coefficients sup rieurs en norme 116 Chapitre 3 Mod les de codage rapide x z alors pour les images naturelles qui sont r guli res par morceaux on observe voir Mallat 1998 p 513 qu apr s un certain rang _ dlog x z i z 3 2 13 dlog z On pourra donc crire pour les coefficients correspondant des parties r guli res x z C z77 avec y 1 En fait cette relation pourra se g n raliser car le taux de d croissance de x est directement li e aux coeffi cients de Lipschitz les transformations par ondelettes donnant une valuation locale de ce coefficient dans l image Mallat et Hwang 1991 dans l image c est dire des mesures de l irr gularit de fa on d croissante impulsion cr neau pente plateau et donc que cette fonction va valuer la moyenne de la r partition des discontinuit s des images naturelles Cette relation v rifie th oriquement les observations pr c dentes Elles soulignent aussi le fait que les plus larges coefficients z lt lt 1 sont cr s par des discontinuit s pour lesquelles y z gt 1
185. ion globale de l image correspondra au d cours de l activation dans le SNC On comprend alors pourquoi nous avions dit qu il tait illusoire de chercher dans le syst me visuel un endroit ou se projetterait comme sur un cran de cin ma notre exp rience visuelle M me si V1 occupe une place centrale dans cette architecture entre les entr es thalamiques et les boucles en retour des aires sup rieures et que cette aire est essentielle tout processus vi suel sup rieur la repr sentation globale de l activit visuelle g n r e par une image flash e sur la r tine est largement distribu e Alors que les chemins visuels se m langent progressivement avec ceux d autres processus cognitifs les premi res impulsions atteignent le cortex pr frontal puis le cortex moteur apr s environ 140 190 ms Sachant que le code est distribu et temporel et connaissant les besoins vitaux correspondant un r ponse rapide aux stimuli visuels on peut alors se demander quelles sont les contraintes sur ce temps de propagation t Ainsi l IRM montre que l activit onirique ne n cessite pas forc ment une activation des neurones de V1 60 Chapitre 2 Neurophysiologie du syst me visuel 2 3 Contraintes temporelles sur le code vi suel Nous avons mis en vidence l importance de la transformation temporelle de l information dans le syst me visuel mais aussi des processus asynchrones qui le r gissent Nous allons dans ce
186. ion of odour encoding neural assemblies Nature 390 70 4 1998 Prasanta Chandra Mahalanobis On the generalized distance in statistics Proceedings of the National Institute of Sciences of India 12 49 55 1936 S F Mainen et Terrence J Sejnowski Reliability of spike timing in neocor tical neurons Science 268 1503 6 1996 Scott Makeig Tonic phasic and transient eeg correlates of auditory awa reness in drowsiness Cognitive Brain Research 4 15 25 1996 URL http citeseer nj nec com 28343 html S Mallat et S Zhong Characterization of signals from multiscale edges IEEE Transactions on Pattern Analysis and Machine Intelligence 14 7 710 732 1992a St phane Mallat A Wavelet Tour of signal Processing Academic Press 1998 St phane Mallat et Wen Liang Hwang Singularity detection and proces sing with wavelets Technical report Courant Institute of Mathematical Sciences New York University New York 1991 216 BIBLIOGRAPHIE St phane Mallat et Zhifeng Zhang Matching pursuit with time frequency dictionaries IEEE Transactions on Signal Processing 41 12 3397 3414 1993 St phane Mallat et Sifen Zhong Wavelet transform maxima and multiscale edge 1992b H Markram J Luebke M Frotscher et B Sakmann Regulation of synaptic efficacy by concidence of postsynaptic APs and EPSPs Science 275 213 215 1997 H Markram et M Tsodyks Redistribution of synaptic efficacy between neocortical p
187. isque la corr lation entre les filtres est nulle on n inhibera seulement l activit du filtre choisi et on se ram nera donc l algorithme de Van Rullen et Thorpe 2001 De l autre cot si l on choisit un dictionnaire correspondant toutes les images possibles l algo rithme va converger exactement en une it ration Ces deux strat gies extr mes repr sentation distribu e ou locale vont correspondre des quantit s d in formation basses ou tr s lev es de la suite des filtres et coefficients choisis On adoptera ici avec un codage pars une strat gie interm diaire voir Fol diak et Young 1995 pour une revue des avantages de cette strat gie dont il conviendra de quantifier la qualit Toutefois cet algorithme peut fournir des solutions optimales localement En effet comme l algorithme est gourmand et qu il d pend de la s quence de filtres s lectionn s un mauvais choix pourra se propager aux it rations sui vantes Une am lioration consiste en premier lieu orthogonaliser a posteriori la base des filtres qu on a choisis Pati et al 1993 On peut alors montrer que cette strat gie revient chercher des solutions dans l espace conjugu 4 1 Pour un mod le d interactions lat rales 159 celui constitu par la base d ja s lectionn e Toutefois cette strat gie est computationnellement co teuse et s carte d un mod le biologique 4 1 3 Code impulsionnel pars
188. isuel efficace 4 1 1 Densit du codage et repr sentation sur compl te Quelle repr sentation visuelle par impulsions Tout d abord le codage par une d composition en ondelettes se heurte des probl mes de vraisemblance biologique Comme le remarquait Van Rullen et Thorpe 2001 le codage sur une grille dyadique n imite pas la r partition des tailles des champs r cepteurs des cellules ganglionnaires dans la r tine et 149 150 Chapitre 4 Vers un code dynamique pars de plus les filtres correspondants ne sont pas en g n ral ind pendants Meis ter et Hosoya 2001 Il est encore plus important de noter que les champs r cepteurs biologiques ne v rifient pas en g n ral la condition de la formule d inversion qui permet la reconstruction voir Eq 3 2 8 et plus g n ralement que la transform e r tinienne que nous avons tudi ne s appliquera a la re construction on dit que la base des filtres r tiniens ne forme pas un cadre serr ou tight frame Salinas et Sejnowski 2001 Aussi ces difficult s se tra duisent par les contraintes qu imposent la condition de reconstruction pour d finir une base adapt e de filtres dans l architecture du mod le D autre part le r sultat du codage r tinien que nous avons tudi est in stable par translation Ainsi alors que les neurones du syst me visuel et en particulier de la r tine semblent avoir des r ponses continues pour de petites transformations u
189. it rations suivantes en La d monstration utilise le fait qu on se place chaque pas de temps de l algorithme dans le sous espace orthogonal a celui des filtres d ja choisis par rapport la constante de temps membranaires Tm 160 ique pars Chapitre 4 Vers un code dynam Yr NN MN ARE j f 1 Y V M f IKAN K D M AN XX NAN KIV V VI NOOO RNA ni N A f A Hi AUX WINX OID yy SR d VA NS NW x A N P M A NA Principe du codage impulsionnel par poursuite gourmande On a FIG 4 1 2 Le principe du codage par poursuite gourmande revient j0 par exemple parce qu il correspond la plus forte activit choisir un neurone points noirs de neurones 7 partageant des entr es similaires 313 a S o u ko Vs e TES SU T YD N v Yio ao lt 0 L bo ttre une impulsion puis soustraire l activit des autres neurones Z une quantit propor qui va me dure est tionnelle leur corr lation lt wo Ww gt La proc ter esen z t ainsi une suite de PAs qui vont repr Z z g n ran t p t e r cursivemen 1 alors r l entr e 4 1 Pour un mod le d interactions lat rales 161 modifiant ainsi seulement l activit des neurones i ArgMax _p
190. itifs en mettant en avant les aspects asynchrones du calcul neural Les nouvelles m thodes de traitement du si gnal et de l image que nous avons introduites se basent donc sur ces prin cipes biologiques et se veulent comme des ouvertures vers l implantation de syst mes visuels efficaces En particulier l implantation mat rielle de ces al gorithmes permettra le passage de la simulation sur un calculateur synchrone des exp rimentations qui soul veront des probl mes qui sans nul doute nous claireront sur le fonctionnement de la Vision En particulier la d finition actuelle d un standard de protocole Address Event Representation doit se faire en prenant en compte l aspect dynamique des calculs et l importance grandissante des calculateurs asynchrones Sutherland et Lexau 2001 En parall le ces th ories permettent de fonder progressivement une approche scientifique des aspects les plus subjectifs et intimes du cerveau Si notre contribution se limite des apprentissages simples des r gles plus avanc es sont n cessaires pour comprendre d autres processus cognitifs comme le lan gage naturel Les progr s de l imagerie nous aident alors comprendre ces m canismes mais nous ne sommes qu l aube d une s rie de bouleversements de notre vision de la pens e Abr viations et acronymes Nous pr sentons ici les abr viations et acronymes utilis s en pointant sur la section o ceux ci sont initialement d
191. l orientation selectivity How fast shunting inhibition decodes the order of spike latencies submitted 2001a Arnaud Delorme et Simon J Thorpe Event driven simulation of large net works of spiking neurons submitted 2001b Arnaud Delorme et Simon J Thorpe Face processing using one spike per neuron resistance to image degradation Neural Networks 6 7 14 795 804 2001c R Deriche Using canny s criteria to derive a recusively implemented optimal edge detector Int J Computer Vision pages 167 87 1987 Alain Destexhe Conductance based integrate and fire models Neural Com putation 9 3 503 14 1997 C Enroth Cugell et J G Robson The contrast sensitivity of retinal ganglion cells of the cat Journal of Physiology 187 517 23 1966 Mich le Fabre Thorpe Arnaud Delorme Catherine Marlot et Simon J Thorpe A limit in the speed of processing in ultra rapid categorization of novel natural scenes J Cog Neurosci 13 2 February 2001 Daniel E Feldman Timing based LTP and LTD at vertical inputs to layer I III pyramidal cells in rat barrel cortex Neuron 27 45 56 2000 David J Field Relations between the statistics of natural images and the response properties of cortical cells Optical Society of America A 4 12 2379 94 1987 David J Field What is the goal of sensory coding Neural Computation 6 4 559 601 1994 BIBLIOGRAPHIE 211 P Foldiak et M Young Sparse coding in the pri
192. la r ponse neuronale une luminance varie selon une loi de puissance dont l exposant permet de faire varier l talement de l histogramme moyen des luminosit s En effet on observe que dans les images naturelles les luminances basses sont plus fr quentes voir Fig 3 1 12 B courbe pleine aux basses valeurs et que l on doit la transformer en une luminosit suivant un param tre tel que la loi de probabilit r sultante cor responde une meilleure r partition des valeurs c est dire que les r ponses soient mieux diff renti es pour des intensit s diff rentes Ce param tre est appel le facteur y Poynton 1999 On peut crire formellement ce principe intuitif en d finissant l entropie d un code et en d terminant alors la transformation optimale de la luminance pour qu elle repr sente au mieux l information En effet l entropie est la moyenne de l information Z w log P w port e par les diff rents messages w de probabilit P w soit H w I w gt P w logs P w 3 1 28 La luminosit est d finie par un standard comme L 116 s 16 Central Bureau of the Commission Internationale de L Eclairage Vienna Austria 1986 o Y et Y sont respectivement la luminance c est dire une mesure du flux lumineux et la luminance standard du blanc 102 Chapitre 3 Mod les de codage rapide A probabilit 50 100 150 200 250 niveau de gris F
193. la taille des filtres qui fait en sorte que la reconstruc tion soit simple Aussi ce th or me montre que la transform e ne doit pas tre strictement une transform e en ondelettes dans le sens o les filtres se d duisent par des dilations et on choisira en particulier des filtres diff rents pour chaque taille afin de satisfaire des contraintes computationnelles Ce th or me montre aussi que la reconstruction ne sera parfaite que sous une condition sur les filtres c est dire que le noyau K soit un Dirac discret i e K 0 sauf l origine K 0 0 1 Finalement si et seulement si FSS E o 50 3 2 8 Alors la reconstruction sera parfaite Et seulement dans ce cas on pourra crire comme dans Van Rullen et Thorpe 2001 Mg Tc Lees T Dis lt I Pig gt Pi l t b Ut j l Ap 3 2 9 R sultats de la reconstruction th orique de l image Pour garantir une bonne reconstruction de l image par les coefficients de la transform e on va donc ajuster l ondelette m re qui permet de g n rer les filtres toutes les chelles pour que K v rifie au mieux la condition de re construction En pratique il est n cessaire d ajuster les filtres aux diff rentes On pourra crire cette condition dans l espace de Fourier V wx wy K we Wy 1 3 2 Mod le dynamique de la r tine 111 tailles la d monstration ci dessus montre qu on peut rompr
194. lantation physique En particulier les ph nom nes de traitement visuel ultra rapide Thorpe et al 1996 peuvent se r v ler essentiels dans notre compr hension du code visuel l image d une faille de s curit exploit e dans une d marche d ing nierie inverse par un informaticien nous allons essayer d extraire des r gles g n rales de fonctionnement en explorant les limites du code visuel Chapitre 1 Comment casser le code de la vision Trouver c est vaincre une inhibition et une tradition On ne peut pas avancer si on n est pas subversif Laurent Schwartz in Le Monde 1997 1 1 La vision un objet d tude scientifque La vision va tre le centre de cette th se comme un objet d tude dans la champ tr s large des Sciences Cognitives C est en la d finissant sous la double face de son implantation biologique et de sa mod lisation computa tionnelle que nous allons pouvoir soulever une probl matique introduisant une compr hension dynamique et cologique du code de la vision 1 1 1 La vision comme prototype d un processus cog nitif La vision est souvent accus e d tre un sens dictatorial tant par son importance dans Evolution et dans la physiologie du vivant que par l impor tante place qu elle prend dans les tudes neuroscientifiques Mais c est avant 4 Chapitre 1 Comment casser le code de la vision tout une sensation majeure pour d couvrir le monde
195. les pour que la densit de probabilit moyenne sur les images naturelles soit tal e soit sph rique si l on consid re l espace multidimensionnel des luminosit s pour des axes correspondant aux diff rentes tailles Nous avons donc d fini une distance sur les images qui r quilibre les diff rentes composantes d chelle Elle peut se coupler avec l Erreur Quadratique Moyenne Mean Squared Error MSE pour d finir une nouvelle distance entre deux images comme l Erreur Quadratique Moyenne Balanc e EQMB ou Weigh ted Mean Squared Error WMSE Si l on consid re le filtre de blanchiment K on peut calculer de fa on quivalente l EQMB comme l EQM des images blanchies ou comme la valeur quadratique moyenne de l image blanchie de l erreur EQMB T Tees EI I Irec Y K 3 2 21 EI K Lx K 3 2 22 3 2 Mod le dynamique de la r tine 125 Cette distance donne une valuation quantitative qui correspond mieux a une distance subjective entre deux images Pour preuve la figure Fig 3 2 9 montre une image et 5 versions de celle ci bruit es selon des fr quences diff rentes On a alors valu les distances normalis es suivant les deux m tho des pr sent es La EQMB correspond alors nettement plus au rang subjectif que celui donn par la EQM Ces r sultats montrent qu un bruit dont la puissance spectrale en fr quence diminue en 1 f est celui qui perturbe le moins la perception pour une puissanc
196. lette On a repr sent Bas la transform e avec des ondelettes de Haar mono dimensionnelle sur une grille dyadique d un signal A sur 64 points et A de sa translation de 3 points Haut Les signatures correspondant la transformation sont instables une petite variation en translation et sont inadapt es a la repr sentation d un signal de type visuel les valeurs grises sont proches de 0 les activit s extr males sont blanches et noires 152 Chapitre 4 Vers un code dynamique pars Vers un codage impulsionnel pars Une alternative est alors de trouver l image du syst me visuel une repr sentation parse de l image Olshausen et Field 1998 comme ce qui est observ dans le syst me visuel Baddeley 1997 Par exemple nous avons vu que les neurones de IT peuvent r pondre a des signaux tr s sp cifiques jus qu au neurone Bill Clinton mais qu ils pouvaient r pondre de fa on conti nue des transformations courantes pour l information visuelle par exemple li es aux d placements du sujet Cette repr sentation mi chemin entre une repr sentation dense distribu e comme ci dessus et une repr sentation lo cale le neurone grand m re va se caract riser dans une assembl e par un faible taux d activit travers les neurones Typiquement la repr sentation dans le temps par un code impulsionnel pars sera alors constitu e un mo ment donn d un faible nombre relatif
197. lier entra n frapper de fa on al atoire sur les touches d une machine crire comportant pour cette exp rience les M 256 caract res ASCII Chaque caract re porte peu d information en lui m me log M 8bit mais l ensemble al atoire des caract res tap s peut former un texte Les ruines circulaires de Borg s ou encore le texte de cette page Aussi comme malgr tout cet v nement que le texte corresponde exactement reste tr s improbable il porte donc beaucoup plus d information plus exactement N log M bit o N le nombre de lettres du texte produit soit 60 milliards d op rations par seconde 40 Chapitre 2 Neurophysiologie du syst me visuel met alors de cr er gr ce une distributivit massive et au caract re temporel et asynchrone du codage impulsionnel un potentiel calculatoire norme 2 1 3 Flux d information dans l architecture du SNC Ce dernier point sugg re l importance de l asynchronie et du codage tem porel dans l efficacit du SNC Nous allons voir en tudiant le cas particulier de l organisation corticale comment ces principes s int grent a diff rents ni veaux dans le SNC pour fournir ensuite les bases d un mod le du code visuel Le calcul cortical L importance de la communication entre neurones se refl te dans leur or ganisation En effet on observe que les neurones sont distribu s dans le SNC de fa on non uniforme Ainsi le d veloppement du
198. logical processes on the scale of the neurone and synapse In particular synaptic plasticity may induce the non supervised extraction of coherent information in the flow of the neuronal impulses Coding by the latency of the first spike can defines a code in the optic nerve based on multi scale architecture We extended these results by using an ecological approach allo wing thanks to the statistics of natural images the quantization of analog value by the spikes rank This visual code is based on a hierarchical feed forward architecture which is distinguished in addition to its simplicity by its mathematical and computational per formances We will meet the needs for an effective model of Vision by defining a theory of over complete event representation of the image This formalization leads then to a strategy of a sparse spike code by defining lateral interactions Thanks to a reinforcement learning rule this strategy can then be extended to a model of an adaptive cortical column which shows emergence of representation dictionaries Moreover this paradigm adapts particu larly to the construction of a saliency map These techniques allow emergence of new tools for image processing and active vision which are particularly adapted to distributed com puting architectures Keywords Vision parallel and asynchronous computing neuronal spike coding spike time dependent plasticity STDP wavelet transform natural images statistics over com
199. mages de la corr lation des luminosit L en ces points Par homog n it par translation dans les images naturelles 3 2 Mod le dynamique de la r tine 121 uni Es 100 o 100 100 o 100 FIG 3 2 7 D corr lation spatiale Gauche Spectre spatial moyen d nergie Celui ci est calcul sur une base de donn e d images naturelles le spectre d nergie d croit en A Milieu Filtre de d corr lation K calcul d apr s les m thodes de Atick 1992 et Olshausen et Field 1998 Ce filtre se rapproche de la transformation dans la premi re couche de la r tine par les cellules bipolaires et horizontales Droite Spectre spatial moyen d nergie apr s filtrage les luminosit s des points en fonction de leur distance sont donc d corr l es par K on note R Z y R et on en d duit par la transform e de Fourier de R le spectre spatial de puissance R f f dze R Z En comparant ce calcul sur diff rentes images Field 1987 a alors trouv que R ob issait A 1 IA ce qui correspond un auto corr lateur invariant par changement d chelle R f 2 3 2 17 i e R f a2 R a f Cette propri t d coule du fait qu a priori les objets peuvent tre a des tailles al atoires mais qu alors leur nombre varie inverse ment proportionnellement au carr de leur taille Alvarez et al 1999 Une strat gie de codage pour la r tine i
200. mante plus court terme il para t alors vident qu un r le majeur de la vision est de garantir une perception stable et robuste en fonction des contraintes ext rieures Ainsi s il parait peu tonnant que nous puissions nous adapter 2 1 La vision comme un syst me dynamique 35 des changements de contrastes ce niveau d adaptation de 1 lumen pour une feuille blanche sous la lumi re de la pleine lune jusqu 10 000 lumen pour une journ e ensoleill e est in gal par la technologie actuelle A plus long terme on observe aussi que notre repr sentation se r v le constante malgr des changements importants Dans un cas extr me une perception invers e par des lunettes sp ciales par exemple o par des prismes le haut se retrouve en bas s adapte apr s quelques jours pour retrouver une perception normale c est dire coh rente par rapport l espace physique et qui per mette d effectuer des actions quotidiennes Cette observation sugg re que des principes hom ostatiques sont primordiaux dans le syst me visuel et dans le SNC en g n ral et qu une exigence des processus visuels est donc de pouvoir tre r gul s pour s adapter aux diff rents environnements rencontr s Finalement on peut dans le cadre de notre travail d finir la vision comme une strat gie s int grant dans les processus cognitifs et donnant une repr sentation stable du monde Son code c est dire la repr sent
201. mate cortex Arbib 1995 pages 895 8 W T Freeman E H Adelson et E P Simoncelli Steerable filters for image analysis In Optical Society of America Annual Meeting volume 18 Orlando October 1989 P Fries S Neuenschwander A K Engel R Goebel et W Singer Ra pid feature selective neuronal synchronization through correlated latency shifting Nature Neuroscience 4 194 200 2001 P Fries J H Schroder P R Roelfsema W Singer et A K Engel Os cillatory neuronal synchronization in primary visual cortex as a correlate of stimulus selection The Journal of Neuroscience 22 9 3739 54 May 2002 Dennis Gabor Theory of communication J of the Institute of Electrical Engineers 93 III 429 57 1946 J L Gallant C E Connor S Rakshit Lewis J W et van Essen D C Neural response to polar hyperbolic and cartesian gratings in area v4 of the macaque monkey The Journal of Neuroscience 76 2718 39 1996 Jacques Gautrais Th ories et Simulations d un nouveau type de codage im pulsionnel pour le traitement visuel rapide le codage par l ordre d acti vation Sciences cognitives sp cialit neurosciences computationnelles cole des Hautes tudes en Sciences Sociales 1997 Jacques Gautrais et Simon J Thorpe Rate coding vs temporal order coding Biosystems 1997 Wulfram Gerstner Richard Kempter J Leo Van Hemmen et Hermann Wag ner Spiking neurons In Maass et Bishop 1999 chap
202. mise en premier Des donn es neurophysiologiques appuient cette id e dans le sens o tout d abord la pr cision de tir d un neurone peut tre tr s pr cise de l ordre de la milliseconde Bair et Koch 1996 mais aussi tr s stable Mainen et Sejnowski 1996 Chaque impulsion peut donc potentiel lement porter une grande quantit information par sa latence exacte Aussi des processus peuvent participer augmenter la sensibilit des neurones par exemple en maintenant le potentiel pr s du seuil de d charge de telle sorte qu ils puissent tre activ s tr s rapidement Aussi les modulations rythmiques comme les ondes 7 pourraient jouer un r le actif dans ce processus En effet celles ci sont corr l es l ex cution de processus cognitifs comme la cat gorisation Makeig 1996 et pourraient si l on consid re ces processus comme le r sultat de l activation d un syst me dynamique poss dant des fr quences de r sonance modifier en retour de fa on rythmique la sensibilit des neurones par exemple en modifiant le champ local Ainsi des d calages de la latence reli s des m canismes ryth miques peuvent mettre en avant certaines activit s si elles sont corr l es une activit rythmique Fries et al 2001 On peut alors imaginer qu chaque rythme a l instant o la sensibilit de groupe des neurones augmente ce processus amplifie l expression de la r ponse temporelle de l activit corti
203. mmunications infras tucture for neuromorphic systems In Maass et Bishop 1999 chapter 6 pages 159 77 URL http www cis tu graz ac at igi maass PNN html Arnaud Delorme Traitement visuel rapide de sc nes naturelles chez le singe l homme et la machine une vision qui va de l avant PhD thesis Universit Paul Sabatier Toulouse France 2001 Arnaud Delorme J Gautrais R Van Rullen et Simon J Thorpe Spike net a simulator for modeling large networks of integrate and fire neurons Neurocomputing 24 663 70 1999a Arnaud Delorme S Makeig Fabre Thorpe et Terrence J Sejnowski From single trials eeg to brain area dynamics submitted 2001a Arnaud Delorme Laurent Perrinet Simon J Thorpe et Manuel Samuelides Network of integrate and fire neurons using rank order coding B spike ti ming dependant plasticity and emergence of orientation selectivity Neuro computing 38 40 1 4 539 45 2001b URL http laurent perrinet free fr publi delorme01 pdf Arnaud Delorme Guillaume Richard et Mich le Fabre Thorpe Rapid pro cessing of complex natural scenes a role for the magnocellular pathway Neurocomputing 26 7 663 70 1999b 210 BIBLIOGRAPHIE Arnaud Delorme Guillaume Richard et Mich le Fabre Thorpe Ultra rapid categorization of natural scenes does not rely on colour cues A study in monkeys and humans Vision Research 40 16 2187 200 2000 Arnaud Delorme et Simon J Thorpe Early cortica
204. n re pas de sortie On a donc construit gr ce la shunting inhibition un mod le biologique de d codage de l asynchronie par un codage temporel par l ordre d activation De plus on peut adapter la r gle d apprentissage pr c dente voir Sec 3 1 2 en modifiant la fen tre d apprentissage en fonction du nouveau m canisme d inhibition divisive que nous avons introduit Ceci modifie particuli rement la forme de cette fen tre dans le sens o dans le cas d une relation causale l augmentation de poids varie comme un PPS Les r sultats montrent que la distribution de poids converge pour un signal asynchrone vers les valeurs d inhibition respectives 3 3 Codage par Rang 133 a DD oo synapse s g Sou D no ole DR wo D o 40 oa 60 potential mV l N of FIG 3 3 1 Mod le de neurone d tecteur d asynchronie Haut On applique sur 30 fibres pendant 100 millisecondes le m me signal impulsionnel modul en latence par une sinusoide mais permut al atoirement entre les fibres Ce motif est pr sent r guli rement des rythmes proche du rythme y 50 Hz Le motif est ordonn pour la figure au temps 50 ms Milieu Ces vagues d activation bruit es g n rent au soma du mod le de neurone un courant excitateur trait bleu sombre modul par la r sistance d un courant diviseur de shunting inhi bition trait vert clair et qui ser
205. n Lorraine par un protocole TCP IP Le robot tait plac dans un environnement classique 4m environ de la source de l thanol qui tait diffus e par un ventilateur Utilisant une heuristique similaire la descente de gradient les capteurs ne d tectent cette distance aucune odeur et le robot s approchait donc vers le point le plus saillant Or le nombre d ob jets saillants est limit et le robot s approche ventuellement vers la source Toutefois la diffusion de l odeur est tr s turbulente et nous n avons observ une cat gorisation que quand le robot se retrouvait seulement 50cm de la source auquel cas le robot pouvait se guider de fa on bisensorielle par la vision et les capteurs st r o olfactifs D tection d un objet connu Nous avons enfin appliqu les principes de codage multi couche impulsion nel une t che simple de d tection d un objet connu des fins de guidage Le robot est un v hicule mobile d velopp au laboratoire d Informatique et d automatique de SUPAERO Toulouse Ce robot autonome comporte une unit de calcul et est contr l par un calculateur d di Sa double cam ra produit une image vid o st r oscopique de 192 x 144 pixels sur 8 bits de ni veaux de gris Le robot profite des d veloppements dans le laboratoire sous forme de librairies des diff rentes fonctions que l on d sire implanter Notre but est donc l de fournir un algorithme de d tection d un balise con
206. natoire avec le nombre d l ments du dictionnaire et qu en fait ce probl me est NP complet Mallat 1998 p 409 Des algorithmes comme le Basis Pur suit Chen et Donoho 1994 peuvent toutefois trouver la base optimale pour repr senter l image mais son implantation est prohibitive calculatoirement pour des images et n a aucun support biologique 4 1 2 Codage par poursuite Nous allons alors montrer comment construire un mod le de codage sur complet en d finissant des interactions lat rales adapt es selon un algorithme de poursuite la recherche de la construction d interactions lat rales En effet comme nous voulons caract riser la signature de l image une premi re approche est de r p titivement estimer le point correspondant une activit maximale puis d inhiber les points voisins et dont l activit des filtres corr l s va aussi tre forte pour viter que le processus se r p te aux m me points Cette m thode est par exemple utilis e par Itti et al 1998 sous le terme d inhibition de retour et permet apr s avoir choisi un point En pratique on mesurera le caract re pars par la norme L p lal p 3 224 PUR pour p proche de 0 D C est dire qu il n existe pas d algorithme temps polynomial qui puisse donner la solution optimale 4 1 Pour un mod le d interactions lat rales 155 saillant de l image d inhiber son voisinage sur un certain rayon et
207. ndant la signature de ses entr es pr f r es Tout d abord les exp riences de MacLeid et al 1998 sur le bulbe olfactif montrent que si l on emp che la synchronisation des entr es tout en pr servant la m me activit alors la r ponse peut tre annul e De la m me mani re Stevens et Zador 1998 ont montr en combinant exp riences et simulations que la r ponse irr guli re des neurones in vivo tait le reflet La limitation r side alors principalement dans la taille de la m moire Pour ne pas stocker tous les param tres d un r seau on est oblig dans un calculateur classique de supposer que les param tres des neurones se d duisent par les transformations simples depuis quelques prototypes 58 Chapitre 2 Neurophysiologie du syst me visuel de leur pr f rence pour des entr es synchrones sugg rant alors que la syn chronie pouvait tre un m canisme g n ralis de communication dans une couche neurale d clenchant l activit d un neurone La repr sentation dans une assembl e de neurones est donc cr e par la syn chronisation des impulsions En particulier il a t montr chez les primates que l engagement dans une fonction cognitive tait corr l avec l apparition dans la zone corticale correspondante d oscillations autour de 40 Hz les ondes y interpr t es comme la contribution synchronis e d un large nombre de neurones Fries et al 2002 mais quon peut aussi
208. neurones une transformation complexe comme la r ponse d un neurone l image d un visage dont on fait varier la direction de l clairage Hietanen et al 1992 Il est toutefois s rement incorrect d avoir une approche seulement symbo lique sur la s lectivit d une carte En effet il est tentant surtout pour im planter des r seaux de neurones complets sur un calculateur de supposer que les s lectivit s des neurones se d duisent entre elles par exemple par de simple transformations g om triques M me si cela semble vrai dans V1 ce ne l est plus par exemple dans d autres aires comme IT car par exemple des neurones sensibles des visages dans cette aire peuvent ne pas tre activ s par la pr sentation de visages l envers Jeffreys 1989 Les cartes corti cales n ob issent donc pas a des r gles simples comme des translations ou des rotations mais semblent plut t merger des associations r p t es dans l ensemble des stimulations C est seulement quand celles ci ob issent une certaine g n ralit comme celle induite par un mouvement simple dans un environnement que des r gles comme l invariance par translation peuvent appara tre Repr sentations par des assembl es neurales Au niveau des assembl es de neurones il semble admis aujourd hui que la r ponse d un neurone un flux impulsionnel sera surtout corr l e au degr de synchronie de l activation des synapses correspo
209. nfluenc par le d cours temporel de la propagation de l information Architecture globale du flux d information The problem that continually tends to be overlooked is that of the formation of those primary units to which the inferential acti vity of the cognitive process can apply The primary process cannot be considered a passive mechanical recording of distant stimuli but consists of an organization of proximal stimulation transforming an unrelated set of elements into a certain number of segregated units with precise spatial and temporal re lationships Kanizsa 1979 S il est difficile d enregistrer l activit simultan e des neurones d une colonne des techniques d imagerie c r brale comme l Imagerie par R sonance Magn tique IRM ou les potentiels voqu s mesur s par l Electro Enc phaloGramme EEG permettent de localiser dans l espace et le temps de fa on relativement satisfaisante les aires du cortex activ es par une stimulation On peut alors faire correspondre des fonctions a des localisations corticales afin d en tudier les principes neurophysiologiques Logothetis et al 2001b Ces techniques d imagerie permettent de contraster des activit s cognitives et confortent l id e que des fonctions diff rentes sont effectu es dans des aires diff rentes Aussi ces techniques d imagerie combin es avec des techniques pouss es de 44 Chapitre 2 Neurophysiologie
210. nformations peuvent tre trait es en m me temps ici s riellement comme des fronts successifs d activation entre la r tine et IT Cette exp rience sugg re donc que les diff rentes couches transforment de fa on tr s rapide l information visuelle en des fronts de PAs qui peuvent tre trait s de fa on s rielle dans le syst me visuel Ces fronts codent alors l image sur l ensemble d une aire dans un intervalle inf rieur environ 10 ms par l activation progressive et asynchrone de ses neurones qui tend les mod les existant Des exp riences neurophysiologiques Nowak et Bullier 1997 ont montr que la Voie Magno dont nous avons soulign l importance pouvait tre reli e des m canismes de propagation rapide La vision utilise s rement une voie sp cialis e dans l analyse rapide des sc nes Delorme et al 1999b et 68 Chapitre 2 Neurophysiologie du syst me visuel ce mod le permettrait donc d expliquer les processus li s ce sous syst me dans les chemins visuels Toutefois les fibres Magno se m langent avec les autres partir de V1 et donc m me si une premi re id e de la sc ne est envoy e plus rapidement V1 elle rejoint des chemins communs aux proces sus visuels apr s V1 Tout d abord ce mod le de propagation s int gre dans des architectures dont le fondement est classique l organisation du syst me visuel et on tendra donc les mod les existants
211. ng of information transfer in the visual system In Plenum Press J Kaas et al New York editor Extrastriate cortex in primates pages 205 41 1997 Bruno Olshausen et David J Field Natural image statistics and efficient coding Network 7 333 339 1996 URL http citeseer nj nec com olshausen96natural html Bruno Olshausen et David J Field Sparse coding with an overcomplete basis set strategy employed by V1 Vision Research 37 3311 25 1998 Bruno Olshausen Phil Sallee et Michael S Lewicki Learning sparse wavelet codes for natural images In Jordan et al 2000 J Kevin O Regan et Alva No A sensorimotor account of vision and visual consciousness Behavioral and brain sciences 24 5 2001 Stefano Panzeri Alessandro Treves Simon Schultz et Edmund T Rolls On decoding the responses of a population of neurons from short time windows Neural Computation 11 7 1553 1577 1999 Y Pati R Rezaiifar et P Krishnaprasad Orthogonal matching pursuit Recursive function approximation with applications to wavelet decompo sition In Proceedings of the 27 th Annual Asilomar Conference on Si gnals Systems and Computers 1993 URL http citeseer nj nec com pati93o0rthogonal html 218 BIBLIOGRAPHIE Laurent Perrinet Apprentissage hebbien d un r seau de neurones asynchrone codage par rang Technical report Rapport de stage du DEA de Sciences Cognitives CERT Toulouse France 1999 Laur
212. nnelle A Latence du premier PA pour le mod le SRM en fonction de l amplitude de l entr e avec le m me protocole que pour la Fig 3 1 1 A partir d un certain seuil de courant le neurone g n re un PA de plus en plus rapidement l image du comportement du mod le HH voir Fig 3 1 1 B B Mod le d impulsion synaptique le Potentiel Post Synaptique Les constantes de temps du mod le sont fix es 5ms pour la synapse et 20ms pour la membrane Un PA arrive sur la synapse a t 0 provoquant un potentiel dont la forme est toujours la m me maximum a t 9 2ms mais dont l amplitude varie proportionnellement avec l efficacit synaptique C Mod le LIF SC int gration de PAs pr sent s en haut du graphe sur 4 synapses quipotentes L entr e est constitu e de PAs sur chaque synapse avec une synchronie faible t 100ms et forte t 250ms La r ponse favorise les entr es synchrones 3 1 Mod les de codage temporel 81 ej a a 0 I I 45 10 I I Fe pes 40 O 20 35 30 ji a 30 i s z o z a a I _ 25 8 40 2 7 1
213. ns une image les bords des objets formant ainsi une esquisse primitive de l image La sortie de notre mod le de V4 repr sentera donc progressivement les angles aigus fl ches coins courbes puis les lignes et les d tails En particulier cette aire va pouvoir d tecter des jonctions de type T c est dire des croisements de contours caract ristiques d occlu sions Aussi les v nements correspondant l attente et l activation des colonnes de V4 peuvent tre r tropropag es sur V1 puis sur le CGL pour modifier le 4 3 Systemes visuels dynamiques et applications 193 flux d information Si l on prend cette propagation en compte on observe alors que d s V1 l information saillante correspondant aux coins peut tre propag e en avant grace l information de V4 Dans un cadre biologique plus large on peut imaginer que les vagues d activit s plus lentes que nous avons voqu voies Parvo et Konio voir Sec 2 2 2 vont alors confronter cette information pr cise avec l information descendante plus impr cise de la voie Magno qui aura contrast par les processus attentifs les voies saillantes selon un mod le it ratif Bullier et Nowak 1995 4 3 3 Applications la robotique et la vision active Comme nous l avions voqu au d but de la th se la vision se d finit par les buts et les contraintes qui lui sont impos es Nous avons donc essay d implanter des paradigmes issus des
214. ntinus comme des images de cercles de centres et rayons al atoires Nous allons alors appliquer ce paradigme une image de synth se al atoire mais par r alisme de m me spectre d nergie que les images naturelles Les intensit s sur un disque sont invers es de telle sorte que subjectivement le disque appara t comme l image d un objet avec des textures diff rentes voir Fig 4 2 4 Gauche L algorithme de codage que nous avons pr sent va alors propager les parties de l image en les choisissant de mani re quasi al atoire voir Fig 4 2 4 Haut mais en privil giant d abord les discontinuit s En in troduisant une connaissance a priori par exemple en favorisant les segments appartenant de m mes cercles Sigman et al 2001 on peut d clencher de proche en proche une avalanche de propagation suivant le cercle et qui tend le r v ler alors en premier voir Fig 4 2 4 Bas tout en pr servant les propri t s de convergence de l algorithme puisqu on ne fait que modifier le seuil et donc Vordre de tir On en d duit alors que la repr sentation fera apparaitre le cercle de mani re transiente en propageant pr f rentiellement les singularit s colin aires En se r f rant aux arguments de Bullier et No wak 1995 et de Van Rullen et al 2001 cet algorithme n introduit pas a proprement dire de feedback i e de retour en arri re de information et est donc toujours compatible avec une propagation en avan
215. ntroduite par Atick 1992 et Atick et Redlich 1992 est donc pour les cellules ganglionnaires de fournir une r ponse d corr l e et est donc reli e une strat gie de maximisation de l entropie de l activit des cellules ganglionnaires Pour cela en consid rant cette activit comme la transform e lin aire O lt L K gt avec L l image des luminosit s on note que est sym trique positive 122 Chapitre 3 Mod les de codage rapide et K le filtre r tinien on peut d duire le spectre de puissance de O comme le produit de ceux de L et K On en d duit que si l on veut que la sortie soit d corr l e il suffit de poser ge eae 3 2 18 R f soit Jka AI 3 219 Toutefois cette strat gie va consid rablement augmenter les hautes fr quences et donc le bruit li aux r cepteurs Il est donc n cessaire d adoucir les images soit donc K par associativit de l op ration de convolution un filtre spatial passe bas B D apr s des donn es psychophysiques on choisit B exp o fe 22deg et a 1 4 Olshausen et Field 1998 Fina lement on obtient un filtre r tinien K K x B voir Fig 3 2 7 Milieu Leur tude peut s tendre notre mod le multi chelle car comme le syst me est lin aire jusqu la g n ration des PAs par les cellules ganglionnaires on pourra composer ce filtre de d corr lation avec nos filtres aux diff rentes chelles p
216. nue voir Fig 4 3 4 diff rentes tailles orientations distances et configurations 196 Chapitre 4 Vers un code dynamique pars Pour r duire les calculs nous avons implant un syst me de trois couches r tinotopiques de r solutions d croissantes correspondant grossi rement la r tine V1 V4 et IT La r tine produit une repr sentation des contours comme une esquisse de l image La couche V1 V4 correspond une couche de filtres s lectifs des orientations suivant les directions de contours pr sentes dans les balises verticales et diagonales et aux coins correspondant aux balises Ces filtres ont t appris de mani re non supervis e sur des images de balises sans distracteur et ont t tendus l architecture multi chelle On a alors ajust les angles compatibles avec le triangle pour que ceux ci soient propag s en premier A l image du triangle de Kanisza la d tection est r alis e quand 3 angles compatibles sont propag s La derni re couche a t apprise de fa on supervis e gr ce une base d images de balises marqu es Les r sultats sont sans surprise car les contours des balises par leur fort contraste sont propag es en premier d s la r tine On voit alors appara tre rapidement les structures lin aires de l image et la r ponse de IT Comme ce syst me est utilis pour une navigation on peut donc gr ce aux capteurs odom triques pr voir la direction taille et orien
217. o par r o On 136 Chapitre 3 Mod les de codage rapide crira alors le potentiel du neurone dans notre mod le pour r gt 1 comme V r V r 1 wo Mod r ron Impulsion et arr t pour V r gt Vieuir o l image de l inhibition divisive dans la section pr c dente on d finit une fonction de modulation d pendant du rang par une fonction d croissante Par simplicit le neurone est initialis V 0 0 et Mod 0 1 et comme dans les mod les SRM et LIF le neurone g n re une impulsion lorsqu il atteint un seuil Vieui1 et est alors inhib totalement il ne peut donc tirer qu une seul impulsion On en d duit imm diatement que le potentiel au rang t est donn par V t D ce wotr Mod r 3 3 5 On en d duit alors que comme on contr le la somme des poids on peut fixer de fa on arbitraire Vseuiz 1 De plus si on note Ow le vecteur d ordre des poids tel que le vecteur des poids w est maintenant rang par ordre d croissant Snin t lt V t lt Smax t 3 3 6 avec si on note Tmax le rang maximal i e le nombre total de fibres i Sminlt Jiga Wow rax r 1 Mod r 3 3 7 Snaxlt res Wo r Mod r C est dire qu chaque rang le maximum resp le minimum est r alis pour une vague d impulsions arrivant dans l ordre resp l ordre inverse des poids voir Fig 3 3 3 Cette mesure tend donc les r sultats des statistiques non param triques c es
218. obotique Mots cl s Vision traitement visuel ultra rapide calcul parall le et asynchrone co dage neuronal impulsionnel plasticit hebbienne 4 modulation temporelle relative STDP transform e par ondelettes statistique des images natu relles repr sentation sur compl te poursuite de concordance ing nierie neu romorphique compression dynamique d images carte attentive de saillance d tection d objets vision active et robotique Abstract How to decipher vision s spiking code Study of the parallel asynchronous and sparse flow in the ultra rapid visual processing Models of visual coding i e the algorithms which extract the relevant perception from the rough spatial and luminous sensation produced by bio logical the eye or artificial a camera sensors are today generally based on techniques inherited from the von Neumann computer and retort neither architecture nor the performances of the biological systems Basing us on neurophysiological experiments highlighting the ultra rapid processing of vi sual information Thorpe et al 1996 we will define the bases of a parallel and asynchronous code of the vision This model transforms the analogical visual information the image into a wave of elementary events coding the information thanks to their succession in time in a progressive and hierarchi cal way In order to explore the fundamental neuronal mechanisms which establish this high speed treatment
219. oding using an asyn chronous spiking neural network In Proceedings of ESANN pages 313 18 2002b L PERRINET ET M SAMUELIDES Visual strategies for sparse spike coding In Actes de Neurosciences et Sciences de l Ing nieur L Agelonde 2002C L PERRINET M SAMUELIDES ET S THORPE Sparse spike coding in an asynchronous feed forward multi layer neural network using Matching Pursuit Neurocomputing in press 2002 Bibliographie Larry F Abbott et Sacha B Nelson Synaptic plasticity taming the beast Nature Neuroscience 3 1178 83 2000 Larry F Abbott Juan A Varela Kamal Sen et Sacha B Nelson Synaptic depression and cortical gain control Science 275 220 4 1997 Edgar Adrian The Basis of Sensation The Action of Sense Organs Lon don ChristoPhers 1928 D Alleysson S Susstrunk et J H rault Color demosaicing by estimating luminance and opponent chromatic signals in the fourier domain In Color Imaging Conference CIC10 2002 Luis Alvarez Yann Gousseau et JeanMichel Morel The size of objects in natural images CMLA 1999 Shun ichi Amari Theory of adaptive pattern classifiers IEEE Trans Electr Comput 16 200 307 1998 M A Arbib The handbook of Brain Theory and Neural Networks The MIT Press Cambridge MA 1995 Joseph J Atick Could information theory provide an ecological theory of sensory processing Neural Computation 3 2 213 52 1992 Joseph J Atick et A Norman Redlich
220. ogique En conclusion de cette tude de la neurophysiologie du syst me visuel nous proposons donc un mod le dynamique de la vision o les chemins visuels d finissent des voies neuronales de propagation hi rarchiques et en couches 2 3 Contraintes temporelles sur le code visuel 69 depuis la r tine jusqu a la r ponse motrice tel qu il est formalis par Thorpe et al 2001a L information produite par une image bri vement pr sent e sur la r tine est propag e en avant de mani re asynchrone i e comme une s rie d v nements a travers ce r seau Le principe majeur de ce type de codage est de montrer qu en fournisant une r ponse impulsionnelle d autant plus rapi dement que l activit est forte les neurones rentrent en comp tition Chaque neurone de chaque couche participe ainsi repr senter temporellement et de fa on parall le l information par ordre d importance de telle sorte que les v nements les plus saillants soient propag s en avant et que la r ponse soit ainsi la plus rapide possible Finalement nous avons d fini la vision comme un flux d information Nous allons donc pr senter des algorithmes qui implantent ces processus pour pro poser des mod les de codage neuronal rapide Chapitre 3 Modeles de codage rapide In a widely circulated joke from the days of the first computer a group of engineers assemble the most powerful computer that had ever been conceived and
221. on Eur J Neuroscience 14 5 869 76 September 2001b Simon J Thorpe et M Imbert Biological constraints on connectionist model ling In Connectionism in Perspective Pfeifer R Schreter Z Fogelman Souli F and Steels L eds Elsevier North Holland 1989 Simon J Thorpe et Michel Imbert Parallel processing in neural systems R Eckmiller G Hartman and G Hauske North Holland 1990 T W Troyer A Krukowski N J Priebe et K D Miller Contrast invariant orientation tuning in cat visual cortex Feedforward tuning and correlation based intracortical connectivity The Journal of Neuroscience 18 5927 1998 Misha Tsodyks Klaus Pawelzik et Henry Markram Neural networks with dynamic synapses Neural Computation 10 4 821 835 1998 Antonio Turiel Germ n Mato N stor Parga et Jean Pierre Nadal Self similarity properties of natural images In Michael I Jordan Michael J Kearns et Sara A Solla editors Advances in Neural Information Proces sing Systems volume 10 The MIT Press Cambridge MA 1998 Antonio Turiel et Nestor Parga The multifractal structure of contrast changes in natural images from sharp edges to textures Neural Compu tation 12 763 93 2000 BIBLIOGRAPHIE 223 A Turing The chemical basis of morphogenesis Phil Trans of the Roy Soc B 1952 L Ungerleider et R Desimone Projections to the superior temporal sulcus from the central and peripheral representation of
222. on en utilisant les quantiles de la loi de r partition normale Perrinet 1999 Si l on tient maintenant compte du m canisme impulsionnel comme on sait estimer chaque pas de temps t i e chaque rang la loi de probabilit du potentiel lin aire par une gaussienne on peut estimer la loi de probabilit p t du rang de tir du neurone c est dire pr voir le comportement impulsionnel du neurone codage par rang On va pour cela assimiler ce probl me l valuation du temps d arr t du processus al atoire voir Burkitt et Clark 1999 Horn et Levanda 1999 d crit par l Eq 3 3 4 En effet soit f t la probabilit que le potentiel non arr t V t soit sup rieur au seuil Vieuii 1 au rang t ft P V gt 1 3 3 9 et que l on sait valuer gr ce au th or me pr c dent et aux moments donn s par Eq 3 3 8 de la moyenne et de la variance en fonction du rang Au rang t la probabilit p t que le neurone tire t est la probabilit qu il n a pas d ja tir et qu il atteint le seuil au temps t Comme V t est croissant on a simplement DE RVG gt Da eV E 4 1 3 3 10 So On d duit finalement des moments des poids et de la modulation la den sit de probabilit de tir d un neurone pour des entr es al atoires Ce calcul permet r troactivement de pr voir ces param tres pour obtenir une r ponse tLe principe du calcul est d utiliser les sym tries dans l ensemble II
223. ones des neurones des couches supra granulaires Une activation partielle donc de la couche supra va donc plut t correspondre un tat d anticipation attendant l activation de la couche infra Cette boucle en renvoyant un signal sur les sources permet notamment de r guler l activit corticale Par analogie avec les protocoles de calcul asynchrone on peut interpr ter ce signal de retour comme un signal de hand shake soit un accus de r ception de l v nement cortical Les aires corticales En largissant encore plus notre point de vue on observe que la sur face du cortex est d coup e en aires corticales et qu il semble appara tre des s parations physiologiques qui permettent de d finir une carte corticale comme par exemple la classification en aires de Broadman Toutefois les li mites de ces aires ne sont pas toujours pr cises d pendent de leur d finition 42 Chapitre 2 Neurophysiologie du syst me visuel par le type de cellule ou par la morphologie corticale par exemple et ne cor respondent pas forc ment des s parations fonctionnelles Cette impr cision est confirm e par la plasticit du SNC qui peut modifier la r partition des aires corticales On peut par exemple d terminer chez le macaque des sous aires corticales dans le cortex moteur correspondant aux doigts qui projettent des nerfs moteurs vers la main On peut alors montrer qu une invalidit per manente d un
224. onnu Le but sera alors diff rent si la contrainte consiste a donner la r ponse la plus rapide ou la plus pr cise De plus les conditions jour ou nuit direction de l clairage et le contexte danger imm diat non attente de la stimulation sont encore autant de facteurs qui changent alors la repr sentation id ale de l information et donc le but des processus visuels La situation peut encore tre diff rente si l on peut se mouvoir et donc se diriger vers le visage recherch la vision devient alors une strat gie explo ratoire active L ensemble de ces buts vont alors influencer l volution de la structure du syst me visuel Implantations de la vision dans V Evolution La diversit de ces buts se reflete dans les diff rentes formes de la vision mergeant de l Evolution depuis le m canisme neuromoteur phototactique de l algue unicellulaire euglena gracilis via les yeux compos s de nombreux insectes comme la mouche jusqu a la vision active et consciente des humains et d autres mammif res Cette diversit montre aussi que cet inventaire n est pas en ordre croissant de qualit puisque par exemple l on ne peut compa rer la pr cision de la vision du faucon aux capacit s t tra chromates du pi geon Une cons quence marquante est par exemple la position des yeux chez de nombreux mammif res privil giant la vue p riph rique pour les proies comme le lapin et la vue en avant binoculaire et focali
225. onsommait 174kW peut tre pourra t on grace des syst mes neu romorphiques alors rapprocher les ordinateurs actuels consommant environ 100 W de l efficacit du cerveau humain qui ne consomme que l quivalent de 10 W Pour cela il est n cessaire d implanter des mod les fonctionnels du 24 Chapitre 1 Comment casser le code de la vision code visuel tout en s inspirant du fonctionnement du syst me visuel Contenu de l information neuronale En estimant physiologiquement le nombre minimum de neurones n cessaires pour coder un percept Kreiman et al 2002 se sont aper us que des neu rones pouvaient r pondre explicitement et exclusivement a des sensations complexes une capacit surnomm e neurone grand m re dont l exemple le plus marquant dans cette exp rience est alors le neurone Bill Clinton d couvert chez un patient Ce neurone pr sentait une activit si et seulement on lui pr sentait une photographie ou un dessin de l ancien pr sident des tats Unis d Am rique Peut on alors consid rer que les repr sentations neu ronales sont de ce type Sont elles vraiment efficaces et quelle est l tendue de la g n ralisation de cette repr sentation On observe alors que en conjonction avec cette repr sentation qui utilise un dictionnaire tr s large les r ponses des neurones r v lent en g n ral un caract re pars c est dire que dans une assembl e peu de neurones sont a
226. ors r p t sur une nouvelle image On en d duit que s il existe une certaine r gularit dans les images les filtres vont donc se rapprocher des l ments de base de l image ses primitives et la d composition sera d autant plus rapide Cette r gle traduit une volution vers une repr sentation parse de l image Cette m thode se rapproche donc de l algorithme de Olshausen et Field 1996 SPARSENET dans le sens ou en contraignant la repr sentation de l image tre parse l algorithme obtenu laisse merger des filtres du m me type Toutefois l algorithme d optimisation m thode du Gradient Conjugu est plus analytique m me si les premi res version de SPARSENET utilisaient une poursuite gourmande Olshausen com munication personnelle Aussi cet algorithme reste toutefois diff rent car 178 Chapitre 4 Vers un code dynamique pars il d compose en une somme lin aire des imagettes de la taille des filtres alors que notre algorithme d apprentissage d compose l image enti re Une cons quence importante est que notre algorithme a moins tendance laisser merger des filtres similaires avec des centres diff rents car la d composition n a pas lieu sur des imagettes de la taille des filtres comme dans ces m thodes mais sur l image compl te On introduit alors une comp tition et la coexis tence de filtres similaires par une translation n est pas stable Cette exp rience a t men
227. our retrouver une architecture similaire notre mod le De plus comme les filtres d ondelettes sont relativement localis s autour de leur fr quence spatiale pr f r e on peut utiliser en premi re approximation la norme de la convolution de ce filtre avec K pour mesurer la modification de la sen sibilit des filtres avec leur taille Les r sultats montrent alors des r sultats similaires pour ces deux m thodes et on peut noter que les normes relatives des filtres r tiniens de ce mod le vont correspondre aux mesures physiolo giques d Enroth Cugell et Robson 1966 En pratique on observe alors que sur une base d images par rapport la situation pr c dente o les coeffi cients de filtres de grande taille taient a priori plus forts les histogrammes des coefficients aux diff rentes chelles sont harmonis s voir Fig 3 2 8 3 2 Mod le dynamique de la r tine 123 FIG 3 2 8 Harmonisation des histogrammes par la statistique des images natu relles Logarithme de l histogramme moyen des coefficients d une repr sentation multi chelles dyadique pyramide laplacienne en fonction de l chelle 6 cor respondant une taille de 25 une couleur sombre correspondant une probabi lit forte soit une information faible A sans ou B avec d corr lation Les nergies sont mieux r parties et vont donc correspondre une plus grande infor mation par coefficient Le bruit concentr sur les pr
228. p ration et sur tout forment une certaine continuit qui voque la formation d une colonne corticale dans l aire visuelle primaire Cet algorithme est rapprocher des solutions au probl me de s paration aveugle de sources En effet un codage pars peut se rapprocher de l analyse en composante ind pendantes Comon 1994 car il tend rechercher les causes qui ont g n r l image en utilisant de m mes arguments informationnels de maximisation de vraisemblance maxi mum likelihood Olshausen et al 1998 Nos r sultats sont quivalents cette m thode sugg rant ainsi que nous avons trouv par notre algorithme et pour cette taille de dictionnaire les composantes ind pendantes des images naturelles i e les contours orient s des objets 4 2 3 Cons quences en traitement de l image Ce type d algorithme est inhabituel en traitement de l image la Poursuite de Concordance a surtout t appliqu e des signaux temporels comme les sons et d autant plus dans le cadre d un code impulsionnel de la Vision Il introduit donc de nouvelles techniques d analyse qui permettent d envisager de nouvelles applications Compression d image On conna t l importance de la compression d image avec l explosion de l utilisation d images num riques pour des ressources de communication par tag es et variables La qualit des diff rents standards de compression peuvent tre facilement quantifi s p
229. percevons sub jectivement Ce mod le hi rarchique a beaucoup influenc les syst mes de vision effectivement implant s et a eu en pratique un grand succ s La renaissance du connexionnisme L tude des processus cognitifs par ces mod les r v la un paradoxe tou jours vivant les t ches complexes jouer aux checs calculer des logarithmes sont plus facilement simul es par un calculateur que des t ches relevant du sens commun comme dire un texte ou rechercher un visage dans une foule Ce paradoxe semble intimement li la nature de l approche le calculateur re levant d une approche de haut en bas c est dire en analysant un probl me 1 1 La vision un objet d tude scientifque 11 pour le d couper en sous problemes plus simples alors que les processus cognitifs semblent plut t merger du bas en haut c est dire par l intercon nexion de processus l mentaires c est l approche connexionniste En parall le avec les progr s de notre connaissance de la vision les progr s de la technologie du calcul ont permis de recourir des simulations de plus grande ampleur et de permettre une renaissance du connexionnisme dans les ann es 1980 L algorithme de r tropropagation du gradient ou les mod les m moires associatives ont alors incit la cr ation de telles applications qui mergent de processus l mentaires simples et laiss entrevoir la puis sance potentielle de tels syst me
230. plete representation matching pursuit active vision
231. porte quel type d animal et requiert donc une classification de haut niveau Malgr la difficult de cette t che du moins pour un ordinateur le taux de r ussite est lev chez les humains 94 mais aussi chez les singes apr s quelques semaines d apprentissage taux de r ussite de 87 90 De fa on plus surprenante le temps m dian de r ponse comprenant la r ponse motrice est tr s rapide 440 ms chez l homme et 250 ms chez le singe et se rapproche donc des temps de r ponse des trai tement de cat gorisation simple comme indiquer la couleur soit verte soit rouge d une lampe On parle alors de Cat gorisation Ultra Rapide CUR 62 Chapitre 2 Neurophysiologie du syst me visuel 6 Animal uw Non animal Difference FIG 2 3 2 Activit diff rentielle entre les potentiels voqu s EEG des cibles et des distracteurs Trace moyennes pour 15 sujets enregistr es au niveau des lectrodes frontales lors de la pr sentation des cibles Animal et des distracteurs Non animal Un divergence tr s nette se forme d s 150 ms Difference Aussi l enregistrement des potentiels voqu s par VEEG permet d affiner ces r sultats En effet le potentiel lectrique a t enregistr continuellement sur le scalp des sujets pendant ces exp riences S ils permettent d valuer grossi rement la position spatiale de l activit PEEG poss de une haute r solution temporelle En particulier
232. pour pouvoir en tudier la qualit et le comparer au codage r tinien Le d codage par les coefficients calcul s montre que comme attendu la reconstruction est beaucoup plus rapide voir Fig 4 2 2 et donc que la repr sentation est plus parse En effet on voit alors que quelques centaines d impulsions sont suf fisantes pour repr senter l image En effet on observe sur l histogramme de r ponse des neurones que les r ponses sont tr s s lectives ces distributions ont une kurtosis lev e et donc que chaque impulsion soit la r ponse d un filtre comportera d autant plus d information Comme pr c demment on peut construire un code impulsionnel complet en tudiant la r gularit de la valeur absolue des coefficients en fonction de ler rang de tir L architecture utilise un nombre limit de filtres pouvant simuler 4 2 Mod le neuronal de repr sentation corticale sur compl te dans l aire visuelle primaire V1 171 Fic 4 2 2 Reconstruction de l image par une poursuite gourmande soit dans la r tine soit dans V1 On a compar pour une image naturelle Gauche le codage r tinien et Droite le codage par des filtres s lectifs des orientations ressemblant aux cellules simples rencontr es dans V1 On a montr la recons truction de l image apr s resp 100 750 3000 et 9000 PAs L image originale est reconnue apr s quelques centaines d impulsions seulement les coefficients d croissant en valeur a
233. pproximations adaptatives non lin aires il peut tre tendu a d autres produits scalaires arbitraires et malgr sa simplicit montre des comportements complexes et chaotiques Davis 1994 Propri t s de la poursuite gourmande Tout d abord on remarque qu chaque pas l activit correspondante d un filtre est bien annul e lt Pit Pit gt S Hi nt mt Ce 1 Ci Ci Ng 0 4 1 14 Aussi comme on soustrait la projection orthogonale une propri t de la poursuite est alors que par le th or me de Pythagore IP EP CoP R al 4 1 15 158 Chapitre 4 Vers un code dynamique pars soit Py ct 7 lies So SSP ee 4 1 16 Nit 1 gt t gt T qui correspond une formule de conservation de l nergie Grace cette relation Mallat et Zhang 1993 ont prouv que cet algorithme convergeait pour un dictionnaire au moins complet dans l espace H de telle sorte que lim P 0 4 1 17 De plus cette d croissance est exponentielle et sa vitesse d pend du caract re sur complet et adapt du dictionnaire De fa on plus g n rale la convergence est assur e sur l espace g n r par les filtres de la base Un premier avantage de la poursuite gourmande est qu on va pouvoir controler le caract re pars de la repr sentation en modifiant la richesse du dictionnaire Les deux extr mes vont alors d un cot correspondre une repr sentation dense par un dictionnaire orthogonal pu
234. pr sente le mieux l information L utilisation d une mesure statistique comme l entropie permet alors de quantifier plusieurs strat gies et de trouver les meilleurs param tres du codage Ce r sultat est d autant plus important dans notre cadre car l information en plus d tre cod e temporellement est propag e dans un ordre pr cis Il est donc pri mordial pour un code temporel que l information qui est transmise en avant soit bien l information qui porte le plus d information On pourra ainsi d finir une coop ration entre des neurones qui pourront ouvrir implantation d un Le facteur utilis par le syst me de t l vision NTSC utilise y 2 2 et PAL y 2 8 pour les moniteurs d ordinateurs WINDOWS pose y 2 2 et APPLE permet de le r gler Aussi le probl me s tend l impression puisque par exemple la relation entre la quantit d encre sur le papier et la luminosit introduit une nouvelle non lin arit qui peut tre reli un nouveau facteur y pour chaque imprimante Ceci impose aussi le format PNG distribu sous licence GPL sur http www libpng org et compatible maintenant avec la majorit des logiciels comme une r f rence en particulier pour le traitement de l image car il prend explicitement en charge la valeur du y 104 Chapitre 3 Mod les de codage rapide code impulsionnel 3 2 Mod le dynamique de la r tine La seconde d couverte majeure en neurosciences aussi
235. primate Vis Neurosci 5 10 811 25 1993 Central Bureau of the Commission Internationale de L Eclairage Vienna Austria Colorimetry second edition Signal Processing 15 2 1986 F S Chance Sacha B Nelson et Larry F Abbott Synaptic depression and the temporal response characeristics of vl simple cells The Journal of Neuroscience 18 4785 99 1998 Gal Chechik et Naftaly Tishby Temporal dependent plasticity An infor mation theoretic account In Jordan et al 2000 Shaobing Chen et David Donoho Basis pursuit In presented in the 28th Asilomar Conference on Signal Systems and Computers 1994 C C Chevalier Neural global connectivity in borgesian optimality Int J of Neural Mar 2000 P Comon Independent component analysis a new concept Signal Proces sing 36 3 287 314 1994 John Daugman et Cathryn Downing Gabor wavelets for statistical pattern recognition Arbib 1995 pages 414 9 BIBLIOGRAPHIE 209 Geoffrey Davis Adaptive Nonlinear Approximations PhD thesis 1994 Rob R de Ruyter van Steveninck Geoffrey D Lewen Steven P Strong Roland Koberle et William Bialek Reproducibility and variability in neural spike trains Science 275 1805 1808 1997 D Debanne D Shulz et Y Fregnac Temporal constraints in associative synaptic plasticity in hippocampus and neocortex Can J Physiol and Pharmacol 73 1295 1311 1995 S Deiss R Douglas et A Whatley A pulse coded co
236. ptatifs reli s avec ce mode de repr sentation pars font merger certaines cat gorisations plut t que d autres En particulier peut on alors relier ces m canismes d ap prentissage non supervis et d auto organisation des processus neurophy siologiques et une mod lisation qui les implantent Principes unitaires d un code v nementiel On a vu que l impulsion neuronale constituait un quanta d information dans le SNC Existe t il alors d autres principes unitaires qui guident le flux d information depuis l il jusqu une r ponse motrice L impulsion neuro nale constitue t elle le seul v nement de l information Ainsi l anatomie du cortex observe des similarit s structurelles qui sugg rent que les diff rences fonctionnelles proviennent de principes unitaires En parti culier les colonnes corticales semblent constituer un syst me autonome dont on peut extraire une formalisation en terme de communications neurales et de l tat interne de la colonne Ce syst me peut alors tre r pliqu sur tout le cortex comme une brique l mentaire de construction Un tel mod le dont on r duirait le nombre de param tres qui r glent son comportement et l ar chitecture de ses interactions locales ou distales pourrait alors permettre de construire un code complet du traitement visuel bas sur des v nements produits par les colonnes corticales Ces questions doivent alors nous guide
237. que aussi que cette forme de la courbe de sensibilit en fonction de l orientation peut tre modifi e par plusieurs facteurs Un seuil plus bas correspond une latence plus rapide mais une r ponse moins pr cise et robuste Compl mentairement si l on ralentit la d croissance de la modulation on observe alors qu on peut r tr cir la largeur de la courbe de sensibilit 144 Chapitre 3 Mod les de codage rapide D tection de la meilleure concordance dans une image Dans le cadre du traitement visuel on voit que le codage par rang par la richesse des diverses repr sentations impulsionnelles et la flexibilit du d codage est particuli rement adapt la d tection de concordance avec des dictionnaires de motifs dans l image En effet si l on peut comprendre le trai tement r tinien et dans V1 en termes d analyse fr quentielle en sous bandes d chelle et d orientations on peut aussi caract riser ce traitement comme la recherche de motifs appris qui vont hi rarchiquement correspondre aux points orientations lignes courbures On peut alors d finir plus exactement l algorithme de codage par rang pour exploiter au mieux la caract re pro gressif de cette recherche En effet nous avons d fini jusqu maintenant le rang de fa on globale un ensemble de neurones mais on comprend que dans une image par exemple si le contraste change de fa on continue par la position de l clairage par exemple
238. ques fait intervenir des d lais temporels relatifs inf rieurs a la milliseconde Gerstner et al 1996 Ceux ci sont s rement interpr t s par un code plus riche qu une simple d tection de coincidence De plus si l on s accorde a dire que les m canismes de comp tition sont essentiels pour la richesse du codage neural on peut se demander si ces m canismes en dehors 1 2 Vers une vision dynamique 19 du m canisme o les gagnants d une telle lection prennent tout ne font pas plut t intervenir des r sultats modul s suivant le r sultat Comment ces r ponses sont alors cod es puis interpr t es par un code impulsionnel Quel est alors le lien avec le fonctionnement asynchrone des assembl es de neu rones Ces questions sont primordiales car elles touchent la vraie nature du code neural et du code visuel en particulier comme nous l avons d fini plus haut Si classiquement on imagine un neurone comme un op rateur logique ou un calculateur primitif on peut en tendant l id e originale de McCullough et Pitts 1943 dans le contexte des calculateurs relais l imaginer comme un systeme complexe modulant et aiguillant dans le temps les signaux im pulsionnels travers les chemins qui constituent les r seaux du SNC Dans ce cas le neurone devient un noeud adaptatif dans une assembl e temporaire que l on ne peut dissocier de l ensemble sans lui faire perdre son sens Nous proposons ainsi
239. r soulever une probl matique sur le code de la Vision 1 2 Vers une vision dynamique 17 1 2 1 Quel est le r le du temps dans le calcul neural Tout d abord en tudiant les principes qui nous permettent d envisager les m canismes neurophysiologiques comme l implantation biologique d un calcul neuronal nous allons tudier la place que prend la variable temps dans le code visuel Existe t il un langage dans l activit neurale Il est d autant plus surprenant pour le novice que pour un neuroscienti fique d observer des enregistrements de l activit c r brale ou encore de pou voir entendre le son produit dans un haut parleur en amplifiant cette activit On observe avant tout sur l Electro Enc phaloGramme EEG par exemple que plong e dans un bruit de mitraille cette activit suit des rythmes et fluctuations complexes Toutefois malgr une grande disparit individuelle l activit globale moyenne des neurones reste relativement homog ne autour de 1 10 Hz On peut alors suivre autour de cette moyenne des vagues mais qu on ne peut pas relier explicitement l activit r elle d une fonction comme pour l Electro CardioGramme ECG par exemple En fait ce qui semble tre l artefact d un langage neural est interpr t comme les variations d activit des neurones mais aussi comme les oscillations des champs lectriques locaux que ces activations provoquent Ce
240. r vers une th orie unifi e reliant l aspect temporel et impulsionnel du code dans une objectif d une implantation d une vision dynamique Le but de la th se est donc bien d fini En nous fondant sur l aspect temporel des processus neuronaux et sur la neurophysiologie du syst me vi suel nous allons tudier des mod les de codage impulsionnel Ceux ci vont nous permettre de d finir des algorithmes de codage dynamique compatibles avec la rapidit du traitement visuel De plus nous allons aussi explorer 26 Chapitre 1 Comment casser le code de la vision des repr sentations efficaces de information visuelle et int grer des r gles d adaptation en utilisant des principes cologiques bas s sur la statistique des images naturelles Nous explorerons alors l implantation d un mod le de repr sentation sur compl te qui va ouvrir la voie l implantation d un codage impulsionnel pars et de syst mes visuels adaptatifs complets pour proposer ainsi un mod le dynamique et cologique du code visuel 1 3 Organisation de la th se Une fois le sujet d fini il est alors n cessaire de pr ciser les moyens utilis s en pratique durant la th se mais aussi le style adopt et un plan d taill du manuscrit 1 3 1 M thodologie scientifique Cat gorisation Ultra Rapide Les id es que nous allons exposer dans ce travail ont largement t ins pir es par les travaux deThorpe et Imbert 1989 et Thorpe et al
241. r la taille d finie dans l article Concr tement on observe l chelle 1 que le filtre gaussien de variance 1 est mal approch par la formule Eq 3 2 2 et donc que le filtre de contraste est inad quat de composante constante non nulle par exemple On utilisera donc des approxi mations de ces formules sur des supports compacts pour que la reconstruction soit la plus correcte Aussi pour les filtres de plus grande chelle les calculs deviennent tr s on reux Une solution naturelle est alors de construire une Pyramide Laplacienne Burt et Adelson 1983 Cet algorithme est une transform e multi chelle lin aire d finie sur une grille dyadique qui permet de calculer les coefficients d une transform e de type ondelettes diff rentes chelles par r currence d une chelle l autre partir de filtres l mentaires 3 x 3 ou 5 x 5 Aussi par son architecture le sous chantillonnage puis le sur chantillonnage sont ajust s pour que la reconstruction depuis les coefficients soit parfaite on obtient 112 Chapitre 3 Mod les de codage rapide 250 750 2500 5000 9000 21000 FIG 3 2 3 Reconstruction progressive de l image par les coefficients de la transform e Pour tudier la qualit du code impulsionnel l image est recons truite th oriquement au niveau du CGL en supposant connue la valeur des coef ficients pour diff rentes transform es R sultat sur un d tail de l image Lena pour Haut
242. raits pointill s puis du filtre DDG de Field 1994 pour un m me Les traits verticaux marquent l chelle o 1 et donne donc une unit de r f rence en abscisse jusqu l chelle maximale Smax Cs 01 2571 Le calcul n est effectu pour chaque taille s que sur la grille sous chantillonn e D d un facteur 2571 c est dire sur les points de la forme x y 257t i 2571 j avec i j entiers naturels Ce processus conduit a la cr ation d une grille globale multicouche D Useses Ds des points de calcul en fonction de la taille Le nombre total de neurones sera sup rieur au nombre de pixels d un facteur multiplicatif de X 1 1 2 1 2 Cr 57 1 2 670 SOA soit environ 4 3 Par souci de r alisme on peut choisir de s parer deux populations ON et OFF de filtres et tudier la d composition en coefficients rectifi s Ceci donne en comptant les polarit s un nombre total de 8 3 le nombre de points dans l image mais n apporte aucune information suppl mentaire au calcul r alis dans cette architecture par la r tine tOn notera que cette sym trie ON OFF est tributaire de la sym trie de la loi de probabilit des contrastes Celle ci n est r alis e que grace aux principes qui transforment la luminance et par la sym trie de la loi de probabilit de la luminosit qui r sulte de cette transformation 108 Chapitre 3 Mod les de codage rapide Reconstruction id
243. re est particuli rement sensible aux erreurs de flou visuel chaque m thode sugg rent que la pyramide laplacienne permet de proposer la fois un mod le plus simple et plus rapide mais aussi de performance sup rieure 3 2 2 R sultats un code impulsionnel compact Transformation en un train de PAs En suivant le mod le de Van Rullen et Thorpe 2001 les activit s que nous avons calcul es vont correspondre un courant excitateur appliqu aux cellules ganglionnaires et ces cellules vont donc produire des impulsions d au tant plus rapidement qu elles sont activ es fortement Les sous couches ON et OFF vont donc fournir un signal impulsionnel qui va coder les images des coefficients de la transform e r tinienne Comme voqu dans Sec 3 1 3 nous allons nous concentrer sur la premi re impulsion mise par chaque neurone 3 2 Mod le dynamique de la r tine 115 et l image va donc tre transform e en un front d impulsions le long du nerf optique et nous allons alors tout d abord tudier la d composition de l infor mation grace aux PAs g n r s par les cellules ganglionnaires Si l on observe alors le signal suivant le d cours temporel et comme la trans formation de l activit en latence est monotone alors on observera les co efficients de l image flash e depuis le plus actif jusqu au moins actif On pourra alors plut t consid rer le signal comme une liste de PAs et au lieu de
244. rect par l interm diaire des canaux ioniques chimique par l interm diaire d un messager chimique le neurotransmetteur ou encore mixte Les sy napses chimiques sont a elles seules des systemes dynamiques non lin aires complexes Elles sont sp cifiques a leur neurotransmetteur et existent sous forme excitatrice 85 en nombre et inhibitrice et s adaptent aux flux d ac tivit s entre les neurones selon des r gles encore m connues G n ralement on consid re qu elles r agissent suivant un conditionnement c est la r gle la diff rence avec un cable lectrique o le signal est port par des lectrons libres 2 1 La vision comme un systeme dynamique 37 de Hebb 1949 Quand l axone d une cellule est assez proche pour exciter une cellule B et qu elle cause de fa on r p t e et persistante son ac tivation des m canismes de croissance ou m taboliques prennent place dans une ou les deux cellules de telle fa on que l efficacit de A comme une cellule activant B est augment e Cette r gle peut aussi s appliquer de fa on contre associative c est alors une r gle anti hebbienne L impulsion neuronale un protocole universel de communication tudions plus pr cis ment l lectrophysiologie de la cr ation et de la transmission de l information neuronale En fait information est int gr e au soma jusqu ce qu un processus non lin aire explosif soit d clenc
245. rentes et de mani re g n rale les basses fr quences vont 120 Chapitre 3 Mod les de codage rapide 0 8 0 6 EQM 0 4 0 2 rT 0 01 0 1 1 10 100 0 20 40 60 80 100 Rang Rang FIG 3 2 6 Mesure de la convergence de la reconstruction progressive de l image par les coefficients de la transform e On a compar pour les diff rentes quanti fication des coefficients la mesure de A l Erreur Quadratique moyenne EQM ou MSE et B de l information mutuelle relativement la reconstruction pro gressive th orique trait pointill Fig 3 2 4 Les diff rentes strat gies sont rela tivement quivalentes m me si LUT donne une meilleure reconstruction finale plus souvent correspondre de hautes valeurs et seront propag es en premier D corr lation spatiale Comme nous avons tudi les r gularit s de la luminance pour d finir la luminosit on peut s int resser a la d pendance de la luminosit de deux points x et y en fonction de leur position Ces tudes sont la base de l tude des statistiques des images naturelles et cherchent trouver des inva riances dans les images pour en d duire des strat gies optimales de codage Une premi re mesure statistique mesur e est alors l auto corr lation spa tiale bidimensionnelle des luminosit s pr alablement centr es autour de la moyenne R Z Y L z L y L L Y 3 2 16 qui est la moyenne sur de nombreuses i
246. rgence of cortical filters similar to biology and to the results of Abstract xix other computational models like those of Olshausen et Field 1998 Moreo ver this paradigm adapts particularly to the construction of a saliency map modeling in a dynamic way the areas of attention in the image Perrinet et al 2002 Within the framework of neuromorphic engineering these tech niques allow emergence of new tools for image processing for which we show some applications to edge detection dynamic image compression and object recognition applied in particular to robotics Keywords Vision ultra rapid visual processing parallel and asynchronous compu ting neuronal spike coding spike time dependent plasticity STDP wave let transform natural images statistics over complete representation mat ching pursuit neuromorphic engineering dynamic image compression sa liency map object recognition active vision and robotics Introduction La Vision est une porte pour d couvrir la cognition et le vivant C est a ce titre mais aussi pour comprendre l importance de notre compr hension des processus de pens e que nous l tudierons et que nous essaierons de bouleverser quelques paradigmes tablis sur les processus visuels En effet l image de nombreux ph nom nes li s au vivant on ne peut r duire la Vision des lois physiques et on doit faire appel des m thodologies d crivant son fonctionnement depuis les s
247. rise des configurations saillantes comme des orientations orthogonales Ces points peuvent dans le syst me visuel se propager via les couches corticales V et VI respectivement commander la position par les saccades oculaires et amplifier la carte thalamique On n obtient donc pas une carte attentive statique comme pour la m thode d Itti mais une carte dynamique qui va progressivement soustraire de l image les caract ristiques locales il va donc produire une suite de points de saillance qui va entra ner une coop ration locale comme pour l heuristique locale Tou tefois l inhibition par contre dans ce cas sera exacte et on pourra observer la zone de l image correspondante qui est propag e dans ce ph nom ne attentif Nous avons r alis cette algorithme sur une image choisie pour pr senter des objets ici des bateaux voir Fig 4 3 2 sur plusieurs plans On dans un premier temps tenu seulement compte des contours orient s car nous nous limitons toujours des images en niveaux de gris On voit sur la carte de saillance quivalente qui mesure l nergie cumul e sur toutes les couches que l nergie est effectivement concentr e sur ces objets et qu au cours de la propagation ces zones sont progressivement att nu es par les interactions lat rales L image correspondante est progressivement reconstruite en pas sant d un bateau en premier plan aux bateaux plus lointains et puis au fond de l image 4 3
248. rm es sur des bases de filtres orthogonaux ou presque vont permettre d implanter un code dense de l image La propa gation progressive des coefficients g n ralise alors les notions de r duction de dimension de compression et de quantification des processus dynamiques qui sont caract ristiques de la r tine L utilisation d un codage dense dans ce mod le du code r tinien pr sente des limites D un c t les filtres r tiniens biologiques ne forment pas une base orthogonale Salinas et Sejnowski 2001 Aussi d apr s la th orie des ondelettes et m me avec cette base non orthogonale le code obtenu sera au mieux compact alors que des mesures neurophysiologiques sugg rent que la d croissance des coefficients est plus rapide Nous tudierons de tels mod les au Chap 4 en implantant des architectures similaires mais avec des inter actions lat rales Toutefois ce mod le va nous permettre de d finir un code impulsionnel complet et d tudier son comportement dynamique 3 2 3 Optimisation statistique du mod le dynamique r tinien par les statistiques des images naturelles En pratique on observe que la propagation de l information visuelle dans cette architecture laisse appara tre des r gularit s qui sugg rent l importance d une optimisation statistique des param tres du mod le En effet l implan tation de ce mod le de code r tinien montre des comportements semblables pour des images diff
249. rs le comportement de l efficacit synaptique sera similaire voir Fig 3 1 10 Toutefois la forme de la fen tre d apprentissage sera diff rente et li e la forme de et aux statistiques des PAs On remarque aussi que les neurones non associ s c est dire ceux qui ne sont pas gagnants et pour lesquels V V Finn Vi lt 0 apprendront de mani re anti hebbienne Les r sultats de cette r gle montrent alors comme pour le neurone seul que la norme des poids converge vers une valeur d pendant seulement de l activit Cette r gle suivant un prin cipe hom ostatique implique que la fr quence de d charge est relativement constante et que l activit reste irr guli re Aussi les simulations montrent que la distribution des poids des diff rents neurones devient bi modale comme il a t observ dans certains neurones du SNC Song et al 2000 Une synapse pourra donc tre consid r e soit activ e ou soit d sactiv e et on observe que cette force est modul e par la distribution des signaux MZ le poids d une synapse activ e chez tous les signaux convergera vers une valeur moins forte que pour une synapse parti 96 Chapitre 3 Mod les de codage rapide rel change in EPSC amplitude
250. rt et B Sakmann Active propagation of somatic action potentials into neocortical pyramidal cell dendrites Nature 367 6458 69 72 1994 Ivan Sutherland et Jon Lexau Designing fast asynchronous circuits In Proceedings of the Seventh International Symposium on Advanced Research in Asynchronous Circuits and Systems Salt Lake City Utah USA March 2001 pages 184 93 Copyright 2001 by IEEE 2001 R S Sutton et A G Barto Time derivative models of pavlovian reinforce ment In M Gabriel et J W Moore editors Learning and Computational Neuroscience The MIT Press Cambridge MA 1991 K Tanaka Inferotemporal cortex and object vision Annu Rev Neurosci 19 109 39 1996 Simon J Thorpe Spike arrival times a highly efficient coding scheme for neural networks Parallel processing in Neural Systems and Computers pages 91 4 1990 222 BIBLIOGRAPHIE Simon J Thorpe A Delorme et R VanRullen Spike based strategies for rapid processing Neural Networks 6 7 14 715 26 2001a Simon J Thorpe Denis Fize et Catherine Marlot Speed of processing in the human visual system Nature 381 520 2 1996 Simon J Thorpe et Jacques Gautrais Rank order coding In Computational Neuroscience Trends in Research 1998 J Bower Editor Plenum Press New York pages 113 8 1998 Simon J Thorpe K R Gegenfurtner Michele Fabre Thorpe et H H Bul thoff Detection of animals in natural images using far peripheral visi
251. rtementale pour agir planifier ou surveiller une action qui s int gre dans les processus vitaux Or la diversit et l int gration des modalit s perceptives sugg rent alors que les diff rents processus cognitifs partagent un langage commun et donc que le SNC est un syst me modu laire dont les sous parties partagent des m canismes similaires La vision doit donc cr er entre la sensation et la r action une repr sentation n cessaire l intermodularit Cette repr sentation doit pouvoir tre communiqu e avec les syst mes moteurs agir limbiques interactions hormonales ou internes associer et apprendre tout en int grant les contraintes ext rieures ou phy siologiques comme la consommation nerg tique du cerveau Le but de la vision peut donc tre d fini comme l ensemble des processus qui de l image du monde conduit une repr sentation qui puisse tre ensuite utilis e par les diff rents modules d action Mais alors de nombreuses contraintes modifieront le but de la vision A On d finit ainsi de fa on g n rale une image comme un ensemble d informations lu mineuses organis e spatialement sur une surface Ses fronti res d pendent de sa d finition exacte mais est toutefois clairement d finie jusqu aux aires visuelles secondaires 2 1 La vision comme un systeme dynamique 33 titre dillustration concentrerons nous ici sur le cas d un humain la re cherche d un visage c
252. s Des applications comme l application de conversion de texte parole NeTalk pr sentent alors des analogies dans leur performances avec les syst mes biologiques jusque dans leurs imperfections certaines r alisations de NeTalk souffrant m me de dyslexie Le mod le de m moire associative r alis par Hopfield 1982 est de ce point de vue exemplaire Dans ce syst me un simple r seau de neurones binaires asynchrones avec des poids sym triques exhibe un comportement de m moire adressable par le contenu En effet une fois apprises les connexions entre les neurones les activit s pouvaient se r arranger apr s la pr sentation d un sti mulus tronqu ou bruit pour converger vers le stimulus complet m moris Cette application et particuli rement les mod les biologiquement r alistes qui en d coulent pr sentent alors un mod le adaptatif de repr sentation dis tribu e compatible avec la biologie et qui en r plique certaines conditions comme la parcimonie du nombre simultan de cellules activ es et son lien avec le nombre potentiel de motifs m morisables Meunier et Nadal 1995 Brunel et Sergi 1999 Ce travail inspira donc que des comportements com plexes pouvaient merger de r seaux simples et que cette tude gagnait de la confrontation avec des mod les de physique statistique introduisant par la meme une renaissance du mouvement connexionniste dans les ann es 1980 Malgr les efforts croissants d
253. s e des pr dateurs comme l homme Cette diversit ne doit cependant pas cacher des prin cipes similaires comme l unit des syst mes visuels des mammif res d s en grande partie au caract re continu et progressif de leur volution En sautant aux primates nous pouvons donc statuer que l volution va pri vil gier les modifications physiologiques qui am lioreront l efficacit de la vision par rapport aux buts l environnement ambiant et aux contraintes Nous pouvons alors affiner notre d finition l ensemble des processus permet tant de g n rer un code c est dire un ensemble de calculs transformant l in formation sensorielle qui puisse tre int gr aux autres processus cognitifs Ce code va ainsi permettre de transformer une repr sentation par vues en une 34 Chapitre 2 Neurophysiologie du syst me visuel description structurelle en informatique d une image bitmap une image vectorielle exploitable par les processus cognitifs sup rieurs En termes in formatiques la vision est un algorithme une suite de calculs am lior en fonction des buts du syst me vivant par les processus de Evolution et uti lisant le substrat organique du SNC Par extension nous pouvons en conclure qu un but de la vision est de cr er un mod le g n ratif qui permette de cr er ou reconna tre des repr sentations visuelles depuis le v cu de l animal Ce mod le g n ratif correspond une strat gie po
254. s est bas sur une architecture hi rarchique et en avant qui se distingue outre sa simplicit par la richesse des r sultats math matiques et de par ses performances computationnelles Enfin nous avons r pondu aux besoins d un mod le efficace de la Vision en fondant une th orie de repr sentation impulsionnelle sur compl te de l image Cette formalisation conduit alors une strat gie de code impulsionnel pars en d finissant des interactions lat rales Cette strat gie est tendue un mod le g n ral de colonne corticale adaptative permettant l mergence de dictionnaires de repr sentation et s adapte particuli rement la construction d une carte de saillance Ces techniques font merger de nouveaux outils pour le traitement de l image et de vision active adapt s des architectures de calcul distribu Mots cl s Vision codage neuronal impulsionnel plasticit hebbienne modulation temporelle relative STDP transform e par ondelettes statistique des images naturelles repr sentation sur compl te poursuite de concordance mergence vision active Abstract How to decipher vision s spiking code Study of the parallel asynchronous and sparse flow in the ultra rapid visual processing We build and study dynamical models of visual coding as a parallel and asynchronous flow of information coded thanks to their succession in time We will at first base the me chanisms of this code on the bio
255. s l estimation th orique de la densit de probabilit en zone pleine avec en traits gras la densit mesur e pour des vecteurs de rang al atoires On a fait varier le seuil i e la somme des poids pour montrer que cette m thode permet de r gler explicitement plusieurs strat gies de codage rapide avec un seuil bas ou plus lent et tal avec un seuil haut d sir e Par exemple si l on veut que le neurone tire en moyenne apr s un certain rang on pourra en d duire le seuil ad quat en r glant la somme des poids Ce r sultat a t simul voir Fig 3 3 4 et montre que notre hypoth se est suffisante pour pr voir la densit de tir d un neurone avec pr cision On pourra donc aussi calculer les param tres pour optimiser la r ponse du neu rone comme l entropie de la densit de probabilit de tir pour promouvoir lors d une propagation sur plusieurs couches neurales la meilleure transmission de l information En particulier on vite ainsi au maximum les impulsions de rangs gaux dont le traitement peut poser des probl mes et qui sont tr s sensibles au bruit 3 3 Codage par Rang 141 Apprentissage Les principes d apprentissage par plasticit 4 modulation temporelle re lative voir Sec 3 1 2 peuvent tre de m me prolong s sp cifiquement au co dage par rang Comme voqu la fen tre temporelle doit tre modifi e pour que l adaptation des poids soit fonctionnelle Par analogie la r
256. s cellules de ce type qui partagent les m mes entr es tout en utilisant le mod le SRM Dans un premier temps l entr e est constitu e de motifs synchrones d finis par les sous ensembles de synapses qui seront activ es au m me moment Le but de l assembl e est alors que les neurones s adaptent de fa on autonome l entr e synaptique pour finalement r pondre un motif et un seul on aura d tect la coh rence du signal impulsionnel Notre but est de trouver pour cette assembl e une r gle non supervis e d apprentissage qui converge vers ce comportement quelle que soit l ensemble des motifs Formellement donnons nous une assembl e de Nc neurones 7 partageant Nen entr es j et que l information qui arrive sur cette assembl e est constitu e de Nsig signaux synchrones diff rents index s par k et caract ris s par le sous ensemble M4 des synapses qui sont activ es de fa on presque syn chrone le bruit de synchronie est fix environ Tsync 2ms Ces neurones ne sont pas reli s par des connexions lat rales et leur volution sont donc d coupl es On peut pour une matrice des poids synaptiques donn e si muler la dynamique de ces neurones quand l on pr sente ces motifs noy s dans un bruit de fond mod lis par un processus de Poisson et fixer les param tres pour qu ils mettent des impulsions Dans notre simulation les neurones r pondent donc aux signaux synchrones qui sont choisis au hasar
257. s et sont interd pendantes Salinas et Sejnowski 2001 L image que nous percevons est alors enti rement cod e en un train d impulsions en environ 20 40 ms voir Fig 2 2 2 A Alors que la vague d activit rejoint maintenant le nerf optique le d codage de cette transformation dans le reste du syst me visuel semble alors tenir du miracle 2 2 Anatomie du syst me visuel 51 2 2 2 Propagation de l image vers les aires visuelles Nous allons maintenant nous concentrer sur la propagation du flux de PAs que nous avons initi et suivre cette vague d activit jusqu aux aires sup rieures voir Fig 2 2 2 Du Corps Genouill Lat ral CGL l aire visuelle primaire V1 Les fibres du nerf optique se s parent au chiasma la d cussation voir Fig 2 2 2 B de telle sorte que chaque h michamp de l image depuis l axe vertical gauche ou droit soit transmis un h misph re c r bral ipsilat ral i e chaque champ gauche rejoint l h misph re gauche Le signal mainte nant st r oscopique converge alors au Corps Genouil Lat ral CGL voir Fig 2 2 2 C une formation thalamique compos de 6 couches au bout d environ 30 50 ms En regroupant les axones des diff rents types de CGs la structure laminaire s pare distinctement les voies Magno de la voie Parvo et donc les r ponses sont multiplex es Toutefois le CGL ne semble pas chez le primate op rer de transformation mais son importan
258. s la latence de tir des neurones Celebrini et al 1993 et pour tudier la possibilit de d tecter des orientations dans une image nous allons construire un mod le simple de ce syst me Ce mod le va reprendre le mod le de r tine comme pr c demment mais dans un but de simplification avec une seule chelle et nous allons simuler de la m me mani re un neurone de l aire V1 caract ris par son champ r cepteur sa taille et son vecteur de poids Dans un premier temps nous d finirons l entr e comme des images de contours diff rentes orientations centr s sur le champ r cepteur du neurone En d finissant un mod le de contour on peut alors calculer le vecteur de poids comme la r ponse modul e d une orientation que nous appellerons par r f rence 0 L activit du neurone de V1 sera alors mise jour chaque impulsion arrivant sur la couche suivant une fonction de modulation a d croissance g om trique que nous changerons pour en tudier Vinfluence Nous noterons alors si le neurone d passe un seuil auquel cas il mettra une impulsion Pour int grer la plausibilit biologique avec l efficacit du codage par rang nous avons repr sent les impulsions suivant leurs latences pour plusieurs valeurs de contraste alors qu elles sont d cod s suivant un codage par rang Alors si l on choisit des param tres vraisemblables pour le d lai de traitement et de d lai jusqu V1 la r ponse des neurones de
259. s les vecteurs formant le dictionnaire des couleurs Cet algorithme est ap pliqu notamment quand les donn es a repr senter se pr sentent sous forme de grappes ou clusters les vecteurs de la base ou centroides formant le centre ou noyau de chaque grappe Aussi cet algorithme est associ une r gle d apprentissage non supervis similaire une strat gie de poursuite En effet l algorithme G n ralis de Lloyd en partant d une base al atoire de vecteurs consiste r cursivement 1 choisir les donn es se rapprochant des centro des 2 rapprocher les centro des vers le centre de chaque grappe d finie L algorithme est arr t lorsque la distorsion entre les donn es et sa repr sentation par les centro des est assez faible On peut alors transposer cet algorithme notre code impulsionnel Nous allons d abord choisir au hasard la base de d part i e les filtres Nous d composerons alors gr ce au code impulsionnel des images tir es al atoire ment dans une base de donn e d images au moyen de ces filtres Ceux ci seront alors actualis s par une r gle hebbienne vers la zone de l image limit e leur champ r cepteur R qui les a excit et ce d autant plus rapidement que l activit est importante vitesse r gl e gr ce au pas d apprentissage 7 Formellement au pas t No Cit E ie 4 2 2 La poursuite est interrompue quand le r sidu est assez faible et l apprentis sage est al
260. s ondelettes Adapt Reconstruction par le code impulsionnel Le caract re adaptatif du code par poursuite gourmande mais aussi sa structure qui va progressivement liminer les d pendances entre les filtres induit une meilleure transmission de l information proche de Th o la reconstruction par les coef ficients 166 Chapitre 4 Vers un code dynamique pars mais en les liminant de la propagation Ainsi on ne propagera que les in teractions qui inhibent les effets du bruit sur l activit et sans propager lim pulsion associ e au bruit Ensuite on peut aussi modifier le crit re de choix dans l algorithme et donc l ordre du choix des filtres choisis Ainsi on pourra par exemple normaliser les filtres de telle fa on ce que certains filtres dans l espace temps chelle soient privil gi s par rapport d autres D apr s ce que nous avons vu le but sera par exemple de maximiser l entropie de la sortie et dans ce cas on pourra utiliser les m thodes introduites par Atick 1992 que nous avons expos es la Sec 3 2 3 Cette m thode r v le alors des r sultats similaires avec le gain introduit par le caract re adapt de la m thode Il se rapproche dans la pratique de techniques utilis es pour am liorer les performances de la poursuite de concordance en privil giant les hautes fr quences Jaggi et al 1995 Enfin une implantation plus r aliste de la r tine et en accord avec les besoins de r
261. s proviennent de prises de vues personnelles en ext rieur ou en laboratoire Alternativement on a utilis des bases de donn es publiques pour permettre une comparaison avec des r sultats existants En particulier les comparaisons avec d autres algorithmes sont effectu es si pos sible sur les m mes images Les mod les que nous allons pr senter seront appuy s par des simulations num riques Celles ci ont t crites en C LCC pour WINDows et GCC sous Unix et gr ce au logiciel commercial de calcul et visualisation MATLAB sous diff rentes plates formes Ces mod les profitent aussi des algorithmes crits pour SPIKENET De fa on g n rale les simulations sont pr sent es sur les figures et d taill es dans le texte Les scripts comment s correspondant ces mod les en particulier chaque figure qui correspond une simulation sont accessibles afin de garantir la reproductibilit des figures pr sentes dans la th se Les applications robotiques ont principalement t simul es dans un premier temps partir de d images enregistr es depuis des situations r elles et sont disponibles sur Internet Compl mentairement des simulations de percep tion active ont t men es au Laboratoire Informatique et Automatique de SUPAERO Toulouse et en collaboration avec D Martinez au LORIA Style d criture et conseils de lecture Ce manuscrit se veut largement interdisciplinaire Pour garantir la lisibi
262. sc ne visuelle par une vague asynchrone de potentiels d actions Une propagation en avant de l information visuelle Ces exp riences appuy es par ce qui a t vu dans Sec 2 2 2 prouvent que la d cision de cat gorisation ne peut se faire que dans l aire inf ro temporale 64 Chapitre 2 Neurophysiologie du syst me visuel IT la voie tectale limit e au fov a et insensible la couleur tant cart e L information doit donc suivre depuis la r tine le chemin que nous avons d crit plus haut voir Fig 2 2 2 par le CGL V1 V2 puis la voie temporale Quoi jusqu au cortex inf ro temporal ce qui explique pourquoi la voie par l aire MT a t cart e Comme nous l avons vu la propagation et le traitement de l information introduisent un d lai physique de propagation et l on en d duit donc que chaque couche consommera une latence d environ 10 ms par couche Thorpe et Imbert 1989 Ceci ne laisse donc peu de temps dans le passage d une couche l autre et limine de fait l influence des chemins en retour l infor mation du traitement ultra rapide se propage en avant d aire en aire L information est cod e par le premier PA de chaque neurone Aussi si on consid re que chacune des 10 couches a une m me importance dans le processus alors chaque neurone d une couche au maximum 15 ms pour int grer une r ponse pour la couche suivante Comme la fr quence de d charge
263. se regrouper pour former des hypercolonnes comme une assembl e de colonnes peuvent alors cr er des modularit s nouvelles et on peut imaginer selon le m me principe qu alors une hypercolonne pourrait diff rentier suivant des surfaces diff rentes et imbriqu es les diff rentes expressions du visage Il faut alors noter l importance des interactions cortico corticales distales En effet les eff rences de la couche IT peuvent s organiser en fibres les fibres as sociatives qui se dirigent vers d autres aires corticales de fa on tr s pr cise notamment pour rentrer en contact avec des r gions de l h misph re contra 2 1 La vision comme un systeme dynamique 43 lat ral En particulier on rencontre souvent des r gions corticales connect es r ciproquement se projetant sur de m mes aires tierces Pour synth tiser si l on image le flux de l information depuis une entr e thalamique alors cette information va se propager en parallele sur la surface corticale pour activer certaines colonnes Ces colonnes en plus de renvoyer au thalamus un signal vont propager cette activit d autres aires corticales Comme on a vu que la r ponse sera traduite temporellement en g n ral d autant plus rapidement que l activit est forte et que l activit d une colonne d pendra aussi de son tat interne le flux de l information dans le cortex va donc ob ir un pro cessus parall le et distribu qui va tre i
264. ssus cognitifs que nous tudions sont donc largement intermodaux et n ont pas de localisation cen trale L image per ue par la vision n est donc pas reconstruite sur un cran int rieur et paradoxalement si elle n est nulle part o est elle Dans 6 Chapitre 1 Comment casser le code de la vision A Fic 1 1 1 Fronti res de la vision Les illusions optiques sont un bon exemple d une confrontation entre l image et la perception Ces distorsions en exploi tant des configurations loign es des images naturelles peuvent prendre plusieurs formes A Les illusions physiologiques sont inh rentes la nature du syst me visuel et particuli rement aux premi res tapes du traitement si l on fixe un des points blancs des points noirs semblent appara tre et clignoter l emplacement des points blancs distaux Cette perception change au gr des saccades oculaires en attirant le regard mais sont impossible rattrapper B Les illusions cog nitives participent des processus plus complexes Cette c l bre image de R C James pr sente une sc ne avec un tr s fort contraste On a du mal percevoir des objets si l on est novice alors que si l on a d j vu cette image m me quelques ann es auparavant on reconna t parfaitement un chien dalmatien de trois quart arri re sur un fond ombrag de feuilles 1 1 La vision un objet d tude scientifque 7 ce sens on pe
265. suelles de l image translation agrandissement rotation les neurones d une transform e en ondelettes sur une grille dyadique peuvent avoir des comportements diff rents voir Fig 4 1 1 Une cons quence suppl mentaire est que les processus de reconnaissance et d apprentissages bas s sur ce codage seront d autant plus complexes implanter s ils utilisent une telle repr sentation Aussi si pour r soudre ce probl me on augmente le nombre de filtres en ins rant des tailles interm diaires entre les cartes dyadiques alors le code r sultant devient redondant En effet cette strat gie correspondra simple ment une discr tisation plus fine de la transform e en ondelettes continue et en augmentant le nombre de filtres on ne change pas la d croissance des coefficients de la transform e continue De cette sorte les coefficients de la transformation discr te et indirectement la convergence de la reconstruc tion sera d autant plus redondante et lente i e il faudra alors un nombre proportionnellement aussi grand de PAs pour obtenir une reconstruction quivalente ce qui ne semble pas tre ni une strat gie satisfaisante ni le comportement observ e dans les aires visuelles primaires Vinje et Gallant 2000 4 1 Pour un mod le d interactions lat rales 151 A B 10 20 30 40 50 60 10 20 30 40 50 60 Espace Espace FIG 4 1 1 Instabilit de la repr sentation par onde
266. suels dynamiques et applications 185 Le code visuel impulsionnel pars d fini pour l aire visuelle primaire peut tre tendu des syst mes visuels complets Nous allons ici essayer de d finir un mod le g n ral de traitement cortical pour pouvoir l tendre un mod le multicouches et l appliquer des exp riences r elles 4 3 1 Heuristiques attentives et g n ration de cartes d attention Tout d abord nous avons voqu pr c demment la possibilit de modifier le crit re de choix afin de modifier la propagation des impulsions et donc la repr sentation de l image Nous allons voir maintenant les cons quences du choix d heuristiques simples sur ce crit re et son lien avec la g n ration de cartes attentives Heuristiques de propagation En effet en plus des m thodes que nous avons introduites pour choisir un moment donn le filtre le plus adapt on peut introduire des heuris tiques sous forme de r gles utilisant les filtres d j choisis On peut ce titre comparer ces r gles aux saccades des yeux et qui vont tre induites par les points saillants de l image De fa on pratique on peut dans un premier temps d finir une distance z j c qui refl te la dissemblance entre des filtres i et j de la carte C et introduire cette distance au crit re de choix i ArgMax p C Ali ll 4 3 1 o peut tre consid r comme un terme r gularisant qui va contr ler l in
267. t dire des tests statistiques dont le r sultat ne se base pas sur une valuation de la densit de probabilit des variables On comprend que ces m thodes sont particuli rement adapt es au signal neuronal puisque la den sit de probabilit d arriv e des impulsions d pend de chaque stimulus et de 3 3 Codage par Rang 137 son traitement a des niveaux ant rieurs et le r sultat y sera ici ind pendant L ad quation de ces tests la tache sera alors contr l e par les fonctions de poids et de modulation En effet la fonction de modulation va jouer un role majeur car elle va d terminer l importance relative des ordres d arriv e une modulation d crois sant tr s rapidement privil giant alors une information concentr e sur un nombre restreint d impulsions le code sera alors dit pars en anglais sparse Aussi comme il a t voqu dans Perrinet 1999 et appliqu dans Van Rul len et Thorpe 2001 on peut choisir la modulation de telle sorte qu elle corresponde en moyenne la valeur analogique cod e par le rang c est la m thode utilis e la Sec 3 2 2 qui nous a permis de coder par leur rang les valeurs absolues des coefficients des ondelettes Enfin le d codage de cette mesure se fera alors par la g n ration d un impulsion lorsque le potentiel d passera un certain seuil La r ponse est donc dynamique puisqu elle code de fa on temporelle la corr lation mais aussi car cette information
268. t d un stimulus ou d une fonction cognitive C est l aveu d une grande d pendance des processus cognitifs de l asynchronie des sti muli au niveau global du SNC et plus long terme Il parait alors vident 2 2 Anatomie du syst me visuel 59 ce niveau que si l on inverse l ordre des stimuli dans une op ration de condi tionnement comme celui du conditionnement du processus de salivation d un chien au son d une cloche les r sultats seront compl tement diff rents Cet aspect asym trique est exploit en particulier dans la th orie du renforce ment Sutton et Barto 1991 Aussi les tudes de Rodriguez et al 1999 et Varela et al 2001 ont montr chez l homme que l on pouvait gr ce a PEEG d tecter chez l homme des oscillations y dans diff rentes aires visuelles et que celles ci pouvaient tre bloqu es en phase c est dire que pendant une oscillation le d cours tem porel entre les aires visuelles tait constant Cette observation peut tre in terpr t e et simul e de fa on tr s simple par un r seau v nementiel c est dire asynchrone dont la r action va d pendre de l histoire de l activit de ses aff rents La repr sentation visuelle globale n est alors que la trace de l ensemble des activations et peut donc prendre des voies diff rentes au cours du temps au gr du bruit et de l adaptation neuronale Dans notre cadre nous retiendrons qu une repr sentat
269. t I am studying If I succeed in making one I understand otherwise I do not Lord Kelvin Nous loignant de la pr sentation de la Vision comme une m thodologie de traitement statique de l image nous avons d crit les processus visuels comme un flux dynamique cod temporellement et de fa on asynchrone qui permet d interagir avec le monde Nous avons d crit plus particuli rement le traite ment ultra rapide comme un aspect de la Vision pour lequel l information visuelle est cod e par des vagues successives d impulsions se propageant dans l architecture du syst me visuel et o l information importante saillante est progressivement mise en avant En particulier nous avons vu que cette description permet de d finir un code fonctionnel de transmission et de trai tement de l information visuelle par l ordre d activation de ces impulsions Aussi nous avons alors mis en avant l importance des statistiques des sti muli naturels et des lois cologiques qui permettent de pr voir l adaptation des substrats biologiques du calcul neuronal Au cours de ce travail nous nous sommes efforc s d int grer ce travail dans le cadre des tudes men es Toulouse en collaboration par Manuel Samuelides au CERT ONERA et par l quipe de Simon Thorpe au CERCO En parti culier les contributions personnelles ces travaux consistent en des tudes sur plusieurs niveaux de description au niveau sub neuronal l tu
270. t de cat gorisation ultra rapide C est ce qui a t r alis par l quipe du Cerco Van Rullen et al 1998 pour la d tection de visages Dans ce r seau de neurones l architecture est compos e de cartes neuronales successives correspondant la r tine avec des filtres ON et OFF d tectant le contraste l aire V1 d tectant les orien tations l aire V4 d tectant des formes simples comme les parties du visage il bouche et l aire PIT comportant des neurones sensibles des visages voir Fig 3 3 7 Les calculs seront donc totalement asynchrones et se propageront depuis la 3 3 Codage par Rang 147 r tine jusqu la derni re carte en m morisant pour chaque carte les activit s des neurones et en propageant les PAs mis depuis une carte interm diaire ou depuis la r tine En pratique le nombre prohibitif de neurones et de sy napses dans cette simulation par rapport a la taille actuelle des m moires vives des calculateurs oblige avoir recours des implantations virtuelles c est dire que les param tres d un neurone vont tre donn s par des m ta param tres comme par exemple pour les neurones de V1 leur localisation taille et orientation Les neurones de V4 et IT sont appris de mani re super vis e en d couplant les diff rentes parties de I image que l on d sire apprendre la main Cette architecture illustre parfaitement la performance du codage par rang dans le cadre de l
271. t de d pression on pourra relier cette modification aux probabilit s valu es pr c demment et crire la variation de l efficacit synaptique brute Jo entre 0 et une valeur maximale Jmax COT respondant biologiquement la densit maximale de m diateurs synaptiques v sicule et canaux Notons alors go r max et donc gr 0 1 est lef ficacit brute relative son maximum Alors comme d crit dans Perrinet et Samuelides 2000 on peut associer un changement synaptique chaque arriv e de PA sur la synapse Son efficacit varie relativement sa valeur vers 1 renforcement quand un PA r trograde arrive sur la synapse et vers 0 affaiblissement quand un PA arrive d un neurone metteur dG os Tey 1 Jr Apre 1 a t Gr Apost 1 XC 6 t E 3 1 17 En particulier si on r plique le protocole d excitation pr et post synaptique de l exp rience de Markram et al 1997 alors dans le cas d un tir pr synaptique t 0 suivi d un tir post synaptique tpost il vient Apre 1 K exp gt avec K apre ASt 1 et donc pre t Os A 1 g K exp 1 2 Tpre De la m me fa on pour un tir post synaptique t 0 suivi d un tir pr synaptique tre il vient pour K Qpost Aa 1 t re AG g K exp 1 Tpost Nous avons donc fait ici une approximation de la fen tre d apprentissage par des exponentielles d croissantes On p
272. t de l information Il permet de prendre en compte la connaissance a priori par une coop ration locales des neurones ayant des sensibilit s voisines et en mettant en avant 174 Chapitre 4 Vers un code dynamique pars Fic 4 2 4 Introduction de connaissance a priori Haut Une image de synth se est construite en dessinant un disque avec une texture al atoire sur un fond de m me nature Gauche Une poursuite gourmande d tecte et propage les filtres selon un ordre quasi al atoire mais en propageant les discontinuit s en premier Droite En introduisant une connaissance a priori on favorise les bord colin aires la reconstruction est donc modifi e pour mettre en avant le cercle Toutefois la convergence de la propagation est pr serv e dans le temps les structures coh rentes de l image En plus d am liorer la propagation du flux d information cette technique peut tre utilis e pour optimiser la compression du signal transmettre Buccigrossi et Simoncelli 1997 4 2 2 Mod les d adaptation De mani re similaire au mod le utilisant une transform e par ondelettes ce mod le permet de convertir un signal lumineux en une vague d impulsions Celles ci vont coder progressivement et dans le temps des valeurs analogiques et il est donc primordial de contr ler la comp tition temporelle entre les neurones pour maximiser la transmission de l information Adaptation neuronale Les algorithmes
273. t de modulation en fonction du rang Chaque vague produit une inhibition quivalente car les signaux sont quivalents une permutation pr s Bas Comme les poids sont adapt s un tir dans l ordre correspondant au motif central t 50 ms le neurone est plus excit et produit ventuellement une impulsion on a alors d cod le signal asynchrone 134 Chapitre 3 Mod les de codage rapide 2 40 a 4 20 a i my t T rer i 0 40 60 80 4 20 j Faitte 8 40 interm diaire j interse ne K e Si ma Rae Activation Terps FIG 3 3 2 Principe du codage d une valeur par son rang A Si l on consid re un neurone int grateur excit par des valeurs analogiques constantes il tirera d autant plus vite que cette valeur est forte B Un vecteur de valeurs ana logiques peut tre cod en mettant de fa on parall le des impulsions uniques d autant plus rapidement que cette valeur est forte On pourra ainsi extraire une information sur ce vecteur en observant le vecteur des rangs des impulsions soit simplement dans ce cas B gt A gt F gt C gt E gt D source Van Rullen 2001 Propri t s et principes du codage par rang Cet exemple de m canisme neuronal pr sente donc une possibilit of ferte pour d coder en plus de la synchronie l information temporelle asyn chrone cod e par l ordre d activation des PAs et qui pourrait implanter les m canismes du mod le de r tine voir Sec 3 2
274. t exploiter les r gularit s de ses coefficients sur les images naturelles pour les quantifier par le rang d arriv e des impulsions neu ronales Nous allons alors tendre cette d marche grace aux r sultats d Atick 1992 en utilisant une approche cologique pour le code visuel impulsion nel Celui ci se base sur une optimisation de l information transmise par les impulsions Perrinet et Samuelides 2002b grace aux statistiques des images naturelles Cette m thode am liore en th orie et en pratique la r gularit des coefficients sur l ensemble des images naturelles et donc l efficacit du code impulsionnel et d finit en outre une mesure de la distance entre des images plus proche de la disparit subjective Ce mod le de code visuel permet alors d envisager la construction d un mod le impulsionnel multicouche adapt pour la vision et bas simplement sur l ordre d activation des neurones Ce code par le rang des d charges est bas sur une architecture hi rarchique et en avant qui se distingue outre sa simplicit par la richesse des r sultats math matiques et de par ses performances computationnelles En particulier l utilisation d outils statis tiques tendus ces mod les dynamiques permet de d finir et d optimiser les param tres macroscopiques des mod les bas s sur ce code On pourra alors implanter des solutions compl tes de traitement visuel l image du logiciel SPIKENET Delorme et
275. t la r tine d autres fonctions semblent appara tre dans les aires visuelles primaires qui sont situ es dans le cortex occipital En particulier laire visuelle primaire voit une explosion du nombre de neurones par rapport au nombre de fibres arrivant de l il ce qui entra ne l explosion du nombre de repr sentations et transformations possibles de l information visuelle On dit alors que la repr sentation est sur compl te On pourra alors d crire ces tapes du traitement visuel par une architecture parall le et hi rarchique Enfin en s approchant des aires motrices et du cortex pr frontal ce flux doit pouvoir permettre de cat goriser l activit pour fournir une r ponse adapt e On peut se demander s il existe alors une strat gie optimale pour fournir une r ponse rapide et quel est le meilleur compromis entre vitesse et pr cision Le contexte joue alors un r le primordial et la r ussite de la r ponse condi tionnent alors l adaptation du syst me et la propagation du flux de l informa tion visuelle On peut alors finalement relier le fonctionnement neural induit par la stimulation lumineuse des buts comportementaux 1 2 3 Vers des mod les fonctionnels de la vision Ces mod les que l on implantera le plus souvent gr ce des simula tions ne doivent pas nous faire oublier les contraintes physiologiques li es une implantation physique de ces calculs Alors que le premier calculateur l ENIAC c
276. t te oes ee Seles 45 2 2 2 Propagation de l image vers les aires visuelles 51 2 2 3 Repr sentations temporelles de l information visuelle 54 2 3 Contraintes temporelles sur le code visuel 60 2 3 1 Cat gorisation Ultra Rapide 60 2 3 2 Cons quences une premi re repr sentation de la sc ne visuelle par une vague asynchrone de potentiels d actions 63 2 3 3 Vers un mod le dynamique de la vision 66 3 Mod les de codage rapide 71 3 1 Mod les de codage temporel 72 3 1 1 Mod lisation du m canisme impulsionnel 12 3 1 2 Codage impulsionnel et adaptation synaptique 86 3 1 3 Codage impulsionnel par la latence de la premi re im pulsion Yk Deane ee ASE de oe a EE 98 3 2 Mod le dynamique de la r tine 104 3 2 1 Codage multi chelle de l information r tinienne 104 3 2 2 R sultats un code impulsionnel compact 114 3 2 3 Optimisation statistique du mod le dynamique r tinien par les statistiques des images naturelles 119 3 3 Codage par Rang 25 DS ste tit Bee SR Ee AS 129 3 3 1 Inspiration biologique du codage par rang 129 3 3 2 Etude th orique du codage par rang 135 Die AMPPUCATIONS a s dis Lx 20 nn PR ee SAS 142 4 Vers un code dynamique pars 149 AT Pour un mod le d interactions lat rales 149 4 1 1 Densit du codage et repr sentation sur compl te 1
277. te mais qu elle s tend ici la temporalit des v nements Abbott et Nelson 2000 ont montr qu en fait cette r gle d apprentissage pouvait prendre des formes vari es dans des pr parations diff rentes et par ticuli rement dans la fen tre correspondant au changement de l efficacit en fonction du d lai Les cons quences computationnelles du choix de cette fen tre sont tr s fortes sur la r partition finale des poids synaptiques et aussi sur la forme du motif de d charge des neurones Song et al 2000 La forme de la fen tre peut donc correspondre des fonctions neuronales diff rentes la configuration des neurones tant une cons quence de ce param tre Par exemple Feldman 2000 montre qu une fen tre plus large que Fig 3 1 8 A assure au neurone une adaptation une privation d entr es synaptiques lors de la perte d un il par exemple Aussi Bi et Poo 1998 a par exemple montr que dans certains neurones si la potentiation est multiplicative la d pression est soustractive voir Fig 3 1 8 B une modification algorithmique qui modifie norm ment la stabilit 3 1 Mod les de codage temporel 89 Delayed Ss 159 post AP E 10 ms 8 120 Post 9 EPSP 15mv amp 110 cell 2 50mV 8 100 50 ms 5 amp 90 7 Preceding fi post AP 80 10 ms Post 70 EPSP cell 1 Time min FIG 3 1 7 Plasticit modulation temporelle relative exp rience
278. tent chaque pas de temps en une recherche de maximum et une addition cet al gorithme est donc particuli rement adapt un calculateur distribu En particulier il est adapt des architectures neuromorphiques bas es sur des sous syst mes l mentaires fonctionnant suivant un principe comp titif comme le Gagant Prend Tout Winner Take All Indiveri 2001 Extensions des mod les r alistes De plus nous allons pouvoir largir le champ des mod les r tiniens gr ce au caract re souple de cet algorithme Tout d abord on peut imaginer implanter en plus des filtres r tiniens que nous avons d crit des filtres r pondant particuli rement un bruit para site c est dire des l ments ind sirables et connus du signal comme par exemple des discontinuit s fortes li es des rayures pour des documents num ris s En effet il peut tre utile d liminer des signaux aberrants en int grant des filtres s lectifs au bruit l algorithme que nous avons pr sent 4 1 Pour un mod le d interactions lat rales 165 A A B 0 50 100 0 50 100 Rang Rang FIG 4 1 4 Comparaison ondelettes poursuite gourmande sur une grille dya dique On a compar la mesure progressive en fonction du rang de A l Er reur Quadratique moyenne EQM et B l information mutuelle IM pour les diff rentes strat gies de code impulsionnel Lut Reconstruction par les co efficients de
279. ter 1 pages 3 54 URL http www cis tu graz ac at igi maass PNN html Wulfram Gerstner Richard Kempter et Wagner Van Hemmen A neuronal learning rule for sub millisecond temporal coding Nature 384 76 8 1996 212 BIBLIOGRAPHIE Simon Haykin Neural Networks A Comprehensive Foundation Macmillan College Publishing New York second edition 1999 Donald O Hebb The Organization of Behavior Wiley amp Sons New York 1949 J K Hietanen D I Perret M W Oram P J Benson et W H Dittrich The effects of lighting conditions on responses of cells selective fo face views in the macaque temporal cortex Exp Brain Res 89 157 71 1992 M L Hines et N T Carnevale The NEURON simulation environment Neural Computation 9 6 1179 209 1997 URL http neuron duke edu Alan Lloyd Hodgkin et Andrew Fielding Huxley A quantitative description of membrane current and its application to conduction and excitation in nerve J Physiol London 117 500 44 1952 J J Hopfield Neural networks and physical systems with emergent collective computational abilities Proc Nat Acad Sci 79 2554 8 1982 David Horn et Sharon Levanda Fast temporal encoding and decoding with spiking neurons Neural Computation 10 7 1705 20 1999 Patrik O Hoyer et Aapo Hyvarinen A multilayer sparse coding network learns contour coding from natural images To appear in Vision Research 2002 David Hubel et Torsten Wiesel Re
280. thme jouit d une grande 4 3 Systemes visuels dynamiques et applications 187 Fic 4 3 1 Heuristiques de propagation On a appliqu la poursuite de concor dance a Gauche l image 1 du sujet 11 de la base de donn e d image ATT Samaria et Harter 1994 et Haut la reconstruction est pr sent e pour resp de gauche a droite 10 50 100 450 et 750 impulsions Milieu Si on ap plique une heuristique favorisant les neurones centraux l information du centre de l image est propag e en avant Modulation attentive top down Bas Dans le cas ou l heuristique favorise des tirs de filtres voisins alors le visage superpos un bruit de fond Gaussien et qui provoque par ses structures les premiers tirs provoque une avalanche de tirs correspondant au visage de sorte que celui ci est propag en avant Modulation attentive bottom up 188 Chapitre 4 Vers un code dynamique pars popularit et est promis de nombreuses applications On comprend alors le lien avec la poursuite de concordance et l apport que celle ci peut induire En effet l algorithme de carte de saillance souffre du caract re arbitraire de l inhibition de retour et un point de saillance peut se retrouver dans ombre d un point pr c dent Nous avons donc imagin un syst me avec des filtres repr sentant des points saillants des orientations des coins et utilis l algorithme pr c dent en utilisant une distance qui favo
281. tion voir Sec 4 1 1 Dans un premier temps nous tudierons un mod le de r tine avec une telle repr sentation en la comparant avec le mod le pr c dent Ce mod le sera bas sur un algorithme de Poursuite de Concordance Matching Pursuit en anglais et nous verrons comment cet 30 Chapitre 1 Comment casser le code de la vision algorithme s adapte particuli rement bien au codage impulsionnel rapide Cette tude se prolongera par la d finition d un mod le de l aire visuelle pri maire par un code impulsionnel bas sur une repr sentation sur complete de filtres s lectifs des orientations Nous pr senterons succinctement son ar chitecture comme un mod le complet de colonne corticale et nous tudierons les applications d coulant de cette repr sentation en tenant compte d une connaissance a priori De plus nous d finirons des r gles non supervis es d apprentissage que nous comparerons avec le mod le de Olshausen et Field 1996 Nous pr senterons alors les r sultats de ce codage en terme de repr sen tation de l information et de sa rapidit et discuterons de son optimisation statistique Nous l tendrons en particulier l tude d un syst me d extrac tion de primitives dans l image comme les contours Aussi nous compare rons ce syst me au standard de compression JPEG et montrerons que notre mod le permet la transmission rapide et progressive de l information visuelle avec une qualit
282. tisation de nombreux r ves de Science Fiction mais leurs premi res applications semblent seulement appara tre avec le Perceptron de Rosenblatt 1960 dans la m me p riode que la d couverte des champs r cepteurs du cortex primaire par Hubel et Wiesel 1959 Tou tefois ces mod les abstraits ne sont alors pas ou peu appliqu s la vision L approche de Marr 1982 est alors fondatrice car elle propose une m ta th orie en trois tapes pour construire un mod le de vision active Selon Marr un mod le du syst me visuel doit tout d abord comporter une th orie com putationnelle c est dire d finissant le but et quantifiant la pertinence des calculs et repr sentations possibles Cette th orie d finit donc un code dans le sens informatique d un algorithme mais aussi dans l aspect indissociable de la d finition de la repr sentation de l information qui est manipul e La seconde tape d finit les entr es puis les sorties d sir es et par une approche algorithmique la transform e et la repr sentation implantant de la meilleure mani re ces processus visuels Enfin le syst me doit pouvoir tre interpr t en terme de composants physiques et d une r alisation mat rielle La vision est alors r duite un processus computationnel En citant l auteur 10 Chapitre 1 Comment casser le code de la vision Vision is a process that produces from images of the external world a description that is useful to
283. to visuel Nose Ce robot de type Koala est quip d une tourelle de vision st r oscopique mais aussi de capteurs st r oscopiques d odorat reniflant la nature du gaz aspir par les tubes lat raux Il a t utilis pour r aliser une exp rience de couplage de la vision et de l odorat La vision sert alors de syst me de guidage non supervis gr ce un processus attentif alors que l odorat permet de cat goriser des odeurs pr sentes localement Ce syst me est construit pour pouvoir tre appliqu dans des interventions automatis es lors d incidents de type chimique 4 3 Systemes visuels dynamiques et applications 195 utilisant la perception visuelle Grace l aide de Dirk Walther du laboratoire de Christof Koch Caltech Pasadena lors de l cole d Et d Ing nierie Neu romorphique de Telluride nous avons utilis le mod le de carte de saillance de Itti et al 1998 que nous avons d crit plus haut Ceci a permis d extraire de l image prise par le robot une zone de plus forte saillance qui donnait au robot une direction vers laquelle il avan ait Le robot s arr tait apr s une courte distance pour aspirer l air environnant jusqu ce que la r ponse aux senseurs donn e par le r seau de neurones impulsionnel de cat gorisation soit assez pr cise auquel cas l exp rience tait consid r e comme r ussie L exp rience commandait en temps r el depuis Telluride Colorado le robot situ e
284. tructures et r gularit s que l ont peut observer Nous tenterons de compl ter ces m thodes analytiques et inductives par une approche qui d crit la Vision comme un ensemble de processus mergents de l interaction avec le monde physique gr ce des r gles et m canismes simples et interconnect es ce titre nous tudierons la Vision dans le champ des Sciences cognitives par une approche connexionniste et nous essaierons d tudier comment les primates et plus particuli rement l Homme cet animal qui est rest un chas seur pendant 99 de son volution ont int gr dans leur Syst me Nerveux Central SNC des processus permettant d int ragir avec le monde environ nant Or si l on arrive a simuler pr cis ment le comportement individuel des cellules qui constituent la plus grande part du SNC les neurones la simu lation d un syst me entier comme le SNC le plus simple du monde vivant comportant exactement 531 neurones et dont on connait pr cis ment la to pologie se r v le tre un chec En effet il manque notre connaissance le code des processus neuronaux c est dire le mode d emploi qui r git leurs comportements Si ce code existe il n est s rement pas unique dans le monde vivant mais nous nous attacherons en d crire des aspects g n raux en le d crivant comme un algo 2 Introduction rithme i e une suite d instructions de calculs que nous int grerons dans son imp
285. ts sont des calculs comme l int gration d entr es ou le seuillage logique de l activit leur nature biologique montre aux nombreux niveaux de leur tude que leurs comportements sont beaucoup plus riches Par cons quent cette richesse pose Dans la suite du texte nous utiliserons comme en anglais le terme neural pour indiquer les l ments relevant de l ensemble du SNC par opposition neuronal que nous restreindrons ce qui rel ve du neurone et de ses sous composants 1 1 La vision un objet d tude scientifque 9 la question de la d finition et l implantation biologiques des processus calcu latoires inh rents au SNC et qui sont impliqu s dans les processus visuels 1 1 2 Mod les computationnels de la vision L histoire de notre connaissance de la Vision montre le lien troit avec l histoire des techniques et des mod les des processus cognitifs et visuels Vision et Intelligence Artificielle Tout d abord il a fallu que des doutes soient mis sur la validit d une approche purement symbolique pour qu apparaissent des solutions imitant les processus mergents observ s dans la biologie Historiquement les pre miers mod les de neurones formels apparus l poque du premier calcula teur ENIAC gr ce McCullough et Pitts 1943 sont des portes logiques binaires ou switches g n ralisant l entr e une somme lin aire pond r e La presse logieuse y a vu la concr
286. tte m thode revient donc une ing nierie inverse qui l image d un d veloppeur d compilant et d sassemblant un programme pour en copier les rouages tenterait de retrouver la repr sentation et le fonctionnement de l in formation neurale Le r le de l ing nieur neuromorphique est donc de casser ce code Ainsi des applications comme l implantation de r seaux de neurones dans des circuits int gr s de type aVLSI permettent de d velopper des applica tions en temps r el des mod les que nous allons pr senter et introduisent des contraintes et des standards parall les ce qui s observe dans la vision biologique Ainsi si l on veut construire une cam ra qui consomme le moins d nergie possible tout en gardant de bonnes performances on voit merger dans les laboratoires d ing nierie neuromorphique les premi res r tines de silicone fonctionnelles avec des protocoles diff rents des normes industrielles Boahen 1997 Ces applications n cessitent alors l introduction de nouveaux cadres th oriques et on voit donc appara tre de nouveaux standards de com munication point point pour des puces lectroniques comme le standard 40 du march 1 1 La vision un objet d tude scientifque 15 Calculateurs Neuroscience Science Fic 1 1 2 Approches sur la nature des calculs dans les processus cognitifs Cette figure synth tise diff rentes approches physiques du calcul li
287. tte section tudier les contraintes tempo relles du code visuel en montrant sa remarquable efficacit Ces contraintes nous conduiront alors mettre des hypoth ses constructives sur le code visuel 2 3 1 Cat gorisation Ultra Rapide M thodes pr sentation s rielle et protocole GO NOGO Dans ce but Thorpe et al 1996 ont conduit des exp riences chez l homme et le singe rh sus pour d terminer le d lai minimum n cessaire pour cat goriser des classes d images comme les images contenant ou ne contenant pas un ani mal En effet nous avons vu que si on pr sente rapidement une image les PAs associ s sont propag s le long des chemins visuels pour atteindre le cortex moteur apr s 140 190 ms voir supra puis enfin par exemple les muscles des doigts apr s 180 250 ms En imaginant le comportement d une proie qui doit pouvoir reconna tre rapidement le danger d une sc ne on comprend que la pression de l Evolution sera forte pour garantir les meilleures perfor mances la contrainte de rapidit est majeure sur le code visuel Le protocole de l exp rience s inspire de protocoles de cat gorisation clas siques le sujet assis devant un moniteur doit porter son regard sur une croix et des images tir es al atoirement sans remise pour viter un apprentis sage d une base de donn e d images naturelles sont pr sent es pendant 20 ms ce qui vite toute saccade pendant la pr sentation Dans
288. u CGL ba l o 4 et gi de l Si l on consid re alors des cellules ganglionnaires dont les centres sont plac s sur des grilles rectangulaires r guli res dont l chantillonnage s accroit g om triquement en m me temps que la taille des champs r cepteurs associ s les activit s calcul es vont correspondre par d finition aux coefficients d une transform e en ondelettes Mallat 1998 Plus particuli rement comme sugg r par Van Rullen et Thorpe 2001 on peut choisir une grille dyadique c est dire o les chelles grandissent par un facteur de 2 sur chaque dimen sion Finalement les activit s des cellules ganglionnaires calcul es pour ces diff rents filtres vont simplement correspondre une transform e en onde lettes de l image sur une grille dyadique l chelle 1 si on choisit les filtres DDG on prendra alors c4 5 pour que les filtres recouvrent correctement l image et on aura donc l chelle s Cette hypoth se n est pas explicite dans l article original mais peut tre retrouv e en maximisant une condition que nous verrons plus bas voir Eq 3 2 8 3 2 Mod le dynamique de la r tine 107 0 1 0 06 gt 004 0 02 5 0 5 FIG 3 2 2 Filtres lin aires de la r tine Gauche Filtre annulaire DDG voir q 3 2 2 Droite Coupe radiale des profils du filtre LDG et de son approxi mation par une diff rence de gaussiennes t
289. u rang LUT On peut aussi imaginer calculer cette LUT en normalisant les fonctions 1 au rang 1 i e pour z 0 LUT puisqu elle donne plus de pr cision aux premiers coefficients i e les plus importants la variance sera alors nulle au rang 1 On pourra enfin comparer ces deux m thodes une m thode normalisant chaque fonction en fonction de l nergie de l image c est dire la d viation standard des coefficients LUT3 cette derni re m thode se justifiant biologiquement par l existence d un tel calcul de va riance par les cellules ganglionnaires de type Y x 0 3 2 14 On observe alors que ces m thodes donnent des courbes sensiblement sem blables voir les lignes de Fig 3 2 5 mais que la variance peut diff rer nette ment les zones pleines de la figure correspondent l cart depuis la moyenne d une fois l cart type On pr f rera en g n ral une variance faible mais comme l importance des coefficients varie avec le rang il faudra valuer ces strat gies par des simulations Aussi comme cette r gle est relativement stable sur les images de la base de donn e nous avons aussi choisi de construire une r gle plus biologique Celle ci est bas e sur un algorithme d apprentissage stochastique donn e une initialisation al atoire m de la modulation apr s le n codage utilisant m comme fonction de modulation i e en estimant C par m t mY et 1 u mt
290. u syst me visuel Fic 2 2 1 Organisation axiale simplifi e de la r tine La lumi re focalis e par l il traverse ici de gauche droite les couches r tiniennes pour activer les photo r cepteurs qui se pr sentent sous forme de c nes ou de b tonnets couche l extremit droite Ceux ci activent en avant axialement ici vers la gauche les cellules bipolaires et lat ralement par les cellules horizontales de fa on ce que le signal soit sensible aux contrastes spatiaux Le signal se propage en avant vers les Cellules ganglionnaires CG dont les corps cellulaires forment la derni re couche ici gauche dont on voit appara tre deux tailles correspondant aux voies Magno et Parvo Ce signal est filtr lat ralement par les cellules amacrines qui elles sont principalement sensibles aux contrastes temporels modifi depuis un dessin de Cajal 2 2 Anatomie du syst me visuel 47 vant leur type a diff rentes gammes de longueur d ondes de la lumi re et les b tonnets plus lents mais sensibles en vision nocturne et convertissent par un processus photo chimique l nergie lumineuse en un signal neurochi mique ils ont la particularit physiologique d tre continuellement activ s en l absence de stimulus La r ponse analogique des PhRs la puissance lumineuse suit approximativement une loi logarithmique de telle sorte que la comparaison de diff rentes r ponses mesurent des rapports de puissance
291. uent le neurone r pondra seulement pour To gt Vseui1 Vrepos Jm par un premier PA la latence To Lo Tm In 3 1 4 l 0 z na Vseuil p re puis r guli rement la fr quence f Zo EN De la m me mani re que la mod le HH voir Fig 3 1 1 B ce mod le fournit donc une transforma tion simple d une valeur analogique en une latence et en une fr quence de d charge En particulier on observe que cette valeur est cod e de fa on bi jective par la latence du premier PA par l intervalle inter impulsionnel et par la fr quence de d charge Ce mod le doit maintenant tre tendu pour pouvoir mod liser le r le des synapses Mod les de r ponse synaptique De la m me mani re que nous avons d fini la transformation d un courant en un signal impulsionnel par analogie avec un circuit lectrique du 1 ordre traduisons l effet d un PA sur une synapse par un courant dans le neurone post synaptique voir Destexhe 1997 pour une revue afin de construire un mod le complet de neurone impulsionnel Notons S l entr e provenant d un neurone metteur j sur un neurone r cepteur 7 et qui est transmise travers la synapse ij Tout d abord nous mod liserons le signal impulsionnel le tarin de spikes entrant sur la synapse ij comme un somme de distributions de Dirac On notera T la liste de PAs correspondant des temps de tir if tir s du neurone metteur Sj are t tt 3 1 5
292. un PA par une synapse ou la g n ration du PA au soma ces courants sont alors remplac s par une simple r gle Historiquement le premier mod le le mod le Int gre et Tire Integrate and Fire IF Lapicque 1907 est aussi un des plus simples son activit interne est mesur e simplement par son potentiel de membrane V et l image du neurone biologique comprend une partie int gratrice l arbre dendritique qui va correspondre une somme lin aire des entr es pond r e par les poids synaptiques et une partie non lin aire qui simule la g n ration d un PA quand V d passe un seuil on dit alors que le neurone tire Celui ci est alors inhib pendant la p riode r fractaire en fixant durant cette p riode son potentiel une valeur d polaris e Par souci de r alisme on peut aussi introduire un courant de fuite pour obtenir le mod le LIF Int gre et Tire Fuite ou Leaky Integrate and Fire Par analogie avec un circuit lectrique du premier ordre le LIF est d fini par une quation diff rentielle du 1 ordre de constante de temps Tm cm et Cm sont resp la conductance et la capacit membranaire caract risant le O Gm 76 Chapitre 3 Mod les de codage rapide 30 24 20 22 10 20 0 18 S40 a a 0 EC g 20 8 14 30 S 2 w 12 ra 107 50 f 8 60 f 6 s 70 i A 4 20 25 30 35 0 0 05 0 1 0 15 0 2 Time ms Entr e Fic 3 1 2
293. une pyramide laplacienne est relativement bonne voir Fig 3 2 6 Les diff rentes strat gies donnent des r sultats quivalents ce stade de l tude et montrent que ce code peut tre utilis effectivement depuis la r tine pour coder les valeurs analogiques partir de leur rang de tir En effet nous observons un r sultat tr s important pour notre mod le de la CUR le coefficient corres pondant un PA qui est n cessaire la reconstruction de l image dans le CGL peut tre donn avec une bonne pr cision par le rang de ce PA et la recons truction correspondante est proche de la reconstruction progressive id ale 3 2 Mod le dynamique de la r tine 119 Ce mod le permet donc d envisager le codage dynamique de la transmission d une image en un front d impulsions et qui soit compl tement compatible avec les restrictions impos es par la CUR Finalement on a donc implant un code visuel impulsionnel complet qui permet de coder une image par une vol e d impulsions et de la d coder sim plement par leur ordre de d charge Les am liorations et extensions que nous pr sentons montrent que ce mod le peut s adapter diff rentes architectures et particuli rement des algorithmes plus rapides et plausibles En particu lier la transformation par une pyramide laplacienne va permettre de proposer une architecture simple et plus performante En particulier la th orie des on delettes montre que ces transfo
294. une divergence tr s nette apparait entre les courbes moyennes pour les deux cat gories d s 150 ms voir Fig 2 3 2 De plus il a t montr clairement que cette divergence n tait pas un artefact d une diff rence moyenne d activit mais qu elle correspondait bien la cat gorisation des images dans IT Van Rullen et Thorpe 2000 Extensions des r sultats Ces r sultats surprenants ont t tendus de nombreux autres pro tocoles Tout d abord des tests statistiques ont montr qu il y avait peu de corr lation entre la latence de la r ponse et la configuration de l image comme par exemple la taille ou la position de l animal ou encore son esp ce ou la pr sence de signes distinctifs comme la t te en particulier les yeux ou les pattes Aussi on peut se demander si la t che de cat gorisation animal non animal n est pas particuli re mais Van Rullen et Thorpe 2000 2 3 Contraintes temporelles sur le code visuel 63 a tendu ce protocole une t che cat gorisant les images contenant des moyens de transports M me si les singes ne sont naturellement destin s a cette cat gorisation celle ci a pu tre correctement apprise avec des r sultats tout a fait semblables illustrant de fagon tonnante la capacit adaptative du syst me visuel des situations nouvelles ou artificielles Aussi de nouvelles exp riences neuropsychologiques ont pr cis si la mani re de pr senter l image
295. ur V1 D puis vers les aires visuelles sup rieures V1 et V4 jusqu au cortex inf ro temporal IT Nous avons aussi indiqu sch matiquement les voies O et Quoi qui montrent la sp cialisation hi rarchique des voies visuelles 56 Chapitre 2 Neurophysiologie du syst me visuel Repr sentations cellulaires L organisation que nous avons pr sent e dans la section pr c dente avec une structure majoritairement hi rarchique du syst me visuel pousse alors penser que des aires corticales plus lev es vont pr senter des s lectivit s en core de plus en plus fines En la caricaturant cette th orie supposerait alors la pr sence d un neurone grand m re sensible alors sp cifiquement la vision de son a eule ou comme nous l avons d j voqu celle de Bill Clin ton Outre le fait que ce type de neurone soit rarement observ en pratique cette repr sentation serait vraiment trop co teuse en termes informationnels Comme nous l avions voqu voir Sec 2 1 3 on pr f re alors penser que les neurones d une aire corticale s organisent localement pour que les sensibilit s similaires resteront dans le m me voisinage cortical C est ce que l on observe par exemple dans V4 o par exemple on peut trouver des neurones voisins ayant des sensibilit s maximales des cercles concentriques dont les transfor mations usuelles translation agrandissement seront voisines Gallant et al
296. ur s adapter par exemple aux situations visuelles nouvelles Le code de la vision doit pouvoir alors induire des repr sentations nouvelles de puis celles qui ont t apprises Par exemple les objets sont souvent en trans lation dans le monde physique et vont fournir des informations coh rentes dont le code doit pouvoir extraire les r gularit s au niveau des m canismes et de la repr sentation correspondante Ce code ne va pas apprendre la r gle de translation comme une r gle crite mais va apprendre par des processus adaptatif un mod le g n ratif qui va par exemple pouvoir interpoler une information depuis des sources incompl tes La vision et les processus vitaux Les processus participant la vision doivent donc pouvoir s adapter l environnement pour r pondre au mieux l ensemble des processus vitaux A long terme le code g n tique et la plasticit des processus de calcul dans le SNC sont deux exemples de strat gies du vivant pour voluer et s adapter diff rentes chelles de temps Ainsi le syst me visuel de l embryon illustre parfaitement comment l adaptation neuronale organise et int gre le syst me visuel en fonction du d veloppement neural programm g n tiquement et de l environnement Par cons quent les processus doivent pouvoir tre volutifs c est dire qu une solution qui ne permet pas d adaptation aura plus de chance de dispara tre m me si elle est plus perfor
297. us avons pr sent plus haut en tenant compte de l influence du nombre limit de ressources et donc de l his torique d activation aux niveaux pr et post synaptiques Ce mod le pr sente la r ponse d une synapse un PA isol et ne tient pas compte de tout l his torique de tir de ou j L efficacit synaptique g va ici d pendre du produit d une efficacit au repos Jo modul par des facteurs d adaptation de transmis sion pr et post synaptiques Apre et Apost qui vont tre modifi s par l activit temporelle de la synapse et qui donc au repos valent 1 Formellement on peut crire g Jo Apre Apost 3 1 14 On d duira l volution dynamique de l efficacit g par les quations diff ren tielles de la cin tique d un r action chimique du premier ordre correspondant des densit s de populations de processus v sicules pr synaptiques et ca naux post synaptiques libres limit s en nombre et r agissant un m diateur Libre et Non Actif M diateur Occup et Actif 3 1 15 Cette r action est initi e par les PAs qui modifient alors l quilibre q 3 1 15 de gauche droite et on peut donc crire les quations qui dirigent les variations des facteurs A suivant les temps d arriv e de PAs pr synaptiques pour Apre ou de PAs post synaptiques r trogrades pour Apost et suivant leur constantes de temps de r cup ration respectives re et Tpost de droite gauche dans l quili
298. ut alors s int resser a la vision comme le lien entre le monde lumineux et nos actions Cet aspect de la vision diverge de celle que nous exp rimentons par l imagination en nous rem morant par exemple une image car par exemple une part de la vision participant l action n est alors pas forc ment consciente Pour preuve des images pr sent es tr s rapide ment en vision p riph rique peuvent tre cat goris es avec succ s alors que les sujets reportent souvent ne pas avoir eu conscience de l image alors qu ils Pont per ue et malgr souvent leur r sistance donner une r ponse qui leur semble totalement hasardeuse Thorpe et al 2001b En dissociant ainsi la vision de l image consciente que nous percevons l image mentale ou eid tique nous nous acquittons aussi d une part de la subjectivit qui entoure sa d finition Cette simplification nous permet d explorer comment nous pouvons tudier la vision en la restreignant aux processus cognitifs qui permettent de relier information lumineuse des comportements Ainsi dans le cadre d une exp rience neuropsychologique Bach y Rita 1983 a stimul le dos d un patient aveugle suivant la transcription tactile par des palpeurs d une image grossi re capt e par une cam ra mont e sur un tr pied peut on alors cr er une image mentale par d autres modalit s sen sorielles une r tine tactile Il a alors montr que le sujet ne percevait pas ces
299. veninck et al 1997 En particulier la latence de d charge de ces neurones peut tre tr s pr cise de l ordre de la milliseconde Bair et Koch 1996 et la latence de chaque impulsion peut donc porter une grande quantit d in formation En pratique on observe dans le cortex primaire du singe que la En fait certain processus comme la lib ration synaptique peuvent se r v ler hau tement al atoires Toutefois nous consid rerons que ce bruit est n gligeable pour des neurones fonctionnels dans la gamme des signaux auxquels ils sont adapt s 3 1 Mod les de codage temporel 99 direction locale d une barre par les neurones est cod e par la diff rence de latence depuis une latence minimale correspondant une direction pr f r e Celebrini et al 1993 on en d duit qu un code impulsionnel de traitement rapide de l information visuelle voir Sec 2 3 peut tre implant en utilisant la latence de d charge de la premi re impulsion Cette hypoth se a t pro pos e par Thorpe 1990 et implique une dualit dans ce codage En effet la valeur excitatrice analogique pourra tre restitu e si l on conna t sa latence exacte mais de plus la propagation est progressive et donc l ordre des tirs va influencer le r sultat du calcul En codant l information de fa on parall le et asynchrone les neurones peuvent implanter des calculs en utilisant resp la position et la latence des PAs Cette hypoth
300. vergence gr ce des techniques statistiques Des simulations de ce mod le ont alors montr que les poids des vecteurs convergeaient vers des filtres localement sensibles la direction comme cela s observe dans les colonnes corticales de V1 Hubel et Wiesel 1959 En fait ce r sultat est semblable d autres travaux conduisant l mergence de filtres similaires Olshausen et Field 1996 et montre que le codage par rang peut de la m me mani re pr dire la formation de structures mergentes On peut remarquer que la loi d apprentissage que nous appliquons va faire merger 142 Chapitre 3 Mod les de codage rapide des filtres tels que leur distribution de sortie soit sur gausienne c est a dire que pour la m me variance plus de sorties sont proches de la moyenne 3 3 3 Applications S lectivit ultra rapide la direction L apprentissage voqu dans la section pr c dente sugg re d tendre le mod le de la r tine de Van Rullen et Thorpe 2001 l aire V1 et d tudier la possibilit d un codage par rang de l image dans cette aire En effet des mesures neurophysiologiques sugg rent que les neurones de V1 sont sensibles a travers leur fr quence de d charge a des orientations pr cises mais aussi que de la m me mani re ils tirent d autant plus rapidement que l orientation pr sent e est proche de l orientation pr f r e La s lectivit l orientation est donc aussi cod e dan
301. vu que ce sont seulement les CGs qui mettent les PAs qui se ront transmis au reste du SNC ce qui montre que depuis les 10 pho tor cepteurs PhR via environ 10 cellules interm diaires et jusqu au nerf optique constitu e par les axones du million de cellules ganglionnaires la transform e r tinienne est une transformation d une intensit lumineuse va riant dans le temps un signal spatiotemporel impulsionnel de PA On re marque aussi que le nombre relativement peu lev de fibres en sortie montre que la taille du signal doit tre comprim e pour qu il soit transmis effica cement au reste du SNC Une m thode utilis e par la r tine est alors de transformer l information visuelle en un signal multicanaux qui tend s parer les sources qui ont produit la sensation lumineuse r duisant ainsi la dimen sion du signal transmettre IMath matiquement ce m canisme se rapproche donc d un transform e en compo santes orthogonales 50 Chapitre 2 Neurophysiologie du syst me visuel En particulier Atick et Redlich 1992 ont montr que la r ponse des cel lules ganglionnaires diff rentes fr quences spatiales co ncidait avec une r duction des corr lations spatiales entre des locations voisines montrant ainsi que des principes cologiques peuvent guider la compr hension des fonctions r tiniennes Un aspect du codage r tinien est donc de souligner des parties non redondantes et qui sont donc r
302. x du traitement neural et de sa facult d adaptation Mais le fonctionnement du code neuronal reste difficile d couvrir Nous allons essayer d extraire les bases d un code impulsionnel qui permette de coder par la latence de tir de ces impulsions l information lumineuse Nous allons donc tudier les principes pour coder et d coder par la latence mais aussi comment adapter le r seau de neurones pour maximiser l efficacit du traitement Le code doit transmettre une information Tout d abord l image du flux impulsionnel dans le nerf optique une premi re fonction du code est de pouvoir transmettre une information de fa on fiable et robuste M me s il est aberrant d imaginer qu il existe une tape des chemins de la vision une reconstruction analogique de l image il est tabli que le r le de certaines commissures nerveuses comme le nerf op tique est de transmettre sans transformation une information Nous tudie rons alors la reconstruction comme une borne sup rieure de la qualit de la transmission de l information Il semble alors que pour des signaux dans la gamme dynamique des signaux naturels saillants la r ponse des neurones est relativement robuste au bruit En effet des enregistrements in vitro de neurones corticaux montrent que suite la pr sentation d un stimulus ces neurones sont capables de produire des d charges tr s reproductibles Mainen et Sejnowski 1996 de Ruyter van Ste
303. yramidal neurons Nature 382 807 810 1996 D Marr Visual information processing The structure and creation of visual representations Phil Trans R Soc Lond B 290 199 218 1980 D Marr et E Hildreth Theory of edge detection Proc R Soc London Bulletin 207 187 217 1980 David Marr Vision W H Freeman and Company NY 1982 J L McClelland David E Rumelhart et the PDP Research Group Parallel Distributed Processing Explorations in the Microstructure of Cognition volume 2 The MIT Press Cambridge MA 1986 W S McCullough et W Pitts A logical calculus of ideas immanent in nervous activity Bulletin of Mathematical Biophysics 5 115 133 1943 Carver Mead Analog VLSI and Neural Systems Addison Wesley Reading 1989 Markus Meister et Michael J Berry II The neural code of the retina Neuron 22 435 50 1999 Markus Meister et Toshihiko Hosoya Are retinal ganglion cells independent encoders Nature 2001 BIBLIOGRAPHIE 217 C Meunier et J P Nadal Sparsely coded neural networks In The handbook of Brain Theory and Neural Networks Arbib 1995 pages 899 901 St phane M lis Codage impulsionnels par rangs Technical report Rapport de Fin d Etude SUPAERO Toulouse France 1995 C Monier L Borg et Y Fregnac The dominant increase in synaptic conduc tance evoked by visual input in cat area 17 is due to shunting inhibition 1997 Lionel G Nowak et Jean Bullier The timi

Download Pdf Manuals

Related Search

Related Contents

Brede Decorating Catalog  Système bar de son Bluetooth Manuel d`instruction complet  Music Tools ISOstatic  Lirio by Philips Floor lamp 36913/60/LI  RP-1AH/3AH/5AH ｼﾘｰｽﾞ 標準仕様書 (CR1-571ｺﾝﾄﾛｰﾗ)  

Copyright © All rights reserved. Failed to retrieve file