Home

Évaluation de la compréhension de l`écrit chez l`adulte

1. partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 75 76 Ainsi il appara t que la repr sentation mentale labor e au cours de la compr hension ne pr sente pas les m mes caract ristiques lorsqu il s agit de traitement de textes crits preuves 1 3 et 4 que lorsqu il s agit de traitement de graphiques preuve 2 ou de cartes spatiales preuve 5 Dans les preuves verbales 1 3 et 4 avec des nonc s crits uniquement les modeles sollicitent des processus linguistiques sur la base des comp tences langagi res du sujet lexicales syntaxico s mantiques et organisa tion textuelle tout en mobilisant les connais sances du monde du sujet En d pit du fait que ces trois preuves sont constitu es de textes de structure diff rente l preuve 1 tant un r cit l preuve 3 un texte th orique et l preuve 4 un texte expositif ce n est pas sur cette base que les facteurs 2 et 3 se diff rencient Il n est d ailleurs pas ais d expliquer l mergence de ces deux dimensions Parmi les items qui satu rent sur le facteur 2 un bon nombre d entre eux mais pas tous adresse les comp tences mesu rant strictement la maitrise des informations Tableau 2 Analyse factorielle avec rotation oblique Promax verbales comp tences lexicales et syntaxico s mantiques alors que les items qui saturent sur le facteur 3 ont tendance cib
2. 1988 The Role of Knowledge in Discourse Comprehension A Construction Integration Model Psychological Review vol 95 n 2 pp 163 182 Kintsch W 1994 The Psychology of Discourse Processing dans M A Gernsbacher d Handbook of Psycholinguistics Academic Press San Diego CA pp 721 739 Kintsch W 1998 Comprehension A Paradigm for Cognition Cambridge University Press New York Kintsch W et van Dijk T A 1978 Toward a Model of Text Comprehension and Production Psychological Review vol 85 n 5 pp 363 394 Kruley P Sciama S C et Glenberg A M 1994 On Line Processing of Textual Illustrations in the Visuospatial Sketchpad Evidence From Dual Task Studies Memory and Cognition vol 22 n 3 pp 261 272 Landi N et Perfetti C A 2007 An Electrophysiological Investigation of Semantic and Phonological Processing in Skilled and Less Skilled Comprehenders Brain and Language vol 102 n 1 pp 30 45 Laveault D et Gr goire J 2002 Introduction aux th ories des tests en ducation et en psycholo gie 2e dition De Boeck Universit Bruxelles Le Ny J F 2005 Comment l esprit produit du sens Odile Jacob Paris Linn M et Petersen A 1985 Emergence and Characterization of Sex Differences in Spatial Ability A Metaanalysis Child Development vol 56 n 6 pp 1479 1498 Logie R H 1995 Visuo Spatial Working Memory Hove
3. ENSEIGNEMENT DUCATION valuation de la compr hension de l crit chez l adulte Hakima Megherbi Thierry Rocher Val rie Gyselinck Bruno Trosseille et Hubert Tardieu Mesurer la compr hension de l crit n cessite la d finition d un certain nombre de concepts que nous situons dans un cadre th orique provenant des travaux de la psy chologie du langage Comprendre un texte ou un document est une activit complexe dont le but ultime est l laboration d une repr sentation mentale coh rente du contenu Gernsbacher 1994 Kintsch 1994 et 1998 Au del de la lecture des mots qui compo sent le document la compr hension sollicite des processus de haut niveau qui assurent l analyse syntaxico s mantique de la phrase et la prise en charge de l ensemble du docu ment La coh rence est recherch e par le lecteur pour des documents compos s d in formations exclusivement verbales et pour des documents associant des informations verbales et visuo spatiales L analyse des dimensions sous jacentes du module Haut de l enqu te VQ 2004 partir des donn es recueillies sur 7 389 individus qui y ont particip si elle doit tre interpr t e avec beaucoup de prudence en raison du faible nombre d items composant le module distinguerait en fin de compte deux seuls facteurs l un visuel et spatial cartes spatiales et graphique l autre strictement verbal La pertinence de ces deux dimensions serait e
4. Une statistique 7 est alors construite partir des covariances observ es entre les items AT condition nellement au score observ sur l ensemble des items PT Cette statistique est enfin compar e la m me statistique not e T obtenue sur des donn es simu l es selon un cadre unidimensionnel La diff rence standardis e entre les deux statistiques not e T suit asymptotiquement une loi normale centr e r duite CONOMIE ET STATISTIQUE N 424 425 2009 d individus et sur le m me nombre d items de r ussites quivalentes quatre valeurs propres sont sup rieures 1 ce qui conduirait tu dier les quatre premiers facteurs Tate 2003 Pour approfondir cette analyse exploratoire nous pr sentons les valeurs de l indice RMSR Root Mean Square Residual cf graphique Il s agit de l cart r siduel standardis moyenne g om trique des r sidus entre la matrice des corr lations d origine et la matrice des corr la tions reconstruite partir de la factorisation retenue La d croissance de cet indice conforte le choix de retenir quatre facteurs Une analyse factorielle consid rant quatre fac teurs communs est donc engag e avec une rota Graphique tion oblique Promax des axes car l hypoth se la plus cr dible est que ces facteurs ne sont pas ind pendants L examen des corr lations entre les items et les quatre facteurs cf tableau 2 o elles sont surlign es en gra
5. 1988 etla proc dure non param trique Sibtest propos e par Shealy et Stout 1993 Ces deux m thodes cf encadr 6 ont l avantage de proposer une graduation de l ampleur des FDI au del des tests d hypoth se sensibles la taille de l chantillon De mani re descriptive d abord il apparait que l exception des items h13 et h14 tous les items sont mieux r ussis par les hommes que par les femmes cf tableau 5 La diff rence moyenne de r ussite est de pr s de cinq points Tableau 4 Exemples de fonctionnements diff rentiels d items FDI selon le sexe Taux de r ussite 96 R partitions 96 h13 h17 Hommes Femmes Hommes Femmes cart Hommes Femmes cart Score lt 12 19 2 30 5 28 8 34 3 5 5 55 4 57 5 2 1 12 lt score lt 14 18 5 18 3 42 1 55 8 13 7 80 0 80 2 0 2 14 lt score lt 16 2255 21 4 60 0 71 7 11 7 84 3 86 2 1 9 16 lt score lt 18 23 4 18 1 PTT 83 9 6 2 92 2 90 4 1 8 18 lt score lt 21 16 4 11 7 95 2 96 9 1 7 96 7 97 6 0 9 Ensemble 100 0 100 0 60 6 62 5 1 9 81 8 78 5 3 3 Lecture dans l ensemble l item h13 est r ussi par 60 6 des hommes et par 62 5 des femmes Mais tranche de score gale la diff rence de r ussite entre les hommes et les femmes est plus marqu e Ces carts selon les tranches peuvent sembler lev s en comparaison de l cart observ sur l ensemble des individus Il s agit d un effet de structure li aux
6. 6 CONOMIE ET STATISTIQUE N 424 425 2009 d items sur l ensemble du module il nous est difficile de caract riser les profils de bons et de faibles compreneurs ce stade Pour la prochaine enqu te nous souhaiterions augmenter le nombre d items en cr ant une autre s rie de textes selon la proc dure classi que d utilisation de cahiers tournants Nous pourrions conforter et affiner les diff rentes hypoth ses d velopp es dans cet article sur la dimensionnalit du module et sur les fonction nements diff rentiels Pour la seconde s rie il nous semble important d introduire des types de documents qui n ont pas pu tre pris en compte de mani re valuer la compr hension sur plu sieurs structures de textes comme par exemple les modes d emploi les recettes de cuisine les r gles de jeu une ordonnance etc Cette pro c dure nous permettra d une part de faire des comparaisons dans le temps sur la s rie 1 et de r aliser des analyses plus assur es en tenant compte des deux s ries O BIBLIOGRAPHIE Baddeley A D 1986 Working Memory Oxford University Press Oxford Baddeley A D et Logie R H 1999 Working Memory The multiple Component Model in A Miyake et P Shah ds Models of working Memory Mechanisms of Active Maintenance and Executive Control pp 28 61 Cambridge University Press Cambridge UK Cain K et Oakhill J 2006 Profiles of Children wit
7. L activation des processus d identification et de reconnaissance des mots consistent en l activation des repr sentations orthographiques orthographe du mot phonologiques sa prononciation et s mantiques sa signification le lecteur d chiffre les mots et a acc s leur significa tion L tendue du vocabulaire ici joue un r le d termi nant Le vocabulaire est g n ralement valu par des preuves sp cifiques o l on demande aux sujets de travailler sur la synonymie sur la d finition de mots etc Dans notre module nous avons des questions qui ciblent particuli rement la connaissance du vocabu laire par exemple Dans la phrase 1 quel mot parmi les quatre propos s pourrait remplacer le mot chute Dans certains cas le participant peut y r pondre sur la seule analyse du mot tandis que dans d autres il doit int grer le mot dans la phrase Au del de ce niveau le compreneur doit int grer ces mots dans des groupes syntaxiques et les rattacher des unit s de rang sup rieur jusqu la phrase o ils sont interpr t s syntaxiquement s mantiquement et fonctionnellement Ces analyses traduisent la signifi cation de l ensemble de la phrase Qui fait quoi OU Quand Comment gt Dans notre module nous avons des questions qui ciblent la compr hen sion de tournures syntaxiques complexes comme les phrases n gatives ou les phrases passives qui sont syntaxiquement plus complex
8. R cit h1 h2 h3 0 011 Graphique h4 h5 h6 0 052 1 Texte expositif h8 h9 h10 h11 h12 h13 0 151 3 Texte th orique h14 h15 h16 0 070 2 Cartes spatiales h17 h18 h19 h20 h21 h22 0 278 3 Lecture les items du texte expositif forment un ensemble pr sentant un fonctionnement diff rentiel significatif P value lt 0 05 P value lt 0 01 important classe 3 et en faveur des femmes f n gatif cf encadr 6 Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 81 82 d un mod le de situation o les relations entre ma trise du langage et mobilisation des connais sances sont cruciales Ainsi comprendre un texte n cessite de mettre en relation le langage et la cognition L analyse descriptive du module montre tout d abord que le niveau est relativement facile avec 70 de r ussite moyenne sur l ensem ble des questions tous participants confondus Les items sont plus ou moins bien r ussis r v lant la complexit des items et l homog n it interne donnant le niveau d inter corr lations entre les items est relativement moyenne Pour valuer le caract re dimensionnel de l preuve nous avons r alis plusieurs types d analyses factorielles La premi re vis e exploratoire fait apparaitre quatre facteurs l un fa
9. et donc laborer un mod le spatial coh rent Trois analyses discrimination dimensionnalit et fonctionnements diff rentiels our chaque preuve le nombre de ques tions variait de 3 6 ce qui est peu Chaque question donnait lieu une cotation binaire 1 point pour la r ponse correcte et 0 pour toute r ponse erron e Au total 21 questions ont t pos es donc sur l ensemble le score maximal th orique est de 21 pour chaque participant En raison du faible nombre d items nous serons prudents dans l interpr tation des r sultats Il est vrai que les preuves sont diversifi es et nous l avons voulu mais l exploitation de cette diversit sera difficile compte tenu du nombre d items par preuve L analyse des dimensions sous jacentes ce module devra donc tre inter pr t e avec prudence Trois types d analyses des donn es ont t effec tu es sur les 7 389 individus qui ont t orient s vers le module Haut en premier une analyse 71 72 classique descriptive de l preuve puis une analyse des dimensions sous jacentes et enfin une analyse concernant les fonctionnements diff rentiels li s au sexe des participants puis que notre module s est r v l sensible cette variable L analyse de la structure du module Haut s inscrit dans une d marche de validation th orique mais galement dans la perspective de la prochaine vague de l enqu te VQ qui devrait
10. orique qui a sous tendu la concep tion des cinq preuves du module Haut et de donner les premiers r sultats concernant notam ment l tude de la dimensionnalit du module et les effets li s au sexe des participants C est la premi re fois que ce module dans cette conception a t soumis un chantillon de la population vivant en France dans le cadre de l enqu te Information et Vie quotidienne en 2004 Ce sont 7 389 individus g s entre 18 et 65 ans hommes et femmes qui ont t s lec tionn s pour la passation de ce module l issue du module d Orientation Toutes ces personnes sont suppos es ne pas avoir de grandes difficul t s avec le langage crit En effet l issue du module d Orientation elles ont t orient es vers le module Haut en grande partie parce qu elles ne pr sentaient pas de difficult s dans la maitrise de la lecture des mots L approche th orique expos e est celle des tra vaux issus du champ de la psychologie cogni tive du langage La compr hension est une acti vit complexe dont le but est de construire une repr sentation mentale coh rente du contenu du texte Cette activit sollicite un certain nombre de processus allant du traitement des mots la phrase puis l organisation textuelle La repr sentation mentale la plus riche est l laboration Tableau 6 Analyses des fonctionnements diff rentiels de groupes d items selon le sexe Supports Items By Classe
11. rentiels des items FDI selon le sexe Indices de fonctionnement diff rentiel d item FDI Taux de r ussite Mantel Haenszel Sibtest Item 2 i Hommes Femmes Ecart MH Xi A Be classe h1 45 4 42 0 3 4 4 7 0 3 0 050 1 R cit h2 79 3 77 8 1 5 0 5 0 1 0 005 1 h3 88 5 81 3 1 2 35 3 1 0 0 038 h4 85 1 81 3 3 8 0 9 0 2 0 003 Graphique h5 90 1 87 6 2 5 0 0 0 0 0 029 1 h6 77 6 68 1 9 4 47 1 0 9 0 064 2 h8 85 2 82 9 2 3 0 0 0 0 0 024 h9 87 1 85 3 1 9 1 8 0 2 0 027 1 Texte h10 42 7 34 5 8 2 22 7 0 6 0 031 1 expositif h11 34 4 29 3 5 1 3 5 0 2 0 018 h12 77 4 71 7 5 7 2 9 0 2 0 007 h13 60 6 62 5 1 9 42 1 0 8 0 092 3 Texte h14 41 5 79 3 1 9 36 7 0 9 0 071 2 th orique h15 61 3 61 0 0 3 2 0 2 0 032 1 a h16 55 6 49 3 6 3 9 7 0 4 0 021 h17 81 8 78 5 3 4 0 1 0 0 0 004 h18 65 6 55 5 10 0 39 2 0 7 0 057 1 Cartes h19 93 5 91 5 2 0 0 6 0 2 0 006 spatiales h20 69 2 58 9 10 3 34 1 0 7 0 038 1 h21 84 4 74 5 9 9 50 2 iil 0 055 1 h22 75 3 65 3 10 0 30 9 0 7 0 031 1 Moyenne 72 3 67 5 4 7 Lecture l item h3 est r ussi par 88 5 des hommes et 81 3 des femmes Les deux proc dures pour tester le fonctionnement dif f rentiel sont significatives P value lt 0 05 P value lt 0 01 Le signe positif de A et b ta indique que le biais est en faveur des hommes Les deux proc dures diff rent sur l ampleur du biais le coefficient delta de 1 indique
12. 05 cf encadr 5 Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 77 78 Pour certains l observation de diff rences entre les hommes et les femmes dans le traitement des informations spatiales offre un argument en faveur d une sp cialisation des ressources allou es au traitement des informations spa tiales et ce d s l adolescence cf par exemple Choi et Sylverman 2003 Dabbs et al 1998 Fonctionnements diff rentiels selon la variable sexe troisi mes analyses Un item pr sente un fonctionnement diff rentiel FDI par rapport une caract ristique de grou pes d individus hommes femmes Fran ais Su dois etc d s lors que l on observe des r us sites diff rentes selon les groupes niveau de performance gale l ensemble du test Un fonc tionnement diff rentiel est distinguer de l im pact de l item qui renvoie l effet g n ral de l appartenance un groupe sur la performance Vrignaud 2002 Par exemple les cadres r us sissent mieux les items du module Haut que les ouvriers impact mais des items peuvent pr senter un fonctionnement diff rentiel en faveur de l un ou l autre de ces deux groupes c est dire tre r ussi diff remment niveau de per formance gal entre les deux groupes Soit
13. 05 P h11 0 01 0 11 0 29 0 02 h12 0 04 0 15 0 47 0 02 h13 0 01 0 26 0 25 0 03 h14 0 00 0 50 0 06 0 00 Texte th orique h15 0 05 0 24 0 06 0 01 h16 0 03 0 08 0 14 0 10 h17 0 36 0 09 0 03 0 03 h18 0 43 0 13 0 10 0 02 Cartes h19 0 44 0 26 0 05 0 02 spatiales h20 0 41 0 04 0 04 0 03 h21 0 37 0 13 0 07 0 04 h22 0 63 0 03 0 01 0 00 B Corr lations entre les facteurs Facteur 2 Facteur 3 Facteur 4 Facteur 1 0 57 0 49 0 42 Facteur 2 0 53 0 41 Facteur 3 0 33 Lecture les corr lations sup rieures 0 20 sont en gras Le facteur 1 comprend les items portant sur les cartes spatiales Il est corr l 0 57 avec le facteur 2 Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 linguistiques contenues dans les nonc s mais aussi une mise en correspondance entre langage et cognition Dans l preuve de traitement de cartes spatia les preuve 5 le compreneur s engage dans la construction de mod les d environnements spa tiaux labor s partir d informations visuo spa tiales et d nonc s descriptifs verbaux Le degr d laboration de ces mod les est variable selon le type de description propos selon les com p tences verbales et spatiales des participants c est dire leur niveau de compr hension des termes spati
14. Hart 2001 Perfetti 2007 d autres d fendent une relative ind pen dance entre les deux activit s Yuill et Oakhill 1991 Il est n cessaire de faire la part des cho ses entre lecture et compr hension cf enca dr 1 Puisque les participants du module Haut ont r ussi l preuve d orientation comportant le d chiffrage de mots nous nous sommes centr s sur la caract risation des processus de compr hension pour concevoir ce module Ainsi la compr hension d un texte crit est troitement d pendante de la lecture des mots qui le composent et de l acc s leur significa tion Au del du mot la compr hension met en jeu des processus de haut niveau qui assu CONOMIE ET STATISTIQUE N 424 425 2009 Encadr 1 LECTURE ET COMPR HENSION Pour Perfetti 1994 la lecture est un ensemble de processus permettant d extraire la signification du texte qui comprend les processus d identification des mots crits et ceux allou s la compr hension Ainsi ne distingue t il pas vraiment les processus de lecture et les processus de plus haut niveau engag s dans la compr hension Il r affirme les grandes lignes de sa position en soulignant le lien causal entre lec ture de mots et compr hension Les comp tences lexicales permettent la compr hension la compr hension permet la pratique de la lecture la pratique de la lecture renforce les comp tences lexicales Perfetti et Hart 2001
15. UK Lawrence Erlbaum Associates Lord F M et Novick M R 1968 Statistical Theories of Mental Test Scores Addison Welsley Publishing Company Reading MA Mantel N et Haenszel W 1959 Statistical Aspects ofthe Analysis of Data from Retrospective Studies of Disease Journal of the National Cancer Institute vol 22 n 4 pp 719 748 CONOMIE ET STATISTIQUE N 424 425 2009 Megherbi H et Ehrlich M F 2005 Language Impairment in Less Skilled Comprehenders The On line Processing of Anaphoric Pronouns in a Listening Situation Reading and Writing vol 18 n 7 9 pp 715 753 Megherbi H Seigneuric A et Ehrlich M F 2006 Reading Comprehension in French Ist and 2nd Grade Children Contribution of Decoding and Language Comprehension European Journal of Psychology of Education vol 21 n 2 pp 135 147 Millsap R E et Everson H T 1993 Methodology Review Statistical Approaches for Assessing Measurement Bias Applied Psychological Measurement vol 17 n 4 pp 297 334 Nandakumar R 1994 Assessing Dimensionality of a Set of Item Responses Comparison of Different Approaches Journal of Educational Measurement vol 31 n 1 pp 17 35 Perfetti C A 1994 Psycholinguistics and Reading Ability dans M A Gernsbacher d Handbook of Psycholinguistics Academic Press San Diego pp 849 894 Perfetti C A et Hart L 2001 The Lexical Bases of Compr
16. d coule de la proc dure dans la passation des preuves R alis e par un nombre important d enqu teurs environ 300 il tait n cessaire de limiter la difficult ce niveau Les preuves devaient tre faciles faire passer et le recueil des r ponses durant la passation galement Cette contrainte li e la pr c dente a des cons quences directes sur le choix du type de questions Ainsi la majo rit d entre elles sont de type choix multiples o la personne devait choisir dans un ensemble de propositions la ou les propositions les plus appropri es ou la proposition correcte eu gard au contenu du document Ceci dit nous avons aussi quelques questions ouvertes avec un pr encodage fait par l enqu teur La troisi me contrainte est d ordre temporel En raison de la lourdeur de l enqu te dans sa conception globale avec l ensemble des modu les nous ne pouvions d passer une demi heure de passation par participant pour ce module Cette contrainte temporelle a donc eu des cons quences sur les choix des preuves et sur le nombre d items Il fallait donc faire des choix non seulement en termes de longueur des preuves mais galement en termes de types de documents Les types de documents propos s ne couvrent donc pas l ensemble des formats que la population utilise r guli rement pas de document type mode d emploi recette de cui sine etc Tous les documents du module Haut s
17. encadr 3 l exemple d un texte scientifique accompagn de questions Pour finir signalons que les processus comme la reconnaissance des mots crits et l analyse syn taxico s mantique des phrases simples sont ex cut s de facon automatique et irr pressible par les lecteurs qui ont une bonne ma trise de la langue Ils chap pent la conscience du lecteur Les autres proces sus le mod le de situation pr sentent un caract re optionnel n cessitent la mobilisation de ressources attentionnelles et prennent du temps Leur mise en ceuvre d pend en partie des objectifs du lecteur lire pour se distraire lire pour rechercher une information pr cise lire pour acqu rir de nouvelles connaissan ces lire pour tre valuer comme c est le cas pr sent du module etc Des proc dures de r gulation m tacognitives intervenant avant pendant et apr s la lecture permettront de moduler les processus en fonction d objectifs particuliers En cons quence le mod le de situation est lui m me d pendant de ces objectifs CONOMIE ET STATISTIQUE N 424 425 2009 67 68 Les processus mis en jeu dans la compr hen sion se d veloppent en troite relation avec la m moire du lecteur Il s agit de la m moire per manente long terme qui stocke l ensemble des connaissances linguistiques et extralinguis tiques d une part et de la m moire de travail qui assure la gestion des processus et le main tien temporair
18. et compr hension du langage Presses Universitaires de Lille Lille Ehrlich M F Tardieu H et Cavazza M ds 1993 Les mod les mentaux approche cognitive des repr sentations Masson Paris GathercoleS E et Baddeley A D 1993 Working Memory and Language Erlbaum Hillsdale N J Gernsbacher M A 1990 Language Comprehension as a Structure Building Erlbraum Hillsdale N J Gernsbacher M A d 1994 Handbook of Psycholinguistics Academic Press San Diego CA Gernsbacher M A et Foertsch J A 1999 Three Models of Discourse Comprehension dans S Garrod et M Pickering ds Language Processing Psychology Press East Sussex UK pp 283 300 Gernsbacher M A Varner K R et Faust M E 1990 Investigating Differences in General 83 84 Comprehension Skill Journal of Experimental Psychology Learning Memory and Cognition vol 16 n 3 pp 430 445 Glenberg A M Kruley P et Langston W E 1994 Analogical Processes in Comprehension Simulation of a Mental Model in M A Gernsbacher d Handbook of Psycholinguistics Academic Press San Diego CA pp 609 640 Goldstein H Bonnet G et Rocher T 2007 Multilevel Structural Equation Models for the Analysis of Comparative Data on Educational Performance Journal of Educational and Behavioral Statistics vol 32 n 3 pp 252 286 Gough P B Hoover W A et Peterson C L 1996 Some Observat
19. et dans le temps Des relations entre les entit s de type causal spatial tempo rel sont d crites dans les r cits Pourquoi avoir retenu ce type de documents D une part parce que ce document est largement utilis dans les documents de la vie quotidienne de type jour naux crits rubrique de faits divers etc Par ailleurs la structure de r cit permet d valuer non seulement le contenu de la repr sentation globale labor e par le compreneur mais elle permet galement de mesurer la compr hen sion de marques sp cifiques de coh sion Ainsi le r cit permet de mesurer la capacit se construire une repr sentation mentale coh rente des faits d crits dans le r cit partir de l analyse des diff rentes relations entre les entit s Le lec teur doit comprendre le vocabulaire compren Encadr 3 R cit d un fait divers preuve 1 Le r cit que nous avons retenu preuve 1 est celui qui pourrait tre crit dans une rubrique de faits divers o la plausibilit r elle du sc nario peut tre questionn e ll est relat dans ce r cit que deux ouvriers travaillant dans les souterrains d une ville auraient aper u un lion Le principe de l preuve est simple on pr sente dans le d sordre sept phrases crites les unes la suite des autres dans un ordre fixe not es de A G et la premi re t che que le participant a effectuer est d ordonner ces phrases de mani re constituer une
20. invit tout au long de l preuve se d placer mentalement dans un village Six ta pes sont propos es et pour chacune d elles une phrase introductive situ e en haut de la page lui indique l itin raire prendre e g Suivez la rue des H tres puis passez devant le cimeti re et vous arriverez devant la place de glise Puis il doit r pondre une question e g Lequel de ces trois itin raires correspond celui que vous venez de lire Les questions sont plus ou moins complexes En effet pour cer taines l enqu t doit rechercher l information qui est en quelque sorte donn e d embl e dans le document Par contre pour d autres il doit mettre en relation l nonc verbal de la ques tion la description imag e du plan et la l gende l une des questions faisait appel au rep rage des points cardinaux par exemple Ainsi pour r pondre correctement le participant doit appa rier des nonc s verbaux la phrase introductive et la question et la repr sentation spatiale du plan de village elle m me accompagn de mots crits des noms de rue par exemple Il tait important de proposer une telle preuve car dans la vie quotidienne nombre de fois nous som mes sollicit s comprendre des informations spatiales pour se d placer en voiture pied ou v lo Les personnes parviennent avec plus ou moins de difficult se former une repr senta tion correcte du lieu de destination
21. les hommes et les femmes qu on d coupe en J classes de com p tences quivalentes Le tableau ci dessous pr sente les effectifs de chaque cat gorie pour le niveau j Un cas de r partition des r ponses un item donn pour deux groupes d gale comp tence j R ponse l item Total Correcte Incorrecte Niveau j Groupe 1 A B n Groupe 2 C D Ny Total m m T La statistique de Mantel Haenszel Mantel et Haenszel 1959 est donn e par 2 1 4 MH Pj oj Mi Ma Mes Aj E Aj j l S var A j l nm L et Var A o E A dE 7 0 9 M E A ny peut tre vu comme le nombre de j r ponses correctes attendues pour le groupe 1 compte tenu de son effectif n et de la proportion de r ponses correctes de tous les membres du niveau j Nh L T E A E D Var A peut tre vu comme le produit Fe corrig de 1 x du nombre de r ponses correctes i attendues dans le premier groupe et du nombre de r ponses incorrectes attendues dans le deuxi me groupe Sous l hypoth se H A B C D la r ussite l item est ind pendante du groupe consid r on a approxima tivement MH x Holland et Thayer 1988 ont adapt cette proc dure en calculant l indice suivant A 2 85 In a AD BC o Y T L S T L c est dire une forme de j i rapport de
22. n Bu 2 By Yan Yrx k 0 o p est la proportion d individus du groupe de r f rence qui se situent au niveau k de score sur les n items valides Ya respectivement Yz est le score moyen observ sur l item ou le groupe d items l tude pour les individus du groupe de r f rence respectivement du groupe focal situ s au niveau k de score sur les n items valides Yj et sont des transformations de ces deux scores afin de tenir compte du fait que les deux groupes ont des distributions diff rentes sur 0 Dans ce cadre Bu amp B suit asymptotiquement une loi normale centr e r duite gt ECONOMIE ET STATISTIQUE N 424 425 2009 79 80 de pourcentage Ce r sultat peut sembler sur prenant tant donn les r sultats sup rieurs des filles en lecture enregistr es dans le cadre scolaire ou chez les jeunes de 17 ans lors de la Journ e d appel de pr paration la d fense voir la note d information r dig e par de La Haye ef al 2007 Si l ge et le contexte pourraient expliquer ce d calage par rapport d autres enqu tes il faut rappeler que les indi vidus passant le module Haut sont pr s lec tionn s et que les hommes connaissent plus souvent que les femmes de graves difficult s Encadr 6 suite En compl ment des tests statistiques Roussos et Stout 1996 ont pr sent une grille de classification empirique permettant d appr cier l ampleur des F
23. p 67 cf aussi Perfetti 2007 Ainsi les bons compreneurs la diff rence des faibles compreneurs disposent de repr senta tions lexicales phonologiques orthographiques et s mantiques de haute qualit qui leur permettent de former des repr sentations nouvelles pour des mots nouveaux par exemple Plus r cemment avec des techniques lectrophysiologiques Perfetti va plus loin en montrant que le traitement des mots est plus lent chez les faibles compreneurs compar s aux bons les diff rences entre les deux groupes s observant d s les premi res millisecondes apr s le d but du mot Landi et Perfetti 2007 Une deuxi me approche provenant des travaux r a lis s essentiellement chez l enfant stipule que la mai trise des m canismes de base de la lecture ne garantit pas elle seule un bon niveau de compr hension e g Cain et Oakhill 2006 Yuill et Oakhill 1991 certains ont un faible niveau de compr hension alors que leurs performances en lecture sont normales Pour ces auteurs ce sont les processus de haut niveau qui sont d faillants traitement des marques linguistiques assurant la coh rence textuelle mise en jeu des inf rences traitement des m taphores Ce qui apparait certain est que la finalit de l acte de lire est bien de comprendre le texte La maitrise des m canismes de base de la lecture apparait de mani re consensuelle indispensable la r alisation de la finalit de
24. qu il s est chapp du zoo et donc il faut l attra per pour le rendre ses propri taires si on ne l attrape pas il pourrait faire des d g ts dans la ville et devenir dangereux pour la population etc Nous ne donnons ici que quelques exemples d l ments que le partici pant a traiter L ordre des phrases ici est donc D C B A Exemple fictif limit quatre phrases A Ensuite une quipe de pompiers a t d ploy e par la mairie pour tenter d attraper cet animal et le rendre ses propri taires B Pr venant les services de la municipalit ils appre naient qu un lion s tait chapp du zoo situ quelques kilom tres de la ville C En effet deux ouvriers de la mairie ont d couvert un animal sauvage qui errait dans les souterrains de la ville D La nouvelle est tomb e ce matin dans la d p che du journal de la ville etc Dans cette preuve le participant r pond ensuite deux autres questions l une d entre elles vise extraire la proposition th matique du r cit ciblant donc l ana gt ECONOMIE ET STATISTIQUE N 424 425 2009 69 70 dre les phrases et assembler les phrases en un tout coh rent en analysant aussi les marques de la coh sion textuelle cf encadr 3 La lecture et l interpr tation d un graphique deuxi me preuve Il s agit d un graphique de type histogramme d crivant la r partition du trafic du kilom trage des v
25. rappeler ces mots imm diatement apr s On constate alors que les mots qui ont t pr sent s en premier sont bien rappel s On appelle cela l effet de primaut Une explication est qu il d pend du processus d autor p tition qui consiste se r p ter mentalement les mots de la liste apprendre au fur et mesure de leur pr sentation Ainsi les premiers mots pr sent s auraient plus de chance d tre transf r s dans une m moire permanente peu sensible l oubli Question 1 Les mots pr sent s en premier sont bien rappel s moyennement rappel s peu rappel s Question 2 Les mots qui ont une forte probabilit de se trouver en m moire permanente sont ceux qui ont t autor p t s un grand nombre de fois un petit nombre de fois peu importe le nombre de fois Question 3 Si l on emp che l autor p tition l effet de primaut devrait augmenter rester intact dispara tre La premi re question fait appel l analyse de surface du texte puisque l enqu t doit rep rer dans le texte le segment suivant les mots qui ont t pr sent s en premier sont bien rappel s L information est don n e d embl e et respecte la forme appariement litt ral entre la question et le texte La deuxi me question est de type paraphrase ciblant les processus syntaxico s mantiques l information est donn e dans le texte sous une autre forme Le partici
26. spatial prendrait en charge les informa tions visuo spatiales et la boucle articulatoire serait sp cialis e dans le traitement des informa tions verbales Baddeley et Logie 1999 Logie 1995 Un certain nombre d auteurs d fendent l id e que le mod le spatial est construit sur la base d un format non propositionnel Glenberg et al 1994 Haenggi et al 1995 Proc dure de validation Dimtest Afin de valider les dimensions d tect es par l analyse factorielle une m thode confirma toire la proc dure Dimtest permet de tester si un ensemble d items forme une dimension sp cifique compar un autre ensemble cf enca dr 4 Ainsi les quatre dimensions pr c den tes ont t test es une une chaque fois en comparaison avec les items restants De plus la dimension spatiale a t test e par rapport la dimension verbale Les r sultats de ces analy ses cf tableau 3 font ressortir que seules les dimensions spatiales cartes et graphiques se distinguent du reste des items Les deux fac teurs concernant les preuves verbales ne sont pas confirm s s par ment En revanche les items portant sur les preuves spatiales peuvent tre consid r s comme formant une dimension sp cifique par rapport aux items portant sur les preuves verbales Un tel r sultat serait en faveur d une sp cialisation des traitements en fonction de la nature des informations traiter verbale ou visuo spatial
27. DI 1 FDI n gligeable le test est significatif 5 et la valeur absolue de fi est inf rieure 0 059 2 FDI mod r le test est significatif 5 96 et la valeur absolue de Bu est comprise entre 0 059 et 0 088 3 FDI important le test est significatif 5 96 et la valeur absolue de fj est sup rieure ou gale 0 088 de lecture Degorre et Murat ce num ro Ce biais de s lection explique en partie les meilleures performances des hommes aux preuves du module Haut Sur l ensemble de l chantillon l estimation d un score global ne fait apparaitre aucune diff rence significative entre les deux groupes Murat et Rocher ce num ro En r alit une tude r cente a mon tr que si l on prend en compte la distinction entre lecture et compr hension cf encadr 1 il s av re que les femmes sont plus performan tes dans la maitrise des m canismes de base de Cette proc dure est int ressante dans la mesure o elle permet de tester le fonctionnement diff rentiel d un groupe d items bundle et non pas unique ment d un seul item Elle permet galement de tester les FDI non uniformes OU crois s c est dire qui diff rent selon le niveau de comp tence q Les FDI crois s ne sont pas ana lys s ici le faible nombre d items ne permettant pas de les interpr ter convenablement Tableau 5 Analyses des fonctionnements diff
28. Kruley et al 1994 Gyselinck et al 2002 Trois contraintes de l valuation Le module Haut vise donc valuer la compr hension de l crit chez une population ayant subi avec succ s le module d orientation Ce dernier pour une description cf Degorre et Murat ce num ro consiste en la lecture d un programme de t l vision l enqu t r pond des questions faisant appel aux processus d identification de mots et des questions relativement simples de compr hension et d extraction d informations pas de mise en jeu d inf rences par exemple Les preuves du module Haut ont t exclu sivement cr es pour les besoins de l enqu te Information et Vie Quotidienne Plusieurs contraintes taient impos es dans ce contexte La premi re concerne les types de documents que nous avons s lectionn s dans un respect de proposition de diff rents formats de sorte valuer la mobilisation des processus de com pr hension avec diff rents documents que la population peut rencontrer dans son quotidien Il tait donc important de proposer des supports familiers qui mobilisent des processus verbaux et des processus visuo spatiaux Par ailleurs la diversit dans les types de r ponses a galement t pr f r e de sorte viter d introduire de la monotonie dans le mode de r ponse de la part des participants questions ouvertes questions choix multiples etc La deuxi me contrainte
29. analyse Cet item qui n cessi te une lecture crois e de diff rentes donn es pr sentes dans le graphique preuve 2 comportait des ambiguit s dans sa formulation Lecture l item h1 est r ussi par 43 6 des individus ayant pass le module Haut d IVQ Avec un r7 de 0 42 cet item affiche un bon pouvoir discriminant cf encadr 4 Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 plus appropri e l inverse l item h22 qui concernait la description d un itin raire sur la base d indications vari es avec un indice de 0 42 est tr s li la dimension g n rale qui est mesur e dans cette preuve C est aussi le cas de litem h1 remise en ordre de sept phrases Dans l ensemble les valeurs des r sont satisfaisantes mais pas tr s lev es ce qui t moigne d un niveau moyen d inter corr la tions entre les items D ailleurs la valeur de l indice a de Cronbach qui est de 0 74 r v le un degr moyen d homog n it de l preuve cf encadr 4 Dimensionnalit de l preuve deuxi mes analyses L homog n it de l preuve telle que mesur e par l indice a de Cronbach renvoie galement au caract re unidimensionnel de l preuve L unidimensionnalit de l preuve est v rifi e si les performances des participants
30. ariables latentes continues Z et Z dont le couple Z Z suit une loi normale bivari e et telles que 1 si Zi 1 si Z gt ied 7 Hays 7 92 i 4 n Osi Z lt Osi Zi a5 o a wy o et a w p avec wy la fonction de r partition de la loi normale centr e r duite Le coefficient de corr lation t trachorique est le coeffi cient de corr lation lin aire entre Z et Z2 DEUX APPROCHES POUR TUDIER LA DIMENSIONNALIT D UN ENSEMBLE D ITEMS Approche confirmatoire la proc dure Dimtest Stout 1987 a propos et raffin Stout et al 2001 un test non param trique de l unidimensionnalit d un ensemble d items L id e principale consiste tester l ind pendance locale d un ensemble d items L ind pendance locale implique que les r ponses aux items sont ind pendan tes conditionnellement au niveau de comp tence des individus Cette hypoth se est la cons quence directe de l id e que sous l hypoth se d unidimensionnalit seul le niveau de comp tence conditionne la r ussite aux items La proc dure Dimtest teste l hypoth se faible d ind pendance locale c est dire que pour chaque paire j k d items et chaque niveau de comp tence 0 CowY Y 0 0 0 En pratique on choisit un groupe d items AT asses sment test dont on veut v rifier s ils forment une dimension Le groupe d items restant PT partitio ning test sert fixer les niveaux de performances
31. atiales Encadr 3 suite lyse globale du texte et la repr sentation mentale de la situation d crite dans le texte choix d un titre parmi quatre propositions toutes plausibles D p che inso lite Un lion dans la ville Les pompiers taient l Le zoo a d ploy des recherches La derni re ques tion concerne la compr hension d un mot de vocabu laire on extrait un mot du texte chapp puis on propose quatre autres mots enfui perdu arriv rega gn et le participant doit choisir lequel de ces mots pourrait remplacer le mot cette question pouvant tre r ussie m me si le participant choue dans la mise en ordre des phrases Classiquement les connaissan ces de vocabulaire sont valu es sur l analyse de la signification de mots isol s ce qui n est pas le cas ici puisque les mots cibles e g chapp sont ins r s dans l une des phrases du texte L enqu t peut donc prendre en compte l analyse syntaxico s mantique de la phrase pour r pondre cette question Texte th orique scientifique preuve 4 Le texte est ici assez court compar aux autres textes comme les preuves 1 et 3 Les participants d cou vrent un texte concernant un aspect du fonctionne ment de la m moire humaine Voici le texte pr sent et les questions La m moire humaine l effet de primaut Un exercice de m moire consiste lire une personne une liste de quinze mots et lui demander de
32. au traitement des informations linguis tiques contenues dans le message rendu possible gr ce aux comp tences lexicales et syntaxico s man tiques dont dispose le lecteur Ainsi lorsque le sujet maitrise bien la langue ces deux niveaux sont r alis s de mani re rapide automatique et non volontaire Ces deux niveaux sont valu s l aide de questions repre nant l information litt rale du texte caract ristiques de surface et l aide de question de paraphrases o le traitement syntaxico s mantique est cibl base pro positionnelle La repr sentation la plus labor e est le mod le de situation qui inclut la mise en jeu d informations non strictement linguistiques mobilisant les connaissances du compreneur partir de la base propositionnelle le compreneur engage des op rations inf rentielles qui lui permettent d enrichir la repr sentation qui devient alors une repr sentation non plus strictement s manti que mais une repr sentation de faits c est dire des actions des tats des v nements etc Ce niveau qui va au del des entit s linguistiques du message en int grant les connaissances g n rales du compreneur est plus riche Pour Kintsch les connaissances sont en m me temps le produit et la source des inf rences Ce dernier niveau peut donc tre adress l aide de questions de type inf rences o le lecteur doit int grer des informations linguistiques et ses connaissan ces cf en
33. aux et des rapports topologiques elle m me d pendante de l exp rience percep tivo motrice du sujet De plus des recherches ont montr que la finesse de la repr sentation d pend de la capacit de la m moire de travail le b n fice de la pr sence d illustrations n tant observ que chez des individus ayant une grande capacit de m moire de travail Kruley et al 1994 Gyselinck et al 2002 Les informations verbales et les informations spatiales constituent deux modes de pr sen tation qui ont des propri t s tr s distinctes ce qui n exclut pas que les deux puissent fonc tionner en interaction lorsque la fois langage et espace sont sollicit s Il est alors int ressant d examiner la sp cificit des processus enga g s lors du traitement des donn es verbales et lors du traitement des donn es de nature spa tiale La question de la sp cificit ou non des processus engag s dans l une et l autre forme revient poser la question de l ind pendance ou non du traitement des activit s langagi res et du traitement des activit s de nature spatiale Si nous r alisons une analyse en rotation oblique Promax en deux facteurs c est bel et bien un facteur verbal d une part et un facteur spatial et figur d autre part qui se distingue cf annexe Rappelons que les travaux issus de l tude des composants de la m moire de travail pr nent une ind pendance des traitements le calepin visuo
34. aux items propos s sont expliqu es par le degr de mai trise d une seule et m me comp tence Pour de nombreuses valuations l unidimensionna lit de l preuve est une propri t recherch e Rocher 2003 Cette propri t permet en effet d appliquer des mod les statistiques tels que les mod les de r ponse l item cf Murat et Rocher ce num ro Plus simplement le calcul d un score brut nombre de bonnes r pon ses sugg re qu il est possible d additionner les r sultats obtenus aux items et donc que chacun d entre eux mesure la m me dimension Le module Haut cible diff rents processus mis en ceuvre dans la compr hension de documents crits allant du niveau du mot vocabulaire par exemple aux phrases puis l organisation du document dans son ensemble o le sujet doit tablir la coh rence locale et globale cf enca dr 2 D s lors il est int ressant d tudier dans quelle mesure ces diff rents aspects sous ten dent les r ponses observ es Autrement dit la structure des relations entre les items refl te t elle les diff rents processus mis en jeu dans la compr hension de documents de diff rents formats La dimensionnalit de l preuve peut ainsi tre entendue comme le nombre de com p tences ou dimensions latentes n cessaires pour r pondre correctement aux items propos s Nandakumar 1994 Cependant la dimensionnalit d un ensem ble d items n est pas facile appr
35. cette activit complexe Alors que Perfetti stipule une intrication entre lecture et com pr hension Oakhill et ses coll gues con oivent une relative ind pendance entre lecture et compr hension De part leur position respective les faibles et les bons compreneurs compar s dans leurs tudes ne pr sen tent pas tout fait les m mes caract ristiques alors que Perfetti contraste les deux groupes uniquement sur une preuve de compr hension globale Oakhill et ses coll gues contr lent en plus les niveaux de voca bulaire et de d chiffrage de sorte que les deux grou pes sont contrast s sp cifiquement sur des preuves de compr hension de textes La relative ind pendance entre lecture et compr hension est soulign e dans le mod le simple de Gough et Tunmer 1986 cf aussi Hoover et Gough 1990 propos pour des langues ayant un syst me d criture alphab tique The Simple View est un mod le multiplicatif qui con oit que la compr hen sion de l crit r sulte du produit de deux composan tes l identification des mots et la compr hension du langage oral La premi re est une activit sp cifique de l crit tandis que la compr hension du langage ne l est pas puisque les processus de haut niveau ceux allou s l analyse syntaxico s mantique et ceux assurant l organisation textuelle sont dans une cer taine mesure communs l crit et l oral La relation multiplicative entre les deux
36. cier car elle d pend de nombreux facteurs ext rieurs li s aux 73 74 individus et aux items Juhel 1999 La moti vation la pr f rence pour certains th mes le format des items etc sont autant de param tres qui influencent la structure des r ponses C est pourquoi de nombreuses m thodes ont t mises au point pour tudier la dimensionnalit d un ensemble d items Tate 2003 et l ana lyse de la structure des r ponses aux items est l objet de recherches r centes s appuyant sur des mod lisations complexes Goldstein ef al 2007 Deux approches sont envisag es ici cf encadr 5 une approche exploratoire reposant sur l analyse factorielle des corr lations entre items et une approche confirmatoire bas e sur des m thodes non param triques Analyses factorielles exploratoires Les analyses factorielles cf encadr 5 sont employ es ici de mani re exploratoire Un pre mier facteur dominant appara t clairement cf graphique la premi re valeur propre vaut 5 9 la deuxi me 1 4 et la troisi me 1 3 Quantit d indices ont t propos s pour juger de l unidimensionnalit partir de ces r sul tats Hattie 1985 Par exemple le rapport des deux premi res valeurs propres vaut ici 4 2 ce qui tend indiquer une structure unidimen sionnelle Ce premier r sultat en faveur d une structure unidimensionnelle traduirait le fait que les processus cibl s par nos items
37. construction d une repr sentation men tale coh rente Face un document crit le lecteur doit extraire du sens et pour y parvenir il s engage dans une activit de construction de repr sentations Comme le rappelle Le Ny 2005 p 104 dans son dernier ouvrage La compr hension d un nonc c est dire son traitement cognitif dans l esprit cerveau d un compreneur y produit causalement d abord une suite de sous processus et d tats mentaux transitoires qui aboutissent finalement la construction d une repr sentation s mantique terminale mentale qui est compos e et structu r e c est cette repr sentation qui constitue le sens de l nonc La compr hension est donc une activit de construction de sens Pour parvenir cette construction le lecteur doit lire les mots composant les phrases et le texte et il doit en comprendre l ensemble La fina lit de l acte de lire est bien de comprendre le texte Il existe un consensus entre les auteurs pour accorder un r le important l identifica tion des mots dans l activit de compr hension de l crit Sans maitrise des m canismes de base de la lecture le sujet ne peut parvenir comprendre tout au moins dans une situation de langage crit Le d bat se situe du c t de la relative ind pendance entre la lecture et la compr hension Alors que certains postulent une intrication entre l identification des mots et la compr hension Perfetti et
38. cotes odds ratio entre les deux groupes Le signe de A donne le sens de la diff rence Une valeur positive indique que le groupe 1 est d savantag i e son taux de r ussite est moins lev que le groupe 2 niveau de comp tence gal une valeur n gative qu il est avantag Une valeur absolue sup rieure 1 indi que un fonctionnement diff rentiel important La proc dure Sibtest Simultaneous Index of Bias Shealy et Stout 1993 ont mis au point une proc dure Sibtest pour d tecter les fonctionnements diff ren tiels d items qui s appuient sur le cadre des mod les de r ponse litem multidimensionnels cf Murat et Rocher dans ce num ro pour une pr sentation des mod les de r ponse l item Le FDI est tudi entre deux groupes le groupe focal F du groupe de r f rence R On distingue deux varia bles latentes la comp tence 0 et une variable de nui sance n La distribution de la variable n conditionnel lement 0 est suppos e diff rente selon le groupe On consid re alors que les items sensibles cette variable de nuisance i e dont les r ponses d pendent de n 0 fix pr sentent un fonctionnement diff rentiel En pratique on d termine un ensemble d items dits valides servant fixer le niveau de comp tence II s agit ensuite d tudier les diff rences de performan ces aux items suspects selon le niveau de comp tence estim La statistique suivante est calcul e
39. ctif est de recueillir un niveau global de compr hen sion Il comporte six questions ciblant diff rents processus connaissance du vocabulaire analyse syntaxico s mantique et organisation textuelle Certaines questions plus complexes visent valuer la construction de la coh rence via l laboration d inf rences l enqu t devant mobiliser ses connaissances et les mettre en relation avec les informations du texte Lire et comprendre un texte th orique de nature scientifique quatri me preuve L preuve fait appel un certain degr d abs traction dont le th me porte sur le fonction nement d une capacit humaine la m moire Le mod le de situation labor est un mod le conceptuel qui se veut tudier la capacit construire une repr sentation mentale coh rente en l absence a priori de connaissances sp ci fiques du participant Ce dernier doit r pondre trois questions plus ou moins complexes la premi re porte sur l extraction d informations de surface la seconde porte sur l analyse syn taxico s mantique d une phrase et pour la der ni re et la troisi me adresse le mod le de situa tion pour un exemple analogue cf encadr 3 valuer la capacit former une repr sentation de type mod le visuo spatial cinqui me preuve Cette preuve originale associe des informations visuo spatiales et des nonc s verbaux Le par CONOMIE ET STATISTIQUE N 424 425 2009 ticipant est
40. dans A Boomsma M A J van Duijn et T A B Snijders ds Essays on Item Response Theory Springer Verlag New York pp 357 375 Stumpf H et Eliot J 1995 Gender Related Differences in Spatial Ability and the k Factor of General Spatial Ability in a Population of Academically Talented Students Personality and Individual Differences vol 19 n 1 pp 33 45 Stumpf H et Eliot J 1999 A Structural Analysis of Visual Spatial Ability in Academically Talented Students Learning and Individual Differences vol 11 n 2 pp 137 151 Tate R 2003 A Comparison of Selected Empirical Methods for Assessing the Structure of Responses to Test Items Applied Psychological Measurement vol 27 n 3 pp 159 203 Traxler M Handbook of Psycholinguistics Elsevier New York et Gernsbacher M A 2006 2e dition Voyer D Nolan C et Voyer S 2000 The Relation Between Experience and Spatial Performance in Men and Women Sex Roles vol 43 n 11 12 pp 891 915 Voyer D Voyer S et Bryden M 1995 Magnitude of Sex Differences in Spatial Abilities A Meta Analysis and Consideration of Critical Variables Psychological Bulletin vol 117 n 2 pp 250 270 Vrignaud P 2002 Les biais de mesure savoir les identifier pour y rem dier Bulletin de Psychologie vol 55 n 6 pp 625 634 Yuill N et Oakhill J V 1991 Children s Problems in Text Comprehension Cambr
41. donc deux items h13 et h17 pris comme exemple on pr sente cf tableau 4 les taux de r ussite des hommes et des femmes ces items tranche de score gal ce qui permet d identifier la pr sence de fonctionnements diff rentiels L item h13 preuve texte expositif pr sente un fonctionnement diff rentiel en ce sens que tranche de score gal il est mieux r ussi par les femmes en revanche l item h17 preuve des cartes ne pr sente pas de fonctionnement diff rentiel L identification des fonctionnements diff ren tiels permet notamment de rep rer les items biais s c est dire qui mesurent autre chose que ce qu ils sont cens s mesurer Les FDI sont galement utiles pour d terminer si tel ou tel groupe peut subir un d savantage Par exemple la recherche de FDI est particuli rement impor tante dans les comparaisons internationales o elle permet de mettre jour des biais cultu rels Rocher 2003 De nombreuses m thodes ont t propos es pour identifier des FDI Millsap et Everson 1993 La longueur du test la taille de l chan tillon le nombre d items biais s sont autant de facteurs pouvant expliquer la meilleure adapta tion de telle ou telle m thode C est pourquoi il est pr f rable de confronter les r sultats de dif f rentes m thodes Deux m thodes ont t rete nues ici la proc dure classique dite de Mantel Haenszel telle que d velopp e par Holland et Thayer
42. e Comme nous l avons pr cis les diff rences entre les hommes et les femmes seraient pour certains auteurs une confirma tion que ces deux dimensions sont distinctes Tableau 3 Tests de dimensionnalit selon la proc dure confirmatoire Dimtest AT T r T P value oe 8 Sp cifique h17 h18 h19 h20 h21 h22 7 8 5 4 2 3 0 0096 Oui m h2 h8 h9 h14 h15 3 5 3 2 0 2 0 4023 Non h3 h10 h11 h12 3 8 3 2 0 6 0 2750 Non h4 h5 5 0 1 7 3 3 0 0005 Oui Verbal Spatial Graphique et cartes 9 5 7 8 1 7 0 0446 Oui Lecture premi re ligne le groupe de 6 items h17 h18 h19 h20 h21 et h22 constitue le groupe AT assessment test dont on veut v rifier s ils forment une dimension le groupe de 15 items restant PT partitioning test servant fixer les niveaux de performances La statistique T est construite partir des covariances observ es entre les items du groupe AT conditionnellement au score observ sur l ensemble des items PT Cette statistique est compar e la m me statistique not e T obtenue sur des donn es simul es selon un cadre unidimensionnel La diff rence standardis e T entre les deux statistiques suit asymptotiquement une loi normale centr e r duite Le test est unilat ral car il s agit de tester la sup riorit de T sur T Les items portant sur les cartes h17 h22 c est dire un des facteurs de l analyse factorielle forment une dimension sp cifique P value lt 0
43. e d un nombre limit d informa tions au fur et mesure que le sujet lit le docu ment d autre part D apr s Baddeley 1986 la m moire de travail est un syst me de capacit limit e charg e du maintien temporaire et du traitement des informations pendant la r alisa tion de t ches cognitives complexes telles que la compr hension ou le raisonnement Gathercole et Baddeley 1993 Ainsi le compreneur au fur et mesure qu il prend connaissance des infor mations du texte sollicite sa m moire de travail puisqu il doit a la fois traiter les informations et les stocker au moins temporairement dans le but de comprendre le texte ou le document La m moire de travail est un syst me complexe dot de plusieurs composants dont un processeur charg de la gestion de l attention et du contr le et de deux sous syst mes impliqu s l un dans le traitement des informations verbales et l autre dans le traitement des informations spatiales et imag es Ces deux sous syst mes seraient ind pendants et sp cialis s Baddeley et Logie 1999 Logie 1995 ce qui signifie que le traite ment des informations verbales est r alis ind pendamment du traitement des informations spatiales Des recherches ont montr que la pr sence d illustrations dans un texte crit facilite la compr hension Cependant ce b n fice n est possible que chez les individus disposant d un bon niveau de capacit de m moire de travail
44. ehension Skill in D S Gorfein d On the Consequences of Meaning Selection Perspectives on Resolving Lexical Amgiguity Decade of Behavior American Psychological Association Washington pp 67 86 Perfetti C A 2007 Reading Ability Lexical Quality to Comprehension Scientific Studies of Reading vol 11 n 4 pp 357 383 Rahman Q et Wilson G D 2003 Large Sexual Orientation Related Differences in Performance on Mental Rotation and Judgments of Line Orientation Tasks Neuropsychology vol 17 n 1 pp 25 31 Rocher T 2003 La m thodologie des va luations internationales de comp tences Psychologie et Psychom trie vol 24 n 2 3 ditions EAP Paris Roussos L A et Stout W F 1996 Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel Haenszel Type I Error Performance Journal of Educational Measurement vol 33 n 2 pp 215 230 Shealy R et Stout W F 1993 A Model Based Standardization Approach that Separates True Bias DIF from Group Ability Differences and Detects Test Bias DTF as Well as Item Bias DIF Psychometrika vol 58 n 2 pp 159 194 Stout W 1987 A Nonparametric Approach for Assessing the Latent Trait Unidimensionality Psychometrika vol 52 n 4 pp 589 617 Stout W Froelich A G et Gao F 2001 Using Resampling Methods to Produce an Improved DIMTEST Procedure
45. es que les phrases affir matives Le compreneur s engage ensuite dans des calculs de liens s mantiques et pragmatiques que cette phrase peut entretenir avec celles d j trait es ou celles qui sont venir ce niveau il s agit d orga niser les phrases de sorte qu elles forment un texte Il n existe pas vraiment de r gles formelles comme pour PROCESSUS IMPLIQU S LORS DE LA COMPR HENSION ET REPR SENTATIONS COGNITIVES la syntaxe d une phrase qui d terminent pr cis ment comment le texte doit tre construit La continuit entre les phrases est assur e par des marques linguistiques sp cifiques telles que les connecteurs e g Paul est gentil avec Jacques Mais le probl me est que ou encore les anaphores Une anaphore est une expres sion qui renvoie un r f rent pr c demment cit dans le texte c est le cas des pronoms e g Paul est gentil avec Jacques Il veut le prot ger Les pronoms sujet et objet e r f rent respectivement Paul et Jacques La coh sion textuelle est galement assur e par les marques de temps qui d crivent la s quentia lit des v nements e g marques aspectuelles sur les verbes adverbes les marques de coh sion spa tiale qui situent spatialement au fur et mesure le r cit e g Sous le chapiteau etc Il est crucial pour un lecteur de faire des connexions entre les phrases L preuve 1 du module a pour objectif pr cis d inviter le participant a
46. fetti 1994 Kintsch 1998 La r alisation de ces processus cf encadr 2 qui s appuie sur une coordination complexe de traitements et de stockages d informations est contrainte par l architecture du syst me cognitif et notam ment par les capacit s limit es de la m moire de travail syst me d crit quelques lignes ci des sous Caplan et Waters 1999 Carpenter ef al 1994 Gathercole et Baddeley 1993 Comme le pr cise le mod le de Kintsch 1988 1998 la repr sentation mentale mise en place au cours de la lecture s tablit via des proces sus de construction int gration Pour aboutir une repr sentation coh rente le compreneur extrait et traite les informations linguistiques contenues dans le document et il mobilise ses connaissances du monde pour enrichir la repr sentation Ces connaissances sont en fait des repr sentations cognitives g n rales pro pres chacun Le Ny 2005 fait une distinction entre deux sources d informations n cessaires la premi re dite externe renvoie l information linguistique composant l nonc et l informa tion interne concerne toutes sortes de connais Encadr 2 Les diff rents niveaux de repr sentation au niveau du mot de la phrase du texte Les processus sollicit s durant l activit de compr hension de documents crits prennent en compte les diff rentes dimensions du langage lexicale syn taxique s mantique et pragmatique
47. finit trois niveaux de repr sentation le niveau de surface la base de texte propositionnelle et le mod le de situation Le niveau le plus superficiel est l analyse des caract ristiques de surface qui consiste en une sorte de traduction strictement linguistique et litt rale des mots et des phrases La base proposition nelle qui partir de la repr sentation de traitement de surface est aboutie gr ce aux traitements s man tiques et conceptuels que le lecteur engage Ainsi au cours de la lecture d un texte le lecteur construit une liste hi rarchis e de propositions avec une proposi tion importante qui situe la th matique du contenu du texte et des propositions subordonn es qui sont galement reli es les unes aux autres Kintsch d fi nit la macrostructure et la microstructure La premi re renvoie la proposition th matique qui est une sorte de r sum de l information du texte et la seconde comporte l ensemble des propositions du texte Dans notre module nous questionnons la macrostructure par exemple par une question du type Choisissez un titre parmi quatre propos s qui conviendrait le mieux au r cit que vous venez de lire les propositions faites sont toutes plausibles mais l une d entre elles r sume mieux la situation d crite dans le r cit ce qui rend le choix plus difficile Les deux premiers niveaux de repr sentation carac t ristiques de surface et base propositionnelle sont r alis s gr ce
48. h Specific Reading Comprehension Difficulties British Journal of Educational Psychology vol 76 n 4 pp 683 696 Caplan D et Waters G S 1999 Verbal Working Memory and Sentence Comprehension Behavioral and Brain Sciences vol 22 n 1 pp 77 94 Carpenter P A Miyake A et Just M A 1994 Working Memory Constraints in Comprehension Evidence from Individual Differences Aphasia and Aging in Gernsbacher M A d Handbook of Psycholinguistics Academic Press San Diego CA pp 1075 1122 Choi J et Sylverman I 2003 Processes Underlying Sex Differences in Route Learning Strategies in Children and in Adolescents Personality and Individual Differences vol 34 n 7 pp 1153 1166 Dabbs J M Chang E L Strong R A et Milun R 1998 Spatial Ability Navigation Strategy and Geographic Knowledge Among Men and Women Evolution and Human Behavior vol 19 n 2 pp 89 98 CONOMIE ET STATISTIQUE N 424 425 2009 de La Haye F Gombert J E Rivi re J P et Rocher T 2007 Les valuations en lecture dans le cadre de la journ e d appel de pr paration la d fense Ann e 2006 Note d information n 07 25 MEN Depp http media education gouv fr file 25 6 5256 pdf Dickes P Tournois J Flieller A et Kop J L 1994 La psychom trie Th orie et pratique de la mesure en psychologie Presses Universitaires de France Paris Ehrlich M F 1994 M moire
49. ictimes et des tu s selon le type de voies autoroutes routes nationales routes d parte mentales et voies urbaines Le lecteur doit donc combiner des informations visuo spatiales et des nonc s verbaux Comme pr cis dans la partie th orique les graphiques permettent de renfor cer la repr sentation mentale labor e sur la base des nonc s verbaux et ont donc une fonc tion facilitatrice Ils sont susceptibles de parti ciper la construction d un mod le de situation qui est labor sur la base d informations figu ratives et verbales Le participant doit r pondre trois questions tout en gardant sous les yeux le graphique Pour inciter le lecteur se r f rer au graphique et non ses connaissances les questions commencent toutes par D apr s le graphique Elles varient en termes de difficult les deux premi res font appel des recherches d informations avec une analyse des caract ristiques de surface tandis que la troi si me sollicite des processus plus complexes o le lecteur doit mettre en relation les deux varia bles et doit faire appel une inf rence simple l information n est pas donn e par une simple lecture Notre choix s est orient vers ce type de document en raison de l utilisation fr quente que l on peut en faire au quotidien mais ga lement parce qu il tait int ressant d valuer la compr hension associant des nonc s verbaux et des informations visuo sp
50. idge University Press Cambridge ECONOMIE ET STATISTIQUE N 424 425 2009 85 86 ANNEXE TABLEAU DE L ANALYSE FACTORIELLE AVEC ROTATION OBLIQUE PROMAX SUR DEUX FACTEURS A Corr lations semi partielles entre les items et les facteurs d une analyse factorielle en rotation oblique Promax avec deux facteurs Items Facteur 1 Facteur 2 h1 0 43 0 15 R cit h2 0 20 0 09 h3 0 35 0 07 h4 0 17 0 28 Graphique h5 0 19 0 31 h6 0 22 0 09 h8 0 36 0 03 h9 0 42 0 08 Texte h10 0 33 0 00 expositif h11 0 35 0 00 h12 0 54 0 05 h13 0 42 0 03 h14 0 31 0 12 ee a h15 0 13 0 10 q h16 0 21 0 09 h17 0 01 0 42 h18 0 03 0 41 Cartes h19 0 12 0 53 spatiales h20 0 03 0 45 h21 0 12 0 39 h22 0 07 0 65 B Corr lations entre les facteurs Facteur 2 Facteur 1 0 61 Lecture les corr lations sup rieures 0 20 sont en gras Le facteur 2 comprend les items portant sur les cartes spatiales et les graphiques sauf h6 Il est corr l 0 61 avec le facteur 1 Champ individus ayant pass le module Haut de l enqu te IVQ 2004 Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009
51. iff rents choix propos s t che faisant appel une comp tence diff rente de celle vis e par les autres items etc Laveault et Gr goire 2002 Par exemple l item h2 tait une question concernant la th matique du r cit une sorte de r sum savoir D apr s vous quel titre r sume le mieux le texte Plusieurs choix de titres taient pro pos s dont l un tait le plus appropri mais les autres pouvaient tre plausibles mais moins appropri s pour un exemple cf encadr 3 L indice 0 20 sur cet item indique que le choix d un de ces titres ne pr sage pas assur ment de la r ussite ou de l chec aux autres items du module Les distracteurs les autres choix pos sibles pour r pondre ici ne sont sans doute pas suffisamment loign s de la proposition la Tableau 1 Taux de r ussite et pouvoir discriminant rt des items du module Haut bis point Taux de items 1 r ussite l bis point R cit h1 43 6 0 42 h2 78 5 0 20 h3 84 7 0 29 Graphique h4 83 0 0 31 h5 88 7 0 32 h6 72 6 0 23 Texte expositif h8 84 0 0 25 h9 86 2 0 33 h10 38 3 0 27 h11 31 7 0 26 h12 74 4 0 36 h13 61 6 0 35 Texte th orique h14 78 5 0 31 h15 61 1 0 17 h16 52 2 0 22 Cartes h17 80 0 0 30 spatiales h18 60 2 0 28 h19 92 5 0 37 h20 63 7 0 36 h21 79 1 0 37 h22 70 0 0 42 1 L item h7 avec un taux de r ussite de 11 3 96 et un T ena de 0 04 a t cart de l
52. int grer un nombre d items plus important dans ce module En effet si l tude de la dimension nalit du module haut est fragilis e par le fai ble nombre d items 21 elle doit n anmoins permettre d apporter quelques indications pour laborer d autres items Taux de r ussite et discrimination premi res analyses Le taux de r ussite et le Trig point permettent de mesurer la difficult et la discrimination des 21 items du module Haut En particulier le a a T Fhis point indique dans quelle mesure litem s inscrit dans la dimension g n rale corr la tion entre l indicatrice de r ussite l item et le score global obtenu aux autres items de l va luation Il indique galement la diff rence de performance constat e entre les individus qui r ussissent l item et ceux qui l chouent cf encadr 4 Le taux de r ussite moyen sur l ensemble du module s l ve pr s de 70 96 ce qui indique que le module est une preuve plut t facile cf tableau 1 Conform ment nos attentes les items sont de difficult variable le taux de r us site est compris entre 31 7 et 92 5 96 taux qui varie selon la complexit de la question et les niveaux de repr sentation sollicit s Ainsi les questions adressant les caract ristiques de sur face autrement dit les questions faisant appel l extraction litt rale des informations du texte sont mieux r ussies que celles qui sollicitent les relation
53. ion entre compr hension de l crit et compr hension de l oral devrait tre tr s forte chez l adulte C est ce que Gernsbacher et al 1990 observent chez de jeunes tudiants anglophones corr lation de 0 92 Notons que la corr lation entre la compr hension de l crit et la compr hension des images est assez forte galement elle est de 0 80 Les auteurs concluent que la compr hension chez l adulte est une activit complexe d pendante d un syst me g n ral impli qu dans le traitement des informations crites ora les et imag es Gernsbacher 1990 Graesser et al 2002 Traxler et Gernsbacher 2006 Soulignons que ces r sultats ne sont pas observ s avec une popula tion tout venant et que les textes l crit et l oral taient de m me nature des r cits ce qui signifie que la structure des textes ne tenait pas compte de la sp cificit des formes de langage crit et oral e g les textes de type conversationnel pour l oral n ont pas t consid r s Enfin les auteurs n ont pas va lu l identification des mots isol s ni la lecture de textes CONOMIE ET STATISTIQUE N 424 425 2009 65 66 rent l analyse syntaxico s mantique des propo sitions et des phrases et la mise en place de la double coh rence locale et globale afin d la borer une repr sentation mentale de la signi fication du contenu du texte Ehrlich 1994 Kintsch 1998 Gernsbacher et Foertsch 1999 Per
54. ions on a Simple View of Reading dans C Cornoldi et J Oakhill ds Reading Comprehension Difficulties Processes and Intervention Lawrence Erlbaum Associates Mahwah NJ pp 1 13 Gough P B et Tunmer W E 1986 Decoding Reading and Reading Disability Remedial and Special Education vol 7 n 1 pp 6 10 Graesser A C Gernsbacher M A et Goldman S J ds 2002 Handbook of Discourse Processes Erlbraum Nahwah N J Gyselinck V Cornoldi C Dubois V de Beni R et Ehrlich M F 2002 Visuospatial Memory and Phonological Loop in Learning From Multimedia Applied Cognitive Psychology vol 16 n 6 pp 665 685 Hattie J 1985 Methodology Review Assessing Unidimensionality of Tests and Items Applied Psychological Measurement vol 9 n 2 pp 139 164 Haenggi D Kintsch W et Gernsbacher M A 1995 Spatial Situation Models and Text Comprehension Discourse Processes vol 19 n 2 pp 173 199 Holland P W et Thayer D T 1988 Differential Item Performance and the Mantel Haenszel Procedure dans P W Holland et H Braun ds Test Validity Lawrence Erlbaum Associates Hillsdale N J pp 129 145 Hoover W A et Gough P B 1990 The Simple View of Reading Reading and Writing vol 2 n 2 pp 127 160 Juhel J d 1999 Le mod le de la r ponse a litem num ro sp cial de Psychologie et Psychom trie vol 20 n 2 3 Kintsch W
55. isant clairement r f rence au traitement des informations spatiales l autre aux informations contenues dans le graphique et les deux autres font r f rence au traitement des informations linguistiques contenues dans les trois preu ves verbales Il apparait que la distinction entre ces deux derniers facteurs bien qu elle ne soit pas tranch e renverrait la distinction entre la mobilisation des connaissances lexicales et syntaxico s mantiques d une part et la mise en relation entre les informations verbales et la mobilisation des connaissances d autre part Cette analyse exploratoire est une premi re ten tative qui permet d tudier les dimensions qui mergent partir du module Cependant en raison du nombre limit d items nous resterons prudents sur la validit de cette analyse Une seconde analyse l aide d une m thode confir matoire les quatre dimensions pr c dentes ont t test es une une chaque fois avec les items restants montre que seuls deux facteurs demeurent distincts il s agit d un facteur visuel et spatial cartes spatiales et graphique et d un facteur strictement verbal L tablissement de ces deux dimensions serait en faveur d une sp cialisation du traitement des informations selon leur nature verbale ou visuo spatiale La question de la sp cialisation parait confir m e par l tude des fonctionnements diff ren tiels li s au sexe des participants De mani re g n rale le modu
56. le est mieux r ussi par les hommes et ce pour la grande majorit des items en moyenne 72 3 pour les hommes contre 67 5 pour les femmes Lorsque cette question est approfondie en tudiant les biais 1 li s au sexe c est dire niveau de performance gale entre les deux groupes on tudie la r us site de chaque item selon le sexe on observe que la majorit des items sont biais s en faveur des hommes Un r sultat classique qui se d gage est le biais syst matique sur les preuves visuo spatiales en faveur des hommes plan du village et graphique expliqu e dans la litt rature en termes d exp rience perceptivo motrice plus importante d s le plus jeune ge chez les gargons Nous observons des biais en faveur des femmes sur quelques items qui sollicitent des informations de nature verbale mais ces biais restent peu nombreux D autres fonctionnements diff rentiels seraient int ressants d tudier En effet la question de la langue maternelle pourrait tre creus e pour tudier la r percussion long terme du fait que certains individus ne sont pas de langue maternelle fran aise Dans le m me registre il serait alors souhaitable d tudier l influence du temps d exposition la langue frangaise chez les participants arriv s tardivement en France Le module Biographique en l tat nous permet de consid rer le premier aspect mais le second devrait tre affin pour la pr
57. ler le mod le de situation o le compreneur sollicite d autres processus comme la mise en jeu de connais sances du monde D ailleurs nous pouvons y trouver l une explication la saturation de l item h6 sur le facteur 3 lequel bien que por tant sur le graphique sollicitait les connaissan ces du participant il est probable que certains aient r pondu uniquement sur la base de leurs connaissances L explication de la distinction entre les facteurs 2 et 3 n est qu une premi re tentative qui doit tre consid r e avec beaucoup de prudence parce que les niveaux de repr sen tation ne sont pas si tranch s dans les questions par exemple le vocabulaire est valu parfois en lien avec l analyse syntaxico s mantique de la phrase La saturation de certains items sur les deux facteurs 2 et 3 pourrait appuyer cette remarque En effet l item hl par exemple qui concernait la remise en ordre de sept phrases n cessite la fois l extraction des informations A Corr lations semi partielles entre les items et les facteurs de l analyse factorielle en rotation oblique en quatre facteurs Items Facteur 1 Facteur 2 Facteur 3 Facteur 4 h1 0 10 0 28 0 24 0 02 R cit h2 0 05 0 20 0 06 0 00 h3 0 07 0 08 0 32 0 03 h4 0 05 0 01 0 06 0 59 Graphique h5 0 01 0 06 0 05 0 87 h6 0 05 0 18 0 37 0 22 h8 0 07 0 33 0 10 0 08 h9 0 00 0 35 0 15 0 05 Texte expositif nto 0 04 0 03 0 42 0
58. lle inscrite dans un contexte social Elle met en jeu des processus psycholinguistiques cognitifs motivationnels dont la r alisation d pend de facteurs affectifs sociologiques et culturels La ma trise de la compr hension est donc sous la d pendance de facteurs complexes et multidimensionnels qui interagissent ce qui rend difficile l tude de la contribution respective de chacun d entre eux L outil d valuation de la compr hension de l crit qui est l objet de notre tude a t bap tis module Haut parce qu il est destin toucher une population n ayant pas de difficul t s dans la maitrise des m canismes de base de la lecture Rappelons que le module d orienta tion Degorre et Murat ce num ro op re une s lection parmi les r pondants l enqu te sur la base d une preuve de lecture de mots et de r ponses des questions de compr hension Le support utilis est une pr sentation visuelle d un programme t l vis Les questions sont relati vement simples puisqu elles font r f rence au traitement d informations explicites pr sentes dans le document Les participants ayant des difficult s sont orient s vers le module ANLCI Agence nationale de lutte contre l illettrisme Le module Haut a t congu de sorte mesurer le niveau de compr hension l aide de docu ments de diff rente nature que la population rencontre dans son quotidien Cinq preuves suffisamment attrayantes ont t
59. n faveur d une sp cialisation du traitement des informations selon leur nature verbale ou visuo spatiale La sp cialisation parait confirm e par l tude des fonctionnements diff rentiels li s au sexe Un r sultat classique qui se d gage est le biais d fini par la r ussite de chaque item selon le sexe niveau de performance gale entre les deux groupes syst matique sur les preuves visuo spatiales en faveur des hommes plan du village et graphique Nous observons des biais en faveur des femmes sur quelques items qui sollicitent des informations de nature verbale mais ils sont peu nombreux Universit Paris 13 UTRPP EA 3413 Villetaneuse Minist re de l Education Nationale DEPP Paris Universit Ren Descartes UMR 8189 CNRS Boulogne Billancourt Nous remercions les deux rapporteurs anonymes pour leurs remarques qui ont permis d am liorer notre article Nos remerciements s adressent galement Marie France Ehrlich Directeur d Etudes Honoraire EPHE Universit Paris 5 et Daniel Verger responsable de l Unit M thodes statistiques l Insee pour leurs pr cieux conseils L laboration des preuves du module Haut a b n fici de deux contrats financ s par la Direction de l Evaluation et de la Prospective et de la Performance Minist re de l ducation Nationale France CONOMIE ET STATISTIQUE N 424 425 2009 63 64 L a compr hension de documents crits est une activit individue
60. nalyser les marques de coh sion de sorte remettre dans l ordre une suite de sept phra ses pr sent es dans le d sordre Pour r aliser cette preuve l enqu t doit chercher la coh rence entre les phrases par le biais notamment de l analyse de la coh sion textuelle cf l exemple fictif en encadr 3 Parfois la pr sence de marques de coh sion est soit inexistante soit insuffisante pour arriver construire une repr sentation coh rente Le compreneur met en jeu d autres op rations comme la mise en jeu d inf rences causales ou de liaison La coh sion participe de l laboration de la coh rence mais cette derni re peut tre tablie en sollicitant d autres informations extralinguistiques comme la mise en jeu d inf rences Sur le plan de la coh rence globale du document plu sieurs processus sont mis en jeu En particulier la s lec tion des informations en fonction de leur importance eu gard au th me du texte contribue appr hender son organisation globale En fonction des connaissances des croyances et des objectifs du compreneur celui ci labore une repr sentation plus ou moins riche de la situation d crite dans le document 3 CONOMIE ET STATISTIQUE N 424 425 2009 sances aussi bien celles concernant le monde que les connaissances lexicales grammaticales s mantiques qui sont en m moire dans l esprit du compreneur Kintsch propose un mod le de fonctionne ment des processus qui
61. ne sont pas ind pendants les uns des autres Leur mise en uvre d pend d une comp tence langagi re g n rale Elle indique galement que ces proces sus sont mis en jeu dans la compr hension des deux formats verbal et visuo spatial Comme le soulignent Gernsbacher 1990 et 1994 Graesser et al 2002 Traxler et Gernsbacher 2006 la compr hension est une activit com plexe d pendante d un syst me g n ral impli qu dans le traitement des informations verbales et imag es Cependant compar es aux valeurs obtenues sur des donn es simul es sur le m me nombre Encadr 5 Approche exploratoire analyse factorielle sur la matrice des coefficients de corr lation t trachori ques et rotation Promax Pour d terminer les dimensions sous jacentes a un ensemble de variables l analyse factorielle est une m thode classiquement employ e Dans le cas de l analyse factorielle d un ensemble d items dichotomi ques le coefficient de corr lation lin aire entre deux items qui correspond au coefficient q x n o n est la taille de l chantillon montre certaines limites en supposant une relation lin aire Il est pr f rable de se baser sur le coefficient de corr lation t trachorique pour ses propri t s suppos es d invariance selon les groupes d individus Lord et Novick 1968 Soient deux items Y et Y ayant respectivement pour taux de r ussite p et p On consid re alors l exis tence de deux v
62. ochaine enqu te IVQ 2011 D autres fonctionnements diff ren tiels devront faire l objet d tudes le r le du dipl me de la m re du p re de la personne enqu t e Enfin la question des profils de bons et de fai bles compreneurs sur le module Haut devrait tre consid r e pour appr cier quels sont les processus qui sont d faillants chez les faibles compreneurs Nous faisons l hypoth se que les diff rences entre les bons et les faibles sont plus marqu es sur les items sollicitant le trai tement de la continuit r f rentielle par exem ple sur l preuve 1 sp cifiquement construite pour mesurer cet aspect et sur les items qui n cessitent de mettre en relation le traitement des informations verbales et la mobilisation des connaissances du monde les inf rences En effet les travaux provenant de la litt rature sur les diff rences individuelles chez l enfant montrent que les enfants faibles compreneurs diff rents ges tudi s ont des d ficits dans la prise en charge de la double coh rence locale et globale pour les recherches anglo saxonnes cf notamment Cain et Oakhill 2006 Yuill et Oakhill 1991 et en fran ais Megherbi et Ehrlich 2004 2005 Megherbi ef al 2006 Cependant compte tenu du faible nombre 1 Le terme biais utilis ici qui ne correspond pas la signi fication usuelle en statistique ou en conom trie se r f re au fonctionnement diff rentiel des items cf encadr
63. ont propo s s aux participants s lectionn s Ils disposaient de trente minutes pour passer les cinq preu ves et aucun temps limite n tait impos par preuve L enqu teur tant pr sent il est vi dent qu en cas de difficult face une question celui ci invitait l enqu t passer la suivante notons que les enqu teurs ont b n fici d une formation sp cifique pour la passation de cette enqu te CONOMIE ET STATISTIQUE N 424 425 2009 L ordre des preuves tait fixe et impos il a t fix de mani re alterner entre les textes et les autres documents le r cit preuve 1 le gra phique preuve 2 le texte expositif explicatif preuve 3 le texte scientifique preuve 4 et le plan d un village preuve 5 Les cinq preuves du module Haut N donnerons pour chacune des cinq preuves du module Haut des indica tions sur les processus sollicit s la fois lors de la compr hension du document lui m me mais galement lors de la compr hension des questions Les preuves 1 3 et 4 concernent les textes et les preuves 2 et 5 concernent les documents associant informations visuo spatia les et informations verbales cf encadr 3 pour quelques exemples de textes Le r cit premi re preuve Le r cit est une structure de texte qui comporte diverses entit s des personnages des objets qui participent des tats des actions qui voluent dans un espace
64. pant gr ce ses connaissances lexicales et syntaxico s mantiques n aura aucune difficult r pondre cette question Enfin la troisi me question n cessite un calcul suppl mentaire qui doit tre mis en uvre partir des infor mations du texte C est une question introduite par si invitant le participant raisonner sur une proposition CONOMIE ET STATISTIQUE N 424 425 2009 Lire et comprendre un texte expositif explicatif dont la longueur est plus importante que les autres troisi me preuve Le texte inclut six paragraphes compos s de 20 phrases et 500 mots Ce texte d crit les caract ristiques d une terre d couverte r cem ment dans l oc an Indien La d couverte de ce territoire questionne beaucoup les g ographes les historiens les arch ologues etc Les scienti fiques posent des questions et tentent d apporter des r ponses v g tation curieuse y a t il eu des hommes sur ce territoire Etc Ce texte expo sitif explicatif d crit un probl me ici les mys t res et questionnements les observations et actions men es pour tenter de r soudre ces mys t res et une bauche de r solution du probl me bauches de r ponses aux questionnements des scientifiques Il d crit donc un certain nombre de relations spatiales s quentielles causales entre des tats des v nements Ce type de texte et les questions qui l accompagnent sont classiquement employ s lorsque l obje
65. permettent au lecteur de construire les diff rentes repr sentations La repr sentation la plus riche int gre les connais sances et les croyances du lecteur et fait large ment appel la mise en jeu d op rations comple xes telles que les inf rences pour plus de d tails cf encadr 2 Concernant cette repr sentation elle est mise en uvre avec plusieurs types de textes Ainsi elle peut tre labor e avec des documents qui d crivent des unit s concr tes du monde physique que celles ci soient r elles ou imaginaires avec des textes abstraits scien tifiques et ou th oriques mod le de situation conceptuel avec des documents d crivant des unit s associant des informations visuo spa tiales et des informations verbales mod le de situation visuo spatial etc Des repr sentations linguistiques et les repr sentations du mod le de situation sont donc mobilis es lors de la compr hension de textes narratifs expositifs explicatifs th oriques descriptifs de modes d emploi de graphiques de plans etc Ehrlich et al 1993 Encadr 2 suite Repr sentation de la situation d crite dans le document le mod le de situation Kintsch propose un mod le de fonctionnement des processus qui permettent au lecteur de construire les diff rentes repr sentations Kintsch et van Dijk 1978 Kintsch 1988 1994 et 1998 en fran ais on peut consulter l ouvrage de Ehrlich et al 1993 L auteur d
66. propos es trois textes un graphique et un plan de village Ces documents font appel des processus de diff rente nature les trois textes ne comportent donc que des informations de nature verbale les deux autres documents associent des informa tions visuo spatiales et des informations verba les Les trois textes sont de diff rente longueur et appartiennent trois types distincts un r cit un texte expositif explicatif et un texte th orique scientifique Les deux autres documents sont un graphique repr sentant des donn es num riques associ es une l gende et enfin un plan d un village sur lequel apparaissent diff rentes indi cations de nature verbale Trois types d analyses ont t effectu s par tir des premiers r sultats recueillis sur plus de 7 000 personnes g es de 18 65 ans analyse descriptive des performances observ es pour les diff rentes preuves taux de r ussite et pou voir discriminant analyse de la structure des r ponses afin d identifier les dimensions cogni tives sous jacentes aux performances analyse factorielle et analyse des fonctionnements dif f rentiels en fonction du sexe des participants Un cadre th orique provenant des travaux de la psychologie cognitive du langage En d pit d une apparence de grande simplicit la compr hension d un texte est une activit complexe qui met en jeu un ensemble de pro cessus de diff rente nature dont le but ultime est la
67. r partitions diff rentes des hommes et des femmes selon les tranches de scores Cet item pr sente un fonctionnement diff rentiel FDI en faveur des femmes cf tableau 5 En revanche l item h17 ne pr sente pas de FDI car tranche de score gal les diff rences de r ussites entre les hommes et les femmes ne sont pas significatives Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 Encadr 6 FONCTIONNEMENT DIFFERENTIEL DES ITEMS FDI La proc dure de Mantel Haenszel 1959 La statistique de Mantel et Haenszel 1959 vise a mesurer et a tester le lien observ entre deux varia bles qualitatives dans diff rentes strates c est a dire d clin selon une troisi me variable qualitative Elle est souvent utilis e dans le domaine biom dical pour analyser par exemple le lien entre diff rents traite ments et la r mission apr s avoir tenu compte d un facteur perturbateur pouvant influencer cette relation comme l ge le centre de soins etc Cette statistique a t adapt e par Holland et Thayer 1988 pour d tecter les fonctionnements diff rentiels d items FDI c est a dire les items pour lesquels deux groupes d individus a niveau de comp tence gal obtiennent des taux de r ussite diff rents On consid re deux groupes par exemple
68. re les indivi dus qui r ussissent l item et ceux qui l chouent En effet on peut montrer que 1 K Iris point I cor Y 8 loj pj EE o m est le score moyen sur l ensemble de l valua tion des individus ayant r ussi l item m celui des l ves l ayant chou et o est l cart type des scores De mani re g n rale on pr f re s appuyer sur l indice corrig fiis paint qui est le coefficient de corr lation lin aire entre la variable indicatrice de r ussite l item Y et le score S Y c est dire le score obtenu aux items de l valuation sauf l item j En pratique une valeur inf rieure 0 2 indique un item peu discriminant Laveault et Gr goire 2002 Le coefficient a de Cronbach est un indice mesurant la consistance interne d un ensemble d items cens s mesurer la m me dimension Il est tr s li la moyenne des corr lations inter items Compris entre O et 1 il traduit un degr d homog n it des items d autant plus lev que sa valeur est proche de 1 Dickes et al 1994 Yo E pj i K 1 c CONOMIE ET STATISTIQUE N 424 425 2009 Les indices de discrimination ae s talent de 0 17 0 42 G n ralement un item dont le T s pois St inf rieur 0 20 est consid r comme peu discriminant De nombreuses raisons peu vent expliquer une faible discrimination mau vaise formulation de la question ambiguit pour certaines questions sur les d
69. s entre langage et cognition comme les questions inf rentielles Encadr 4 On note n le nombre d individus ayant pass une va luation compos e de K items On note Y la r ponse de l individu j litem j Dans notre cas les items sont dichotomiques c est dire qu ils ne prennent que deux modalit s la r ussite ou l chec i 1 sil individui r ussit l item j GT a is I 0 sil individui choue l item j Le taux de r ussite l item j est le pourcentage d indi vidus ayant r ussi litem j Il est not D Le score observ l valuation par l l ve i not S correspond au nombre d items r ussis par l individu j K S I j 1 Le Foix est le coefficient de corr lation lin aire entre la variable indicatrice de r ussite l item Y et le score S Cet indice est appel T ispan POUF le distinguer du coefficient r bis rial r qui est le coefficient de cor r lation lin aire entre le score et une variable latente r gie par une loi normale conditionnant la r ussite litem Les deux indices entretiennent une relation fonctionnelle et le r est en g n ral plus lev plus particuli rement pour les items tr s r ussis ou tr s chou s ANALYSES CLASSIQUES DES ITEMS C est un indice de pouvoir discriminant il indique dans quelle mesure l item s inscrit dans la dimension g n rale corr lation item test Il indique galement la diff rence de performance constat e ent
70. s quand elles sont sup rieures ou gales 20 fait clairement appara tre que les items portant sur le traitement du plan de village cartes spatiales preuve 5 forment une dimension se d tachant des autres items facteur 1 items de h17 h22 Le qua tri me facteur rassemble les trois items portant sur le graphique h4 h5 et h6 preuve 2 qui associe des informations verbales et visuo spa tiales Les facteurs 2 et 3 regroupent les items portant sur les preuves exclusivement verbales savoir les preuves 1 3 et 4 l exception de l item 6 sur l preuve 2 Analyse en composantes principales partir des coefficients de corr lation t trachoriques 8 6 4 2 0 m 3411 E o wo Valeurs propres o Valeurs propres donn es simul es RMSR 100 D o d Lecture la partie droite du graphique repr sente les valeurs propres de l analyse en composantes principales des items du module Haut partir des coefficients de corr lation t trachoriques cf encadr 5 En blanc il s agit des valeurs propres obtenues par une analyse identique effectu e cette fois sur des donn es simul es prenant en compte les taux de r ussite aux items et consid rant que les items sont ind pendants La partie gauche repr sente l indice RMSR Root Mean Square Residual Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs
71. stipule que si l une ou l autre des composantes ou a fortiori les deux n est pas maitris e le niveau de compr hension l crit sera affect Soulignons quand m me que les tu des qui apportent une certaine validation empirique ce mod le sont issues des travaux portant chez des sujets de langue anglaise pour la plupart des enfants La trajectoire d veloppementale pr dit que lorsque l enfant ma trise les m canismes de base de la lec ture c est la compr hension de l oral qui contribue le plus expliquer le niveau de compr hension l crit Gough et al 1996 Notons cependant qu une tude r alis e chez de jeunes enfants de langue fran aise montre que d s le cours pr paratoire 6 ans 8 mois le d codage mais galement la compr hension de l oral sont deux pr dicteurs sp cifiques de la com pr hension de l crit la part de variance sp cifique tant m me plus forte pour la compr hension de l oral Megherbi et al 2006 Ce r sultat a t interpr t en termes de degr de transparence des r gles graph mes phon mes qui n est pas le m me en fran ais et en anglais l enfant anglophone ayant besoin de plus de temps pour apprendre ces r gles en raison d une faible transparence Ainsi en francais la compr hen sion de l oral serait un pr dicteur sp cifique d s la premi re ann e de primaire au moins aussi puissant que le d codage Dans la perspective du mod le de Gough la corr la t
72. suite de phrases respectant la coh rence Celles ci sont construites de telle sorte qu un seul ordre est possible Dans une premi re tape l enqu t doit rechercher la phrase introductive qui situe le th me du r cit La nouvelle est tomb e ce matin dans la d p che du journal de la ville Les autres phrases sont exclues par exemple le sujet peut exclure d embl e le fait qu un texte d bute par En effet etc ll engage un certain nombre de traitements allant des unit s mots aux phrases puis l organisation du r cit pour recher cher la coh rence entre les phrases sur le plan local et sur l ensemble sur le plan global Dans l exemple ci dessous le connecteur En effet phrase C per met de faire un lien entre deux phrases il introduit une confirmation de la d p che du matin et la pr cise Plusieurs autres marquages doivent tre pris en compte pour agencer les phrases Ainsi par exemple le pronom s au pluriel fait r f rence des person nages pr c demment cit s les ouvriers et donc la phrase contenant le pronom phrase B ne peut venir qu apr s la phrase contenant les r f rents du pronom DEUX EXEMPLES D PREUVES UN R CIT ET UN TEXTE SCIENTIFIQUE phrase C De plus nous apprenons qu un lion s est chapp d un zoo phrase B et qu il faut le rendre ses propri taires phrase A L enqu t ici doit tablir une inf rence en partie causale un lion est pr sent parce
73. tes Quelques items cependant donnent un avantage aux femmes h13 h14 et hl qui sont des items qui ciblent le traitement des marques linguisti ques particuli res du texte et la production d in f rences partir des textes ne comportant que des informations verbales Ces items concernent donc la dimension verbale Ainsi m me si nous restons prudents trop peu d items l tude des fonctionnements diff ren tiels a tendance r v ler une sp cialisation des traitements les preuves verbales notamment le texte expositif et le texte th orique sont mieux r ussies par les femmes tandis que les preuves visuo spatiales sont mieux r ussies par les hom mes cf tableau 6 Nous pouvons insister sur le fait que le module Haut ainsi labor permet d valuer la compr hension l aide de divers formats pr sents dans le quotidien de la population journaux quoti diens magazines scientifiques indications rou ti res lecture de cartes spatiales etc Le score maximal th orique tait de 21 toutes preuves associ es 3 questions pour le r cit 3 pour le graphique 6 pour le texte expositif 3 pour le texte scientifique et 6 pour le plan de village Parmi ces preuves trois ne comportaient que des informations verbales preuves 1 3 et 4 tandis que les deux autres associaient galement des informations visuo spatiales preuves 2 et 5 L objectif de cet article tait de pr senter la d marche th
74. un fort biais mais selon la proc dure Sibtest l item est dans la classe 1 ce qui indique un biais n gligeable cf encadr 6 Champ individus ayant pass le module Haut de l enqu te IVQ Source calculs partir des donn es de l enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 la lecture alors qu au niveau de la compr hen sion cette diff rence n appara t plus Au del de cette diff rence de r ussite glo bale les deux analyses sont assez coh ren tes et montrent que les items comportent des fonctionnements diff rentiels selon le sexe Conform ment aux donn es de la litt rature les items de l preuve des cartes spatiales sont biai s s en faveur des hommes ainsi que les items du graphique Linn et Petersen 1985 Stumpf et Eliot 1995 1999 Voyer Voyer et Bryden 1995 Voyer Nolan et Voyer 2000 Les auteurs ont tent d expliquer ce r sultat et dif f rentes propositions ont t faites notamment en termes d exp rience perceptivo motrice qui serait plus importante chez les hommes cf par exemple Rahman et Wilson 2003 la soci t y contribuant largement avec notamment l ta lage de jouets pour les garcons mobilisant des comp tences spatiales par exemple Cet cart devrait se creuser dans les ann es venir si on prend en compte la familiarit qu ont les jeu nes adolescents avec les jeux virtuels ce qui est moins le cas des adolescen

Évaluation de la compréhension de l`écrit chez l`adulte

Contents

Download Pdf Manuals

Related Search

Related Contents

&Eacute;valuation de la compr&eacute;hension de l`&eacute;crit chez l`adulte

Contents

Download Pdf Manuals

Related Search

Related Contents

Évaluation de la compréhension de l`écrit chez l`adulte