Home

La mesure des compétences des adultes, un nouvel enjeu

1. une personne incapable de lire et d crire en le comprenant un expos simple et bref en rapport avec la vie quotidienne cit par Lahire 1999 et qui est francophone et a t scolaris e en France Ces derni res caract ristiques fondent la distinction de l illettrisme du cas des immigr s et par l m me la n cessit d une action particuli re En 2003 le cadre national de r f rence publi par l ANLCI donne la d finition officielle suivante L illettrisme qualifie la situation de personnes de plus de 16 ans qui bien qu ayant t scolaris es ne parviennent pas lire et comprendre un texte portant sur des situations de leur vie quotidienne et ou ne parviennent pas crire pour transmettre des informations simples Pour certaines personnes ces difficult s en lecture et criture peuvent se combiner des degr s divers avec une insuffisante ma trise d autres comp tences de base comme la communication orale le raisonnement logique la compr hension et l utilisation des nombres et des op rations la prise de rep res dans l espace et dans le temps etc Malgr ces d ficits les personnes en situation d illettrisme ont acquis de l exp rience une culture et un capital de comp tences en ne s appuyant pas ou peu sur la capacit lire et crire Certaines ont pu ainsi s int grer la vie sociale et professionnelle mais l quilibre est fragile et le risque de marginalisation permanent D a
2. Donn es sur l illettrisme le cas fran ais et le 12 f vrier 1980 pr sente au pr sident de la R publique le rapport Une priorit d truire l illettrisme L ann e 1983 avec le rapport Esp randieu r alis la demande du premier Ministre marque la prise en consid ration officielle du probl me par l tat fran ais Suit un autre rapport produit pour la Commission des Communaut s europ ennes Anglade et al 1984 qui recense les mesures d alphab tisa tion d j mises en place dans les pays membres Cette p riode fondatrice a engendr un vocabulaire guerrier embl matique d une action se voulant forte et d ter min e Le Conseil des ministres du 11 janvier 1984 d clare ainsi la lutte contre l illettrisme comme une priorit invite conforter les actions d j en place en direction des appel s du contingent par exemple et multiplier les initiatives nouvelles programmes et missions de t l vision et de radio Un outil institutionnel est cr le Groupe Permanent de Lutte contre l Illettrisme GPLI La question de l illettrisme a t consid r e d embl e comme partie int grante de l ducation permanente donc de la formation professionnelle ce titre le GPLI a t rattach au minist re de l Emploi et de la Solidarit D l gation g n rale de l Emploi et de la Formation professionnelle Sous l impulsion du GPLI de nombreuses quipes scientifiques explore
3. Les scores obtenus sur l identification de mots et sur la compr hension conditionnent la suite de l enqu te si la personne n a pas obtenu de r sultats suffisants moins de 11 points sur 15 l exercice d identification de mots ou moins de 11 points sur 19 l exercice de compr hension elle passera les exercices d un module dit Bas rebaptis module ANLCI pour l enqu te finale en raison de l implication de l Agence Nationale de Lutte Contre l Illettrisme dans le financement et l exploitation de cette partie du questionnaire Si la personne a de bons r sultats plus de 11 points en identification de mots et plus de 15 points en compr hension on lui proposera les exercices d un module dit Haut Les personnes dans une situation moins tranch e passeront un module Interm diaire un score est galement calcul Score du Module Interm diaire SMI qui permet d affiner le diagnostic avant l orientation d finitive 11 Dans tous les cas quels que soient les r sultats au module d orientation la personne passe un module de compr hension orale un module de num ratie et un module biographique cf sch ma 2 De plus apr s l entretien l enqu teur remplit un module Qualit sur les conditions de collecte L adaptation du questionnaire au fur et mesure des r sultats obtenus a t rendue pos sible par le choix d une collecte assist e par informatique La grande souplesse qui en r sulte per
4. chelle sur les comp tences en litt ratie des adultes a pris place en 1985 aux Etats Unis Le Young Adult Literacy Survey YALS a t organis par 8 Ce fut notamment le cas dans l enqu te Condition de Vie de 1986 1987 conduite par l Insee Cette derni re couvrant un spectre assez large de th matiques sociales comportait quelques items d claratifs relatifs l usage de l crit dans la vie quotidienne CONOMIE ET STATISTIQUE N 424 425 2009 le Educational Testing Service ETS avec le soutien du National Center for Educational Statistics NCES Restreinte au champ des jeunes adultes l enqu te YALS a permis d exp rimenter pour la premi re fois un dispositif d valuation dont les preuves sont fond es sur des supports diversifi s avec des niveaux de difficult divers S appuyant sur les mod les de r ponse l item mod les MRI cf Murat et Rocher ce num ro cette enqu te a permis d tablir des premi res grilles de difficult s selon le type d exer cice Des preuves simples consistent par exemple trouver l heure d une r union dans un agenda indiquer le titre d un film dans un programme t l vis identifier le prix d un spectacle dans une brochure l inverse la difficult est estim e plus lev e pour suivre des indications g ographiques sur une carte ou trouver dans une grille horaire l heure appropri e de d part et d arriv e d un bus pour une destination donn
5. les exercices 300 environ l ont pass partiellement ou abandonn en cours en particulier lors de la production crite 120 environ ont d finitivement arr t les exercices avant m me de commencer le module Garder ce type d information permet lors de l exploitation de choisir une m thode d imputation adapt e au parcours d enqu te du sujet Des exercices limit s des supports familiers Les objectifs assign s l enqu te les conditions de collecte de donn es directement aupr s des m nages et le souci permanent de se d marquer des r f rences scolaires ont t autant d arguments pour mettre en uvre un protocole d enqu te assurant un 13 Plus pr cis ment l application distingue le temps pris pour la r flexion et le temps pris pour donner les r ponses les sujets tant susceptibles de se raviser et de poursuivre la r solution du probl me apr s avoir commenc donner leurs r ponses Par exemple sur l exercice de rep rage partir d une carte exercice 5 du module Haut le temps m dian pour d livrer la r ponse est sup rieur au temps m dian de la premi re r flexion CONOMIE ET STATISTIQUE N 424 425 2009 21 22 haut niveau d acceptation par les personnes enqu t es De ce point de vue l enqu te IVQ a mis l accent sur la construction d exercices les plus proches possibles de la vie quotidienne des gens les plus loign s des cadres scolaires d valuation Les
6. trisme par les administrations publiques ANPE services publics etc et les entreprises Pour mettre en uvre ces actions il est propos de fonder une organisation territorialis e reposant sur un r seau de charg s de mission affect s l animation du dispositif aupr s des Pr fets de r gion L instance nationale de coordination de ce r seau l Agence Nationale de Lutte contre l Illettrisme ANLCI est cr e par arr t du 17 octobre 2000 en remplacement du GPLI L ANLCI se dote d un conseil d administration dans lequel si gent les contributeurs son fonctionnement li s par une convention constitutive La cr ation de l ANLCI correspond ainsi au passage d un organisme minist riel un organisme d utilit publique GIP Groupement d Int r t Public qui a pour objectifs dans le cadre de la lutte contre les exclusions d finie par le gouvernement de f d rer et d optimiser les moyens affect s par l tat les collectivit s territoriales et les entreprises la lutte contre l illettrisme cf article premier Son action a notamment vis promouvoir une valuation la plus rigoureuse possible de l ampleur de l illettrisme en commen ant par en donner une d finition pr cise D s le d but de son invention par ATD Quart monde le terme illettrisme renvoie pour ses cr ateurs l anal phab tisme fonctionnel tel qu il est d fini par l Unesco en 1978 Une personne illettr e est donc
7. vidences par l expertise n ont pas disparu laissant subsister un doute sur la comparabilit internationale des donn es Par ailleurs la modification de la passation peut entra ner un chan gement dans la nature de la t che exig e Par exemple l enqu te ALS utilisait l crit comme moyen de recueil de l information alors que dans le cadre d VQ c est par oral que la personne donne ses r ponses Cette diff rence n est pas neutre et selon les questions n a pas exactement les m mes cons quences il y aura sans doute peu d impact si la r ponse donner est courte En revanche pour une r ponse longue l usage de l oral permet de cibler l valuation sur la compr hension et limine une partie de l effet parasite des probl mes ventuels d expres sion plus sensibles l crit On s est donc au pr alable assur de la comparabilit des preuves en v rifiant que la hi rarchisation des items tait peu pr s la m me en 1994 et en 2002 Il faut aussi tenir compte du processus d orientation les personnes en difficult sur le premier exercice ne pas saient pas les exercices de ALS jug s trop complexes pour eux Deux hypoth ses ont t utilis es pour estimer leurs comp tences sur l chelle de ALS la premi re les place d office au plus bas niveau de comp tence sur l chelle ALS la seconde utilise les r sultats obtenus au module d orientation pour estimer leurs r ponses aux exercices ALS Cette
8. aise et aux langues de France minist re de la Culture ont ensuite rejoint ce comit 10 Pour les personnes disposant des comp tences de base l enqu te IVQ permet d approfondir l valuation de leurs capacit s vis vis de l crit et propose une variable compl mentaire celle du dipl me pour aborder le fonctionnement du march du travail sous l angle de la valorisation des comp tences En particulier cette d marche se rapproche des travaux anglo saxons visant examiner de fa on concomitante le rendement de l ducation return to schooling et le rendement des comp tences return to skills travers l analyse du parcours professionnel de la satisfaction au travail de la r mun ration obtenue CONOMIE ET STATISTIQUE N 424 425 2009 lecture en criture et en calcul il ne suffit pas rendre compte de toutes les variations observ es Des facteurs familiaux culturels ou mat riels peuvent galement rentrer en compte pour appr cier les carts de comp tences de m me que le parcours professionnel ou les activit s sociales qui peuvent en faciliter l acquisition ou en ralentir la perte En compl ment des exercices mesurant les comp tences un questionnaire biographique a ainsi t d velopp pour d peindre le contexte social et familial de la personne enqu t e y compris au cours de la petite enfance p riode d terminante dans l apprentissage des comp tences de base L objectif est de pouvoir utilis
9. fait pour capter de l information sur le degr de motivation de chaque enqu t Le deuxi me test sur un chantillon du m me ordre en avril 2002 a permis le choix et l am lioration des preuves pour l enqu te finale Vallet 2002 Murat 2002 Celle ci s est d roul e de novembre d cembre 2002 dans dix r gions Nord Pas de Calais Pays de la Loire Poitou Charentes Midi Pyr n es Languedoc Roussillon Haute Normandie Lorraine Limousin Rh ne Alpes le de France sur un chantillon de 4 000 logements Les premiers r sultats ont t pr sent s en 2003 et 2004 Murat 2004 L expertise fine des donn es a permis de valider le protocole et d envisager la mise en place d une enqu te IZVO 2004 sur un chantillon tendu l ensemble de la France m tropolitaine Le projet a t pr sent devant les instances nationales en charge de coordonner les travaux de la statistique publique et d en v rifier la qualit le Conseil National de l Information Statistique et le Comit du Label qui avaient d j pu se prononcer en faveur de l op ration exp rimentale en 2002 Confort e par les premiers r sultats m thodologiques l enqu te ZVO 2004 a b n fici du label d int r t g n ral avec caract re obligatoire Outre la reconnaissance de la qualit statistique de l op ra tion l obtention du caract re obligatoire de l enqu te a sans doute contribu r duire la proportion d
10. fond s sur la compr hension d un texte court restent en grande partie ax s sur des comp tences cognitives proches du module d orientation identifier les acteurs d une situation les lieux les dates En outre il interf re sur l ordre des modules pass s et la dur e totale de l enqu te Les personnes orient es vers le module interm diaire puis vers le module Haut ont au final r pondu un exercice suppl mentaire qui a pu affecter leur concentration et leur performance dans la suite de l enqu te Les personnes orient es vers le module interm diaire puis vers le module ANLCI passent des items dans un ordre diff rent de celles directement orient es vers le module ANLCI ce qui pourrait alt rer la difficult de l preuve dans la mesure o les questions d identification de mots lorsqu elles sont pass es en premier facilitent ensuite les questions de compr hension de texte Ces diff rentes remarques conduisent concevoir un module Interm diaire comme une preuve originale dont les qualit s m triques viseraient des processus cognitifs mobilis s dans le module Haut mais avec une difficult moindre et potentiellement accessible des personnes en situation de difficult face l crit La faisabilit d un tel module reste ce jour expertiser Les r sultats de l enqu te ZVO 2004 invitent galement largir la mesure des comp tences pour les personnes qui n ont pas t scol
11. l crit 7 celles qui ont des difficult s moins graves mais assez fortes 5 et celles qui prouvent des difficult s partielles souvent limit es un seul des trois domaines fondamentaux 7 Les deux premiers groupes recouvrent des situations pr occupantes face l crit Parmi les 80 de personnes n ayant pas de difficult dans les trois domaines fondamentaux il existe aussi une assez grande vari t de niveaux de comp tence valu s par des exercices plus complexes 6 des personnes ont des performances assez faibles avec moins de 40 de r ussite sur ces exer cices complexes tandis qu une personne sur quatre d passe le seuil de 80 de r ussite Sch ma 3 La d termination des comp tences face l crit Pas de difficult dans les domaines fondamentaux de l crit Exercices 80 100 m 279 complexes de r ussite Groupe 1 27 A 809 a Groupe 2 32 e T 40 60 Bonne R ussite de r ussite Groupe 3 15 r ussite 0 40 de r ussite Groupe4 6 Exercice R ussite Exercice R ussite d orientation moyenne interm diaire aux 3 exercices simples chec chec En difficult dans les domaines fondamentaux de l crit 60 80 de r ussite Difficult s partielles 7 40 60 gt Difficult s assez fortes 5 de r ussite Situations AA pr occupan
12. r ussi ou non Les r ponses ne peuvent tre donn es qu la fin de l enqu te sur demande expresse de l enqu t Lorsque les consignes d un exercice sont donn es sur un document crit l enqu teur ne doit pas lire explicitement la question mais respecter une proc dure de relance normalis e du type Pouvez vous me donner votre r ponse la question X Autre l ment ext rieur ma triser lors de l enqu te les proches pr sents pendant l valuation conjoint enfants parents l enqu teur invite l enqu t s installer dans une espace l cart si cela est possible et veille ce que personne de l entourage ne donne les r ponses Il propose galement de couper le poste de t l vision ou de radio ou du moins d en baisser le son pour assurer une bonne concentration de l enqu t Un module Qualit permet en fin de questionnaire d indiquer si ces conditions ont pu tre correctement r unies Dans une enqu te sollicitant fortement l attention du sujet sur une dur e relativement longue la dur e moyenne d une enqu te compl te est de 1 heure 10 dont environ 50 minutes d exercice il est essentiel de disposer de m ta donn es sur le niveau de motivation du sujet Pour les preuves du module Haut en particulier la performance est contextualis e l enqu teur note entre chaque exercice l attitude de l enqu t signes de stress de col re de lassitud
13. te inter nationale sur la litt ratie Rapport pour le minist re de l ducation nationale Paris minist re de l Edu cation nationale Esp randieu V Lion A et B nichou J P 1984 Des illettr s en France Rapport au Premier Ministre La Documentation fran aise Paris Geffroy M Th 1999 Lutter contre l illetrisme Rapport Madame la Ministre de l Emploi et de la Solidarit et Madame la Secr taire d tat la Formation professionnelle Green D A et Riddle W C 2001 Les capacit s de lecture et de calcul et la situation sur le march du travail Enqu te internationale sur l alphab tisation des adultes Collection Statistique Canada n 8 Huteau M et Lautrey J 1999 valuer l intelligence Psychom trie cognitive PUF Paris Vallet L A Bonnet G Emin J C Levasseur J Rocher T Blum A Gu rin Pace F Vrignaud P d Haultf uille X Murat F Verger D et Zamora P 2002 Enqu te M thodologique Information et Vie Quotidienne Tome 1 bilan du test 1 novembre 2002 Document de travail s rie M thodologie statistique n C0202 Insee Insee 2008 Lire crire compter la ma trise des comp tences cl en Martinique Insee Antilles Guyane Kalton G Lyberg L et Rempp J M 1998 Review of Methodology in T S Murray I S Kirsch et L B Jenkins ds Adult Literacy in OECD Countries Technical Report on the First International Adult Li
14. ussite Groupe 3 19 France 15 r ussite 0 40 de russie Groupe 4 8 France 6 Exercice R ussite l Exercice R ussite d orientation moyenne interm diaire aux 3 exercices simples chec chec En difficult dans les domaines fondamentaux de l crit 60 80 ee LA de reussite Difficult s partielles 5 France 7 40 60 PA no de r ussite Difficult s assez fortes 7 Situations France 5 4 pr occupantes Exercices 0 40 ee face pos simples de r ussite Graves difficult s 8 7 8 15 France 7 BIBLIOGRAPHIE Insee Antilles Guyane 2008 Lire crire compter la ma trise des comp tences cl en Martinique http www insee fr fr themes document asp reg_ id 23 amp ref id 13471 Insee R union 2008 Communication crite un adulte sur cinq en situation pr occupante Revue conomique de la R union n 133 http www insee fr fr insee regions reunion themes revue revue133 revuel133 _enquete ivq pdf CONOMIE ET STATISTIQUE N 424 425 2009 15 module biographique lui sera propos avec l aide ventuelle d un membre de l entou rage faisant office d interpr te L ensemble de la collecte tant assist par ordinateur les exercices adapt s permettent d obtenir directement et implicitement des scores cf sch ma 1 portant sur l identification de mots score SI sur la compr hension score SC et sur la num ratie score SN
15. 21 n 2 pp 145 159 Sternberg R J 1977 Intelligence Information Processing and Analogical Processing Erlbaum Hillsdale NJ Vallet L A Bonnet G Emin J C Levasseur J Rocher T Blum A Gu rin Pace F Vrignaud P d Haultf uille X Murat F Verger D et Zamora P 2002 Enqu te M thodologique Information et Vie Quotidienne Tome 1 bilan du test 1 novembre 2002 Document de travail s rie M thodologie statistique n C0202 Insee Vrignaud P 2001 valuations sans fronti res comparaisons internationales dans le domaine de la cognition in M Huteau et J Lautrey ds Les figures de l intelligence ditions et Applications Psychologiques Paris pp 79 115 CONOMIE ET STATISTIQUE N 424 425 2009
16. 425 2009 3 La mesure des capacit s des adultes est un domaine complexe qui a fait l objet d ap ports cons quents dans le cadre de la psychom trie discipline dont les sources sont elles m mes rechercher dans les premiers tests d intelligence au d but du XX si cle Huteau et Lautrey 1999 Si les exp riences d velopp es en laboratoire ont pu guider le choix des preuves au regard des probl matiques abord es dans l enqu te la construc tion du dispositif VQ a n cessit de se confronter des enjeux m thodologiques sp cifi ques pour tre en mesure de transposer l chelle d une enqu te m nage les protocoles d valuation issus de la psychom trie Un protocole distinct de l valuation en milieu scolaire Quand il s agit de mettre en uvre un dispositif de mesure des comp tences des adultes il appara t naturel en premier lieu de se r f rer aux syst mes d valuation en milieu sco laire qui b n ficient d une pratique ancienne et largement r pandue Lorsque des tests sont pass s par une population adulte ou par des l ves dans les deux cas le sujet r pond plusieurs exercices con us pour identifier son niveau de ma trise sur tel ou tel domaine de comp tences 2 Cette similitude formelle masque en r alit des diff rences fondamentales sur les condi tions de passation tout d abord Les contextes d une valuation au sein d un m nage ou dans un milieu scolair
17. SC gt 10 Compr hension SMI Num ratie SN SMI lt 19 SI lt 11 ou SC lt 11 Module ANLCI Module eo PO ualit Ecriture q Lecture de mots Compr hension Lecture ce sch ma illustre le processus d orientation en litt ratie L valuation en num ratie comprend aussi une proc dure d orienta tion en fonction des r sultats aux questions de num ratie du module d orientation la personne commence le module Num ratie par des questions tr s simples ou par des probl mes un peu plus complexes CONOMIE ET STATISTIQUE N 424 425 2009 17 Encadr 4 LA CONCEPTION DU MODULE D ORIENTATION DU MODULE DE COMPREHENSION ORALE ET DU MODULE ANLCI Jean Marie Besse et Marie H l ne Luis PSyEF Laboratoire SIS Sant Individu amp Soci t EA 4129 Universit de Lyon Le module d orientation Le module d orientation devait permettre une premi re r partition des personnes avant de leur proposer des exer cices suffisamment adapt s leurs comp tences Il s agissait de pr senter des exercices convenant au plus grand nombre pour limiter les questions ressenties comme trop faciles et risquant de conduire une d motivation de l enqu t lettr ou au contraire les questions per ues comme trop difficiles et pouvant conduire les personnes les plus en difficult avec l crit ne pas se mobiliser pour la suite de enqu te Le choix retenu par l quipe PSyEF Universit Lyon 2 a
18. crit Les difficult s s observent tr s t t dans la scolarit d s l cole primaire pour plus des deux tiers des Martiniquais en situation pr occupante face l crit Les origines de ces difficult s sont multiples et d ordre social Ainsi les probl mes mat riels et de sant durant l enfance augmentent consid rablement le risque d avoir de graves lacu nes l ge adulte Mais ce sont surtout le niveau du dipl me des parents et les habitudes de lecture qui influencent l apparition ou non de difficult s face l crit 20 des enqu t s ayant un p re sans dipl me ou n ayant pas suivi de scolarit sont en situation pr occupante face l crit contre 3 pour ceux dont le p re est titulaire du baccalaur at ou plus Ces proportions sont respectivement de 22 et 1 lorsqu il s agit de la m re gt CONOMIE ET STATISTIQUE N 424 425 2009 membre le plus dou du m nage se porter volontaire Un module dit d orientation est alors propos compos d exercices d identification de mots de compr hension et de calcul ce moment crucial o l enqu t d couvre la teneur des questions plusieurs mesures ont t retenues pour en faciliter l acceptation Le support choisi est celui d une page de programme de t l vision ayant l avantage de constituer un l ment familier ou du moins connu pour l enqu t et d amoindrir le sentiment d tre confront une va
19. e Kirsch et Jungleblut 1986 Les 37 documents ayant servi au cours du protocole d enqu te ont ainsi pu tre class s selon leur difficult le recours n cessaire des connaissances ext rieures l preuve et le temps de passation Kirsch et Mosenthal 1990 S appuyant sur les r sultats de cette premi re enqu te le National Adult Literacy Survey NALS a t conduit en 1989 1990 sur un chantillon couvrant l ensemble de la popula tion adulte des tats Unis Trois grandes familles d preuves ont t propos es Kirsch et al 1993 La dimension Prose Literacy mesure la capacit comprendre et utiliser de l information organis e travers des phrases elles m mes structur es en paragraphes Des textes narratifs mais aussi de la po sie ont ainsi t repris partir de journaux magazines ou brochures en pr servant la typographie et la mise en page originale La dimension Document Literacy s int resse l aisance pour manipuler de l information structur e en matrice c est dire travers des lignes et des colonnes Les supports reprennent des tableaux des tickets des graphiques des grilles horaires etc La dimen sion Quantitative Literacy correspond la notion d arithm tique quotidienne additions soustractions multiplications et divisions prennent place travers des mises en situation calculer une remise sur un achat trouver le co t d un emprunt etc Ces m thodes ont
20. galement inspir au niveau international l enqu te International Adult Literacy Survey IALS organis e par Statistique Canada et ETS Educational Testing Service puis coordonn e par l Organisation de Coop ration pour le D veloppement conomique OCDE dans une vingtaine de pays entre 1994 et 1999 partir des r sul tats de cette enqu te et des principes de conception des preuves Kirsch ef al 1998 ont tent d affiner la d finition les facteurs de difficult des exercices Ils ont ainsi constitu une grammaire de variables qui peuvent tre regroup es en quatre cat gories selon le niveau d abstraction des informations manipul es des informations d signant un objet un lieu ou une personne quoi qui o sont plus simples appr hender que des questions r f rant un raisonnement une explication une justification pourquoi comment la complexit du rep rage de l information une question pos e demande une mise en relation d un certain nombre d l ments pr sents dans le texte La difficult cro t avec le nombre d l ments mais aussi avec le degr d implicite dans les informations par exemple lorsque la question utilise des formulations synonymes et pas exactement iden tiques celles du texte de r f rence la pr sence de distracteurs il s agit d l ments du texte susceptibles d attirer tort l attention en raison de leur proximit appa
21. luation scolaire ou une exp rience de laboratoire De plus les premi res questions sont uniquement destin es permettre une entr e en situation D lib r ment floues Vous connaissez ce type de document Qu est ce que c est quoi cela sert il elles n in terviennent pas dans l orientation ult rieure retenue pour la personne enqu t e Enfin des instructions pr cises ont t donn es l enqu teur pour viter que l enqu t n ait conscience de passer un module d orientation dont le r sultat pourrait le d valoriser Si la personne affirme tre absolument incapable de passer le module d orientation seul le Encadr 3 suite Enfin l illettrisme a des cons quences sociales manifestes Les personnes en tr s grande difficult face l crit d pendent plus que les autres des revenus sociaux et un quart d entre elles ont de faibles revenus 10 des personnes en emploi en Martinique sont en situation pr occupante face l crit contre 23 des enqu t s se d clarant au ch mage Sch ma Les comp tences face l crit la Martinique Pas de difficult dans les domaines fondamentaux de l crit Exercices 80 100 m complexes de rsassie Groupe 1 23 France 27 A 60 80 39 0 d r ussite Groupe 2 30 France 32 40 60 Bonne R ussite d r
22. me d sign s par erreur 6 On pourra cependant rapprocher cette perspective de celle des valuations internationales Dans ce cadre il est aussi souhaitable de laisser de c t la r f rence aux programmes lors de l laboration des exercices car ils varient trop fortement d un pays l autre On retrouvera cette r f rence la litt ratie et l usage des comp tences dans la vie quotidienne dans le cadre de l enqu te PISA aupr s des jeunes de 15 ans organis e par l OCDE par cycle de 3 ans depuis 2000 7 La traduction officielle de literacy est litt risme Journal Officiel de la R publique Fran aise 30 ao t 2005 Mais l usage de litt ratie tant galement tr s fr quent on emploiera dans ce num ro indiff remment l un ou l autre des deux mots CONOMIE ET STATISTIQUE N 424 425 2009 5 D une mesure d clarative des tests psychom triques Attentives se rapprocher d actes concrets du quotidien les premi res tentatives de mesure grande chelle de la litt ratie et la num ratie des adultes ont mis l accent sur les supports utilis s pour traiter l information Des mesures d claratives ont tout d abord t mises en uvre 8 en demandant l enqu t d valuer lui m me ses comp tences travers des questions du type tes vous capable de lire un journal ou encore Pouvez vous remplir un ch que Une telle approche a permis de mesurer le res senti des personnes inte
23. porte sur un bulletin d information comportant un message de la s curit routi re et des pr visions m t orologiques Il est enregistr au pr alable et diffus via l ordinateur de collecte ce qui permet de disposer d un message audio aux caract ristiques identiques pour l ensemble des enqu t s m me voix m me tonalit m me diction Le message est cout une premi re fois avant que l on pose une s rie de questions qui est repos e apr s une seconde coute Le module s ach ve par quelques items suppl mentaires Le module Bas ou ANLCI commence par une dict e le terme tr s connot n est bien s r pas employ il s agit d une liste de courses puis la personne r pond des questions d identification de mots partir d un support de la vie quotidienne un faux CD de musique galement utilis pour un exercice de compr hension Le module Interm diaire est en fait constitu de cet exercice de compr hension sur CD du module ANLCI Si la personne obtient de tr s bons r sultats plus de 80 de r us Sch ma 2 Architecture du questionnaire Description du m nage Module S lection de la haut personne interroger SI gt 11 et SC gt 16 SMI gt 18 Module Pr RACE Module SI lt 12 ou SC lt 17 es is ire Module Module Lecture de mots SI oral at num ratie biographique Compr hension SC SI gt 10 et
24. pos sibilit de r orientation Ces choix ont eu des cons quences importantes sur les r sultats et ne permettent pas une stricte comparabilit entre 2002 et 2004 Sch ma 1 Organisation du module d orientation Bloc Bloc A a Bloc Bloc Entr e dans Identification a mue Compr hension Num ratie la situation de mots Score Score Score d identification de compr hension de num ratie SI SC SN CONOMIE ET STATISTIQUE N 424 425 2009 Le contenu des exercices Les tests d valuation d VQ ont t d velopp s par des quipes de chercheurs en psy chologie Ces derniers ont travaill la transposition d preuves utilis es habituellement dans des cadres contr l s comme l outil de Diagnostic des Modalit s d Appropriation de l crit Besse et al 2004 celui d une enqu te m nage classique Le module d orien tation l exercice oral et le module ANLCI cf encadr 4 ont t labor s par l quipe PSyEF de J M Besse Universit de Lyon 2 L quipe EVA Universit de Rennes et H pital Ste Anne de C Charron et C Meljac ont constitu le module num ratie et les questions de calcul du module d orientation Enfin H Tardieu et son quipe Universit Paris 5 ont labor les preuves du module Haut Tous les membres du comit de pilo tage ont particip galement cette conception L exercice de compr hension orale
25. questionnaire L valuation de comp tences ne n cessite pas seulement une th orie psychologique aboutie elle demande aussi le d veloppement de techniques statistiques particuli res que l on regroupe sous le terme de psychom trie L article de Murat et Rocher donne un exemple de ce type de techniques Il cherche tablir un lien statistique entre les modules Haut et ANLCI en tenant compte de la proc dure d orientation Au terme de ce travail des am nagements ont t propos s pour les r alisations ult rieures de l enqu te Information et Vie Quotidienne Dans le domaine de la num ratie moins approfondi dans l enqu te Fisher et Charron ont galement mis en place des techni ques conom triques pour valuer le poids de la dyscalculie c est dire des difficult s dans le traitement des informations num riques non imputables des probl mes plus g n raux de compr hension de l crit Ils aboutissent un taux relativement faible de l ordre de 3 au sein de la population adulte Dans son versant sociologique l enqu te Information et Vie Quotidienne permet aussi de confronter les comp tences des individus avec leur trajectoire scolaire ou profes sionnelle Gu rin Pace montre qu un certain nombre de facteurs se retrouvent chez les personnes en difficult face l crit des difficult s scolaires pr coces l loignement 16 Il s agit plus pr cis ment d une s lection des q
26. soci t o sa l gitim est reconnue par des acteurs politiques et o de nouvelles institutions sont cr es pour mettre en uvre une action publique sp cifique La soci t fran aise a longtemps accept un nombre suppos r siduel de personnes ne sachant pas lire ou crire Cette acceptation tait moins morale qu conomique nombreux tant ceux qui pouvaient exercer un m tier tout en tant en situation d illettrisme Dans les ann es 1970 le probl me de l illettrisme devient plus visible avec des restructurations conomiques importantes et la disparition de certaines activit s qui pouvaient tre source de travail pour les personnes ne ma trisant pas l crit Confront es au ch mage ces derni res se voient proposer des formations qui ont int gr la ma trise de l crit comme un acquis de base Autrefois cach l illettrisme devient visible en particulier aupr s des associations travaillant au contact des populations les plus en difficult Parmi celles ci l association Aide Toute D tresse Quart monde ATD Quart Monde a t l une des premi res communiquer sur la question de l illettrisme travers des articles publi s d s 1967 dans sa revue Igloo On en trouve d autres dat s de 1970 1978 et 1979 ann e du rapport moral de l association souvent cit e comme ann e de naissance de l illettrisme En 1980 ATD quart Monde gr ce un financement tatique produit un autre rapport
27. traitement des mots crits Gombert 1997 gt CONOMIE ET STATISTIQUE N 424 425 2009 site soit au moins 19 points sur 23 elle passe ensuite le module Haut sinon on lui pro pose le reste du module ANLCI administr l envers pour garder une coh rence dans la succession des supports en effet il est plus naturel alors de poursuivre par la lecture des titres du CD avant de dicter la liste de courses Le module Haut se compose de cinq preuves Elles portent volontairement sur des objets informatifs vari s un fait divers un crocodile dans les gouts un graphique Encadr 4 suite L exercice de production crite se compose d une dict e de mots et d une phrase Les mots choisis sont r guliers mots qui se prononcent comme ils s crivent comme par exemple pav ou irr guliers mots qui ne se pronon cent pas comme ils s crivent comme par exemple monsieur ou chorale La liste comprend galement des pseudomots permettant d tudier la proc dure d assemblage des lettres et des syllabes suivie par les personnes interrog es Les items ont trois cinq et sept phon mes le phon me est la plus petite unit sonore de la langue parl e par exemple dat ne se distingue de dot que par un seul phon me La langue fran aise comprend 36 phon mes Les pseudomots et les mots r guliers ne comportent que les 45 graph mes de base d crits par Catach 1980 un graph me est un
28. 765 r pondants qui ont pass au moins un exercice Source enqu te Information et Vie quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 la difficult pour int grer les TIC comme support ad hoc dans un processus d valuation des comp tences dans la mesure o elles s appuient sur des applications tr s vari es sans lien direct de telle sorte qu une personne peut par exemple ma triser un naviga teur Internet sans pouvoir utiliser un traitement de texte ou un tableur Les supports tech niques voluent rapidement l instar des terminaux de t l phonie mobile pour lesquels la simple ma trise des chiffres ne suffit plus pour joindre un correspondant Les routines communes aux diverses TIC restent enfin tre document es de fa on suffisamment pr cise pour en tablir une m trique R sultats d ensemble de l enqu te ZVO 2004 Pour appr cier la ma trise de l crit une classification a t propos e Murat 2005 en combinant les r sultats dans les trois domaines l mentaires que sont la lecture de mots la compr hension d un texte simple et la production de mots crits les domaines l mentaires tant entendus ici comme des l ments fondateurs du rapport l crit Dans ces trois domaines le niveau de comp tence est estim par la proportion de bonnes r ponses r ussir moins de 40 des questions par exemple crire correctement moins de 8 mots sur les 20 dict s da
29. La mesure des comp tences des adultes un nouvel enjeu pour la statistique publique enqu te Information et Vie Quotidienne IVO t moigne de l avanc e des statis tiques publiques dans un champ d investigation nouveau celui de la mesure des comp tences des adultes et de la mobilisation de ces derni res dans le cadre de leur vie quotidienne Au c ur des activit s professionnelles sociales ou citoyennes le volume d informations chang es au quotidien se d multiplie par des supports vari s presse radio t l vision Internet t l phonie etc Au foisonnement des m dias correspond galement un enri chissement consid rable du type de messages chang s Les avanc es technologiques dans les domaines de la communication placent de plus en plus souvent la personne en position d metteur et plus seulement de r cepteur d une information au statut incertain quant sa port e ou sa validit Cons quence logique de ces mutations de nombreux gestes de la vie quotidienne requi rent de manipuler des m dias complexes et de comprendre les messages qu ils v hicu lent Ce qui pr suppose en particulier de disposer d une bonne ma trise des savoirs de base que sont la lecture l criture la compr hension orale et le calcul Les personnes ayant une faible ma trise de ces comp tences fondamentales d j en situation d licate pour remplir un formulaire ou lire une facture sont d s lors susceptibles de
30. S est apparue comme un l ment central dans la gen se ult rieure du protocole d 7VQ les conditions de passation et leur impact sur la motivation de l enqu t cf encadr 1 Encadr 1 INFLUENCE DU PROTOCOLE DE COLLECTE SUR LES R SULTATS Les expertises sur l enqu te ALS ont montr un certain nombre de dysfonctionnements qui peuvent expliquer les surprenants r sultats fran ais Ainsi l chantillon des r pondants pr sentait certaines faiblesse en particulier du fait du taux de non r ponse assez important De nombreux probl mes de traduction ont t rep r s lors de l analyse fine des r sultats par exercice La proc dure de correction a aussi t critiqu e car elle tait rigide et n avait pas anticip toutes les r ponses possibles certains enqu t s ont parfois fait une interpr tation impr vue mais juste des questions et leur r ponse a alors t jug e inexacte La pr sentation du test sous forme d un cahier d une quinzaine d exercice a pu d courager certaines personnes par son aspect scolaire et assez lourd Deux tu des ont permis de chiffrer l importance des biais induits voir Murat 2008 pour une pr sentation plus d taill e La premi re tude se fonde sur une enqu te de l OCDE PISA Programme International de Suivi des Acquis des l ves Cette enqu te a eu lieu pour la premi re fois en 2000 dans 32 pays depuis il y a eu deux autres ditions en 2003 et en 2006 Elle conc
31. adre concep tuel d une mesure g n ralis e des comp tences et de mettre en uvre des techniques statistiques pour tester les exercices L quipe de conception de l enqu te Information et Vie Quotidienne s est efforc e d uvrer pour am liorer les protocoles de collecte et proposer un questionnaire modul en fonction des comp tences L ensemble des contributions pr sent es au sein de ce dossier t moigne de la richesse des exploitations qui peuvent en tre conduites dans les domaines de la psychologie de la statistique et de la sociologie laborer un questionnaire tenant compte des derni res recherches en psychologie tout en respectant les contraintes d une enqu te m nage n a pas t facile L article de Besse Luis Bouchut et Martinez d crit pour le module ANLCI les principes th oriques issus de la recherche en psychologie cognitive qui sous tendent l valuation Il montre aussi le travail accompli pour passer d un proto cole d valuation par des psychologues une interrogation dans le cadre d une enqu te conduite aupr s de m nages Le module Haut a lui aussi t construit selon un mod le th orique bien pr cis d ailleurs assez proche de celui du module ANLCI Megherbi Rocher Gyselinck Tardieu et Trosseille ont confront les r ponses collect es pour le module Haut ce mod le th orique et concluent la validit des outils mis en uvre pour mesurer les comp tences cibl es par le
32. aris es en langue fran aise Plusieurs questions biographiques permettent de conna tre la langue maternelle la langue parl e la maison pendant l enfance et la langue d apprentissage de la lecture Toutefois le pro tocole actuel se fonde exclusivement sur l usage de la langue fran aise de sorte qu une partie de la population d origine trang re n est pas en mesure de r pondre aux ques tions ou se trouve en grande difficult sans que l on puisse conclure une difficult face toute forme d crit ou seulement face la langue fran aise 15 L Agence Nationale 15 Dans les adaptations d IVQ conduites la R union les questions de num ratie pouvaient tre pos es en cr ole selon une traduc tion tablie au pr alable et commune pour l ensemble des enqu teurs CONOMIE ET STATISTIQUE N 424 425 2009 de Lutte Contre l Illettrisme a conduit des entretiens post enqu te en proposant des exercices dans la langue d origine des personnes enqu t es 16 il serait ainsi envisa geable pour une s lection d exercices d inclure une traduction dans plusieurs langues en veillant pr server la difficult des preuves Prolongements L analyse des comp tences des adultes est un domaine d application encore r cent et en partie inexplor dans le domaine des enqu tes m nages Les initiatives internationales en d pit de limites m thodologiques fortes ont permis de faire avancer le c
33. ationales s int ressent surtout aux comp tences plus complexes Les mat riaux statisti ques de l enqu te doivent permettre de distinguer des groupes de population en fonction de leur aisance ou au contraire de leurs difficult s dans la manipulation de l crit et du calcul L attention est port e en particulier sur la quantification et la caract risation de la population pr sentant les difficult s les plus grandes 10 L enqu te doit galement permettre d appr hender les d terminants des comp tences l ge adulte Si le parcours scolaire est un facteur explicatif central des comp tences en 9 Dans le premier groupe de pilotage se trouvaient repr sent s l ANLCI Agence nationale de lutte contre l illettrisme le CGP Commissariat g n ral au plan le Crest Centre de recherche en conomie et en statistique la Dares Direction de l animation de la recherche et des tudes sociales du Minist re du travail la DPD Direction de la programmation et du d veloppement du minist re de l ducation nationale l Ined Institut national des tudes d mographiques l INETOP Institut national d tude du travail et de lorien tation professionnelle l Insee Institut national de la statistique et des tudes conomiques La D l gation g n rale l emploi et la formation professionnelle la D l gation interminist rielle la Ville l Observatoire national de la pauvret et la D l gation la langue fran
34. au moins l un des deux r sultats La deuxi me tude se fonde sur la premi re dition d VQ en 2002 Une partie des personnes interrog es ont alors pass des exercices repris l identique de l enqu te ALS Il est ainsi possible de mesurer l impact des change ments apport s au mode de collecte en supposant fix e la dimension mesur e Plus pr cis ment 6 exercices comportant 16 questions ont t repris e CONOMIE ET STATISTIQUE N 424 425 2009 La collecte d ZALS a en effet consist remettre chaque personne enqu t e un livret contenant l ensemble des textes et items puis laisser le sujet r pondre librement ven tuellement dans l ordre de son choix La perspective d un test relativement long com pos d une quinzaine d preuves int gralement d voil es d s le d but de l examen a pu accro tre l appr hension ou l ennui des enqu t s Il n y avait par exemple aucune relance ou transition entre deux exercices L enqu teur se devait de rester le plus silen cieux possible en limitant les interactions avec l enqu t Il est probable que ce type de consigne ait contribu renforcer l atmosph re d tranget d j associ e au caract re singulier de cette enqu te Encadr 1 suite Il ne faut cependant pas croire que la reprise l identique des preuves suffit garantir la comparabilit des r sul tats Les probl mes de traduction mis en
35. consist proposer une preuve d identification de mots et pseudomots et une preuve de compr hension de l crit sur un support d j test dans de pr c dents travaux de cette quipe DMA F Diagnostic des modes d appropriation de l crit version adapt e pour les Formateurs 1991 une page extraite d un programme hebdomadaire de t l vision Pour les besoins de l enqu te Information et Vie Quotidienne IVQ et avec l accord de l diteur de cet hebdomadaire plusieurs modifications ont t intro duites modification du nom et de la pr sentation de certaines missions invention d un film avec une photo de faux acteurs pour permettre un travail de lecture qui ne s appuie pas sur une reconnaissance de textes d j rencontr s Les modifications ont permis de construire une preuve d identification de mots et pseudomots des mots qui n existent pas mais pourraient exister puisqu ils respectent la structure de base des mots en fran ais consonne voyelle et une autre de compr hension de l crit questions pos es sur la pr sentation du film partir d un docu ment presque authentique L preuve de compr hension de l oral L quipe PsyEF a propos que l enqu te Information et Vie Quotidienne comprenne une preuve de compr hen sion de l oral pr sent e imm diatement apr s le module d orientation afin de contribuer mettre en confiance malgr la situation de test les perso
36. dans des routines comportant une complexit qui leur est propre Le temps d enqu te maintenu sur une dur e courte pour disposer de bonnes conditions d at tention et de concentration a d ailleurs t une contrainte suppl mentaire dans le choix des items qui a conduit valuer en mode mineur le calcul et la compr hension orale Le souci de disposer d un protocole d enqu te applicable l ensemble des personnes g es de 18 65 ans rendait galement p rilleuse la prise en compte du cas sp cifique des TIC pour des g n rations en ayant un recours tr s diff renci Il faut enfin souligner Tableau 1 Passation des modules et abandons Nombre de r pondants Arr t avant de pouvoir d terminer 8 une orientation Orientation directe vers le module ANLCI 1214 Dont abandon avant le module ANLCI 123 Dont abandon au cours du module ANLCI 60 Dont passage du module ANLCI et de la production crite 796 Dont passage du module ANLCI mais r alisation partielle de la production crite 235 Orientation directe vers le module Haut 6328 Dont abandon avant le module Haut 27 Dont abandon au cours du module Haut 300 Dont passage en entier du module Haut 6001 Orientation vers le module interm diaire 2215 Dont abandon avant le module interm diaire 16 Dont abandon au cours du module interm diaire 24 Dont passage en entier du module interm diaire 2175 Champ les 9
37. deuxi me m thode moins stricte repose cependant sur une relation assez imparfaite entre les r sultats au module d orientation et aux exercices ALS tablie sur les r pondants ces exercices Les r sultats obtenus frappent par leur cart avec ceux d ALS cf tableau A m me avec l hypoth se la plus s v re on est loin de 41 au niveau 1 cf tableau B La distribution se rapproche plus de ce que l on observe dans l enqu te PISA mais elle appara t cependant plus dispers e dans VQ les proportions aux niveaux extr mes sont plus lev es L analyse pr sent e ici ne permet pas d avancer sur la comparabilit internationale des donn es de l enqu te ALS Elle montre seulement que le m me protocole d exercices propos dans des conditions de collecte diff rentes et postulons le de meilleure qualit donne des r sultats tr s sensiblement diff rents la pro portion de personnes en difficult passant de 41 15 Les efforts pour rendre l enqu te moins lourde la situation moins artificielle et pr ciser la mesure en r duisant le recours l crit peuvent expliquer la variation des r sultats Tableau A R partition des jeunes de 15 ans et de l ensemble de la population selon le niveau de comp tence ALS en France En Source Niveau 1 Niveau 2 Niveau 3 Niveaux 4 et 5 Les jeunes de 15 ans dans PISA OCDE 2002 13 40 38 9 L ensemble de la popu
38. e n a pas cherch accro tre l int r t et la motivation de l enqu t Le pr c dent de ZALS et les tudes men es sur ce cas ont incit une certaine prudence mais ont galement donn des pistes pour obtenir une valuation de meilleure qualit Le d veloppement d VQ s est fait en gardant l esprit de telles difficult s Le groupe de pilotage et les probl matiques abord es par IVO L OCDE assist e de Statistique Canada et de ETS a d cid de lancer en 1999 une autre enqu te sur les comp tences des adultes Adult Literacy and Life Skills Survey ALLS tendant son champ d investigation d autres comp tences comme la r solution de probl mes Problem Solving Les principes de conception du questionnaire ZALS ayant t repris l identique malgr les critiques adress es la France a d cid de ne pas participer ce projet et de d velopper en premier lieu un cadre national d valuation des comp tences Un comit de pilotage a t institu 9 pour mettre au point un protocole rigoureux et adapt la r alisation d une enqu te m nage en France Les objectifs d fi nis dans le cadre de ce partenariat ont fa onn la forme prise par l enqu te nformation et Vie Quotidienne Le premier objectif assign l enqu te VQ est d apporter une description fine de la ma trise des comp tences de base au sein de la soci t fran aise l o les enqu tes inter n
39. e de difficult etc De plus le temps de r flexion requis pour r pondre est mesur de fa on implicite par l application informatique 13 le sujet n a pas pour consigne de r pondre le plus vite possible l enqu teur lui indique qu il peut prendre le temps n cessaire sa r flexion De la sorte il est possible de d tecter des r ponses donn es au hasard lorsque ces derni res sont par exemple donn es dans des temps tr s courts tandis que des signes de stress ou de lassitude ont t not s Afin de garantir un bon d roulement de l enqu te en cas de graves difficult s ou de contraintes fortes de temps l enqu teur peut interrompre le passage d un module pour directement proposer le module suivant La possibilit d utiliser ces passerelles a t pr vue pour viter une situation conflictuelle avec l enqu t dans des cas d nerve ment et pour parvenir collecter les informations du module biographique en cas de refus syst matique des preuves L encha nement des modules est alors consign dans l application informatique de collecte Par exemple parmi les personnes orient es vers le module Haut pr s de 6 000 sujets ont enti rement pass les exercices 300 envi ron ont abandonn en cours et pr s de 30 ont d finitivement arr t les exercices avant m me de commencer le module cf tableau 1 Parmi les personnes orient es vers le module ANLCI pr s de 800 sujets ont enti rement pass
40. e la ma trise de la langue fran aise la date de r daction de cet article la collecte en Guadeloupe fait l objet de traitements statistiques celle de la R union et celle en Martinique sont achev es et ont t valoris es travers la r daction d un dossier d tu des conduit avec les partenaires locaux Nous indiquons ici quelques r sultats de synth se sur l exemple de la Martinique permettant d appr cier la diversit des situations dans les DOM par rapport aux r sultats m tropoli tains Les difficult s des Martiniquais face l crit sont comme en France m tropolitaine plut t centr es sur la produc tion de mots crits et la compr hension de texte En effet 10 des Martiniquais n atteignent pas 60 de r ussite en compr hension et 9 ne l atteignent pas en production de mots crits En revanche seuls 2 de Martiniquais sont dans une situation similaire en lecture de mots Les difficult s graves ou fortes l crit sont plus fr quentes qu en m tropole 15 des Martiniquais sont dans une situation pr occupante face l crit contre 12 en France m tropolitaine un cart qui se retrouve pour les hom mes comme pour les femmes cf sch ma Les performances en calcul sont galement moindres en Martinique avec 20 de personnes ayant des r sultats m diocres pour 13 au niveau de la m tropole Ce taux s l ve 58 pour les seuls enqu t s en difficult grave ou forte face l
41. e sont distincts et d terminants pour la m thode de mise en uvre Les l ves coutumiers des exercices et examens acceptent plus ais ment l id e de passer un test que ce dernier soit administr dans une salle de classe ou en vis vis l inverse une valuation des comp tences des adultes ne peut tre conduite selon les protocoles usuellement retenus en milieu scolaire Sortis parfois depuis longtemps du syst me ducatif les adultes ne sont plus habitu s faire des exercices c est dire mobiliser leurs comp tences sur des objets abstraits sans lien direct avec leurs activit s professionnelles ou sociales De tels exercices peuvent leur rappeler de mauvais souve nirs la dict e par exemple est entour e d une symbolique o se superposent la crainte de l erreur et le rapport l autorit Proposer une telle preuve avec les pratiques scolaires usuelles conduirait ce que l enqu teur rev te l image du ma tre comme figure du juge Le niveau d acceptation d un tel exercice dans le cadre d une enqu te domicile est tr s faible et repr sente un risque r el de biais de s lection dans la r ponse 3 De la m me fa on la conduite d une valuation des comp tences n cessite de la part des enqu teurs de faire preuve d une grande qualit d coute pour assurer le bon d rou lement du questionnaire En comparaison avec des enqu tes d claratives la relation entre l e
42. e unit minimale de la forme crite d une langue Par exemple S SS SC Sont des graph mes correspondant au phon me s par ailleurs s est aussi un graph me muet notant le pluriel de nombreux noms Le choix des mots est tabli pour quatorze mots sur dix huit partir de l chelle Dubois Buyse Ters et al 1995 Les mots pseudomots et la phrase une phrase simple qui permet de v ri fier l utilisation des marques du pluriel du nom et du verbe sont dict s dans un contexte familier la liste des courses au sens large car il ne s agit pas seulement de produits alimentaires Ils sont dict s dans le m me ordre L exercice d identification de mots et pseudomots et de signalement le signalement est la r ponse la question o est marqu tel mot gt porte sur la lecture de mots fr quents phonologiquement r guliers ou irr guliers et de pseudomots de trois cinq et sept phon mes Les mots r guliers et les pseudomots ne comportent que les 45 graph mes de base d crits par Catach 1980 Le choix des mots est tabli principalement partir de l chelle Dubois Buyse Les mots sont pr sent s dans un contexte familier sous la forme d un album CD et d signent les titres des chansons et les musiciens La personne valu e est invit e lire voix haute certaines informations figurant dans le bo tier L exercice de compr hension de l crit s appuie sur la lectu
43. er les r sultats d ZVO pour accom pagner la r flexion des acteurs publics dans la d finition de la politique de rem diation face cet enjeu social qu est l illettrisme cf encadr 2 Encadr 2 LA RECONNAISSANCE DE L ILLETTRISME COMME UN ENJEU SOCIAL Jean Pierre Jeantheau Agence Nationale de Lutte Contre l Illettrisme Dans les ann es 1970 et 1980 la d couverte que certains Fran ais n s en France ne pouvaient pas d montrer des comp tences de base en lecture et criture a certainement t un choc tr s important pour la soci t fran aise Tandis que les difficult s rencontr es par les migrants dans la ma trise de la langue fran aise ont pu tre consid r es comme sp cifiques leur parcours de vie la pr sence de ces m mes difficult s parmi des personnes scolari s es d s leur plus jeune ge l cole de la R publique a suscit au sein de la soci t civile des interrogations sur la politique d ducation prise dans son ensemble En France la construction de l illettrisme en tant que probl me social a t pr cis ment d crite par Bernard Lahire 1999 Cette construction est pass e par tous les moments cl s d crits par Malcom Spector et John Kitsuse 1973 de l mergence dans la soci t d un probl me reconnu par des groupes organis s et des associations relay s et discut s par des penseurs et des chefs d opinion jusqu au moment o le probl me vient en d bat dans la
44. erne l ensemble des jeunes de 15 ans Des preuves en compr hension de l crit culture math matique et culture scientifique ont t propos es Ces preuves comportaient un certain nombre d items repris de l enqu te ALS l aide de ces items les psychom triciens ont pu effectuer un ancrage des donn es de PISA cf tableau A sur l chelle Prose de IALS c est dire les comp tences de compr hension de textes suivis et non de graphiques ou de donn es num riques qui faisaient l objet d autres chelles Kirsch et al 2002 Les moyennes par pays obtenues pour les l ves de 15 ans en 2000 ne sont pas tr s nettement reli es celles obtenues par les jeunes de moins de 26 ans l enqu te ALS En particulier la Su de premier pays pour l enqu te IALS est plut t au milieu de classement pour PISA tandis que l Allemagne dans la moyenne pour ALS a obtenu de mauvais r sultats lors de l valuation des l ves de 15 ans Quant la France elle appara t dans la moyenne dans l enqu te PISA et tr s en retrait avec ALS cf tableau A Alors que 41 de la population fran aise se trou vaient au plus bas niveau de litt ratie pour l enqu te ALS 27 pour les moins de 26 ans ils ne sont que 13 lors de l enqu te PISA parmi les l ves de 15 ans moins de faire l hypoth se d une am lioration formidable de notre syst me ducatif en particulier de 1994 2000 cet cart am ne s interroger sur
45. es refus de r pondre parmi les personnes enqu t es de 30 dans le cadre de l enqu te exp rimentale VQ 2002 21 dans le cadre d ZVO 2004 Conduite dans l ensemble des r gions de France m tropolitaine l enqu te ZVO 2004 s est appuy e sur un chantillon de 17 300 logements avec des crit res de pond ration qui augmentaient les probabilit s de trouver une personne en difficult notamment chef de m nage peu dipl m ou n l tranger Un sur chantillonnage a t r alis pour obtenir des r sultats sur les zones urbaines sensibles ZUS Dans la mesure o le financement des actions contre l illettrisme se joue en grande partie au niveau des institutions r gionales plusieurs partenaires locaux ont manifest leur int r t pour l enqu te leur mobilisation a conduit r aliser des extensions d chantillon pour obtenir des r sultats repr sentatifs pour les r gions Aquitaine Nord Pas de Calais et Pays de la Loire Le protocole a galement t repris en Martinique en 2006 la R union en 2007 en Guadeloupe en 2008 avec des adaptations pour pr server la proximit s mantique des exercices la vie quotidienne des populations enqu t es par exemple les noms des villes dans les textes ont t modifi s tout en pr servant les difficult s formelles qu ils doivent pr senter cf encadr 3 Un questionnement adapt au niveau de la personne L architecture de l enqu te IZVO
46. et qualifier les processus mentaux sous jacents la performance En appliquant ces outils des items de tests fortement satur s sur un facteur identifi les chercheurs en psychologie disposent depuis le cou rant des ann es 1980 de mod les d valuation permettant de discriminer la performance dans des processus cognitifs l mentaires Keating 1984 De ces travaux sur la mesure de l intelligence est n un cadre conceptuel g n ral qui peut tre appliqu sur des comp tences plus sp cifiques comme la ma trise de l crit identi fication de mots compr hension production crite ou la ma trise du calcul structures additives ou multiplicatives etc La mise au point d une enqu te statistique sur les comp tences des adultes a toutefois n cessit deux avanc es compl mentaires d une part le passage de la mesure brute des comp tences la mesure du niveau de litt ratie ou de num ratie d autre part l adaptation du protocole d valuation en laboratoire celui d une enqu te aupr s des m nages Des enqu tes conduites aux tats Unis dans les ann es 1980 et au niveau international dans les ann es 1990 ont permis de r aliser les travaux correspondants La gen se du protocole d VQ a t intimement li e aux cueils rencontr s par ces enqu tes et aux expertises qui en ont d coul Les enqu tes nationales et internationales dans la gen se d 77Q La premi re enqu te grande
47. exercices s appuient ainsi sur des supports usuels comme une page de programme t l vis une annonce sur la s curit routi re un message m t o un plan avec un itin raire Autant d items contribuant rendre l enqu te plus facilement acceptable aupr s des m nages On pourra s tonner l heure o les technologies de l information et de la communi cation TIC sont omnipr sentes sur le lieu de travail et investissent tr s largement la vie quotidienne y compris la vie citoyenne qu VQ n aborde pas la question du recours l crit et au calcul dans le champ de la micro informatique de l Internet de la t l phonie mobile Le champ d investigation repr sente pourtant un int r t certain pour mesurer l ad quation entre les besoins du march du travail et les capacit s offertes par les actifs Il est comme on a pu le citer en introduction au c ur des pr occupations des institutions europ ennes et fait l objet d une attention particuli re dans la conception de la prochaine enqu te de l OCDE sur les comp tences des adultes le Program for International Assessment of Adult Competencies Cette limitation d VQ est d lib r e et correspond l objectif de se concentrer en pre mier lieu sur l valuation des comp tences de base avant de s essayer l valuation de processus plus sophistiqu s dans lesquels les comp tences premi res sont transpos es sur des supports et
48. fficult s l crit peuvent trouver leur origine dans des probl mes plus g n raux de compr hension pr s d un tiers des personnes en difficult dans les domaines fondamentaux de l crit r ussissent parfaite ment l exercice oral Tableau 3 R sultats en calcul selon la ma trise de l crit En Pas de difficult En difficult sur Dont dans les domaines un des domaines difficult s Ensemble fondamentaux fondamentaux graves ou de l crit de l crit assez fortes Performances m diocres 13 8 39 49 dont lt 40 de r ussite 7 3 26 34 Entre 40 et 60 de r ussite 6 5 13 15 Entre 60 et 80 de r ussite 55 55 52 46 Au moins 80 de r ussite 32 37 9 5 Ensemble 100 100 100 100 Lecture 7 des enqu t s ont r ussi moins de 40 des questions en calcul 13 7 6 ont r ussi moins de 60 des questions leurs performances sont conventionnellement qualifi es de m diocres ces taux sont de 3 et 8 parmi les personnes n ayant aucune difficult dans les trois domaines fondamentaux de l crit Champ personnes de 18 65 ans hors celles ma trisant trop mal le fran ais ou la lecture pour passer les exercices 1 des enqu t s Source enqu te Information et Vie Quotidienne 2004 Insee Tableau 4 R sultats en compr hension orale selon la ma trise de l crit En Pas de difficult Emdifneults dang Dont z au moins un TE A dans les domaines difficult s En
49. lation National Center for IALS Educational Statistics 41 34 22 3 Les lt 26 ans IALS Insee 27 35 32 6 Les 26 45 ans IALS Insee 35 37 25 3 Les plus de 45 ans IALS Insee 59 28 14 2 Tableau B R partition de la population fran aise dans les niveaux de comp tences ALS selon IVQ Niveau 1 Niveau 2 Niveau 3 Niveau 4 ou 5 Hypoth se 1 15 4 25 6 43 6 15 4 Hypoth se 2 10 0 29 6 44 7 15 6 CONOMIE ET STATISTIQUE N 424 425 2009 Ces aspects posent la question de l engagement que l enqu t a pu prendre pour tenter de r soudre les exercices pos s Une enqu te sur les comp tences sollicite l attention et la concentration de la personne des niveaux bien plus soutenus qu habituellement dans des enqu tes aupr s des m nages Il est d s lors crucial d adapter de fa on dyna mique les exercices pos s pour se rapprocher au mieux du niveau de comp tences de l enqu t Si une personne cherche r soudre une question trop simple il est possible qu elle la n glige qu elle y passe trop peu de temps qu elle se trompe par tourderie D autres y verront l inverse une difficult cach e un pi ge De m me si une personne est confront e une s rie de questions trop difficiles d s le d but de l enqu te il est pos sible qu elle se d courage sur la suite des exercices Le protocole d ZALS en proposant d entr e de jeu un livret de questions sans adaptation possible au niveau de la personn
50. met d viter de poser des questions inutiles aupr s de la personne enqu t e Deux avantages en d coulent d une part le temps de passation du questionnaire est r duit d autre part le risque d irritation ou de lassitude du sujet face des questions soit trop faciles soit trop ardues est limit Autant d cueils auxquels est confront e une valuation plus classique fond e sur des livrets directement remplis par l enqu t comme ce fut le cas pour les enqu tes ZALS et ALLS 11 En 2002 le processus d orientation tait plus simple les personnes ayant eu des r sultats interm diaires taient orient es directement vers le module Haut Cependant on avait laiss aux enqu teurs la possibilit de r orienter les personnes si elles avaient trop de difficult ou trop de facilit Les enqu teurs ont assez souvent eu recours cette proc dure presque toujours pour r orienter une personne du module Haut vers le module ANLCI Dans la moiti des cas environ cette r orientation est apparue justifi e par des difficult s persistantes sur le module ANLCI Ceci montrait que la proc dure d orientation initiale tait sans doute trop peu s v re Cependant le recours important des r orientations toujours un peu subjectives posait aussi des probl mes de comparabilit d un enqu teur l autre En 2004 on a donc affin la proc dure d orientation avec la cr ation d un module interm diaire et supprim la
51. n not e est pos e six autres questions suivent avant que l enqu teur propose de r couter le message pour limiter les probl mes li s d ventuelles difficult s de m morisation Les six premi res questions sont repos es et sont suivies de questions compl mentaires Le module ANLCI Les personnes en difficult s dans le traitement de l crit ne sont pas toutes en situation d illettrisme L illettrisme caract rise la situation face l crit des personnes qui bien qu ayant suivi une scolarit en fran ais pendant au moins cinq ann es ne parviennent pas seules et avec le seul recours de l crit comprendre efficacement un texte crit portant sur des situations de la vie quotidienne et ou ne parviennent pas changer efficacement un message par crit La situation de ce type de population lisant et ou crivant peu ou mal est nomm e analphab tisme fonc tionnel gt dans certains pays Cette population est distinguer de celle qui n a pas t scolaris e non alphab ti s e et de celle des personnes d origine trang re pour qui le fran ais oral et crit est une seconde langue L quipe PSyEF a construit les trois preuves du module ANLCI en s inspirant pour l analyse de la langue crite du cadre th orique fourni par l quipe de Nina Catach Catach 1980 et pour les modalit s de traitement de l crit des travaux en psychologie cognitive notamment pour les voies de
52. nnes les plus loign es de l crit en les pla ant dans un contexte plus habituel dans lequel elles sont performantes couter un bulletin de radio Un autre objectif tait de permettre lors de l analyse des donn es recueillies de distinguer performances identiques les personnes qui ont un probl me de compr hension de la langue en g n ral orale et crite de celles qui n auraient qu un probl me en traitement de la langue crite Cette preuve ne permet pas toutefois de distinguer des niveaux de compr hension de l oral L exercice value les comp tences de la personne pour la compr hension d informations explicites la r ponse la question pos e figure explicitement dans le message oral et pour la compr hension d informations implicites la r ponse n cessite de la part de la personne la production d inf rences L exercice value galement des connais sances lexicales L ordinateur servant de support lors de la collecte est quip d une carte son qui permet de faire couter un texte enregistr le m me pour tous les enqu t s Le message ressemble un bulletin d informations radiophonique dans lequel alternent une voix f minine et une voix masculine qui exposent deux th mes un de s curit routi re l autre de m t o Le texte comprend des relatives des subordonn es et des proc d s anaphoriques L enregistrement est cout une premi re fois puis une question d entra nement no
53. nqu teur et l enqu t s en trouve sensiblement affect e parfois m me renfor c e dans des situations o l enqu teur est confront des personnes en grande diffi cult face l crit La formation des enqu teurs doit accorder une attention particuli re ces dimensions humaines souvent psychologiquement difficiles 4 2 On se limitera ici une comparaison avec les valuations statistiques en milieu scolaire Les autres formes d valuations les notes de contr le continu ou les examens ont une nature et des objectifs encore plus diff rents d Haultf uille et al 2002 ainsi ces valuations ont souvent une vis e individuelle rep rer les l ves en difficult pour leur proposer une rem diation sanctionner la ma trise de certaines comp tences s lectionner les individus aptes suivre une formation et sont l objet d une n gociation sociale o les progr s accomplis et les efforts consentis ont une importance aussi grande que le niveau de comp tence atteint 3 Cela ne signifie pas qu valuer l criture voire l orthographe est impossible dans le cadre d une enqu te m nage mais qu un effort de pr sentation particuli rement important doit tre fait ainsi dans l enqu te IVQ ce type d exercice a pris la forme d une liste de cour 4 Pour r pondre aux demandes d accompagnement ou d aide que l enqu t pouvait exprimer la fin d un entretien un num ro Indigo a t pr v
54. ns l exercice de production de mots crits est le signe d une communication tr s difficile par l crit un taux de r ussite sup rieur 80 indique une ma trise suffisante pour communiquer efficacement 14 Ainsi d apr s les r sultats collect s en France m tropolitaine une personne sur cinq n atteint pas ce seuil dans au moins l un des trois domaines l mentaires et peut donc tre consid r e comme en difficult face l crit cf tableau 2 Ces difficult s sont d ampleur variable selon les personnes et selon les domaines Par exemple en lecture de mots 2 ont de telles difficult s que leur communication avec autrui en est rendue tr s difficile impossibilit de passer les exercices ou r ussite moins de 40 des exercices ils sont 5 dans ce cas pour la production de mots crits et 6 pour la compr hension d un texte simple La m me gradation se retrouve un 14 La d finition de ces seuils a t tablie par le comit de pilotage de l enqu te en suivant lavis des quipes de recherche ayant labor les protocoles Ainsi consid rer comme en difficult les personnes qui r ussissent moins de 80 des questions propos es est assez classique et le m me seuil de ma trise a par exemple t utilis pour l enqu te internationale IALS Les d coupages interm diaires 40 et 60 ont t fait en respectant une certaine r gularit dans l intervalle de score et en consid
55. nsmises lors de la pr paration de la collecte sont particuli rement pr cises et contraignantes sur la place que peut prendre l enqu teur au cours de l entretien En aucun cas l enqu teur ne peut aider l enqu t dans la r solution des exercices Si cette consigne semble vidente plusieurs cas de figure peuvent se poser o l enqu teur apporte une aide notable sans m me s en rendre compte Il n est par exemple pas permis de donner des astuces sur la fa on de r pondre une question du type Il suffit de bien lire le texte pour trouver la r ponse chaque fin d exercice lors 12 Ces informations peuvent servir de variables de contr le pour appr cier l impact de la motivation sur le r sultat obtenu voire corriger les scores de comp tences en fonction des conditions de passation et des signaux de d motivation Un travail m thodologique a t conduit en ce sens sur IVQ 2002 Murat et Zamora 2002 Il a t repris et appliqu l ensemble des conditions de passation par un groupe de travail Ensae sur IVQ 2004 Jublanc J Lal E Le Donn N Patrier N L impact des conditions de passation sur la r ussite aux test d criture et de lecture Ensae m moire de statistiques appliqu es 2008 CONOMIE ET STATISTIQUE N 424 425 2009 que l enqu t donne sa r ponse l enqu teur doit pr server une expression neutre sans trahir de quelque fa on que ce soit si l item a t
56. nt la probl matique illettrisme et les pistes d action possibles envisager pour r ellement faire diminuer l ampleur du probl me Ce travail tout comme celui de conceptualisation a donn lieu aux publications de recherches ou de r flexion qui servent encore bien souvent de r f rence gt CONOMIE ET STATISTIQUE N 424 425 2009 11 L enqu te vise en outre mesurer les effets des comp tences sur la vie personnelle et professionnelle Le questionnaire biographique comporte un module abordant les dif ficult s rencontr es au quotidien par les personnes pour lesquelles les comp tences de base ne sont pas ma tris es et permettant de comprendre les strat gies de contourne ment mises en place recourir un proche pour lire les factures ou remplir des ch ques identifier les signes visuels couleurs pictogrammes sch mas dans les modes d emploi des objets du quotidien identifier les mots cl s dans des textes complexes Ces stra t gies se retrouvent dans la vie professionnelle de telle sorte que de graves difficult s avec la langue fran aise si elles sont globalement corr l es avec un taux de ch mage ou d inactivit plus important n interdisent pas l acc s l emploi y compris des emplois o des capacit s de lecture sont pourtant requises Encadr 2 suite Un nouvel lan la lutte contre l illettrisme fut apport par la loi d orientation de lutte contre les exclusions du 29 juille
57. nt souvent des programmes en vigueur pour construire les preuves une enqu te aupr s des m nages doit s affranchir des r f ren ces strictement ducatives et recourir aux concepts de litt ratie et de num ratie pour d signer les comp tences de lecture d criture de calcul mobilis es dans des situations de la vie courante 6 Introduite par des chercheurs anglo saxons la notion de litt ratie iteracy 7 peut tre d finie comme l usage d informations crites pour atteindre ses objectifs pour d velopper ses connaissances et ses potentialit s pour agir et voluer dans la soci t Kirsch et Junglebunt 1986 Cette d finition s carte en plusieurs points d une approche plus scolaire de la lecture ou de l criture La litt ratie prend en compte la manipulation d informations crites de nature diverse textes graphiques sch mas formulaires La pluralit des supports de ces crits doit ainsi tre consid r e part enti re qu il s agisse d une publicit d un mode d emploi d une lettre etc En outre la litt ratie se comprend comme la capacit extraire l information requise pour un objectif donn dans un message pouvant par ailleurs comporter bien d autres signaux parasites Il est donc question de mettre en uvre une comp tence donn e identifica tion de mots lecture criture dans une finalit pr cise reconna tre un nom com prendre une instr
58. ntre 9 en production de mots crits et 13 en compr hension de texte Il appara t que la capacit comprendre un texte crit m me simple va certes de pair avec la capacit identifier des mots mais aussi avec la capacit crire une liste de mots ce dernier r sultat n tant pas vident en soi Ainsi seulement 1 des personnes n ayant pas de difficult comprendre un texte simple en ont face l identification ou la production de mots crits l inverse 15 des personnes sans difficult dans la reconnaissance de mots crits sont en difficult face une production crite ou face la compr hension d un texte simple Le plus bas niveau de comp tence obtenu dans les trois domaines fondamentaux donne une mesure d ensemble des performances de la personne face l crit Par exemple selon cette m thode la personne ne parvenant qu un niveau de communication tr s difficile en compr hension d un texte simple est consid r e comme en grave difficult quels que soient ses r sultats aux autres preuves Si cette m thode conduit une l g re surestima tion des difficult s face l crit elle ne prend pas en compte la possible ma trise d un autre domaine elle permet de dessiner simplement un panorama des comp tences cf sch ma 3 Les personnes en difficult face l crit ont ainsi t class es en trois groupes les personnes en grave difficult face
59. odule Haut et ceux du module ANLCI sont tablis sur des chantillons distincts Cette caract ristique ne permet pas de quantifier pr cis ment l cart de difficult entre les deux modules a fortiori d tablir facilement une chelle de difficult sur l en semble des items du questionnaire En se fondant notamment sur le module d orientation et sur les enqu t s ayant r pondu au module Interm diaire avant d tre dirig s vers le module Haut des solutions conom triques peuvent dans une certaine mesure r pondre ce probl me comme en t moigne l article de Murat et Rocher pr sent dans ce dossier D autres protocoles s appuyant sur la passation al atoire d exercices choisis parmi une banque d items et l utilisation de mod les de r ponse l item pourraient tre envi sag s pour autant qu ils n affectent pas le degr de motivation de la personne enqu t e Une telle proc dure pourrait aussi tre utilis e pour toffer l preuve de num ratie dont le nombre de questions est fortement contraint par la dur e de l enqu te Ces volutions doivent toutefois tre effectu es en assurant la comparabilit avec l enqu te de 2004 Plus g n ralement le module Interm diaire tel qu il fut con ut dans ZVO 2004 ne joue pas parfaitement son r le Reprenant une preuve du module ANLCI il peut sembler trop facile pour une partie des personnes qui ont y r pondre Les items propos s
60. r pond la double contrainte de disposer d l ments d valuation communs l ensemble de la population enqu t e et d adapter au mieux CONOMIE ET STATISTIQUE N 424 425 2009 13 le questionnaire au niveau des comp tences de l enqu t tel qu il est mesur au fur et mesure des items L enqu te d bute par un bref change permettant de lister les membres du m nage et de d signer al atoirement la personne qui sera interrog e parmi celles qui ont entre 18 et 65 ans toute substitution tant interdite pour viter un biais de s lection conduisant le Encadr 3 IVQ DANS LES D PARTEMENTS D OUTRE MER ADAPTATIONS ET R SULTATS Sandrine Coupin et G rard Forgeot d partement tudes et Diffusion Insee Martinique Lors de l dition 2004 de l enqu te VQ les contraintes de calendrier et d organisation n ont pas permis d tendre le champ de la collecte aux d partements d outre mer DOM Face aux difficult s sp cifiques rencontr es dans ces territoires en termes de formation et d insertion professionnelles la mobilisation des acteurs locaux a toutefois permis de r aliser une enqu te sp cifique en Martinique en 2006 la R union en 2007 et la Guadeloupe en 2008 Chaque collecte a fait l objet d une pr paration particuli re afin d identifier au pr alable les adaptations apporter au questionnaire En effet les preuves d IVQ tant inscrites dans une mise en situation il est es
61. rant la r partition effective de la population d o l absence de seuil 20 qui aurait isol trop peu de monde Tableau 2 R sultats en lecture de mots production de mots crits et compr hension d un texte simple En Lecture Production Compr hension de mots de mots crits d un texte simple Personnes n ayant pu faire les exercices 1 1 1 Communication tr s difficile lt 40 de r ussite 1 4 5 Communication faiblement efficace entre 40 et 60 de r ussite 1 4 4 Communication possible entre 60 et 80 de r ussite 2 5 9 Communication efficace au moins 80 de r ussite 15 6 1 Pas de difficult dans les 3 domaines fondamentaux de l crit 80 80 80 Ensemble 100 100 100 Lecture 1 des enqu t s avaient trop de difficult s en fran ais ou en lecture pour passer les exercices 1 les ont pass s et ont r ussi moins de 40 des questions en lecture de mots 15 ont r ussi au moins 80 des questions en lecture de mots mais se sont trouv s en difficult dans l un des deux autres domaines fondamentaux de l crit criture et compr hension 80 ne pr sentent de difficult dans aucun des trois domaines fondamentaux de l crit Champ personnes de 18 65 ans Source enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 23 24 niveau de difficult interm diaire 3 ont entre 40 et 80 de r ussite en lecture de mots co
62. re de la derni re page de la jaquette du CD La personne valu e est invit e lire silencieusement un texte qui se pr sente comme une critique de l album Les questions pos es ensuite sont soit des questions qui supposent une recherche d informations explicites et litt rales la r ponse la question pos e figure explicitement dans le texte des questions amenant une recherche d informations explicites s mantiquement proches la r ponse est un synonyme par exemple et d autres ques tions amenant une recherche d informations implicites la r ponse n cessite de la part de la personne la production d inf rences BIBLIOGRAPHIE Andrieux F Besse J M et Falaize B ds 1997 Z lettrismes quels chemins vers l crit Magnard Paris Besse J M Petiot Poirson K Petit Charles E 2003 Qui est illettr Retz Paris Besse J M Luis M H Dumoulin Paire K Petiot Poirson K et Petit Charles E 2004 valuer les illettrismes Diagnostic des modes d appropriation de l crit guide pratique Retz Paris Catach N 1980 L orthographe fran aise Nathan Universit Paris Gombert J E 1997 Les activit s cognitives en uvre dans la lecture et son acquisition in Andrieux F Besse J M et Falaize B ds Illettrismes quels chemins vers l crit pp 129 144 Magnard Paris Ters F Reichenbach G et Mayer D 1995 L chelle Dubois Buyse d orthographe usuelle fran ai
63. rente avec des termes de la question CONOMIE ET STATISTIQUE N 424 425 2009 FA la longueur du texte la compr hension d un texte reste d pendante des processus de m morisation et d assimilation plus ardus lorsque le texte est plus dense ou plus long En se fondant sur des travaux de chercheurs am ricains sp cialis s en psychom trie l enqu te ZALS a donn lieu des tudes comparatives OCDE 2000 sur les niveaux de comp tences observ s dans les pays ayant particip au dispositif La m thode IRT ou MRI a ainsi t mobilis e pour construire une chelle internationale commune partir d items traduits dans chaque langue Les conclusions diffus es par l OCDE furent particuli rement surprenantes pour la France 40 des Fran ais entraient dans la cat gorie des plus mauvais lecteurs bien loin derri re la plupart des pays participants entre autres l Allemagne ou les tats Unis Outre le probl me d licat de la traduction et de l inadaptation des exercices certains contextes culturels l enqu te ZALS a t critiqu e sur plusieurs aspects techniques le plan de sondage la codification des r ponses le recours fragile une m thode de r ponse l item pour des comparaisons internationales Bonnet 2001 Dickes et Vrignaud 1995 Blum et Gu rin Pace 2000 Kalton et al 1998 Parmi ces travaux d exper tise et de contre expertise une faiblesse m thodologique du protocole ZAL
64. rrog es sur la difficult d accomplir des t ches quotidiennes et d appr cier leur recours ventuel l aide d un proche ou d un ami Elle a toutefois t confront e une limite majeure celle de la sous d claration des difficult s par des per sonnes craignant d tre stigmatis es Une solution un tel biais est rechercher parmi les des travaux conduits en psychologie pour mettre en uvre une mesure directe des comp tences Des exp riences conduites en laboratoire puis en pratique clinique ont en effet permis de d finir des jeux d exercices auxquels la personne s efforce de r pondre par elle m me Ces travaux se sont appuy s en partie sur les avanc es effectu es dans les ann es 1970 et 1980 par la psychologie dif f rentielle et la psychologie cognitive dans le cadre des tests d intelligence Sternberg 1977 L approche diff rentielle constitue le socle th orique sur lequel s appuient les tests psychom triques pour lesquels la performance intellectuelle d un sujet r sulte de l activation d un ensemble de processus dans lequel les individus pr sentent des dif f rences stables Fond e sur cette stabilit des diff rences individuelles une analyse fac torielle permet alors de regrouper des t ches dont on peut penser qu elles refl tent une m me famille de processus La psychologie cognitive a en outre permis d laborer des outils conceptuels et m thodologiques pour identifier
65. rvey National Center for Education Statistics U S Department of Education Office of Educational Research and Improvement Washington DC NCES 98 053 chapitre 7 pp 105 134 CONOMIE ET STATISTIQUE N 424 425 2009 29 30 Lahire B 1999 L invention de l amp illettrisme Rh torique publique thique et stigmates La D couverte Paris Murat F 2004 Les difficult s des adultes face l crit Insee Premi re n 959 Murat F 2005 Les comp tences des adultes l crit en calcul et en compr hension orale Insee Premi re n 1044 Murat F et Zamora P 2002 Les performances d adultes des tests en lecture comment s parer motivation et comp tences communication aux Journ es de M thodologie Statistique de 2002 Murat F 2008 L valuation des adultes des m thodes en plein d veloppement ducation et Formations n 78 Murat F et Rocher T 2009 Cr ation d un score global dans le cadre d une preuve adaptative Economie et statistique ce num ro OCDE Statistique Canada 2000 La litt ratie l re de l information rapport final de l Enqu te internationale sur la litt ratie des adultes OCDE OCDE 2005 Learning a Living Ottawa et Paris mars et juin Rivi re J P 2001 Z lettrisme la France cach e Gallimard Paris Spector M et Kitsuse J I 1973 Social Problems a Re Formulation Social Problems vol
66. s Besse J M Luis M H Dumoulin Paire K Petiot Poirson K et Petit Charles E 2004 valuer les illettrismes Diagnostic des modes d appropriation de l crit guide pratique Retz Paris Blum A et Gu rin Pace F 2000 Des lettres et des chiffres Des tests d intelligence l valuation du savoir lire un si cle de pol miques Fayard Paris Bodier M et Chambaz C 1996 Lire et crire les difficult s des adultes Donn es sociales La soci t fran aise Insee pp 490 497 Bonnet G Braxmeyer N Horner S Lappalainen H P Levasseur J Nardi E R mond M Vrignaud P et White J 2001 The Use of National Reading Tests for International Comparisons Ways of Overcoming Cultural Bias MEN DPD CONOMIE ET STATISTIQUE N 424 425 2009 Burch J G et Grudnitski G 1986 Information Systems Theory and Practice John Wiley and Sons New York Coulombe S Tremblay J F et Marchand S 2004 Performance en litt ratie capital humain et croissance dans quatorze pays de l OCDE Enqu te internationale sur l alphab tisation des adultes Collection Statistique Canada n 11 d Haultef uille X Murat F et Rocher T 2002 La mesure des comp tences les logiques contra dictoires des valuations internationales Actes des Journ es de m thodologie statistique 2000 Insee Dickes P et Vrignaud P 1995 Rapport sur les traitements des donn es fran aises de l enqu
67. s plus connues reliant la r ussite l cole aux dipl mes et aux revenus des parents La richesse de l enqu te Information et Vie Quotidienne se d cline galement l chelle des territoires d action pour la lutte contre l illettrisme et la formation continue dans les ann es suivant l enqu te des publications ont vu le jour dans les r gions qui ont pu r aliser une extension d chantillon ou qui ont eu recours des techniques d estima tion par petits domaines Plusieurs chantiers restent ouverts commencer par la possibilit d obtenir des comparaisons internationales de meilleure qualit L enjeu est videmment de taille dans le cadre d une coordination europ enne des programmes sta tistiques La prise en compte des apports et les limites du dispositif ZVO pourrait aider la r flexion des acteurs internationaux impliqu s dans le domaine telle l OCDE uvrant la mise en place d un nouveau dispositif d enqu te sur les comp tences le Program for International Assessment of Adult Competencies PIAAC d ici 2012 Arnaud Degorre Insee Fabrice Murat minist re de l Education nationale Depp BIBLIOGRAPHIE Anglade J M Boureau B Redegeld T et Vos van Steenwijk A 1984 L alphab tisation en Europe une communaut avant la lettre Commission des Communaut s europ ennes 168 p Bentolila A 1996 De l illettrisme en g n ral et de l cole en particulier Plon Pari
68. se ditions MDI CONOMIE ET STATISTIQUE N 424 425 2009 19 20 sur les accidents de la route un texte long sur les colosses de l le de P ques un texte court sur un sujet un peu technique la m moire visuelle et un texte proc dural la description d un itin raire sur une carte Les questions pos es sont de difficult et de nature vari es remettre les phrases d un texte dans le bon ordre vocabulaire gram maire compr hension litt rale etc Les questions relatives la num ratie sont pr sentes deux stades du questionnaire Apr s la lecture de deux nombres la r ussite trois exercices courts lors du module d orientation conditionne la passation du module Num ratie proprement dit Ce dernier comporte des probl mes d une ou deux phrases donn s oralement pour ne pas cr er d interf rence avec la litt ratie Il est ainsi compos de 11 questions class es par ordre de difficult les person nes n ayant r ussi qu une question au plus dans le module d orientation commencent la cha ne de questions au d but par les plus faciles tandis que celles qui ont r ussi au moins deux questions passent directement la question 8 Au bout de trois erreurs on arr te le questionnement La passation de ce module est ind pendante des r sultats en lecture Quant au module biographique il recueille un certain nombre d informations sur la scolarit les langues maternelle et d apprenti
69. se retrouver en tr s grande difficult dans l usage des supports d information et de communication les plus sophistiqu s Un tel risque doit tre pris en compte dans les programmes publics et notamment europ ens 1 visant d velopper une soci t de l information si l on souhaite viter de cr er des situations d exclusion dans la recherche d un emploi dans la participation des activit s sociales ou encore dans l exercice des droits et devoirs de citoyens R alis e par l Insee en 2004 l enqu te Information et Vie Quotidienne s attache ainsi quantifier le niveau de ma trise des savoirs de base pour manipuler un message c est dire le recevoir le comprendre ou le produire Conduit sur un chantillon de plus de 10 300 r pondants g s de 18 65 ans ce dispositif apporte de premiers l ments pour mesurer l importance des difficult s rencontr es dans la vie quotidienne pour acc der l information et aux savoirs qu elle v hicule 1 Le th me de la soci t de l information est au c ur des objectifs d finis par l Union europ enne lors du Conseil europ en de Lisbonne les 23 et 24 mars 2000 qui a abouti la cr ation au sein de la Commission europ enne d une Direction G n rale la Soci t de l Information et la mise en uvre d un plan intitul i2010 Une soci t de l information pour la croissance et l emploi CONOMIE ET STATISTIQUE N 424
70. semble des domaines fondamentaux graves ou SES fondamentaux de l crit ee assez fortes de l crit Performances m diocres 14 9 38 47 dont lt 40 de r ussite 4 2 16 22 Entre 40 et 60 de r ussite 10 7 22 25 Entre 60 et 80 de r ussite 23 21 29 26 Au moins 80 de r ussite 63 70 33 26 Ensemble 100 100 100 100 Lecture 4 des enqu t s ont r ussi moins de 40 des questions en compr hension orale 14 4 10 ont r ussi moins de 60 des questions leurs performances sont conventionnellement qualifi es de m diocres ces taux sont de 2 et 9 parmi les personnes n ayant aucune difficult dans les 3 domaines fondamentaux de l crit Champ personnes de 18 65 ans hors celles ma trisant trop mal le fran ais ou la lecture pour passer les exercices 1 des enqu t s Source enqu te Information et Vie Quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 25 26 Limites et investigations L exploitation des donn es collect es a mis en vidence certaines limites de l enqu te La proc dure d orientation des personnes enqu t es entre les modules Haut et ANLCT si elle permet de garantir la motivation tout au long des preuves fragilise l estimation de la dis tribution des comp tences face l crit sur l ensemble de la population En effet le proto cole retenu revient segmenter la passation du questionnaire de sorte que les r sultats sur les exercices du m
71. sentiel de veiller ce que les r f rences culturelles implicites soient compatibles avec le contexte propre de chacun des DOM On citera titre d exemple parmi les adaptations retenues la modification des noms de localit s dans l annonce m t o Ces modifications sont conduites en veillant ne pas modifier la difficult de l preuve ce qui implique de choisir des items de remplacement pr sentant les m mes qualit s au regard d une mesure de la litt ratie nombre de syllabes particularit s syntaxiques occurrence dans l usage de la langue Les conditions pour d livrer le message sont galement maintenues l identique la nouvelle annonce m t o a t enregistr e avec une diction comparable Les adaptations ont galement port sur la prise en compte du cr ole dans la relation entre l enqu teur et len qu t Pendant les preuves de mesure directe des comp tences aucun recours au cr ole n a t autoris dans la pr sentation des exercices Son usage a t circonscrit l entr e en situation prise de contact pr alable pr sen tation de l enqu te et au module biographique la R union une adaptation compl mentaire a t retenue les questions du module de num ratie pouvaient tre lues en cr ole selon un script d fini au pr alable qui a permis d viter toute interpr tation ou reformulation des exercices De la sorte les comp tences en num ratie ont pu tre mesur es ind pendamment d
72. ssage de la lecture l origine sociale de la personne dipl me et profession des parents les v nements survenus dans la jeu nesse d c s d un fr re ou d une s ur maladie situation mat rielle etc la situation professionnelle et l usage de l crit dans le milieu professionnel les conditions de vie les pratiques de lecture et les loisirs Plusieurs questions portent sp cifiquement sur les strat gies de contournement des difficult s dans la vie de tous les jours principalement pour les personnes en difficult La collecte de m ta donn es sur les conditions de passation Les performances mesur es par les exercices d VQ sont la r sultante de trois dimen sions le niveau de comp tence de la personne enqu t e sa motivation ou son impli cation au cours de l valuation et les interactions avec des l ments ext rieurs pendant l entretien Afin de retrouver partir des scores de performances une image la moins biai s e possible des comp tences le protocole IVO s efforce de r duire au maximum les per turbations apport es par des l ments ext rieurs et de recueillir les m ta donn es idoines pour appr cier le niveau de mobilisation de l enqu t au cours des exercices 12 Le premier l ment ext rieur susceptible de biaiser la mesure des comp tences est de toute vidence l enqu teur lui m me dans le niveau d interaction qu il d veloppe avec l enqu t Les consignes tra
73. t 1998 En effet cette derni re rige la lutte contre l illettrisme en priorit nationale et contribue en par tager tr s largement la responsabilit ainsi que la mise en uvre L article 149 pr cise cette priorit est prise en compte par le service public de l ducation ainsi que par les personnes publiques et priv es assurant une mission de formation ou d action sociale Tous les services publics contribuent de mani re coordonn e la lutte contre l illettrisme dans leurs domaines d action respectifs Suite la loi le livre IX du Code du travail a t modifi par l introduction de l article 900 6 La lutte contre l illettrisme fait partie de l ducation permanente L tat les collectivit s territoriales les tablissements publics les tablissements d enseignement publics et priv s les asso ciations les organisations professionnelles syndicales et familiales ainsi que les entreprises y concourent chacun pour leur part Command par le ministre de l emploi et de la solidarit le rapport Lutter contre l illettrisme Geffroy 1999 dresse un tat des lieux 15 ans apr s le rapport Des illettr s en France Le texte fait appara tre l absence d une d finition du ph nom ne qui serait reconnue par tous et d une valuation quantitative fiable Il est pr conis de mettre en uvre des outils de mesure de l illettrisme ainsi qu un rep rage des personnes en situation d illet
74. teracy Survey National Center for Education Statistics U S Department of Education Office of Educational Research and Improvement Washington DC NCES 98 053 Appendix A pp 216 230 Keating D P 1984 The Emperor s New Clothes the New Look in Intelligence Research in R J Sternberg d Advances in the Psychology of Human Intelligence vol 2 pp 1 35 Erlbaum Hillsdale NJ Kirsch I de Jong J Lafontaine D McQueen J Mendelovits J et Monseur C 2002 Reading for Change Performance and Engagement Across Countries Results from PISA 2000 OCDE Kirsch LS et Jungeblut A 1986 Literacy Profiles of America Young Adults Final Report NAEP Report n 16 PL 01 Educational Testing Service Princeton NJ Kirsch I S et Mosenthal P B 1990 Exploring Document Literacy Variables Underlying the Performance of Young Adults Reading Research Quarterly 25 pp 5 30 Kirsch I S Jungeblut A Jenkins L et Kolstad A 1993 Adult Literacy in America A first Look at the Findings of the National Adult Literacy Survey National Center for Education Statistics U S Department of Education Office of Educational Research and Improvement Washington DC NCES 1993 275 Kirsch I S Jungeblut A et Mosenthal P B 1998 The Measurement of Adult Literacy in T S Murray I S Kirsch et L B Jenkins ds Adult Literacy in OECD Countries Technical Report on the First International Adult Literacy Su
75. tes Exercices 0 40 E face l crit o simples de r ussite Graves difficult s 7 Champ personnes de 18 65 ans Source enqu te Information et Vie quotidienne 2004 Insee CONOMIE ET STATISTIQUE N 424 425 2009 En calcul une personne sur trois r ussit au moins 80 des questions tandis qu une sur huit n atteint pas le seuil de 60 de r ussite cf tableau 3 Les difficult s en calcul sont fortement li es aux difficult s de ma trise du fran ais sans toutefois se superposer l identique Ainsi 8 des personnes n ayant pas de difficult dans les trois domaines fondamentaux de l crit ont des performances m diocres en calcul soit moins de 60 de r ponses correctes et l inverse 5 des personnes en difficult grave ou assez forte face l crit ont tr s bien r ussi les exercices de calcul Dans le domaine de la compr hension orale les deux tiers des enqu t s donnent au moins huit bonnes r ponses sur dix tandis que 14 ne d passent pas six bonnes r pon ses cf tableau 4 L encore les comp tences l uvre sont dissocier de la seule ma trise de l crit 9 des personnes n ayant pas de difficult dans les domaines fon damentaux de l crit ont des performances m diocres en compr hension orale m me si cette proportion est quatre fois inf rieure celle mesur e parmi les personnes en chec face l crit Si pour certaines personnes les di
76. u lors de l enqu te IVQ 2004 CONOMIE ET STATISTIQUE N 424 425 2009 En outre les finalit s de l valuation en milieu scolaire ne sont pas directement trans posables celles d une valuation dans une population adulte En laissant de c t ses utilisations diagnostiques et certificatives 5 n gligeables dans une perspective statis tique l valuation scolaire dessine une image globale du syst me ducatif elle permet d appr hender le niveau moyen et les disparit s de chaque cohorte d l ves et constitue un premier outil pour estimer la capacit du syst me d velopper les comp tences des l ves jusqu leur entr e dans la vie adulte L valuation d une population adulte telle qu elle a t souhait e dans l enqu te VO vise plut t mettre l accent sur l usage de la lecture de l criture et du calcul dans les gestes courants de la vie personnelle et professionnelle Il s agit principalement d examiner si les personnes vivant en France ont un degr de ma trise suffisant pour faire face aux mutations du monde du travail et de la vie quotidienne qui n cessitent un acc s une information de plus en plus complexe Le syst me ducatif n est pas ici directement mis en question face la grande diversit des parcours de vie des per sonnes enqu t es issues de g n rations diff rentes et parfois scolaris es l tranger L o des valuations scolaires se r f re
77. uction crire un courrier et non pas dans un contexte acad mique et formel La notion de num ratie numeracy elle aussi issue de recherches anglo saxonnes reprend les m mes principes dans le domaine de la ma trise des nombres et du calcul 5 Classiquement on distingue les valuations selon leur objectif l valuation diagnostique cherche rendre compte au d but d une formation des points forts et des points faibles d un l ve pour permettre d adapter l enseignement l valuation formative est utilis e en cours d apprentissage sous forme d exercices par exemple pour d velopper et contr ler les comp tences l valuation certificative vise signaler au final les l ves qui ma trisent les notions enseign es l valuation statistique vise le m me objectif au niveau global et non individuel Ces diff rences d objectifs peuvent avoir un impact sur le protocole d interrogation et d analyse Ainsi sachant que le rep rage des l ves en difficult est affect d une certaine incertitude les valuations diagnostiques et statistiques ne vont pas g rer cette incertitude de la m me fa on dans un cadre statistique on cherchera r partir l erreur de fa on homog ne pour que la pro portion d l ves en difficult soit juste dans une perspective diagnostique on aura sans doute plut t tendance minimiser le nombre d l ves en difficult non rep r s quitte gonfler celui des l ves sans probl
78. uestions pos es sur le texte de compr hension du bo tier de CD repris du module ANLCI Les traductions ont t conduites en arabe espagnol polonais portugais et turc CONOMIE ET STATISTIQUE N 424 425 2009 27 28 des pratiques de lecture certains traumatismes durant l enfance Mais elle montre aussi toute la diversit pr sente dans cette population en termes de parcours et de r seaux sociaux l ments importants pour faire face aux difficult s qu entra nent les probl mes en lecture dans la vie quotidienne Place et Vincent tudient plus globalement les com p tences en combinant celles en lecture et celles en calcul Leur objectif est de comparer les d terminants de ces comp tences l ge adulte avec ceux du dipl me S ils retrou vent peu pr s les m mes facteurs dans les deux cas les corr lations apparaissent plus fortes avec le dipl me ce qui rappelle que les in galit s sociales de parcours scolaires int grent non seulement des in galit s de comp tences mais aussi des diff rences en termes de strat gie scolaire d orientation Enfin l article de Murat propose de prolon ger l analyse d une g n ration l autre en tudiant l influence des comp tences des personnes interrog es sur la scolarit de leurs enfants Les enfants dont les parents sont les moins comp tents en lecture ou en calcul redoublent plus souvent que les autres Cette corr lation prend place c t de celle
79. utres se trouvent dans des situations d exclusion o l illettrisme se conjugue avec d autres facteurs En concordance avec cette d finition les mesures tablies partir de l enqu te Information et Vie Quotidienne s appuient sur des supports de la vie quotidienne et prennent en compte diverses dimensions du rapport de l crit Elles permettent galement d aborder les acquis des personnes en situation d illettrisme et leur positionnement au regard des processus d int gration sociale et d exclusion CONOMIE ET STATISTIQUE N 424 425 2009 Des tests m thodologiques au lancement de l enqu te La rencontre entre la recherche en psychologie et l ing nierie statistique a permis de donner corps ces objectifs en adaptant des exercices d valuation des comp tences puis en les orchestrant sous la forme d une enqu te m nage tout en prenant soin de r pondre aux biais potentiels pos s par le protocole Insee 2002 Un premier test de l op ration a t men en d cembre 2000 sur quelques centaines d in dividus pour s assurer que le principe m me d une valuation domicile tait possible On a constat qu il n y avait pas de rejet trop marqu de l enqu te de la part des personnes interrog es mais que les probl mes de motivation attention accord e au questionnaire ou lassitude en fin d preuve se posaient toujours de fa on cruciale C est pourquoi un effort particulier a t

La mesure des compétences des adultes, un nouvel enjeu

Contents

Download Pdf Manuals

Related Search

Related Contents

La mesure des comp&eacute;tences des adultes, un nouvel enjeu

Contents

Download Pdf Manuals

Related Search

Related Contents

La mesure des compétences des adultes, un nouvel enjeu