Home

mesurer les connaissances et compétences des élèves

1. Il est n cessaire de donner quelques explications pour rendre plus claire cette d finition du domaine concern Comprendre l crit L expression compr hension de l crit a t utilis e de pr f rence lecture parce qu elle est susceptible de mieuxtraduire pour un public de non sp cialistes l id e de ce que l enqu te va mesurer Par lecture on entend souvent un simple d codage ou m me le fait de lire haute voix alors que l intention de cette enqu te est de mesurer quelque chose de bien plus vaste et de bien plus profond Nous voulons mettre l accent sur le fait que la lecture intervient dans une s rie de situations et sert des fins multiples Historiquement le terme anglais literacy a d sign l outil dont les lecteurs se servent pour acqu rir des connaissances Le terme francais litt ratie ne conviendrait pas car il est trop souvent associ la notion d analphab tisme illettrisme ou toute autre facon de d signer un niveau minimum de savoir faire n cessaire pour fonctionner dans une soci t donn e Ceci tant dit la r f rence la lecture en tant qu outil est proche de la connotation que le terme compr hension de l crit est suppos prendre dans l tude OCDE PISA qui concerne une population d l ves dont le spectre de comp tences est tr s large Certains de ces l ves poursuivront leurs tudes en s inscrivant dans une universit d autres s inscriront dans une formation secondaire ou t
2. 44 Ce tableau montre qu environ 45 pour cent de l preuve de compr hension de l crit seront consti tu s d items r ponse construite qui requi rent un jugement de la part du correcteur Les 55 pour cent restants consisteront en preuves choix multiple et r ponse construite n cessitant peu de jugement subjectif de la part du correcteur On voit galement dans le tableau 8 que bien que les items choix multiple et r ponse construite soient pr sents dans les cinq aspects ils ne seront pas distribu s uni form ment Un pourcentage plus important d items choix multiple sera associ aux trois premiers aspects de la lecture chelles des r sultats Pour arriver aux buts que s est fix le programme OCDE PISA il est essentiel d laborer des chel les d crivant les r sultats des l ves Le d veloppement de ces chelles fera l objet d un processus it ratif on partira de propositions initiales bas es sur l exp rience ant rieure et les recherches dans le domaine de l apprentissage et du d veloppement cognitif qui seront ensuite r vis es gr ce aux don n es empiriques recueillies durant l essai de terrain de l enqu te PISA Les deux variables d organisation du plan d valuation de la lecture qui sont actuellement consid r es comme pouvant donner lieu des chelles de r sultats sont le type de texte continu ou non continu et les aspects au niveau macro comprendre globalement un texte
3. DUFFY G ROEHLER L et PEARSON P 1991 Moving from the old to the new Research on reading comprehension instruction R eview of E ducational R esearch 16 2 pp 239 264 EHRLICH M F 1996 Metacognitive monitoring in the processing of anaphoric devices in skilled and less skilled comprehenders in C Comoldi et J Oakhill dir pub Reading Comprehension D ifficulties Processes and Interventions Lawrence Erlbaum Associates Mahwah NJ pp 221 249 EHRLICH M F KURTZ COSTES B et LORIDANT C 1993 Cognitive and motivational determinants of reading comprehension in good and poor readers Journal of Reading Behavior 25 pp 365 381 EINSTEIN A 1933 Preface to M Plank Whereis Sdence Going Allen and Unwin Londres OCDE 1999 Mesurer les connaissances et comp tences des l ves 84 ELLEY W B 1992 How in the World do Students Read International Association for the Evaluation of Educational Achievement La Haye FREDERICKSON N 1984 The real test bias American Psychologist 39 pp 193 202 FREUDENTHAL H 1973 M athematics as an E ducational Task Reidel Dordrecht FREUDENTHAL H 1983 D idactical Phenomenology of M athematical Structures Reidel Dordrecht GRAEBER W et BOLTE C dir pub 1997 Scientific Literacy An International Symposium IPN Kiel GRONLUND N E 1968 Constructing Achievement Tests Prentice Hall Englewood Cli
4. OCDE 1999 Mesurer les connaissances et comp tences des l ves Bien que la figure 1 simplifie forc ment le contenu et la complexit de chacun des aspects nous nous efforcons de pr senter ici une premi re bauche de d finition op rationnelle de ces aspects de la compr hension d un texte et de les associer avec des types particuliers de questions et de consignes M me si chaque aspect est discut ci apr s dans le cadre d un texte unique il faut comprendre qu ils peuvent galement s appliquer plusieurs textes lorsque ceux ci constituent un ensembles La descrip tion de chaque aspect comprend deux parties La premi re partie consiste en une approche globale de l aspect tandis que la seconde d crit des mani res sp cifiques d valuer celui ci 8 Comprendre globalement un texte Souvent le lecteur souhaite se limiter une compr hension globale du texte avant de se d cider s il va le lire de mani re plus approfondie Au travers de cette premi re lecture le lecteur habile peut d terminer si le texte qu il soit continu ou non continu convient au but recherch Pour saisir globalement le texte qu il a lu le lecteur doit le consid rer comme un tout en avoir une vision d ensemble Cela ressemble ce qui se produit lors de la premi re rencontre avec une personne ou un lieu En un premier coup d il et une premi re r flexion le lecteur avance des hypoth ses ou fait des pr dictions sur ce dont le texte traite
5. crit soit g n ralement bien comprises dans les pays participants des mots sp cifiques n existent pas dans certaines langues Pour montrer que le sens donn cette section peut se traduire dans d autres langues sans modifier la signification sous jacente du terme compr hension de l rit ou les hypoth ses qui ont t labor es autour de sa d finition des traductions de cette section ont t faites et sont accessibles sur le site web du programme OCDE PISA http www pisa oecd org OCDE 1999 La compr hension de l crit d crits Ces textes visuels peuvent se pr senter seuls ou tre inclus dans des textes continus Par textes lectroniques on entend galement les textes ayant un format lectronique bien que certains d entre eux puissent se diff rencier des textes imprim s par la structure et le format et puissent faire appel des strat gies de lecture diff rentes est pr vu que des textes lectroniques seront utilis s dans les prochains cycles de l enqu te PISA mais ils ne seront pas inclus dans ce premier cycle pour des raisons de temps et d accessibilit Le terme textes a t choisi de pr f rence au mot informations utilis dans la d finition de l Enqu amp e internationale sur la litt ratie des adultes EILA car on a estim que cette expression ne convenait pas pour un ensemble incluant des textes litt raires pour parvenir ses objectifs d velopper ses connaissance
6. l humour et l organisation logique Les questions demandant au lecteur de d celer les cas o le texte donne un point de vue partial et ceux o l auteur met en ceuvre des techniques subtiles de persuasion rel vent aussi de cet aspect La connaissance d l ments comme la structure le genre et le registre du texte rev t une grande importance dans ces taches Ces aspects qui sont une partie essentielle du m tier de l auteur jouent un r le consid rable dans la compr hension des normes qui est inh rente aux t ches de cette nature Pour valuer le talent d un auteur d crire certaines caract ristiques ou persuader ce dernier doit non seulement connaitre le contenu mais aussi pouvoir d tecter les nuances de langage OCDE 1999 La compr hension de l crit comprendre par exemple comment le choix d un adjectif peut colorer l interpr tation Un tel traite ment en profondeur fait appel des activit s comme le raisonnement l analyse critique la capacit d valuer si l auteur a convenablement transmis son message la capacit de distinguer un fait d une opinion etc Le lecteur doit pouvoir s lectionner les unit s du texte pertinentes int grer des unit s secondaires et tre m me de justifier un point de vue Parmi les exemples de t ches d valuation demandant de r fl chir sur la forme et la structure d un texte on peut citer d terminer l utilit d un texte donn pour atteindre un objectif sp
7. la combinaison de d marches et de connaissances scientifiques Pourles m mes raisons que celles expos es dans le chapitre sur la culture math matique il ne sera pas possible de faire de lien psychom trique entre OCDE PISA et IEA TIMSS Enqu tes scientifiques majeures et mineures Les enqu tes de sciences des ann es 2000 et 2003 au cours desquelles la science sera un domaine mineur sont destin es servir de base l tablissement de s ries temporelles Le nombre d preuves sera limit pour ces deux ann es m me si la conception de l enqu te autorise la rotation de diff rents ensembles d items aupr s de sous chantillons d l ves ce qui implique qu il y aura moins d preuves concernant chacun des champs d application des sciences qu en l an 2006 D s lors les enqu tes mineures en sciences porteront sur tous les savoir faire d crits la figure 14 mais sur une partie seulement de ceux et des champs d application inventori s par les figures 15 et 16 En 2006 ann e de l enqu te majeure en sciences une plus grande couverture des savoir faire et des champs d application sera possible dans l valuation OCDE 1999 BIBLIOGRAPHIE ALMOND R G et MISLEVY R J 1998 G raphical M odels and Computerized Adaptive Testing TOEFL Technical Report n 14 Educational Testing Service Princeton New Jersey mars BAKER L 1991 Metacognition reading and science education in C M Santa et D E A
8. seront galement pris en consid ration Tableau 4 Distribution recommand e des preuves de lecture selon le type de texte continu Type de texte 96 des textes continus du test Narratif 20 13 Informatif 33 22 Descriptif 20 13 Argumentatif Persuasif 20 13 Injonctif 7 5 Total 100 66 le tableau 6 montre la distribution recommand e des taches de compr hension de l crit en fonc tion de chacun des cinq aspects d crits plus haut Le pourcentage le plus lev concerne le d veloppe ment d une interpr tation un peu plus des deux tiers des t ches couvrent les trois premiers aspects 70 pour cent Ces trois aspects comprendre globalement un texte trouver l information et d velop perune interpr tation mettent l accent sur la capacit du lecteur comprendre et utiliser l information OCDE 1999 La compr hension de l crit Tableau 5 Distribution recommand e des preuves de lecture selon le type de texte non continu Type de texte des textes non continus du test Diagrammes Graphiques 33 11 Tableaux 33 11 Sch mas 10 3 Cartes 10 3 Formulaires 8 3 Publicit 6 2 Total 100 33 Tableau 6 Distribution recommand e des preuves de lecture selon les aspects Aspect du test Trouver l information 20 Comprendre globalement un texte 20 D velopper une interpr tation 30 R fl chir sur le contenu 15 R fl chir sur la forme 15 Total 100 contenue dans le texte Dans les 30 pour cent de t ches rest
9. 85 OCDE 1999 Annexe 1 MEMBRES DU GROUPE FONCTIONNEL D EXPERTS Lecture Irwin Kirsch pr sident Educational Testing Service Princeton New Jersey Etats Unis Marilyn Binkley National Center for Education Statistics Washington DC Etats Unis Alan Davies University of Edinburgh Ecosse Royaume Uni Stan Jones Statistique Canada Nova Scotia Canada John de Jong CITO National Institute for Educational Measurement Arnhem Pays Bas Dominique Lafontaine Universit de Li ge Li ge Belgique Pirjo Linnakyla University of Jyvaskyla Jyvaskyla Finlande Martine R mond Institut National de Recherche P dagogique Paris France Wolfgang Schneider University of Wurzburg Wurzburg Allemagne Ryo Watanabe National Institute for Educational Research Tokyo Japon Math matiques Jan de Lange pr sident Utrecht University Utrecht Pays Bas Raimondo Bolletta Centro Europeo dell Educazione Frascati Italie OCDE 1999 Mesurer les connaissances et comp tences des l ves Sean Close St Patricks College Dublin Irlande Maria Luisa Moreno Instituto Nacional de Calidad y Evaluaci n INCE Madrid Espagne Mogens Niss Roskilde University Roskilde Danemark Kyung Mee Park Korea Institute of Curriculum and Evaluation S oul Cor e Thomas Romberg University of Wisconsin Madison Madison Wisconsin Etats Unis Peter Sch ller Federal Ministry of Education and Cultural Affairs Vienne
10. Autriche Sciences Wynne Harlen Pr sident The Scottish Council for Research in Education Edinburgh Royaume Uni Peter Fensham Monash University Melbourne Australie Raul Gagliardi Gen ve Suisse Donghee Shin Korea Institute of Curriculum and Evaluation S oul Cor e Svein Lie University of Oslo Oslo Norv ge Manfred Prenzel Institut f r die P dagogik der Naturwissenschaften Institut des sciences de l ducation IPN Kiel Allemagne Senta Raizen National Center for Improving Science Education Washington DC tats Unis Elizabeth Stage University of California Oakland Californie tats Unis OCDE 1999 Annexe 2 QUESTIONS POUR LES CYCLES A VENIR DU PROGRAMME OCDE PISA Exposition l apprentissage et mesure des attitudes des l ves pertinentes pour l valuation de la culture scientifique Au del des acquis cognitifs des l ves produits par l enseignement des sciences il convient de recueillir des informations sur le d veloppement affectif qu il induit Dans le cadre du programme OCDE PISA il sera pertinent de relever divers types d informations sur la participation des l ves des activit s contenu scientifique et sur leur opinion quant l utilit des activit s scientifiques pour eux m mes et pour la soci t en g n ral Par ailleurs comme il se peut que les taches utilis es dans cette enqu te soient nouvelles pour certains l ves il sera impor tant de s informer sur l
11. L information peut tre localis e dans un seul paragraphe ou peut apparaitre dans diff rents paragra phes ou diff rentes sections du texte En int grant ces informations les l ves test s se r f rent des cat gories d information fournies dans la question pour localiser l information correspondante dans le texte Ils relient ensuite les informations ces diverses cat gories en s appuyant sur la relation sp ci fi e dans la question Dans certains cas les l ves test s doivent g n rer eux m mes ces cat gories et ou ces relations avant d int grer l information fournie par le texte Le type de correspondance tablir entre la question et le texte n est pas seulement d termin par celle de ces quatre strat gies qu il est demand l l ve d appliquer Il est en outre influenc par plusieurs autres conditions de traitement qui contribuent la difficult g n rale de la tache La pre mi re de ces conditions est le nombre de phrases qui doivent tre utilis es lors de la recherche Par ailleurs la difficult de la t che augmente avec la quantit d informations contenues dans la question pour lesquelles l l ve doit effectuer des recherches dans le texte Par exemple les questions qui consistent en une seule proposition principale ont tendance tre plus faciles en moyenne que celles qui contiennent plusieurs propositions principales ou subordonn es La difficult augmente encore avec le nombre d
12. car on suppose que la plupart des jeunes de 15 ans ont acquis celles ci Il leur sera plut t demand de montrer leur capacit de restituer l information de comprendre globalement le texte pr sent de l interpr ter et de r fl chir sur son contenu ainsi que sur sa forme Troisi mement l utilisation pour laquelle le texte a t concu savoir le contexte ou la situa tion dans lesquels doit tre utilis Ainsi un roman une lettre personnelle ou une biographie sont r dig s en vue d une lecture usage priv les documents ou les avis officiels sont destin s un usage public un manuel d entretien ou un rapport sont destin s une lec ture des fins professionnelles et un manuel scolaire ou une feuille de travail sont destin s une utilisation scolaire L une des raisons importantes qui am ne tablir ces distinctions est que certains groupes d l ves peuvent obtenir de meilleurs r sultats dans une situation de lecture que dans une autre auquel cas il est souhaitable de pr voir des items couvrant ces divers types de situations La culture math matique est d finie en tant que capacit d un individu de comprendre le r le des math matiques et d utiliser cette discipline suivant des voies adapt es ses besoins Cette approche met l accent sur l aptitude poser et r soudre des probl mes math matiques plut t que l aptitude faire des op rations math matiques sp cifi es La c
13. certains types de lectures destin es aux enfants et habituellement associ es des cadres non scolaires r glements d un club compte rendu de matches prennent sou vent place aussi de mani re non officielle l cole Bien que dans de nombreux cas la lecture constitue une activit solitaire elle n en comporte pas moins une facette sociale D autres personnes sont impliqu es les auteurs les personnages et les personnes qui imposent la t che de lire par exemple les enseignants La situation fait donc aussi r f rence aux personnes et pour la lecture effectu e dans un cadre professionnel aux objets mis en jeu par l activit de lecture Dans le cadre de l valuation OCDE PISA des l ves de 15 ans la dimension situation peut tre consid r e comme une classification des t ches de lecture qui est fond e sur l usage auquel elles sont destin es sur la relation d autres qui est explicite ou implicite dans la t che et sur le contenu en g n ral voirle tableau 2 Ainsi lire un manuel est un exemple de situation scolaire puisque son usage premier est l acquisition d informations dans le cadre d une t che scolaire usage cette activit est associ e aux consignes mises par l enseignant ou d autres instructeurs les autres et son contenu est g n ralement orient vers l instruction et l apprentissage contenu OCDE 1999 Mesurer les connaissances et comp tences des l ves Tableau 2 Varia
14. cifi es dans la question mais non toutes et lorsqu ils apparais sent dans un paragraphe ou une section du texte diff rent de celui qui contient la r ponse correcte On consid re comme plus difficiles les t ches o deux distracteurs voire davantage pr sentent un tr s grand nombre de points communs avec la r ponse correcte et qu ils se situent dans le m me paragra phe ou nucl us d information que la r ponse correcte d Formats de r ponse Pour valuerla compr hension de l crit on a utilis des questions choix multiple aussi bien que des questions r ponse construite mais la litt rature sur les tests nous donne peu d informations per mettant de savoir quels sont les formats qui permettent de mesurer le plus correctement les strat gies ou les processus mis en oeuvre Comme le remarque Bennett 1993 En d pit de ce qu affirment avec force les th oridens cognitivistes la recherche empirique n a fourni que des preuves peu convaincantes sur la question de savoir si les taches r ponse construite mesurent des comp tences fondamentalement diff rentes de celles vis es par les questions choix multiple p 8 En particulier les travaux de Traub sur les diff rences entre les deux formats de r ponse dans les tests de compr hension en lecture aboutissent la conclusion qu il n y a pas de preuve d un effet important induit par le format Traub 1993 Il existe assez peu de travaux empiriques sur les ef
15. cifique valuer l usage fait par l auteur de certaines techniques textuelles pour parvenir un but pr cis On peut aussi demander l l ve test d identifier le style de l auteur de commenter l usage qu il en fait et d identi fier l objectif qu il poursuit ou l attitude qu il a prise Aspects au niveau micro Lors de la mise en ceuvre des cinq aspects ci dessus pour lesquels les l ves test s auront faire la preuve de leur comp tence trois variables de processus peuvent tre prises en consid ration elles s inspirent des travaux sur la lecture men s l occasion d autres enqu tes internationales IEA RLS et EILA Ces trois variables sont le type d information requise le type de correspondance tablir entre l information donn e et l information requise le caract re plus ou moins plausible d ventuelles infor mations parasites Les paragraphes suivants d crivent les propri t s g n rales de chacune de ces caract ristiques et proposent une s rie de consid rations sur le format donner aux r ponses sollici t es ainsi que sur le codage des r ponses obtenues a Type d information requise Il s agit ici des divers types d informations que le lecteur doit identifier pour r pondre correcte ment une question du test Plus l information requise est concr te plus la t che est jug e facile Dans des travaux pr c dents bas s portant sur des enqu tes grande chelle sur la compr hension
16. de mani re simplifi e cependant ce sch ma fournit un cadre utile pour l organisation et le rappel des rapports existant entre ces diff rents aspects On peut distinguer ces cinq aspects selon quatre dimensions La premi re oppose les questions o il est demand au lecteur d utiliser des informations prove nant essentiellement du texte celles o il doit davantage tirer parti de connaissances ext rieu res au texte La deuxi me oppose les questions o l on demande au lecteur de consid rer le texte dans son ensemble celles o il doit se concentrer sur des informations sp cifiques contenues dans ce texte Parfois il est demand au lecteur de retrouver des informations sp cifiques ou ind pendantes dans d autres cas on lui demande de montrer qu il a compris les rapports existant entre des par ties diff rentes du texte La distinction entre informations isol es ou ind pendantes vs rapports entre les diff rentes parties du texte constitue la troisi me dimension La quatri me caract ristique oppose les questions o l on demande au lecteur de traiter le contenu ou la substance du texte celles portant sur sa forme ou sa structure Les cinq aspects de la lecture sont repr sent s la derni re ligne de la figure 1 c est dire l extr mit des diff rentes branches En partant du haut du sch ma et en suivant chaque branche on peut voirles dimensions qui sont associ es avec chacun des aspects
17. inclure dans PISA sera pr f rablement fond e sur les id es math mati ques majeures qui est un concept englobant et plus important Le deuxi me aspect mineur est celui des situations c est dire le contexte dans lequel sont pr sen t s les probl mes math matiques comme par exemple un contexte ducatif un contexte profession nel public ou priv Les quatre aspects organisationnels sont analys s en d tail ci apr s Les comp tences math matiques Le premier aspect majeur du plan d valuation OCDE PISA de la culture math matique est celui des comp tences math matiques Cet aspect consiste en une liste non hi rarchis e de comp tences g n rales math matiques cens es tre pertinentes et applicables tous les niveaux d enseignement Cette liste comprend les l ments suivants 1 Capadt de pens e math matique Savoir poser des questions caract ristiques des math matiques Existe t il Si oui combien Comment trouve t on connaitre les types de r ponses que les math matiques r servent de telles questions savoir distinguer diff rents types d nonc s d finitions th or mes conjectures hypoth ses exemples assertions conditionnelles comprendre et manier la port e et les limites de concepts math matiques donn s 2 Capacit d argumentation math matique Appr hender ce qu est une d monstration math matique et en quoi elle diff re d autres formes de r
18. l ves Figure 20 Une preuve de dissertation math matique Les quatre pyramides repr sentent la population des Pays Bas Les deux premi res repr sentent la population en 1950 et en 1986 Les deux derni res repr sentent la population pr vue pour les ann es 2000 et 2035 765432101234567 765432101234567 In hundreds of thousands 100 000s 765432101234567 765432101234567 in hundreds of thousands 100 000s Les informations fournies a partir de ces pyramides de la population sugg rent elles un vieillissement de la population des Pays Bas Ayez recours a d autres repr sentations graphiques pour appuyer votre raisonnement L extension du champ des preuves donne aux l ves la possibilit de s impliquer plus fond dans une pro bl matique complexe Contrairement une s rie d items li s une source commune ces preuves permettent aux l ves de formuler leur r ponse personnelle tout en tudiant un probl me C est un cadre particuli rement appro pri pour valuer les comp tences de classe 3 La figure 20 donne un exemple d une telle preuve Les preuves orales Dans certains pays l preuve orale est ou a t une pratique courante faisant m me partie du syst me officiel national d examens Diff rentes formes d preuves orales existent dont nous citons trois exemples ci dessous une discussion orale sur certains sujets math matiques connus des l ves une discus
19. les variations et la croissance et l espace et les formes Les cycles futurs comprendront le hasard le raisonnement quantitatif l incertitude etles relations de d pendance Application de comp tences math matiques par exemple capacit s de mod lisation r solution de probl mes class es en trois cat gories i ex cution de proc dures ii mises en relation et iii r flexion dans une optique math matique math matisation et g n ralisation Utilisation des math matiques dans diverses situations par exemple les probl mes qui concement un individu une communaut ou l ensemble du monde conservation transformation et d composition de l nergie se rapportant aux domaines majeurs de la science physique biologie chimie etc o ils sont utilis s dans le but de r soudre des probl mes touchant l utilisation de l nergie la conservation des esp ces ou l utilisation des mati res premi res Application de savoir faire concernant les d marches scientifiques par exemple identifier des faits et communiquer valuer et en tirer des conclusions valides Ils ne n cessitent pas de connaissances scientifiques pr alables mais doivent n cessairement tre mis en uvre en relation avec des contenus scientifiques Utilisation des sciences dans des situations ou contextes diff rents dans le cas de probl mes par exemple concernant les individus les collectivit s ou le m
20. ments d une liste peuvent tre ordonn s comme lorsque les l ves d une classe sont rang s selon l ordre alphab tique de leur nom de famille ou non OCDE 1999 Mesurer les connaissances et comp tences des l ves ordonn s comme la liste des fournitures acheter pour un cours artistique La recherche effectuer est plus facile dans le premier cas Si la liste non ordonn e est longue il peut s av rer difficile de d terminer si un article figure sur la liste ou non Si la liste est ordon n e on peut d terminer facilement si un l ment y figure ou non condition de connaitre le principe de classement Les listes combin es sont constitu es de deux listes simples ou davantage sur lesquelles chaque l ment d une liste va de pair avec un l ment d une autre liste Une des listes peut tre consid r e comme la liste primaire liste d indexation la liste primaire est ordonn e pour faciliter la localisation des l ments qui y figurent ce qui permet de locali ser ais ment l information parall le situ e sur les autres listes Un exemple de liste l mentaire combin e pourrait tre une liste d l ves accompagn e de la liste correspondante de leurs scores un test d valuation Les l ments peuvent apparaitre plus d une fois sur une des listes bien que cela soit rarement le cas de la liste primaire Par exemple sur une liste d l ves et de scores il est possible qu un m me score apparaisse p
21. nus ne serait pas raisonnable d utiliser l chelle informative de l enqu te sur la litt ratie des adultes le nombre important d items EILA n cessaire pour r aliser cet ancrage aurait pour effet de les rendre dominants dans cette section du test OCDE PISA La m me objection vaut pour l chelle quantitative EILA car celle ci se base essentiellement sur des textes non continus Ce sont donc les preuves de l chelle de textes en prose d EILA qui paraissent les mieux appropri es pour PISA car les items inclure ne seraient pas trop nombreux par rapport aux autres textes continus de PISA Afin de d terminer si les param tres des items s ajustent aux populations cibl es par OCDE PISA deux blocs d items en provenance de l chelle de prose EILA seront inclus dans l essai de terrain OCDE PISA En supposant que la plupart des param tres conviendront un nombre appropri de t ches provenant de l chelle de prose EILA sera inclus dans la campagne de test d finitive de PISA Ces items auront un double objectif tout d abord les param tres des items EILA serviront estimer la comp tence en lecture de textes de prose dans les diff rents pays o sera men e la campagne PISA Deuxi mement ces items seront cod s comme faisant partie du plan d valuation de la compr hension de l crit de PISA et serviront estimer les comp tences en compr hension de l crit des l ves de 15 ans des pays participants OCDE 1999 La comp
22. ponses partiellement correctes La notation est relativement simple aussi pour des items dichotomiques r ponse construite mais la sp cification des bonnes r ponses est plus difficile tablir Plus on attend des l ves test s qu ils g n rent des id es plut t que de se borner identifier simplement des informations du texte plus les variations sont importantes parmi les bonnes r ponses Une formation approfondie des correcteurs et un processus de r gulation important lors des corrections seront indispensables si l on veut garantir la comparabilit d un correcteur l autre m me pour un seul pays faut trouver le juste quilibre entre sp cificit et ouverture Des consignes de notation trop sp cifiques peuvent conduire noter comme incorrectes certaines r ponses correctes mais formul es de mani re originale Si les consignes de nota tion sont trop ouvertes des r ponses qui ne correspondent pas vraiment la t che peuvent tre not es comme correctes Les items r ponse construite se pr tent particuli rement bien la notation cr dit partiel bien que cela ajoute quelque peu la complexit du processus et du d veloppement des consignes de cor rection La notation cr dit partiel permet galement d utiliser de nombreux types de t ches o une cat gorie donn e de r ponses indique une compr hension plus fine du texte qu un autre type de r ponse m me dans les cas o toutes deux sont cor
23. s de mettre au service des objectifs d action du programme OCDE PISA les meilleures comp tences techniques disponibles l chelon international dans les diff rents domaines valu s En contribuant aux travaux de ces groupes d experts les pays veillent ce que les instruments utilis s soient valides au plan international et prennent en compte les contextes culturels et ducatifs des pays Membres de l OCDE le mat riel d valuation se fonde sur des m thodes de mesure rigoureuses les instruments d valuation mettent l accent sur l authenticit et la valeur ducative des taches propos es aux l ves Par l interm diaire des chefs de projet nationaux les pays participants mettent en ceuvre le projet OCDE PISA l chelon national dans le cadre des proc dures d ex cution convenues Les directeurs de projet nationaux ont un r le de premier plan jouer pour garantir la bonne qualit de l ex cution du projet et pour contr ler et valuer les r sultats de l enqu te ainsi que les analyses les rapports et les publications La conception et l ex cution des enqu tes l int rieur du cadre d fini parle Conseil des pays par ticipants rel ve de la responsabilit d un consortium international dirig par l Australian Council for Educational Research ACER Parmi les autres membres du Consortium figure l Institut national n er landais pour l valuation de l enseignement CITO le Service de p dagogie exp
24. selon les d tails fournis dans la r ponse Un score de 2 points sera accord une hypoth se mentionnant en gros que percer la peau et appliquer du pus directement dans le flux sanguin va accroitre les chances de d velopper une immunit contre la variole Cet item value le savoir faire 1 Identifier les questions auxquelles r pond une recherche scientifique en utilisant des connaissances sur la bidogie appliqu es au domaine des sciences de la vie et la sant OCDE 1999 La culture scientifique L item n 2 vaut galement 2 1 ou 0 point s selon que l l ve mentionne ou non les deux informa tions requises taux de survie sans le traitement de Boylston ses patients ont ils t expos s la mala die en dehors de son traitement Cet item value le savoir faire 2 Identifier des faits n cessaires une recherche scientifique en utilisant des connaissances sur la biologie appliqu es au domaine des sciences de la vie et la sant Les quatre items suivants font partie d une preuve o le mat riel de stimulus est un article pro pos de Peter Cairney qui travaille la Commission australienne pour la recherche des transports rou tiers voir figure 18 L item n 3 illustre le savoir faire 2 Identifier les faits n cessaires une recherche scientifique en utilisant la connaissance des forces et du mouvement dans le domaine de la technologie sdentifique L item n 4 illustre le savoir fai
25. solus demandent aux l ves de cher cher et d obtenir des donn es et une bibliographie s inventer soi m me des probl mes faciles moyens difficiles sous forme de copie d examen ou de recueil de probl mes concernant un th me ou un sujet destin s la prochaine promotion d l ves Streefland 1990 Ces possibilit s de format ainsi que d autres devraient tre explor es plus avant afin d tre utilis es dans le cadre de PISA dans les ann es venir OCDE 1999 LES EDITIONS DE LOCDE 2 rue Andr Pascal 75775 PARIS CEDEX 16 IMPRIME EN FRANCE 1999 05 2 P ISBN 92 64 27053 1 n 50618 1999
26. t Plut t que de se focaliser sur les formes linguistiques la d finition met en avant la notion d information La compr hension de l crit y est d finie comme l usage de l information imprim e et crite pour fonctionner dans la soci t pour atteindre ses objectifs et pour d ve lopper ses connaissances et son potentiel OCDE 1999 Mesurer les connaissances et comp tences des l ves 24 Ces d finitions de la compr hension de l crit sont centr es sur l aptitude du lecteur utiliser des textes crits ou imprim s des fins requises par la soci t ou valoris es par les individus pour d ve lopper leurs connaissances et leur potentiel Elles vont au del du simple d codage et de la compr hension litt rale et impliquent que la compr hension de l crit englobe la fois la compr hension et l usage d informations crites des fins fonctionnelles Toutefois ces d finitions ne mettent pas en valeur le r le actif et les initiatives du lecteur dans le processus de compr hension ou d utilisation de l information Pour l tude OCDE PISA la d finition de la compr hension de l crit sera donc la suivante Comprendre l crit c est non seulement comprendre et utiliser des textes crits mais aussi r fl chir leur propos Cette capacit devrait permettre chacun e de r aliser ses objectifs de d velopper ses connaissances et son potentiel et de prendre une part active dans la soci t
27. tence atteints par les l ves de pays diff rents et en offrant un contexte plus large au sein duquel interpr ter les r sultats nationaux Elles permettent de d finir des orientations en ce qui concerne l action des tablissements en mati re d enseignement et l acquisition de connaissances par les l ves elles donnent galement des indications sur les points forts et les points faibles des program mes d enseignement Associ es des mesures d incitation appropri es elles peuvent pousser les l ves mieux apprendre les enseignants mieux enseigner et les tablissements scolaires se montrer plus efficaces Elles peuvent enfin offrir au pouvoir central des instruments lui permettant de suivre l volution des niveaux d instruction m me dans les cas o la gestion des syst mes ducatifs est d centralis e et o la direction des tablissements est assur e en coop ration avec les collectivit s locales Les gouvernements et le grand public ont besoin d l ments d appr ciation fiables et se pr tant des comparaisons internationales en ce qui concerne les r sultats de l enseignement Pour r pondre cette attente l Organisation de coop ration et de d veloppement conomiques OCDE a lanc le Pro gramme international pour le suivi des acquis des l ves OCDE PISA Celui ci doit fournir p riodique ment des indicateurs des acquis des l ves orient s sur l action des pouvoirs publics et comparables au niveau
28. une grande vari t de con textes On pourra par exemple emprunter des contextes d autres domaines comme ceux de la pratique professionnelle de la vie quotidienne de la vie de la collectivit ou de la soci t Cette d finition englobe galement le contexte des loisirs comme le sport et les jeux Les situations d fi nies pr c demment en tant qu aspect mineur constituent une forme de contexte L ensemble des preuves d valuation devra puiser dans un large ventail de contextes leur vari t est indispen sable pour assurer la diversit culturelle et repr senter le spectre des r les que les math mati ques peuvent jouer Les preuves d valuation du plan OCDE PISA seront limit es aux contextes authentiques Un contexte est consid r comme authentique s il se situe dans le domaine du v cu et des pratiques effec tives des participants dans un cadre r el Il est noter que cette d finition ne demande pas que les l ves valu s fassent eux m mes partie de ce cadre Nous pouvons prendre comme exemple des questions ayant trait de l argent plac dans une banque un taux d int r t r aliste m me si elles sor tent de la sph re d exp rience de l l ve valu Il est important de reconnaitre que l usage de composantes de la r alit ne suffit pas rendre un contexte authentique Consid rons par exemple les preuves des figures 7 et 8 Deux de ces preuves comportent des l ments r els mais elles
29. 2 5 2 5 Note Les nombres entre parenth ses correspondent au nombre de points pr sum s 8items plusieurs correcteurs et 22 items correcteur unique 12 points dans la classe de comp tences 1 20 points dans la classe de comp tences 2 et 10 points dans la classe de comp tences 3 A long terme le plan OCDE PISA a l intention de donner une plus grande importance aux classes 2 et 3 que ce n est le cas dans le premier cyle de l enqu te o le temps imparti au test de math matiques est tr s limit Dans le premier cycle la composition d un module type d une demi heure pour le test sur la culture math matique est la suivante un petit nombre 2 4 d items choix multiple ou d items ferm s r ponse construite destin s tester les comp tences des classes 10u 2 un petit nombre 1 2 de probl mes contenant chacun deux ou trois items dans un m me contexte destin s tester les comp tences des classes 1 ou 2 un bloc d items consistant en plusieurs items situ s dans un m me contexte Les items commence raient par des tests relativement directs valuant les comp tences de classe 1 pour aller vers des tests de plus grande complexit valuant les comp tences de classe 3 chelles des r sultats L laboration d chelles des acquis des l ves est essentielle pour atteindre les objectifs du plan OCDE PISA Le processus d obtention d une chelle doit tre it ratif en ce que les proposi
30. a offert l l ve davantage que la connaissance de faits isol s et s il a contribu au d veloppement d une r elle culture scientifique c est ce qui conduit le programme OCDE PISA fonder son valuation sur l application de ces connaissances dans des situations de la vie r elle Quelques uns des exemples d items pr sent s ci dessous servent illustrer ce point pr cis Caract ristiques des preuves Conform ment la d finition que PISA donne de la culture scientifique chaque preuve ou t che fera appel un ou plusieurs savoir faire repr sent s dans la figure 14 et des connaissances scientifiques Ces taches sont concues comme une s rie de questions items portant sur un mat riel qui sert de stimulus et qui pr sente la situation Certaines des taches propos es incluront en plus des items concernant la culture scientifique des questions qui valuent la lecture et ou la culture math matique Exemples d items mesurant des savoir faire scientifiques Quelques exemples d items envisag s pour l valuation de certains de ces savoir faire aideront mieux faire comprendre leur signification op rationnelle Les deux premi res d marches sont valu es dans deux des items d une preuve intitul e Arr tez ce germe On demande aux l ves de lire un texte court propos de l histoire de l immunisation dont est extrait le passage cit dans la figure 17 Figure 17 Science Exemple 1 D s
31. car il est d un emploi courant en tant que terme technique relatif aux tests il renvoie la dimension latente que cherche mesurer une preuve grace aux donn es observables que constituent les r ponses des l ves OCDE 1999 Mesurer les connaissances et comp tences des l ves Le programme OCDE PISA Un instrument volutif tant donn l horizon long terme du projet et les accents diff rents qui seront plac s sur les divers domaines dans le cadre de chaque cycle d tude les plans d valuation OCDE PISA repr sen tent l vidence un instrument qui ne manquera pas d voluer Ils sont concus pour tre flexibles afin qu ils puissent tre modifi s en fonction de l volution des int r ts des pays participants serviren m me temps de base aux composantes permanentes qui sont susceptibles de susciter un int r t constant au cours du temps et qui devraient par cons quent figurer dans tous les cycles d valuation Les plans d valuation seront modifi s la lumi re des essais de terrain de 1999 avant qu un ins trument d finitif soit mis au point pour le programme OCDE PISA 2000 Par ailleurs l enqu te conser vera un caract re volutif lui permettant de prendre en compte tant les modifications apport es aux objectifs des syst mes ducatifs que les am liorations touchant les techniques d valuation Il faudra certes veiller concilier les avantages offerts par ce caract re volutif et
32. chez tous les citoyens d une compr hension globale d aspects scientifiques essentiels et des structures fondamentales des sciences des m thodes par lesquelles elles recueillent les l ments permettant de fonder les connaissances et donc aussi de ce que sont les potentialit s et les limites de la science dans le monde r el On consid re comme essentiel que l individu soit capable d appliquer ces acquis dans des situations du monde r el o la science est impliqu e o des affirma tions doivent tre v rifi es et des d cisions prises Ainsi Millar et Osborne 1998 estiment qu un enseignement moderne en sciences doit avoir avoir pour cible la capacit de lire et d assimiler des informations scientifiques et techniques et d valuer leur signification Ils ajoutent Dans cette optique l essentiel n est pas de faire de la science Ce n est pas non plus la facon dont on parvient la connaissance scientifique ou dont on se la rem more bri vement lors d un examen final Ainsi en sciences on demande aux l ves de se montrer capables d valuer des faits de faire la distinction entre th ories et observations et d estimer le degr de confiance qu on peut avoir propos des explications avanc es M illar et O sborne 1998 OCDE 1999 67 Mesurer les connaissances et comp tences des l ves Ces objectifs sont ceux que l enseignement des sciences devrait poursuivre pour l ensemble de la populatio
33. cisions concernant celui ci La culture scientifique est valu e en fonction des aspects suivants Premi rement les concepts scientifiques qui constituent les liens permettant de comprendre des ph nom nes connexes Dans le cadre du programme OCDE PISA les concepts pris en compte sont des concepts courants se rapportant aux sciences physiques chimiques et bio logiques ainsi qu aux sciences de la terre et de l espace mais il sera demand aux l ves de les appliquer au contenu des items plut t que de se borner un simple rappel des concepts Le contenu des items sera principalement li trois grands champs d application les scien ces de la vie et la sant les sciences de la terre et l environnement et la science dans la tech nologie Deuxi mement les savoir faire concernant des d marches scientifiques centr s sur la capacit de consta ter d interpr ter et d utiliser des faits Le programme OCDE PISA tudie notamment cet gard i la reconnaissance de questions scientifiques ii l identification de faits probants iii l tablisse ment de conclusions iv la communication de ces conclusions et v la manifestation de la compr hension des concepts scientifiques A l exception de la derni re ces d marches n impliquent pas que l on ait acquis un ensemble pr alable de connaissances scientifiques mais aucune d marche scientifique ne peut tre sans contenu de sorte que les questions relatives aux sci
34. concepts math matiques C est une activit organisatrice dans laquelle sont mises en ceuvre des connaissances acquises et des capacit s pour d couvrir des r gularit s inconnues des relations et des structures Treffers et Goffree 1985 Ce processus est parfois qualifi de math matisation horizontale Treffers 1986 Il fait appel des activit s telles que identifier dans un contexte g n ral les l ments sp cifiquement math matiques sch matiser formuler et visualiser le probl me d couvrir des relations et des r gularit s reconnaitre des similitudes dans des probl mes diff rents de Lange 1987 A partir du moment o le probl me a t transform en un probl me math matique il peut tre r solu au moyen d outils math matiques En d autres termes on peut utiliser des outils math matiques pour manipuler et affiner le mod le math matique du probl me r el On parle alors d un processus de math matisation verticale qui se distingue par les activit s suivantes repr senter une relation par une formule d montrer des r gularit s affiner et ajuster des mod les combiner et int grer des mod les ainsi que g n raliser Le processus de math matisation se joue ainsi en deux phases diff rentes la math matisation horizontale processus qui traduit le monde r el en monde math matique la math matisation verti cale processus de traitement du probl me au sein d
35. de l crit chez les adultes et les enfants Kirsch 1995 Kirsch et Mosenthal 1994 Kirsch Jungeblut et Mosenthal 1998 la variable type d information a t cod e sur une chelle cinq points Un score de un point correspond l information la plus concr te et donc la plus facile traiter alors qu un score de 5 points correspond l information la plus abstraite et donc la plus difficile traiter Par exemple les questions demandant d identifier une personne un animal ou une chose c est dire les noms d entit s que l on peut se repr senter mentalement sont consid r es comme requ rant une information minemment concr te et on leurattribue une valeur de un point Les questions demandant d identifier des buts des conditions ou des objectifs sont consid r es comme requ rant des informations plus abstraites Ces t ches sont jug es plus difficiles et se voient donc attribuer une valeur de 3 points Les questions qui demandent aux l ves test s d identifier un quivalent sont consid r es comme les plus abstraites et se voient attribuer une valeur de 5 points Souvent l quivalent est une expression ou un terme peu familier pour lequel il est demand aux l ves test s d inf rer une d finition ou une interpr tation partir du texte b Type de correspondance Le type de correspondance effectuer fait r f rence la fa on dont les l ves test s traitent le texte pour r pondre
36. deux informations semblables En faisant varier syst mati quement les param tres qui contribuent la difficult on peut mesurer les diff rents niveaux de comp tence associ s cet aspect de la compr hension c D velopper une interpr tation D velopper une interpr tation demande aux lecteurs d tendre leurs impressions initiales de facon d velopper une compr hension plus sp cifique ou plus compl te de ce qu ils ont lu Cela implique de naviguer dans le texte de relierles informations pr sent es dans ses diff rentes parties et aussi de se concentrer sur des d tails sp cifiques en tant que parties int grantes d un tout Les t ches de cette cat gorie font appel une compr hension logique le lecteur doit traiter l orga nisation de l information dans le texte Pour ce faire il doit comprendre l interaction existant entre la coh sion locale et globale dans le texte Dans certains cas d velopper une interpr tation revient pour le lecteur traiter une s quence de deux phrases seulement unies par une relation qui rel ve de la coh sion locale ventuellement facilit e par la pr sence de connecteurs textuels Dans des cas plus difficiles par exemple dans le cas d une relation de cause effet il se peut qu aucun indicateur expli cite ne soit pr sent Un texte contient plus d informations qu il n en exprime explicitement Inf rer constitue une op ra tion mentale importante car les inf rences remplis
37. donc que les l ves soient autoris s utiliser comme ils l entendent calculatrices et autres instruments qu ils utilisent g n ralement l cole Cependant les items du test OCDE PISA seront s lectionn s de telle mani re que l emploi de calculatrices lors de l valuation ne pourra pas am liorer les performances math matiques d un l ve OCDE 1999 Chapitre 3 LA CULTURE SCIENTIFIQUE Un atout pour les jeunes d aujourd hui est d acqu rir des comp tences leur permettant de tirer des conclusions ad quates et avis es partir des preuves et des informations dont ils disposent de criti quer des affirmations mises par d autres en mettant en cause les l ments sur lesquels elles se fon dent et de faire la distinction entre opinions et conclusions tay es par des faits La science a ici un r le bien particulier jouer puisque son propos est d tablir un principe de rationalit dans la confron tation des id es et des th ories avec les faits observables dans le monde environnant Cela ne veut pas dire que la science exclut la cr ativit et l imagination celles ci ont toujours jou un r le essentiel dans les progr s de la compr hension par l homme du monde qui l entoure Certaines id es qui semblent parfois tre tomb es du ciel ont en fait t saisies au vol selon un m canisme qu Einstein d crivait comme le chemin de l intuition qui est favoris par une certaine sensibilit pour l ordre cach d
38. e Aspects au niveau macro Puisqu on part du principe que la plupart des l ves de 15 ans qui participeront aux tests auront maitris les principes de base du d codage de textes il n est pas n cessaire de faire une place expli cite aux comp tences techniques qui sous tendent la lecture L valuation sera plut t centr e sur des strat gies de lecture plus complexes Dole et al 1991 Paris Wasik et Turner 1991 Pour tenter de simuler des situations authentiques de lecture l valuation OCDE PISA mesurera les cing aspects suivants associ s une pleine compr hension d un texte continu ou non continu Les sujets auront d montrer leurs comp tences pour ces cinq aspects comprendre globalement un texte trouver l information d velopper une interpr tation r fl chir sur le contenu d un texte r fl chir sur les qualit s formelles d un texte La bonne compr hension d un texte implique la mise en oeuvre de tous ces aspects Tous les lec teurs quel que soit leur niveau global doivent tre capables de faire preuve d un certain niveau de comp tence pour chacun d entre eux Langer 1995 Bien qu il existe un lien entre les divers aspects chacun d eux requiert plusieurs des m mes comp tences sous jacentes la ma trise de l un n est pas n cessairement d pendante de la ma trise de l autre On consid re souvent ces aspects comme faisant partie du r pertoire de chaque lecteur chaqu
39. elle Une autre raison tient la n cessit d utiliser de mani re efficiente le temps de passation disponible vu le temps n cessaire un l ve pour se mettre dans une situation mieux vaut proposer un peu moins de situations permettant de poser plusieurs questions plut t que de poser moins de questions concer nant un plus grand nombre de situations Cette approche impose des contraintes techniques qui ont t identifi es et dont il sera tenu compte il faut faire en sorte que chaque point attribu lors de la cor rection soit ind pendant des autres par ailleurs il importe d autant plus de minimiserles biais dus la situation que le nombre de situations propos es est moins lev OCDE 1999 Mesurer les connaissances et comp tences des l ves Les preuves seront relativement longues certaines d entre elles comprenant jusqu huit items dont chacun sera corrig ind pendamment des autres La majeure partie des preuves sinon toutes incluront la fois des questions faisant appel la connaissance et la compr hension des concepts mis en jeu comme dans les exemples 5 et 6 et d autres questions distinctes n cessitant la mise en uvre d un ou de plusieurs savoir faire de collecte et d utilisation des faits et donn es relatifs aux d marches scientifiques comme dans les exemples d items 1 4 Comme cela a t signal plus haut le pro gramme OCDE PISA n incluera pas dans les enqu tes des t c
40. font l objet d une ana lyse plus succinte des comp tences Les mati res dominantes sont les suivantes la lecture en 2000 les math matiques en 2003 et les sciences en 2006 R sultats Un profil g n ral des connaissances et des comp tences des l ves l issue de la scolarit obligatoire Des indicateurs contextuels tablissant des liens entre les comp tences des l ves et les carac t ristiques de ces derniers et des tablissements Des s ries temporelles montrant l volution des r sultats dans le temps OCDE 1999 Introduction Le programme OCDE PISA est un processus qui met en synergie les comp tences scientifiques des divers pays participants et qui est dirig conjointement par les gouvernements de ces pays en fonction de pr occupations communes touchant l action des pouvoirs publics On trouvera ci dessous une pr sentation de la structure g n rale du projet et un expos succinct des principales caract ristiques des valuations on d crira ensuite les modalit s donn es cette collaboration ainsi que leur mise en ceuvre pour l laboration des plans d valuation utilis s dans le programme OCDE PISA Les autres sections de la publication pr cisent le cadre conceptuel des valuations entreprises aux fins de PISA chacun des domaines devant tre valu s est d fini et des explications sont fournies quant l objet des valuations et quant la mani re dont celles ci seront effec
41. important de poss der dans la vie adulte L valuation de comp tences transversales fait partie int grante du PISA L accent est plac dans chaque domaine sur la maitrise des processus la compr hension des concepts et la capacit de r agir dans diverses situations M thodes utilis es Des tests papier crayon sont utilis s l valuation durant au total 2 heures pour chaque l ve Le mat riel de test comprend la fois des items choix multiple et des questions pour lesquelles les l ves doivent construire leurs propres r ponses Les preuves sont constitu es de groupes d items fond s sur des extraits de textes d crivant des situations r elles Des items correspondant au total 7 heures de test sont pr vus chaque l ve ne passant qu une partie des preuves Les l ves r pondent un questionnaire contextuel d une dur e de passation de 20 30 minutes et dans lequel ils donnent des informations sur eux m mes Les directeurs d cole doivent remplir un questionnaire concernant leur tablissement d une dur e de passation de 30 minutes Cycle d valuations La premi re valuation aura lieu en 2000 et les premiers r sultats seront publi s en 2001 Des valuations ult rieures auront lieu tous les trois ans Chaque cycle d valuations porte sur l tude en profondeur d une mati re dominante laquelle sont consacr s les deux tiers de la dur e des tests les deux autres mati res
42. informent les chercheurs sur la vitesse laquelle les v hicules circulent la distance qui s pare chaque voiture et les portions de routes que celles ci utilisent Plus tard des lignes sont peintes sur la voie Les chercheurs peuvent alors utiliser la cam ra de t l vision pour noter si la circulation est diff rente une fois que les lignes sont pr sentes Est ce que la circulation va plus vite ou plus lentement Est ce que les voitures sont plus rapproch es ou plus loign es les unes des autres qu avant Est ce que les automobilistes conduisent plus pr s du bord de la chauss e ou plus pr s du centre maintenant que les lignes sont pr sentes Une fois que Peter poss de ces donn es il peut recommander de peindre ou de ne pas peindre des lignes sur les routes secondaires Exemple d item 3 Pour que Peter soit certain qu il donne de bons conseils il doit aussi regrouper d autres informations en plus du filmage des routes secondaires Parmi ces propositions lesquelles l aideraient prodiguer des conseils sur les effets des lignes peintes sur la circulation sur les voies secondaires a R p ter ses exp riences sur d autres routes secondaires Oui Non b R p ter ses exp riences sur des routes plus importantes Oui Non c Estimer les taux d accidents avant et apr s que les lignes soient peintes sur les routes Oui Non d Estimer le nombre de v hicules empruntant la route avant et apr s la peinture des lignes Oui Non R sult
43. international L valuation sera centr e sur les l ves ag s de 15 ans et les indicateurs devront permettre de mieux d terminer dans quelle mesure les syst mes d enseignement des pays participants pr parent leurs l ves acqu rir des savoirs tout au long de leur vie et jouer un r le constructif en tant que citoyens au sein de la soci t Le programme OCDE PISA repr sente une nouvelle expression de la volont des gouvernements des pays Membres de l OCDE d tudier de facon suivie l int rieur d un cadre conceptuel commun l chelon international les r sultats des syst mes d enseignement en se fondant sur le niveau des connaissances acquises par les l ves On peut certes s attendre ce que les r sultats de l enqu te soient utilis s des fins multiples dans les pays participants par de nombreux acteurs tant sp cialistes que profanes la raison premi re qui a pr sid la mise au point et la r alisation d une valuation internationale d une telle ampleur est cependant la volont de disposer d informations reposant sur une base empirique pour tayer les d cisions des pouvoirs publics Les r sultats des valuations r alis es par l OCDE qui seront publi s tous les trois ans parall le ment d autres indicateurs des syst mes d enseignement permettront aux d cideurs nationaux de comparer les r sultats de leurs syst mes ducatifs ceux d autres pays Ils contribueront galement a orienter e
44. l preuve chaque point du bar me ind pendant des autres est reconnue et prise en compte dans la conception des t ches assign es au programme PISA II est aussi reconnu qu il est important de minimiser les biais dus au nombre restreint de situations La figure 13 donne un exemple d une preuve plusieurs items 63 OCDE 1999 Mesurer les connaissances et comp tences des l ves 64 Figure 13 Une preuve plusieurs items Si une figure peut tre pli e de telle mani re que les deux moiti s soient exactement l une sur l autre la droite de pliage est dite de sym trie Question A Quelles sont les figures ci dessous qui admettent une droite de pliage de sym trie 1 2 3 Question B Tracer toutes les droites de sym trie du carr Question C Lesquelles des huit premi res lettres majuscules de l alphabet admettent exactement deux droites de pliage de sym trie Question D Jean a dit Je connais une r gle qui permet de dire quand une figure 4 c t s a une droite de pliage de sym trie Si les triangles de chaque c t de la droite ont la m me taille et la m me forme la figure a une droite de pliage de sym trie Expliquez pourquoi vous tes d accord ou en d saccord avec Jean Structure des tests d valuation Cette partie d crit la structure des tests d valuation de la culture math matique du premier cycle de PISA dans lesquels un temps total d
45. la compr hension des concepts scientifiques savoir faire 5 tels qu ils auront t valu s en les appliquant aux situations propos es Ce type d chelle d crirale d veloppement des acquis des l ves allant de la preuve d une compr hension correcte mais incompl te portant le plus souvent sur des concepts faciles assimiler la preuve d une compr hension plus compl te portant le plus sou vent sur des concepts complexes se peut galement qu on dispose en 2006 de suffisamment d informations sur les d marches scientifiques d crites par la figure 14 pour envisager d tablir des sous chelles relatives ces diverses d marches Ici encore cela d pendra des consid rations statistiques conceptuelles et politiques S il s av re possible de pr senter des sous chelles les pays auront l avantage de pouvoir comparer en d tail les r sultats obtenus par leur enseignement des sciences avec les objectifs atteints La pr sentation du contenu des r ponses correctes et des r ponses incorrectes aux diff rents items est un l ment d information important pour accompagner les statistiques sur les items Ces cat gories de r ponses correctes seront labor es sur la base des essais sur le terrain et non pas impos es a priori sans r f rence auxtypes de r ponses r ellement fournies par les l ves OCDE 1999 Mesurer les connaissances et comp tences des l ves La pr sentation de types de r ponses aux ite
46. lecteurs la reconna tre Ces divers indices renseignent aussi sur les limites du texte en signalant la fin d une sec tion par exemple Le rep rage des informations est souvent facilit par l usage de caract res de diff rentes tailles ou polices italique gras d encadrements et de mises en page particuli res Pouvoir utiliser ce type d indices constitue chez le lecteurune des sous comp tences essentielles pour lire effi cacement L information sur l organisation du texte peut galement tre v hicul e par les marques du dis cours Des connecteurs s quentiels premi rement deuxi mement troisi mement etc par exemple signa lent le rapport de chacune des unit s qu ils introduisent et indiquent comment les unit s sont reli es l ensemble du texte La classification principale des textes continus se fonde sur leur objectif rh torique c est dire sur le type de textes 3 Cela n exclut pas l usage de plusieurs textes pour une seule tache mais chacun d eux doit tre coh rent par lui m me OCDE 1999 Mesurer les connaissances et comp tences des leves Les textes non continus ou documents ainsi qu on les d signe parfois peuvent tre class s de deux mani res La premi re est l approche par la structure formelle qu ont utilis e Kirsch et Mosenthal dans leurs travaux ces auteurs cat gorisent les textes selon la mani re dont sont agen c es les listes sous jacentes qui composent les diff
47. n cessaire mais pas suffisante puis que ici c est la connaissance du recueillement des donn es et de l application des faits scientifiques qui est essentielle Pour la cinqui me d marche la compr hension des concepts scientifiques est la composante la plus importante Une description d taill e des d marches scientifiques est propos e ci dessous Ces d marches sont explicit es en termes op rationnels la figure 19 OCDE 1999 La culture scientifique Figure 14 D marches scientifiques s lectionn es 1 Reconnaitre les questions auxquelles on peut r pondre par une investigation scientifique 2 ldentifier les faits n cessaires une investigation scientifique 3 Tirer ou valuer des conclusions 4 Communiquer des conclusions valides 5 Faire preuve de maitrise des concepts scientifiques Reconnaitre les questions auxquelles on peut r pondre par une investigation scientifique Reconnaitre les questions auxquelles on peut r pondre par une investigation scientifique peut impliquer de pouvoir reconnaitre ou formuler une hypoth se qui est ou qui pourrait tre v rifi e dans une situation donn e ou en utilisant certaines donn es scientifiques Il peut aussi s agir de distinguer les questions ou les id es auxquelles on pourra r pondre par des m thodes scientifiques de celles qui ne pourront pas tre trait es de cette facon ou encore de sugg rer ouvertement une question qu on pourra traiter scie
48. pays participants implique parfois que les r sultats ont une r percussion particuli re sur l l ve Le but de PISA est d effectuer une enqu te sur les caract ristiques globales des l ves dans chaque pays plut t que d examiner les performances d individus particuliers Le terme d valuation est donc uti lis dans PISA m me si les conditions auxquelles sont soumis les l ves seront les m mes que celles d un contr le scolaire OCDE 1999 ELABORATION DU PROGRAMME OCDE PISA ET DE SES PLANS D EVALUATION UNE INITIATIVE CONCERTEE Le programme OCDE PISA repr sente une initiative concert e des gouvernements des pays Membres de l OCDE visant d boucher sur un nouveau type d valuation p riodique des acquis des l ves Les valuations entreprises dans le cadre du programme ont t d finies d un commun accord par les pays participants et sont r alis es par des organismes nationaux Un Conseil des pays participants au sein duquel chaque pays est repr sent d finit dans le contexte des objectifs de l OCDE les priorit s d action concernant le programme OCDE PISA et veille au respect de ces priorit s au cours de la mise en uvre du programme Il est charg de d terminer les priorit s en ce qui concerne l laboration d indicateurs la mise au point des instruments d valuation et la pr sentation des r sultats Des experts des pays participants sont par ailleurs membres de grou pes de travail charg
49. peuvent utiliser qu une calculatrice fournie dans le cadre de l enqu te OCDE PISA les l ves sont libres d utiliser leur propre calculatrice et leurs instruments C est la troisi me des possibilit s mentionn es ci dessus qui sera retenue dans le cadre de PISA Cette option a t choisie car elle constitue l valuation la plus authentique des apprentissages des l ves et fournira la meilleure possibilit de comparaison entre syst mes ducatifs La d cision de permettre aux l ves d utiliser des calculatrices s ils le souhaitent n est pas diff rente en principe de toute autre d cision de r glementation prise par des syst mes ducatifs et non contr l e par le plan OCDE PISA En outre l argument selon lequel les deux premi res options conduiraient une valuation plus juste en raison de l galit apparente des conditions de test est sans valeur Les l ves habitu s r pondre des questions en s aidant d une calculatrice seront d savantag s si on la leur enl ve Les l ves qui l on fournit une calculatrice avec laquelle ils ne sont pas familiers peuvent ne pas l utiliser de facon efficace ou le simple fait de la fournir peut les encourager y avoir recours de facon inutile ou inappropri e Par exemple pour de nombreux l ves le simple probl me 6 4 x3 est plus difficile avec une calculatrice que sans particuli rement pour les l ves non initi s aux calculatrices Le plan OCDE PISA propose
50. plus souvent des efforts sont aussi faits lors de l laboration des curriculums scientifiques nationaux pour en tendre l application au monde ext rieur l cole Les situations du monde r el mettent en jeu des probl mes qui peuvent nous affecter en tant qu individus par exemple l alimentation l utilisation de l nergie en tant que membres d une collec tivit locale par exemple le traitement des eaux le choix de l emplacement d une centrale lectrique et en tant que citoyens du monde par exemple le r chauffement du globe la diminution de la biodi versit Tous ces aspects devront figurer dans la s rie d preuves utilis es dans les enqu tes OCDE PISA sur les sciences Il y a lieu d y ajouter une dimension suppl mentaire particuli rement indi qu e pour certains contenus le contexte historique qui offre la possibilit d valuer les repr senta tions de l l ve propos du progr s des connaissances scientifiques Dans le plan d valuation OCDE PISA l accent sera donc mis sur le d veloppement d items portant sur des aspects qui concer nent l individu et sa famille situation personnelle la collectivit situation publique la vie dans le monde en g n ral situation globale et sur des situations qui illustrent comment volue le savoir scien tifique et l impact qu ont pour la soci t les d cisions impliquant des questions scientifiques perti 74 nence historique OCDE 1999 La culture scient
51. qu il sera possible d tablir une chelle de la culture scientifique o le niveau d acquis des l ves pourra tre d crit comme OCDE 1999 Mesurer les connaissances et comp tences des l ves Figure 19 Types d items pour valuer la culture scientifique Ce qui est donn Reconnaitre les questions auxquelles on peut r pondre par une investigation scientifique Un expos d une investigation ou d une proc dure pour lesquelles des donn es ont t rassembl es ou des comparaisons tablies Comportements requis Choisir ou formuler une question ou une id e qui peut tre ou pourrait tre v rifi e d une mani re scientifique Une description d une situation pour laquelle des questions pourraient tre trait es de mani re scientifique Formuler une question qui pourrait tre trait e de mani re scientifique Plusieurs questions hypoth ses d rivant ou se rapportant a la situation pr sent e Choisir celle s qui peut tre trait e par une investigation scientifique Identifier les preuves n cessaires une valuation scientifique Une th orie ou une hypoth se mise dans la question ou le mat riel de stimulus qui doit tre v rifi e Choisir ou formuler les informations requises pour v rifier l hypoth se ou pour mettre une pr diction bas e sur celle ci Les informations peuvent concerner a Ce qui doit tre compar b Quelles variables devraient tre chang e
52. r sumer ou mettre en vidence l information Les horaires les listes de prix les catalogues les programmes constituent des exemples de ce genre de document 3 Les coupons servent certifier que leur d tenteur est autoris utilisertel ou tel service L infor mation que contient le coupon permettra de savoir s il est valide ou non Des exemples typi ques de coupons sont les tickets les factures etc 4 Les certificats sont des crits reconnaissant la validit d un accord ou d un contrat C est leur con tenu qui est formalis plut t que leur format Ils requi rent en g n ral la signature d une ou plusieurs personnes comp tentes pour ou habilit es garantir la v racit de la d claration contenue dans le document Les garanties les certificats scolaires les dipl mes les contrats etc sont des documents qui pr sentent ces caract ristiques 5 Les annonces et les r clames sont des documents destin s inviterle lecteur faire quelque chose par exemple acheter des marchandises ou des services participer des r unions des rassem blements lire une personne pour une fonction officielle etc Le but de ces documents est de persuader le lecteur Ils offrent quelque chose et en m me temps requi rent de l attention et appellent une action Les publicit s les invitations les assignations les avertissements les notices constituent des exemples de ce type de format 6 Les graphiques constituent des
53. repr sentations iconiques de donn es Ils sont utilis s dans les expos s scientifiques et sont galement pr sents dans des revues et des journaux pour diffu ser au public des informations chiffr es dans un format visuel 7 Les diagrammes accompagnent souvent les descriptions techniques par exemple pour illustrer les l ments d un appareil lectrom nager les textes informatifs et injonctifs par exemple pour pr senter la fa on de monter un appareil lectrom nager est souvent utile de faire la distinction entre diagrammes de proc dure comment faire et diagrammes de processus comment cela fonctionne OCDE 1999 Mesurer les connaissances et comp tences des l ves 8 Tableaux et matrices Les tableaux sont des matrices de colonnes et de rang es Typiquement toutes les entr es de chaque colonne et de chaque rang e ont des propri t s communes ce qui fait que lestitres des colonnes et des rang es font partie int grante de la structure informa tive du texte Parmi les tableauxles plus courants citons les horaires les tableurs les formulai res de commande et les index 9 Les listes sont les textes non continus les plus l mentaires Elles consistent en un certain nom bre d entr es qui ont en commun la les m me s propri t s Cette propri t commune peut servir d tiquette ou de titre la liste Les entr es de la liste peuvent tre ordonn es par exemple les noms des l ves de la class
54. rimentale de l Univer sit de Li ge Belgique et WESTAT aux tats Unis Le Secr tariat de l OCDE est responsable de la gestion globale du programme suit la mise en oeuvre de ce dernier au jour le jour assure le secr tariat du Conseil des pays participants facilite la recherche de consensus entre les pays participants et sert d interlocuteur entre le Conseil des pays par ticipants et le consortium international charg de la mise en uvre des activit s Le Secr tariat de l OCDE produira galement les indicateurs et les analyses et pr parera les publications et les rapports internationaux conjointement avec les membres du projet PISA et en consultation troite avec les pays de l OCDE tant au niveau des orientations par l entremise du Conseil des pays participants qu au niveau de la r alisation par l interm diaire des chefs de projet nationaux Les plans d valuation utilis s dans le programme OCDE PISA qui sont d crits ci apr s ont t labor s par des groupes d experts sous la direction de l ACER Le groupe d experts sur la lecture a t dirig par le Professeur Irwin Kirsch de l International Testing Service le groupe charg des math matiques OCDE 1999 ca Mesurer les connaissances et comp tences des l ves a t dirig par le Professeur Jan de Lange de l Universit d Utrecht et le groupe d experts charg des sciences a t dirig par le Professeur Wynne Harlen du Scottish Council for Res
55. situant parmi les comp tences de classe 1 Pour le projet PISA les interrelations et les id es communes plusieurs domaines sont centrales Les math matiques sont le langage qui d crit des r gularit s tant les r gularit s pr sentes dans la nature que celles qui sont invent es par l esprit humain Pour tre cultiv s sur le plan math matique les l ves doivent pouvoir reconnaitre ces r gularit s et en discerner la diversit les invariants et les inter relations C est pour cette raison que le d coupage traditionnel des contenus ne devrait pas tre une dimen sion essentielle de l tude OCDE PISA sur le plan d valuation de la culture math matique L alterna tive propos e est de structurer les contenus de l valuation autour des id es math matiques majeures Le concept d id e majeure n est pas nouveau En 1990 Senechal publiait On the Shoulders of Giants N ew Approaches to Numeracy Sur les paules des g ants nouvelles approches de la culture num rique qui est un plaidoyer nergique pour aider les l ves approfondir et trouver les concepts sous jacents toutes les math matiques et mieux appr hender ainsi leur signification dans la r alit A cette fin il OCDE 1999 La culture math matique est n cessaire d explorer les id es ayant des racines profondes dans les math matiques sans consid ration des programmes scolaires actuels D autres math maticiens d fendent cette i
56. toute une s rie de contextes diff rents et sur les facons de susciter la r flexion et la compr hension Pour que de telles d marches soient r ellement possibles et efficaces quantit de connaissances fondamentales et de savoir faire math matiques tels qu ils sont souvent enseign s dans les coles sont indispensables Tout comme la ma trise de la lec ture pr suppose mais ne peut se r duire un riche vocabulaire et une connaissance approfondie des r gles grammaticales de la phon tique et de l orthographe la culture math matique ne peut se r duire une connaissance de la terminologie math matique de propri t s et de proc dures ni une s rie de savoir faire permettant d effectuer certaines op rations ou d appliquer certaines m thodes Cependant elle en pr suppose bien s r l existence traiter la r alit Le terme r alit signifie l environnement physique social et culturel dans lequel vit l individu Comme Freudenthal 1983 l affirmait les concepts les structures et les id es math matiques ont t cr s en tant qu outils d organisation des ph nom nes issus de r alit s de nature physique sociale ou mentale s engager Le terme s engager n a pas t choisi pour qualifier des actes physiques ou sociaux dans le sens strict du terme Ce terme englobe aussi le fait de communiquer de prendre position par rapport d tablir des liens d valuer ou m me d appr cier les ma
57. tre adress es au Centre francais d exploitation du droit de copie CFC 20 rue des Grands Augustins 75006 Paris France t l 33 1 44 07 47 70 Fax 33 1 46 34 67 19 pour tous les pays l exception des Etats Unis Aux Etats Unis l autorisation doit tre obtenue du Copyright Clearance Center Service Client 508 750 8400 222 Rosewood Drive Danvers MA 01923 USA ou CCC Online http www copyright com Toute autre demande d autorisation de reproduction ou de traduction totale ou partielle de cette publication doit tre adress e aux ditions de l OCDE 2 rue Andr Pascal 75775 Paris Cedex 16 France AVANT PROPOS Avec le Programme international de l OCDE pour le suivi des acquis des l ves PISA les gouver nements des pays de l OCDE s engagent suivre au sein d un cadre international commun l volution des r sultats des syst mes ducatifs en se fondant sur les connaissances des l ves Le programme PISA est avant tout une initiative concert e regroupant des comp tences scientifiques des pays partici pants et dirig e conjointement par leurs gouvernements dans le but de r pondre des pr occupations communes touchant l action des pouvoirs publics Les pays participants sont responsables du projet au niveau de l action gouvernementale Des experts des pays participants sont galement membres de groupes de travail charg s d tablirun lien entre les objectifs d action de PISA et les meilleures comp tences dispon
58. tude des formes et des constructions nous nous int ressons leurs similitudes et leurs diff rences en analysant leurs composantes formelles et en nous efforcant de reconnaitre des formes sous des repr sentations et dans des dimensions diff rentes L tude des formes est troitement li e l appr hension de l espace Freudenthal 1973 Cela signifie apprendre conna tre explorer conqu rir l espace afin de mieux y vivre y respirer et s y d placer Cela implique d tre capable de comprendre les positions relatives des objets de savoir comment nous percevons les choses et pourquoi nous les percevons de cette mani re Nous devons apprendre voyager dans l espace au sein de constructions et de formes Cela implique que les l ves soient capa bles de comprendre la relation entre la forme et son image ou sa repr sentation visuelle par exem ple entre une ville r elle et ses plans ou ses photographies Ils doivent aussi comprendre comment des objets en trois dimensions peuvent tre repr sent s en deux dimensions comment les ombres se forment et s interpr tent ce qu est la perspective et comment elle fonctionne D crite sous cet angle l tude de l espace et des formes est ouverte et dynamique et elle s accorde bien la fois la notion de culture math matique et celle de comp tences math matiques telles que d finies dans PISA Les domaines math matiques enseign s Il est vident que les
59. utiliser le mot situation afin d viter les confusions que peut entrainer l emploi de ces termes On sait que les performances de l l ve peu vent tre influenc es par les situations particuli res dans lesquelles il est interrog il importe donc de d terminer et de contr ler les types de situations utilis es dans les preuves n est pas dans nos intentions de pr senter les r sultats de l tude en termes de performances li es des situations particuli res il y a lieu cependant d identifier les situations jug es importantes afin de pouvoir contr ler la r partition des taches propos es aux l ves Cela permettra si les r sultats des essais de terrain en montrent la n cessit de garantir que la distribution des t ches travers les situations reste sem blable d un champ d tude l autre et par l d assurer une meilleure comparabilit internationale En s lectionnant les situations on gardera l esprit que l objectif de l valuation en sciences est de mesurer la capacit des l ves appliquer dans leur vie de citoyens les savoir faire et les connais sances qu ils auront acquis au terme de la scolarit obligatoire Le programme OCDE PISA requiert des t ches qu elles rel vent de la vie en g n ral et non de la seule vie l cole En situation scolaire il arrive que la mise en ceuvre des d marches et des concepts scientifiques soit confin e au laboratoire ou ala salle de classe mais de plus en
60. A sur l valuation des math ma tiques sont assez diff rents de ceux d tudes comparatives ant rieures sur les math matiques en par ticulier de l tude TIMSS de l IEA Les diff rences les plus importantes sont discut es plus loin Le processus d laboration des tests TIMSS de l IEA attachait beaucoup d importance une bonne couverture des programmes des pays participants et recourrait un sch ma d taill fond sur les domaines traditionnellement enseign s pour d crire le programme national Cependant les math ma tiques scolaires sont souvent pr sent es aux l ves comme une science strictement compartiment e et elles surestiment le calcul et les formules Il est typique que les l ves quittant l enseignement secondaire ne soient pas conscients que les math matiques se d veloppent contin ment en s ten dant de nouveaux champs et de nouvelles situations En cons quence les instruments de TIMSS s en tenaient pour la plupart des connaissances math matiques factuelles qui taient test es isol ment le plus souvent au moyen d items tr s courts En revanche l enqu te OCDE PISA porte davantage sur la culture math matique telle que d finie plus haut C est pourquoi il est important de souligner que l objectif du projet OCDE PISA est d valuer dans toute son tendue l ventail des acquis des l ves d une mani re coh rente et int gr e plut t que de tester des fragments de connaissances factuelles se
61. F d ration de Russie la Finlande la France la Gr ce la Hongrie l Irlande l Islande l Italie le Japon la Lettonie le Luxembourg le Mexique la Norv ge la Nouvelle Z lande les Pays Bas la Pologne le Portugal la R publique tch que le Royaume Uni la Su de et la Suisse Originalit du programme OCDE PISA par rapport aux autres valuations internationales Le PISA ne constitue pas la premi re enqu te internationale comparative sur les acquis des l ves D autres tudes ont t effectu es au cours des 40 derni res ann es essentiellement par l Association internationale pour l valuation du rendement scolaire IEA et par l Education Testing Service dans le cadre de l International Assessment of Educational Progress IAEP La qualit et la port e de ces enqu tes ont beaucoup progress au fil des ans mais elles ne donnent cependant que des images par tielles et isol es des connaissances acquises par les l ves un moment donn et dans un nombre limit de mati res Les trois enqu tes r alis es en sciences et en math matiques par l IEA fournissent certaines indications sur la facon dont la situation a volu en 30 ans mais le tableau qu elles dressent n est que partiel compte tenu du nombre restreint de pays qui ont particip aux premi res enqu tes et du fait que les tests ne sont pas enti rement comparables Surtout ces enqu tes se sont concentr es sur les comp tences directement li es aux programm
62. I s agit souvent d une impression assez g n rale mais elle est tr s importante pour la s lection du mat riel de lecture le plus perti nent et le plus int ressant Les t ches relatives cet aspect se fondent sur le texte lui m me et sont de ce fait voisines de cel les qui demandent au lecteur de trouver une information ou de d velopper une interpr tation Mais contrairement ces derni res cat gories de t ches celles qui demandent au lecteur de d gager une compr hension globale requi rent de lui qu il saisisse l essence du texte dans son ensemble il doit expliquer de quoi il s agit identifier le sujet discut etc Plusieurs composantes sont importantes comme trouver l id e principale ou le th me et identifier l usage auquel est g n ralement destin le document ou le texte non continu Divers types de taches demandent une compr hension globale de la part du lecteur Les l ves test s peuvent faire preuve de leur compr hension initiale en identifiant le sujet trait ou le message principal en cernant l objectif ou l usage g n ral du texte Demander au lecteur d imaginer le titre ou le th me du texte ou d expliquer l ordre d une s rie d instructions simples ou de dire quelles sont les dimensions principales d un graphique ou d un tableau constituent des exemples de ce type de t ches Autres exemples d crire le personnage principal le d cor ou le milieu o se passe une histoire identifier le theme ou l
63. Les tableaux 4 et 5 montrent la distribution recommand e entre textes continus et non continus On peut ais ment constater que les textes continus repr senteront environ les deux tiers des textes inclus dans l preuve Au sein de cette cat gorie le plus grand pourcentage sera constitu de textes informatifs 33 pour cent tandis que les textes injonctifs repr senteront le pourcentage le plus petit 7 pour cent Les autres types de textes continus devraient tre distribu s de facon gale repr sentant environ 20 pour cent chacun Les textes non continus devraient repr senter environ un tiers des textes de l preuve de compr hension de l crit La grande majorit de ceux ci 66 pour cent sera constitu e de tableaux de diagrammes et de graphiques Les autres textes non continus seront des cartes g ographiques des messages publicitaires ou des formulai res que des l ves ag s de 15 ans sont cens s pouvoir lire et utiliser Il est important de garder l esprit que ces pourcentages sont des objectifs fix s pour la campagne de test d finitive et non pour l essai de terrain La s lection des textes entrant dans l essai de terrain et ensuite dans la campagne de test d fini tive ne se fondera pas exclusivement sur des caract ristiques structurelles telles que le format et le type de texte La diversit culturelle la gamme des degr s de difficult d un texte l autre leur int r t poten tiel pourles l ves et leur authenticit
64. ORGANISATION DE COOPERATION ET DE DEVELOPPEMENT ECONOMIQUES PROGRAMME INTERNATIONAL DE L OCDE POUR LE SUIVI DES ACQUIS DES ELEVES OCDE 1999 Logiciel 1987 1996 Acrobat marque d pos e d ADOBE Tous droits du producteur et du propri taire de ce produit sont r serv s L OCDE autorise la reproduction d un seul exemplaire de ce programme pour usage personnel et non commercial uniquement Sauf autorisation la duplication la location le pr t l utilisation de ce produit pour ex cution publique sont interdits Ce programme les donn es y aff rant et d autres l mentsdoivent donc tre trait s comme toute autre documentation sur laquelle s exerce la protection par le droit d auteur Les demandes sont adresser au Chef du Service des Publications Service des Publications de l OCDE 2 rue Andr Pascal 75775 Paris Cedex 16 France MESURER LES CONNAISSANCES ET COMPETENCES DES ELEVES Un nouveau cadre d valuation ORGANISATION DE COOP RATION ET DE D VELOPPEMENT CONOMIQUES ORGANISATION DE COOPERATION ET DE DEVELOPPEMENT ECONOMIQUES En vertu de l article 1 de la Convention sign e le 14 d cembre 1960 Paris et entr e en vigueur le 30 septembre 1961 l Organisation de Coop ration et de D veloppement conomiques OCDE a pour objectif de promouvoir des politiques visant r aliser la plus forte expansion de l conomie et de l emploi et une progression du niveau de vie dans les pays Membres
65. P B 1998 The measurement of adult literacy in T S Murray S Kirsch et L Jenkins dir pub Adult Literacy in OECD Countries Technical Report on the First International Adult Literacy Survey US Department of Education National Center for Education Statistics Washington DC LANGER J 1995 Envisioning Literature International Reading Association Newark DE LINNAKYLA P 1992 Recent trends in reading literacy research in Finland in P Belanger C Winter et A Sutton dir pub Literacy and Basic E ducation in E urope on the E ve of the 21st Century Council of Europe Strasbourg pp 129 135 LUNDBERG I 1991 Reading as an individual and social skill in Lundberg et T Hoien dir pub Literacy in a World of Change Center for Reading Research UNESCO Stavanger MACCARTHEY S J et RAPHAEL T E 1989 Alternative Perspectives of Reading Writing Connections College for Education Institute for Research on Teaching Occasional paper 130 Michigan State University MILLAR R et OSBORNE J 1998 Beyond 2000 Science E ducation for the Future King s College London School of Education Londres OCDE 1999 Bibliographie MYERS M et PARIS S G 1978 Children s metacognitive knowledge about reading Journal of E ducational Psychology 70 pp 680 690 PARIS S WASIK B et TURNER J 1991 The development of strategic readers in R Barr M Kamil et P Mosenth
66. act ristiques des preuves tenente tenente nente rt te tenerent 75 Structure des tested 20 1 1100110 tiered echec 77 Echiellesdes r sultats uoo ine peste a 79 Autres GUCSUIONS cocta ty 82 Bibli graptile 3 2 S 83 Annexe 1 Membres du groupe fonctionnel d experts 87 Annexe 2 Questions pour les cycles venir du programme OCDE PISA 89 OCDE 1999 INTRODUCTION Dans quelle mesure les jeunes adultes sont ils pr ts relever les d fis de demain Sont ils v rita blement m me d analyser des situations de raisonner et de communiquer leurs id es Ont ils les moyens de continuer apprendre tout au long de leur vie Les parents les l ves le public etles res ponsables des syst mes d enseignement ont besoin de savoir ce qu il en est De nombreux syst mes d enseignement suivent l volution des savoirs des l ves afin de fournir certaines r ponses ces questions Les analyses comparatives r alis es l chelon international peu vent compl ter et enrichir les travaux men s au plan national en d terminant les niveaux de comp
67. aines math matiques enseign s constituent des alternatives de description des conte nus math matiques Les comp tences math matiques sont les comp tences et savoir faire g n rauxtels que la r solution de probl mes l utilisation du langage math matique et les savoir faire ayanttrait la mod lisation math matique Les id es math matiques majeures repr sentent des assemblages de concepts math matiques interd pendants qui apparaissent de facon pertinente en contexte ou dans des situations de la vie r elle Cer taines de ces id es majeures sont d sormais classiques par exemple le hasard les variations et la croissance les notions de d pendance et de relation et la notion de forme La notion d id e majeure a t retenue parce qu elle ne d bouche pas sur une facon artificielle de compartimenter les math matiques par sujet L aspect domaines math matiques enseign s renvoie aux contenus math matiques scolaires tels qu ils figurent dans de nombreux curricula Dans le cadre de l tude OCDE PISA nous proposons la liste suivante nombres mesures estimations alg bre fonctions g om trie probabilit s statistiques et OCDE 1999 La culture math matique math matiques discr tes Les domaines math matiques enseign s ont t retenus comme un aspect mineur de cette tude afin que les contenus traditionnels soient couverts par cette valuation Toutefois la s lection effective des contenus
68. aisonnements math matiques comprendre et va luer diff rents types d enchainements d arguments math matiques poss der un certain sens de l heuristique que ne peut il pas se produire et pourquoi savoir d velopper une argumentation math matique 3 Capacit de mod lisation math matique Savoir structurer le domaine ou la situation qui doit tre mod lis math matiser c est dire op rer une traduction de la r alit vers la struc ture math matique et d math matiser c est dire interpr ter des mod les math mati ques en termes de r alit travailler avec un mod le math matique savoir valider le mod le r fl chir analyser et se montrer critique l gard des mod les et de leurs r sultats savoir communiquer propos du mod le et de ses r sultats y compris au sujet des limites de ces derniers savoir maitriser le suivi et le contr le du processus de mod lisation 4 Capacit de poser et r soudre des probl mes Savoir poser formuler et d finir diff rents types de pro bl mes math matiques purs appliqu s r ponses ouvertes r ponses ferm es savoir r soudre diff rentes sortes de probl mes 5 Capacit de repr sentation Savoir d coder interpr ter et distinguer diff rentes formes de repr sentation d objets et de situations math matiques ainsi que les relations entre les diverses repr sentations savo
69. al dir pub Handbook of Reading Research vol Il Longman New York SENECHAL M 1990 Shape in L A Steen dir pub On the Shoulders of the Giant N ew Approaches to Numeracy National Academy Press Washington DC pp 139 182 SHAFER M C et ROMBERG T A paraitre Assessment in Classroom that Promote Understanding in E Fennema et T A Romberg dir pub M athemat ics Classrooms that Promote Understanding Erlbaum Mahwah New Jersey SHAMOS M H 1995 TheM yth of Scientific Literacy Rutgers University Press New Brunswick SMITH M C 1996 Differences in adults reading practices and literacy proficiencies Reading Research Quarterly 31 pp 196 219 STICHT T G dir pub 1975 Reading for Working A Functional Literacy Anthology Human Resources Research Organization Alexandria VA STIGGINS R J 1982 An analysis of the dimensions of job related reading Reading World 82 pp 237 247 STREEFLAND L 1990 Fractions in Realistic M athematics E ducation A Paradigm of D evelopmental Research Reidel Dordrecht STUART I 1990 Change in L A Steen dir pub On theShoulders of the Giant N ew Approaches to N umeracy National Academy Press Washington D C pp 183 218 TAUBE K et MEJDING J 1997 A nine country study What were the differences between the low and high performing students in the IEA Reading Literacy Study in M Binkley K Rus
70. aluation OCDE PISA Le niveau le plus haut identifi par Bybee celui de la culture scientifique multidimensionnelle requiert une bonne compr hension de la nature de la science et de son histoire ainsi que de son r le dans notre culture un niveau s appliquant plut t l lite scientifique qu l ensemble des citoyens C est peut tre l id e que la culture scientifique implique une r flexion aussi sp cialis e qui freine la diffusion d une conception plus accessible de cette culture La d finition la plus pertinente et la plus proche des objectifs du plan d valuation scientifique de PISA parait tre celle relative au troisi me niveau de culture scientifique d sign par Bybee comme la culture scientifique conceptuelle et proc durale Apr s avoir examin un certain nombre de descriptions existantes le programme OCDE PISA d fi nit la culture scientifique comme suit La culture scientifique est le fait de pouvoir utiliser des connaissances scientifiques d identifier les questions et de tirer des conclusions fond es sur des faits en vue de comprendre le monde naturel et de prendre des d cisions son propos ainsi que de comprendre les changements qui y sont apport s par l activit humaine Il est n cessaire de d tailler la signification des l ments condens s dans cette d finition Culture scientifique est important de noter ici que d une part les connaissances scientifiques au s
71. ants on demandera l l ve de r fl chir soit sur le contenu de l information fournie dans le texte soit sur la structure et la forme du texte lui m me Le tableau 7 pr sente la distribution des t ches en fonction du format et de l aspect du texte Tableau 7 Distribution recommand e des preuves de lecture selon les aspects Aspect du test Trouver l information 20 Comprendre globalement un texte 20 D velopper une interpr tation 30 R fl chir sur le contenu 15 R fl chir sur la forme 15 Total 100 Pour d terminer avec pr cision la place donner aux items r ponse construite il faut quelques principes de distribution des t ches tablis sur une base la fois pratique et conceptuelle Le tableau 8 pr sente la distribution des t ches propos e pour les items r ponse construite et choix multiple en fonction des cinq aspects de la lecture Tableau 8 Distribution recommand e des preuves r ponse construite et choix multiple en fonction des cinq aspects de la lecture des preuves des items du test des items du test Aspect du test requ rant requ rant a choix multi le une r ponse construite une r ponse construite p Trouver l information 20 35 7 13 Comprendre globalement 20 35 7 13 D velopper une interpr tation 30 35 11 19 R fl chir sur le contenu 15 65 10 5 R fl chir sur la forme 15 65 10 5 Total 100 45 55 43 OCDE 1999 Mesurer les connaissances et comp tences des l ves
72. art les connaissances et les comp tences li es aux programmes d enseignement mais il value essentiellement celles ci dans la perspective de l acquisition de notions et aptitudes caract re g n ral permettant d exploiter les connaissances De plus l va luation OCDE PISA ne se heurte pas aux limites impos es par le d nominateur commun consti tu parle contenu sp cifique de l enseignement dispens dans les coles des pays participants Cette approche de l valuation en terme de ma trise de grands concepts est particuli rement importante compte tenu de la volont exprim e par les nations de mettre en valeur le capital humain que l OCDE d finit comme suit les connaissances qualifications comp tences et autres qualit s poss d es par un individu et int ressant le bien tre personnel social et conomique Jusqu ici la tendance a t d estimer le stock de capital humain ou la base des comp tences humaines en les d terminant dans le meilleur des cas partir de variables telles que le niveau d tu des atteint Lorsque l int r t port au capital humain s tend en outre aux qualit s qui permettent une participation d mocratique pleine et enti re la vie de la collectivit l ge adulte et qui aident les individus devenir des apprenants permanents l inad quation de ces variables apparait encore plus clairement En valuant directement les connaissances et les comp tences qui ont
73. athematics Achievement in the Middle Years p 98 OCDE 1999 Mesurer les connaissances et comp tences des l ves Figure 6 Exemple d item sollicitant une math matisation plus complexe Dans un pays donn en 1980 le budget de la d fense nationale tait de 30 millions dans la monnaie du pays Cette ann e l le budget total s levait 500 millions L ann e suivante le budget de la d fense tait pass 35 millions tandis que le budget total passait 605 millions Le taux d inflation pendant la p riode couvrant les deux exercices budg taires s levait 10 96 a Vous tes invit donner une conf rence pour une association pacifiste Vous souhaitez expliquer que le budget de la d fense a diminu cette ann e Expliquez comment vous vous y prenez b Vous tes invit donner une conf rence dans une cole militaire Vous souhaitez expliquer que le budget de la d fense a augment cette ann e Expliquez comment vous vous y prenez Source de Lange 1987 Voir aussi MSEB 1991 Reproduction autoris e La math matisation sollicit e dans l exemple de la figure 6 rel ve clairement des comp tences de classe 3 en ce que cet exemple n cessite la reconnaissance par l l ve de math matiques pertinentes l laboration puis la communication d une argumentation math matique Les id es math matiques majeures Comme indiqu pr c demment les objectifs de l tude OCDE PIS
74. ats Oui a et c Non b et d 2 points Oui a Non b c et d 1 point Autres s quences 0 point Exemple d item 4 Supposez que sur une section de route secondaire Peter observe qu une fois que les lignes sont peintes des changements concernant la circulation ont lieu Vitesse La circulation va plus vite Position La circulation se concentre vers la chauss e Distance entre les v hicules Pas de changement Sur la base de ces r sultats il a t d cid de peindre des lignes sur les voies de toutes les routes secondaires Pensez vous que ce soit la meilleure d cision Donnez vos raisons expliquant votre accord ou d saccord D accord Pas d accord Raisons Exemple d item 5 Les automobilistes sont avis s de laisser plus d espace entre leur v hicule et celui de devant quand ils conduisent plus vite parce que plus grande vitesse les voitures prennent plus de temps pour s arr ter Expliquer pourquoi une voiture qui va plus vite prend plus de temps pour s arr ter qu une voiture qui roule plus lentement Raison Exemple d item 6 En examinant son programme t l vis Peter observe qu une voiture A roulant 45 km h est d pass e par une voiture B se d pla ant 60 km h A qu elle vitesse la voiture B semble se d placer pour le conducteur de la voiture A a Okm h b 15 km h c 45 km h d 60 km h e 105 km h L item n 1 demande une r ponse construite valant 2 1 ou 0 point s
75. autour du plan ainsi labor et des objectifs de l valuation l analyse des types de connaissances et de comp tences associ es de bons r sultats fournit une base partir de laquelle il devient possible de d finir des normes ou des niveaux d apti tude A mesure qu volue la perception de ce que l on mesure et la capacit d interpr ter les scores d une chelle particuli re la base empirique permettant de communiquer un ensemble plus important d informations divers groupes int ress s peut tre d velopp e le plan d valuation permet d identifier et d appr hender les variables particuli res qui sous tendent de bons r sultats et il renforce les possibilit s d valuer l objet mesur et d apporter des modifications l valuation au cours du temps il tablit un lien entre la recherche l valuation et l action des pouvoirs publics qui non seule ment incite am liorer l enqu te et l utilisation de ses r sultats mais encore contribue une 22 meilleure appr hension de l objet sur lequel elle porte OCDE 1999 Chapitre 1 LA COMPREHENSION DE L ECRIT Dans le cadre de l tude PISA de l OCDE l expression compr hension de l crit doit tre entendue au sens large Comme dans nos soci t s il existe relativement peu de jeunes adultes ne poss dant pas de comp tences en lecture le plan d valuation n est pas destin valuer si oui ou non les l ves de 15 ans peuvent lire au sens
76. bles de situation pour la lecture Lecture usage priv Lecture usage public Lecture des fins professionnelles Lecture des fins scolaires Les autres Soi m me Anonyme Objets Instructeurs Proches Coll gues Amis Sup rieurs hi rarchiques Usage Curiosit Information Pour agir Pour apprendre Contact Contenus Lettres Notices Instructions Textes Fiction R glements Manuels Cartes Biographies Programmes Horaires Sch mas Modes d emploi Brochures M mos Tableaux Livres et magazines Formulaires Rapports Graphiques Cartes g ographiques Tableaux graphiques Dans le cadre de cette valuation le contenu n est pas une variable qui fait l objet de manipula tions sp cifiques Cependant en chantillonnant des textes relatifs des situations tr s vari es notre intention est bien de diversifier autant que possible les contenus inclus dans l enqu te OCDE PISA sur la compr hension de l crit On accordera une attention toute particuli re tant l origine et au contenu des textes s lectionn s pour cette enqu te qu auxtypes de questions et de consignes utilis s pour obtenir des informations sur la compr hension de l crit chez les l ves Le but est de parvenir un quilibre entre le d veloppement de t ches qui refl tent le mieux possible la d finition globale de la compr hension de l crit utilis e dans le cadre du programme OCDE PISA et la n cessit que ce mat riel soit repr sentatif de la diversit linguistique et
77. ce que la capacit d appliquer des d marches scientifiques d pend fortement de la situation dans laquelle ces savoir faire sont utilis s d o la n cessit d valuer les savoir faire en relation avec une s rie de concepts En consid rant les objectifs de PISA il semble clair que la compr hension des concepts tout comme la combinaison de connaissances scientifiques avec la capacit de tirer des conclusions bas es sur des faits constituent toutes deux des acquis de l enseignement jug s impor tants La r partition recommand e attribuant un nombre gal de points aux acquis r sultant de ces deuxapprentissages fondamentaux s inscrit dans cette perspective Comme on l a d j vu tous les types d items retenus seront destin s appliquer les concepts scientifiques qui selon toute probabilit auront t acquis par les l ves l cole travers leur pro gramme scientifique L ou les items de sciences de PISA se distinguent de ceux utilis s dans d autres valuations de l enseignement des sciences quoique ce soit loin d tre le cas de toutes c est quand ils font appel l application de ces concepts dans des situations de la vie r elle De m me la capacit de tirer des conclusions bas es sur des faits en appliquant les savoir faire d crits ci dessus fait partie des objectifs vis s par bon nombre de programmes de sciences L valuation OCDE PISA fera appel l application d informations ou de donn es dans des si
78. cepts sont les larges repr sentations qui nous rendent capables de donner un sens de nouvelles exp riences en les reliant ce que nous savons d j Les concepts scientifiques sont ceux qui nous aident donner un sens des aspects du monde naturel et l univers de la technologie Les expressions qui les d signent sont d ordre tr s divers depuis les tiquettes tr s g n rales qui leur sont attribu es lorsqu on les propose comme disciplines scolaires biologie physique sciences naturelles etc jusqu aux longues listes d objectifs g n riques qu on rencontre souvent dans les programmes d finissant des standards ducatifs ou des curriculums Il y a plusieurs mani res de grouper les concepts scientifiques pour nous aider comprendre les aspects scientifiques du monde qui nous entoure Dans certains cas les concepts sont des tiquettes pr cisant la s rie de caract ristiques qui d finissent un groupe particulier d objets ou d v nements pouvant en compter des milliers d exemplaires mammif res acc l ration solvant Les concepts peuvent aussi tre formul s sous forme de principes s appliquant des ph nom nes donn s les lois ou les th or mes en physique ou en chimie qui existent par centaines Enfin ils peuvent tre formul s sous forme de th mes scientifiques majeurs notions larges qui sont applicables de mani re plus g n rale et plus facile mettre en ceuvre dans le cadre d une
79. ces am liorations et la n ces sit de proc der des comparaisons fiables dans le temps et c est pourquoi un grand nombre d l ments fondamentaux de l valuation OCDE PISA seront conserv s au fil des ans Les objectifs de l OCDE sont ambitieux Pour la premi re fois une valuation internationale des r sultats scolaires vise d terminer non seulement si les l ves ont acquis les connaissances pr vues dans les programmes mais encore si les savoirs et les aptitudes qu ils ont acquis dans leur enfance les ont bien pr par s la vie adulte Les pays qui souhaitent v rifier de facon continue l ad quation de leur syst me ducatif dans un contexte mondial ont besoin de ce type de mesures On ne parviendra certes pas imm diatement r aliser des valuations parfaites certains des objectifs du programme PISA se heurteront dans un premier temps des obstacles d ordre pratique dus au fait que l instrument d valuation devra la fois tre fiable et permettre des comparaisons entre un grand nombre de cultu res diff rentes Mais les objectifs poursuivis ont t clairement d finis et les valuations tout en vo luant au fil des ans s attacheront les r aliser progressivement Dans le plan OCDE PISA 2000 les capacit s des l ves seront valu es gr ce une s rie d preuves administr es sur papier qui devront tre faites dans un temps limit Le terme de test a plusieurs signifi cations dans les
80. compte des r sultats aux d cideurs politiques aux ducateurs et aux chercheurs Cette d cision sera prise en fonction de la combinaison de trois crit res d ordre conceptuel empirique et politique Les d cisions d finitives sur les chelles qui seront utilis es pour pr senter les r sultats seront prises lorsque les donn es de l essai de terrain auront t recueillies et analys es En plus d organiser le domaine de la compr hension de l crit pour pouvoir rendre compte des r sultats il faut galement tre attentif l identification et un d but d op rationalisation des caract ristiques des preuves afin de pouvoir commencer laborer et s lectionner des t ches On ne peut manipuler qu un nombre fini de caract ristiques dans l laboration des t ches et seul un petit nombre de variables associ es ces caract ristiques est susceptible d influencer de mani re sensible les r sul tats des l ves D apr s Almond et Mislevy 1998 les variables d crivant les caract ristiques des preuves peu vent jouer un des cing r les suivants dans un test limiterle champ de l valuation caract riser les aspects utiliser lors de la construction des preuves contr ler le regroupement des preuves dans les carnets ou les sous sections du test caract riser les performances des sujets ou les r ponses qu ils doivent apporter aux items contribuer caract riser certains aspects des comp tences
81. correctement une question s agit des processus utilis s pour relier l informa tion fournie dans la question information donn e l information qu il y a lieu de trouver dans le texte nouvelle information ainsi que les processus requis pour identifier ou pour construire une r ponse correcte partir des informations disponibles On a identifi quatre strat gies de mise en correspondance localiser passer en revue int grer et g n rer Les t ches demandant de localiser requi rent de l l ve test qu il compare une ou plu sieurs caract ristiques de l information contenue dans la question une information identique ou syno nyme situ e dans le texte Les t ches passer en revue exigent aussi qu on compare une ou plusieurs caract ristiques de l information mais contrairement aux t ches de localisation elles demandent aux l ves test s d tablir une s rie de correspondances entre caract ristiques pour rencontrer les condi tions nonc es dans la question Les taches demandant d int grer n cessitent de la part du lecteur OCDE 1999 Mesurer les connaissances et comp tences des l ves 40 qu il rassemble deux informations provenant du texte ou davantage en fonction d un type donn de relation Par exemple il peut tre demand aux l ves test s d tablir une relation de similitude comparaison de diff rence contraste de degr plus petit ou plus grand ou de cause effet
82. culturelle des pays participants Cette diversit permettra d avoir la garantie qu aucun groupe ne sera avantag ou d savantag par le contenu de l valuation Les travaux sur le langage r alis s par le Conseil de l Europe 1996 fournissent une structure utile pour l op rationalisation des variables de situation La lecture usage priv personnel on effectue ce type de lecture pour satisfaire ses int r ts per sonnels qu ils soient d ordre pratique ou intellectuel Ceci inclut galement la lecture effectu e dans le but de maintenir ou de d velopper des liens personnels avec d autres personnes Parmi les contenus typiques de ce genre de lecture figurent les lettres personnelles les textes de fic tion les biographies ainsi que les textes informatifs lus par curiosit dans le cadre d activit s r cr atives et de loisirs La lecture usage public ce type de lecture est pratiqu pour prendre part des activit s sociales plus larges Cela comprend l usage de documents officiels ainsi que des informations concernant des v nements publics G n ralement ces t ches sont associ es des contacts avec les autres qui demeurent relativement anonymes La lecture des fins professionnelles bien que seuls quelques jeunes de 15 ans aient r ellement lire dans un cadre professionnel il est important d inclure des t ches repr sentant des exemples typiques d activit s de lecture sur les lieux de travail cel
83. d e les publica tions les plus fameuses tant celles de Devlin 1994 1997 Mathematics The Science of Patterns Math matiques la science des r gularit s On peut identifier et d crire de nombreuses id es majeures En fait le domaine des math mati ques est si riche et vari qu il ne serait pas possible de constituer une liste exhaustive d id es majeu res Cependant il est important pour l objectif que poursuit le projet OCDE PISA sur la culture math matique de proposer un choix d id es majeures qui puissent suffisamment r v ler dans leur diversit et leur profondeur l essence m me des math matiques La liste suivante d id es majeures utilis es par PISA satisfait ces conditions le hasard les variations et la croissance l espace et les formes le raisonnement quantitatif l incertitude la d pendance et les relations Dans le premier cycle d valuation de l tude OCDE PISA le temps limit laiss aux math mati ques oblige restreindre l tendue du domaine valu Le premier cycle se centrera donc sur les deux id es majeures suivantes les variations et la croissance et l espace et les formes La suggestion de restreindre le premier cycle d enqu te deux id es majeures est motiv e pour deux raisons principales premi rement ces deux domaines couvrent un vaste ventail de sujets parmi les contenus pr sent s ci dessus deuxi mement ces d
84. d un formulaire sont g n ralement des listes combin es Sur le formulaire les deux lis tes sont celle des entr es et celle des blancs comme indiqu plus haut Dans une table des mati res les deuxlistes sont les titres des chapitres etles pages auxquelles commencent ces chapitres ces deux listes pr sentent le m me parall lisme que les entr es et les blancs sur le formulaire Mais personne ne confondrait un formulaire avec une table des mati res 1 Les formulaires sont des textes structur s et format s qui demandent au lecteur de r pondre des questions sp cifiques d une mani re sp cifique Un grand nombre d institutions utilisent des formulaires pour recueillir des donn es Ceux ci comportent souvent des formats de r ponse structur s ou pr cod s Les d clarations d imp ts les formulaires d immigration de visa de demande d emploi les questionnaires utilis s lors d enqu tes statistiques etc constituent des exemples typiques de formulaires 2 Les feuilles d information contrairement aux formulaires proposent une information au lieu de la demander Elles r sument l information d une facon structur e et dans un format tel que le lec teur peut facilement et rapidement localiser des informations particuli res Les feuilles d infor mation peuvent contenir diverses formes de textes ainsi que des listes des tableaux des sch mas et une typographie sophistiqu e titres polices retraits encadrements etc pour
85. de pens e de valeurs et de croyances L argumentation scientifique tablit un lien entre les concepts relatifs des v nements des objets et des id es et des syst mes de pens es et de connaissances tel que les propositions qui en r sultent peuvent tre v rifi es ou infirm es 5 Le texte donnant des instructions appel parfois texte injondif est un type de texte qui fournit des directives sur ce qu il faut faire Les consignes sont des directives destin es guider le comportement pour accomplir une t che Les r gles r glements et statuts sp cifient les exigences concernant certains comportements Ces textes fondent leur l gitimit sur une autorit impersonnelle contraintes pratiques ou autorit publique 6 L hypertexe est un ensemble de fragments de textes reli s les uns aux autres en sorte que les unit s peuvent tre lues dans des ordres s quentiels diff rents ce qui permet aux lecteurs de suivre diff rents chemins v hiculant l information Ces textes contiennent fr quemment des supports visuels et peuvent solliciter chez le lecteur des strat gies d approche non lin aires Textes non continus structure et format Les textes non continus sont organis s diff remment des textes continus et font donc appel des d marches de lecture de types diff rents Il y a deux mani res pratiques de consid rer ces textes La premi re classification tient compte des principes selon lesquels les
86. domaines traditionnels d enseignement des math matiques ne peuvent ni ne doivent tre ignor s C est pourquoi nous les avons int gr s dans PISA de mani re explicite sous forme d un aspect mineur de l organisation du domaine de la culture math matique L aspect domaines OCDE 1999 La culture math matique math matiques enseign s peut tre utile pour trouver un bon quilibre entre les items et pour assurer une couverture raisonnable de l ventail des contenus d finis par les programmes scolaires Les cat gories de contenus d finies par domaine pour l tude OCDE PISA seront les suivantes nombres mesures estimation alg bre fonctions g om trie probabilit s statistiques et math matiques discr tes Cette liste des domaines enseign s a t labor e en collaboration avec les pays participants PISA Des items couvrant chacun des domaines mentionn s ci dessus seront inclus dans les tests d va luation de PISA Les situations Un aspect important de la d finition de la culture math matique est li la grande diversit des situations dans lesquelles sont utilis es les math matiques En effet on a remarqu que le choix des m thodes math matiques et la pr sentation des r sultats d pendent souvent des contextes dans les quels les probl mes sont pr sent s au d part Chaque situation devrait permettre aux l ves de parti ciper au processus social de math matisati
87. e tape de son d veloppement plut t que comme un OCDE 1999 La compr hension de l crit Figure 1 Caract ristiques permettant de distinguer les cinq aspects de la lecture Compr hension de l crit Utiliser des informations provenant du texte Tirer parti des connaissances ext rieures au texte Texte dans Parties du texte son ensemble Contenu Structure Informations ind pendantes Rapports entre les diff rentes parties du texte R fl chir sur la forme du texte R fl chir sur le contenu du texte Comprendre Trouver globalement l information D velopper une interpr tation ensemble hi rarchis et s quentiel de comp tences Bien s r il sera possible et n cessaire d explorer cette hypoth se une fois que les items auront t d velopp s et que les donn es de l essai de terrain auront t recueillies Ces cinq aspects de la lecture seront op rationnalis s par le biais d une s rie de questions consi gnes propos es aux l ves participant l valuation OCDE PISA Par leurs r ponses les l ves pour ront prouver qu ils sont m me de comprendre et d utiliser une s rie de textes continus et non continus et r fl chir leur propos La figure 1 pr sente les caract ristiques cl qui permettent de distinguer les cing aspects de la lec ture que OCDE PISA va mesurer Chaque aspect y apparait certes
88. e Par exemple certaines questions touchant les sciences n cessitent des connaissances scientifiques de base les l ves devaient indiquer par exem ple combien de pattes et de parties du corps poss dent les insectes ou une exploitation simple des connaissances les l ves devaient par exemple d terminer laquelle parmi des cuill res en m tal en bois ou en plastique serait la plus chaude apr s avoir t plong e pendant 15 secondes dans de l eau chaude Les items pr vus dans l valuation OCDE PISA n cessitent en revanche le plus souvent l asso ciation d un ensemble de connaissances et de comp tences et parfois comme dans l exemple n 4 du plan d valuation des comp tences scientifiques voir figure 18 une valuation active de d cisions pour lesquelles il n existe pas de r ponse correcte unique Les r sultats de l valuation OCDE PISA seront pr sent s sous forme de niveaux de performances atteints par les l ves sur les diverses chelles de comp tence dans chaque domaine Les chelles obtenues parla calibration des items du test permettront de d crire les r sultats en termes des comp tences que maitrisent les l ves se situant aux divers niveaux de l chelle En d autres termes il sera possible de dire ce que les l ves un niveau donn de l chelle savent et sont capables de faire par rapport ceux qui se trouvent des niveaux inf rieurs L utilisation d items n cessitant un niveau de raisonneme
89. e 60 minutes est consacr valuer la culture math matique des l ves Dans le premier cycle du plan OCDE PISA la dur e pr vue pour les tests sera r partie part gale entre les deux id es math matiques majeures variations et croissance espace et formes La r partition approximative entre les trois classes de comp tences sera de 1 2 1 Ces informations sont r sum es au tableau 9 dans lequel est indiqu le nombre d items pour chaque id e majeure et classe de comp ten ces Les items sont ventil s selon qu ils n cessitent un ou plusieurs correcteurs Les aspects mineurs ne sont pas pr sent s dans le tableau 9 La r partition des items du test entre les aspects mineurs des domaines enseign s et les situations est peu pr s uniforme C est dire que le test OCDE PISA accordera une gale importance chacun des neuf domaines enseign s et chacune des cing situations mentionn es plus haut Le tableau 9 montre qu il est pr vu que le test comprenne 15 items pour chacune des deux id es majeures 21 points pour chacune des deux id es majeures OCDE 1999 La culture math matique Tableau 9 Nombre d items recommand s et de points du bar me par id e majeure et par classe de comp tences Variations et croissance Espace et formes Type d item Comp tences Comp tences Classe 1 Classe 2 Classe 3 Classe 1 Classe 2 Classe 3 Un seul correcteur 6 6 5 5 6 6 5 5 Plusieurs correcteurs 2 5 2 5
90. e et Verhage 1992 Reproduction autoris e Pour le programme OCDE PISA 25 35 pour cent de l valuation des math matiques seront consa cr s des items ouverts r ponse construite Ces items n cessitent une notation par un correcteur exp riment qui met en place un bar me qui peut exiger des l ments de jugement professionnel En raison de d saccords ventuels entre correcteurs le plan OCDE PISA mettra en uvre des tudes pour r guler l tendue des d saccords entre correcteurs La conclusion de ces tudes montre que des bar mes clairs peuvent tre labor s et qu on peut obtenir une notation fiable Le premier cycle de l enqu te OCDE PISA fera usage d un format d preuve dans lequel plusieurs items d pendent d un m me mat riau source Les preuves de ce format offrent aux l ves l occasion de s impliquer dans le contexte ou le probl me en posant une s rie de questions ouvertes avec une gradation croissante du niveau de complexit Les premi res questions sont choix multiple ou fer m es r ponse construite alors que les items suivants sont ouverts r ponse construite Ce format est appropri pourtoutes les classes de comp tences Une des raisons l origine de tels formats d preuve est de rendre les taches r alistes et de per mettre qu elles refl tent la complexit de la vie r elle Une autre raison tient l efficacit d utilisation du temps de test La n cessit de rendre dans
91. e message d un texte litt raire expliquer l objectif ou l usage d une carte ou d un sch ma identifierle sujet principal ou le destinataire d un message lectronique d ter miner quel type de livre pourrait contenir un certain type d information saisir globalement l objectif d une page de site Internet ou d terminer qui elle s adresse Certaines des taches relatives cet aspect peuvent requ rir d tablir une correspondance entre un extrait du texte et la question Cela peut tre le cas par exemple lorsqu un th me ou une id e mai tresse sont formul s explicitement dans le texte D autres t ches peuvent requ rir de l l ve test qu il se focalise sur plus d une r f rence sp cifique du texte c est le cas par exemple lorsque le lecteur doit d terminer le sujet en se fondant sur la r p tition d une cat gorie particuli re d informations S lectionner l id e maitresse implique d tablir une hi rarchie parmi les id es et de choisir les plus g n rales et les plus globales Une t che de ce type permet de v rifier si les l ve test s sont capables de faire la distinction entre les id es essentielles et les d tails mineurs ou de reconna tre le r sum du th me principal dans une phrase ou dans un titre 6 Notre intention est d illustrer chacun des aspects par des exemples Cependant leur inclusion dans ce docu ment destin au public risque de compromettre la confidentialit des instruments du test PISA I
92. e nous l avons indiqu pr c demment le programme OCDE PISA valuera des concepts importants qui se rapportent aux contenus des curriculums de la science des pays participants sans tre oblig de prendre pour d nominateur commun les curriculums nationaux En conformit avec l accent mis sur la culture scientifique le programme veillera ce que les concepts scientifiques s lectionn s soient appliqu s et ce que les d marches scientifiques soient utilis es dans des situations importan tes repr sentant le monde r el et impliquant des id es scientifiques OCDE 1999 Mesurer les connaissances et comp tences des l ves Figure 16 Champs d application de la science pour l valuation de la culture scientifique Science de la vie et de la sant Sant maladies et alimentation Pr servation et utilisation durable des esp ces Interd pendance des syst mes physiques biologiques Science de la Terre et de l environnement Pollution Production et d gradation du sol M t orologie et climat Science de la technologie Biotechnologie Utilisation des mat riaux et disposition des d chets Utilisation de l nergie Transport Situations En dehors de la nature des d marches et des concepts valu s il y a une troisi me caract ristique des t ches d valuation qui affecte la performance des l ves et qu on d signe souvent par des expres sions comme contexte ou mise en uvre des questions Nous pr f rons
93. e r ponses que l l ve test est cens donner Les questions qui requi rent une seule r ponse sont plus faciles que celles qui en requierent trois ou plus De plus les questions qui indi quent le nombre de r ponses a donner tendent a tre plus faciles que celles qui ne le pr cisent pas Par exemple la question num rez les trois raisons sera plus facile que la question Enum rez les raisons La difficult des taches est galement influenc e parle nombre d inf rences effectuer pour confronter l information donn e dans une question l information correspondante dans le texte et identifier l information requise C D egr de plausibilit des distracteurs Il s agit ici de la pr sence ventuelle dans le texte d informations qui poss dent une ou plusieurs caract ristiques communes avec l information requise dans la question mais qui ne r pondent pas pr cis ment ce qui est demand Une t che est consid r e comme tr s facile lorsqu il n y a aucune infor mation distractrice dans le texte Elle tend devenir plus difficile lorsque le nombre de distracteurs augmente lorsque les distracteurs ont un plus grand nombre de caract ristiques communes avec la r ponse correcte et lorsque les distracteurs se trouvent proximit imm diate de la r ponse correcte Par exemple les t ches tendent tre jug es plus difficiles lorsqu un ou plusieurs distracteurs r pon dent certaines des conditions sp
94. e rang s par ordre alphab tique ou non ordonn es par exemple la liste d articles acheter dans un magasin 10 Les cartes sont des textes non continus qui indiquent les relations g ographiques entre des lieux Il existe de nombreuses sortes de cartes Les cartes routi res indiquent les distances et les itin raires entre des lieux donn s Les cartes th matiques indiquent les rapports entre des endroits et des caract ristiques sociales ou physiques M odalit s de questions r ponses et caract ristiques des t ches Trois ensembles de variables sont concern s ici les questions ou consignes qui pr sentent au sujet la t che effectuer les formats de r ponse qui indiquent la facon dont les sujets sont appel s montrer leur comp tence accomplir la t che enfin les r gles de correction qui sp cifient comment les r ponses de l l ve doivent tre valu es Chacune de ces variables sera discut e ci dessous mais c est la premi re d entre elles qui va de loin requ rirle plus d attention Q uestions et consignes On peut consid rer l ensemble des taches propos es aux sujets test s d un point de vue macro ou micro Au niveau macro les t ches peuvent tre identifi es selon qu elles font appel un ou plus des cinq grands aspects de la lecture Au niveau micro il a t d montr que plusieurs varia bles peuvent influencer la difficult des taches figurant sur une chelle donn
95. earch in Education La mise au point des plans d valuation a b n fici en outre des consultations effectu es par les groupes d experts aupr s de leurs coll gues des pays participants Les plans ont t adopt s par les gouverne ments des pays de l OCDE par l interm diaire du Conseil des pays participants L laboration des plans d valuation de l OCDE PISA s est d roul e selon un processus en six tapes la mise au point d une d finition op rationnelle du domaine vis et la formulation des hypothe ses qui sous tendent cette d finition a d termination de la structure donner l ensemble des t ches propos es aux l ves pour permettre de rendre compte le mieux possible aux d cideurs et aux chercheurs des niveaux de comp tences acquis dans chaque mati re par les l ves de 15 ans des pays participants l identification d un ensemble de caract ristiques cl s qu il convient de prendre en compte lors de la d finition de t ches devant tre utilis es l chelon international la mise au point op rationnelle de l ensemble des caract ristiques cl s qui seront prises en compte dans l laboration des tests par r f rence aux d finitions fournies par la litt rature dis ponible et l exp rience acquise au cours d autres valuations large chelle la validation de ces variables et l tude de la contribution que chacune d entre elles apporte la description de la difficult des t che
96. ection des items choix multiple n ont pas t difficiles pour les niveaux de comportement cognitif les plus bas le calcul et la compr hension Ils ajoutent cependant que les difficult s se sont manifest es pour des niveaux plus lev s Il y a une place pourles items choix mul tiple voir la figure 10 mais seulement dans un nombre restreint de cas et pour les objectifs ou les comportements les moins lev s Pour les objectifs d ordre sup rieur et les processus plus complexes on devrait privil gier d autres formats de test dont le plus simple est la question ouverte Les items ferm s r ponse construite posent des questions analogues ceux des items choix multiple mais on demande aux l ves de produire une r ponse qui peut tre ais ment jug e correcte ou incorrecte Quand les r ponses ne sont pas not es par machine c est un format de pr dilection pour valuer les comp tences de classe 1 parce qu il est improbable que la bonne r ponse puisse tre OCDE 1999 Mesurer les connaissances et comp tences des l ves Figure 10 Exemple d item proposant un nombre limit de r ponses possibles Un phoque doit remonter la surface pour respirer m me quand il dort Martin a observ un phoque pendant une heure Au d but de l observation le phoque a plong au fond de l eau et s est endormi Au bout de 8 minutes il s est lentement laiss remonter la surface et a respir En 3 minutes il avai
97. ecture des l ves et connaitre le contexte de leurs activit s de lecture en g n ral que ce soit l cole ou en dehors de l cole L int r t de ces questions sera la fois descriptif et explicatif D une part elles servi ront d crire la population des l ves de 15 ans en termes d acc s l crit d int r t et d attitudes par rapport diverses activit s de lecture ainsi que des activit s de lecture effectivement mises en ceuvre Les l ments d information ainsi recueillis devraient d autre part permettre d expliquer en partie les variations de comp tences en compr hension de l crit observ es parmi les l ves de 15 ans des diff rents pays participant au programme OCDE PISA Deux consid rations principales ont guid le choix des aspects inclure dans l enqu te les aspects valu s doivent tre pertinents en termes de politique ducative OCDE 1999 La compr hension de l crit l valuation de la compr hension de l crit doit avoir une contrepartie au niveau des question naires en cherchant recueillir des informations sur l attitude des l ves quant leur pratique de la lecture et leur int r t pour la lecture Cette section du questionnaire contextuel inclura des items portant sur les aspects suivants Le degr d exposition diff rents types d crit la maison l cole ou dans un environnement public cette rubri que comprendra les questions suivantes n
98. ences abord es dans le cadre de l valuation OCDE PISA n cessiteront toujours une connais sance des concepts dans divers champs d application d crits ci dessus Troisi mement des situations scientifiques qui se rapportent davantage la vie quotidienne plut t qu au travail scientifique r alis dans les salles de classe ou les laboratoires ou au travail de chercheurs Dans l valuation OCDE PISA les situations scientifiques sont concues comme des probl mes en rapport avec la personne et la famille avec la collectivit avec le monde dans son ensemble ainsi qu avec l volution historique des connaissances scientifiques Mise en ceuvre de l valuation et pr sentation des r sultats Pour des raisons de faisabilit l valuation OCDE PISA 2000 sera r alis e l aide de tests papier crayon La possibilit de recourir d autres supports sera activement tudi e lors des cycles ult rieurs L valuation utilisera divers types d items Certains d entre eux seront de type ferm c est dire qu ils r clameront des l ves qu ils choisissent ou produisent des r ponses simples pouvant tre directe ment compar es une r ponse correcte unique D autres auront un caract re plus ouvert imposant aux l ves de fournir des r ponses plus labor es destin es valuer des dimensions plus larges que celles mesur es par d autres enqu tes caract re plus traditionnel L valuation de comp tences d ordre su
99. ens des connais sances sur la science ainsi que les d marches selon lesquelles elles sont produites sont des aspects essentiels de la culture scientifique et qu elles sont troitement li es dans l acception donn e ici cette expression Comme on le verra plus loin de mani re d taill e les savoir faire concernant les d marches scientifiques ne sont r ellement des savoir faire scientifiques que lorsqu ils sont appliqu s des mati res scientifiques L utilisation de ces savoir faire implique donc n cessairement une certaine compr hension du domaine concern La conception de la culture scientifique adopt e ici met en avant la combinaison entre raisonnement et compr hension propos des aspects scientifiques du monde pouvoir utiliser des connaissances scientifiques identifier les questions et tirer des conclusions fond es sur des faits Dans la d finition propos e ci dessus l expression connaissances scientifiques d signe bien plus que la connaissance de faits de noms et de la terminologie Elle inclut la compr hension de concepts scientifiques fondamentaux la perception des limites de la connaissance scientifique ainsi que l appr ciation de l aspect culturel de la science Les questions qui doivent tre identifi es sont cel les auxquelles on peut r pondre par la m thode scientifique impliquant une connaissance des scien ces ainsi que des aspects scientifiques des sujets sp cifiques Par capacit de tire
100. entaires bas es sur une compr hension d un concept scientifique ou des renseignements non fournis dans la question ou le mat riel de stimulus OCDE 1999 La culture scientifique allant de la capacit d appliquer des concepts scientifiques ais s assimiler et de mettre en oeuvre dans des situations famili res des d marches telles que identifier les questions auxquelles une recherche scientifique permet ou ne permet pas de r pondre identifier l information dont on a besoin pour v rifier une affirmation ou explorer un probl me dans des situations o il y a une variable modifier et une contr ler expliquer pourquoi certaines conclusions ou affirmations sont erron es dans des situations o il n y a pas de contr le sur une variable qui aurait d tre contr l e pr senter autrui les grandes lignes de l exp rience en reliant les faits aux conclusions d une mani re compr hensible faire des pr dictions et proposer des explications partir de concepts g n ralement simple assimiler la capacit d appliquer des concepts plus exigeants sur le plan cognitif et de mettre en uvre dans des situations plus complexes des comportements tels que tre conscient du caract re provisoire des connaissances scientifiques et du fait qu en mettant des th ories l preuve on peut tre conduit les modifier et am liorer notre compr hension des ph nom nes ide
101. era preuve d une culture scientifique de plus haut niveau en four nissant des r ponses plus compl tes et en tant capable d utiliser des savoirs scientifiques et d valuer des hypoth ses relatives des faits survenant dans des situations moins famili res et plus complexes Organisation du domaine La d finition de la culture scientifique adopt par PISA se fonde sur trois composantes cl Les savoir faire scientifiques qui parce qu ils sont scientifiques feront intervenir les connaissances des sciences bien que dans l valuation scientifique celles ci ne doivent pas constituer une bar ri re majeure la r ussite Les concepts scientifiques dont la compr hension sera valu e par l application dans certains domai nes de contenu Les situations dans lesquelles les t ches d valuation sont pr sent es il est d usage de faire r f rence cet aspect en utilisant les termes contexte ou environnement Bien que ces aspects de la culture scientifique soient tudi s s par ment il importe de noter que lors de l valuation proprement dite de celle ci ils seront toujours combin s Les deux premiers aspects seront utilis s aussi bien pour construire les t ches que pour caract ri ser le r sultat des l ves La dimension situations servira garantir lors du d veloppement des valuations que l on fait intervenir un ventail suffisamment large de situations pertinentes en termes de cu
102. erri re les apparences Einstein 1933 Le fait que ces id es aient t saisies au vol une poque bien pr cise est d ter min historiquement par leur acceptabilit sociale cette poque Les progr s du savoir scientifique ne sont donc pas uniquement le fruit de la cr ativit des individus mais galement de la culture dans laquelle ils se produisent Quand le sursaut cr atif s est produit et qu un nouveau sch ma de compr hension th orique a t mis en place l tape suivante consiste confronter l id e la r alit des faits Comme l crit Hawking une th orie est bonne si elle satisfait deux exigences elle doit d crire fid lement une large cat gorie d observations sur la base d un mod le qui ne contient que peu d l ments arbitraires et elle doit fournir des pr dictions pr cises sur les r sultats de futures observations H awking 1988 p 9 Les th ories qui ne r pondent pas ces exigences ou qui ne peuvent pas tre mises l preuve ne sont pas des th ories scientifiques et il importe qu un citoyen instruit soit capable de faire la dis tinction entre les questions auxquelles la science peut r pondre et celles auxquelles elle ne le peut pas comme entre ce qui est scientifique et ce qui rel ve du pseudo scientifique D finition du domaine La conception contemporaine des objectifs vis s par l ducation scientifique met surtout l accent sur le d veloppement
103. ertiaire pr parant une entr e dans la vie profession nelle d autres encore se mettront directement travailler apr s avoir accompli leur scolarit obliga toire Quelles que soient les aspirations en termes de cursus scolaire ou de profession future on attend de la part de ces l ves qu ils deviennent des membres actifs de leurs communaut s respectives C est non seulement comprendre mais aussi utiliser et r fl chir Les mots r fl chir leur propos ont t ajout s comprendre tir de IEA RLS et utiliser tir de IEA RLS et de l EILA pour insister sur le caract re interactif de la lecture face un texte les lecteurs mobilisent leur pens e et leur exp rience Cela peut impliquer de la part du lecteur une r flexion sur le contenu du texte qui met en jeu des connaissances ou des concepts acquis au pr alable ou une r flexion sur la structure ou la forme du texte propos de textes crits Les mots textes crits d signent des textes qu ils soient imprim s manuscrits ou affich s lectro niquement dans lesquels la langue est utilis e Sont inclus dans cette d finition les supports visuels tels que des diagrammes des photos des cartes g ographiques et des tableaux ou des graphiques mais non les films images t l vis es dessins anim s ou autres types d images non accompagn es 2 Bien que les hypoth ses qui sous tendent la d finition de la compr hension de l
104. es d enseignement et n ont en outre port que sur les parties des programmes qui sont en principe communes tous les pays participants Les aspects des programmes sp cifiques un pays ou un petit nombre d entre eux n ont en g n ral pas t pris en compte dans les valuations quelle que soit leur importance pour les pays concern s L originalit du programme OCDE PISA tient notamment un certain nombre de points importants savoir son origine ce sont les gouvernements qui ont pris l initiative de mettre en uvre une enqu te concue de mani re r pondre leurs besoins sa p riodicit la d cision de traiter plusieurs mati res en proc dant des mises jour tous les trois ans permettra aux pays de suivre r guli rement et des dates fix es d avance les progr s sur la voie de la r alisation d objectifs cl s en mati re d apprentissage le groupe d ge consid r faire porter l valuation sur des jeunes gens en fin de scolarit obligatoire fournit une indication pr cieuse sur la performance des syst mes ducatifs Alors que la plupart des jeunes gens des pays de l OCDE poursuivent leur formation au del de l ge de 15 ans cet age est normalement proche de la fin de la scolarit de base dans le cadre de laquelle tous les l ves suivent un programme d enseignement pratiquement commun est utile de d terminer ce stade la mesure dans laquelle ils ont acquis des connaissances et de
105. es math matiques l aide d outils math matiques en vue de r soudre le probl me R fl chir sur la solution trouv e au regard du probl me original est une tape essentielle dans le processus de math matisation qui bien souvent ne b n ficie pas de l attention n cessaire On pourrait videmment soutenir que le processus de math matisation intervient dans toutes les classes de comp tences puisque dans tout probl me contextualis on doit forc ment identifier les math matiques pertinentes Toutefois dans le cadre du projet OCDE PISA on donne une importance particuli re au type de math matisation sollicit dans la classe 3 C est cette forme de math matisation qui d passe la simple reconnaissance de probl mes connus Les diff rents niveaux de complexit de la math matisation sont illustr s par les deux exemples suivants voir figures 5 et 6 Tous deux sont con us pour des l ves g s de 13 15 ans et tous deux font appel des concepts math matiques analogues Le premier demande une math matisation sim ple et le second une math matisation plus complexe L item de la figure 5 est un exemple d item de comp tences de classe 2 car il ne fait appel qu une math matisation relativement mineure Figure 5 Exemple d item sollicitant une math matisation simple Dans une classe il y a 28 l ves Le rapport filles gar ons est de 4 3 Combien de filles y a t il dans cette classe Source TIMSS M
106. essus de prise de d cisions Les preuves les plus complexes pr vues par le pro gramme OCDE PISA demanderont aux l ves de r fl chir sur le mat riel qui leur est pr sent et non de r pondre simplement des questions pour lesquelles il n existe qu une seule r ponse correcte Afin de rendre op rationnelles ces d finitions chaque domaine est d crit en fonction de trois dimensions savoir le contenu ou la structure des connaissances que les l ves doivent acqu rir dans chaque domaine un ensemble de processus qu il faut savoir mettre en oeuvre et qui exigent diverses aptitudes cognitives la situation ou le contexte dans lesquels les connaissances et les comp tences sont appliqu es ou exploit es L objectif poursuivi est d valuer un ensemble d aptitudes n cessaire l ex cution de diverses t ches que les citoyens sont susceptibles d avoir accomplir Il convient toutefois de souligner que l importance relative attribuer ces trois dimensions doit encore faire l objet d tudes Les essais de ter 14 rain qui auront lieu en 1999 permettront de mettre l preuve un grand nombre de questions portant sur OCDE 1999 La structure du programme OCDE PISA 2000 Tableau 1 Synth se des composantes du PISA Domaine Compr hension de l crit Culture math matique Culture scientifique D finition Capacit de comprendre d utiliser Capacit d identifier Capacit d associer et d analyse
107. eur familiarit avec le contenu et la forme des taches et des items Dans certains cas ces informations peuvent fournir des variables explicatives dans d autres cas elles fourniront des donn es compl mentaires importantes propos des effets produits par l enseignement des sciences Dans les cycles venir on pr voit soit travers le questionnaire sur les l ves ou au sein du mat riel de test de recueillir des informations sur La participation des l ves des activit s scientifiques l cole ou en dehors de l cole par exemple en dehors du programme scolaire lire des magazines scientifiques regarder des missions t l vis es scienti fiques s impliquer dans des mouvements communautaires vis e environnementale Les opinions des l ves sur l utilit des notions scientifiques qu ils ont acquises l cole et en dehors de l cole pour des d cisions prendre au niveau personnel et de la collectivit Le jugement que les l ves portent sur le r le de la science en tant que facteur pouvant cr er ou aider r soudre des probl mes l exposition l apprentissage dont les l ves ont b n fici propos des contenus sp cifiques abord s par les preuves d valuation Lafamiliarit des l ves avec le format des t ches et des items Ces informations seront recueillir au moyen du questionnaire sur les l ves l exception de celles rele vant de l exposition l app
108. euve se fait sans aucune limite de temps l preuve peut se faire chez soi l preuve met l accent sur ce que l l ve connait plut t que sur ce qu il ignore les t ches plus importantes sont privil gi es interpr tation raisonnement communication etc la structure de l preuve est plus souple consistant en des questions faisant appel des r ponses longues dont des dissertations la notation peut tre difficile et moins objective 1 1 1 1 1 Les items de production Les proc dures d valuation devraient offrir aux l ves la possibilit de d montrer leurs comp tences et devraient tre percues en tant que partie int grante du savoir faire de l apprentissage enseignement L utilisation des productions personnelles n est pas nouvelle et beaucoup d exp riences de ce genre d valuation ont t faites Treffers 1987 a introduit une diff rence entre les notions d interpr tation et de production La production libre est celle qui offre le plus de possibilit s en terme de libert afin que les l ves puissent d montrer leurs raisonne ment personnel et leurs comp tences Il peut s agir de r soudre des probl mes relativement tendus qui demandent de produire des r ponses divergentes en raison de la grande vari t de solutions qui peuvent s y appliquer souvent des niveaux diff rents de math matisation r soudre des probl mes incomplets qui avant qu ils puissent tre r
109. f rents que possible cependant il n existe pas forc ment une classification id ale des types de textes Beaucoup de cat gorisations ont t propos es bon nombre d entre elles ont t cr es avec une vis e prati que plut t que th orique Toutes pr sentent la m me caract ristique aucun texte r el ne semble s inscrire vraiment dans une seule cat gorie Par exemple un chapitre de manuel peut comprendre des d finitions souvent identifi es comme un type de texte en soi des consignes sur la facon de r soudre un probl me particulier un autre genre de texte un bref historique relatant la d couverte de la solution encore un autre type de texte et des descriptions des objets particuliers impliqu s dans la solution quatri me type On pourrait estimer qu une d finition par exemple pourrait tre isol e et trait e comme un texte unique des fins d valuation Mais cela supprimerait le contexte de la d finition et cr erait un type de texte artificiel il est rare que les d finitions soient fournies de mani re isol e si ce n est dans les dictionnaires et cela ne permettrait pas aux d veloppeurs de tests de cr er des taches de lecture demandant l l ve d int grer des informations provenant d une d finition avec des informations pro venant de consignes par exemple Certains textes se pr sentent comme refl tant le monde tel qu il est ou tait et sont donc consid r s comme factuels ou non fiction
110. fets du format Lors de son enqu te bibliogra phique Traub n a trouv que deux tudes l une effectu e aupr s d tudiants de l enseignement sup rieur et l autre aupr s d l ves de 3 ann e du primaire A noter que celle men e aupr s d tudiants de OCDE 1999 La compr hension de l crit l enseignement sup rieur Ward Dupree et Carlson 1987 a mesur les aspects les plus complexes de la compr hension en lecture Toutefois dans le discours qu il a prononc lors de son investiture comme pr sident de l American Psychological Association Frederickson 1984 a soulign que dans les tests les vrais biais proviennent des limites impos es par l usage exclusif d items choix multiple En outre il se peut que les l ves de certains pays de l OCDE ne soient pas familiaris s avec le format standard d items choix multiple C est pourquoi l inclusion d un ensemble d items r ponse ouverte permettra coup s r d obtenir un meilleur quilibre entre les types de t ches qui sont famili res aux l ves La recherche de cet quilibre peut galement aider largir les constructs mesur s existe une grande vari t de t ches r ponse construite Certaines d entre elles requi rent peu de jugement de la part du correcteur par exemple celles qui demandent au lecteur de simplement cocher des parties du texte pour indiquer une r ponse ou citer quelques mots D autres t ches requi rent du correcteur une
111. ff rents Les l ves passeront galement 20 minutes r pondre au questionnaire contextuel Les valuations fourniront divers types d indicateurs des indicateurs de base donnant un profil g n ral des connaissances et des comp tences des l ves des indicateurs contextuels montrant comment ces comp tences sont li es d importantes variables d mographiques sociales conomiques et ducatives des indicateurs de tendances qui deviendront disponibles en raison du caract re cyclique des collectes de donn es et qui montreront l volution des niveaux de comp tence l volution de la ventilation des comp tences et l volution des rapports entre les caract ristiques des l ves et des coles et les comp tences au fil du temps Bien que les indicateurs constituent un bon moyen d appeler l attention sur des questions impor tantes ils ne sont en g n ral pas m me d apporter de r ponses aux questions qui se posent aux pou voirs publics C est pourquoi le projet OCDE PISA a galement mis au point un sch ma d analyse des probl matiques relatives aux politiques ducatives qui ira au del de la simple pr sentation des indi cateurs OCDE 1999 La structure du programme OCDE PISA 2000 Les pays participant au premier cycle d enqu tes OCDE PISA sont les suivants l Allemagne l Australie l Autriche la Belgique le Br sil le Canada la Chine la Cor e le Danemark l Espagne les tats Unis la
112. ffort visant les valuer indi viduellement aboutit immanquablement des preuves artificielles et une compartimentation du domaine de la culture math matique Afin de rendre op rationel l aspect comp tences math matiques travers l laboration d items et de tests il est utile d organiser les savoir faire ou capacit s en trois grandes classes de comp tences non hi rarchis es Les trois classes de comp tences sont Classe 1 reproduction d finitions calculs Classe 2 mise en relation et int gration pour r soudre des probl mes Classe 3 math matisation g n ralisation et compr hension en profondeur Chacun des savoir faire ci dessus sera vraisemblablement amen jouer un r le dans chacune des classes de comp tences c est dire que les savoir faire ne peuvent pas tre rattach s une seule classe de comp tences Les classes forment un continuum conceptuel qui va de la simple reproduction de faits et des capacit s en calcul la facult de mettre en relation divers domaines en vue de r soudre des probl mes simples de la r alit jusqu la troisi me classe qui comprend la math matisation ce terme est expliqu en d tail plus loin de probl mes r els en vue de leur r solution ainsi qu une r flexion sur les solutions du probl me en situation en recourant la pens e math matique au raison nement et la g n ralisation Ce qui pr c de laisse entendre que les classes for
113. ffs GR NBAUM B 1985 Geometry strikes again M athematics M agazine 58 1 pp 12 18 HAWKING S W 1988 A Brief History of Time Bantam Press Londres HUBBARD R 1989 Notes from the underground Unofficial literacy in one sixth grade Anthropology and Education Quarterly 20 pp 291 307 JONES S 1995 Application des capacit s de lecture et d criture in L itt ratie E conomie et Soci t R sultats dela premi re enqu te internationale sur l alphab tisation des adultes OCDE et Statistique Canada Paris et Ottawa pp 101 129 KIRSCH I 1995 Rendement li la compr hension de documents d information vari s selon trois chelles d finitions et r sultats dans Litt ratie E conomie et Soci t R sultats de la premi re enqu te internationale sur l alphab tisation des adultes OCDE et Statistique Canada Paris et Ottawa pp 33 64 KIRSCH I S et MOSENTHAL P B 1989 1991 Understanding documents A monthly column Journal of Reading International Reading Association Newark DE KIRSCH I S et MOSENTHAL P B 1994 Interpreting the IEA reading literacy scales in M Binkley K Rust et M Winglee dir pub M ethodological Issues in Comparative E ducational Studies The Case of the IEA Reading Literacy Study US Department of Education National Center for Education Statistics Washington DC pp 135 192 KIRSCH I JUNGEBLUT A et MOSENTHAL
114. fiques en utilisant la connais sances des forces et du mouvement dans le domaine de la technologie scientifique C est un item choix multi ple avec seulement une r ponse correcte b laquelle est attribu e un point Pour r pondre ces questions on demande l l ve d utiliser des connaissances acquises gr ce l enseignement scientifique qu il a recu et de les appliquer dans une situation nouvelle Si l valuation etla compr hension de certains concepts n est pas le but principal de l item les connaissances exig es ne constituent pas un obstacle et la r ussite de l preuve d pendra donc essentiellement de la capa cit particuli re d appliquer la d marche Si l valuation de la compr hension de certains concepts est le but principal comme dans les exemples d items 5 et 6 la d marche est de d montrer cette compr hension Structure des tests d valuation Comme le montrent ces exemples chaque preuve ou tache particuli re se pr sentera sous la forme de plusieurs items accompagnant un mat riel de d part servant de stimulus L ensemble d une preuve mesure plus d une d marche et plus d un champ d application mais chacun des items pris iso l ment value une des d marches scientifiques pr sent es dans la figure 14 Cette structure vise rendre les t ches propos es aux l ves aussi r alistes que possibles et de repr senter dans une certaine mesure la complexit des situations de la vie r
115. gements qui y sont apport s par l activit humaine L expression le monde naturel d signe de facon abr g e l environnement physique les tres vivants et les rapports entre eux Les d cisions propos du monde naturel se r f rent des d ci sions ayant un rapport la science et qui concernent des probl mes de l individu de sa famille de la collectivit ou du monde en g n ral L expression les changements apport s par l activit humaine se rapporte aux modifications introduites dans le monde naturel qu elles soient ou non intentionnelles en vue de satisfaire les besoins de l homme technologies simples et complexes ainsi qu leurs cons quences I convient de signaler ici et nous y reviendrons de facon plus explicite que la culture scientifique n est pas polaris e c est dire que nous ne voulons pas laisser entendre que les gens peuvent tre r partis en deux cat gories les scientifiquement cultiv s et les scientifiquement incultes Nous dirions plut t qu il existe un continuum entre culture scientifique peu d velopp e et culture scientifique de haut niveau Par exemple un l ve dot d une culture scientifique peu d velopp e pourra n anmoins se montrer capable d identifier certains des faits objectifs n cessaires l valuation d une hypoth se ou la d fense d un point de vue ou m me de fournir une analyse plus compl te concernant des situa tions simples et famili res Un autre f
116. h tiques et explorer des syst mes et situations potentiels m me non r alisables dans la r alit est l une de leurs plus importantes caract ristiques Figure 9 Exemples d item dans un contexte virtuel Serait il possible d instaurer un syst me de monnaie ou un syst me de timbres qui utiliserait exclusivement les valeurs 3 et 5 Plus sp cifiquement quels montants pourrait on obtenir ainsi S il s av rait possible un tel syst me serait il souhaitable Formats des preuves La cr ation d instruments d valuation doit soigneusement pr ter attention l impact du format des preuves sur les performances des l ves et la d finition du construd voir note 1 p 19 qui est valu Ce point est particuli rement important dans un projet du type de PISA dans lequel les ques tions d chelle et le caract re transnational cr ent de s rieuses contraintes sur le spectre de formats d items r alisables Comme pour le domaine de compr hension de l crit le programme OCDE PISA valuera la culture math matique travers plusieurs items choix multiple des r ponses ferm es et des r ponses ouvertes L annexe 2 examine un spectre plus large de formats susceptibles d tre utilis s quand les math matiques constitueront un domaine majeur dans le deuxi me cycle de l enqu te Commentant la deuxi me tude IEA sur les math matiques Travers et Westbury 1989 rel vent que la construction et la s l
117. ha que mois pour les hommes et pour les femmes dans ce cas le sexe est emboit dans le mois Les listes en combinaison sont celles o plusieurs types de listes ou plusieurs listes du m me type peuvent tre rassembl es en une seule Par exemple la liste crois e cr e pour pr sen ter un tableau statistique des taux de ch mage pour diff rents mois dans les grandes villes peut tre combin e avec une autre liste crois e des variations saisonni res des taux de ch mage pour ces m mes villes OCDE 1999 La compr hension de l crit Textes non continus classement par formats Classer les textes non continus en cat gories selon leur format ouvre une autre perspective sur ces textes Rappelons que tout texte non continu peut tre class la fois selon sa structure et selon son format Par exemple le formulaire est une des cat gories de format mais chaque formulaire a gale ment une structure c est le plus souvent une liste combin e dans laquelle une liste d entr es va de pair avec une liste de blancs compl ter destin s contenir l information qui correspond l entr e Le format d un horaire d autobus de train ou d avion est celui d un tableau dont la structure est normale ment celle d une liste crois e ou emboit e Reconnaitre le format est important car des textes ayant une m me structure peuvent avoir des mises en pages tr s diff rentes Par exemple la table des mati res d un livre et
118. hes pratiques impliquant des manipula tions du moins pour les cycles des ann es 2000 et 2003 o la science sera un domaine mineur D un point de vue global l quilibre souhait entre les d marches est exprim dans le tableau 10 en terme de pourcentages de nombres de points Ces chiffres seront peut tre r vis s lors de l valua tion de 2006 o la science constituera un domaine majeur de l enqu te PISA Tableau 10 Distribution recommand e des points pour chaque d marche scientifique D marches scientifiques de points Reconnaitre les questions auxquelles on peut r pondre par une investigation scientifique 10 15 Identifier les faits n cessaires une investigation scientifique 11 20 Tirer ou valuer des conclusions 12 20 Communiquer des conclusions valides 13 15 Faire preuve de ma trise des concepts scientifiques 14 50 peut arriver qu en raison du sujet trait certaines des preuves soient davantage orient es vers l valuation de la compr hension de concepts savoir faire 5 et que dans d autres cas ce soit le contraire Il importe que l o c est possible les types d items valuant les d marches 1 4 et la d marche 5 soient pr sents dans chaque t che d une part pour assurer la couverture d un cer tain nombre de concepts scientifiques importants que les l ves sont cens s avoir acquis gr ce au programme scientifique dont ils ont b n fici l cole et en dehors et d autre part par
119. ibles aussi bien au niveau g n ral qu au niveau technique dans le domaine des valua tions comparatives internationales En collaborant aux travaux de ces groupes d experts les pays veillent ce que les instruments d valuation utilis s dans le cadre de PISA soient valides au plan inter national et prennent en compte le contexte culturel et ducatif des pays de l OCDE ce qu ils se fon dent sur des m thodes de mesure rigoureuses et ce qu ils mettent l accent sur la fiabilit des donn es et leur validit surle plan ducatif Les enqu tes sont concues et r alis es sous la direction du Secr tariat de l OCDE par l interm diaire d un consortium international dirig par l Australian Council for Educational Research ACER Sont galement membres de ce consortium l Institut national des Pays Bas pour l valuation de l ensei gnement le Service de p dagogie exp rimentale de l Universit de Li ge et WESTAT Cette publication pr sente le cadre conceptuel sur lequel se fondent les valuations r alis es aux fins du programme PISA elle d crit les domaines valuer ainsi que l objet des valuations et examine la facon et dans quels contextes et limites celles ci sont effectu es La publication est publi e sous la responsabilit du Secr taire g n ral de l OCDE OCDE 1999 REMERCIEMENTS Les cadres d valuation du programme PISA ont t mis au point par des groupes d experts plac s sous la direction de Raym
120. ifique S agissant d une tude internationale il importe de s lectionner les situations utilis es dans les preuves la lumi re de la pertinence par rapport aux pr occupations et aux modes de vie des l ves de tous les pays Les situations retenues doivent galement se pr ter l valuation des d marches et des concepts scientifiques La sensibilit aux diff rences culturelles est indispensable dans le d velop pement et la s lection des preuves non seulement en termes de validit de l valuation mais gale ment pour respecter les diff rentes valeurs et traditions des pays participants Les feedbacks receuillis lors de l essai de terrain seront utilis s pour s assurer que les situations retenues dans les preuves sont pertinentes et appropri es l ensemble des pays participants tout en pr sentant la combinaison souhait e entre connaissances scientifiques et mise en application des d marches scientifiques En retenant ce type de situations pour les items propos s aux l ves PISA s efforce d valuer leur capacit appliquer des connaissances qu ils ont tr s probablement acquises gr ce au curriculum de sciences auquel ils ont t expos s bien qu une partie de ces connaissances puisse tre acquise tra vers d autres mati res scolaires ou de sources non scolaires Toutefois bien que les connaissances mises en ceuvre dans les preuves rel vent du programme scolaire il y a lieu de v rifier si celui ci
121. ilibre et de d s quilibre vitesse acc l ration Forme et fonction cellule squelette adaptation Biologie humaine sant hygi ne alimentation Changement physiologique hormones lectrolyse neurones Biodiversit esp ces batteries de g nes volution Contr le g n tique dominance h r dit cosyst mes chaines alimentaires pr servation La Terre et sa place dans l univers syst me solaire changements diurnes et saisonniers Changements g ologiques d rive des continents climatologie Les concepts donn s en exemples dans la figure 15 indiquent que les connaissances qui seront valu es se rapportent aux domaines majeurs de la science physique chimie biologie sciences de la terre et de l espace Les items d preuves sont class s selon les domaines majeurs de la science ainsi que suivant le th me le champ d application etla d marche qu ils tentent de v rifier La figure 16 inventorie les champs d application de la science susceptibles de soulever des probl matiques que le citoyen d aujourd hui et de demain aura comprendre et propos des quelles il devra prendre des d cisions Ce sont ces applications qui d terminent le choix des con tenus pour les t ches propos es aux l ves et les items qui les accompagnent La figure 16 pr sente donc les champs d application pour lesquels sera valu e la compr hension des concepts pr sent s dans la figure 15 Comm
122. ils math matiques Quoique ces probl mes soient pr sum s non routiniers pour l l ve ils n exigent qu une math matisa tion relativement l mentaire Dans la classe 2 on attend aussi des l ves qu ils soient capables de manier diverses m thodes de repr sentation en fonction de la situation et de l objectif vis La composante mise en relation demande encore que les l ves soient m me de distinguer et de relier diff rents nonc s tels des d finitions affirmations exemples assertions conditionnelles et d monstrations Cette classe renvoie plusieurs des capacit s math matiques mentionn es plus haut est clair que la r solution des probl mes donn s en exemple n cessite de pouvoir raisonner et argumenter Elle n cessite ainsi la mise en uvre de capacit s d argumentation math matique Les l ves ont de plus mod liser le probl me pour le r soudre Les capacit s de mod lisation sont ainsi requises La r solution m me du probl me fait appel la capacit de poser et r soudre des probl mes Dans le processus de r solution de probl mes les l ves ont utiliser diff rents types de repr sentation un tableau un graphique un dessin pour lesquels les capadt s de repr sentation sont sollicit es En ce qui concerne le langage math matique le fait de pouvoir d coder et interpr ter le langage symbolique et formel ainsi que saisir ses relations avec la langue naturelle est aus
123. ion les diff rences de r sultats scolaires avec les diff rences entre les contenus des divers programmes d enseignement et les diverses m thodes p dagogiques d examiner le rapport entre les r sultats scolaires et certaines caract ristiques des coles telles que leur taille et les ressources dont elles disposent ainsi que les diff rences entre les pays cet gard d examiner les diff rences entre les pays en ce qui concerne le r le jou par l cole pour att nuer ou accentuer l impact des caract ristiques des l ves sur leur rendement scolaire d examiner les diff rences entre les syst mes ducatifs et les contextes nationaux qui sont li es des diff rences en mati re de r sultats scolaires entre les pays Les informations contextuelles rassembl es par le biais des questionnaires destin s aux l ves et aux tablissements ne fourniront qu une partie de l ensemble total des informations auquel aura acc s le pro gramme PISA Des indicateurs d crivant la structure g n rale des syst mes ducatifs leurs contextes d mo graphique et conomique d finis notamment en termes de co ts de nombre d l ves inscrits de rendement de caract ristiques des coles et des enseignants et de m thodes p dagogiques et concernant les retomb es de l enseignement sur le march du travail sont d j r guli rement labor s par l OCDE 1 NDT Le terme construct a volontairement t laiss en anglais
124. ir choisir entre diff rentes formes de repr sentations et passer de l une l autre en fonction de la situation et du but recherch 6 Capacit symbolique formelle et technique Savoir d coder et interpr ter le langage symbolique et formel et saisir les relations qu il entretient avec la langue naturelle op rer la conversion de la langue naturelle vers le langage symbolique et formel manier des nonc s et des expressions contenant des symboles et des formules utiliser des variables r soudre des quations et effectuer des calculs 7 Capacit de communiquer Savoir s exprimer de diverses facons sur des sujets contenu math ma tique tant oralement que par crit savoir comprendre une information orale et crite sur les m mes sujets formul e par autrui 8 Capacit de manier les outils et les instruments Connaitre et pouvoir utiliser diff rents outils et instru ments y compris les nouvelles technologies d information pouvant contribuer l activit math matique tre inform des limites effectives de tels outils et instruments OCDE 1999 Mesurer les connaissances et comp tences des l ves Les classes de comp tences Le but du projet OCDE PISA n est pas d laborer des items valuant s par ment les capacit s ci dessus En effet lorsqu on fait de vraies math matiques il est habituellement n cessaire de recourir en m me temps de nombreux savoir faire si pas tous si bien que tout e
125. ire la facon dont ils organisent leur apprentissage Cet instrument se fonde sur les constructs suivants les strat gies d organisation personnelle de l apprentissage qui d terminent dans quelle mesure les informations recues seront trait es de mani re approfondie et syst matique les profils de motivation et d objectifs poursuivis lesquels influent sur l investissement en temps et en nergie mentale consenti pour apprendre ainsi que sur le choix des strat gies d apprentissage les m canismes personnels d acquisition de connaissances qui r gulent les normes que l l ve se donne les objectifs poursuivis et les m thodes d action les strat gies de contr le de l action en particulier l effort et la pers v rance qui vitent que des objectifs concurrents viennent entraver l action et qui contribuent surmonter les difficult s d apprentissage les pr f rences concernant les situations d apprentissage les styles d apprentissage et les apti tudes sociales n cessaires un apprentissage en collaboration Les questionnaires contextuels pr vus dans l valuation OCDE PISA fourniront une base de don n es d taill e pour analyser les r sultats de l valuation dans l optique de l action des pouvoirs publics Ils permettront notamment de mettre en relation les diff rences de r sultats scolaires avec les diff rences entre les syst mes ducatifs et les contextes scolaires de mettre en relat
126. ix multiple par exemple ne sont souvent pas adapt s pour valuer ces comp tences Des questions r ponses multiples et longues seraient de format plus ad quat mais la conception de tels items et l valuation des r ponses des l ves posent de nombreuses difficult s Cependant comme cette classe constitue une partie fondamentale de la culture math matique telle qu elle est d finie dans le projet OCDE PISA il nous a paru important de l inclure dans l valuation m me s il ne lui est accord qu une place restreinte A titre d exemple un probl me est propos dans la figure 4 Figure 4 Exemples tir s des comp tences de classe 3 Quelques poissons ont t introduits dans un plan d eau Le graphique repr sente le mod le de croissance du poids de poisson dans le plan d eau 100 000 k 4 80 000 60 000 40 000 20 000 0 1 2 3 4 5 6 7 8 9 x Ann es On suppose qu un p cheur d cide d attendre quelques ann es pour p cher du poisson dans ce plan d eau Combien d ann es le p cheur devrait il attendre s il d sire maximiser le nombre annuel de poissons qu il p chera par la suite Argumentez votre r ponse OCDE 1999 La culture math matique La math matisation La math matisation telle qu elle est utilis e dans le cadre de PISA est le processus qui permet d organiser la r alit l aide d id es et de
127. l ments du texte sont organis s Cette variable structure du texte identifie dans les textes non continus des caract ristiques dont la fonction est semblable celle que jouent les caract ristiques des phrases et des paragraphes dans les textes continus La seconde approche identifie un certain nombre de formats habituels de ce type de texte Textes non continus classement par structures On peut consid rer que tous les textes non continus sont compos s d un certain nombre de lis tes Certains d entre eux sont seulement des listes simples mais la plupart d entre eux combinent plusieurs listes L analyse ne fait pas r f rence l usage fait de ces listes ni n utilise les classifica tions habituelles souvent appliqu es aux textes non continus Elle identifie plut t les principales caract ristiques structurelles communes de nombreux textes diff rents Pour d crire de mani re compl te un quelconque texte non continu il est n cessaire de le cat goriser la fois selon sa structure et selon son format Les lecteurs qui comprennent la structure des textes sont mieux m me d identifier les rapports entre leurs divers l ments et de comprendre quels textes sont semblables et quels textes sont diff rents 1 Les listes simples contiennent une seule collection d l ments La liste des livres lire pour le cours de litt rature constitue un exemple de liste simple tout comme la liste des l ves au tableau d honneur Les l
128. l aide d items diff rents dans la mesure o l on suppose qu un ensemble de comp tences est n cessaire pour accomplir toute t che math matique donn e Les questions sont donc organis es en fonction de trois cat gories de comp tences d finissant le type d op ration mentale n cessaire La premi re cat gorie concerne des calculs simples ou des d finitions que l on rencontre habituellement dans les valua tions math matiques traditionnelles La deuxi me n cessite des mises en relation visant r sou dre des probl mes simples La troisi me cat gorie de comp tences porte sur le raisonnement math matique ou math matisation la g n ralisation et la compr hension en profondeur et elle exige des l ves qu ils soient m me de proc der une analyse leur permettant d identifier les l ments math matiques d une situation et de poser les probl mes Troisi mement les situations dans lesquelles sont utilis es les math matiques Le plan d valua tion identifie cinq situations priv e ducative professionnelle publique et scientifique Dans le cas des math matiques cependant ce troisi me aspect est consid r comme moins impor tant que ceux se rapportant la d marche ou au contenu La culture scientifique est d finie en tant que capacit d utiliser des connaissances et des proces sus scientifiques non pas simplement en vue d appr henderle monde naturel mais pour participer la prise de d
129. l est pr vu que des exemples servant d finir et distinguer chacun des aspects seront introduits apr s que les donn es de l essai de terrain ont t recueillies et analys es et que la s lection finale des items a eu lieu OCDE 1999 La compr hension de l crit b Trouver l information Dans leur vie quotidienne les lecteurs ont souvent besoin de telle ou telle information parti culi re Il peut s agir de trouver un num ro de t l phone ou de v rifier l heure de d part d un autobus ou d un train Ils peuvent souhaiter trouver un fait particulier pour tayer ou r futer une affirmation avanc e par quelqu un Dans de telles situations les lecteurs s int ressent la recherche d une infor mation isol e Pour ce faire ils doivent parcourir des documents chercher localiser et s lectionner l information qui leur sera utile Le processus impliqu dans cet aspect de la lecture se situe le plus souvent au niveau de la phrase bien que dans certains cas l information puisse se situer dans deux ou plusieurs phrases ou tre r partie dans diff rents paragraphes Maitriser efficacement la recherche d informations requiert une compr hension imm diate Pour trouver l information n cessaire il se peut que le lecteur doive traiter plus d une information Par exem ple pour trouver quel autobus va lui permettre de quitter un endroit le plus tard possible tout en arri vant quand m me temps destination un lecteur au
130. le XI si cle les m decins chinois manipulaient le syst me immunitaire En soufflant dans les narines de leurs patients des cro tes dess ch es et pulv ris es pr lev es sur des victimes de la variole ils arrivaient souvent provoquer une l g re pouss e de la maladie qui emp chait une attaque plus virulente Au XVIIIe les gens se frottaient la peau avec les cro tes dess ch es des boutons pour se prot ger de cette maladie Ces pratiques primitives furent introduites en Angleterre et dans les colonies d Am rique En 1771 et 1772 durant une pid mie de variole un m decin de Boston nomm Zabdiel Boylston griffa la peau de son fils g de six ans ainsi que celle de 285 autres personnes et frotta ces gratignures avec du pus provenant de boutons de variole A l exception de six d entre eux tous ses patients surv curent Exemple d item 1 Quelle hypoth se Zabdiel Boylston tait il ainsi en train de v rifier Exemple d item 2 Citez deux autres informations dont vous auriez besoin pour savoir dans quelle mesure la d marche de Boylston a t couronn e de succ s OCDE 1999 Mesurer les connaissances et comp tences des l ves Figure 18 Science Exemple 2 Une autre facon par laquelle Peter rassemble ses informations est au moyen d une cam ra de t l vision plac e sur un pyl ne de 13 m tres de haut pour filmer la circulation routi re sur les routes secondaires Les photographies obtenues
131. les ci ont souvent un lien troit avec telle ou telle tache effectuer imm diatement et leur contenu est particuli rement pertinent dans le cadre de ce projet Il importe galement d valuer si les jeunes de 15 ans sont pr ts entrer dans le monde du travail puisque beaucoup d entre eux rejoindront la population active un ou deux ans apr s le moment o les l ves sont test s On fait souvent r f rence ce genre de t ches en les qualifiant de lecture pour agir Sticht 1975 Stiggins 1982 La lecture des fins ducatives ce type de lecture qui a pour finalit l acquisition d informations s inscrit normalement dans le cadre plus vaste d une t che d apprentissage Le support crit n a g n ralement pas t choisi par le lecteur mais donn lire par un enseignant Son contenu est habituellement concu des fins sp cifiques d enseignement On fait souvent r f rence ce genre de t ches en les qualifiant de lecture pour apprendre Sticht 1975 Stiggins 1982 OCDE 1999 La compr hension de l crit Les textes L acte de lecture n cessite un support quelque chose que le lecteur doit lire Dans un test ce support doit avoir une certaine autonomie c est dire que le texte doit se suffire lui m me sans n cessiter du mat riel imprim suppl mentaire existe un grand nombre de textes diff rents et il va de soi que toute valuation doit s efforcer d inclure autant de genres dif
132. les connaissances factuelles les repr sentations l identification d quivalences la m morisation d objets et de propri t s math matiques l ex cution de proc dures routini res l appli cation d algorithmes simples et la mise en ceuvre de savoir faire techniques Le maniement d nonc s utilisant des expressions symboliques et des formules standard et l ex cution de calculs font gale ment partie de cette classe Les types d items utilis s pourtester les comp tences de cette classe sont habituellement des questions choix multiple ou des questions ouvertes r ponse courte La classe 1 renvoie en particulier aux capacit s symboliques formelles et techniques d crites plus haut Quelques exemples de cette classe sont pr sent s dans la figure 2 OCDE 1999 La culture math matique Figure 2 Exemples tir s des comp tences de classe 1 R soudre l quation 7x 3 13x 15 Quelle est la moyenne de 7 12 8 14 15 9 Ecrire 69 en criture fractionnaire Le segment m est appel du cercle Les comp tences de classe 2 mise en relation et int gration pour r soudre des probl mes Dans cette classe prime l tablissement de liens entre les diff rents l ments et domaines des math matiques et l int gration d informations diverses dans le but de r soudre des probl mes sim ples Pour cela les l ves doivent choisir entre plusieurs strat gies et plusieurs out
133. les et strat gies ainsi que pour d velopper une argumentation math matique y compris des d monstrations et des g n ralisations Ces comp tences comprennent une analyse du mod le et une r flexion sur le processus math ma tique Pour cette classe de comp tences les l ves devraient non seulement tre m me de r soudre des probl mes mais aussi de les poser Toutes ces comp tences ne peuvent r ellement bien fonctionner que si les l ves sont capables de communiquer correctement et de diff rentes mani res oralement par crit visuellement etc La communication s entend ici comme un processus bi directionnel les l ves doivent aussi bien pouvoir communiquer leurs points de vue math matiques que comprendre ceux d autrui est enfin important de souligner que les l ves ont galement besoin de comprendre en profondeur la nature scientifique des math matiques sans en oublier les dimensions culturelles et historiques et qu ils doivent percevoir l int r t de l usage des math matiques dans d autres contextes et d autres domaines du programme qui sont sujet des mod lisations math matiques Les comp tences de classe 3 incluent souvent des savoir faire et comp tences issus des deux autres Cette classe est une composante centrale de la culture math matique Elle est malheureusement la classe la plus difficile valuer particuli rement dans les enqu tes grande chelle comme PISA Les items cho
134. lture scientifique OCDE 1999 Mesurer les connaissances et comp tences des l ves Ces trois aspects organisateurs du domaine sont pr sent s de mani re plus d taill e dans les sec tions suivantes En se structurant autour de ces dimensions le plan d valuation OCDE PISA met l accent sur le produit de l ducation scientifique con ue comme un tout S avoir faire scientifiques Les savoir faire scientifiques sont des actions mentales et quelquefois physiques mises en uvre lors de la conception du recueil de l interpr tation et de l utilisation de faits ou de donn es dans le but de mieux conna tre ou comprendre des ph nom nes Les savoir faire scientifiques sont n cessaire ment li s un th me l id e qu un savoir faire scientifique puisse tre utilis sans contenu est d pour vue de sens Ils peuvent tre appliqu s toutes sortes de th mes on parlera de savoir faire scientifiques lorsque le theme abord rel ve d aspects scientifiques du monde et que la mise en uvre de la d marche a pour but de d boucher sur une avanc e dans la compr hension scientifique Les d marches scientifiques telles qu on les d crit habituellement recouvrent un large ensemble de savoirs et de savoir faire n cessaires pour recueillir et interpr ter des faits relatifs au monde envi ronnant et d en tirer des conclusions Les savoir faire relatifs au recueil des faits sont ceux qui ont trait aux pratiques d investigation c
135. lusieurs fois Une liste combin e peut comporter plusieurs listes composantes c est le cas par exemple pour une liste de chansons populaires sur laquelle figurent le titre de la chanson le nom du chanteur la maison de disques et le nombre de semaines durant les quelles la chanson a figur au hit parade Les recherches sur une liste non index e peuvent s av rer plus difficiles et il peut tre malais de savoir si on a trouv toutes les informa tions que l on cherche Ainsi il sera facile d utiliser la liste des l ves et des scores pour savoir la note obtenue par un l ve donn surtout si les noms des l ves sont class s par ordre alphab tique Il peut s av rer plus difficile de trouver tous les l ves qui n ont pas obtenu une note suffisante au test d valuation Une liste crois e est constitu e de trois listes qui ne sont pas parall les mais crois es et qui for ment une matrice de rang es et de colonnes Un exemple typique de liste crois e est le pro gramme de t l vision qui est constitu d une liste d heures d une liste de chaines et d une liste de programmes Les programmes apparaissent dans les cellules form es par l intersection d une heure figurant habituellement dans une des colonnes et d une chaine figurant habi tuellement sur une rang e Un d partement universitaire pr sentera un tableau des cours pro pos s sous forme de matrice o les colonnes repr sentent les jours les rang es les he
136. lvermann dir pub SdenceL earning Processes and Applications International Reading Association Newark DE pp 2 13 BENNETT R E 1993 On the meanings of constructed response in R E Bennett dir pub Construction vs Choice in Cognitive M easurement Issues in Constructed R esponse Performance Testing and Portfolio Assessment Lawrence Erlbaum Associates Hillsdale NJ pp 1 27 BINKLEY M et LINNAKYLA P 1997 Teaching reading in the United States and Finland in M Binkley K Rust et T Williams dir pub Reading Literacy in an International Perspective U S Department of Education Washington DC BRUNER J 1990 Ads of M eaning Harvard University Press Cambridge MA BYBEE R W 1997 Towards an understanding of scientific literacy in W Graber et C Bolte dir pub Scientific Literacy An International Symposium IPN Kiel Conseil de l Europe 1996 M odern Languages Learning Teaching Assessment A Common European Framework of Reference CC LANG 95 5 rev IV Strasbourg Conseil des ministres de l ducation Canada 1994 Student Achievement Indicators P rogram Reading and Writing Toronto de LANGE J et VERHAGE 1992 D ata Visualization Sunburst Pleasantville NY de LANGE J 1987 M athematics Insight and M eaning OW et OC Utrecht DEVLIN K 1994 1997 M athematics The S dence of Patterns Scientific American Library New York DOLE J
137. matiques et de sciences mais bas s sur des textes ou des situations communs OCDE 1999 47 Chapitre 2 LA CULTURE MATHEMATIQUE D finition du domaine Le domaine de la culture math matique a trait la capacit des l ves de tirer parti de leurs comp tences math matiques pour affronter les d fis de l avenir Il renvoie la capacit des l ves d analyser raisonner et communiquer des id es de facon efficace en sachant poser formuler et r sou dre des probl mes math matiques dans une grande diversit de domaines et situations Dans le cadre de l tude OCDE PISA la d finition de la culture math matique est la suivante La culture math matique est l aptitude d un individu identifier et comprendre les divers r les jou s par les math matiques dans le monde porter des jugements fond s leur propos et s y engager en fonction des exigences de sa vie pr sente et future en tant que citoyen constructif impliqu et r fl chi Quelques explications s imposent pour clarifier la d finition de ce domaine Culture math matique Le terme de culture a t choisi pour souligner que les connaissances et comp tences math mati ques telles que d finies dans le cadre d un curriculum traditionnel de math matiques ne sont pas nos yeux la cible principale du projet OCDE PISA Nous mettons plut t l accent sur des connaissances math matiques utilis es de mani re fonctionnelle dans
138. ment une hi rarchie au sens o un ensemble d preuves faisant appel des comp tences de classe 3 sera g n ralement plus difficile qu un ensem ble d preuves faisant appel des comp tences de classe 2 Toutefois cela n implique pas que les comp tences de classe 2 soient un pr requis pourles comp tences de classe 3 En effet certaines tu des de Lange 1987 Shafer et Romberg para tre ont montr qu il n est pas indispensable d exceller dans les comp tences de classe 1 pour obtenir de bons r sultats dans les classes 2 ou 3 et qu a contra rio les l ves r alisant de bonnes performances dans la classe 3 n excellent pas n cessairement dans les savoir faire de classe 1 La d finition de la culture math matique dans le projet OCDE PISA accorde une grande impor tance aux l ves faisant preuve d aptitudes r aliser des taches requ rant des aptitudes dans les trois dasses de comp tences Les preuves d valuation proviendront des trois classes afin que les d ci deurs politiques aient loisir de rep rer la place donn e par les coles et les curricula de leur pays aux savoir faire requis dans chacune des classes de comp tences L es comp tences de classe 1 reproduction d finitions calculs Dans cette classe nous avons principalement affaire des aspects que l on rencontre fr quem ment dans les tests d valuation standardis s ainsi que dans les tudes comparatives internationales Cette classe inclut
139. ms sp cifiques sera aussi n cessaire pour illustrer l chelle s et les titres appropri s qui lui leur sont associ s Cela impliquera de publier un chan tillon d items provenant de ceux utilis s au cours des enqu tes D autres types de pr sentation des r sultats sont souhaitables et seront possibles apr s l enqu te majeure en sciences en 2006 L un de ces modes de pr sentation consisterait pr senter les perfor mances des l ves en regroupant les items propos s dans des preuves diff rentes pour mesurer les divers champs d application de la science Ce type d information serait pr cieux pour d terminer si telle ou telle probl matique importante dans le monde d aujourd hui a recu une attention suffisante et effective Autres questions L empi tement des domaines Lorsque l information destin e une preuve sur la culture scientifique prend la forme d un texte relativement long il est possible de proc der l valuation de certains aspects de la lecture De m me lorsque l information se pr sente sous la forme de tableaux de diagrammes de graphiques etc il sera possible d valuer la capacit de lire ce type d information l o une manipulation de chiffres est requise on pourra valuer certains aspects relevant des math matiques Les preuves de ce type feront partie de la section int gr e du test D autres preuves seront destin es la seule compr hension de concepts scientifiques et
140. n plus haut l Enqu te internationale sur la litt ratie des adultes EILA a valu les comp tences des adultes et il serait utile que les r sultats d OCDE PISA puissent galement tre analys s la lumi re de cette tude malgr les diff rences significatives dans la nature et la conception des instruments PISA et EILA Les liens avec PISA permettraient de comparer galement les r sultats des l ves a ceux des adultes Cela est partiellement r alisable en incorporant des preuves provenant de l EILA en vue de cr er un lien direct Une r flexion a t men e surle nombre d items de l enqu te EILA qui devraient tre int gr s l enqu te OCDE PISA pour que l ancrage ainsi cr soit valide tant du point de vue conceptuel que sta tistique La discussion a galement port sur l quilibre trouver entre la n cessit d inclure un nom bre suffisant d items d ancrage EILA et le d sir de pr server la nature d une valuation dont la palette se veut plus large que celle utilis e dans les enqu tes ant rieures Il sera possible d tablir un ancrage avec une seule des trois chelles utilis es dans l Enqu te inter nationale sur la litt ratie des adultes car trop peu de temps est disponible dans l valuation pour inclure dans les tests une longue s rie d items de l enqu te EILA Puisqu il est probable que l valuation OCDE PISA comprendra moins d preuves bas es sur des textes non continus que sur des textes conti
141. n Pour la minorit d l ves qui deviendront les chercheurs de demain le champ sera tendu l tude approfondie de notions scientifiques et au d veloppement de la capacit de faire de la science Dans cette perspective on estime que l objet essentiel de l enseignement des sciences qui doit tre au centre de l valuation conduite par PISA est de produire des l ves scientifiquement cultiv s Cette expression a t utilis e dans diff rents contextes Par exemple la d finition propos e par l International Forum on Scientific and Technological Literacy for All en donne plusieurs versions dont la suivante la capacit d agir avec compr hension et assurance aux niveaux ad quats selon des modalit s qui conduisent une meilleure ma trise du monde mat riel et du monde des id es scientifiques et technologiques UNESCO 1993 Ces diverses conceptions de la culture scientifique voir la synth se de Shamos 1995 et aussi Grabe et Bolte 1997 font appel la notion de niveau de culture sdentifique Par exemple Bybee 1997 pro pose quatre niveaux dont les deux inf rieurs d signent la culture scientifique nominale connais sance des noms et de la terminologie et la culture scientifique fonctionnelle qui s applique aux l ves capables d utiliser un vocabulaire scientifique dans des contextes limit s Nous consid rons ces deux niveaux comme trop bas pour tre pris en compte dans le plan d v
142. n d valuation en lecture National Assessment of Educational Progress NAEP et l tude de l IEA sur la lecture ont tous deux traduit les scores sur trois chelles li es essentiellement au format des textes L tude de l IEA traduit ses r sultats pour les l ves des 4 et 9 ann es d tudes sur des chelles portant respectivement sur des textes narratifs des textes informatifs et des documents L enqu te NAEP avec la m me approche a pr sent les r sultats sur trois chelles une chelle pour les textes litt raires lire pour l exp rience litt raire une chelle pour les textes informatifs lire pour tre inform et une chelle pour les documents lire pour accomplir une t che Ces chelles sont galement voisines de celles utilis es lors de l Enqu te internationale sur la litt ratie des adultes EILA En plus d une chelle quantitative l EILA a d velopp des chelles de comp tences relatives la prose et aux documents Dans OCDE 1999 Mesurer les connaissances et comp tences des l ves cette tude la prose concernait surtout des textes informatifs alors que dans les enqu tes de la NAEP portant sur des populations scolaires un meilleur quilibre a t recherch entre textes narratifs et tex tes informatifs La deuxi me facon d envisager l organisation des preuves de lecture consisterait consid rer les situations propos desquelles les t ches sont construites L un des objectifs d
143. n de rassembler des informations contextuelles il sera par ailleurs demand aux l ves et aux directeurs d tablissement de remplir des questionnaires sur leur environnement ducatif pour les quels un temps de r ponse de 20 30 minutes est pr vu Ces questionnaires ne constituent pas un l ment annexe de l valuation OCDE PISA II s agit d instruments centraux devant permettre l analyse des r sultats en fonction des caract ristiques des l ves et des coles OCDE 1999 La structure du programme OCDE PISA 2000 Les questionnaires rassembleront des informations sur les aspects suivants les l ves et leur milieu familial y compris les ressources conomiques sociales et culturelles des l ves et de leurs familles certains aspects de la vie des l ves tels que leur attitude par rapport l apprentissage leurs habitudes et leur mode de vie l cole et dans leur milieu familial certaines caract ristiques des coles telles que la qualit des ressources humaines et mat riel les dont elles disposent le caract re public ou priv de leur gestion et de leur financement les processus de prise de d cision etles m thodes de gestion du personnel le contexte scolaire savoir les structures et les types d tablissement la taille des classes et le niveau de participation des parents Le premier cycle de l valuation OCDE PISA comprendra galement un instrument demandant aux l ves de d cr
144. ne sont pas authentiques parce que personne dans un cadre extra scolaire ne pourrait tre conduit aborder ce genre de probl me Figure 7 Une preuve r elle mais non authentique 44 00 Combien co te T shirt 7 Combien co te un soda 7 Indiquez le raisonnement qui vous a conduit ces r ponses Les contextes de ces probl mes ont t choisis pour leur donner superficiellement une allure r elle Le projet OCDE PISA devrait autant que faire se peut viter le recours cette sorte de contextes L accent mis par PISA sur les contextes authentiques n exclut pas l insertion de contextes math ma tiques importants et ou int ressants ce peut tre parfois des contextes virtuels Consid rons par 60 exemple l preuve de la figure 9 Ici le contexte est stylis ou g n ralis Il peut tre ou ne pas tre OCDE 1999 La culture math matique Figure 8 Exemple d item dans un contexte cr Parmi les expressions num riques suivantes laquelle pourrait tre utilis e pour r soudre le probl me Bill pesait 48 kilos l t dernier Il a perdu 2 kilos puis en a repris 5 Combien p se t il pr sent 7 a 48 2 5 A b 48 2 5 A c 4845 2 A d 245 484A e 48 5 2 A authentique De tels contextes auront leur place dans l valuation OCDE PISA s ils sont math mati quement int ressants et pertinents L usage des math matiques pour expliquer des sc narios hypot
145. nels Les r cits fictionnels supposent une relation plus m taphorique au monde tel qu il est et se pr sentent sous la forme de r cits d crivant comment il pourrait tre ou comment il para t tre Cette distinction s estompe lorsque les auteurs utilisent des formats et structures propres aux textes factuels en cr ant leur fiction L valuation OCDE PISA propo sera des textes factuels et fictionnels ainsi que des textes dont il sera sans doute malais de dire s ils sont du premier ou du second type mais ne tentera pas de mesurer des diff rences de comp tences en lecture bas es sur l un ou l autre de ces types de textes Une classification des textes bien plus importante et qui est l une des dimensions sur lesquelles se fonde l organisation de l valuation OCDE PISA fait une distinction entre textes continus et non conti nus Les textes continus sont sp cifiquement constitu s de phrases elles m mes organis es en para graphes Ceux ci peuvent leur tour s inscrire dans des structures plus vastes des sections des chapitres des livres Les textes non continus s organisent le plus souvent en format matriciel bas sur des combinaisons de listes Les textes continus sont conventionnellement constitu s de phrases elles m mes organis es en paragraphes Dans ces textes l organisation est indiqu e au moyen de paragraphes de retraits et de la d composition du texte selon une hi rarchie signal e par des titres qui aident les
146. ns avec d autres tests d valuation Le centre d int r t du plan OCDE PISA est diff rent de celui des enqu tes comparatives en math matiques pr c dentes telles que la Troisi me tude internationale sur les math matiques et les scien ces TIMSS Si l tude TIMSS de l IEA est un instrument construit autour du d nominateur commun du programme scolaire national des pays participants le but du programme OCDE PISA est d valuer la culture math matique telle que nous l avons d finie plus haut Les personnes famili res avec TIMSS reconnaitront des liens entre les comp tences math matiques du plan OCDE PISA et les performances attendues de TIMSS ainsi que la similitude des domaines math matiques enseign s Cependant dans le plan OCDE PISA les domaines enseign s sont sous jacents aux id es majeures abord es par la culture math matique De la m me facon si la plupart des items dans les cat gories de performance de TIMSS correspondent aux comp tences de classe 1 le but du plan OCDE PISA est de couvrir galement les comp tences de classes 2 et 3 Pour cette raison on n tablira pas de liens psychom triques entre les chelles de l tude PISA et celles de TIMSS Outils et instruments Trois r glementations possibles concernant l usage des calculatrices et autres instruments peuvent tre prises dans l enqu te OCDE PISA les l ves n ont pas le droit d utiliser de calculatrice les l ves ne
147. ns le cadre duquel de nouvelles connaissances et aptitudes n cessaires pour pouvoir s adapter l volution des situations sont acquises de mani re continue tout au long du cycle de vie Les l ves ne peuvent apprendre l cole tout ce qu ils auront besoin de savoir dans leur vie adulte Ce qu ils doivent acqu rir sont les bases indispensables un bon apprentissage futur Ces bases sont la fois de nature cogni tive et affective motivation Les l ves doivent en effet devenir capables d organiser et d ordonner leur propre apprentissage d apprendre seuls et en groupes et de surmonter les difficult s qu ils ren contrent au cours du processus d apprentissage Cela exige d eux qu ils aient conscience de leur mode de r flexion ainsi que de leurs strat gies et m thodes d apprentissage En outre la formation continue et l acquisition de connaissances compl mentaires tendent de plus en plus souvent prendre place dans des situations o les personnes sont appel es travailler ensemble et d pendent les unes des autres Pour valuer ces aspects l valuation OCDE PISA 2000 envisage la mise au point d un instrument permettant de recueillir des informations sur l organisation personnelle de l apprentissage Le programme OCDE PISA n est pas une valuation internationale isol e des comp tences en lec ture en math matiques et en sciences des l ves de 15 ans Il s agit d un programme d valuation dura ble dans le cadre duquel
148. nsid rons maintenant les preuves qui serviront valuer les l ves Dans cette partie la nature des preuves est d crite leur contexte math matique leur format et leur processus d laboration Contexte math matique des preuves Une question prendre en consid ration lors de l laboration des preuves de test porte sur les contextes math matiques dans lesquels les items sont construits Le terme de contexte est utilis confor m ment l acception en usage dans l enseignement des math matiques Un contexte est un cadre OCDE 1999 59 Mesurer les connaissances et comp tences des l ves exramath matique ou intramath matique dans lequel les l ments d un complexe math matique savoir un probl me une t che ou un ensemble d objets de relations de ph nom nes math matiques etc doivent tre interpr t s En somme un contexte est soit un cadre dans lequel un complexe math mati que est d j ins r cadre intramath matique soit un cadre qui se pr te l activation d un tel complexe qui s ins re alors dans ce contexte cadre extramath matique L insertion d un complexe math matique dans un contexte extramath matique implique toujours la pr sence explicite ou impli cite tacite d un mod le math matique qui repr sente le cadre ou certains aspects de celui ci en op rant une traduction dans le complexe en question La d finition du contexte propos e ci dessus permet le recours
149. nt sup rieur ainsi que d autres demandant un niveau de connaissances relativement faible permettra de prendre en compte une large gamme de comp tences Savoir s il faut pr senter les niveaux de comp tence dans chaque domaine sur une chelle ou plu sieurs est un point important Les comp tences d une personne peuvent elles tre facilement regrou p es et situ es un niveau sp cifique ou est ce justifi d indiquer qu elles se situent des niveaux diff rents dans divers sous domaines La r ponse cette question d pendra de deux facteurs que les essais de terrain feront apparaitre plus clairement Premi rement il faut se demander dans quelle mesure les performances d un individu pour certains types de questions sont en corr lation avec ses performances pour d autres types de questions en d autres termes s il existe des profils de perfor mance diff rents li s des dimensions particuli res du domaine valu En second lieu il faudra v ri fier s il est possible de d velopper plus d une chelle de r sultats pour chaque domaine compte tenu du nombre d items pouvant figurer dans l valuation Le sc nario le plus probable est que dans le domaine majeur qui comptera le plus grand nombre de questions la lecture dans l valuation OCDE PISA 2000 il sera possible de pr voir plusieurs chelles mais que dans les domaines mineurs une seule chelle sera utilis e Les questionnaires contextuels et leur utilisation Afi
150. ntifier les informations recueillir et les conditions dans lesquelles elles doivent tre recueillies pour v rifier une explication ou explorer un probl me dans des situations complexes critiquer la pertinence des informations fournies pour tayer une affirmation ou un argument Argumenter pour et contre une affirmation ou une conclusion en se r f rant aux donn es disponi bles dans des cas o il n existe pas de relation causale claire argumenter pour ou contre une conclusion en utilisant des connaissances ou des donn es scien tifiques ou l information disponible faire des pr dictions et proposer des explications fond es sur une compr hension de concepts scientifiques plus complexe et abstraits Les analyses effectu es sur les r sultats des essais de terrain fourniront des indications plus d taill es sur l chelle de culture scientifique Ces r sultats permettront d identifier les items que l on peut regrouper et ceux qui se r partissent entre diff rents points de l chelle Ces donn es empiriques constitueront un test permettant de v rifier le bien fond de la dimension d veloppement propos e ici surla base de notre jugement et de ce que l on sait d j du d veloppement cognitif des l ves En 2006 lorsque la dur e des tests permettra une couverture plus compl te des concepts et des champs d application scientifiques il sera probablement possible d tablir en outre une sous chelle portant sur
151. ntifiquement dans une situation donn e Identifier les faits n cessaires une investigation scientifique Pouvoir identifier les faits donn es n cessaires une investigation scientifique sous entend de pouvoir identifier ce qui est n cessaire une v rification valide d une hypoth se donn e Cela peut exiger par exemple d identifier ou de reconnaitre quelles donn es devraient tre compar es quelles variables devraient tre chang es ou gard es ou quelle d cision devrait tre prise pour le recueille ment de donn es pertinentes Tirer ou valuer des conclusions Tirer ou valuer d une mani re critique des conclusions qui rel vent des donn es fournies peut impliquer d avancer une conclusion d rivant de faits ou de donn es scientifiques ou r sultant de pro c d s alternatifs et choisie parce qu elle s applique aux donn es Cela peut aussi impliquer de fournir des raisons pour ou contre une conclusion se rapportant aux donn es ou souligner les pr somptions faites pour aboutir telle conclusion Communiquer des condusions valides Pouvoir communiquer un public d termin des conclusions valides partir de faits ou donn es dispo nibles implique la production de points pertinents la situation et aux donn es fournies ou d informations suppl mentaires d une mani re appropri e et compr hensible pour l auditoire en question Faire preuve de ma trise des concepts scientifiques Montrer une compr hen
152. omaines offrent une couverture satisfaisante des programmes scolaires existants Le raisonnement quantitatif a d lib r ment t omis du premier cycle de l enqu te car il aurait pu entrainer une sur repr sentation des savoir faire typiquement num riques Ces deux id es majeures sont pr cis es plus bas Variations et croissance Tout ph nom ne naturel subit des variations les organismes qui changent en grandissant le cycle des saisons le flux et le reflux des mar es les cycles de fluctuation des taux de ch mage les variations m t orologiques et l indice Dow Jones Certains de ces processus de croissance peuvent tre d crits ou mod lis s par des fonctions math matiques simples les fonctions lin aires exponentielles p riodi ques logistiques soit discr tes soit continues Mais de nombreux processus rel vent de cat gories diff rentes et l analyse des donn es y est souvent essentielle L utilisation des technologies informati ques a rendu les techniques d approximation plus puissantes et a permis une visualisation de donn es plus sophistiqu e Dans la nature comme dans les math matiques les r gularit s auxquelles ob issent les variations ne suivent en rien les d coupages traditionnels des contenus scolaires Comme le dit Stuart 1990 pour tre sensibles aux r gularit s des variations nous devons repr senter les variations sous une forme compr hensible comprendre les types fondamentaux de va
153. ombre de livres la maison l l ve poss de t il ses propres livres achat r gulier d un quotidien ou d un hebdomadaire par la famille fr quentation d une biblioth que publique ou scolaire etc Pratiques et habitudes de lecture il semble important de faire en sorte que les items couvrent les divers types d imprim s et la fr quence de leur usage pour les diff rents types de textes et de formats de textes distingu s par le plan d valuation et en relation avec le contexte o ils sont valu s Vu les limitations de temps et les probl mes m thodologiques pos s par les inventai res d activit s de lecture il faut parvenir un quilibre raisonnable entre d une part la n cessit d inventorier les diff rents types d imprim s dans diff rents types de situations afin d valuer la diversit et d autre part les diverses contraintes Les attitudes et les int r ts par rapport la lecture les attitudes l gard de la lecture et les motivations sont susceptibles d influencer les activit s de lecture et le rendement s agit par ailleurs d aspects sur lesquels il est possible d agir en cr ant un climat favorable la compr hension de l crit l cole et en dehors de l cole Dans le cadre du projet OCDE PISA cet aspect est valu au moyen d un certain nombre de questions cibl es ne n cessitant qu un temps de r ponse tr s court par exemple Aimez vous recevoir un livre comme cadeau Aimez
154. omp tences math matiques dans la vie courante En Sciences poss der des connaissances particuli res concernant par exemple des noms de plantes et d animaux pr sente moins d int r t que d avoir assimil de grandes notions telles que la consommation d nergie la biodiversit et la sant humaine lorsqu on se penche sur les themes scientifiques qui suscitent des d bats de soci t Ensuite privil gier le contenu des programmes d enseignement aurait pour effet dans un contexte international de polariser uniquement l attention sur les l ments de ces programmes qui sont communs tous les pays ou la plupart d entre eux Il faudrait donc proc der de nom breux compromis qui d boucheraient sur une valuation trop troite pour tre utile aux gouver nements souhaitant savoir quels sont les points forts et les innovations de syst mes ducatifs d autres pays OCDE 1999 Mesurer les connaissances et comp tences des leves Enfin il existe certaines aptitudes g n rales qu il est indispensable que les l ves acqui rent Il faut qu ils sachent communiquer s adapter faire preuve de souplesse r soudre les probl mes et utiliser les technologies de l information Ces comp tences s acqui rent dans le cadre des diver ses mati res des programmes d tudes et leur valuation n cessite que l on se situe dans une optique transversale Le programme OCDE PISA s appuie sur un mod le dynamique d apprentissage vie da
155. on en reconnaissant comment les pratiques apprises dans une situation peuvent ais ment tre appliqu es dans d autres situations similaires On peut se repr senter les situations comme se trouvant des distances variables par rapport l l ve Parmi les situations identifi es pour l enqu te PISA la plus proche de l l ve est d abord la vie priv e puis viennent la vie scolaire le travail et le sport ou les loisirs en g n ral ensuite la collecti vit locale et la soci t dans les diverses formes qu elles prennent au quotidien viennent enfin les contextes scientifiques Il est noter que les contextes scientifiques incluent la d monstration de conjectures de caract re abstrait la g n ralisation de r gularit s num riques ou spatiales et d autres activit s de type semblable A ainsi t d finie une chelle plus ou moins continue que l on consid rera comme une autre dimension ou un autre axe du plan d valuation de PISA dans lequel l accent sera mis principalement sur les cinq situations suivantes les situations priv e scolaire professionnelle publique et scientifi que Un aspect li aux situations est l authenticit des contextes utilis s dans les probl mes Cet aspect sera examin plus en d tail ci dessous Caract ristiques des preuves Le domaine li la culture math matique a t d fini dans les parties pr c dentes du plan OCDE PISA et la structure en a t d finie Nous co
156. on pour les cycles venir Technologie Dans notre monde en constante volution une enqu te portant sur les habitudes de lecture doit s ouvrir a des questions en rapport avec la technologie de l information particuli rement l ordinateur est vident que l acc s aux textes sur support lectronique et l utilisation de ceux ci pour obtenir et changer de l information gagneront en importance dans la vie des l ves au cours des ann es venir Pour jeter les bases d une pr sence accrue de la technologie dans les cycles venir l enqu te OCDE PISA inclura un bref questionnaire destin une collecte d information concernant l acc s des l ves l ordinateur la maison l cole sur le lieu de travail ou dans leur communaut leurs attitu des par rapport l utilisation d un ordinateur la fr quence d utilisation de l ordinateur dans diff rents contextes le type d activit s auquel l l ve s adonne sur un ordinateur Liens avec d autres tests d valuation est important d utiliser toutes les sources d informations disponibles pour interpr ter pleine ment les donn es provenant de cette enqu te Une partie des informations compl mentaires provien dront des donn es des questionnaires mais les liens tablis avec d autres enqu tes peuvent galement fournir des donn es qui enrichissent l interpr tation du test OECD PISA n est pas la seule valuation des comp tences en lecture Comme on l a mention
157. on raisonnement ou explique comment il est arriv cette r ponse La caract ristique prin cipale des items ouverts r ponse construite est qu ils donnent l occasion aux l ves de faire preuve de leurs comp tences en fournissant des solutions se situant sur tout un spectre de diff rents niveaux 62 de complexit math matique L item pr sent la figure 12 en est un exemple OCDE 1999 La culture math matique Figure 12 Exemple d item n cessitant une r ponse construite L Indon sie se situe entre la Malaisie et l Australie Quelques donn es sur la population de l Indon sie et sa r partition sur les les sont repr sent es dans le tableau suivant T Pourcentage Pourcentage m Superficie ad Population R gion km de la superficie en 1980 millions de la population totale totale Java Madura 132 187 6 95 91 281 61 87 Sumatra 473 606 24 86 27 981 18 99 Kalimantan 539 460 28 32 6 721 4 56 Born o Sulawesi 189 216 9 93 10 377 7 04 C l bes Bali 5 561 0 30 2 470 1 68 lrian Jaya 421 981 22 16 1145 5 02 TOTAL 1 905 569 100 00 147 384 100 00 L un des probl mes importants de l Indon sie est la r partition in gale de sa population sur les les A l aide du tableau nous pouvons voir que Java qui a moins de 7 de la superficie totale poss de presque 62 de la population Question Faire un graphique qui montre la r partition in gale de la population indon sienne Source de Lang
158. onale sur la litt ratie des adultes EILA mais le programme OCDE PISA le d veloppe en introduisant un l ment actif la capacit non seule ment de comprendre un texte mais de l analyser en se fondant sur ses propres r flexions et exp rien ces La compr hension de l crit est valu e en fonction des aspects suivants Premi rement la forme du mat riel de lecture savoir le type de texte lire De nombreuses valua tions de la lecture ont t centr es sur des textes continus organis s en phrases et paragra phes Le programme OCDE PISA fera en outre intervenir des textes non continus pr sentant l information sous d autres formes listes formulaires graphiques ou diagrammes distinguera galement entre diverses formes de textes continus textes narratifs textes informatifs textes argumentatifs etc Ces distinctions se fondent sur le principe qu une personne rencontrera une large vari t de textes crits dans sa vie adulte et qu il ne suffit pas de savoir lire un nombre limit de types de textes habituellement utilis s dans le cadre scolaire Deuxi mement le type de t che de lecture Cet aspect concerne d une part les diverses d marches cognitives qu il faut pouvoir mettre en oeuvre pour tre un lecteur efficace et d autre part les caract ristiques des questions pos es dans l valuation L valuation des l ves ne portera pas sur les aptitudes la lecture les plus fondamentales
159. onception du test et l interpr tation des scores obtenus c est l ventail et les caract ristiques sp cifiques des textes choisis pour l labo ration des preuves Une palette diversifi e de textes tant continus que non continus sera donc utilis e dans ce survey et il faudra veiller proposer des preuves o l l ve aura lire tant t un texte isol tant t une combinaison de textes par exemple deux textes continus traitant d un m me sujet ou bien un texte continu et un graphique ou un tableau qui l illustrent Les modalit s des questions r ponses Cette expression d signe les caract ristiques des questions et des consignes des taches qui seront donn es aux l ves les formats utilis s pour obtenir les r ponses ainsi que les grilles de correction qui seront appliqu es aux r ponses En g n ral les questions et les consignes font r f rence un but ou un objectif dont le lecteur est cens tenir compte au cours de sa lecture et de son interaction avec le texte L enqu te sur la lecture ne doit pas uniquement reposer sur l utilisation de questions choix multiple mais doit galement comporter des questions r ponses ouvertes dont le but est d amener les l ves mettre en oeuvre des strat gies et des processus plus vari s et de niveau taxonomique plus haut Pour pouvoir utiliser ces trois caract ristiques principales des preuves lors de la conception de l instrument et plus tard lors de l interpr
160. oncevoir et mettre en uvre des situations exp rimentales prendre des mesures et relever des observations l aide d instruments appropri s etc Le d veloppement de ces savoir faire figure parmi les objectifs des programmes scientifiques enseign s l cole ceux ci visent permettre aux l ves d exp rimenter et de comprendre la facon dont se construit la connais sance scientifique et de se familiariser par l du moins dans l id al avec la nature de la recherche et du savoir scientifiques En fait peu d l ves auront effectivement besoin de ces savoir faire pratiques apr s l cole mais ils auront besoin de ma triser les concepts dont la compr hension s acquiert gr ce ces pratiques de recherche et ces manipulations Ajoutons qu il existe de solides raisons de penser que la vision traditionnelle de la d marche scientifique selon laquelle des conclusions sont tir es inductivement partir d observations vision qui est encore largement pr sente dans bon nombre de programmes scientifiques enseign s dans les coles est en r alit contraire la mani re dont se d veloppe effectivement le savoir scientifique voir par exemple Ziman 1980 La culture scientifique telle qu elle est d finie ici donne la priorit la capacit de tirer des condu sions fond es sur des faits plut t qu la capacit d accumuler des faits pour eux m mes La capacit d ta blir un lien entre les faits ou les donn e
161. ond Adams de l ACER Le groupe d experts charg de la lecture tait pr sid par le Professeur Irwin Kirsch de l Educational Testing Service le groupe charg des math matiques tait pr sid par le Professeur Jan de Lange de l Universit d Utrecht et le groupe d experts charg des sciences tait pr sid parle Professeur Wynne Harlen du Scottish Council for Research in Education La liste des membres des groupes fonctionnels d experts figure en annexe 1 Les cadres d valuation ont galement t mis au point sur la base de recherches men es par des groupes d experts dans chacun des pays participants Ils ont t adopt s en d cembre 1998 par les gouvernements des pays de l OCDE par l interm diaire du Conseil des pays participants La publication a t labor e par la Divi sion des statistiques et indicateurs de la Direction de l ducation de l emploi du travail et des affaires sociales sous la responsabilit d Andreas Schleicher OCDE 1999 TABLE DES MATIERES roduc Uon ee nn e de die OP ete we aad cea aen d ee ne 7 La structure du programme OCDE PISA 2000 11 Structure g n rale du programme OCDE PISA SU EEEE teni 11 Originalit du programme OCDE PISA par rapport aux autres valuations internationales 13 Aspects sur lesquels porte l valuation dans chaque domaine seen nnns 14 Mise en uvre de l valuation et pr sentation des r sulta
162. onde entier les trois dimensions retenues et leurs diverses sous cat gories avant qu une d cision soit prise sur les cat gories les plus utiles retenir et sur la fa on de traduire en notes globales les r sultats obtenus en ce qui concerne les divers items Au sein de ce cadre commun en trois dimensions chaque domaine est structur de mani re sp ci fique Il existe en effet une diff rence importante entre la ma trise de la lecture d une part et celles des sciences et des math matiques d autre part La premi re est en soi une comp tence qui transcende les diverses mati res des programmes d enseignement particuli rement au niveau secondaire et qui ne peut tre associ e aucun contenu particulier Bien que certaines connaissances scolaires concer nant par exemple la structure de la phrase ne soient pas d nu es d importance ce type de connaissan ces ne peut se comparer par exemple la ma trise d un ensemble de principes ou de concepts scientifiques Les principaux aspects des trois domaines r sum s dans le tableau 1 sont d crits plus en d tail ci apr s OCDE 1999 Mesurer les connaissances et comp tences des l ves On entend par compr hension de l crit l aptitude des individus utiliser un texte crit pour atteindre des buts qu ils se sont fix s Cet aspect de la compr hension de l crit a t bien d fini l occasion d enqu tes pr c dentes telles que l Enqu te internati
163. ou des capacit s valu es Certaines de ces variables peuvent la fois contribuer l laboration des preuves et la compr hension des comp tences valu es ainsi qu la caract risation des performances y a un nombre fini de caract ristiques susceptibles d influencer les performances des l ves pour un ensemble d preu ves de lecture et il faut en tenir compte lors de l laboration de ces taches et de la correction des r ponses Ces caract ristiques sont des composantes du processus de lecture qui feront l objet de manipulations lors du survey PISA sur la compr hension de l crit afin de stimuler et d valuer la nature interactive du processus de lecture Ces caract ristiques sont les suivantes La situation Puisque les adultes qui lisent des textes le font toujours dans une situation particu li re il est important d identifier une s rie de situations partir desquelles on peut chantillon ner du mat riel destin l valuation en lecture faut garder l esprit qu un des objectifs OCDE 1999 La compr hension de l crit poursuivis par le projet OCDE PISA est de ne pas se contenter de textes scolaires mais d inclure une s rie de documents que les l ves rencontreront aussi bien dans les salles de classe qu en dehors de l cole Les textes va de soi qu une preuve de compr hension de l crit doit comporter une s rie de mat riaux de lecture mais ce qui est crucial pour la c
164. p rieur souvent par le biais de questions r ponse ouverte constituera une innovation importante OCDE 1999 Mesurer les connaissances et comp tences des l ves du programme PISA La place exacte donner ce type d items d pendra de l int r t qu ils pr senteront lors des essais de terrain ainsi que de la possibilit de mettre au point des grilles de correction fiables Apr s avoir tenu une place relativement modeste dans le premier cycle d enqu te les items r ponse ouverte seront sans doute plus largement utilis s au cours des cycles ult rieurs du PISA Dans la plupart des cas les preuves auront la forme de groupes d items se rapportant un texte un mat riel d incitation ou un theme communs s agit l d un aspect important qui per met aux questions d avoir un caract re plus approfondi que ce ne serait le cas si chacune d entre elles portait sur un contexte enti rement nouveau Cette formule donne davantage de temps l l ve pour assimiler le support qui peut tre ensuite utilis pour valuer des aspects multiples de ses performances Dans l ensemble les items utilis s dans le programme OCDE PISA seront tr s diff rents de ceux utilis s par exemple dans les tudes internationales telles que la Troisi me tude internationale sur les math matiques et les sciences IEA TIMSS qui se concentrait sur de br ves questions choix mul tiple fond es sur des connaissances acquises en class
165. p tition d informations provenant du mat riel de stimulus pas plus qu il n y en aura se limitant la m morisation d informations factuelles isol es Afin de couvrir la s rie de savoir faire et de connaissances d crits dans ce plan d valuation il faut avoir recours divers types de formats de r ponses aux items Par exemple on peut proposer des items choix multiple pour valuer de mani re valide les d marches impliquant une reconnaissance ou une s lection Toutefois pour mesurer la capacit d valuer ou de communiquer un format r ponse ouverte conviendra mieux en termes de validit et d authenticit Cela dit dans de nombreux cas le format le plus appropri d pendra du contenu particulier de l item chelles des r sultats chelles et sous chelles Pour r pondre aux objectifs du programme OCDE PISA le d veloppement d chelles de comp tence des l ves est un l ment essentiel L laboration d une chelle est un processus it ratif les propositions initiales qui se fondent sur l exp rience acquise au cours des enqu tes de sciences ant rieures et sur les r sultats des recherches men es dans le domaine de l apprentissage et du d velop pement cognitif en sciences sont r vis es ensuite en fonction des r sultats empiriques fournis par les essais de terrain OCDE PISA Les travaux de recherche disponibles l heure actuelle ainsi que les exp riences des enqu tes pr c dentes sugg rent
166. part consid rable de jugement subjectif comme celles o le lecteur doit r su mer un texte avec ses propres mots En raison de l absence d l ments de preuve solides pouvant confirmer l existence d effets dus la m thode et en tenant compte des conseils des responsables du d veloppement des tests la solution la plus sage est sans doute d inclure les deux types d items ceux choix multiple et ceux r ponse construite dans l valuation de la compr hension de l crit e N otation La notation est relativement simple pour des items choix multiple corrig s de facon dichotomique soit l l ve test a choisi la bonne r ponse soit il ne l a pas choisie Des mod les de cr dit partiel permettent une notation plus complexe pour les items choix multiple Dans ce syst me certaines mauvaises r ponses sont consid r es comme plus correctes que d autres les l ves tes t s qui choisissent ces r ponses presque bonnes recoivent un cr dit partiel Les mod les psycho m triques pour ce genre de notation valeurs multiples sont maintenant bien tablis et de fait sont pr f rables aux bar mes dichotomiques parce qu ils prennent davantage en compte l information contenue dans les r ponses L interpr tation des bar mes valeurs multiples est cependant plus complexe puisque chaque tache a plusieurs localisations sur l chelle de difficult une pour la r ponse compl te et d autres pour chacune des r
167. r hension de l crit L enqu te OCDE PISA value galement deux autres domaines de rendement les math matiques et les sciences quoique de mani re moins approfondie Il y a l une occasion de tenter d estimer les liens entre ces diff rents domaines L approche la plus simple consiste utiliser uniquement le fait que des populations semblables sont test es en m me temps dans les m mes pays sans tenter de mod liser ces relations Une approche plus int ressante mais aussi plus complexe est de pr voir un certain nombre d items qui se situent l intersection des diff rents domaines variables int gr es en sorte que la relation entre les rendements en lecture et en sciences ou en math matiques pourrait tre mod lis e directement partir des r sultats de ces items communs Les mod les psychom triques pour ce type d valuations crois es existent mais les items n cessitent une mise au point tr s rigou reuse et l interpr tation de tels r sultats conditionnels est moins directe qu avec des mod les tradi tionnels dans lesquels chaque item se voit attribuer une position unique sur une seule chelle tant donn l importance des informations susceptibles d tre obtenues gr ce aux items crois s le premier cycle de la campagne OCDE PISA comprendra un bloc d items int gr s qui recevront un codage pour plus d un domaine d valuation ainsi que plusieurs blocs incluant des items distincts de lecture de math
168. r des conclusions fond es sur des faits on entend connaitre et tre capable d appliquer les proc dures n cessaires OCDE 1999 La culture scientifique pour la s lection et l valuation d informations ou de donn es Cependant les informations fournies ne suffisent souvent pas tirer des conclusions d finitives et il faut tre capable de sp culer prudemment et en toute conscience partir des informations disponibles Comprendre le monde naturel et prendre des d cisions son propos Comprendre le monde naturel et prendre des d cisions son propos indique tout d abord que la compr hension du monde naturel est valoris e la fois comme un objectif en soi et comme un l ment n cessaire la prise de d cisions d autre part s il est vrai qu elle peut contribuer la prise de d ci sions cette compr hension n en sera pas n cessairement un facteur d terminant Dans la vie pratique de tous les jours les d cisions prendre reposent toujours sur des composantes sociales politiques ou conomiques et les connaissances scientifiques s int grent au niveau des valeurs humaines relatives celles ci Quand dans une situation donn e apparait un consensus de valeurs l apport de faits scienti fiques sert souvent d appui ce qui a t accept Par contre en cas de d saccord l apport de faits scientifiques n cessaires la prise de d cision sera plus enclin la controverse Comprendre les chan
169. r des textes crits afin et de comprendre les r les jou s des connaissances scientifiques de pouvoir r aliser des objectifs par les math matiques la formulation de conclusions personnels d velopper et de porter des jugements fond s fond es sur l observation des faits des connaissances leur propos ainsi que d utiliser et d laborer des hypoth ses et des capacit s et prendre les math matiques en fonction en vue de comprendre le monde une part active dans la soci t des exigences de la vie actuelle naturel et les transformations et future en tant que citoyen qui y sont apport es par l activit constructif responsable humaine et de contribuer et intelligent la prise de d cisions cet gard Composantes Lecture de diff rents types Contenu des math matiques Concepts scientifiques par exemple aspects du domaine de textes les textes continus divis s en sous cat gories par exemple les textes descriptifs les textes narratifs etles documents class s selon leur structure Ex cution de divers types de taches de lecture tels que la restitution d informations le d veloppement d une interpr tation ou une r flexion sur le contenu et la forme du texte Lecture de textes crits dans des situations diff rentes par exemple pour satisfaire des int r ts personnels ou des fins professionnelles pour l essentiel les id es math matiques majeures qui dans le premier cycle sont
170. ra consulter l horaire des autobus et comparer les heures de d part et d arriv e de plusieurs autobus effectuant le m me trajet Dans ce cas le lecteur devra forc ment examiner plus d une information Dans les preuves d valuation qui demandent de trouver une information les l ve test s doi vent tablir entre l information fournie dans la question et celle qui figure dans le texte une correspon dance qui peut tre litt rale ou synonymique et l utiliser pour trouver la nouvelle information demand e A ce titre la localisation d informations se fonde sur le texte lui m me et sur l information explicite qu il contient Les taches de localisation demandent l l ve test de trouver des informa tions en se fondant sur les conditions ou les l ments d finis dans les questions ou les consignes L l ve test doit rep rer ou identifier les l ments essentiels du message personnages rythme temps cadre etc puis il doit rechercher un quivalent qui soit litt ral ou synonyme Les t ches requ rant de trouver une information peuvent galement impliquer diff rents niveaux d ambiguit On peut demander l l ve test de s lectionner dans le texte ou dans un tableau une information explicite par exemple une indication de temps ou de lieu Une version plus difficile du m me type de t che peut consister trouver une information synonyme Cela repose parfois sur une cat gorisation ou une discrimination entre
171. re 3 Tirer ou valuer des condusions en utilisant la connaissance des forces et du mouvement dans le domaine de la technologie sdentifique ne s agit pas d approuver ou de d sap prouver la d cision prise mais plut t de montrer le raisonnement suivi en accord avec le choix fait et en se rapportant aux informations procur es par exemple tre d accord parce qu il y a moins de chance de collision si la circulation se concentre pr s du bord de la chauss e m me si le traffic est rapide s il est plus rapide on est moins encourag vouloir doubler ou d sapprouver parce que si la circulation est plus rapide et que la distance entre les voitures reste la m me cela peut signifier qu il n y a pas assez d espace pour que celles ci s arr tent en cas d urgence L item n 5 illustre le savoir faire 5 La compr hension des concepts scientifiques en utilisant la connais sances des forces et du mouvement dans le domaine de la technologie scientifique Des r ponses structur es sont requises not es 2 1 et 0 selon qu un ou deux des aspects importants prendre en compte sont mentionn s a la quantit de mouvement du v hicule qui se d place plus vite est plus grande et plus grande est la force requise pour l arr ter b une plus grande vitesse un v hicule mettra plus de temps ralentir qu un v hicule plus lent dans un m me intervalle de temps Item n 6 illustre le savoir faire 5 La compr hension des concepts scienti
172. re du projet OCDE PISA tient au fait que les r sultats sont jug s pertinents pour les d cideurs politiques et susceptibles d influencer les pratiques de lecture et d apprentissage dans la mesure o l on consid re qu il est possible d enseigner ces savoir faire et que ceux ci sont transf rables d autres domaines que la lecture La difficult surmon ter est de d velopper un outil de mesure de la m tacognition utilisable dans des enqu tes large chelle comme OCDE PISA La plupart des travaux disponibles se fondent sur des exp riences men es aupr s d l ves plus jeunes que ceux qui vont participer aux tests OCDE PISA Myers et Paris 1978 En cons quence il est apparu qu il n existe aucun instrument susceptible de fournir des r sultats fiables et valides pour le groupe d ge vis tant donn qu il n existe aucun instrument fiable pour mesurer la m tacognition chez les l ves ag s de 15ans et que les ressources ad quates permettant de concevoir et de d velopper un tel ins trument ne sont pas disponibles il a t d cid que la m tacognition ne ferait pas partie de l essai de OCDE 1999 45 Mesurer les connaissances et comp tences des l ves 46 terrain ni de la campagne de test d finitive sur la compr hension de l crit lors de ce premier cycle Cependant compte tenu de l int r t que ce th me suscite l laboration d un instrument de mesure de la m tacognition sera prise en consid rati
173. re l augmentation d une aire et celle du p rim tre ou de la circonf rence Les mod les de croissance peuvent trouver leurs expressions alg briques et ces derni res peu vent a leur tour tre repr sent es par des graphiques La croissance peut aussi tre mesur e de facon empirique ce qui provoque un questionnement sur ce qu il est possible d inf rer partir des donn es et sur la meilleure mani re de les repr senter Des aspects d analyse des donn es et de statistiques mergent alors tout naturellement E space et formes Les processus de variations et de croissance ne sont pas les seuls pr senter des r gularit s de structure Celles ci sont omnipr sentes autour de nous dans le langage la musique la vid o la circula tion les constructions l art Les formes sont des structures maisons glises ponts toiles de mer flo cons de neige plans de villes feuilles de tr fle cristaux ombres Les structures g om triques peuvent servir de mod les relativement simples pour quantit de ph nom nes et leur tude est possible et souhaitable tous les niveaux Gr nbaum 1985 En math matiques les formes constituent un th me fondamental en plein d veloppement et tout fait fascinant un theme profond ment enracin dans la g om trie traditionnelle quoique le lien soit plus t nu avecla g om trie scolaire mais qui va bien au del par son contenu son sens et sa m thode Senechal 1990 Dans l
174. rectes L usage de la notation cr dit partiel est recommand du moins pour les items r ponse construite les plus complexes Structure des preuves d valuation Dans cette partie nous d crivons la r partition des t ches propos es pour l valuation de la com pr hension de l crit selon la situation le format de texte l aspect et le type d item OCDE 1999 41 Mesurer les connaissances et comp tences des l ves 142 Une mani re vidente de distribuer les taches de compr hension de l crit serait de les r partir uniform ment sur les quatre situations tableau 3 Toutefois il convient de donner moins de poids aux situations relative la vie professionnelle pour deux raisons D une part la s lection de textes carac t re professionnel peut rendre l preuve d pendante de connaissances professionnelles trop sp cifi ques ce qui est viter D autre part nous estimons qu il est possible de construire le m me type de questions et de consignes partir d autres situations au contenu desquelles des l ves de 15 ans auront acc s plus facilement Tableau 3 Distribution recommand e des preuves de lecture selon la situation Situation 96du total des preuves Personnel 28 P dagogique 28 Professionnel 16 Public 28 Total 100 La distribution et la diversit des textes propos s aux l ves dans le cadre du programme OCDE PISA constituent une caract ristique essentielle du test
175. rentissage dont les l ves ont b n fici propos des contenus sp cifiques abord s par les preuves d valuation Cette variable fera l objet d une derni re question pos e lors du test des sciences La question proposera la liste des items du test et demandera aux l ves d indiquer pour cha cun des items s ils ont l occasion de discuter propos du contenu abord dans la question l cole d une part et en situation non scolaire d autre part Des formats alternatifs de l item en math matiques Quand les math matiques constitueront un domaine majeur de PISA en 2003 il sera possible d tendre le champ des preuves d valuation qui peuvent tre utilis es Cela sera particuli rement important si les program mes futurs mettent l accent sur l valuation des comp tences de classe 3 tendre le champ des preuves d valuation Il est possible de faire appel un test de dissertation pour tendre le champ des preuves d valuation Selon Gronlund 1968 les preuves faisant appel la dissertation sont inefficaces pour mesurer les connaissances acquises mais elles offrent une libert de r ponse n cessaire l valuation des acquis complexes Ces acquis complexes r f rent la capacit de cr er d organiser d int grer d exprimer ainsi qu d autres types de comporte ments semblables qui font appel la production et la synth se des id es OCDE 1999 Mesurer les connaissances et comp tences des
176. rents types de textes non continus L autre approche utilise des descriptions ordinaires de ces textes La m thode de Kirsch et Mosenthal est syst matique et propose une facon d organiser l ensemble des types de textes non continus qui est ind pendante de leur usage Types de textes continus Les types de texte correspondent des facons standardis es de classer les contenus et les objec tifs de l auteur pour des textes continus Chaque type se pr sente sous des formats sp cifiques Ceux ci sont d crits ci dessous 1 Le texte descriptif est un type de texte ou l information porte sur les propri t s physiques des objets dans l espace ou sur les caract ristiques des gens La question typique laquelle les textes descriptifs apportent une r ponse est quoi Les descriptions impressionnistes pr sentent l information du point de vue d un sujet relations qualit s et orientations dans l espace Les descriptions techniques pr sentent l information du point de vue d une observation objective dans l espace Elles utilisent fr quemment des formats de texte non continus comme les dia grammes et les illustrations 2 Le texte narratif est un type de texte o l information concerne les propri t s des objets dans le temps La narration r pond typiquement la question quand ou la question dans quel ordre Les r cits pr sentent les changements survenus sous un angle subjectif s lection e
177. riations reconnaitre des types de variations particuliers lorsqu ils se manifestent appliquer ces techniques au monde ext rieur et contr ler notre avantage un univers en changement OCDE 1999 Mesurer les connaissances et comp tences des l ves Ces comp tences se rapportent troitement a notre d finition de la culture math matique et aux comp tences telles que d finies plus haut dans ce plan d valuation De nombreuses subdivisions du d coupage traditionnel des contenus scolaires apparaissent dans cette id e math matique majeure des variations et de la croissance Les plus videntes sont les rela tions les fonctions et leurs repr sentations graphiques Les s ries et les gradients entretiennent des rapports troits avec les fonctions Observer les taux de croissance de diff rents ph nom nes de crois sance conduit des courbes de croissance lin aires exponentielles logarithmiques p riodiques ou logistiques ainsi qu leurs propri t s et relations A leur tour celles ci m nent des aspects de la th o rie des nombres comme la suite de Fibonacci et le nombre d or Les liens qui relient ces id es aux repr sentations g om triques peuvent galement jouer un r le La g om trie peut aussi permettre d observer des r gularit s pr sentes dans la nature dans l art ou l architecture L analogie et la congruence peuvent avoir un r le jouer ici tout comme ce serait le cas pourle rapport ent
178. s preuves impliquant la simple restitution d un terme ou d une d finition Les figures 15 et 16 pr sentent les r sultats provenant de l application de ces crit res aux concepts et aux contenus scientifiques La figure 15 comprend la liste des th mes scientifiques majeurs avec quelques exemples des concepts s y rapportant Ces vastes concepts sont n cessaires pour tre m me de comprendre le milieu naturel pour donner un sens des nouvelles exp riences et pour pren dre des d cisions les concernant Leur acquisition d rive de l tude des ph nom nes sp cifiques et de faits mais va au del des connaissances d taill es provenant des objets tudi s La liste des concepts pr sent s dans la figure 15 renforce la signification des th mes aucune tentative n est faite de pr sen ter d une mani re compl te tous les concepts qui pourraient se rapporter chacun d eux OCDE 1999 La culture scientifique Figure 15 Th mes scientifiques majeurs et exemples des concepts qui y sont associ s pour l valuation de la culture scientifique Structure et propri t s de la mati re conductivit lectrique et thermique Changements atmosph riques radiation transmission pression Changements physiques et chimiques tats de la mati re taux de r action d composition Transformations de l nergie conservation de l nergie d gradation de l nergie photosynth se Forces et mouvement forces d qu
179. s comp tences qui leur serviront dans leur vie ult rieure y compris dans le cadre des formations compl mentaires indi vidualis es qu ils pourront suivre les connaissances et les comp tences valu es celles ci ne sont pas avant tout d finies en tant que d nominateur commun des programmes scolaires nationaux mais en tant qu aptitudes jug es essentielles dans la vie future Il s agit l de l apport le plus important et le plus ambitieux du programme OCDE PISA serait arbitraire d tablir une distinction trop stricte entre les aptitudes scolaires et les apti tudes vivre en soci t l cole ayant toujours eu pour objectif d quiper les jeunes pour la vie mais cette distinction a n anmoins son importance Traditionnellement les programmes sco laires sont surtout concus en tant qu ensembles d informations et de techniques maitriser et accordent moins d importance dans le cadre de chaque mati re l acquisition d aptitudes sus ceptibles d tre utilis es en g n ral dans la vie adulte Ils accordent une importance encore moindre des comp tences d ordre encore plus g n ral acquises dans le cadre des diverses mati res des programmes d tudes qui permettent l individu de r soudre des probl mes et d appliquer ses id es et ses savoirs aux situations qu il rencontre dans la vie Le programme OCDE 1999 Mesurer les connaissances et comp tences des l ves OCDE PISA ne met pas l c
180. s dans les divers pays participants la mise au point d un sch ma d interpr tation des r sultats Les quatre premi res tapes sont d crites dans cette publication Les deux derni res tapes seront achev es quand les r sultats des plans d valuation seront disponibles Les principes suivants ont guid le processus d laboration de ces plans le point de d part d un plan d valuation doit tre une d finition g n rale ou l nonc de l objectif poursuivi indiquant la raison d tre de l enqu te et l objet des mesures la d finition d un plan d valuation doit fournir une description des diverses caract ristiques des t ches et indiquer comment ces caract ristiques seront utilis es lors de la mise au point des t ches les variables associ es chacune des caract ristiques des t ches doivent tre sp cifi es et cel les qui semblent avoir la plus forte incidence sur la variance en termes de difficult des t ches doivent tre utilis es pour mettre sur pied un dispositif d interpr tation laborer et valider un plan d valuation pour chacun des domaines vis s a principalement pour objectif d am liorer la mesure la d marche comporte cependant plusieurs autres avantages potentiels le plan d valuation fournit un langage et un cadre communs aux discussions sur la finalit de l valuation et sur l objet qu elle s efforce de mesurer Un tel d bat encourage l tablissement d un consensus
181. s et son potentiel et prendre une part active dans la soci t Par cette phrase on entend d signer l ensemble des situations o la compr hension de l crit joue un r le de la vie priv e la vie publique de l cole au travail au cours de toute une vie d apprentis sage et de citoyennet active Parvenir ses objectifs d velopper ses connaissances et son potentiel contient l id e que la compr hension de l crit permet l accomplissement des aspirations individuelles qu elles soient bien d finies obtention d un dipl me ou d un travail ou qu elles le soient de mani re moins pr cise et moins imm diate enrichissement et d veloppement de la vie personnelle poursuite de l apprentissage au cours de la vie Prendre une part active a t utilis de pr f rence fonctionner Enqu te EILA parce que cette expression implique que la compr hension de l crit permet aux gens d apporter une contribution la soci t autant que de r pondre leurs propres besoins Le terme fonctionner comporte une connotation limitative et pragmatique alors que prendre une part active suppose un engagement social culturel et politique Prendre une part active peut correspondre l adoption d une position critique l accomplissement d un pas vers la lib ration personnelle l man cipation et la prise de responsabilit s Le terme soci t d signe tant la vie conomique et politique que la vie
182. s ou utilis es en tant que t moin c Quelles informations suppl mentaires sont requises d Quelle d cision devrait tre prise pour permettre de rassembler les donn es Tirer ou valuer des conclusions Les donn es r sultats d exp riences observations partir desquelles des conclusions peuvent tre tir es Formuler des conclusions qui s appliquent aux donn es Les donn es r sultats d exp riences observations et les conclusions d duites des donn es Choisir la conclusion qui s applique aux donn es et fournir une explication Les donn es r sultats d exp riences observations et une conclusion d duite des donn es Communiquer des conclusions valides Une situation partir de laquelle des conclusions peuvent tre tir es ou qui n cessite de collecter des informations pour soutenir une conclusion ou une recommandation et un auditoire Formuler les raisons expliquant pourquoi accepter ou refuser la conclusion ou d finir le degr de confiance dans lequel elle pourrait s ins rer Formuler un argument qui est expliqu clairement l auditoire pr sent et qui est soutenu par des faits donn es pertinents trouv s dans le mat riel de stimulus Faire preuve de maitrise des concepts scientifiques Une situation dans laquelle une pr diction une explication ou des informations sont requises Formuler ou choisir une pr diction une explication ou des informations suppl m
183. s recueillies et les affirmations et conclusions est consid r e comme l l ment central dont tous les citoyens ont besoin pour former des jugements propos des aspects de leur vie influenc s par la science D s lors tout citoyen doit savoir quel moment le recours la connaissance scientifique est pertinent quelles sont les questions auxquelles la science peut r pondre et celles auxquelles elle ne peut pas r pondre Tout citoyen doit tre m me de juger si les preuves apport es sont valides tant en termes de pertinence que par la m thode utilis e pour les recueillir Et surtout tout citoyen doit tre capable de faire le lien entre les faits et les conclusions qui en d coulent et d valuer le poids respectif des l ments qui s inscrivent en faveur ou en d faveur de tel ou tel programme d action affectant sa vie un niveau personnel social ou global Les distinctions qui viennent d tre propos es peuvent se r sumer en quelques mots la priorit doit tre donn e aux d marches s appliquant aux sciences par rapport celles s appliquant dans le cadre des sciences est important que les savoir faire concernant les d marches cit s dans la figure 14 soient d abord concus comme concernant les sciences et non comme s appliquant dans le cadre des sciences Toutes les d marches d crites dans la figure 14 impliquent une connaissance des concepts scientifi ques Pourles quatre premi res d marches cette connaissance est
184. scientifiques en les appliquant aux divers champs d valuation Les comportements requis se rapporteront aux situations et aux champs d appli cation pr sent s dans le mat riel servant de stimulus Avant qu aient eu lieu l essai surle terrain et l analyse des r sultats il est difficile d avoir des certi tudes sur certains aspects par exemple l quilibre du nombre d items d une preuve l autre le fait que les preuves portent sur un ou plusieurs champs d application ou la r partition des divers formats d items Nous pouvons cependant r sumer ce qui est envisag actuellement Toutes les t ches seront relativement tendues elles incluront des items valuant la compr hen sion d un ou plusieurs concepts scientifiques figure 14 et la combinaison de savoir faire figure 15 et de connaissances relatives un ou plusieurs champs d application scientifique figure 16 elles feront appel des r ponses sur papier crit ou dessin La plupart des t ches seront pr sent es sur support crit Ce sera certainement le cas pour l enqu te qui aura lieu en l an 2000 mais l usage d autres formes de stimuli sera mis l tude en vue de l enqu te de 2006 o la science sera le domaine majeur Quelques unes des taches int greront des items de lecture et ou de math matiques et contribueront l valuation de ces domaines Toutefois aucun des items propos s concernant la culture scien tifique ne se limitera la r
185. sent un grand nombre de fonctions dans la compr hension d un texte Les inf rences se fondent sur les informations et les id es activ es au cours de la lecture du texte m me lorsque celles ci ne sont pas formul es explicitement Elles d pendent plus ou moins des connaissances du monde que poss de le lecteur Certaines sont consid r es comme indis pensables la compr hension et sont reli es au traitement de m canismes linguistiques par exemple les relations anaphoriques elles jouent un r le important dans la coh rence de l interpr tation du OCDE 1999 31 Mesurer les connaissances et comp tences des l ves texte qui se d veloppe au cours de la lecture D autres inf rences aboutissent construire des informa tions nouvelles bas es la fois sur des donn es contenues dans le texte et sur les connaissances du lecteur Comme exemples de taches utilis es pour valuer cet aspect on peut citer comparer et confron ter des informations inf rer identifier et num rer des l ments tayant l information Les taches de comparaison et de confrontation d informations requi rent de la part de l l ve test qu il int gre deux informations ou plus pr sentes dans le texte Pour traiter des informations explicites ou implicites partir d une ou de plusieurs sources le lecteur doit souvent inf rer les relations ou la cat gorisation que l auteur a voulu sugg rer Les t ches qui demandent l l ve tes
186. seront rassembl es des donn es concernant chacune de ces mati res tous les trois ans A long terme il d bouchera sur la constitution d une base de donn es permettant d enregistrer les tendances en mati re d acquisition de connaissances et de comp tences des l ves dans les divers pays ainsi que dans divers sous groupes d mographiques au sein de chacun d entre eux Lors de chaque enqu te l une des mati res sera valu e en d tail son tude repr sentant pr s de deuxtiers de la dur e totale des tests La mati re dominante sera la lecture en 2000 les math matiques en 2003 et les scien ces en 2006 Ce cycle d enqu tes permettra d entreprendre tous les neuf ans une analyse approfondie sur le niveau des acquis dans chacune des mati res et d tablir un bilan plus restreint tous les trois ans Le temps total qui sera consacr aux tests par chaque l ve sera de deux heures mais la collecte d informations se fondera sur une batterie d items correspondant pr s de sept heures de tests L ensemble des questions sera divis en blocs Chaque bloc sera administr un nombre d l ves suf fisant pour que des estimations correctes puissent tre r alis es en ce qui concerne les niveaux de comp tences pour l ensemble des items dans chaque pays et l int rieur de sous groupes sp cifiques au sein d un m me pays les garcons et les filles par exemple ou les l ves se situant dans des contex tes sociaux et conomiques di
187. si une comp tence cruciale de cette classe Les items de la classe 2 sont souvent contextualis s et demandent une prise de d cision math matique de la part de l l ve Deux probl mes de cette classe sont donn s titre d exemple dans la figure 3 Contrairement aux exemples de la classe 1 le domaine math matique dont rel vent les questions n est pas imm diate ment clair pas plus que la m thode la strat gie ou l algorithme le mieux m me de r soudre le pro bl me En fait dans certains cas le domaine math matique d pend de la ou des strat gie s choisie s par l l ve Figure 3 Exemples tir s des comp tences de classe 2 Vous avez parcouru en voiture deux tiers de la distance totale en partant avec un r servoir plein et le r servoir est encore plein au quart Votre voiture a t elle un probl me Marie habite deux kilom tres de l cole et Martin 5 kilom tres A combien Marie et Martin vivent ils l un de l autre OCDE 1999 Mesurer les connaissances et comp tences des l ves L es comp tences de dasse 3 math matisation g n ralisation et compr hension en profondeur Dans les items de cette classe on demande aux l ves de math matiser des situations Ils doi vent pouvoir identifier et extraire les math matiques partie prenante d une situation donn e et se ser vir des math matiques pour r soudre le probl me analyser interpr ter laborer leurs propres mod
188. sion des concepts scientifiques en appliquant des concepts pertinents la situation donn e peut impliquer d expliquer les rapports et les causes possibles aux changements d mettre des pr dictions en ce qui concerne les cons quences dues certains changements ou d identifier les facteurs influencant un r sultat donn en utilisant des id es scientifiques ou des infor mations venant de l ext rieur Dans chacun des cinq savoir faire certaines connaissances scientifiques sont requises Cependant dans le cas des quatre premiers les connaissances ne constituent pas le seul crit re puisque le but est d valuer les d marches intellectuelles impliqu es lors du recueillement de l valuation et de la commu nication de faits scientifiques valides Quant au cinqui me savoir faire c est la compr hension du concept scientifique impliqu qui est valu e et celle ci repr sente la difficult principale de l exercice OCDE 1999 Mesurer les connaissances et comp tences des l ves Il y alieu de pr ciser que pour chacune des d marches cit es ci dessus la gamme des difficult s propos es aux l ves est tr s variable selon les concepts scientifiques et les situations mis en uvre Gr ce aux feedbacks des divers pays et l essai de terrain la campagne de test d finitive OCDE PISA per mettra de s lectionner des items dont le niveau de difficult est appropri pour des jeunes de 15 ans Concepts et contenus Les con
189. sion orale sur un sujet comprenant une preuve faire la maison remise aux l ves avant la discussion et une discussion orale sur une preuve faire la maison apr s que celle ci a t r alis e par les l ves 90 Le format de l preuve orale est souvent utilis dans la mise en oeuvre de buts plus ambitieux OCDE 1999 Annexe 2 Les preuves deux tapes Une combinaison de diff rents formats d examen peut tre consid r e comme une preuve se faisant en deux tapes Une preuve crite suivi d une preuve orale sur le m me sujet en est un exemple classique Les preuves deux tapes combinent les avantages d preuves crites traditionnelles en temps limit avec les possibilit s qu offrent des taches plus ouvertes Les caract ristiques suivantes sont celles d une preuve deux tapes La premi re tape comprend une preuve crite ayant les caract ristiques suivantes tous les l ves passent la m me preuve en m me temps 1 1 tous les l ves doivent finir l preuve dans la m me limite de temps l preuve a pour but d identifier ce que les l ves ne connaissent pas plut t que ce qu ils savent la question d examen fait g n ralement appel des t ches simples calcul et compr hension les questions d examen sont du type ouvert les notes sont aussi objectives que possible La seconde tape compense ce qui a manqu la premi re l pr
190. sociale et culturelle Linnakyl 1992 Lundberg 1991 1997 MacCarthey et Raphael 1989 Organisation du domaine et caract ristiques des preuves Apr s avoir d fini la compr hension de l crit et avoir fait tat de l ensemble des principes sur les quels nous nous sommes fond s pour laborer cette d finition il importe de fixer un cadre conceptuel afin d organiser ce domaine Cette organisation doit tenir compte de la facon de pr senter les scores qui r sulteront de l administration de la batterie d preuves de lecture C est une question importante car la facon dont est organis le domaine peut affecter la conception des tests Des travaux de recher che sugg rent que la lecture n est pas une comp tence isol e unidimensionnelle et que par cons quent la compr hension de l crit ne peut tre repr sent e de facon appropri e par une chelle unique ou par un seul r sultat sur cette chelle D terminer le nombre et les caract ristiques des chel les qu il y aura lieu d utiliser pour pr senter les scores de compr hension de l crit constitue un point crucial il faut s assurer qu un nombre suffisant d items sont d velopp s pour d finir et interpr ter ces chelles de mani re ad quate On peut envisager diff rentes perspectives pour organiser les chelles Le plus facile consisterait se fonder sur les travaux ant rieurs de m me nature men s aux niveaux national et international Le programme am ricai
191. t promouvoir les r formes de l enseignement et l am lioration du fonctionnement des ta blissements scolaires en particulier dans les cas o des tablissements ou des syst mes d enseigne ment dot s de ressources comparables obtiennent des r sultats sensiblement diff rents Qui plus est ils fourniront une base partir de laquelle il sera possible de mieux valuer et observer de mani re sui vie l efficacit des syst mes ducatifs l chelon national OCDE 1999 Mesurer les connaissances et comp tences des l ves Qu est ce que le Programme international de l OCDE pour le suivi des acquis des l ves PISA Br ve pr sentation de ses principales caract ristiques Donn es fondamentales s agit d une valuation standardis e l chelon international dont les instruments sont d velop p s conjointement par les pays y prenant part et sont administr s dans les coles des groupes d l ves ag s de 15 ans L valuation est r alis e dans 32 pays dont 28 sont Membres de l OCDE En r gle g n rale entre 4 500 et 10 000 l ves seront test s dans chaque pays Domaines d application Le PISA recouvre 3 domaines les comp tences en lecture les comp tences en math matiques et les comp tences en sciences Le PISA vise d finir chaque domaine non seulement du point de vue de la maitrise des savoirs scolaires mais aussi du point de vue de connaissances et d aptitudes qu il est
192. t acquises la fin de la scolarit obligatoire le programme OCDE PISA examine le degr de pr paration des jeunes gens la vie adulte et dans une certaine mesure l efficacit des syst mes ducatifs Son ambition est d valuer le niveau de formation des l ves par rapport aux objectifs sous jacents des syst mes ducatifs tels qu ils sont d finis par la soci t et non par rapport l enseignement et l acquisition d un ensemble de connaissances est n cessaire de proc der des valuations de ce type qui tiennent v ritable ment compte de la r alit si l on veut inciter les tablissements scolaires et les syst mes ducatifs se pr occuper des d fis de l poque moderne Aspects sur lesquels porte l valuation dans chaque domaine Le tableau 1 pr sente de mani re succincte la structure de chacun des trois domaines sur lesquels porte le programme OCDE PISA en donnant une d finition de chacun d eux et en d crivant les dimen sions qui structurent les items pr vus dans les tests Les d finitions donn es pourles trois domaines mettent l accent sur les connaissances et les com p tences fonctionnelles qui permettent de participer activement la vie de la soci t Une telle partici pation exige davantage qu tre simplement m me d ex cuter des taches impos es de l ext rieur par un employeur par exemple Elle exige galement que l on poss de les aptitudes n cessaires pour prendre part aux proc
193. t de faire des inf rences sur les inten tions de l auteur et d identifier les l ments lui permettant d inf rer ces intentions illustrent galement cet aspect de la compr hension D autres exemples de questions caract ristiques relevant de cet aspect sont inf rer la significa tion partir du contexte identifier les motivations ou les intentions d un personnage pr cis ou identi fier une cause et son effet d R fl chir sur le contenu d un texte R fl chir sur le contenu d un texte requiert que le lecteur relie des informations qu il a trouv es dans le texte aux connaissances qu il d tient en provenance d autres sources ou qu il value les affirmations nonc es dans le texte par rapport sa propre connaissance du monde Dans de nombreuses situations les lecteurs sont appel s justifier et d fendre un point de vue Pour ce faire ils doivent tre capables de d velopper une compr hension de ce qui est dit et sous entendu dans un texte et confronter cette repr sentation mentale leurs propres connaissances et convictions bas es sur des informations ant rieures ou des informations provenant d autres textes Ils doivent faire appel des l ments de preuve contenus dans le texte et les confronter d autres sources d informations en utilisant des connaissances g n rales et sp cifiques tout comme leur aptitude raisonner de mani re abstraite Cet aspect de la compr hension exige un haut niveau d apti
194. t Linnakyl 1997 En r ponse au texte le lecteur construit du sens en utilisant ses connaissances ant rieures et une s rie d indices li s au texte et la situation qui sont souvent partag s parles membres de sa culture ou de sa soci t Pour construire du sens le lecteur utilise divers proces sus comp tences et strat gies servant alimenter r guler et maintenir sa compr hension On peut s attendre ce que ces processus et ces strat gies soient variables en fonction des contextes et des objectifs que poursuivent les lecteurs lorsqu ils interragissent avec divers types de textes continus et non continus Deux enqu tes internationales r centes sur la lecture l enqu te Reading Literacy Study conduite par l Association internationale pour l valuation du rendement scolaire IEA RLS et l Enqu amp e internationale sur la litt ratie des adultes entreprise conjointement par l OCDE et Statistique Canada EILA ont gale ment soulign la nature fonctionnelle de la lecture Dans l enqu te de l IEA la compr hension de l crit est d finie comme l aptitude comprendre et utiliser les formes crites de la langue qui sont requises par la soci t et ou qui sont valo ris es par l individu L E nqu te internationale sur la litt ratie des adultes EILA a de m me mis l accent sur le c t fonctionnel de la lecture en insistant particuli rement sur son r le dans le d veloppement de l individu et de la soci
195. t emphase relatant des actions et des v nements d un point de vue subjectif Les rapports pr sentent les changements survenus d un point de vue objectif relatant des actions et des v nements qui peuvent tre v rifi s par d autres personnes Les articles d actualit s sont cens s permettre aux lecteurs de se forger leurs propres opinions sur les faits et les v nements relat s sans tre influenc s par les opinions personnelles du jour naliste 3 Le texte informatif est un type de texte dans lequel l information se pr sente sous la forme d un ensemble de concepts ou de constructs voir note 1 p 19 mentaux ou sous la forme d l ments constitutifs de ces concepts et constructs Le texte fournit une explication sur la facon dont ces composantes s associent pour former un tout significatif et r pondent souvent la question comment Les essais informatifs foumissent une explication simple des concepts constructions mentales ou conceptions d un point de vue subjectif Les d finitions expliquent de quelle facon les termes ou les noms sont reli s aux concepts men taux En montrant ces interrelations la d finition explique la signification des mots Les explications sont une forme d expos analytique utilis e pour expliquer comment un concept mental peut tre reli des mots ou des termes Le concept esttrait comme un tout compos ite qui peut tre compris en tant d compos en l men
196. t et T Williams dir pub Reading Literacy in the International Perspectives U S Department of Education National Center for Education Statistics Washington DC pp 63 100 TRAUB R E 1993 On the equivalence of the traits assessed by multiple choice and constructed response tests in R E Bennett dir pub Construction vs Choice in Cognitive M easurement Issues in Constructed Response Performance Testing and Portfolio Assessment Lawrence Erlbaum Associates Hillsdale NJ pp 29 44 TRAVERS K J et WESTBURY 1989 ThelEA Study of M athematics Vol 1 Analysis of mathematics curricula Pergamon Press Oxford TREFFERS A 1986 Three Dimensions Reidel Dordrecht TREFFERS A et GOFFREE F 1985 Rational analysis of realistic mathematics education in L Streefland dir pub Proceedings of the Ninth International Conference for the Psychology of M athematics Education PM E OW et OC Utrecht pp 79 122 UNESCO 1993 International Forum on Scientific and Technological Literacy for All Final Report UNESCO Paris WARD W C DUPREE D et CARLSON S B 1987 A Comparison of F ree response and M ultiple choice Questions in the Assessment of Reading Comprehension RR 87 20 Educa tional Testing Service Princeton NJ WERLICH E 1976 A Text Grammar of English Quelle and Meyer Heidelberg ZIMAN J M 1980 Teaching and Learning about Science and Society Cambridge University Press
197. t regagn le fond de la mer et le m me cycle a recommenc depuis le d but selon un rythme tr s r gulier Au bout d une heure le phoque tait a au fond b entrain de remonter a la surface c entrain de respirer d entrain de redescendre vers le fond devin e et qu il n est pas n cessaire de pr voir des distracteurs qui pourraient influencer le construct valuer Par exemple dans le probl me de la figure 11 il n y a qu une r ponse correcte et de multiples r ponses incorrectes possibles Figure 11 Exemple d item avec une r ponse correcte et de nombreuses r ponses incorrectes Tepla Loroupe a remport le marathon de Rotterdam en 1998 C tait facile dit elle le parcours tait plut t plat Ci dessous vous voyez un graphique des d nivellations dans le parcours du marathon de Rotterdam D NIVELLATIONS DANS LE PARCOURS en m tres par rapport au point de d part HOOGTEVERSCHILLEN IN HET PARCOURS Quelle tait la diff rence d altitude entre le point le plus lev et le point le plus bas de la course Les items ouverts r ponse construite Ces items sollicitent une r ponse plus longue de la part de l l ve valu et le processus d labo ration de la r ponse est susceptible de mettre en jeu des activit s d ordre plus lev Ces questions requi rent souvent de l l ve non seulement qu il fournisse une r ponse mais qu il montre aussi les tapes de s
198. tation des r sultats il faut les rendre op rationnelles Cela signifie qu il faut sp cifier les diverses valeurs que peut prendre chacune de ces caract ristiques Cela permettra aux concepteurs d items de classer par cat gories les supports crits avec lesquels ils tra vaillent et les questions qu ils laborent afin qu on puisse ensuite les utiliser pour organiser la pr sen tation des donn es et l interpr tation des r sultats Ces variables peuvent galement servir sp cifier quel poids doit tre donn dans le test chacune des cat gories Le r le exact des variables lors de l interpr tation est bien videmment une question empirique mais elles ne peuvent jouer aucun r le si elles ne sont pas int gr es d s le d part dans la conception du test Situations La notion de situation se r f re davantage l usage auquel l auteur destine son texte qu aux cir constances dans lesquelles le texte est effectivement lu Certes il est dans notre intention d valuer les types de lecture associ s l cole comme ceux qui prennent place en dehors de l cole cependant la facon dont est sp cifi e la situation ne peut se borner indiquer l endroit o se d roule l activit de lecture Par exemple les manuels sont lus aussi bien l cole qu la maison et il est probable que les processus et les objectifs de la lecture se diff rencient tr s peu d un endroit l autre De m me ainsi que l a d montr Hubbard 1989
199. technique du terme Il constitue plut t le reflet des opinions contemporai nes sur la lecture les l ves sur le point de quitter l enseignement secondaire devraient tre capables de construire du sens partir de ce qu ils ont lu d tendre leur interpr tation et de r fl chir sur la signi fication de ce qu ils lisent dans les divers types de textes continus et non continus qu ils peuvent com mun ment rencontrer dans un large ventail de situations tant l cole qu en dehors de l cole D finition du domaine Les d finitions de la lecture et de la compr hension de l crit ont volu dans le temps parall le ment aux changements de soci t d conomie et de culture Le concept d apprentissage et particuli rement le concept d apprentissage tout au long de la vie ont fait voluer les opinions et les attentes vis vis de la lecture Celle ci n est plus seulement consid r e comme une aptitude que l on acquiert dans l enfance durant les premi res ann es de scolarit mais plut t comme un ensemble de connais sances de comp tences et de strat gies en perp tuelle volution que les individus laborent au fil de leur vie dans divers contextes et en interaction avec leurs pairs Les conceptions de la compr hension de l crit fond es sur les sciences cognitives mettent l accent sur la nature interactive de la lecture et la nature constructive de la compr hension Bruner 1990 Dole amp al 1991 Binkley e
200. th matiques La d finition ne devrait donc pas tre per ue comme tant limit e au seul usage fonctionnel des math matiques En fait les dimensions esth tique et r cr ative des math matiques sont int gr es dans la d finition de la culture math matique OCDE 1999 49 Mesurer les connaissances et comp tences des l ves Vie pr sente et future Les termes vie pr sente et future de l individu comprennent sa vie priv e professionnelle et sociale avec son entourage et ses proches ainsi que sa vie en tant que citoyen et membre d une collectivit Au coeur m me de la notion de culture math matique se trouve la capacit de poser de formuler et de r soudre des probl mes math matiques dans des domaines et des contextes tr s divers depuis des situations purement math matiques jusqu celles qui ne pr sentent au d part aucune structure math matique celle ci devant tre introduite par la personne qui pose ou r sout le probl me Il faut galement insister sur le fait que cette d finition n inclut pas uniquement un niveau de connaissances math matiques minimal mais qu elle s applique aussi l utilisation des math matiques dans toute une s rie de situations Des attitudes et des affects tels que la confiance en soi la curiosit l int r t la sagacit l envie d agir et de comprendre le monde pour n en citer que quelques uns ne sont pas des composantes proprement dites de la d finition de la c
201. tions initiales bas es sur l exp rience pass e et la recherche sur l apprentissage ainsi que sur le d veloppement cognitif en math matiques voluent gr ce aux r sultats des essais pilotes r alis s durant le projet PISA Le choix d chelles pour l tude mineure de la culture math matique doit encore tre fait Les choix les plus vidents consistent pr senter les scores sur i une chelle unique pour la culture math matique ii une chelle s par e pour chacune des id es majeures ou iii une chelle s par e pour cha cune des trois classes de comp tences Le choix entre ces trois alternatives se fera apr s l analyse des donn es de l essai de terrain Les r sultats de l tude OCDE PISA seront plus informatifs si au moins pour quelques items des notes sont donn es non seulement pourles bonnes r ponses mais aussi selon les diff rentes strat gies utilis es par les l ves On ne devrait pas tre surpris si par exemple les l ves de deux pays diff rents avaient le m me score sur l chelle de culture math matique mais diff raient grandement dans la facon dont ils avaient atteint ce niveau de culture math matique dans un pays les l ves peuvent se fier davantage aux strat gies formelles et aux routines alors que dans un autre des strat gies plus infor melles et de bon sens sont peut tre plus employ es OCDE 1999 Mesurer les connaissances et comp tences des l ves Autres questions Lie
202. tout en maintenant la stabilit financi re et contribuer ainsi au d veloppement de l conomie mondiale contribuer une saine expansion conomique dans les pays Membres ainsi que les pays non membres en voie de d veloppement conomique contribuer l expansion du commerce mondial sur une base multilat rale et non discrimina toire conform ment aux obligations internationales Les pays Membres originaires de l OCDE sont l Allemagne l Autriche la Belgique le Canada le Danemark l Espagne les Etats Unis la France la Gr ce l Irlande l Islande l Italie le Luxembourg la Norv ge les Pays Bas le Portugal le Royaume Uni la Su de la Suisse et la Turquie Les pays suivants sont ult rieurement devenus Membres par adh sion aux dates indiqu es ci apr s le Japon 28 avril 1964 la Finlande 28 janvier 1969 l Australie 7 juin 1971 la Nouvelle Z lande 29 mai 1973 le Mexique 18 mai 1994 la R publique tch que 21 d cembre 1995 la Hongrie 7 mai 1996 la Pologne 22 novembre 1996 et la Cor e 12 d cembre 1996 La Commission des Communaut s europ ennes participe aux travaux de l OCDE article 13 de la Convention de l OCDE Also available in English under the title MEASURING STUDENT KNOWLEDGE AND SKILLS A New Framework for Assessment Cr dit photo PIX Denis Boissavy OCDE 1999 Les permissions de reproduction partielle usage non commercial ou destin e une formation doivent
203. trouver l information d velopper une interpr tation r fl chir sur le contenu d un texte r fl chir sur les qualit s formelles d un texte Cela signifie qu il y aura soit deux soit cinq chelles de r sultats en lecture en plus de l chelle globale de compr hension de l crit Autres questions Plusieurs autres questions relatives la mani re dont la compr hension de l crit sera d finie et mesur e dans le cadre de ce test doivent tre abord es Trois d entre elles ont trait au questionnaire contextuel auquel les l ves doivent r pondre deuxautres concernent les rapports avec d autres tests Ces questions sont abord es ci dessous Probl matique du questionnaire Plusieurs des volets de l tude envisag e se pr tent bien mieux une collecte de donn es par questionnaire que par une preuve par test L un de ces volets est le recueil d informations sur les pra tiques et les centres d int r t en lecture le second porte sur certains aspects m tacognitifs le troisi me a trait au r le de la technologie dans la vie des l ves participant l tude OCDE PISA Pratiques de lecture et int r t pour la lecture A l instar d autres enqu tes grande chelle sur la lecture Conseil des ministres de l ducation du Canada 1994 Elley 1992 Jones 1995 Smith 1996 Taube et Mejding 1997 le questionnaire contex tuel OCDE PISA comprendra un ensemble de questions destin es valuer les pratiques de l
204. ts 17 Les questionnaires contextuels et leur utilisation 18 Le programme OCDE PISA instrument volutif 4 seen 20 Elaboration du programme OCDE PISA et de ses plans d valuation Une initiative concert e 21 Chapitre 1 La compr hension de l crit 23 D finition du domaine uite tee eee tiet e etai eti edad ede eric dns 23 Organisation du domaine et caract ristiques des preuves 25 Structure des preuves Vell Mal ofi casetas umet tosh anticae 41 Echelles des FES LBS se sean sue reda E 44 Autres quesElOTis aeter det ib iR e OR E ER ide 44 Chapitre 2 La culture math matique 49 D finition du domiairie 2e terere dt e dition dene ede ate see ede e e euet 49 Organisation du domaine essent 50 Caract ristiques des preuves 59 Structure des tests dS VdlUatf fisu capnt bisdotiu dot rent 64 Echelles OSES UME oce ere salads 65 Autres QUESTIONS rece etse Ea dta AE ete ene Eds 66 Chapitre 3 La culture scientifique 67 D finitiondu domalle s xa e RU E ds 67 Organisation du domallie tee ec erp etl tr e 69 Car
205. ts constituants et leurs interrelations chacun d entre eux recevant un nom 4 Le mod le de Kirsch et Mosenthal a t pr sent en d tail dans une s rie d articles mensuels intitul s Understanding Documents parus entre 1990 et 1992 dans le Journal of Reading 5 Ce paragraphe se base sur le travail de Werlich 1976 A noter que la cat gorie hypertexte ne rel ve pas du 30 sch ma de Werlich OCDE 1999 La compr hension de l crit Les r sum s sont une forme d expos synth tique utilis e pour expliquer et communiquer des informations propos de textes sous une forme plus courte que le texte original Les proc s verbaux sont des rapports plus ou moins officiels des r sultats de r unions ou de communications Les interpr tations de texte sont une forme d expos s la fois analytique et synth tique utilis s pourexpliquer les concepts abstraits qui sont contenus dans un texte particulier fictionnel et non fictionnel ou dans un groupe de textes 4 Le texte argumentatif est un type de texte qui pr sente des propositions relatives aux rapports entre des concepts ou d autres propositions Les textes argumentatifs r pondent souvent la question pourquoi Une autre sous cat gorie importante des textes argumentatifs est celle des textes persuasifs Le commentaire tablit un lien entre les concepts relatifs des v nements des objets et des id es et un syst me personnel
206. ts en fonction de diverses caract ristiques des l ves Bien que la lecture les math matiques et les sciences soient des mati res scolaires les valua tions de l OCDE n auront pas pour objet essentiel d examiner la mesure dans laquelle les l ves ont acquis la maitrise de contenus sp cifiques de l enseignement Leur but principal est plut t d valuer la mesure dans laquelle les jeunes ont acquis dans ces domaines les connaissances et les aptitudes dont ils auront besoin dans leur vie adulte C est pourquoi l valuation de comp tences transversales fait partie int grante du programme OCDE PISA Les principales raisons pour lesquelles il a t d cid de situer l valuation dans cette perspective large sont les suivantes Tout d abord bien que l acquisition de connaissances sp cifiques soit une composante essen tielle de l apprentissage scolaire l application de ces connaissances dans la vie adulte d pend norm ment de l acquisition par l individu de notions et d aptitudes plus vastes S agissant de la lecture interpr ter des documents crits et r fl chir surle contenu et la qualit de textes consti tuent des aptitudes fondamentales En math matiques tre capable de raisonner en termes quantitatifs et de concevoir des relations de d pendance ou des correspondances est plus important que de savoir r pondre aux questions figurant habituellement dans les carnets de tests lorsqu il s agit de faire preuve de c
207. tu es Sont galement d crits le contexte dans lequel s inscrivent les valuations PISA ainsi que les contraintes auxquelles celles ci sont soumises OCDE 1999 LA STRUCTURE DU PROGRAMME OCDE PISA 2000 Structure g n rale du programme OCDE PISA Les valuations que r alisera l OCDE en l an 2000 porteront sur les comp tences en lecture en math matiques et en sciences Les l ves r pondront galement un questionnaire contextuel et des informations compl mentaires seront recueillies aupr s des autorit s scolaires Les premi res valua tions de l OCDE seront effectu es en 2000 et leurs r sultats seront disponibles partir de 2001 Trente deux pays dont 28 pays Membres de l OCDE pr voient de prendre part aux valuations OCDE PISA Ensemble ces pays repr sentent plus du quart de la population mondiale soit une popu lation sup rieure celle jamais prise en compte jusqu ici dans une valuation internationale touchant l ducation L objectif du programme OCDE PISA tant d valuer le rendement cumul des syst mes ducatifs un age auquel la scolarisation est quasiment universelle l valuation sera centr e sur les l ves de 15 ans inscrits la fois dans les fili res d enseignement scolaire et les fili res d enseignement profes sionnel Entre 4 500 et 10 000 l ves seront en g n ral test s dans chaque pays ce qui permettra de disposer d un chantillon suffisant partir duquel ventiler les r sulta
208. tuations qui d passent le cadre du laboratoire scolaire ou de la salle de classe Savoir si cela constituera un l ment nouveau pour les l ves d pen dra de l importance accord e par le programme scolaire auquel ils ont t expos s l application des concepts et d marches scientifiques dans le monde r el Par rapport aux domaines d application des sciences le tableau 11 montre que parmi les trois prin cipaux groupes l amplitude et l ventail de pourcentage de points attribu s sont les m mes Par rapport la s lection des situations PISA aspirera r partir les items de mani re homog ne entre les quatre situations suivantes personnelles publiques globales et historiques OCDE 1999 La culture scientifique Tableau 11 Distribution recommand e des points en fonction du champ d application Champs d application de la science 96 de points Sciences de la vie et de la sant 30 40 Sciences de laterre et de l environnement 31 40 Sciences de la technologie 32 40 Les situations repr sent es dans les taches seront simul es au moyen de mat riel de stimulus qui pourrait tre un court passage r dig accompagn d un tableau d un graphique ou d un diagramme Les items seront constitu s d un ensemble de questions corrig es ind pendamment les unes des autres et faisant appel aux comportements d crits dans la figure 19 A noter que chacun de ces compor tements implique la capacit de comprendre les concepts
209. tude m tacognitive Les lecteurs doi vent r guler leur raisonnement et leurs r actions par rapport au texte tout en mettant l preuve des mod les mentaux potentiels Pour r pondre aux exigences de ce type de t ches il faut faire appel des informations pertinentes et les organiser d une facon coh rente Parmi les t ches repr sentatives de cette cat gorie de traitement citons fournir des l ments probants ou des justifications ne provenant pas du texte valuer la pertinence de certaines informa tions ou donn es tablir des comparaisons avec des normes morales ou esth tiques standards On peut demander l l ve test de proposer ou d identifier une autre information susceptible de confir mer le point de vue de l auteur ou bien d valuersi l information ou le fait fourni dans le texte sont des preuves suffisantes Les informations externes mettre en rapport avec l information textuelle peuvent provenir des connaissances du lecteur ou bien d autres textes fournis dans l valuation ou encore d id es explicite ment fournies dans la question e R fl chir sur la forme et la structure d un texte Les t ches de cette cat gorie demandent au lecteur de se tenir distance du texte et de le consi d rer avec objectivit d valuer ses qualit s et sa pertinence Ces t ches incluent l valuation critique ainsi que l appr ciation de l impact suscit par certaines caract ristiques du texte comme l ironie
210. u programme OCDE PISA est de mesurer la compr hension de l crit non seulement dans un contexte scolaire mais aussi dans une vari t d autres situations dans la mesure o l valuation vise tablir si les l ves de l ge cibl sont pr par s entrer dans le monde du travail et jouer un r le actif en tant que membres de leur communaut Une autre mani re encore d organiser et de situer internationalement les niveaux de compr hen sion de l crit des l ves consiste utiliser un sch ma bas surle type de contenus des preuves une des distinctions qui a t propos e est textes caract re technique par opposition textes relatifs aux sdences humaines Une autre modalit de structuration pourrait se fonder sur des aspects de la lecture tels que comprendre globalement un texte trouver l information d velopper une interpr tation r fl chir sur le contenu d un texte r fl chir sur la structure et la forme d un texte La compr hension approfondie d un texte implique que les lecteurs sont engag s dans tous les aspects de la lecture Langer 1995 et cela constitue un sch ma d organisation majeur dans le cadre du d veloppement des taches destin es cette enqu te Il y a tout lieu de penser que le programme OCDE PISA d valuation de la compr hension de l crit va fournir une riche moisson de donn es partir desquelles une d cision sera prise sur la fa on la plus efficace de rendre
211. ulture math matique N anmoins ce sont des pr requis importants Il est possible en principe d avoir une culture math matique sans pour autant poss der les attitudes et affects mentionn s ci dessus En pratique il est cependant peu probable qu une per sonne fasse v ritablement usage de sa culture math matique telle qu elle est d finie ici si elle n a pas un certain degr de confiance en elle un int r t et un d sir d accomplir ou de comprendre des choses poss dant une dimension math matique Organisation du domaine Dans le cadre du projet OCDE PISA il est utile d identifier un certain nombre d aspects de la culture math matique Le projet OCDE PISA a utilis deux aspects majeurs et deux aspects mineurs pour organiser le domaine Les aspects majeurs sont les comp tences math matiques et les id es math matiques majeures Les aspects mineurs sont les domaines math matiques enseign s et les situations et les contextes Les aspects majeurs servent d terminer le champ d application de l valuation et d crire les comp tences La fonction des aspects mineurs est d assurer une bonne couverture du domaine et d quilibrer l ventail d preuves d valuation s lectionn es est important de noter que ces quatre aspects ne doivent pas tre combin s de sorte ne former qu un seul sch me de classification Deux des aspects savoir les id es math matiques majeures et les dom
212. ulture math matique est valu e en fonction des aspects suivants Premi rement le contenu des math matiques essentiellement d fini en termes d id es math matiques majeures le hasard les variations et la croissance l espace et les formes le raisonne ment quantitatif l incertitude et les relations de d pendance et ensuite seulement par r f rence aux domaines enseign s par exemple les nombres l alg bre et la g om trie Un ensemble repr sentatif et non la totalit des principaux concepts qui sous tendent le raisonne ment math matique a t retenu aux fins du programme OCDE PISA Dans le cadre du premier cycle d valuation dans lequel les math matiques constituent un domaine mineur le nombre de ces concepts a t encore r duit et seules deux id es majeures ont t retenues les variations et la croissance et l espace et les formes Ce choix permet de prendre en consid ration de nombreux aspects des programmes d enseignement sans que l on ait accorder d impor tance excessive aux comp tences relatives aux nombres Deuxi mement la d marche math matique d finie en termes de comp tences g n rales en math matiques Parmi celles ci figurent l utilisation du langage math matique la capacit de mod lisation etla capacit de r soudre des probl mes OCDE 1999 La structure du programme OCDE PISA 2000 Il n est cependant pas question d valuer ces comp tences
213. ures et o figurent dans les cellules les cours qui sont propos s une certaine heure un certain jour cela permet aux tudiants de rep rer ais ment quels sont les cours qui ne se chevauchent pas dans le temps Sur une liste crois e les cellules sont toutes d un type simple intitul s de cours programmes t l vis s etc De nombreux tableaux statistiques sont des listes croi s es Par exemple un tableau o figurent les taux de ch mage des grandes villes pr sentera probablement les villes dans les rang es les diverses dates dans les colonnes et dans les cel lules le taux de ch mage relev pour une ville au cours d une p riode d termin e Le tableau peut tre destin comparer les diff rences de taux de ch mage selon les dates dans ce cas il aura plusieurs colonnes chacune repr sentant une p riode diff rente mois ann es etc Les listes embo t es consistent en un ensemble de listes combin es Ainsi dans certaines listes crois es les cat gories en colonnes par exemple les jours de la semaine ne se trouvent pas seulement en intersection avec les rang es par exemple les heures mais aussi avec une qua tri me liste par exemple celle des divers d partements d une universit Dans une v ritable liste emboit e le m me type de cat gories doit tre utilis pour chacune des listes en inter section La liste crois e des taux de ch mage peut comporter des entr es s par es pour c
214. valuation et de la communication des r sultats observ s Le programme OCDE PISA utilise quatre crit res pour d terminer le choix des concepts scientifi ques valuer Le premier d entre eux est la pertinence par rapport des situations de tous les jours Les concepts se distinguent par leur degr d utilit dans la vie quotidienne Par exemple bien que la th orie de la relativit fournisse une description plus pr cise des rapports entre longueur masse temps et vitesse que les lois de Newton ces derni res sont plus utiles dans des aspects de la vie quotidienne touchant aux notions de forces et de mouvements Le deuxi me crit re rel ve de la dur e les concepts et les contenus choisis doivent demeurer pertinents au cours de la prochaine d cennie et au del En tenant compte du fait que la campa gne de test o l accent majeur sera mis sur les sciences est planifi e pour l an 2006 le premier cycle de PISA s int ressera essentiellement aux concepts susceptibles de conserver durablement leurimportance dans les sciences et dans les politiques publiques Le troisi me crit re de choix est la pertinence par rapport des contextes identifi s comme tant ceux o l l ve doit pouvoir faire preuve de culture scientifique Le quatri me crit re est que les concepts retenus puissent tre utilis s en combinaison avec les d marches scientifiques qui ont t s lectionn es Cela ne serait pas le cas dans de
215. vous aller la biblioth que etc On demande par ailleurs l l ve d indiquer ses pr f rences en mati re d activit s de loisirs en comparant la lecture d autres activit s t l vision musique sorties jeux vid o etc Les r ponses ce genre de questions pourraient s av rer moins sujettes aux effets de d sirabilit que l on observe souvent dans les valuations des pratiques de lecture M tacognition Plusieurs tudes ont montr une corr lation entre les connaissances m tacognitives et les perfor mances en lecture chez les jeunes lecteurs Ehrlich Kurtz Costes et Loridant 1993 Ehrlich 1996 Elles ont mis en vidence chez les lecteurs des variations dans la compr hension du concept de lecture dans les buts et objectifs de la lecture dans les strat gies destin es la compr hension et dans la d tection des incoh rences Ces variations concernent les deux composantes de base de la m tacognition les connaissances m tacognitives des l ves et la r gulation de la m tacognition La premi re composante a trait chez le lecteur la capacit de r fl chir ses propres processus cognitifs et comprend le fait de savoir quand comment et pourquoi accomplir diff rentes activit s cognitives La seconde composante la r gulation concerne l utilisation de strat gies qui permettent au lecteur de contr ler ses efforts cognitifs Baker 1991 L int r t de la mesure de la m tacognition dans le cad

mesurer les connaissances et compétences des élèves

Contents

Download Pdf Manuals

Related Search

Related Contents

mesurer les connaissances et comp&eacute;tences des &eacute;l&egrave;ves

Contents

Download Pdf Manuals

Related Search

Related Contents

mesurer les connaissances et compétences des élèves