Le niveau d`huile, le moteur et la voiture - Education.gouv
Contents
1. Y a t il un enjeu de l valuation de la qualit de l enseignement par les indicateurs La question peut tonner car elle tablit un lien entre trois l ments dont la port e et la d finition ne sont pas clairement d finies l valuation de l enseignement la qualit de l enseignement et les indicateurs de l enseignement Ces derniers sont en soi un outil d analyse du fonctionnement d un syst me l valuation grosso modo est une proc dure d examen rationnel des r sultats qui aboutit la formulation d une appr ciation en vue de prendre une d cision la qualit un tat de l enseignement un produit et ou une d marche par rapport un seuil d appr ciation pr tabli conventionnel ou arbitraire Ces trois l ments ne sont pas en soi compl mentaires et ne s int grent pas automatiquement l un dans l autre Leurs caract ristiques et leurs configurations ont vari dans le temps Leur usage dans une quation unique ne va donc pas de soi ELEELE OLEIS Le niveau d huile le moteur et la voiture les enjeux d une valuation de la qualit de l enseignement par les indicateurs Cet article est d j paru dans ducation et Soci t n 18 INRP 2006 2 Norberto Bottani Consultant ind pendant norberto bottani oxydiane net convient donc de sp cifier la nature du lien entre indicateurs valuations et qualit de l ensei gnement avant de d terminer quelles conditions les ind2. cole Meuret discute les effets de la production de ces indicateurs sur le d bat autour de l ducation en France et constate qu il est assez facile de s aperce voir que le d bat sur l ducation en France porte depuis dix ans sur des th mes qui ne sont pas abord s dans la brochure Force est de constater que la production d ensemble d indi cateurs per se n engendre pas des changements dans les politiques de l ducation II n y a pas de retomb es automatiques imputables une plus grande transparence sur la nature et le fonctionnement du syst me d en seignement une production abon dante de donn es une am liora tion de la qualit des informations Le syst me peut rester imperm able ces changements ou ces efforts comme le constate Meuret Il ne faut donc pas se faire des illusions sur la valeur des indicateurs et l impor tance qui leur est attribu e dans le domaine de la politique de l duca tion C est la politique qui se sert des 20 indicateurs et des valuations et non les indicateurs ou les valuations qui conditionnent ou d terminent les politiques Parfois les int r ts des uns se rencontrent avec ceux des autres mais cette co ncidence est plus le fruit du hasard ou de la volont du pouvoir que d une strat gie d lib r e d mocratiquement en vue de l am lioration des syst mes d enseigne ment Une meilleure connaissance du syst me n est pas en soi un avatar de cha
3. ensuite il faudrait v rifier si ces corr lations sont ou ne sont pas causales en troisi me lieu construire une th o rie expliquant comment fonctionne la connexion causale et la mettre l preuve dans des situations r elles La premi re tape consisterait donc voir s il y a des corr lations entre ces trois param tres la deuxi me tablir la nature de ces corr lations causale ou pas pour aboutir enfin une th orie des indicateurs de l enseignement au service de l va luation Je fais l hypoth se qu il n y a pas de corr lations causales entre les indicateurs de l enseignement et l valuation d un syst me d enseigne ment et que le dispositif d labora tion des indicateurs n est pas en soi un l ment constitutif d une th orie de l valuation des syst me d en seignement mais je ne peux pas ici confirmer cette hypoth se avec des preuves car ce travail pr suppose une longue analyse et aussi parce que les informations pour effectuer cette d monstration sont encore lacunaires Je me bornerai donc dans le cadre de cet article poser quelques jalons pour un travail venir LA DONNE DU PROBL ME Le macrosyst me d enseignement Pour tenter de clarifier cette ques tion il est indispensable de d limiter le champ d application de l valuation de l enseignement celui ci tant tr s vaste l enseignement en classe L enseignement d une discipline Le d veloppement d une co
4. cideurs des informa tions robustes et comparables sur l tat des syst mes d enseignement au sens large y inclus donc le secteur ducation amp formations n 78 novembre 2008 priv Les donn es comparables sur les acquis des l ves n y avaient pas une place dominante Dans la version pr liminaire de Regards sur l duca tion pr sent e en 1991 sous forme de rapport non imprim et discut e lors d une r union internationale des pro ducteurs des indicateurs et des d ci deurs organis e Lugano en septem bre 1991 il n y avait aucun indicateur sur les acquis des l ves et les r sul tats des l ves en termes de connais sances C est la suite d un intense d bat opposant d cideurs politiques et scientifiques au cours des r unions pl ni res Lugano que les pays mem bres donn rent mandat l OCDE de r viser le prototype d ensemble d indi cateurs pour y inclure une section sur les acquis des l ves en utilisant les donn es tr s fragment es qui taient ce moment l disponibles sur le plan international On retiendra de cette troisi me phase deux points de rep re pour notre sujet Tout d abord en aucun cas la production d indicateurs n a t associ e l valuation de la qualit de l enseignement La pr occupation prioritaire tait de disposer de rensei gnements s rs relatifs des enjeux cruciaux pour les d cideurs politiques qui devaient g rer d un c t les r pe
5. ga lement bilingue est de 300 pages le troisi me produit en 1995 est monolingue un volume en fran ais et un en anglais et chaque volume comporte 370 pages 21 Le titre de la s rie a subi de l g res modifications mais grosso modo le concept est rest stable dans le sens o il s agissait de produire une brochure d ana lyse politique de l ducation en partant des indicateurs 22 Dans la premi re version de 1996 les chapitres renvoient directement aux indicateurs du volume correspondant de Regards sur l ducation en les citant nom m ment Cette pratique a t abandonn e par la suite 23 La construction du test PISA et la mani re avec laquelle l OCDE a pr sent les scores ont facilit une exploitation simpliste des donn es cet effet voir les remarques critiques dans Bottani N et Vrignaud P 2005 La France et les va luations internationales Haut Conseil de l valuation de l cole Paris 24 La terminologie utilis e dans cette citation est propre l OCDE pour qui les syst mes d enseignement ne sont que des institutions nationales Dans ses analyses l OCDE r duit souvent implicitement les syst mes d enseignement aux dispositifs tatiques d enseignement ducation amp formations n 78 novembre 2008 aussi solide qu elle puisse l tre pour produire des indicateurs int grer dans un ensemble cens surveiller l tat et l volution des syst mes d enseignement Ce
6. projet INES International Indicators of Education Systems auxquelles a parti cip la totalit ou presque des person nes concern es au niveau mondial par la production d un ensemble internatio nal d indicateurs de l enseignement La derni re de ces manifestations a eu lieu en 1995 Lahti Finlande Depuis lors il n y a plus eu d Assembl e g n rale du projet des indicateurs internationaux de l enseignement Cette remarque n est pas cependant tout fait correcte d un point de vue formel car l OCDE a organis une quatri me Assembl e g n rale du projet INES en 2000 Tokyo mais cette rencon tre n avait que le nom d Assembl e g n rale car la participation par pays tait r duite des d l gations restreintes et les producteurs de donn es n y taient plus pr sents De ce fait plut t que d As sembl e g n rale Tokyo se d roula une Conf rence intergouvernementale selon les canons de l OCDE 13 C est le titre du recueil d indicateurs de l enseignement produit par l OCDE 14 Parmi les facteurs techniques qui ont contribu l am lioration des donn es on peut mentionner l adoption en 1997 par l UNESCO de la r vision de la CITE classification internationale type de l en seignement l extension de l emploi de la CITE dans le traitement des statistiques de l enseignement au niveau national et l adoption en 1995 d un questionnaire statistique commun l OCDE l UNESCO et l Eurostat 1
7. qui en g n ral prennent des d cisions en mati re d enseignement sur le champ sans d lais d attente ont besoin lorsqu ils adoptent une d marche clair e et souhaitent d ci der en connaissance de cause d un outil fournissant des informations chaud sur l efficacit des politiques de l enseignement qu ils mettent en uvrent ou qu ils pilotent La pression politique sur le groupe d experts pour qu il livre un ensemble op rationnel d indicateurs tait donc lev e Le NOTE 6 Ce centre est un consortium de recher ches sur la politique de l ducation au ser vice de l am lioration de l enseignement financ par le D partement am ricain de l ducation et regroupant la Rutgers University la Rand Corporation et l Uni versit du Wisconsin Madison groupe savait qu il ne pouvait pas d clencher un long d bat pr liminaire sur un mod le universel de syst me d enseignement car probablement on n aurait jamais abouti un accord et il opta donc pour une approche empi rique ax e sur l analyse des objectifs des politiques nationales d ducation Il parvint ainsi composer un ensem ble de 46 indicateurs qui toutefois n ont jamais t calcul s l ambition scientifique la base du projet tant disproportionn e par rapport aux moyens disponibles et par rapport aux int r ts des milieux gouvernementaux qui auraient d financer l op ration Les sp cialistes des sciences socia les n ont donc pas
8. s permet de mieux guider les d cideurs politiques dans les efforts qu ils d ploient pour am liorer l enseignement et mieux pr parer les jeunes faire leur entr e dans la vie adulte dans un monde en pleine mutation plac sous le signe de la mondialisation En m langeant dans une m me grille conceptuelle et dans un m me ensemble indicateurs con us pour observer l volution des syst mes d enseignement indicateurs concer nant les institutions de formation et les fournisseurs des services duca tifs indicateurs sur les curricula et l environnement ducatif l int rieur des institutions de formation ainsi que des indicateurs sur le rendement de l ducation l chelle individuelle que l OCDE d signe comme indica teurs sur les participants individuels aux activit s d apprentissage cette terminologie n est pas anodine f l OCDE tombe dans un pi ge qu elle a elle m me ouvert celui de la confu sion entre indicateurs et valuation Par ailleurs ce faisant l OCDE se fait conditionner par sa propre production de donn es sur les acquis des l ves y compris celles sur la litt ratie des adultes l autre grande enqu te internationale que l OCDE avait g r e entre 1994 et 1998 avec Statistiques Canada Deux probl mes se pr sentent ici le premier d j apparu au d but m me de cette histoire est celui de la formation des dirigeants des d cideurs et de la classe politique comprendre inte
9. crites dans le manuel du v hicule le garagiste quant lui a cherch la cause du d faut d nonc par le voyant Il a donc effectu une inter pr tation du signal enfin l entreprise qui a produit la voiture et qui tait donc responsable du syst me moteur a pris la d cision qui s imposait et a remplac ses frais le moteur Tout le long de cette proc dure personne n a exprim un jugement sur la qualit du moteur ou du v hicule L indicateur a attir l attention sur un dysfonctionnement qui s est r v l r el et grave mais cette insuffisance n a pas d bouch sur une valuation n gative ni du moteur ni du v hicule ni de la marque En effet un moteur un v hicule ou une marque s valuent avec d autres param tres qui ne sont pas seulement les indicateurs du tableau de bord Dans cet pisode le point cen tral est le niveau d huile au dessous duquel le voyant s allume c est dire le niveau d alerte fix par le fabricant L indicateur ne mesure que la quantit d huile dans le moteur et ne s allume que lorsque celle ci descend au dessous d un seuil d termin par le constructeur qui est le seuil de ris que de grippage du moteur Or c est le constructeur qui d termine o 11 placer le niveau d alerte qui consti tue le r f rentiel de l indicateur La responsabilit dans la construction des indicateurs ne revient qu aux responsables du syst me dans notre cas ceux du moteur
10. d crit en d tail la structure et l organisation du dispo sitif d valuation des connaissances des comp tences et des qualifica tions des jeunes quinze ans sans discuter le sens de ces informations sur le niveau de litt ratie des jeunes par rapport au fonctionnement des syst mes d enseignement M me si on suppose que les tests soient uni voques et non ambigus ce qui n est pas le cas m me si on admet qu ils se d roulent selon des proc dures strictes et donc comparables dans les diff rents syst mes d enseignement ce dont on peut douter on ne peut pas consid rer que leurs r sultats soient parfaitement comparables et soient un miroir fid le de la qualit d un syst me d enseignement Ces r sultats sont peut tre les meilleurs qu on peut obtenir l heure actuelle au niveau mondial avec ses rouages de financement et ses organisations internationales au sein desquels se d cident ces entreprises d valua tion mais ils ne sont pas parfaits et doivent tre trait s avec beaucoup de pr caution Cependant la question doit tre pos e de quoi ces tests sont ils un miroir Qu est ce que ces r sultats repr sentent Qu est ce qu on en peut inf rer Ces questions sugg rent qu il n est pas suffisant de b tir une base de connaissances NOTES 20 Le premier ensemble d indicateurs de l enseignement produits par l OCDE en 1992 est un volume bilingue de 150 pa ges le deuxi me produit en 1993
11. es d ordres diff rents et d unit s d analyses multiples il est ind niable que les d cideurs comme l affirme l OCDE souhaitent tre renseign s sur les connaissances et les comp tences des l ves de leur pays et savoir com ment ces acquis se comparent ceux des jeunes d autres pays document interne DEELSA ED CERI CD 97 24 Cependant le lien entre scores obtenus dans les tests des enqu tes 18 internationales sur les connaissan ces des l ves et le fonctionnement des syst mes d enseignement n est pas vident Par exemple la corres pondance entre les tests et les pro grammes d enseignement a t une pierre d achoppement permanente pour l IEA International Association for Evaluation of Educational Achievement qui n a jamais r ussi r soudre cette question et l OCDE a pr f r trancher dans le vif et renoncer d embl e construire des tests refl tant les contenus des programmes d enseignement Un groupe de travail de l OCDE interne au projet des indi cateurs internationaux le r seau A s est pench pendant quatre ans sur ces enjeux mais plut t que d analyser les relations entre valuation des l ves et programmes d enseignement il a tudi une strat gie pour collecter de mani re r guli re rapide et s re des donn es sur les acquis des l ves Le rapport livr en avril 1997 est le document fondateur du programme de l OCDE d valuation des acquis des l ves PISA On y
12. expos ne sera que celle des macrosyst mes d enseignement et les ensembles d indicateurs auxquels on fera r f rence ne seront que les ensembles d indicateurs con us pour ces syst mes comme par exemple le syst me d enseignement fran ais ou celui d un Land allemand comme la Bavi re ou d un canton helv tique comme Lucerne L valuation avec ou sans indicateurs Historiquement l valuation des syst mes d enseignement a anticip la mise sur pied d ensemble d indicateurs de l enseignement Par exemple l va luation des enseignants des coles ou d un d partement par les inspecteurs scolaires est une op ration qui pendant des d cennies s est effectu e sans indicateurs et qui probablement l o elle se fait encore continue se passer d indicateurs On est ici confront au cas d une valuation sans indicateurs Les inspecteurs expriment une appr ciation donc ils valuent en se servant de crit res ou de param tres propres au corps des inspecteurs et qui d cou lent d une repr sentation convenue de la bonne cole Les inspecteurs savent ou croient savoir ou pr tendent savoir ce que c est qu une bonne cole Leur appr ciation se base sur une connais sance pr existante de la qualit d une cole ils ont l intime connaissance de cette qualit ils poss dent ou croient poss der une connaissance holistique de la qualit d un microsyst me d en seignement comme par exemple une classe ou u
13. informations sur la charge de travail dans le but d obtenir des politiques plus favorables dans ces deux domai nes Ces pressions vraisemblablement seront proportionnelles ce qu on estime pouvoir perdre ou gagner avec les indicateurs Dans le m me ordre d id e on peut citer le rapport publi en 1988 par le consortium IEES Improving the Efficiency of Educational Systems sur les indicateurs d efficacit et d effi cience de l enseignement pr par par Douglas Windham L int r t de ce document sponsoris par l Agence am ricaine pour le d veloppement international AID consiste dans le fait qu il a t con u pour les pays en voie de d veloppement L outil propos un ensemble d indicateurs visait renforcer les capacit s de gestion de planification et de recher che en ducation des pays en voie de d veloppement dans le but d am lio rer les performances de leurs syst mes d enseignement Deux aspects m ritent ici d tre soulign s tout d abord la conception d un ensemble d indicateurs centr sur l efficacit et l efficience de l enseignement ensuite l application de l outillage indicateurs des syst mes d ensei gnement peu d velopp s La premi re de ces caract ristiques se retrouvera dans la phase successive de la mise en uvre des indicateurs de l ensei gnement qui sera centr e sur l effica cit interne des syst mes d enseigne ment et la seconde dans la quatri me lorsq
14. la justice sociale Dans diff rents pays comme par exemple au Canada aux tats Unis en France en Suisse en Belgique communaut n erlandophone on a produit au cours de ces derniers quinze ans des ensembles d indica teurs de l enseignement con us pour le pilotage et la gestion le monito rage des syst mes d enseignement Dans certains syst mes politiques f d ralistes on a aussi commenc produire des ensembles d indicateurs au niveau r gional Ces ensembles ne sont ni une copie ni une reproduc tion de l ensemble de l OCDE Les divergences par rapport au mod le OCDE sont parfois consid rables car ces ensembles ont t labor s par 19 tir d autres cadres th oriques et ont t con us en fonction soit de l orga nisation du syst me d enseignement par exemple en France soit des prio rit s prises en compte pour organiser son fonctionnement par exemple Gen ve soit en fonction des finalit s propres du syst me d enseignement par exemple au Tessin En g n ral on peut dire que ces ensembles n ont pas t d velopp s pour valuer les syst mes d enseignement Pour conclure ce travelling un mot sur L tat de l cole l ensemble d indicateurs produit tous les ans par le minist re de l ducation nationale en France depuis 1991 qui contient trente indicateurs calqu s sur la structure du syst me fran ais d en seignement Dans un article d di au cas de L tat de l
15. of educational planning Paris 2004 The National Commission on Excellence in Education A Nation at Risk The Imperative for Educational Reform A Report to the Nation and the Secretary of Education United States Department of Education Washington D C 1983 D Windham ndicators of Educational Effectiveness and Efficiency Improving the Efficiency of Educational Systems United States Agency for International Development Washington D C 1988 ducation amp formations n 78 novembre 2008
16. surplus des informations sur lesquel les cette communaut n exerce aucun contr le Il est donc logique que les enseignants r agissent en exer ant 14 leur tour des pressions pour mode ler la s lection des indicateurs pour influencer le niveau d agr gation et d analyse des donn es et pour fa on ner les m thodes d interpr tations de pr sentation et publication des donn es Une fois les indicateurs en place les enseignants ne cesseront pas d tre en tat d alerte et se mobi liseront pour biaiser les donn es dans une direction favorable pour eux et pour les coles Cette tentation sera d autant plus forte si les enseignants auront le sentiment qu ils n ont rien dire dans le processus de d veloppe ment des indicateurs ou si les infor mations produites par les indicateurs n auront que peu d utilit pour eux D j maintenant on peut observer la manifestation de comportements de ce type Par exemple dans certains tats ndla des tats Unis qui collec tent r guli rement des indicateurs sur les processus scolaires on a recueilli des t moignages selon lesquels des responsables scolaires incitent les l ves exag rer leurs r ponses en particulier aux questions sur leurs exp riences scolaires Dans d autres domaines des r seaux informels d enseignants ont fait passer des mots d ordre parmi les coll gues les invitant sous valuer les donn es sur les salaires et sur valuer les
17. 03 12 en 2004 Avec l dition 2007 la section de l ensemble d indi cateurs r serv e aux r sultats qui pendant une dizaine d ann es tait plac e en derni re position dans la table des mati res de Regards sur l ducation change de place et est ins r e en premi re position Ce d placement n est pas anodin il est la manifestation d une volont d li b r e de mettre en avant les indica teurs de r sultats et de valoriser les informations sur les acquis des l ves que l OCDE avait recueillies avec une enqu te r alis e au printemps 2000 dans le cadre du programme PISA Ce changement est un tournant d cisif dans l histoire r cente des indica teurs Toute la strat gie de l OCDE en mati re d enseignement depuis 1995 avait t inspir e par cette vis e Dans un document de l OCDE expo sant le nouveau cadre d organisation des indicateurs le groupe de gestion strat gique des indicateurs avait jus tifi ce changement d optique en affir mant qu on admettait d sormais implicitement que plusieurs dimen sions importantes du d veloppement du fonctionnement et de l impact des syst mes ducatifs pouvaient tre valu es uniquement si on compre nait les r sultats de l apprentissage ainsi que ses relations aux inputs et aux processus au niveau des indivi dus et des institutions C est la NOTES 12 Entre 1989 et 1995 ont t organi s es trois Assembl es g n rales du
18. 5 Voir document interne non publi DEELSA INES SMG 2001 12 ndicators of Education Systems Scope of INES Activities ducation amp formations n 78 novembre 2008 suite de cette nouveaut que le cadre conceptuel et d organisation des indicateurs de l enseignement a t chang en 2002 sans qu il y ait eu un v ritable d bat d mocratique ce pro NOTES 16 Ces cinq indicateurs avaient t construits en se servant des donn es de l enqu te IAEP International Assessment of Educational Progress de l ETS r ali s e en 1991 et de la seconde enqu te de l IEA sur l enseignement des math matiques enqu te SIMS r alis e entre 1980 et 1982 ce qui est un bon indicateur par ailleurs de l aridit des informations comparables sur les r sultats de l ensei gnement disponibles 17 Aucune indication n est donn e sur la proc dure suivie pour parvenir ce consensus international N 18 Voir document interne non publi Indicators of Education Systems Scop of INES Activities DEELSA INES SMG 2001 12 document r dig par groupe de gestion strat gique du projet PISA 19 l automne 1995 l OCDE a pr sent les r sultats de la toute premi re en qu te jamais r alis e d valuation des comp tences adultes enqu te IALS International Adult Literacy Survey L tude a t publi e comme une r alisa tion conjointe de Statistiques Canada et de l OCDE L enqu te porte sur les niveaux d
19. crit res de choix des indicateurs des hypoth ses sous jacentes relative l volution de l cole et dulcis in fundo des indica teurs eux m mes cette condition il sera plus difficile de r duire la produc tion des indicateurs une op ration de pouvoir ou d en faire un acte de terrorisme intellectuel qui imposera it un mod le ducatif venu d ailleurs aux usagers du syst me sans se soucier de leurs pr occupations ou de leurs aspirations Le probl me pos par l interroga tion sur le r le des indicateurs dans les politiques de l ducation est obnu bil par les enjeux de l valuation des r sultats et concerne une question cruciale pour la recherche en duca tion celui de l espace de libert dont NOTE 32 Hans Jonas 1903 1993 philosophe allemand l ve de Heidegger a appro fondi cette distinction dans son uvre et tout particuli rement dans The Imperative of Responsibility In Search of Ethics for the Technological Age 1979 jouit la science En effet le d velop pement des indicateurs de l enseigne ment aussi bien au niveau internatio nal que national ou m me r gional oblige faire face aux questions rela tives l emploi de cet outil et son utilisation Hans Jonas a propos de distinguer la science d vou e essentiellement la connaissance de ce qui nous entoure et la non science c est dire la technique d vou e au contraire modifier la r a
20. d ensei gnement et qu il n y ait pas de r per cussions ce propos Un ensemble d indicateurs n est pas uniquement le produit d une politique d termin e de l ducation mais il ne se situe pas non 21 plus en dehors du champ politique et donc des processus visant changer l organisation et le fonctionnement des syst mes d enseignement et les techniques de gouvernement Il est par ailleurs probl matique d tablir un lien direct entre le d veloppement d ensembles d indicateurs et l valua tion de la qualit de l enseignement Il s agit de deux op rations diff rentes Elles ne sont pas greff es de la m me mani re sur le tronc de la politique de l enseignement et des r formes scolaires Elles n ont pas les m mes fonctions L une et l autre op ration la production d indicateurs et l va luation ont n anmoins une incidence sur le fonctionnement des syst mes d enseignement sans tre n ces sairement l expression d une m me politique de l ducation Nous ne pou vons non plus exclure qu il y ait des affinit s entre ces deux d marches et que l une exploite ou utilise l autre Les strat gies n cessaires pour extra poler des donn es adapt es pour la construction d indicateurs de r ussite en partant des valuations sur grande chelle sont complexes d autant plus que ces valuations posent leur tour des probl mes consid rables de fiabilit qui ne sont qu en partie r solus De ce fait l art
21. de la marque et plus particuli rement ceux qui ont con u dessin et test le moteur La qualit d un indicateur du tableau de bord ne d pend que des ing nieurs des quipes de d veloppement mais leur comp tence technique dans la fabrication des indicateurs du tableau de bord ne peut pas se confondre avec la responsabilit de la qualit du sys t me voiture dans son ensemble La qualit du v hicule ou de la marque n est pas de leur ressort Un bon indicateur c est dire un indicateur bien construit robuste fiable clair concourt probablement d terminer la qualit d un syst me il est un l ment de l valuation d un syst me mais n est pas et n effectue pas une valuation du syst me LA CONSTRUCTION D ENSEMBLE D INDICATEURS DES SYST MES D ENSEIGNEMENT UNE D MARCHE INACHEV E Afin de mieux appr hender l arti culation entre indicateurs et valua tion il est utile de parcourir l histoire des indicateurs de l enseignement On verra ce faisant qu il n y a pas eu un d veloppement lin aire dans l laboration de ces indicateurs au contraire on est pass par au moins quatre phases passablement distinc tes entre elles avec l intervention d acteurs diff rents aussi bien dans les milieux de la recherche en du cation que dans la politique de l en seignement On d couvrira aussi que 12 cette histoire n interf re avec celle des valuations sur large chelle que dans la phas
22. e l enseignement sur le bien tre social Maintenant la suite de la crise pro voqu e par le d bat sur la qualit de l enseignement le probl me tait un autre c est dire celui de l identifica tion des renseignements indispensa bles pour appr hender le fonctionne ment ou les dysfonctionnements des syst mes d enseignement ainsi que les r sultats produits Un des rapports phares de cette p riode a t le document Education Indicators A guide for Policymakers publi aux tats Unis en 1986 r dig par Jeannie Oakes pour le Center For Policy Research in Educatior Le but de ce rapport tait d aider les d ci deurs comprendre le r le l gitime sic que les indicateurs peuvent jouer dans le monitorage de la condi tion du syst me d enseignement en appr hendant les changements au cours du temps et en anticipant les changements futurs Oakes fournit une d finition d indicateurs de l en seignement qui a t par la suite lar gement reprise elle explique aussi en d tail les applications principales des indicateurs en d crit les limites les plus manifestes et expose d une mani re succincte l tat d avance ment de la th orie dans le domaine des indicateurs Pour Oakes le lien entre indi cateurs et politique est direct les 13 indicateurs de l enseignement ont un sens s ils sont utiles dans le contexte politique D o la n cessit d expliquer comment les indicateurs sont choisi
23. e comp tences des adultes dans la com pr hension de textes crits Elle reprenait des tudes ant rieures r alis es autour des ann es 90 aux tats Unis mais elle in novait sur plusieurs points notamment en interviewant les adultes de l chantillon chez eux dans leur cadre de vie priv e Apr s le premier tour d enqu te auquel avaient particip neuf pays l enqu te sera dupliqu e par deux fois dans les ann es suivantes en 1996 et 1998 Le rapport fi nal de cette enqu te pr sente les r sultats concernant 23 pays voir OCDE Statistique Canada 1999 La litt ratie l re de l in formation Paris Par ailleurs il faut aussi signaler que l OCDE a continu se servir pour la r alisation de ses indicateurs de r sultats des enqu tes de l IEA et notam ment de l enqu te TIMSS et de l enqu te PIRLS Progress in International Reading Literacy Study DS pos Tout coup une d cennie apr s la publication du premier ensemble d indicateurs internationaux de l en seignement dans lequel avaient t ins r s apr s beaucoup d h sitations et de multiples pr cautions cinq indi cateurs de r sultats rubriqu s comme des indicateurs exp rimentaux et pro visoires on place au c ur de l en semble le plus connu d indicateurs de l enseignement au niveau internatio nal des indicateurs de r sultats tir s de donn es recueillies au sein d un programme d valuation de masse con u pour les b
24. e finale Pendant des d cen nies le discours sur les indicateurs ainsi que la production d indicateurs se sont d roul s ind pendamment des valuations des r sultats des acquis des l ves Les ann es 70 le r le des sciences sociales La premi re tentative de construc tion d un ensemble d indicateurs de l enseignement a eu lieu au d but des ann es 70 au sein de l OCDE qui a publi en 1973 un document annon ant dans le titre les intentions l origine de l initiative Un syst me d indicateurs de l enseignement visant orienter les d cisions des pouvoirs publics Pour fournir aux d cideurs des informations leur permettant de prendre des d cisions appropri es en mati re d ducation il fallait produire des indicateurs mesurant l influence de l enseignement sur le bien tre social Quels facteurs retenir ce pro pos Les effets internes ou subjectifs c est dire les effets au niveau des individus ou les effets externes au niveau macro mesur s l aune des b n fices sociaux tels que la crois sance conomique l int gration des groupes sociaux le partage de valeurs communes un bien tre accru Le groupe de travail a estim qu on ne pouvait pas isoler les effets internes ou externes de l enseignement tout en convenant que l enseignement g n re aussi bien des effets indivi duels et des effets allant au del des individus ce qu on appelle des exter natilit s Dans les deux cas les e
25. e la technique entre la connaissance du r el et sa modification On ne peut donc pas attribuer un statut thique distinct ces deux op rations et estimer qu il y a une libert ind finie pour tout ce qui concerne les processus cognitifs et une responsabilit diff rente limit e lorsqu on applique la connaissance des processus ou des actes qui visent modifier la r alit Les indi cateurs produisent de la connaissance sur les syst mes d enseignement et en m me temps au moment de les concevoir de les installer ou de les produire ils les modifient La m me remarque s applique l valuation Cette situation sp culaire ne signi fie pas cependant qu il y a similitude entre d veloppement des indicateurs et programmes d valuation Malheureusement nous ne connaissons que d une mani re impr cise et limit e les effets du d veloppement des indicateurs sur l volution des syst mes d enseigne ment Nous devons admettre qu il y en a que ces effets sont probablement multiples et diff renci s mais aussi que pour le moment nous ne pouvons pas aller plus loin dans les inf rences et les suppositions Il n y a pas d im perm abilit entre d veloppement et construction d un ensemble d indica teurs d un c t et changements des syst mes d enseignement de l autre Il serait faux de pr tendre que les indicateurs n exercent pas des effets sur les politiques de l ducation et la gouvernabilit des syst mes
26. ent ne sont qu une op ration relativement r cente qui interf re dans des formes multiples avec les proc dures d valuation LE NIVEAU D HUILE LE MOTEUR LA VOITURE Il n y a pas a priori un rapport direct entre indicateurs et valuation bien que souvent on op re un amal game entre indicateurs et valuations Pourquoi donc une telle confusion qui r duit l valuation des politiques de l ducation la production d indica NOTE 3 Ce n est qu au cours de ces derni res quarante ann es qu on a commenc s occuper d indicateurs des syst mes d en seignement environ partir des ann es soixante du XX si cle Bottani 2005 teurs des syst mes d enseignement ou qui attribue aux indicateurs une fonction d valuation qu en principe ils n ont pas La r ponse exige qu on clarifie le concept d indicateur cet effet je voudrais me servir de la m taphore du tableau de bord et d une anecdote I n y a pas longtemps j ai achet une voiture nouvelle mais apr s quel ques milliers de kilom tres la voiture tait encore sous garantie j ai t surpris par un clignotement insistant d un voyant du tableau de bord Apr s avoir consult le manuel pour identi fier tout d abord de quoi il s agissait le voyant tait celui du niveau d huile dans le moteur j applique la proc dure indiqu e dans le mode d emploi pour un cas de ce type Cependant apr s une centaine de kilom tres l alerte se r p
27. esoins de la cause et trait es selon des m thodologies psychom triques particuli res impo s es par une communaut influente de scientifiques Dans l introduction de Regards sur l ducation 2002 qui est la premi re version d ensemble d indicateurs de l OCDE inclure des indicateurs tir s de l enqu te inter nationale PISA ces intentions sont explicitement affich es Le Programme international de l OCDE pour le suivi des acquis des l ves PISA lanc par les gouverne ments pour tudier la performance des l ves de fa on suivie en se servant d un cadre conceptuel faisant l objet d un consensus l chelle internatio nale fournit pr sent des donn es comparables sur les r sultats de l ducation et de l apprentissage ainsi que sur les facteurs essentiels qui conditionnent ces r sultats Ce type d information comble enfin ce qui aura longtemps t une s rieuse lacune dans le jeu d indicateurs Le PISA entend proposer de nouvelles bases pour alimenter le dialogue politique et relancer la collaboration autour de la d finition d objectifs de l enseigne ment la fois novateurs et r alistes qui traduisent des jugements sur les comp tences utiles dans la vie adulte ducation amp formations n 78 novembre 2008 Cette initiative traduit une volont accrue de se concentrer sur les finali t s de l enseignement plut t que sur les moyens qui lui sont consacr s Ce changement de priorit
28. f Ethics for the Technological Age 1979 University of Chicago Press Chicago 1984 pour la traduction en an glais en fran ais Le principe de responsabilit Flammarion 1998 K C Land Social Indicators Social Science Methods New York Free Press 1970 J MacBeath L Jakobsen D Meuret M Schratz Self Evaluation in European Schools A Story of Change Routledge London 2000 J MacBeath Schools Must Speak for Themselves The Case for School Self Evaluation Routledge London 1999 D Meuret De la contribution des indicateurs au d bat sur l ducation Une tude de cas L tat de l cole Politiques d ducation et de formation Analyses et comparaisons internationales De Book Bruxelles 2001 D Nuttal Choosing Indicators Making Education Count Developing and using international Indicators Paris OECD 1994 J Oakes Education Indicators A guide for Policymakers Center For Policy Research in Education 1986 OCDE 1992 1993 1995 1996 Regards sur l ducation OCDE Paris OCDE valuer l enseignement De l utilit des indicateurs internationaux OCDE Paris 1994 OCDE Statistique Canada La litt ratie l re de l information OCDE Paris 1999 OCDE 2001 ndicators of Education Systems Scope of INES Activities DEELSA INES SMG 2001 12 Paris document interne N Postlethwaite Monitoring Educational Achievement UNESCO IIPE rapport n 81 de la s rie Fundamentals
29. ffets d pendent du syst me de variables sociales qui fa onne les syst mes d enseignement comme par exemple les aspirations d une communaut les objectifs collectifs et donc les valeurs ducatives qu une soci t tente de promouvoir De ce fait la construction d un syst me d ensei gnement op rant une distinction entre dimensions internes et externes de l enseignement tait une absurdit Tout indicateur se d finit par son appartenance en tant que param tre ou en tant que variable un mod le de syst me social Land 1970 Si donc la distinction entre inputs et outputs est non seulement probl matique mais pire encore d nu e de significations selon les termes m me du rapport alors il en d coule qu il convient concevoir un cadre d orga nisation d un ensemble d indicateurs sur les effets de l enseignement qui ne soit pas articul autour de mesures de l efficacit interne et externe des syst mes d enseignement Par ailleurs dans le rapport on soul ve une question probl matique dans la construction des indicateurs de l enseignement c est dire les effets indirects sur le fonctionnement des syst mes d enseignement et sur le comportement de ses acteurs la suite de la production d un ensem ble d indicateurs des syst mes I ne faut pas oublier que le fait m me NOTES 4 Sur les facteurs qui concourent d terminer la qualit d un indicateur voir Desmond Nuttal Choosing Ind
30. icateurs peuvent fonctionner comme un instru ment d valuation de l enseignement en vue d en appr cier la qualit Si on admet que l valuation de l enseigne ment est un examen rationnel public des r sultats de l enseignement qui implique de ce fait le recours des r f rentiels exog nes reconnaissables par les parties sociales concern es compte tenu de la fonction de l en seignement dans les soci t s d mo cratiques alors on peut supposer que cet examen ne peut se faire qu en se fondant sur des arguments probants qui peuvent tre valid s ou invalid s selon des proc dures scientifiques D s lors les indicateurs peuvent faire partie de la panoplie d outils utilis s pour recueillir des preuves documen t es sur l tat de l enseignement et donc tre un l ment de l valuation Cependant cette question ne peut pas tre abord e selon un pr jug doctri naire qui d embl e attribue aux indi cateurs une fonction bien d termin e dans un type particulier d valuation c est dire celle des syst mes d en seignement Ce th me doit tre trait ducation amp formations n 78 novembre 2008 selon une d marche scientifique attentive aussi bien la dimension th orique que m thodique En bref il faudrait tout d abord identifier s il y a des corr lations entre des l ments particuliers aussi divers que la qualit de l enseignement les indicateurs et les programmes d valuation
31. icators In Making Education Count Developing and using international Indicators OECD Paris 1994 5 Il n emp che encore aujourd hui on rencontre r guli rement dans les milieux de l enseignement une argumentation contestant la pertinence des indicateurs en s appuyant sur cette distinction bien que les sp cialistes engag s dans le domaine de l ducation l aient cart e depuis longtemps ducation amp formations n 78 novembre 2008 d effectuer des mesures introduit un l ment d incertitude de type sp cial en effet ceux qui se savent Soumis des valuations modifient leur com portement mais cet infl chissement est difficile identifier et a fortiori mesurer Ces consid rations formu l es l or e de l histoire des indica teurs de l enseignement r v lent que d embl e on n avait pas une concep tion na ve des enjeux et des probl mes qui se seraient pr sent s au cours de la production des indicateurs Le groupe d experts au sein duquel a t labor ce premier rap port de l OCDE sur les indicateurs de l enseignement d cida pour conclure d adopter une approche m thodolo gique inhabituelle pour les milieux scientifiques de l poque en renon ant d velopper un mod le th ori que du syst me d enseignement Une d marche de ce type n aurait pas per mis de mettre sur pied un ensemble d indicateurs de l enseignement dans de brefs d lais Les d cideurs poli tiques
32. iculation entre valuation des acquis des l ves sur vaste chelle et d veloppement d en sembles d indicateurs ne va pas de soi et doit tre abord e avec une grande pr caution NOTE 33 Voir cet gard le rapport tabli sous la direction de Andrew Porter et Adam Gamoran pour le National Research Council Methodological Advances in Cross National Surveys of Educational Achievement National Academy Press Washington D C 2002 22 LIRE E Berger et A A V V De l mergence du courant School improvement et exem ples d applications Revue Fran aise de p dagogie n 148 INRP Lyon 2005 N Bottani P Vrignaud La France et les valuations internationales Haut Conseil de l valuation de l cole Paris 2005 N Bottani Des indicateurs dans l enseignement une contribution la comparai son internationale Intervention lors du colloque sur la comparaison en ducation organis par la FPSE Universit de Gen ve 8 9 d cembre 2005 sous presse Commission europ enne Progress Towards the Lisbon Objectives in Education and Training Report Bruxelles 2005 J Gadrey F Jany Catrice Les nouveaux indicateurs de richesse ditions La D couverte Paris 2005 GERESE l quit des syst mes ducatifs europ ens Un ensemble d indicateurs Service de p dagogie th orique et exp rimentale Universit de Li ge 2005 H Jonas The Imperative of Responsibility In Search o
33. lit Est ce qu on peut soutenir que les indicateurs sont une d marche cognitive neutre qui ne pr tend pas modifier les syst mes d enseigne ment Est ce qu ils font partie de la science selon la d finition de Jonas ou de la non science N y aurait il pas un degr de na vet pr tendre que les indicateurs ne sont qu un outil de connaissance qui n a aucune inci dence sur la r alit de l enseignement sur les modalit s de fonctionnement de l appareil scolaire Est ce que la production d ensemble d indicateurs soutenue et encourag e par les auto rit s scolaires est neutre La dichotomie propos e par Jonas n est pas d fendable En effet la caract ristique fondamentale de la r alit physique non seulement celle dans laquelle nous sommes immerg s mais aussi celle qui nous constitue ou celle que nous fa onnons consiste dans le fait qu elle peut tre connue uniquement si on la modifie Cet acquis th orique nous a t l gu par les avanc es scientifiques du XXe si cle Nous savons aussi que ce principe s applique aux sciences humaines et donc aussi la connaissance des syst mes d enseignement Posons donc comme valable l axiome selon lequel aucune d marche cognitive ne laisse indemne l objet qu elle observe mesure analyse compare d chiffre ducation amp formations n 78 novembre 2008 I n y a pas une ligne de d marcation ontologique claire entre le champ de la science et celui d
34. mp tence L enseignement dans un tablisse ment Un d partement Une r gion Un pays Le cadre de r f rence de la rencontre l origine de cette r flexion am ne retenir les valuations des syst mes d enseignement car ceux ci seraient l objet principal des politiques d ducation On doit donc convenir sur une d finition du concept syst me d enseignement si on accepte qu il y a une analogie entre valuation des politiques de l ducation et valua tion des syst mes d enseignement Les syst mes d enseignement se dif f rencient par la taille la dimension la configuration la distribution des centres d cisionnels les comp tences attribu es chaque niveau de d ci sion et les modalit s avec laquelle les d cisions sont prises les ressources et last but not least les objectifs Une classe est d j un syst me d ensei gnement complexe un cours d histoire et g ographie est un syst me d ensei gnement Je dirais que dans des cas comme ceux ci on est confront des microsyst mes d enseignement Nous savons qu on peut concevoir mettre au 10 point d velopper et construire aussi bien des indicateurs d tablissement l tablissement tant un microsys t me d enseignement que des indi cateurs de macrosyst me comme par exemple l ensemble d indicateurs rassembl s dans la publication L tat de l cole en France L valuation des politiques d ducation dont on parlera dans cet
35. n est pas la base de donn es en soi qui est probl ma tique encore que soient respect s les standards techniques de qualit reconnus dans le domaine mais le passage automatique de la base de donn es sur les acquis et comp tences des indicateurs int grables dans un dispositif visant fournir des renseignements sur la gestion l or ganisation et le fonctionnement des syst mes d enseignement Cet assemblage pose trois probl mes le premier est celui de la compatibi lit de ces donn es entre elles et de la validit de leur inclusion dans un ensemble unique NOTES 25 Voir par exemple la liste de crit res propos e par Neville Postlethwaite in Monitoring Educational Achievement UNESCO Paris 2004 rapport n 81 dans la s rie Fundamentals of educational plan ning de l IEP International Institute for Educational Planning 26 Voir Jean Gadrey et Florence Jany Catrice 2005 Les nouveaux indicateurs de richesse ditions La D couverte Paris 21 Projet Socrates S02 610BGE 28 Voir GERESE 2005 L quit des sys t mes ducatifs europ ens Un ensem ble d indicateurs Service de p dagogie th orique et exp rimentale Universit de Li ge 29 Voir le cas de la Suisse pour le can ton de Gen ve ou du Tessin et dans une perspective politique particuli re le cas de l Italie o des r gions sont en train de produire leur ensemble d indicateurs de l enseignement en accom
36. ne cole mais aussi parfois d un macrosyst me comme il arrive dans le cas d un service d inspection g n rale ou nationale Bien entendu rien n emp che que les inspecteurs se servent d indicateurs pour formuler une appr ciation ou une valuation du syst me mais une d marche de ce genre implique un changement de cap radical dans l exercice de la fonction inspectorale Un autre type d valuation qui en g n ral se passe d indicateurs est NOTES 1 Le colloque international sur l va luation des politiques d ducation et de formation organis par l Association internationale de sociologues de langue fran aise et par l Unit mixte de recherche ducation amp Politiques de l INRP Institut national de recherche p dagogique qui s est tenu Lyon du 12 au13 septembre 2005 2 Les politiques de l ducation n ont pas comme unique objet les syst mes d en seignement au sens strict du terme Par exemple elles peuvent s occuper d une multitude de th mes qui ne sont que des composantes de l ensemble syst me d enseignement comme par exemple le processus de d cision la base des politiques les modalit s avec lesquelles les d cisions sur l ducation sont prises le niveau auquel les d cisions se pren nent le fonctionnement du Parlement en mati re d enseignement dans un syst me parlementaire d mocratique la structure de l administration scolaire sa compo sition le r le et la qualit des syndicat
37. ngement Celui ci s enclenche seulement si d autres ingr dients sont pr sents Pour Meuret ce qui a manqu en France c est un d bat sur l ducation auquel les usagers et plus largement les citoyens seraient admis participer Le contenu et la conception de l ensemble d indi NOTES 30 Denis Meuret 2001 De la contribution des indicateurs au d bat sur l ducation Une tude de cas L tat de l cole in Politiques d ducation et de formation Analyses et comparaisons internationales n 3 ditions De Boeck Bruxelles 31 Un exemple paradoxal de cette ing rence vient de la Suisse o l Office f d ral de la statistique OFS a publi au d but du mois d ao t 2005 un rapport comparant les prestations de l enseignement en Suisse avec les objectifs adopt s par l Union europ enne en mati re d ducation dans le cadre de la strat gie de Lisbone voir le rapport de la Commission euro p enne Progress Towards the Lisbon Objectives in Education and Training 2005 Report http europa eu int comm education policies 2010 doc progressreport05 pdf L tude de l OFS visait d montrer que l enseignement en Suisse ne se portait pas si mal malgr les r sultats peu gratifiants obtenus par les l ves suisses de quinze ans dans l enqu te PISA Cet Office a dans un certain sens publi en s appuyant sur des donn es internationales qu il ne ma trise pas et sur des donn es nationales de son ressort un
38. nseignement La production d un ensemble d in dicateurs internationaux de l ensei gnement par l OCDE en 1992 n a pas t une promenade de sant Comme pr vu par Jeannie Oakes qui a t un des experts consult s par l OCDE des pressions de toutes parts n ont pas manqu de se manifester pour essayer d touffer ou de modifier le projet dans l uf Dans la coalition des opposants on trouve des statisti ciens de l ducation qui se servaient d arguments scientifiques pour d non cer la grossi ret des indicateurs et la repr sentation biais e qu ils donnent de l enseignement des repr sentants des organisations des enseignants avec des arguments politiques contes tant la r alit de la crise de la qualit de l enseignement en particulier de l enseignement public un large ven tail de p dagogues ou de sp cialistes des sciences de l ducation engag s dans les innovations p dagogiques et les mouvements progressistes d du cation qui faisaient valoir des argu ments thiques d non ant la volont du pouvoir politique d instaurer des formules nouvelles de r gularisation de l enseignement calqu es sur les principes inspirant la nouvelle gestion publique la gouvernance du secteur public la gestion des performances dans l administration Nonobstant ces oppositions l OCDE parvint publier en 1992 le premier ensemble d indi cateurs internationaux des syst mes d enseignement Son but tait de fournir aux d
39. pagnement d un processus de d volution et d cen tralisation des comp tences en mati re d ducation dans un syst me d enseigne ment autrefois hypercentralis le deuxi me est celui de la validit des inf rences sugg r es par les co n cidences de ces donn es le troisi me est celui de l valuation du syst me l quivalent de ce que serait une marque dans le syst me commercial c est dire de son efficacit de son efficience de la concordance entre ses performances et ses objectifs de ses modalit s de fonctionnement par rapport sa taille et ses ressources avec des indica teurs d acquis individuels mis en rela tion avec des facteurs multiples sur la base de suppositions ou d hypoth ses pr caires Ces questions ne mettent en jeu ni la pertinence ni l utilit des indica teurs per se mais leur exploitation et leur emploi LES INDICATEURS DANS LA PRATIQUE Je me suis jusqu ici concentr sur le cas des indicateurs internationaux produits par l OCDE car cet ensemble est embl matique il a t le premier tre labor dans le domaine de l en seignement il est un des plus connus et la qualit statistique des donn es utilis es pour construire les indicateurs est remarquable Sur le plan interna tional il y a n anmoins des d marches qui aboutissent ou pourraient aboutir des ensembles alternatifs d indica teurs de l enseignement bas s sur des syst mes diff rents de valeu
40. r cussions du d bat sur la crise de la qualit de l enseignement et la baisse du niveau d instruction et de l autre les cons quences sur le plan budg taire des politiques d aust rit co nomique et de contr le des d penses publiques L valuation en tant que telle des syst mes d enseignement n tait simplement pas pr sente dans les discussions La nouveaut plus significative du programme des indicateurs de l OCDE a t l attention d di e la proc dure d laboration des indicateurs D une 15 mani re inhabituelle pour une orga nisation internationale intergouverne mentale comme l OCDE la m thode de travail adopt e a t participative et d mocratique ax e sur la consul tation syst matique des producteurs de donn es dans le but de parvenir un consensus sur les indicateurs publier L importance r serv e la consultation a eu un effet indirect non n gligeable la constitution dans une p riode relativement courte d un r seau mondial de sp cialistes enga g s dans la production d indicateurs devenu visible lors des Assembl es g n rales une terminologie totale ment h t rodoxe dans le jargon de l OCDE du projet des indicateurs internationaux de l enseignement De ce fait les quatre premi res ver sions de Regards sur l ducation 1992 1993 1995 et 1996 ont t le produit d une intense coop ration entre des centaines de sp cialistes de disciplines diff ren
41. r ussi mener bout leur projet L chec a t au rendez vous Les ann es 80 p dagogues et p dagogistes en action La deuxi me phase se d roula dans les ann es qui ont suivi la publication aux tats Unis du rapport A Nation at Risk en 1983 sur l tat de l enseignement primaire et secon daire de l ducation aux tats Unis Ce rapport a soulev au sein du monde de l enseignement au niveau mondial ou tout au moins au sein des pays ayant les syst mes d enseignement les plus d velopp s un large d bat sur la qualit de l enseignement et sur la fa on d en rendre compte avec des mesures aussi objectives que possible Dans ce contexte il fallait disposer de points de rep res aussi s rs que possible pour confirmer ou invalider la pr sence d une crise de la qualit de l enseignement Le monde de l enseignement tait divis ce propos il tait aussi mis dans une certaine mesure le dos au mur La ducation amp formations n 78 novembre 2008 production d un ensemble d indica teurs repr senta un point de fixation et de ralliement pour une partie de la communaut scientifique s occupant de questions d ducation et soucieuse de d terminer l tat r el de sant des syst mes d enseignement Il convient de souligner que le centre d int r t n tait plus celui qui avait constitu le p le des d marches entreprises une dizaine d ann es auparavant c est dire la mesure de l impact d
42. rapport antidote dans le but probable de tranquilliser l opinion publique les media les enseignants les d cideurs politiques sur l tat de l enseignement en Suisse On a ici un exemple d exploitation acritique des donn es et des indicateurs internationaux Les responsables cantonaux de l enseignement en Suisse qui n avaient pas t consult ont r agi cette publication avec un communiqu prenant les distances de cette man uvre comme le prouve le message suivant adress au mois d ao t 2005 tous les responsables de l enseignement en Suisse Mesdames Messieurs Nous vous faisons parvenir ci joint titre d information pr alable le communiqu de presse qui va tre publi par l Office f d ral de la statistique pour pr senter le rapport intitul Le syst me d ducation suisse en comparaison europ enne Nous ne poss dons pas le rapport lui m me Si les m dias s adressent vous pour des questions de rang classement et autre place de podium nous vous recommandons de ne pas entrer en mati re Ce sont des questions qui n ont pas d int r t pour cette tude et qui sont difficiles comprendre sur la base du communiqu de presse En revanche ce qui nous para t important c est que le syst me ducatif suisse a est mesur l aune des objectifs fix s dans le cadre de la strat gie de Lisbonne adopt e par l UE b est compar la moyenne europ enne et c est mis en parall le avec certains pa
43. rpr ter et utiliser les indicateurs et les statistiques de l en seignement le second est celui de la 17 coexistence dans un m me ensemble d indicateurs de donn es de nature diff rentes c est dire de donn es sur les comp tences et les connais sances individuelles et de donn es syst miques En ce qui concerne le probl me de la formation des d cideurs l OCDE se rendant compte que le volume d indi cateurs tait devenu ing rable pour les d cideurs a d cid en 1996 de lancer une s rie parall le au recueil d indicateurs appel e Analyse des politiques d ducation qui devait fonctionner comme un dispositif l ger et agile d interpr tation et de lecture des indicateurs l intention des d cideurs politiques L op ration n a r ussi que partiellement car tr s rapidement cette s rie qui aurait d tre un outil de divulgation devint un exercice savant de nature acad mique permettant aux producteurs d indica teurs de r diger des essais scientifi ques sur leurs donn es Cependant cette initiative elle seule n aurait pas suffi aider les d cideurs com prendre les indicateurs et s en ser vir bon escient comme l a d montr par la suite la fa on avec laquelle les cercles politiques dans plusieurs pays se sont appropri des donn es PISA avec la complicit des responsables du programme En ce qui concerne le second probl me celui du m lange de don n
44. rs sur des d finitions autres de la qualit de l en seignement et qui ne pr tendent pas la neutralit de l information sous le manteau de la rigueur statistique et technique Dans cette optique on mentionnera les indicateurs de d ve loppement humain dans le monde publi s par le PNUD depuis 1990 qui contiennent une batterie d indicateurs ducation amp formations n 78 novembre 2008 conomiques sociaux et environ nementaux La m thode utilis e par le PNUD a t amplement discut e dans les milieux sp cialis s car le cadrage de l ensemble des indicateurs du PNUD est tr s diff rent de celui adopt par l OCDE Un autre ensemble alternatif d in dicateurs des syst mes d enseigne ment est celui propos par le GERESE Groupe europ en de recherche sur l quit des syst mes ducatifs sur l quit des syst mes d enseignement dans le cadre d un projet soutenu par la Direction g n rale de l ducation et de la culture de la Commission europ enne Ce groupe a non seu lement labor un cadre conceptuel inspir par diff rentes th ories de la justice appliqu es l ducation mais a aussi valid son cadre en calculant un ensemble de 29 indicateurs et en proposant des d marches originales dans la perspective de la construction d indicateurs de l enseignement en fonction d un ordre de valeurs sociales susceptibles de mettre en vidence les effets des techniques de gouver nement sur
45. s Deux pays jouent un r le d terminant dans cette op ration les tats Unis et la France Leurs d l gu s au sein de l OCDE ont en effet r ussi entra ner un groupe substantiel de pays mem bres pour obliger celle ci dont les sp cialistes de l enseignement r sis taient contre une semblable requ te NOTES 10 II s agissait de tirer profit essentielle ment de deux valuations internationales sur vaste chelle qui fournissaient des donn es comparables sur les performan ces des l ves de syst mes d enseigne ment diff rents la deuxi me enqu te de l IEA sur les math matiques et les sciences SIMSS 1982 1984 et l enqu te IAEP II de l ETS de 1991 11 On en a une preuve dans le volume qui recueille les contributions des consultants sollicit s par l OCDE pour cadrer les dis cussions lors de la conf rence de Lugano en septembre 1991 pendant laquelle fut prise la d cision de r aliser un ensemble d indicateurs internationaux de l ensei gnement apr s avoir constat qu il tait possible de le faire Voir valuer l en seignement De l utilit des indicateurs internationaux OCDE Paris 1994 Le titre en anglais est plus appropri Making Education Counts Developing and Using International Indicators Personne n y parle d valuation mettre sur pied et produire un ensemble d indicateurs de l ensei gnement susceptibles de fournir des informations sur la qualit des syst mes d e
46. s des enseignants mais aussi la sant des enfants le niveau d instruction des pa rents la politique du logement et donc la politique des quipements culturels le libre choix des coles etc L inclusion de ces dimensions dans les politiques de l ducation et donc dans les valuations des syst mes d enseignement d pend des finalit s d un syst me des buts de l cole ou des objectifs qu une communaut re conna t l ducation ducation amp formations n 78 novembre 2008 l auto valuation bien qu il existe des proc dures d auto valuation combin es avec des indicateurs ou qui aboutissent la production d in dicateurs Berger 2005 McBeath 1999 et 2000 Pendant longtemps on a donc r alis des valuations de l enseignement dans l enseignement et pour l enseignement sans recourir aux indicateurs Si donc on a r alis des valuations sans indicateurs cela signifie que les indicateurs ne sont pas indispensables pour mener des va luations Une valuation des politiques de l ducation ayant comme objet le syst me d enseignement peut se faire sans indicateurs Pendant longtemps on n a m me pas eu l id e d valuer les syst mes d enseignement et on n a pas non plus prouv l exigence de d velopper des ensembles d in dicateurs de ces syst mes pour les piloter les monitorer ou les va luer L laboration et la production d ensembles d indicateurs des syst mes d enseignem
47. s et construits et comment on peut s en servir Il est relever qu Oakes ne fait aucune association entre indicateurs et valuation Cependant elle aussi attire l attention sur les pressions politiques susceptibles d tre fomen t es par la r alisation d un ensemble d indicateurs I doit tre clair d s maintenant que les syst mes d indi cateurs ne seront pas neutres qu ils ne seront pas des syst mes d infor mation technologique imperm ables aux pressions politiques Les choix des indicateurs d velopper les buts auxquels les indicateurs devraient servir le type de donn es collecter les comparaisons effectuer sont des enjeux aussi bien politiques que tech niques Nous ne pouvons pas ignorer les pressions politiques qui r sultent de la simple existence d un ensemble d indicateurs On peut d s lors com prendre comment une d claration de cette nature ait pu heurter les statis ticiens de l ducation et braquer une partie de ces sp cialistes contre les indicateurs I me semble important dans la perspective de l encha nement avec la phase suivante de reprendre les exemples fournis par Oakes des pres sions que la publication d indicateurs peuvent engendrer La pression la plus forte d coulant des indicateurs sera exerc e par les membres de la communaut enseignante que les indicateurs exposent un jugement public comme cela ne s tait jamais produit auparavant en fournissant en
48. te J effectue encore une fois les op rations propos es par le manuel Le moteur tant neuf le manque d huile signal par le voyant allum pouvait tre consid r selon le manuel comme une occurrence normale J accomplis donc une mise niveau de l huile pour la deuxi me fois et tout semble rentr dans l ordre Malheureusement le voyant reprend clignoter presque aussit t Dans le cas de r cidive le manuel invite le conducteur ramener tout de suite la voiture un garage agr Apr s un contr le sommaire le garagiste d cide de placer des scell s sur le moteur et des rep res talonn s selon une chelle plus fine que celle de la jauge de l huile pour mieux contr ler la consommation r elle d huile du moteur Je ne parcours qu peine une centaine de kilom tres et le clignoteur m alerte nouveau Je repasse au garage o l on m oblige laisser la voiture sur place pas question de se remettre en route sans avoir d nich ducation amp formations n 78 novembre 2008 la cause du d rangement signal par le voyant L histoire se conclut avec le changement du moteur Si je reprends cette histoire en la sch matisant on peut formuler les remarques suivantes le voyant du tableau de bord a parfai tement exerc sa fonction d indicateur en alertant le conducteur propos d une situation anormale le conducteur a appr hend le mes sage du voyant et a suivi les pro c dures d
49. tes actifs des niveaux multiples des syst mes d enseignement Les ann es 2000 l obnubilation pour les indicateurs de r sultats et le triomphe de la psychom trie compar e La quatri me et derni re phase au moins pour le moment s tale de 1997 nos jours et est caract ris e par trois points marquants l am lioration consid rable de la qualit des donn es imputable en grande partie la reprise en main du dossier des indicateurs par les statisticiens la modification du cadre th orique en 2002 orientant la composition et l organisation de l ensemble d indica teurs produits par l OCDE 16 et le lancement par l OCDE du pro gramme PISA d valuation cyclique des comp tences des l ves de quinze ans Ces trois points ont profond ment modifi le sc nario international des indicateurs de l enseignement en ren dant possible de nouvelles analyses mais aussi en ouvrant les digues qui avaient permis auparavant de pr venir les craintes de d formation et d abus dans l utilisation des indicateurs Le r sultat le plus frappant de cette phase a t l importance prise par les indicateurs de r sultats lls taient 9 dans l dition 2001 dans laquelle on faisait encore la distinc tion entre une section r sultats au niveau personnel social et du march du travail 5 indicateurs et indica teurs d acquis des l ves 4 ils sont pass s 14 dans l dition 2002 15 en 20
50. ue l OCDE lancera d entente avec l UNESCO et la Banque mon diale le programme World Education Indicators WEI con u pour les pays en voie de d veloppement NOTES 7 Au Royaume Uni les syndicats des enseignants ont invit leurs adh rants boycotter les tests et la participation l enqu te PISA 2003 Cette op ration a r ussi car le taux de r ponse de l chan tillon britannique lors de cette enqu te a t inf rieur au niveau fix par l OCDE et de ce fait les r sultats du Royaume Uni n ont pas pu tre tenus en consid ration dans les comparaisons internationales 8 Ce consortium regroupait la Florida State University l Howard University l Institut for International Research et la State University de New Vork Albany 9 On parle ce propos de pays WEI pour indiquer les pays qui participent au pro gramme ducation amp formations n 78 novembre 2008 Les ann es 90 la volont des d cideurs politiques Dans la troisi me phase les protagonistes changent ils ne sont plus ni les sp cialistes des scien ces sociales ni ceux des sciences de l ducation mais les d cideurs politiques eux m mes ceux qui ont la responsabilit de la gestion et de l volution des syst mes d enseigne ment Leur irruption sur la sc ne des indicateurs s op re entre 1987 et 1992 la suite de la crise et des interroga tions concernant la qualit de l ensei gnement et des syst mes ducatif
51. ys europ ens en particulier Il ressort en l occurrence de ce rapport que les r sultats obtenus par la Suisse se situent dans tous les domaines voqu s dans le communiqu de presse au dessus de la moyenne europ enne et que la Suisse a d j atteint ou d pass les niveaux de r f rence benchmarks fix s par l UE pour 2010 Il va de soi que dans certains domaines certains pays se r v lent meilleurs que la Suisse et il est clair galement que la Suisse doit poursuivre ses efforts en vue d am liorer son syst me ducatif Avec mes salutations les meilleures xy Chef de l Unit de coordination D veloppement de la qualit CDIP EDK Conf rence des Chefs des D partements cantonaux de l Instruction publique ducation amp formations n 78 novembre 2008 cateurs concourent en partie aussi expliquer cet chec l absence de certaines donn es par exemple sur la qualit de la vie l cole pr cise l auteur consid r es impertinentes dans le d bat sur l enseignement tel qu il se d roule entre profession nels peut expliquer la faiblesse de l impact de l effort de clarification et d am lioration de l information Au niveau d un syst me d ensei gnement tout au moins le param tre d cisif pour obtenir une retomb e avec les indicateurs semble tre la proc dure de production et plus par ticuli rement l appropriation par les r seaux de l enseignement du cadre conceptuel d terminant les
Download Pdf Manuals
Related Search