Une banque de questions au service de l`évaluation formative dans l
Contents
1. l encodage de questions choix multiple avec ou sans SGI la composition de tests sur mesure la passation interactive de tests l introduction de donn es issues de tests sur papier Pour travailler avec le logiciel WINCHECXK on doit disposer d un micro ordinateur AT 386 SX minimum avec 4 Mo de RAM d un disque dur d un cran EGA ou VGA 256 couleurs minimum de l environnement WINDOWS 3 1 minimum Il est possible d installer WINCHECK sur un r seau ou de travailler sur une version monoposte 6 SENSIBILISATION DES ENSEIGNANTS La mise sur pied du projet a n cessit la sensibilisation de ces enseignants aux principes des techniques d valuation Des rencontres planifi es et organis es autour d un th me de travail ont permis d atteindre la plupart des buts assign s par la recherche Chaque journ e de sensibilisation et de production s est termin e g n ralement par un moment consacr l valuation de celle ci INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 31 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD 7 EXPERIMENTATIONS 7 1 Publics et contenus Trois classes ont pass 2 s ries de 4 tests d une quinzaine de questions livre ouvert Une s rie concerne l lectricit l autre la m canique Dans un premier temps on n a pas employ de QCM avec SGI Celles ci ont t introduites progressivement au fur et mesure des2. dans leur pratique INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 33 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD Actuellement bon nombre d entre eux sont capables d utiliser une grande partie du nouveau dispositif d valuation de la cr ation des questions en passant par la passation de tests et l interpr tation des r sultats des l ves La phase d exp rimentation sur le terrain n a n anmoins pu concerner l ensemble des coles Ce d calage sera combl au cours de la prochaine ann e scolaire Les perspectives pour l ann e 1995 96 portent sur divers aspects l largissement de la banque de questions l accompagnement des enseignants l am lioration de l outil informatique l exp rimentation dans les classes et un volet recherche BIBLIOGRAPHIE BOXUS E Les QCM solutions g n rales au service de l valuation livre ouvert Colloque international Formation valuation s lection par questionnaires ferm s Universit de Li ge Centre de Technologie de l Education Li ge 1988 BOXUS E CHECK une banque de questions interactive in WEBER et DUMONT Les Questionnaires Automatisables colloque de l ESIEE Marne la Vall e 1992 BOXUS E et al Principes communs pour valuer les r sultats cognitifs de la formation programme EUROTECNET Commission des Communaut s europ ennes 1991 DENIS B et JANS V Logiciel CHECK Manuel d utilisation ve
3. l enseignant des pistes de rem diation outil diagnostique gr ce auquel l l ve a la possibilit de passer un test d obtenir ses r sultats outil interactif gr ce auquel l apprenant peut cr er ses propres questions outil de cr ation o l valuation peut s adapter aux contraintes contextuelles outil ouvert et flexible qui permette l obtention de r sultats afin de comparer les performances de diff rentes coles outil statistique L id al serait de poss der pour chaque objectif du programme dans un cours d termin une s rie de questions diversifi es et de disposer ainsi de banques de questions Dans le cadre du projet 1994 95 la banque de questions met l accent sur les comp tences sp cifiques abord es dans le domaine lectrom canique des options technico scientifiques car il concerne un grand nombre de professeurs et d l ves Dans la mesure o ce projet concerne tous les inspecteurs de l enseignement il serait n cessaire de faire des ponts entre les diff rents projets qui traitent des banques de questions afin d assurer la diffusion et la coh rence des r sultats des travaux men s Objectifs interm diaires Plus particuli rement les actions men es dans le cadre du pr sent projet visent Rem dier aux difficult s rencontr es par des enseignants relatives la formulation correcte de questions d valuation Proposer un mod le et des outils qui permettraien
4. Il lui est galement possible de r fl chir sur les diff rentes causes qui seront susceptibles d avoir concouru aux conditions de la r ussite de chacun des tests L utilisation des degr s de certitude et l volution du r alisme Dans les questionnaires d avis des l ves on note que ces derniers aiment le syst me des degr s de certitude et estiment que celui ci les valorise INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 32 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD Globalement on peut aussi constater que le r alisme des l ves volue au fur et mesure de leur exp rience avec ce type de tests La d tection des solutions g n rales implicites SGI Il reste quelques progr s effectuer au niveau de la vigilance cognitive les SGI ne sont pas syst matiquement d tect es Le r bis Cet indice donne des informations sur la qualit des questions Sur les 120 questions comprises dans les tests certaines devraient tre r vis es en vue d une future utilisation Il ne suffit donc pas de produire des questions m me avec un groupe d experts mais il est indispensable de les exp rimenter aupr s du public cible afin d en garantir la qualit 8 BILAN ET PERSPECTIVES Apr s une ann e de travail comme en t moignent les r sultats pr sent s dans le rapport final le bilan est tr s positif les objectifs de d part sont largement atteints
5. Labor Bruxelles 1986 Qualit des questions et signification des scores avec application aux QCM coll Education 2000 Labor Bruxelles 1987 Auto valuation et connaissance partielle Universit de Li ge Service de technologie de l Education notes provisoires Li ge 1990 Double Check Un concept d valuation interactive permettant de distinguer les capacit s de compr hension et d analyse Colloque ltin rant sur la P dagogie Universitaire entre les Universit s du Qu bec et de la Communaut fran aise de Belgique Li ge 25 10 94 Des banques de QCM SGI interactives ou non au service de l valuation in Probio Revue vol 17 n 1 2 Louvain la Neuve 1994c p 19 28 ltem Banking Interactive Testing and Self Assessment NATO ASI Series Computer and science Serie F vol 112 Berlin 1993 The TASTE Approach General Implicit Solutions in Multiple Choice Questions MCQs Open Books exams and Interactive Testing in LECLERCQ D et BRUNO J ltem Banking Interactive Testing and Self Assessment NATO ASI Series Berlin 1993 p 210 232 Un logiciel pour s entra ner l auto estimation de sa comp tence cognitive Colloque QCM et Questionnaires Ferm s Marne La Val e ESIEE d cembre 1994 Les QCM SGI et les Degr s de Certitude au Service d une Evaluation Interactive et de l Apprentissage travail de fin INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 35 Une banque de questions au serv
6. Une banque de questions au service de l valuation formative dans l enseignement technique du deuxi me degr Brigitte DENIS Catherine BOSMANS V ronique JANS T l 041 66 20 72 Service de Technologie de l Education Fax 041 66 29 53 Universit de Li ge au Sart Tilman e mail Bdenis VM1 ULG AC BE B t 32 4000 Li ge CBosmans VM1 ULG AC BE Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD 1 INTRODUCTION Cet article pr sente quelques r sultats et lements de r flexion issus de la premi re d une recherche action portant sur la conception cr ation et utilisation d une banque de questions dans l enseignement technique et professionnel du deuxi me degr Ce projet a t lanc sous la houlette des Inspecteurs SMITZ et DESMIT par l Organisation des Etudes en septembre 1994 Le promoteur qui a t choisi pour mettre sur pied cette action est le Service de Technologie de l Education de l Universit de Li ge STE patronn par le professeur D LECLERCQ Le pr sent projet vise contribuer mettre en oeuvre des pratiques d valuation formative et mesurer l ensemble des objectifs vis s par les programmes d enseignement Les phases de d roulement du travail ont t d finies comme suit Phase 1 Conception d un syst me ad hoc pour l valuation certificative et formative des l ves des cours techniques et professionnels avec Inspecteurs et enseigna
7. es 20 r gles de r daction de QCM Leclercq 1986 cr er un test en veillant s lectionner un contenu et des comp tences le nombre de questions souhait le niveau taxonomique que l on d sire mesurer reproduire le test sur papier ou et partir de l outil informatique faire passer le test grille de r ponse ou ordinateur introduire manuellement cas du test papier les donn es dans l ordinateur imprimer les dossiers d l ves analyser la qualit des questions pour le professeur analyser les performances des l ves INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 28 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD La banque de questions d velopp e dans le cadre de ce projet est constitu e soit partir de questions existantes qui sont remani es en fonction des r gles de conception des QCM soit partir de questions cr es par les enseignants durant les journ es de production ou en dehors de celles ci Lors de la r daction des questions les concepteurs s attellent varier les niveaux taxonomiques les objectifs et les contenus abord s Ils produisent notamment des QCM contenant des SGI Les chercheurs assurent la relecture des questions au niveau m thodologique le groupe de travail au niveau du contenu Pr s de 900 questions composent actuellement la banque Elles sont reli es diverses comp tences du programme d lectromo cani
8. es concernent la_ vigilance cognitive c est dire la d tection de situations absurdes de probl mes donn es incompl tes ou de questions mal pos es voire dangereuses etc la compr hension en profondeur d un ph nom ne sp cifique le r alisme dans l auto valuation de ses savoirs et de ses savoir faire la capacit d autocritique et la prise de responsabilit Le caract re novateur tient dans le syst matisme avec lequel ces concepts et techniques peuvent tre appliqu s 3 OBJECTIFS DE LA RECHERCHE 3 1 Objectifs g n raux Divers objectifs peuvent tre identifi s Ce projet vise allier valuation formative et certificative Il tente d harmoniser l valuation d un tablissement scolaire l autre Il vise long terme une diminution de l chec scolaire ajustement des contenus m thodologies l valuation INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 26 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD 3 2 Il s agit de construire et d exp rimenter un outil d valuation o l enseignant peut s lectionner cr er ses propres questions selon des objectifs pr cis banque de questions o l enseignant peut obtenir des r sultats d valuation individuels et collectifs outil de certification qui mette en vidence les lacunes combler dans le cadre de la ma trise de comp tences transversales et donne
9. ice de l valuation formative dans l enseignement technique du 2eD d tudes Universit de Li ge Facult de Psychologie et des Sciences de l Education 1992 1993 NYHAN B Promouvoir l aptitude l auto formation Eurotecnet Presses interuniversitaires europ ennes Bruxelles 1991 INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 36
10. ion lls repr sentent 14 tablissements scolaires de l enseignement technique et professionnel de la Communaut fran aise Ils sont sp cialis s pour les mati res du cours de m canique ou bien d lectricit D autres enseignants des r seaux de l enseignement libre et provincial ont ensuite rejoint cette quipe INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 25 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD 2 DES PROBLEMATIQUES DE L EVALUATION Le but de ce projet est de pallier certains probl mes p dagogiques ne pas seulement mesurer et enseigner des connaissances d velopper chez l l ve la capacit d apprendre promouvoir l acquisition de diff rents types de comp tences sp cifiques d multiplicatrices strat giques et dynamiques LECLERCQ 1987 Depuis une quinzaine d ann es de nouveaux concepts d valuation et les techniques correspondantes ont t d velopp s au Service de Technologie de l Education de l ULG Ils ont t adopt s l ULG elle m me o existent d sormais plusieurs banques de questions portant sur divers cours de divers professeurs dans divers pays Royaume Uni Italie Espagne pour lesquels existent des versions anglaise italienne et espagnole des manuels et des logiciels et dans divers organismes Province de Li ge Institut de Formation des Classes Moyennes Fabrim tal Technifutur Ces concepts et techniqu
11. ion de banques de questions informatis es qui permet aux professeurs de cr er leurs tests et aux l ves de les passer interactivement ou sur papier Entre autres possibilit s le logiciel propose un traitement des r sultats et un mode de questionnement adapt s aux techniques exer ant la capacit auto valuation et de vigilance cognitive de l apprenant indices de r alisme de coh rence graphique de r alisme score avec ou sans certitude pourcentage de r ussite selon diverses cat gories de questions r ponses correctes aux questions double check Son utilit r side autant dans la pratique de l valuation formative que certificative INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 30 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD A l aide de ce logiciel les enseignants peuvent prendre en charge les diverses tapes du processus d valuation savoir le choix voire la cr ation de questions d valuation l impression du document l introduction des donn es r ponses des l ves au test l impression de ces donn es par l ve et pour l ensemble de la classe Pratiquement le professeur peut soit utiliser les questions de la banque soit en introduire de nouvelles Les questions sont combin es partir des trois param tres suivants la mati re les comp tences les processus mentaux Globalement le logiciel WINCHECK permet
12. nts Phase 2 Cr ation de questions avec des enseignants cr ation ventuelle d un logiciel Phase 3 Exp rimentation des proc dures d valuation formative d autor gulation et de cr ation des questions par les enseignants voire par les l ves eux m mes Extension multiplication de la proc dure Le projet initial est sous tendu par un ensemble de propositions faites par le STE sur la probl matique de l valuation Elles caract risent les tendances de la recherche Un nouveau programme d taillant les contenus et comp tences acqu rir a t con u pour l option lectrom canique de l enseignement secondaire inf rieur technique et professionnel de la Communaut fran aise Cette option concerne une soixantaine d coles soit environ cent vingt professeurs et quatre cents l ves Ce sont ces raisons qui ont motiv l Inspection orienter les travaux de construction de l outil d valuation vers le domaine de l lectrom canique dans l enseignement secondaire inf rieur technique Les questions de la banque r pondent donc aux comp tences du programme portant sur l option lectrom canique au niveau des 3e et 4e ann es INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 24 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD Durant l ann e 1994 1995 l exp rience pilote a concern principalement une vingtaine d enseignants qui ont t d sign s par l Inspect
13. que de l enseignement de la Communaut Fran aise comme le montre le tableau suivant comp tences couvertes questions ELECTRICITE C1 C39 1 2 3 5 6 8 9 10 11 13 16 19 25 27 29 32 36 38 39 AUTOMATISME 1 2 4 5 6 8 10 INFORMATIQUE C1 C9 5 6 7 INDUSTRIELLE 220 TECHNOLOGIE C1 C17 1 10 14 16 164 MECANIQUE TECHNOLOGIE Ci1 ci2 Jfi 12 87 ELECTRICITE La banque de questions a t largement informatis e l aide du logiciel WINCHECK mis la disposition de la pr sente recherche par le STE titre exp rimental Elle comprend actuellement 500 questions Les enseignants ont entam l encodage des questions l aide du logiciel WINCHECK durant certaines rencontres car il paraissait indispensable qu ils puissent employer le logiciel de mani re autonome Toutefois ce contact fut une premi re approche qui aurait tout avantage tre approfondie 5 LE LOGICIEL WINCHECK WINCHECK a t con u par le STE dans le cadre d un projet europ en CERT EUROFORM L approche mise en oeuvre dans ce logiciel testing interactif l aide de QCM avec SGI a t exp riment e en formation professionnelle et s est av r e positive DENIS et JANS 1994 1 Nous reviendrons ce logiciel au point suivant INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 29 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD Il s agit d un syst me de cr at
14. rsion provisoire Universit de Li ge Service de Technologie de l Education Li ge f vrier 1994 HURARD M Logiciel d aide la m tacognition sur les comp tences cognitives M moire de licence en informatique Universit de Li ge 1994 JANS V D velopper la vigilance cognitive l cole primaire par des QCM Solutions G n rales Implicites Universit de Li ge m moire de licence en Sciences et Techniques de la Formation Continue 1993 1994 JANS V Evaluation et M tacognition l avis des utilisateurs de CERT en formation professionnelle Colloque QCM et INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 34 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD LAMBERT F LECLERCQ D LECLERCQ D LECLERCQ D LECLERCQ D LECLERCQ D DENIS B BOXUS E GILLES J L LECLERCQ D LECLERCQ D et BRUNO J LECLERCQ D BOXUS E DE BROGNIEZ P WUIDAR H LAMBERT F LECLERCQ D et GILLES J L GUESS NIZET A C Questionnaires Ferm s Marne La Vall e d cembre 1994 Evaluation interactive informatis e et auto valuation m moire de licence en Sciences de l Education Universit de Li ge 1991 1992 La fonction r gulatrice de l valuation vue sous l angle de l implication de l tudiant in Education n 159 Bruxelles d c 1976 p 65 75 La conception des questions choix multiple coll Education 2000
15. t aux enseignants de r diger des questions correctement et d en valuer la qualit cf les logiciels CERT et WINCHECK Constituer une cellule d enseignants qui seraient form s aux techniques de r daction de questions d valuation des fins d accompagnement de leurs coll gues dans ces apprentissages INFORMATIONS P DAGOGIQUES N 22 JANVIER 1996 27 Une banque de questions au service de l valuation formative dans l enseignement technique du 2eD Aider les enseignants analyser avec nuance des r sultats d valuation les pistes de rem diation Proposer un outil qui les aiderait commenter les r sultats d valuation des l ves afin de fournir ces derniers desfeedbacks formatifs Exercer les enseignants l valuation de comp tences transversales Pour construire l outil d valuation il est n cessaire de partir des programmes o sont d finis les comp tences et les contenus que les l ves doivent acqu rir R pondre des questions impliquera de la part des l ves la mise en oeuvre de certaines comp tences transversales ex la consultation de documents de r f rence pour obtenir la r ponse de comp tences sp cifiques Il est n cessaire d y travailler avec des experts du contenu 4 UN OUTIL D INT GRATION UNE BANQUE DE QUESTIONS Cr er des questions choix multiple QCM et des tests implique une certaine marche suivre r diger les questions en respectant l
16. tests afin de familiariser les l ves avec cette nouvelle mani re de r pondre Les tests se sont d roul s sur papier l AR de Vis et l AR de St Georges et sur ordinateur IFTC d Evere Cette exp rimentation sur le terrain donne des indications sur la mani re d prouver la faisabilit de l approche et offre des premiers r sultats d analyse Elle a consist sensibiliser les l ves l utilisation des degr s de certitude soumettre quatre reprises des tests compos s de questions choix multiple habituelles et solutions g n rales implicites faire utiliser par les l ves des degr s de certitude valuer particuli rement la vigilance cognitive la compr hension la connaissance et la m ta cognition chez les apprenants valuer l attitude des enseignants face l approche de l valuation mise en oeuvre outil banque de questions Les r sultats obtenus aux diff rents tests ont t comment s et ont fait l objet d une discussion avec les l ves au fur et mesure des s ances 7 2 ANALYSE DES DONNEES L analyse des donn es a port sur L interpr tation des scores globaux par mati re et par classe Ces indications peuvent aider le professeur orienter son analyse afin de proposer aux l ves les rem diations n cessaires ou bien faire une valuation de la qualit des tests propos s afin d en r ajuster le contenu et si n cessaire le score des l ves
17. un syst me pour l valuation certificative et formative des l ves des cours techniques et professionnels a t mis en oeuvre e des banques de questions ont t cr es elles recouvrent d j une large partie des comp tences d crites dans le programme des cours d lectro m canique un logiciel a permis d informatiser la proc dure de cr ation de banques de questions la cr ation de tests et leur passation interactive ou sur papier ainsi que l analyse des r sultats des proc dures d valuation formative et d auto valuation ont t appliqu es dans diff rentes coles les r sultats des premi res exp rimentations sur le terrain sont encourageants les l ves s approprient progressivement le nouveau syst me d valuation l extension de cette d marche est sollicit e par de nombreux inspecteurs auxquels elle a t pr sent e L ensemble de ces actions a t men e en tr s troite collaboration avec l inspection les enseignants et les chercheurs du STE Les enseignants ont montr une forte motivation tout au long du projet N anmoins comme toute innovation p dagogique le chemin parcourir pour arriver un changement en profondeur dans les pratiques d valuation est long et difficile Toutefois il est important de souligner que la plupart des enseignants adh rent la philosophie du projet et on remarque qu ils sont d sireux d appliquer certaines des nouvelles techniques propos es
Download Pdf Manuals
Related Search