Evaluer l`apprentissage par ordinateur : Tâches et rétroactions
Contents
1. Mise en vidence des erreurs Egalement appel surlignage des erreurs Les erreurs sont mises en vidence sans donner la r ponse correcte Elabor Terme g n rique qui signale qu on a donn une explication sur la raison pour laquelle une r ponse donn e tait correcte ou non Pourrait permettre l apprenant de revoir une partie de ce qui a t enseign Peut ou pas pr senter la r ponse correcte voir plus bas les 6 autres types de feedback labor Elabor avec attributs critiques Feedback labor qui pr sente l apprenant les caract ristiques les plus importantes du concept ou de l habilet tudi pour une meilleure compr hension attributs critiques Elabor relatif au contenu tudi Feedback labor qui pr sente l apprenant des informations relatives au contenu tudi p ex de la r ponse correcte Peut impliquer la r p tition de l enseignement Elabor relatif la r ponse Feedback labor qui se focalise sur la r ponse de l apprenant Peut d crire pourquoi la r ponse incorrecte est fausse ou la r ponse correcte est juste Ce feedback ne recourt pas une analyse des erreurs Elabor sous forme d indications ou signaux Feedback labor guidant l apprenant dans la bonne direction p ex indications sur la strat gie utiliser ensuite exemple r solu d monstration Evite explicitement de pr senter la r ponse2. 2 Phase de r troaction Les mots possiblement mal orthographi s sont mis en vidence soulign s par exemple r troaction 3 Phase de correction automatique On peut de mani re optionnelle clic droit se voir proposer des alternatives au mot possiblement mal orthographi La reconnaissance du mot correcte peut se faire ou pas 4 Phase d action en retour On peut d cider de laisser le mot dans sa forme originelle si on est s r de son orthographe si le mot est un nom propre etc de s lectionner l une des alternatives propos es en 3 de corriger directement le mot mal orthogra phi 5 Retour en 1 pour taper la suite du texte Bereiter 2002 dans le chapitre 2 de son ouvrage dont un preprint est accessible http www cocon com observetory carlbereiter chapter2 pdf voque une proc dure simple pour comprendre de quelle mani re le correcteur orthographique d un logiciel de traitement de textes volu sugg re des mots alternatifs un mot possiblement mal tap Lisez le contenu du Tableau 2 ci dessous et tirez en quelques d ductions sur la mani re dont le logiciel en question fonctionne Vous pouvez vous reporter directement l article en anglais pour comparer vos conclusions avec celles de Bereiter Tableau 2 Un tableau de suggestions de mots mal orthographi s Bereiter 2002 pp 37 38 Mots crits dans le logiciel Les suggestions du correcteur orthographique p
3. c Notez que le manuel de r f rence en anglais est accessible http wikieducator org Online manual 4 En quelques phrases crire ce que l on a compris pas compris sur le logiciel S en servir pour le clavardage 5 Installation du logiciel partir de la page http exelearning org wiki attention t l charger le logiciel correspondant votre syst me Windows Mac OS X ou Linux de la section Last release derni re version Au 24 mars 2011 c est la 1 04 qui est la version stable la plus r cente 6 Il est pr suppos deux l ments importants voir aussi formulaire signer ci apr s a Sauf avis contraire de l tudiant mentionn clairement l enseignant par courriel le plus t t possible le cours produit sera plac sous licence Creative Commons BY NC SA plus d informations http creativecommons org licenses by nc nd 2 0 fr Le logiciel eXe Learning permet d ailleurs d ajouter automatiquement une telle licence sur toutes les pages produites b La production r alis e devra tre exempte de contenu plagi Il appartient donc l tudiant de r f rencer scrupuleusement le contenu provenant d auteurs autre que lui ou elle m me Ce contenu sera n cessairement court proportionnellement au contenu crit par l tudiant mentionn entre guillemets suivi ou pr c d de sa r f rence article ouvrage Tout Cours MARDIF 2010 11 sous licence CC 3
4. au choix Il est galement requis de lire au moins un autre article indiqu en lectures compl mentaires la fin de chaque section section voir plus loin Cette activit 1 se continue par un forum de discussion dans lequel figurent les trois questions ci dessous Vous avez r pondre chaque question de mani re argument e et l enseignant vous en fera un retour r ponse aux ventuelles questions conseils de lecture e Quelles sont les trois principales notions expos es et discut es dans le cours ainsi que les questions que je me pose leur propos p ex concernant leur possible application mes recherches e Quelles sont les trois principaux points du cours qu il me reste comprendre ou approfondir Y a t il des points particuliers que je n ai pas compris et sur lesquels j aimerais avoir des pr cisions e Suis je arriv e installer le logiciel eXe Learning et ai je compris son fonctionnement dans les grandes lignes Quelles sont les questions que je me pose encore suite la lecture de la documentation Cette activit sera suivie d un clavardage chat sur le site du MARDIF Activit 2 L activit 2 est enti rement d crite dans la section Construire un cours sur eXe Learning plus bas p 26 Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 5 Remerciements L auteur remercie vivement Christophe Charroud et Hussein Atta Salem et Emman
5. l enseignant le formulaire d autorisation ci apr s Il est bien s r noter que seuls les cours des tudiants ayant donn l autorisation de diffusion seront Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 28 publi s 2 Le cours tant ouvert ex cuter le menu File gt Export gt Web Site gt Zip File Cela enregistre une version compress e du site du cours dans le format XHTML 3 Envoyer par courriel l enseignant du cours a Le formulaire rempli et sign d autorisation de publication du cours b Le fichier compress obtenu par l tape 1 c Le fichier source du cours obtenu en faisant File gt Save As de suffixe elp D Crit res d valuation de la production Les crit res d valuation suivants seront pris en compte dans l valuation du cours qualit du contenu du cours de fond et de forme qualit du lien entre cours et QCM qualit de r daction des QCM conformes aux prescriptions de ce cours qualit du feedback donn en retour en cas de bonne ou mauvaise r ponse Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 29 10 Pour aller encore un peu plus loin Le champ de la recherche sur les r troactions automatiques est tr s actif Les lectures suivantes pourront permettre au lecteur d aller plus loin sur le sujet Les ouvrages de Demaizi re 1986 et Depover 1987 bien qu anciens permettront une bonn
6. 0 BY NC SA Ph Dessus Grenoble 27 manquement ce point pourra faire l objet de sanctions par l instance universitaire appropri e La consultation du site http www integrite umontreal ca pourra apporter d utiles pr cisions B Conception du cours 1 Choisir un domaine dans lequel vous tes expert e et pour lequel vous voulez transmettre un contenu 2 Choisir un niveau de classe et d finissez quelques objectifs d apprentissage ce que les personnes qui suivront ce cours devront tre capables de faire l issue du cours 3 Choisir un contenu apprendre propos du domaine choisi R diger cinq pages A4 de cours soit entre 17 000 et 20 000 caract res espaces compris hi rarchis es deux niveaux Veiller ce que le contenu soit galement r parti dans les diff rentes sections du cours 4 Illustrer ce cours par des images des tableaux des vid os dont la r f rence sera mentionn e dans le corps du texte du cours 5 Porter dans le cours eXe Learning les l ments suivants provenant de Andrade ef al 2008 Chacun des points suivants doit faire l objet d une sous section dans le cours eXe Learning a Qu est ce qui doit tre appris d tailler le contenu du cours les principaux concepts et habilet s l uvre b Pourquoi cela doit il tre appris expliquer le contexte d apprentissage et les possibles transferts du contenu du cours d autres contextes ainsi que les con
7. amp Haladyna T M 1980 The emergence of an item writing technology Review of Educational Research 50 2 293 314 Sadler P M 1999 The relevance of multiple choice tests in assessing science understanding In J J Mintzes J H Wandersee amp J D Novak Eds Assessing science understanding human constructivist view pp 249 278 San Diego Academic Press Seyve D amp Gr pilloux J 2004 TICE et QCM Grenoble GRECO les dossiers th matiques du projet GRECO Shute V J 2008 Focus on formative feedback Review of Educational Research 78 1 153 189 Touchie C s d Guidelines for the development of multiple choice questions Ottawa Medical Council of Canada Trausan Matu S Dessus P Lemaire B Mandin S Villiot Leclercq E Rebedea T Zampa V 2008 Deliverable D5 1 Support and feedback design Heerlen OUNL Research report of the LTfLL Project Williams J B 2006 Assertion reason multiple choice testing as a tool for deep learning a qualitative analysis Assessment amp Evaluation in Higher Education 31 3 287 301
8. cognitive D finition Formes Exemple de question Rappeler des faits La reproduction d un l ment Nommer quelle date Christophe Colomb stimulus identique celui S lectionner a t il d couvert l Am rique r sent D crire p a 1492 b 1489 c 1776 R sumer La compr hension des concepts Identifier Quel est un bon exemple et la capacit identifier D finir Traduire d allit ration en anglais correctement les exemples a gurgling b school pool c instances ou attributs du concept blue blood d up down Pr dire Utiliser des r gles pour mettre au Si alors Si la temp rature du fluide dans la jour des relations de contingence bouteille exc de 100 C alors entre items d apprentissage a tous les fluides L apprenant lit une situation et s vaporeront peut anticiper une cons quence b le liquide explose fond e sur une r gle c rien ne se passe Evaluer La capacit a s lectionner un Quel item est le Du point de vue de l efficacit ou des crit re s b utiliser un meilleur le pire quelle proc dure est la meilleure crit re c s lectionner et utiliser le plus le moins a proc dure 1 un crit re pour mettre en uvre etc b proc dure 2 etc une d cision Appliquer R solution d un probl me Pas de formes Quel plan permettra de r aliser un impliquant a le comprendre b standard syst me de distribution urbaine de le d finir c choisir des l eau qui sera
9. contenu multim dia de pr sentation de contenu ef d valuation de l apprentissage Il n est pas dans l objet de ce cours puisqu il s agit d un cours de Master Recherche de proposer un mode d emploi tendu d eXe Learning tant il en existe d j de nombreux sur internet Il est donc conseill de suivre pas pas la proc dure ci dessous afin de prendre progressivement connaissance des possibilit s de travail d eXe Learning Cette proc dure comprend trois parties principales A Information sur le logiciel et son installation B Conception du cours et des questions C Installation du cours sur un site du MARDIF A Prise d informations sur les fonctionnalit s du logiciel installation et pr cautions 1 Visionnement du tutoriel vid o pr sentant les principales fonctionnalit s du logiciel disponible http www clicattitude info tutoexe dcouvrir la fentre de travail dexe learning html 2 Visionnement de quelques travaux d tudiants afin de comprendre la logique du logiciel de ce qu il permet de faire ou de ne pas faire 3 Lecture attentive de la documentation en fran ais Le Clainche 2010 accessible http formatice org telechargement exe guide utilisateur pdf D autres documentations sont disponibles EdutechWiki 2011 http edutechwiki unige ch fr EXe b Des diapositives de pr sentation http jil quillevere free fr CARIF LR _14112006 crer avec _exelearning html
10. du logiciel eXe Learning et premi re exploration Il est important de signaler par courriel l enseignant le plus rapidement possible tout probl me dans l installation ou l utilisation Clavardage sur la plate forme du MARDIF partir des questions d pos es R alisation du cours pr sentant un contenu ef un QCM Envoi par courriel ou par d p t sur site de partage de fichiers l enseignant du cours r alis avec eXe Learning formats elp et XHTML du fichier PDF d autorisation de diffusion Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 4 Descriptif des t ches du s minaire TICE L organisation g n rale du s minaire peut se repr senter visuellement comme suit KS Activit 1 F 1 Lecture du cours 5 4 2 Lecture d un autre article cit n Date butoir 16 mai 2011 3 D p t des r ponses aux questions dans le forum 4 Installation du logiciel eXe Learning Clavardage sur 16 mai 2011 16 00 17 00 plate forme MARDIF 0 x Activit 2 n Conception et r alisation du cours avec eXe Learning Date butoir 31 mai 2011 Figure 1 Repr sentation visuelle de l organisation du s minaire TICE r alis avec Compendium LD Activit 1 L activit 1 voir date butoir plus haut et Figure 1 pour une repr sentation visuelle des t ches consiste en la lecture attentive du cours ci apr s et le travail sur au moins 3 TP
11. efficace en toutes principes r gles ou m thodes qui saisons permettront de le r soudre d a nappe phr atique choisir ou trouver des solutions l ouest de la ville b nappe phr atique l est de la ville c un r servoir dans les collines d unpipeline 60 J 5 50 7 2 E 40 4 6 k 30 4 8 5 20 L ERTE l 11 00 No test Test with no Test with immediate Test with delayed feedback feedback Learning condition TRENDS in Cognitive Sciences feedback Figure 2 Les 4 conditions d apprentissage de l exp rience de Butler et Roediger 2008 copi de Roediger et Butler 2011 p 23 Les QCM sollicitent principalement une activit de reconnaissance reconna tre la bonne r ponse parmi plusieurs Cela a un inconv nient majeur les apprenants doivent lire des Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 22 r ponses erron es et le danger est grand qu ils les apprennent ce que les tudes de Butler ont confirm Pour pallier ce risque il convient de donner le plus t t possible apr s la passation du QCM les bonnes r ponses l apprenant Sadler 1999 a galement montr qu il est possible de construire des QCM en indiquant comme choix possibles les compr hensions erron es des apprenants TP Trouver d autres avantages et d autres inconv nients des QCM pour valuer l apprentissage Aller sur la page wikipedia propos des qu
12. plus pratique contient les consignes pour r aliser un cours et des QCM avec le logiciel eXeLearning le but tant d appliquer les prescriptions de la premi re partie Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 9 1 partie El ments th oriques La premi re partie de ce cours pr sente quelques points de vue th oriques sur le type de t ches d apprentissage les principales phases de r troaction et les formes de feedback pouvant tre d livr es de mani re semi automatique pour guider l apprentissage dans un contexte d enseignement distance Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 10 1 Le choix de la t che Avant tout l une des premi res questions que tout enseignant a se poser lorsqu il travaille l valuation de ses apprenants porte sur le type de t che d apprentissage ou d ailleurs d valuation qu il va pouvoir leur donner Il est ici question d avoir un aper u g n ral du type de t ches qu on peut donner dans un contexte d enseignement distance des apprenants bien que cela vaille en grande partie aussi pour des enseignements en pr sence Le Tableau 1 ci dessous d taille le nom des t ches les processus cognitifs pr f rentiellement engag s dans leur mise en uvre et la conception de l apprentissage sous jacente chacune Tableau 1 Type de t ches processus cognitifs engag s et concep
13. troactions Rouen Cours de s minaire TICE du MARDIF CNED Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Table des mati res OBJECTIFS ET ASPECTS ORGANISATIONNELS Objectifs Chronologie du s minaire TICE du MARDIF mai 2011 Descriptif des t ches du s minaire TICE Remerciements 1 INTRODUCTION 1 PARTIE ELEMENTS THEORIQUES 1 LE CHOIX DE LA TACHE TP Voir plus loin 2 LES RETROACTIONS PAR INFORMATIQUE QUELQUES PHASES PRINCIPALES Les diff rentes phases d un feedback pour l apprentissage TP Voir plus loin 3 LES RETROACTIONS GUIDAGE ET EVALUATION TP Pour en savoir plus 4 DIFFERENTS FORMES DE FEEDBACK Feedback directif vs Facilitatif La complexit du feedback TP Voir plus loin 2 PARTIE LES QUESTIONNAIRES A CHOIX MULTIPLE 5 LES QUESTIONNAIRES A CHOIX MULTIPLE BREF HISTORIQUE Voir plus loin 6 LES QUESTIONNAIRES A CHOIX MULTIPLE DEFINITIONS ET FORMES TP Voir plus loin 7 LES ASPECTS COGNITIFS DES QCM Les processus cognitifs engag s dans les QCM Les QCM font ils apprendre TP Voir plus loin 8 LES TYPES DE QCM CONSEILS DE REDACTION 9 CONSTRUIRE UN COURS SUR EXE LEARNING 10 POUR ALLER ENCORE UN PEU PLUS LOIN 11 AUTORISATION DE DIFFUSION DE MON COURS 12 REFERENCES O o a BB U U W 10 10 10 11 11 12 12 13 13 13 14 14 14 15 15 16 17 17 18 19 19 20 20 20 22 22 23 26 29 31 32 Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Des
14. vraies et R est l explication correcte de A A et R sont vraies et R n est pas l explication correcte de A A est vraie et R est fausse ARE e A est fausse et R est vraie 5 A etR sont fausses Voici un exemple d assertion raison et la r ponse Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 19 Tableau 4 Un exemple de question Assertion raison et sa solution Assertion Raison Les responsables de la centrale de Tchernobyl ont Le r acteur s est trouv en sous puissance un r alis un exercice pour prouver qu on pouvait bref temps et dans une grande instabilit ce qui relancer la centrale avec des g n rateurs diesel la a provoqu une explosion Il aurait d tre suite d une panne totale du r seau lectrique ce qui refroidi plusieurs jours pour que l iode et le a d clench la catastrophe x non se d sint grent R ponse A V R V R est l explication de A soit la r ponse 1 source http fr wikipedia org wiki Catastrophe de Tchernobyl acc d e le 7 avril 2011 TP Construisez sur papier un item de test de type assertion raison Voir plus loin Il existe deux bonnes synth ses accessibles sur internet sur les possibilit s d informatiser un QCM des fins ducatives Bravard 2005 et Seyve et Gr pilloux 2004 respectivement http fle u strasbg fr evaluation_fle Bravard_qcm pdf et http greco gren
15. A short history of performance assessment Lessons learned Phi Delta Kappan 80 9 688 695 Marsh E J Roediger H L 3rd Bjork R A amp Bjork E L 2007 The memorial consequences of multiple choice testing Psychonomic Bulletin amp Review 14 2 194 199 Mayer R E amp Colvin Clark R 2010 Instructional strategies for receptive learning environments In K H Silber amp W R Foshay Eds Handbook of improving performance in the workplace Vol 1 Instructional design and training delivery pp 298 328 San Francisco Pfeiffer Narciss S amp Huth K 2004 How to design informative tutoring feedback for multi media learning In H Niegeman R Br nken amp D Leutner Eds Instructional design for multimedia learning pp 181 195 M nster Waxmann Osman R M 2011 Mesure et valuation en ducation s l Cours de l universit virtuelle africaine Osterlind S J 1998 Constructing test items 2th ed New York Springer Reif F 2008 Applying cognitive science to education Cambridge MIT Press Rodriguez M C 1997 The art and science of item writing meta analysis of multiple choice item format effects Paper presented at the American Educational Research Association Chicago Roediger H L 3rd amp Butler A C 2011 The critical role of retrieval practice in long term retention Trends in Cognitive Sciences 15 1 20 27 doi 10 1016 j tics 2010 09 003 Roid G
16. Evaluer l apprentissage par ordinateur T ches et r troactions Philippe Dessus Laboratoire des sciences de l ducation EA 602 universit de Grenoble 2 et UJF Grenoble 1 Maison page http webu2 upmf grenoble fr sciedu pdessus Courriel Philippe Dessus upmf grenoble fr Version 1 0 au 13 avril 2011 RESUME Ce cours de Master 2 R sciences de l ducation distance a pour but de pr senter des l ments th oriques et pratiques li s la constitution de questionnaires choix multiple QCM pour valuer l apprentissage Il est compos de deux parties La premi re pr sente les l ments th oriques notion de t che de feedback panoplie de moyens d valuer l apprentissage la deuxi me se centre sur les questionnaires choix multiple et se termine en donnant quelques indications pour utiliser un logiciel de conception de QCM Note Nous nous adressons tout au long de ce cours un tudiant plut t qu une tudiante Que ces derni res soient assur es que c est uniquement par souci de lisibilit et ne correspond aucune discrimination leur encontre Cette uvre est mise disposition selon les termes de la Licence Creative Commons Paternit Pas d Utilisation Commerciale Partage des Conditions Initiales l Identique 3 0 Unported Ce cours peut tre cit de la mani re suivante Dessus P 2011 Evaluer l apprentissage par ordinateur t ches et r
17. Morgan M T 1991 The instructional effect of feedback in test like events Review of Educational Research 61 2 213 238 Basque J amp Lundgren Cayrol K 2002 Une typologie des typologies des applications des TIC en ducation Sciences et Techniques Educatives 9 3 4 Bereiter C 2002 Education and mind in the knowledge age Mahwah Erlbaum Bernier J J 1985 Th orie des tests Principes et techniques de base 2e ed Chicoutimi Ga tan Morin Bloom B S Englehart M D Furst E J Hill W H amp Krathwohl D R 1969 Taxonomie des objectifs p dagogiques M Lavall e Trans Vol 1 Domaine cognitif Montr al Education Nouvelle Bransford J Brown A L amp Cocking R R 2000 How people learn Brain mind experience and school Washington NAP Bravard S 2005 Usages p dagogiques des QCM Un guide pour la mise en place d un questionnaire choix multiple Poitiers Universit de Poitier URF Letttres et langues m moire de Master ing nierie des m dias pour l ducation non publi Butler A C amp Roediger H L 2008 Feedback enhances the positive effects and reduces the negative effects of multiple choice testing Memory amp Cognition 36 3 604 616 Cheung D amp Bucat R 2002 How can we construct good multiple choice items Paper presented at the Science and Technology Education Conference Hong Kong Clarke M M Madaus G F Horn C L amp
18. Ramos M A 2000 Retrospective on educational testing and assessment in the 20th century Journal of Curriculum Studies 32 2 159 181 de Vries E 2001 Les logiciels d apprentissage panoplie ou ventail Revue Fran aise de P dagogie 137 105 116 Demaizi re F 1986 Enseignement assist par ordinateur Paris Ophrys Depover C 1987 L ordinateur media d enseignement Bruxelles De Boeck Dessus P 2000 La planification de s quences d enseignement objet de description ou de prescription Revue Fran aise de P dagogie 133 101 116 Dessus P amp Lemaire B 2004 Assistance informatique la correction de copies In E Gentaz amp P Dessus Eds Comprendre les apprentissages sciences cognitives et ducation pp 205 220 Paris Dunod Enard C 1970 Le guidage dans l apprentissage In J Leplat C Enard amp A Weill Fassina Eds La formation par l apprentissage pp 113 156 Paris P U F Erstad O 2008 Changing assessment practices and the role of it In J Voogt amp G Knezek Eds International handbook of information technology in primary and secondary education pp 181 194 New York Springer Haladyna T S 2004 Developing and validating multiple choice test items 3th ed Mahwah Erlbaum Haladyna T M 2004 Developing and validating multiple choice test items 3th ed Mahwah Erlbaum Haladyna T M Downing S M amp Rodriguez M C 2002 A revi
19. correcte Elabor centr sur les erreurs ou Feedback labor qui n cessite une analyse et un diagnostic des erreurs possibles Il donne l apprenant des informations sur ses erreurs ou compr hensions erron es p compr hensions ex ce qui est faux et pourquoi erron es Informatif Le feedback le plus labor d apr s Narciss amp Huth 2004 est un composite de feedback de v rification indications et indications strat giques sur la mani re de proc der TP En reprenant le contenu du Tableau 3 ci dessus et en prenant un contenu de cours et une question propos de ce dernier essayez formuler un feedback de ce cours selon 3 ou 4 diff rentes formes Voir plus loin Lire le rapport de Lemercier et al 2001 accessible http edutice archives ouvertes fr docs 00 00 16 38 PDF EXTricot pdf Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 16 2 partie Les questionnaires choix multiple La deuxi me partie de ce cours pr sente quelques l ments de la recherche en psychologie de l ducation sur les questionnaires choix multiple et se termine par quelques l ments pratiques permettant de r aliser de tels questionnaires qui vitent les biais les plus courants et d taille la m thode de travail de l activit 2 Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 17 5 Les questionnaires choix multipl
20. cuter la charge des taxes aux gens de la ville B que les indiens am ricains natifs ont tre pris en compte dans l imposition C etc Ces m mes auteurs p 312 du m me article proposent une liste de principes guidant la construction de QCM r alis e en compilant de nombreux articles ou ouvrages sur le sujet Elle est report e ci dessous traduction libre et modification de l ordre des items Pour rappel un questionnaire est compos de diff rents items eux m mes compos s d une amorce et de plusieurs choix de r ponse Le contenu 1 Chaque item doit couvrir un contenu sp cifique et un comportement mental unique comme dans l organisation de tests 2 Faire en sorte que chaque item ait un contenu ind pendant de celui des autres 3 Chaque item doit tre fond sur un contenu d apprentissage significatif viter des contenus triviaux 4 Eviter les contenus d items trop sp cifiques ou au contraire trop g n raux 5 Utiliser un mat riel nouveau pour tester des apprentissages de haut niveau Modifier en les paraphrasant les formulations des manuels ou celles utilis es par les enseignants en cours pour viter les simples rappels de phrases par c ur 6 Eviter les items exposant des opinions 7 Eviter les items avec des astuces 8 Ecrire les items avec un vocabulaire au niveau du public test Le format 9 Ne pas utiliser le format choix multiple complexe 10 Formater les items ver
21. e bref historique Madaus et O Dwyer 1999 datent l utilisation des premiers questionnaires choix multiple QCM au tout d but du XX si cle pour pallier la mauvaise validit des essais couramment utilis s comme moyen d valuation voir Leclercq 2006 Les premiers tests QCM apparaissent en 1915 et en 1926 des questions choix multiple sont pos es dans le cadre du SAT Stanford Achievement Test valuation des connaissances des l ves de l cole primaire au lyc e aux Etats unis d Am rique et ont fleuri dans le cadre de tests standardis s quand la demande et surtout le nombre d tudiants et d l ves a cru En 1955 l invention du scanneur optique a permis de corriger tr s rapidement ces formulaires ce qui a accentu la popularit de ces outils ensuite augment e encore par l arriv e de l ordinateur dans le courant des ann es 1970 Cela rendait l valuation tr s rapide et peu ch re r sultats en 2 4 semaines pour un co t de 2 3 dollars lorsque r alis e via scanneur Les ann es 1980 comme l expliquent Madaus et O Dwyer ont vu arriver un regain de critiques envers les QCM jug s avec raison comme insuffisamment authentiques Cet int r t et besoin de tests a lanc une industrie tr s opulente et il ne rentre pas dans le propos de ce cours de la relater plus avant voir Clarke Madaus Horn amp Ramos 2000 Voir plus loin Lire l article de Leclercq 2006 disp
22. e avec pr caution 26 Eviter la formule tous les choix ci dessus 25 La formule aucun des choix ci dessus doit tre utilis e avec pr caution 26 Eviter la formule tous les choix ci dessus 27 Formuler les phrases positivement Evitez les n gations telles que pas 28 Eviter de donner des indices menant la bonne r ponse tels que les suivants a Ne pas utiliser des adverbes tels que toujours jamais absolument b Ne pas faire des associations par la prononciation ou par des mots se ressemblant c Ne pas faire d incoh rences grammaticales qui orientent vers l item correct d Ne pas crire d item correct trop voyant e Ne pas crire des paires ou triplets d options qui orientent vers l item correct f Ne pas crire d items visiblement absurdes ou ridicules 29 Rendre plausibles tous les items distracteurs 30 Utiliser les erreurs typiques des apprenants pour crire les items distracteurs 31 Utiliser l humour seulement s il est compatible avec les pratiques de l enseignant et l environnement d apprentissage Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 26 9 Construire un cours sur eXe Learning La proc dure ci dessous vise concevoir rapidement un cours diffusable avec le logiciel eXe Learning Ce logiciel a la particularit outre celle d tre libre et gratuit de permettre de m ler dans la m me page du
23. e beaucoup de temps essayer de comprendre ce que ses l ves arrivent comprendre propos des cours qu il con oit et r alise Une partie de cette activit se passe en direct via l observation des l ves leur interrogation la correction d exercices Cette charge de travail est tr s importante et l enseignant peut penser recourir des outils informatis s qui l aident fournir de telles informations Bien videmment ce type d activit s existait bien avant l invention de l ordinateur On peut penser aux bo tes enseignantes de Freinet o un l ve pouvait s lectionner un ensemble de questions sur un domaine donn l ins rer dans une bo te laissant successivement appara tre dans une fen tre des questions et leurs r ponses le laissant ainsi s auto valuer De nombreux didacticiels informatis s qui sont ensuite apparus ne r alisent souvent pas autre chose par exemple lorsque les l ves utilisent un logiciel de traitement de textes et qu ils sollicitent des suggestions lorsqu un mot est indiqu comme mal orthographi voir Section 2 Les questionnaires choix multiple ou encore les simples questions r ponses sont un moyen classique de v rifier si un apprenant a compris Ce type de questionnaires existent depuis de nombreuses ann es et ont d j fait l objet de publications nombreuses voir T M Haladyna 2004 pour une synth se Pour autant il est assez curieux de noter qu i
24. e initiation ce champ L ouvrage de Bernier 1985 initiera le lecteur aux aspects statistiques des tests Pour r fl chir des sujets de recherche Voici quelques sujets de recherche que l on peut mener dans le domaine du feedback automatique li aux QCM 1 Recherche historique sur les QCM en France notamment dans les tests psychologiques 2 Faire une revue technique des diff rents outils de cr ation de QCM disponibles et leurs avantages et inconv nients 3 Comparaison de l effet sur l apprentissage de notions d un QCM classique et d un QCM Assertion raison 4 Effet de la passation d un QCM sur l apprentissage de notions dans la lign e des travaux de Roediger Pour en savoir plus sur la cr ation de OCM en fran ais Le cours d Osman 2011 disponible http oer avu org handle 123456789 228 Pour en savoir plus sur la cr ation de QCM en anglais L ouvrage de r f rence est celui d Haladyna 2004 Quelques autres tutoriels de qualit Le blog de Focal Works Section 1 http focalworks in articles creating mcqs part i ask right question Section 2 http focalworks in articles creating mcqs part ii make right choice Section 3 http focalworks in articles creating mcqs part iii alternative types multiple choice questions Cheung et Bucat 2002 accessible http www3 fed cuhk edu hk chemistry files constructMC pdf Rodriguez 1997 accessible http
25. enant Et bien s r il n existe pas de QCM dans le monde r el ce qui rend son usage assez peu authentique Williams 2006 Du point de vue de l enseignant galement ils sont assez difficiles construire puisque les items distracteurs doivent tre la fois plausibles et faux voir Section 6 Les processus cognitifs engag s dans les QCM Il est habituellement consid r que la r ponse aux QCM n incite pas les apprenants qui les formulent dans des processus cognitifs de haut niveau puisque n cessairement fond e sur la reconnaissance d informations plut t que leur formulation puisque les r ponses sont n cessairement formul es par avance pour tre choisies le fait qu on puisse y r pondre totalement au hasard est en grande partie responsable de cela voir Leclercq 2006 pour une discussion de ce point Toutefois comme l ont signal Roid et Haladyna 1980 il est possible de centrer des QCM sur d autres activit s que la simple s lection de faits Ils distinguent en adaptant la taxonomie des objectifs cognitifs de Bloom et ses coll gues 5 niveaux voir Tableau 5 De plus Marsh ef al 2007 reportent que les effets d un QCM sur l apprentissage sont aussi importants lorsque le QCM porte sur des aspects d finitionnels niveau 1 de la taxonomie de Bloom que sur des aspects d application niveau 5 de la d finition Les QCM font ils apprendre Un avantage peu mis en avant et pourtant voqu dan
26. es activit s d valuation comme celles de production voir la section pr c dente pouvant tre assist es par informatique sont tr s nombreuses mais d pendent du type de p dagogie mise en uvre par l enseignant Erstad 2008 Dans une perspective behavioriste l essentiel est que l l ve s exerce avec de nombreux probl mes r p titifs et les r ussisse selon des crit res bien d finis Des questionnaires choix multiple ou bien des tests associant questions et r ponses sont dans cette perspective Dans une perspective constructiviste l l ve est vu comme plus actif r alisant des activit s de haut niveau r daction de textes libres construction de portfolios dans des contextes authentiques p ex projets enqu tes et r fl chissant ses performances La majorit des logiciels existants s ins rent beaucoup mieux dans une p dagogie behavioriste principalement parce que le type de retours feedback donn s par ordinateur correspondent bien ses principes voir Tableau 1 bien qu il existe de plus en plus de logiciels permettant un travail dans une perspective constructiviste mais pas toujours valu s par le logiciel lui m me Hattie et Timperley 2007 montrent que les retours peuvent porter sur les trois types d l ments L encore il est possible d utiliser cela pour guider les l ves o vais je quels sont les buts que je poursuis comment y vais je quels progr s a
27. estionnaires choix multiple http fr wikipedia org wiki Questionnaire choix multiples La recopier dans un fichier traitement de textes et l am liorer en citant ses sources Voir plus loin Lire l un des manuels de construction de QCM cit s en r f rences pour plus d informations Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 23 8 Les types de QCM choix et conseils de r daction Cette section a pour but de donner des conseils plus pr cis sur la mani re de concevoir des QCM et de choisir leur forme en fonction des buts d enseignement Haladyna ef al 2002 p 322 et sq listent de mani re exhaustive les types de QCM qu il est possible de r aliser Choix multiple conventionnel Choisir l item qui d crit le plus clairement le processus de polinisation A La rencontre d une cellule uf et d une cellule spermatozo de B Le transfert de graines de pollen dans le pistil C De la nourriture est consomm e et de l nergie est d livr e Choix alternatif Quel est l item parmi les deux suivants qui ralentit le plus efficacement le processus de respiration des plantes A Temps froid B Temps orageux Vrai Faux La capitale de l Uruguay est Montevideo Vrai Faux multiple Vous tes un fermier expert en mati re organique Vous connaissez les secrets pour faire pousser les plantes Quels sont les items parmi les suivants qui d crivent vos tours de mai
28. et fr documents dossier greco_qcm pdf Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 20 7 Les aspects cognitifs des QCM Les tests via QCM s ils sont maintenant tr s r pandus tous niveaux scolaires souffrent de deux pr jug s que nous allons d tailler ici Le premier est que les QCM ne peuvent mesurer que des comp tences de bas niveau dans l chelle de Bloom ef al 1969 p ex rappeler des faits Le second que le fait de r pondre un test ne fait que pr lever de l information sur ce que peut conna tre un apprenant sans aucunement interagir avec cette connaissance ni l affecter Les effets b n fiques des QCM sont les suivants Marsh Roediger Bjork amp Bjork 2007 ils donnent l occasion d exercer sa m moire reconna tre des informations d tudier un contenu et les diff rents indices donn s dans les items de choix sont trait s en tant que probl mes ce qui peut l encore am liorer l apprentissage Du point de vue de l enseignant ils sont ais s corriger donc informatisables souvent utilis s quand les cours ont un grand nombre d tudiants Parmi les inconv nients connus des QCM ils sont difficiles r aliser tout apprenant peut en r pondant au hasard esp rer avoir une note acceptable tout le moins non nulle ils induisent galement l apprentissage de mauvaises r ponses puisqu elles sont trait es cognitivement par l appr
29. ew of multiple choice item writing guidelines for classroom assessment Applied Measurement in Education 15 3 309 334 Hattie J amp Timperley H 2007 The power of feedback Review of Educational Research 77 1 81 112 Kalz M 2009 Placement support for learners in learning networks Heerlen OUNL unpublished PhD Thesis Kulhavy R W 1977 Feedback in written instruction Review of Educational Research 47 1 211 232 Le Clainche E 2010 The eLearning XHTML editor Guide de l utilisateur Rennes ISFEC de Bretagne Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 33 Leclercq D 2006 L volution des QCM In G Figari amp L Mottier Lopez Eds Recherches sur l valuation en ducation pp 139 146 Paris L Harmattan Lemercier C Tricot A Ch nerie I Marty Dessus D Morancho F amp Sokoloff J 2001 Quels apprentissages sont ils possibles avec des exerciseurs multim dia en classe R flexions th oriques et compte rendu d une exp rience Paris Rapport de recherche contribution au rapport du Programme de Num risation de l Enseignement et de la Recherche Usages ducatifs des exerciseurs Luengo V 2009 Les r troactions pist miques dans les Environnements Informatiques pour l Apprentissage Humain Grenoble Universit Joseph Fourier dossier pour l habilitation diriger des recherches Madaus G F amp O Dwyer L M 1999
30. i je r alis s vers ce but quoi faire ensuite quel travail dois je faire ensuite TP Prenez un logiciel ducatif de votre choix et classez les diff rents types de feedback qu il propose en utilisant les 3 questions de Hattie et Timperley 2007 Ces questions peuvent galement tre utilis es pour guider la circulation d un apprenant au sein d un logiciel d apprentissage ou une plate forme d enseignement distance Pour en savoir plus Le chapitre 2 pp 6 20 de Luengo 2009 disponible http membres liglab imag fr luengo textes articles ToutHDRV2Luengo pdf Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 14 4 Diff rents formes de feedback On cat gorise usuellement les formes de feedback selon leur intention p dagogique leur complexit l agent d livrant le feedback la suite de cette section est issue et traduite de Trausan Matu et al 2008 p 20 et sq Feedback directif vs Facilitatif Shute 2008 a propos la distinction entre un feedback directif et facilitatif Un feedback directif a pour but d informer l apprenant sur ce qu il a faire alors que le feedback facilitatif guide l apprenant dans sa compr hension du contenu Cette approche facilitative est un type de feedback tayage dont les caract ristiques ont t d finies par Bransford et al 2000 augmente l int r t de l apprenant pour la t che simplifie
31. iple comporte une amorce question la r ponse correcte des r ponses distractrices Haladyna 2004 signale que la question doit donner une id e en elle m me du type de connaissance s lectionner La r ponse correcte pas n cessairement une phrase mais aussi un symbole un diagramme etc doit l tre indiscutablement Les distracteurs par contraste doivent tre indiscutablement des r ponses erron es mais plausibles ce qui est plus co teux d terminer pour l enseignant concepteur Pour r pondre certaines critiques faites aux QCM d autres formes plus volu es ont t propos es dont les ARQ assertion reason questions questions assertion raison Ce type de questionnaire est cens impliquer l apprenant dans des activit s de plus haut niveau Williams 2006 en d crit la construction de la mani re suivante voir aussi le site http www caacentre ac uk resources objective tests assertion shtml La question est en deux parties une assertion et une raison et l apprenant doit d terminer dans un premier temps si chacune des deux est vraie ou fausse Dans le cas o les deux sont vraies et seulement dans ce cas l l apprenant d termine ensuite en r pondant une deuxi me question si la raison donn e est bien une explication correcte de l assertion Pour chaque couple d assertion raison cela fait donc 5 r ponses possibles A est l assertion R la raison A et R sont
32. l y a un engouement r cent d notre avis deux raisons leur utilisation intensive dans l enseignement distance leurs effets sur l apprentissage qui est encore mal connu Ce cours permet d tudier de plus pr s trois v nements importants et leurs effets respectifs l apprentissage proprement dit le rappel d informations d par exemple un questionnaire et les r troactions de l enseignant d une machine Le sens commun signale que l apprentis sage a uniquement lieu pendant la phase d exposition l information Des recherches r centes p ex Roediger amp Butler 2011 montrent que l apprentissage de notions est d autant meilleur qu il est suivi de feedback non pas imm diats la question mais report s quelques minutes apr s feedback diff r Ce cours s int resse donc ce que Mayer et Colvin Clark 2010 nomment des environnements d apprentissage passifs c est dire des dispositifs qui n acceptent pas d interactions ouvertes de la part de leurs utilisateurs Comme le signale Reif 2008 ce type d environnement peut en partie guider l apprenant la place de l enseignant tuteur cognitif Pr sentation rapide du cours Ce cours a deux grandes parties La premi re contient des l ments th oriques pour mieux comprendre le type de t ches d apprentissage et de feedback r troactions pouvant tre r alis es par ordinateur La deuxi me partie
33. la t che pour qu elle soit plus ais ment mise en uvre donne des pistes afin d aider l apprenant accomplir le but recherch indique clairement l cart entre le travail de l l ve et la solution standard r duit la frustration et le risque d finit clairement ce qui est attendu dans l activit d apprentissage r aliser L avantage principal d un feedback facilitatif est qu il procure un guidage et des indications pour am liorer l apprentissage Pour un apprenant novice un feedback directif est plus utile alors qu un feedback facilitatif est plus judicieux pour les apprenants plus avanc s Cela tant le r le facilitateur du feedback peut ne pas jouer si Kulhavy 1977 il est disponible aux apprenant avant qu ils puissent r pondre ce qui les am ne copier la r ponse plut t qu lire et comprendre le contenu le feedback et ou le contenu est trop complexe pour les apprenants ce qui les am ne passer du temps essayer de les comprendre La complexit du feedback Shute 2008 a r alis une revue compl te des formes de feedback class s par degr de complexit croissante Le Tableau 3 ci dessous les r sume Les points ci dessous nous montrent qu il y a la place pour la conception d exercices notamment sur support informatis procurant un retour imm diat l l ve Ces exercices peuvent tre appel s exercices d application ou d entra ne
34. ment Lemercier ef al 2001 distinguent les exercices d application t che que l on propose apr s un cours o l on a expos une notion savoir ou une proc dure savoir faire o 1l s agit d appliquer ce que l on a compris des exercices d entra nement o les l ves travaillent automatiser des proc dures en cours d acquisition les automatiser Enfin il existe galement des exercices r solus montrant pas pas une proc dure p ex de r solution de probl me un savoir faire jusqu sa solution et o des feedback sont fournis chaque tape Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 15 Tableau 3 Formes de feedback class s par complexit croissante Shute 2008 p 160 Forme de feedback Description Aucun feedback Aucune indication sur l exactitude de la r ponse de l apprenant n est donn e V rification Egalement appel connaissance des r sultats Informe l apprenant sur l exactitude de sa r ponse p ex vrai faux ou un pourcentage global R ponse correcte Egalement appel connaissance de la r ponse correcte Informe l apprenant de la r ponse correcte un probl me sp cifique sans information additionnelle Essayer encore Egalement appel le feedback r p ter tant que faux Informe l apprenant d une r ponse incorrecte et lui permet un ou plusieurs essai s suppl mentaire s
35. n cocher A si vrai B si faux 1 Lorsque vous plantez des haricots vous le faites dans un endroit bien ombrag afin qu ils re oivent peu ou pas de lumi re 2 Lorsque vous semez vos graines vous les arrosez et vous assurez que le sol reste humide 3 Vous plantez vos graines uniquement quand la temp rature est appropri e 4 Pour favoriser la pollinisation vous r pandez de l insecticide sur vos cultures pour loigner les abeilles et autres insectes Appariement Apparier chaque terme de droite avec sa description de la colonne de gauche 1 Attire les abeilles A Graines de pollen 2 Produit les graines de pollen B P tales 3 Abrite les cellules uf C Fleur 4 Les graines form es D Etamine 5 Contient l ovaire E Ovaire F Pistil Choix multiple complexe Parmi les items suivants lesquels sont des fruits Cochez la bonne r ponse lettre 1 Tomate 2 Tomatille 3 Piment habanero A l1 amp 2 B 2 amp 3 Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 24 C 1 amp 3 D 1 2 amp 3 Items d pendants du contexte Imaginez que vous tes un d l gu de l Etat du Massachusetts la convention Vous avez t autoris voter au nom de votre Etat 1 Vous approuveriez sans doute A Le plan du New Jersey B Le plan de la Virginie 2 En lien avec votre exp rience acquise dans le traitement des dossiers vous pensez A que les fermiers n ont pas r per
36. ombreux outils Web 2 0 sont galement disponibles dont les suivants Flubaroo http www flubaroo com FunTrivia http www funtrivia com One Extra Lap http oneextralap com Qedoc http www gedoc org en index php title Main_ Page Questar http questar free fr Quizlet http quizlet com QuizPoint http www learningware com quizpoint html QuizPress payant http www solrobots com quizpress index html Sibylle http sibylle ouvaton org spip php rubriquel Et voici quelques sites qui r pertorient et ou recensent des outils de construction de QCM acc d s au 1 avril 2011 http www quiz creator com blog 2009 09 free online quiz creator tools create online quizzes http academics smevt edu cbauer ramazani Links authoring_tools htm Revue http uepd quizport com course view php id 19 amp topic s http wiki cyclotronp net doku php education exerciseurs liste logiciels http www sequane com http c deruy ouvaton org telecharger logiciels auteurs libres gratuits pdf Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 32 12 R f rences Andrade J Ares J Garcia R Rodriguez S Seoane M amp Suarez S 2008 Guidelines for the development of e learning systems by means of proactive questions Computers amp Education 51 4 1510 1522 Bangert Drowns R L Kulik C Kulik J amp
37. onception voir Dessus 2000 pour une discussion de cet argument TP Choisissez l une des t ches ci dessus et d crivez en une mise en uvre dans une situation d enseignement apprentissage de votre choix Int ressez vous particuli rement aux processus cognitifs des apprenants et r fl chissez la mani re d assister par informatique cette activit pour qu elle soit utilis e dans un contexte d enseignement distance Voir plus loin L article de Basque et Lundgren Kayrol 2002 accessible en preprint http tecfa unige ch tecfa teaching riat140 0304 typologies pdf est une bonne vue d ensemble des diff rentes typologies d usage des TICE Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 11 2 Les r troactions par informatique Quelques phases principales Les diff rentes phases d un feedback pour l apprentissage L informatique par le biais de nombreux logiciels procure l apprenant de tr s nombreux moyens d apprendre et de tr s nombreux types d interactions de Vries 2001 parfois sans que leurs utilisateurs s en rendent vraiment compte En guise d illustration prenons le simple cas des correcteurs orthographiques maintenant int gr s dans tout logiciel de traitement de textes sophistiqu Utilisons ce cas pour montrer les diff rentes phases de l interaction utilisateur machine 1 Phase de production On tape du texte dans une fen tre du logiciel
38. onible http www elearning ulg ac be evolution qem in figari mottier pdf Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 18 6 Les questionnaires choix multiple d finitions et formes La technologie de l criture des QCM a pris son essor dans les ann es 1970 quand il s est agi de proposer des tests d apprentissage qui mesurent plus fid lement l volution de ce dernier voir Roid et Haladyna 1980 pour une revue Nous avons choisi de focaliser le reste de ce cours sur la conception et r alisation de questionnaires choix multiple La raison premi re est qu ils sont maintenant tr s r pandus dans le domaine de l enseignement distance et parfois m me en pr sence Commen ons par quelques d finitions Osterlind 1998 p 18 d finit un item de test de la mani re suivante une unit de mesure avec un stimulus et une forme de r ponse pr d finie qui est con ue pour solliciter une r ponse d une personne test e partir de laquelle un construit psychologique donn connaissance habilet pr disposition trait peut tre inf r La r ponse fait l objet d un score interm diaire 0 en cas de mauvaise r ponse 1 en cas de bonne r ponse et les valeurs interm diaires sont agr g es pour obtenir un score global De plus avant les questions et r ponses un bref descriptif du contexte peut tre ajout Plus pr cis ment une question choix mult
39. s la litt rature de recherche est qu il am liore l apprentissage des apprenants confront s un apprentissage et passant un test son propos ont de meilleures performances que des apprenants qui r alisent l apprentissage sans passer le test Bangert Drowns et al 1991 De nombreuses recherches ont eu pour but de valider d un point de vue cognitif la passation de QCM aupr s d apprenants Roediger et Butler 2011 en font une synth se int ressante Le r sultat le plus frappant est de montrer que contrairement ce qui est commun ment pens le simple fait d exposer des apprenants un test leur fait apprendre un peu plus le mat riel Ces auteurs ont r alis une exp rimentation Butler amp Roediger 2008 dans laquelle des apprenants devaient tudier un mat riel apprendre un cours d histoire sur les Khmers rouges puis taient confront s un test de compr hension final Puis ils taient r partis en 4 groupes sans test aucun test interm diaire test interm diaire sans feedback test Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 21 interm diaire avec feedback donnant les r ponses correctes test avec feedback report la fin du test Les r sultats sont d crits dans la Figure 2 ci dessous Tableau 5 Un exemple de typologie cognitive de l criture d items de QCM Roid amp Haladyna 1980 p 299 Activit
40. sa r ponse et que le feedback le confirme cette r ponse sera renforc e Si en revanche il est s r de sa r ponse et que le feedback indique une erreur il va plus tre en position de travailler pour essayer de trouver la source de cet cart Des ajustements peuvent tre faits l tat initial qui devient l tat en cours voir point 1 1 En utilisant un logiciel de traitement de texte volu p ex OpenOffice r pliquez l tude de Bereiter 2002 avec quelques mots dont vous ferez varier l orthographe 2 Repr sentez graphiquement les tapes du raisonnement d crit dans l item 6 ci dessus Bangert Drowns et al 1991 Voir plus loin La lecture de l article de Dessus et Lemaire 2004 accessible http webu2 upmf grenoble fr sciedu pdessus dunod06 pdf d taille dans l introduction les diff rents niveaux d analyse d un texte libre et quelles peuvent en tre les r troactions Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 13 3 Les r troactions guidage et valuation L tude des r troactions donner aux apprenants est un vaste et ancien probl me qui n a pas attendu l arriv e de l informatique Ces r troactions interviennent plusieurs niveaux Enard 1970 dans le guidage de l activit de l l ve lorsque les r troactions se situent pendant l activit dans la connaissance valuative de sa performance L
41. sus Grenoble 3 Objectifs Objectifs et aspects organisationnels Les objectifs de ce cours sont les suivants Les tudiants qui l auront suivi seront capables de s lectionner l activit d apprentissage en lien avec leurs principes p dagogiques de construire des questions de QCM li es un cours qui soient en lien avec les activit s d apprentissage vis es dans ce cours de composer un QCM dans un contenu donn qui ne contienne pas trop de biais de r aliser un bref cours et des QCM assortis avec le logiciel eXe Learning Chronologie du s minaire TICE du MARDIF mai 2011 Date en gras date butoir Nom de l activit T che 2mai2011 16 mai 2011 16 mai 2011 de 16 00 17 00 heure fran aise CEST D s que possible apr s le 2 mai 2011 doit se commencer en parall le l activit 1 31 mai 2011 D marrage de l atelier Activit 1 Fin de l Activit 1 Clavardage sur la plate forme du MARDIF Activit 2 Fin de l activit 2 Voir t che plus d taill e ci apr s Lecture extensive du cours et travail sur les TP lecture de tous et travail sur au moins 3 Lecture additionnelle d au moins 1 autre article conseill dans la rubrique voir plus loin de chaque section D p t des r ponses au questionnaire du cours dans le forum de discussion pour pr parer le clavardage Retour de l enseignant sur chacune Installation
42. textes dans lesquels le contenu pourrait tre utile c Comment cela doit il tre appris d tailler les m thodes p dagogiques les types d exercices utilis s dans le cours d Quand cela doit il tre appris d tailler les pr requis les l ments n cessaires avant de pouvoir apprendre ce contenu e O cela doit il tre appris d tailler les l ments de contexte p ex cours distance etc reli au contenu apprendre mais aussi dans quel curriculum ce contenu s ins re f Qui doit apprendre ce contenu d tailler les principales caract ristiques des apprenants ge comp tences niveau d enseignement etc 6 Concevoir au moins 5 questions interactives de votre choix qui utilisent les fonctionnalit s d eXe Learning Parmi ces 5 l une d entre elles doit tre une question Assertion raison Ces questions doivent tre correctement ins r es dans le cours et permettre une meilleure compr hension de ce dernier par le lecteur Elles doivent d autre part se conformer aux diff rentes prescriptions contenues dans ce cours C Installation sur site du MARDIF Sauf avis contraire de l enseignant les diff rents cours produits sur eXe Learning seront install s sur un site public du MARDIF et pourront tre librement consult s cette fin chaque tudiant une fois son cours enti rement con u sur eXe Learning devra r aliser la proc dure suivante 1 Envoyer par courriel
43. ticalement et non pas horizontalement Le style 11 Relire et tester les items avant passation 12 Ecrire des phrases correctes du point de vue grammatical orthographique mais aussi de la ponctuation et typographie capitales etc 13 Faire en sorte de r duire le temps de lecture de chaque item Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 25 L amorce 14 S assurer que les pistes voqu es dans l amorce sont claires 15 Inclure l id e centrale dans l amorce plut t que les choix 16 Eviter les amorces verbeuses 17 Eviter les phrases comportant des n gations ne pas except dans les amorces Si cela ne peut tre vit le faire avec pr caution et mettre les n gations en vidence gras capitales Les choix 18 Ecrire autant de choix pertinents que possible mais des recherches sugg rent que trois choix sont suffisants 19 S assurer que seulement un choix correspond la r ponse correcte 20 Varier la place de la bonne r ponse en fonction du nombre de choix 21 Placer les choix dans un ordre logique ou num rique 22 Rendre les choix ind pendants les uns des autres ils ne doivent pas y avoir des r f rences de l un l autre 23 Rendre la formulation des choix homog ne en contenu et en structure grammaticale 24 Rendre la longueur des phrases des choix peu pr s gale 25 La formule aucun des choix ci dessus doit tre utilis
44. tions de l apprentissage sous jacentes Trausan Matu et al 2008 p 14 T che Processus cognitifs Conception de l apprentissage R pondre un QCM Apprentissage par c ur Reconnaissance Transmissive Deviner la r ponse ad quate Rappeler des faits oral Apprentissage par c ur Behavioriste Implique un rappel ou crit simple Prendre des notes Traduction d id es Transmissive Ecrire un journal Traduction d id es Construction de Constructiviste Processus m ta connaissances cognitifs Discuter argumenter Argumentation R soudre des probl mes Constructiviste propos d un probl me Trouver des faits in compatibles Ecrire un r sum Traduction d id es du cours Transmissive Implique la compr hension du texte r sum Ecrire une dissertation Traduction d id es du cours mise en uvre Transmissive ou constructiviste d un sch ma argumentatif sp cifique d pend de la t che donn e R aliser un portfolio Traduction d id es du cours r vision Constructiviste Processus m ta s lection et valuation de textes construction cognitifs de connaissances Ce tableau ne couvre bien videmment pas toutes les t ches d apprentissage ou valuatives possibles bien qu il en soit un utile r capitulatif Il alerte le lecteur sur un point important toute activit d enseignement comprend m me de mani re non intentionnelle la mention des principes ducatifs qui ont pu pr sider sa c
45. uelle Villiot Leclercq pour leurs commentaires d une version ant rieure de ce cours Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Je crois que les questions choix multiple a Sont une m thode d valuation d su te b Mesurent seulement des rappels de faits c Devraient n avoir aucun r le dans l enseignement des sciences d Toutes les r ponses ci dessus e Aucune des r ponses ci dessus Sadler 1998 p 249 Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 8 1 Introduction Tout tudiant qui conna t sur le bout du doigt son syst me ducatif sait que s il est facile d viter un mauvais cours il est en revanche plus difficile d viter une mauvaise valuation Kalz 2009 Dans le domaine de l enseignement distance on value ou simplement v rifie les cours par le biais de questionnaires dont les retours sont plus ou moins imm diats C est un moyen courant et maintenant bien g r par de nombreuses plates formes d enseignement distance p ex Moodle Il existe m me des standards permettant de transf rer ais ment d une plate forme l autre les questionnaires r alis s comme SCORM Shareable content object reference model IMS QTI Question and test interoperability ou encore AICC Aviation industry CBT committee Tout enseignant pass
46. www edmeasurement net aera papers artandscience pdf Touchie s d accessible http www mcc ca pdf MCQ Guidelines_e pdf Les guides de cr ation d items de l UNESCO http www sacmeq org research htm modules Pour en savoir plus sur les logiciels Il existe de tr s nombreux sites pr sentant soit des logiciels autonomes ou des outils en ligne g n rant des questionnaires Le site http webu2 upmf grenoble fr sciedu pdessus sapea logicielseval html de Flaugergues amp Dessus 2010 contient des informations techniques de base sur la probl matique d valuer automatiquement des connaissances avec des outils informatis s Il existe aussi un tr s grand nombre d outils g n rant des QCM De Flaugergues et Dessus 2010 en listent certains et en voici d autres Il est noter que Netguiz Pro d un emploi un Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 30 peu plus complexe qu eXe Learning permet de recueillir les r sultats aux QCM de chaque apprenant ce que ne permet pas ce dernier Il convient de lire attentivement les conditions l gales de leur utilisation avant toute exploitation notamment ducative ou commerciale Flax http flax nzdl org greenstone3 flax QuizFaber http quizfaber free fr index htm NetQuiz Pro http www ccdmd qc ca ressources id 1119 RealQuest http www neoptec com fr produits realquest presentation php De tr s n
47. yschology psychology psychologies psychologic psychological pyschilogy pyschalogy psychology psychologic pyschiology pas de suggestion dsychology pas de suggestion sychology psychology psychologies cychology cychology cytology Cette s quence de dialogue entre un utilisateur et la machine est maintenant tellement banale qu on y participe sans m me y penser Il correspond d assez pr s aux mod les du feedback que l on trouve dans la litt rature de recherche Par exemple Bangert Drowns et al 1991 p 217 ont d crit un mod le cyclique du feedback de six tapes qui sont les suivantes 1 Etat initial c est dire les caract ristiques cognitives initiales de l apprenant motivation but connaissances initiales etc Cours MARDIF 2010 11 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 12 TP Une question est pos e l apprenant Strat gies de recherche et r cup ration c d les processus cognitifs activ s par la question R ponse la question 5 Un feedback est d livr l apprenant Evaluation du feedback l apprenant peut maintenant valuer la r ponse en fonction de son degr de confiance et des indices donn s par le feedback Si l apprenant est s r de sa r ponse il est plus m me de mettre en uvre un traitement engageant des processus cognitifs de haut niveau r solution de probl mes En effet voici ce qui se passe Si l apprenant est s r de
Download Pdf Manuals
Related Search