Home

Evaluer l`apprentissage par ordinateur : Tâches et rétroactions

1. http www clicattitude info tutoexe dcouvrir_la_fentre de travail dexe learnmg html 2 Visionnement de quelques travaux d tudiants afin de comprendre la logique du logiciel de ce qu il permet de faire ou de ne pas faire a http perso numericable com annick pradeau ViolenceConjugale index html cours con u par une tudiante de la promotion 2010 11 du MARDIF b http webu2 upmf grenoble fr sciedu pdessus ue28 html Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 26 3 Lecture attentive de la documentation en fran ais Le Clainche 2010 accessible a http formatice org telechargement exe guide_utilisateur pdf D autres documentations sont disponibles EdutechWiki 2011 a http edutechwiki unige ch fr EXe b Des diapositives de pr sentation a http jil quillevere free fr CARIF LR _14112006 crer_avec_exelearning html c Notez que le manuel de r f rence en anglais est accessible a http wikieducator org Online manual 4 En quelques phrases crire ce que l on a compris pas compris sur le logiciel S en servir pour la classe virtuelle 5 Installation du logiciel partir des pages http exelearning net lang en plus r cent ou http exelearning org wiki attention t l charger le logiciel correspondant votre syst me Windows Mac OS X ou Linux de la section Lastest Versions derni res versions Au 16 mars 2014 c est respect
2. Une fois l Exploration con ue il est ais de la jouer pour tre s r qu elle corresponde ce qu on veut Ensuite il est possible de la publier bouton Publish pour la rendre accessible tous Fonctionnalit s de traces L un des int r ts d Oppia est qu il r cup re l ensemble des parcours des apprenants cliquer sur l onglet Exploration stats voir Fig 7 pour avoir une id e du nombre d apprenants ayant parcouru l ensemble de l Exploration Un clic sur chaque n ud affiche les diff rentes r ponses obtenues ce qui permet d avoir une id e de la difficult des questions et aussi d laborer une r gle sp cifique Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 34 Figure 7 Visualisation des traces des parcours Exploration Completion Rate E Completions W Non completions 2 a 6 8 Common student paths CT ni Capitale de la Fr N Une ville de France Voir plus loin Le site LDShake http Idshake3 upf edu accessible sur inscription gratuite permet de cr er et partager avec une communaut d enseignants des documents de cours cr s sous eXe Learning Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 35 10 Analyse a posteriori des items du questionnaire Nous avons vu a la Section 8 quelques principes et recommandations pour concevoir des QCM efficaces Ces principes interviennen
3. ils sont difficiles r aliser tout apprenant peut en r pondant au hasard esp rer avoir une note acceptable tout le moins non nulle ils induisent galement l apprentissage de mauvaises r ponses puisqu elles sont trait es cognitivement par l apprenant Et bien s r il n existe pas de QCM dans le monde r el ce qui rend son usage assez peu authentique Williams 2006 Du point de vue de l enseignant galement ils sont assez difficiles construire puisque les r ponses distractrices doivent tre la fois plausibles et faux voir Section 6 Les processus cognitifs engag s dans les QCM Il est habituellement consid r que la r ponse aux QCM n incite pas les apprenants qui les formulent dans des processus cognitifs de haut niveau puisque n cessairement fond e sur la reconnaissance d informations plut t que leur formulation puisque les r ponses sont n cessairement formul es par avance pour tre choisies le fait qu on puisse y r pondre totalement au hasard est en grande partie responsable de cela voir Leclercq 2006 pour une discussion de ce point Toutefois comme l ont signal Roid et Haladyna 1980 il est possible de centrer des QCM sur d autres activit s que la simple s lection de faits Ils distinguent en adaptant la taxonomie des objectifs cognitifs de Bloom et ses coll gues 5 niveaux voir Tableau 5 De plus Marsh et al 2007 reportent que les effets d un QCM sur l a
4. la place de l enseignant tuteur cognitif Pr sentation rapide du cours Ce cours a trois grandes parties La premi re contient des l ments th oriques pour mieux comprendre le type de t ches d apprentissage et de feedback r troactions pouvant tre r alis es par ordinateur La deuxi me partie plus pratique contient les consignes pour r aliser un cours et des QCM avec le logiciel eXeLearning ou Oppia le but tant d appliquer les prescriptions de la premi re partie La troisi me partie est enti rement d di e l organisation du cours du MARDIF atelier TICE Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 7 1 partie El ments th oriques La premi re partie de ce cours pr sente quelques points de vue th oriques sur le type de t ches d apprentissage les principales phases de r troaction et les formes de feedback pouvant tre d livr es de mani re semi automatique pour guider l apprentissage dans un contexte d enseignement distance Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 8 1 Le choix de la tache Avant tout l une des premi res questions que tout enseignant a se poser lorsqu il travaille a l valuation de ses apprenants porte sur le type de t che d apprentissage ou d ailleurs d valuation qu il va pouvoir leur donner Il est ici question d avoir un aper u g n ral du type de t ches qu on peut
5. par la pr sente la diffusion du cours eXe Learning que j ai concu et r alis dans le cadre de l atelier TICE du MARDIF d avril 2014 sous la forme d un site internet plac sous la responsabilit ditoriale du CNED L enseignant du cours M Philippe Dessus se r serve toutefois la possibilit de ne pas faire publier le cours Je suis inform e que ce cours sera plac selon la licence Creative Commons BY NC SA dont les conditions sont disponibles a http creativecommons org licenses by nc sa 3 0 Je d clare avoir pris connaissance de cette licence et suis en plein accord avec ses conditions Je suis pleinement inform e que le contenu de ce cours sera diffus par le site intranet Blackboard g r par le CNED MARDIF pendant une dur e de 1 an en libre acc s pour tous les tudiants inscrits au MARDIF Je certifie galement que je suis l auteur de ce cours et que aucun l ment de ce dernier n a un droit d auteur poss d par une autre personne Si j ai ins r des images dans mon site je certifie qu elles sont libres de droits et peuvent tre publi es sur des sites non commerciaux Le CNED MARDIF et l diteur ne pourront tre tenus responsables dans toute r clamation d un tiers pour une question de propri t intellectuelle de toute partie du contenu de mon cours Barrer la mention inutile Nom pr nom date et signature Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph
6. a l apprenant 6 Evaluation du feedback l apprenant peut maintenant valuer la r ponse en fonction de son degr de confiance et des indices donn s par le feedback Si l apprenant est s r de sa r ponse il est plus 4 m me de mettre en ceuvre un traitement engageant des processus cognitifs de haut niveau r solution de probl mes En effet voici ce qui se passe Si l apprenant est s r de sa r ponse et que le feedback le confirme cette r ponse sera renforc e Si en revanche il est s r de sa r ponse et que le feedback indique une erreur il va plus tre en position de travailler pour essayer de trouver la source de cet cart 7 Des ajustements peuvent tre faits l tat initial qui devient l tat en cours voir point 1 TP 1 En utilisant un logiciel de traitement de texte volu p ex OpenOffice r pliquez l tude de Bereiter 2002 avec quelques mots dont vous ferez varier l orthographe 2 Repr sentez graphiquement les tapes du raisonnement d crit dans l item 6 ci dessus Bangert Drowns ef al 1991 Voir plus loin L article de Dessus et Lemaire 2004 accessible http webu2 upmf grenoble fr sciedu pdessus dunod06 pdf d taille dans l introduction les diff rents niveaux d analyse d un texte libre et quelles peuvent en tre les r troactions Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 11 3 Les r troactions guidage et valua
7. alis une revue compl te des formes de feedback class s par degr de complexit croissante Le Tableau 3 ci dessous les r sume Les points ci dessous nous montrent qu il y a la place pour la conception d exercices notamment sur support informatis procurant un retour imm diat l l ve Ces exercices peuvent tre appel s exercices d application ou d entrainement Lemercier et al 2001 distinguent les exercices d application t che que l on propose apr s un cours o l on a expos une notion savoir ou une proc dure savoir faire o 1l s agit d appliquer ce que l on a compris des exercices d entrainement o les l ves travaillent automatiser des proc dures en cours d acquisition les automatiser Enfin il existe galement des exercices r solus montrant pas pas une proc dure p ex de r solution de probl me un savoir faire jusqu sa solution et o des feedback sont fournis chaque tape Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 13 Tableau 3 Formes de feedback class s par complexit croissante Shute 2008 p 160 Forme de feedback Description Aucun feedback Aucune indication sur l exactitude de la r ponse de l apprenant n est donn e V rification Egalement appel connaissance des r sultats Informe l apprenant sur l exactitude de sa r ponse p ex vrai faux ou un pourcentage glob
8. efficace des comp tences des personnes passant le QCM Il faut noter que selon les auteurs ces valeurs varient 80 et 25 Bodner 1980 et que d autre part des raisons p dagogiques peuvent amener conserver des questions au del ou en de de ces seuils L indice P en lui m me n est pas suffisant pour juger de la qualit des items et donc pour les accepter ou rejeter d finitivement Il est n cessaire pour cela de s int resser leur pouvoir discriminant Analyse d items le pouvoir discriminant des questions Indice de discrimination ou ID Le deuxi me indice que nous calculons concerne le pouvoir discriminant de chaque item Le but d un questionnaire peut tre de mesurer une comp tence connaissance donn e et donc de pouvoir discriminer les l ves en fonction de cette derni re Bien videmment il est possible de consid rer exactement le contraire que le questionnaire n est pas fait pour discriminer ou s lectionner mais pour simplement certifier des comp tences test crit ri Dans ce dernier cas lID peut tout de m me tre utile pour d tecter les items mal formul s ou ayant trait une dimension de connaissance comp tence diff rente de celle mesur e par le test Il sera aussi possible de calculer l indice de Brennan qui est utile pour des situations d enseignement formatives Nous l avons d j voqu dans l introduction de cette section l indice de discrimination ID est
9. lev il faut en analyser la raison l ve par l ve il est tr s probable qu un ou plusieurs bons l ves i e ayant bien r pondu des items plus difficiles que celui ci n aient pas compris la consigne de l item Il est possible que cet item doive tre reformul mais aussi qu il mesure des connaissances ou comp tences non reli es aux autres Utiliser le fichier tableur pour calculer les diff rents indices Le fichier tableur disponible http webu2 upmf grenoble fr sciedu pdessus cours tabQCM xls et dans un format compatible MS Excel LibreOffice et OpenOffice permet de calculer les diff rents indices ci dessus Il sera n cessaire d adapter le tableau au nombre d items et d l ves du QCM pass ce qui est ais a faire en copiant collant les cellules des diff rents tableaux Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 40 Voici comment faire pour remplir les diff rents tableaux Commen ons par la feuille Analyse distracteurs Soit un QCM 6 items pass 10 l ves qui ont chacun 3 r ponses possibles a b ou c Dans le cas o le QCM est pass avec plus d l ves comporte plus d items ou de r ponses il est ais de cr er des lignes ou colonnes suppl mentaires en en ins rant voire en en supprimant dans le cas contraire L enseignant aura ensuite remplir le tableau comme celui de la Figure 3 qui montre par exemple que la bonne r ponse de la
10. listent de mani re exhaustive les types de QCM qu il est possible de r aliser Choix multiple conventionnel Choisir la r ponse qui d crit le plus clairement le processus de polinisation A Larencontre d une cellule ceuf et d une cellule spermatozoide B Le transfert de graines de pollen dans le pistil C De la nourriture est consomm e et de I nergie est d livr e Choix alternatif Quel est la r ponse parmi les deux suivantes qui ralentit le plus efficacement le processus de respiration des plantes A Temps froid B Temps orageux Vrai Faux La capitale de l Uruguay est Montevideo Vrai Faux multiple Vous tes un fermier expert en mati re organique Vous connaissez les secrets pour faire pousser les plantes Quels sont les r ponses parmi les suivantes qui d crivent vos tours de main cocher A si vrai B si faux 1 Lorsque vous plantez des haricots vous le faites dans un endroit bien ombrag afin qu ils re oivent peu ou pas de lumi re 2 Lorsque vous semez vos graines vous les arrosez et vous assurez que le sol reste humide 3 Vous plantez vos graines uniquement quand la temp rature est appropri e 4 Pour favoriser la pollinisation vous r pandez de l insecticide sur vos cultures pour loigner les abeilles et autres insectes Appariement Apparier chaque terme de droite avec sa description de la colonne de gauche 1 Attire les abeilles A Graines de pollen 2 Produit les graines
11. p ex Moodle Il existe m me des standards permettant de transf rer ais ment d une plate forme l autre les questionnaires r alis s comme SCORM Shareable content object reference model IMS QTI Question and test interoperability ou encore AICC Aviation industry CBT committee Tout enseignant passe beaucoup de temps a essayer de comprendre ce que ses l ves arrivent comprendre propos des cours qu il con oit et r alise Une partie de cette activit se passe en direct via l observation des l ves leur interrogation la correction d exercices Cette charge de travail est tr s importante et l enseignant peut penser recourir des outils informatis s qui l aident fournir de telles informations Bien videmment ce type d activit s existait bien avant l invention de l ordinateur On peut penser aux bo tes enseignantes de Freinet o un l ve pouvait s lectionner un ensemble de questions sur un domaine donn l ins rer dans une bo te laissant successivement appara tre dans une fen tre des questions et leurs r ponses le laissant ainsi s auto valuer De nombreux didacticiels informatis s qui sont ensuite apparus ne r alisent souvent pas autre chose par exemple lorsque les l ves utilisent un logiciel de traitement de textes et qu ils sollicitent des suggestions lorsqu un mot est indiqu comme mal orthographi voir Section 2 Les questionnaires choix multiple
12. 2 ci dessous et tirez en quelques d ductions sur la mani re dont le logiciel en question fonctionne Vous pouvez vous reporter directement l article en anglais pour comparer vos conclusions avec celles de Bereiter Tableau 2 Un tableau de suggestions de mots mal orthographi s Bereiter 2002 pp 37 38 Mots crits dans le logiciel Les suggestions du correcteur orthographique pyschology psychology psychologies psychologic psychological pyschilogy pyschalogy psychology psychologic pyschiology pas de suggestion dsychology pas de suggestion sychology psychology psychologies cychology cychology cytology Cette s quence de dialogue entre un utilisateur et la machine est maintenant tellement banale qu on y participe sans m me y penser Il correspond d assez pr s aux mod les du feedback que l on trouve dans la litt rature de recherche Par exemple Bangert Drowns ef al 1991 p 217 ont d crit un mod le cyclique du feedback de six tapes qui sont les suivantes 1 Etat initial c est dire les caract ristiques cognitives initiales de l apprenant motivation but connaissances initiales etc 2 Une question est pos e l apprenant Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 10 3 Strat gies de recherche et r cup ration c est a dire les processus cognitifs activ s par la question 4 R ponse a la question 5 Un feedback est d livr
13. 20 ce qui signifie que le lien entre la r ussite l item et la r ussite au test est nul ou faible L enseignant peut consid rer sa suppression du test Trois points sont noter Un item discriminant n est pas n cessairement difficile inverse un item probl matique donc rejeter ou reformuler a presque toujours un JD faible Si une question a une corr lation item test faible en valeur absolue inf rieure 0 20 cela peut signifier qu elle mesure une comp tence connaissance qui n appartient pas au m me domaine que celui du test complet un pouvoir discriminant est satisfaisant si la corr lation est sup rieure 0 40 M me si nous devons le d conseiller dans le cadre de ce cours si le test est con u pour tre multidimensionnel mesure plusieurs types de comp tences connaissances la corr lation est r aliser entre la question et le sous ensemble de questions li es une comp tence particuli re Enfin un test a une bonne coh rence interne i e il est compos d items qui concourent mesure un type de connaissance comp tence si ses items ont des JD lev s plut t proches de 1 Il existe un autre indice rendant compte de cette coh rence en une seule valeur alpha de Cronbach ou Kuder Richardson mais son tude sort du propos de ce document Pour finir il est utile d avoir cette mesure de discrimination entre bons faibles l ves seulement si on se place dans une opt
14. 23 Les l ves y r pondant ont plus de chances que le hasard d y r pondre correctement puisque les r ponses 2 et 4 ne sont pas suffisamment plausibles ind pendamment de la compr hension de l l ve Le format 9 Ne pas utiliser le format choix multiple complexe 10 Formater les items verticalement et non pas horizontalement Le style 11 Relire et tester les items avant passation 12 Ecrire des phrases correctes du point de vue grammatical orthographique mais aussi de la ponctuation et typographie capitales etc 13 Faire en sorte de r duire le temps de lecture de chaque item L amorce 14 S assurer que les pistes voqu es dans l amorce sont claires 15 Inclure l id e centrale dans l amorce plut t que les choix 16 Eviter les amorces verbeuses 17 Eviter les phrases comportant des n gations ne pas except dans les amorces Si cela ne peut tre vit le faire avec pr caution et mettre les n gations en vidence gras capitales Les choix 18 Ecrire autant de choix pertinents que possible mais des recherches sugg rent que trois choix sont suffisants 19 S assurer que seulement un choix correspond la r ponse correcte 20 Varier la place de la bonne r ponse en fonction du nombre de choix 21 Placer les choix dans un ordre logique ou num rique 22 Rendre les choix ind pendants les uns des autres ils ne doivent pas y avoir des r f rences de l un l aut
15. Dessus Grenoble 52 14 R f rences Andrade J Ares J Garcia R Rodriguez S Seoane M amp Suarez S 2008 Guidelines for the development of e learning systems by means of proactive questions Computers amp Education 51 4 1510 1522 Audet L 2011 Les pratiques et d fis de l valuation en ligne Montr al REFAD Bangert Drowns R L Kulik C Kulik J amp Morgan M T 1991 The instructional effect of feedback in test like events Review of Educational Research 61 2 213 238 Basque J amp Lundgren Cayrol K 2002 Une typologie des typologies des applications des TIC en ducation Sciences et Techniques Educatives 9 3 4 Bereiter C 2002 Education and mind in the knowledge age Mahwah Erlbaum Bernier J J 1985 Th orie des tests Principes et techniques de base 2e ed Chicoutimi Ga tan Morin Bleske Rechek April Zeug Nicole amp Webb Rose Mary 2007 Discrepant performance on multiple choice and short answer assessments and the relation of performance to scholastic aptitude Assessment amp Evaluation in Higher Education 32 2 89 105 Bloom B S 1988 Le probl me des deux sigmas In M H berman Ed Assurer la r ussite des apprentissages scolaires pp 45 83 Neuch tel Delachaux et Niestl Bloom B S Englehart M D Furst E J Hill W H amp Krathwohl D R 1969 Taxonomie des objectifs p dagogiques M Lavall e Trans Vol 1 Dom
16. Un feedback directif a pour but d informer l apprenant sur ce qu il a faire alors que le feedback facilitatif guide l apprenant dans sa compr hension du contenu Cette approche facilitative est un type de feedback tayage dont les caract ristiques ont t d finies par Bransford et al 2000 augmente l int r t de l apprenant pour la t che simplifie la t che pour qu elle soit plus ais ment mise en uvre donne des pistes afin d aider l apprenant accomplir le but recherch indique clairement l cart entre le travail de l l ve et la solution standard r duit la frustration et le risque d finit clairement ce qui est attendu dans l activit d apprentissage r aliser L avantage principal d un feedback facilitatif est qu il procure un guidage et des indications pour am liorer l apprentissage Pour un apprenant novice un feedback directif est plus utile alors qu un feedback facilitatif est plus judicieux pour les apprenants plus avanc s Cela tant le r le facilitateur du feedback peut ne pas jouer si Kulhavy 1977 il est disponible aux apprenant avant qu ils puissent r pondre ce qui les am ne copier la r ponse plut t qu lire et comprendre le contenu le feedback et ou le contenu est trop complexe pour les apprenants ce qui les am ne passer du temps essayer de les comprendre La complexit du feedback Shute 2008 a r
17. Unported Ce cours peut tre cit de la mani re suivante Dessus P 2014 Evaluer l apprentissage par ordinateur taches et r troactions Rouen Cours de s minaire TICE du MARDIF CNED Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Table des mati res PREAMBULE 1 INTRODUCTION 1 PARTIE ELEMENTS THEORIQUES 1 LE CHOIX DE LA TACHE LES RETROACTIONS PAR INFORMATIQUE QUELQUES PHASES PRINCIPALES LES RETROACTIONS GUIDAGE ET EVALUATION DIFFERENTES FORMES DE FEEDBACK E PARTIE LES QUESTIONNAIRES A CHOIX MULTIPLE LES QUESTIONNAIRES A CHOIX MULTIPLE BREF HISTORIQUE LES QUESTIONNAIRES A CHOIX MULTIPLE DEFINITIONS ET FORMES 2 3 4 2 5 6 7 8 LES TYPES DE QCM CHOIX ET CONSEILS DE REDACTION 9 LES ASPECTS COGNITIFS DES QCM CONSTRUIRE UN COURS AVEC UN OUTIL DE GENERATION DE COURS INTERACTIFS 10 ANALYSE A POSTERIORI DES ITEMS DU QUESTIONNAIRE 11 POUR ALLER ENCORE UN PEU PLUS LOIN 3 PARTIE DESCRIPTION DU COURS MARDIF OBJECTIFS ET ORGANISATION 12 OBJECTIFS DU COURS ET ASPECTS ORGANISATIONNELS Objectifs Chronologie des taches du s minaire TICE D tail des activit s par promotion 13 AUTORISATION DE DIFFUSION DE MON COURS 14 REFERENCES Oo Oo N D ww 11 12 14 15 16 18 21 25 35 42 45 46 46 46 47 51 52 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 3 Pr ambule Selon leurs int r ts les personnes lectri
18. d Oppia est que l ensemble de ces interactions sont affich es sur une seule page pour avoir un historique complet des interactions Ces Explorations peuvent tre g n r es sur un serveur en ligne a partir d exemples d j r alis s https www oppia org learn qui peuvent tre copi s clon s et modifi s puis publi es ou bien directement r alis es sur son propre serveur cela n cessite une installation plut t complexe toutefois Comparativement d autres outils de g n ration de parcours d apprentissage comme eXe Learning http exelearning net Oppia est parfois plus performant dans la finesse des r troactions l utilisation de variables ou la production de traces de r ponses ou parcours parfois moins les activit s sont peu vari es il n y a pas la possibilit de cr er un test de closure par exemple D couverte des fonctionnalit s d Oppia Ce document n est pas un mode d emploi complet d Oppia Il pr sente seulement quelques premi res pistes d utilisation Voici une suite de conseils pour comprendre ses fonctions de base 1 Visionner la vid o pr sentant Oppia en anglais https code google com p oppia 2 Naviguer dans diff rentes Explorations class es par mati re https www oppia org learn afin de comprendre les principales fonctions d Oppia Attention l interaction se fait en anglais la plupart du temps 3 Une fois ce premier tour r alis vous pou
19. de recherche contribution au rapport du Programme de Num risation de l Enseignement et de la Recherche Usages ducatifs des exerciseurs Luengo Vanda 2009 Les r troactions pist miques dans les Environnements Informatiques pour l Apprentissage Humain Grenoble Universit Joseph Fourier dossier pour l habilitation diriger des recherches Madaus George F amp O Dwyer Laura M 1999 A short history of performance assessment Lessons learned Phi Delta Kappan 80 9 688 695 Marsh Elizabeth J Roediger H L 3rd Bjork Robert A amp Bjork Elizabeth L 2007 The memorial consequences of multiple choice testing Psychonomic Bulletin amp Review 14 2 194 199 Mayer Richard E amp Colvin Clark R 2010 Instructional strategies for receptive learning environments In K H Silber amp W R Foshay Eds Handbook of improving performance in the workplace Vol 1 Instructional design and training delivery pp 298 328 San Francisco Pfeiffer McAlpine Mhairi 2002b Principles of assessment Loughborough University CAA Centre Means Barbara Toyama Yukie Murphy Robert amp Bakia Marianne 2010 Evaluation of evidence based practices in online learning A meta analysis and review of online learning studies Washington U S department of education Montepare Joann M 2005 A self correcting approach to multiple choice tests Retrieved from http www psychologicalscience org o
20. des questions pourra alimenter la discussion de la classe virtuelle Installation du logiciel eXe Learning et premi re manipulation des fins d exploration de ses fonctionnalit s L essentiel des informations propos du logiciel est mentionn Section 9 notamment ses modes d emploi IL est important de signaler par courriel l enseignant le plus rapidement possible tout probl me dans l installation ou l utilisation du logiciel Les tudiants les plus avanc s pourront envisager d utiliser Oppia mais uniquement apr s avoir r ussi r pliquer sans probl mes l Exploration d crite dans la section 9 Pour information le cours con u par une tudiante de la promotion MARDIF 2010 11 peut tre un bon exemple suivre http perso numericable com annick pradeau ViolenceConjugale index html D autres exemples sont sur le site de l atelier Espace Cours QCM r alis s l ann e pr c dente Activit 2 voir Tableau 7 pour la date butoir Note dans la mesure du possible il est conseill de ne pas attendre la fin de l activit 1 pour d marrer l activit 2 Les deux activit s peuvent se mener en parall le R alisation du cours pr sentant un contenu ef un QCM Voir Section 9 pour des indications sur ce point Il est important de noter que votre cours devra la fois pr senter un contenu de cours lire et un QCM compl ter qui aura pour but de v rifier la bonne compr hension du cou
21. donner dans un contexte d enseignement distance des apprenants bien que cela vaille en grande partie aussi pour des enseignements en pr sence Le Tableau 1 ci dessous d taille le nom des t ches les processus cognitifs pr f rentiellement engag s dans leur mise en uvre et la conception de l apprentissage sous jacente chacune Tableau 1 Type de t ches processus cognitifs engag s et conceptions de l apprentissage sous jacentes Trausan Matu et al 2008 p 14 T che Processus cognitifs Conception de l apprentissage R pondre un QCM Apprentissage par c ur Reconnaissance Transmissive Deviner la r ponse ad quate Rappeler des faits oral Apprentissage par c ur Behavioriste Implique un rappel ou crit simple Prendre des notes Traduction d id es Transmissive Ecrire un journal Traduction d id es Construction de Constructiviste Processus m ta connaissances cognitifs Discuter argumenter Argumentation R soudre des probl mes Constructiviste propos d un probl me Trouver des faits in compatibles Ecrire un r sum Traduction d id es du cours Transmissive Implique la compr hension du texte r sum Ecrire une dissertation Traduction d id es du cours mise en uvre Transmissive ou constructiviste d un sch ma argumentatif sp cifique d pend de la t che donn e R aliser un portfolio Traduction d id es du cours r vision Constructiviste Processus m ta s lection e
22. il s agit d un cours de Master Recherche de proposer un mode d emploi tendu de chacun de ces logiciels Nous laisserons donc les tudiants se former eux m mes Toutefois comme il existe tr s peu de documents sur Oppia et aucun en fran ais la deuxi me partie de cette section comprend une br ve description de quelques fonctionnalit s de base d Oppia Il sera n cessaire aux utilisateurs avanc s de lire la documentation en anglais pour tirer tout le parti de ce logiciel eXe Learning Il est donc conseill de suivre pas pas la proc dure ci dessous afin de prendre progressivement connaissance des possibilit s de travail d eXe Learning Comme d j dit ne passez Oppia uniquement si les deux conditions suivantes sont remplies 1 vous tes une personne comp tente en informatique 2 vous trouvez eXe Learning ne poss de pas les fonctionnalit s n cessaire pour votre cours Cette proc dure comprend deux parties principales A Information sur le logiciel et son installation B Conception du cours et des questions Un troisi me ensemble de manipulations concerne le t l versement des fichiers produits sur un site web Cet ensemble est d crit dans la troisi me partie du document et concerne les tudiants du cours A Prise d informations sur les fonctionnalit s du logiciel installation et pr cautions 1 Visionnement du tutoriel vid o pr sentant les principales fonctionnalit s du logiciel disponible
23. info D sol nom Berlin est bien une capitale mais de l Allemagne Capitale de la lee a France sii ai Bravo nom Paris est bien la capitale de la France ere b Rome est la capitale de l Italie R essayez nom i paa la Etape 3 Un QCM avec photo La troisi me et derni re tape concerne aussi un QCM mais cette fois avec une photo ins r e dans le champ Contenu La Fig 5 ci dessous en d crit les principaux param tres qui varient peu de ceux de la Figure pr c dente Figure 5 Un QCM avec photo Une ville de France PARAMETER CHANGES No pararneter changes have been defined tae CL CONTENT Regardez la photo et d terminez la ville de France qui est repr sent e Edit content Source Wikipedia INTERACTION Nantes Edit interaction PREVIEW Grenoble Pars Lille Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 33 Notez simplement que le passage de param tres pour le pr nom n est plus n cessaire car il a t fait au pr c dent N ud L insertion de la figure qui se fait assez ais ment voir Fig 6 Il faut tout d abord t l verser l image sur le serveur elle doit avoir l extension jpeg puis la s lectionner en cliquant sur le bouton Figure 6 Ins rer une image dans un contenu Customize This Widget The name of the image file Telepherique_bas_Grenoble2 jpeg Cancel Use these parameters Jouer l Exploration
24. interaction interaction zone d entr e d un texte nombre questionnaire choix multiple des r gles affichant une r troaction en fonction des donn es de la phase pr c dente et orientant ensuite l apprenant un autre N ud Chaque tape affich e par un N ud s affiche la suite des pr c dentes tapes provenant des N uds pr c dents sans changement d cran un peu comme si l apprenant suivait une conversation Ce document pr sente une Exploration tout fait minimale mais permettant de comprendre le fonctionnement d Oppia commence par demander le pr nom de l apprenant Ensuite une question sur la capitale de la France est donn e puis une reconnaissance de ville fran aise d apr s une photo La Fig 2 ci dessous repr sente l encha nement du parcours minimal d une exploration Les N uds initial et final sont plus fonc s Les fl ches mentionnant l encha nement possible entre N uds parcours dans l Exploration sont cr es automatiquement en fonction des choix Dans l exemple l apprenant commence par donner son pr nom Ensuite une question sur la capitale de la France puis sur une ville sont donn es Il est possible d ajouter des N uds en sp cifiant un nouveau nom de N ud dans le champ du bas Attention il n est pas possible de copier des N uds donc il est important de r fl chir l ordre des N uds l avance et notamment du premier qui ne peut tre cha
25. l ments n cessaires avant de pouvoir apprendre ce contenu e O cela doit il tre appris d tailler les l ments de contexte p ex cours distance etc reli au contenu apprendre mais aussi dans quel curriculum ce contenu s ins re f Qui doit apprendre ce contenu d tailler les principales caract ristiques des apprenants ge comp tences niveau d enseignement etc 6 Concevoir au moins 5 questions interactives de votre choix qui utilisent les fonctionnalit s d eXe Learning Parmi ces 5 l une d entre elles doit tre une question Assertion raison Ces questions doivent tre correctement ins r es dans le cours et permettre une meilleure compr hension de ce dernier par le lecteur Elles doivent d autre part se conformer aux diff rentes prescriptions contenues dans ce cours 7 Si le contenu de toutes les sections pr c dentes peuvent tout fait tre con ues et crites sur un simple logiciel de traitement de textes il est maintenant n cessaire de porter ce contenu dans son int gralit dans eXe Learning Il est pour cela n cessaire d utiliser la fonctionnalit plan de ce logiciel pour ajouter autant de pages qu il est n cessaire concevoir des pages de cours seul ou bien des pages mixtes cours puis QCM puis les peupler du contenu par un simple copier coller du cours et cr er les QCM un un l aussi recourir au copier coller 8 11 faut ensuite placer le cours
26. les questionnaires Google Forms ce qui est optionnel et d pend du niveau de connaissances de l tudiant m me si faire un questionnaire sur Google Form est ais et qu il existe sur Internet de nombreux tutoriels d aide leur construction d faut vous demanderez aux participants s ils sont tudiants du MARDIF de noter et d poser leurs r sultats sur le th me du forum correspondant ou s ils ne sont pas tudiants du MARDIF par d autres moyens de votre choix p ex par courriel R pondre aux questions suivantes de mani re argument e dans le forum du s minaire en une dizaine de lignes par question Ces questions sont con ues pour v rifier la compr hension des tudiants des t ches demand es et du contenu du cours o Quelles sont les trois principales notions expos es et discut es dans la section 10 du cours ainsi que les questions que je me pose leur propos p ex concernant leur possible application mes propres recherches o Quels sont les trois principaux points de la section 10 du cours qu il me reste comprendre ou approfondir Y a t il des points particuliers que je n ai pas compris et sur lesquels j aimerais avoir des pr cisions Questions techniques Ai je bien r ussi r cup rer mon QCM avec eXe Learning et est ce que j ai pu inviter une vingtaine de participants le passer Est ce que je suis galement au clair avec la mani re dont les r ponses au QCM von
27. ou l information initiale Ce contenu peut tre textuel imag en tableau comprendre une formule math matique formule LaTeX ou une vid o Des onglets peuvent galement tre affich s pour indiquer une d marche en plusieurs tapes ou bien des indices successifs Dans la Fig 3 c est une simple phrase la question initiale Quel est votre pr nom Dans la Fig 5 c est une phrase accompagn e d une photo l interaction c est dire les diff rents items de choix ici les diff rentes villes mais la aussi il est possible d ins rer de nombreux l ments de contenu les m mes que ceux de la rubrique pr c dente les r gles zone when readers submit appliquer en fonction du choix de l utilisateur Chaque r gle est de type si alors et est appliqu e dans l ordre d affichage Elle oriente enfin l apprenant vers un autre N ud Dans l exemple de la Fig 4 la premi re r gle est la suivante Si la r ponse est gale a Berlin alors afficher la r troaction textuelle D sol nom Berlin est bien une capitale mais de l Allemagne r essayez et demande l apprenant de resoumettre une r ponse boucle sur le N ud Capitale de la France Attention il est n cessaire une fois l dition d un param tre faite de cliquer d abord sur Use this interaction ou Use this content de cliquer sur le bouton en haut droite de la fen tr
28. partis en 4 groupes sans test aucun test interm diaire test interm diaire sans feedback test interm diaire avec feedback donnant les r ponses correctes test avec feedback report la fin du test Les r sultats sont d crits dans la Figure 1 ci dessous Tableau 5 Un exemple de typologie cognitive de l criture d items de QCM Roid amp Haladyna 1980 p 299 Activit cognitive D finition Formes Exemple de question Rappeler des faits La reproduction d un l ment Nommer quelle date Christophe Colomb stimulus identique celui S lectionner a t il d couvert l Am rique r sent D crire P a 1492 b 1489 c 1776 R sumer La compr hension des concepts Identifier Quel est un bon exemple et la capacit a identifier D finir Traduire d allit ration en anglais correctement les exemples i f a gurgling b school pool c instances ou attributs du concept blue blood d up down Pr dire Utiliser des r gles pour mettre au Si alors Si la temp rature du fluide dans la jour des relations de contingence bouteille exc de 100 C alors entre items d apprentissage a tous les fluides L apprenant lit une situation et s vaporeront peut anticiper une cons quence b le liquide explose fond e sur une r gle c rien ne se passe Evaluer La capacit a s lectionner un Quel item est le Du point de vue de l efficacit ou des crit re s b ut
29. php productid 407 peut galement tre utilis e et contient des indices plus avanc s La majorit des logiciels de statistique avanc s comme R SAS ou SPSS peuvent galement calculer ces indices Analyse d items la difficult facilit des questions P Le premier indice que nous calculons est li la difficult facilit de chacun des items du QCM II est tout fait n cessaire que le questionnaire comprenne quelques questions plut t faciles de mani re a rassurer l l ve ou l tudiant En revanche une trop grande proportion de questions faciles am ne un effet plafond et un effet plancher pour des questions trop difficiles et donc ne repr sente pas une tache suffisamment consistante et cognitivement engageante pour la plupart des l ves L indice P variant entre 0 et 1 est la proportion d l ves ayant r pondu juste un item 7 Un item est d autant plus facile qu il a un P lev De plus il faudrait que la majorit des items aient un P se distribuant autour de 0 5 Comment appr cier cette valeur McAlpine 2002b consid re que les r ponses trop difficiles P lt 0 15 soit lorsque moins de 15 des participants ont r pondu juste la question donn e ou trop faciles P gt 0 85 soit lorsque au moins 85 y ont r pondu juste peuvent tre cart es du QCM Les premi res sont donc impossibles les secondes triviales et donc ni l une ni l autre ne permettent la mesure
30. question 1 est le choix a et que l l ve A a donc trouv la bonne r ponse de cet item A B G D E F G El ves Items 1 2 3 4 5 6 2 Bonne r ponse a b e b a c 3 A a b c c b c 4 B a b b c a 5 c a b b a c 6 D a b c a a c i E b b c b b c 8 F a b c b a c 9 G a b c b a c 10 H a b c b b c ad I a a a b c c 12 J a b c b c Ee dl Figure 9 Tableau pour consigner les r sultats du QCM par items et l ves Les colonnes r f rencent les diff rents items questions du QCM et les lignes les r sultats de chaque l ve Il faut mentionner dans la ligne 2 la bonne r ponse de chaque question et la r ponse s lectionn e par chacun des 10 l ves les lignes 3 12 Les autres tableaux se remplissent automatiquement et le graphique de la Figure 2 est mis jour L autre feuille de ce classeur nomm e Calcul de P et JD fonctionne de mani re quivalente Le calcul de ces indices est fait partir du tableau items l ves en 0 1 qui est g n r dans la feuille pr c dente en haut droite et il faut le recopier puisque aucun lien entre les feuilles n a t cr voir Figure 4 qui montre par exemple que l l ve A a r ussi les items 1 2 et 3 et chou aux 4 et 5 La encore remplir ce tableau fait recalculer automatiquement toutes les autres valeurs Au bas de la figure 4 sont d taill s item par item les indices P et ID resp sur les lignes grises et jaunes A B c D E F G 1 El v
31. une variante du coefficient de corr lation de Pearson et est nomm r point bis rial ris utiliser lorsque l une des deux variables est dichotomique en effet les scores un item sont soit 0 soit 1 Il varie comme tout coefficient de corr lation entre 1 et 1 et correspond au Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 37 coefficient de corr lation entre un item et le score total au test Il est ensuite important de voir dans quelle mesure une question donn e contribue par elle m me s lectionner de bons l ves ou de moins bons La valeur du rppis d un item donn peut tre positive et lev e ce qui signifie que les l ves r ussissant bien au test r ussissent galement bien l item concern n gative ce qui signifie soit que ce sont les l ves peu performants en g n ral sur l ensemble du questionnaire qui r ussissent bien l item ce qui peut laisser penser que cet item est un faible pr dicteur de la connaissance ou comp tence mesur e dans le test et donc qu il faut consid rer sa suppression Soit encore que les l ves performants en g n ral r ussissent moins bien cet item il convient dans ce cas de se demander pourquoi il faut au passage noter qu un ris lev et n gatif est rarement rencontr et t moigne tr s souvent d une erreur de saisie des donn es nulle ou faible en valeur absolue inf rieure 0
32. ves ne pourront ais ment deviner quelle est la bonne r ponse comme ci dessous o seul le calcul am ne R3 Q Quel est la circonf rence d un cercle de diam tre 3 cm R1 9 1 cm R2 9 3 cm R3 9 4 cm Cela est bien s r plus difficile bien que non impossible pour des connaissances de type sciences humaines ou de culture g n rale Par exemple dans la question suivante issue de http www makem co uk index php surgery hour 79 how to write qorking quiz questions showall amp start 5 toutes les villes ont des graph mes plausibles et aucune n est trop connue Bucarest n est pas mentionn e Q Parmi les villes suivantes quelle sont celles qui sont en Roumanie 1 Odessa 2 Oradea 3 Arad 4 Nesebar and 5 Timisoara R1 2 3 et5 R2 1 2 et4 R3 1 3 5 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 17 Pour r pondre certaines critiques faites aux QCM d autres formes plus volu es ont t propos es dont les ARQ assertion reason questions questions assertion raison Ce type de questionnaire est cens impliquer l apprenant dans des activit s de plus haut niveau Williams 2006 en d crit la construction de la mani re suivante voir aussi le site http www caacentre ac uk resources objective_tests assertion shtml La question est en deux parties une assertion et une raison et l apprenant doit d terminer dans un premier temps si chacune des deux es
33. vous obligera peut tre r diger quelques nouveaux items ou affiner les r ponses trouver 20 participants volontaires la passation du cours QCM en pr sence ou bien distance p ex autres tudiants du MARDIF l ves Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 49 o dans le cas o vous d marchez aupr s des tudiants du MARDIF il sera donc n cessaire de placer la version ventuellement modifi e de votre QCM sur le site de l atelier TICE Veuillez svp contacter pour cela par courriel J r me Panchout jerome panchout univ rouen fr et ce le plus t t possible avant le 15 avril 2014 en lui envoyant votre site en zip sans passer par l enseignant qui ne revalide donc pas le cours QCM Les sites seront plac s dans un espace ad hoc nomm appel sondage La mani re dont les tudiants vont vous informer de leurs r sultats puisqu eXe Learning n a pas de proc dure pour les collecter est mentionn e dans l item de niveau sup rieur suivant o Pensez d sactiver les r troactions de votre QCM de mani re ne r cup rer que les premi res r actions des participants et viter de possibles tricheries o Pour une passation avec d autres participants l ves autres tudiants ce sera vous soit de publier votre cours QCM sur un site soit de l ex cuter sur des ordinateurs en local penser un syst me de collecte des donn es centralis comme
34. 10 soit plus claire et moins ambigu J r me Panchout enfin par son aide efficace et proactive a permis de rendre l organisation du cours MARDIF plus simple et claire Selon la formule les erreurs qui peuvent subsister dans le cours et son organisation choisir la bonne r ponse a sont enti rement deta faute des coH gues pr c demmenteit s b sont de la pleine responsabilit de l auteur Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Je crois que les questions choix multiple a Sont une m thode d valuation d suete b Mesurent seulement des rappels de faits c Devraient n avoir aucun r le dans l enseignement des sciences d Toutes les r ponses ci dessus e Aucune des r ponses ci dessus Sadler 1998 p 249 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 6 1 Introduction Tout tudiant qui conna t sur le bout du doigt son syst me ducatif sait que s il est facile d viter un mauvais cours il est en revanche plus difficile d viter une mauvaise valuation Kalz 2009 Dans le domaine de l enseignement distance on value ou simplement v rifie les cours par le biais de questionnaires dont les retours sont plus ou moins imm diats C est un moyen courant et maintenant bien g r par de nombreuses plates formes d enseignement distance
35. 137 105 116 Demaizi re F 1986 Enseignement assist par ordinateur Paris Ophrys Depover C 1987 L ordinateur media d enseignement Bruxelles De Boeck Dessus P 2000 La planification de s quences d enseignement objet de description ou de prescription Revue Fran aise de P dagogie 133 101 116 Dessus P amp Lemaire B 2004 Assistance informatique la correction de copies In E Gentaz amp P Dessus Eds Comprendre les apprentissages sciences cognitives et ducation pp 205 220 Paris Dunod Enard C 1970 Le guidage dans l apprentissage In J Leplat C Enard amp A Weill Fassina Eds La formation par l apprentissage pp 113 156 Paris P U F Erstad O 2008 Changing assessment practices and the role of it In J Voogt amp G Knezek Eds International handbook of information technology in primary and secondary education pp 181 194 New York Springer Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 53 Francis Alisha L amp Barnett Jerrold 2012 The effect and implications of a self correcting assessment Teaching of Psychology 39 1 38 41 Georges F amp Pansu P 2011 Les feedbacks l cole un gage de r gulation des comportements scolaires Revue Fran ais de P dagogie 176 101 124 Haladyna T M 2004 Developing and validating multiple choice test items 3th ed Mahwah Erlbaum Haladyna T M Downing S
36. Evaluer l apprentissage par ordinateur T ches et r troactions Philippe Dessus Laboratoire des sciences de l ducation EA 602 UPMF Grenoble 2 et Esp UJF Grenoble 1 Maison page http webcom upmf grenoble fr sciedu pdessus Courriel Philippe Dessus upmf grenoble fr Version 2 2 au 26 mars 2014 RESUME Ce cours de Master 2 R sciences de l ducation distance a pour but de pr senter des l ments th oriques et pratiques li s la constitution de questionnaires choix multiple QCM pour valuer l apprentissage Il est compos de trois parties La premi re pr sente les l ments th oriques notion de t che de feedback panoplie de moyens d valuer l apprentissage La deuxi me partie se centre sur les questionnaires choix multiple et donne quelques indications pour utiliser un logiciel de conception de QCM La troisi me partie d crit les objectifs et l organisation du cours Elle int ressera donc principalement les tudiants suivant ce cours Note Nous nous adressons tout au long de ce cours un tudiant plut t qu une tudiante Que ces derni res soient assur es que c est uniquement par souci de lisibilit et ne correspond aucune discrimination leur encontre cc MOO Cette ceuvre est mise a disposition selon les termes de la Licence Creative Commons ar Paternit Pas d Utilisation Commerciale Partage des Conditions Initiales l Identique 3 0
37. M amp Rodriguez M C 2002 A review of multiple choice item writing guidelines for classroom assessment Applied Measurement in Education 15 3 309 334 Hanna G S amp Oaster T R 1978 Toward a unified theory of context dependence Reading Research Quarterly 14 2 226 243 Hattie J amp Timperley H 2007 The power of feedback Review of Educational Research 77 1 81 112 Johnstone Alex 2003 Effective practice in objective assessment The skills of fixed response testing Hull UK LTSN Physical Sciences Kalz M 2009 Placement support for learners in learning networks Heerlen OUNL unpublished PhD Thesis Kulhavy R W 1977 Feedback in written instruction Review of Educational Research 47 1 211 232 Laveault D amp Gr goire J 2002 Introduction aux th ories des tests en psychologie et en sciences de l ducation 2e ed Bruxelles De Boeck Le Clainche Emmanuel 2010 The eLearning XHTML editor Guide de l utilisateur Rennes ISFEC de Bretagne Leclercq Dieudonn 2006 L volution des QCM In G Figari amp L Mottier Lopez Eds Recherches sur l valuation en ducation pp 139 146 Paris L Harmattan Lemercier C Tricot A Ch nerie I Marty Dessus D Morancho F amp Sokoloff J 2001 Quels apprentissages sont ils possibles avec des exerciseurs multim dia en classe R flexions th oriques et compte rendu d une exp rience Paris Rapport
38. Pour pallier ce risque il convient de donner le plus t t possible apr s la passation du QCM les bonnes r ponses l apprenant Sadler 1999 a galement montr qu il est possible de construire des QCM en indiquant comme choix possibles les compr hensions erron es des apprenants Montepare 2005 a mis au point une m thode d auto correction des QCM int ressante Les QCM sont pass s en utilisant des stylos d une couleur donn e et au lieu d tre corrig s tout de suite les l ves s engagent seul ou collaborativement le cas ch ant avec le recours aux notes de cours et ou manuels dans une phase d auto correction o ils reprennent chaque item et d terminent si leur r ponse tait bien la bonne S ils estiment que non ils signalent leur nouveau choix d une autre couleur Ensuite l enseignant corrige les QCM en attribuant le score de 1 si le choix initial tait correct de 0 5 si c est le second choix qui tait le bon et de 0 dans les autres cas L auteur a remarqu un meilleur engagement de ses l ves avec cette m thode Une exp rimentation contr l e des effets de cette m thode a r cemment t r alis e et donne des r sultats mitig s Francis amp Barnett 2012 Enfin une tude Bleske Rechek Zeug amp Webb 2007 a compar les performances d tudiants en psychologie selon qu ils r pondaient un QCM ou composaient de courtes r ponses ouvertes des questions d examen I
39. a date butoir Lecture extensive et attentive du cours et travail sur les TP lecture des 1 et 2 parties du cours hormis la section 10 et travail sur au moins 3 TP au choix qui sont des t ches nonc es la fin de chaque section Lecture additionnelle d au moins 1 autre article conseill dans la rubrique voir plus loin de chaque section R pondre aux questions suivantes de mani re argument e en une dizaine de lignes par question Ces questions sont con ues pour v rifier la compr hension des tudiants des t ches demand es et du contenu du cours o Quelles sont les trois principales notions expos es et discut es dans le cours ainsi que les questions que je me pose leur propos p ex concernant leur possible application mes propres recherches o Quels sont les trois principaux points du cours qu il me reste comprendre ou approfondir Y a t il des points particuliers que je n ai pas compris et sur lesquels j aimerais avoir des pr cisions o Questions techniques Suis je arriv e installer le logiciel eXe Learning et ai je compris son fonctionnement dans les grandes lignes Quelles sont les questions que je me pose encore suite la lecture de la documentation D p t des r ponses au questionnaire du cours dans le forum de discussion du s minaire Retour de l enseignant sur chacune avant la r union lorsque possible d o l int r t de les poster assez t t Le contenu
40. aine cognitif Montr al Education Nouvelle Bodner George M 1980 Statistical analysis of multiple choice exams Journal of Chemical Education 57 3 188 190 Bransford J Brown A L amp Cocking R R 2000 How people learn Brain mind experience and school Washington NAP Bravard St phane 2005 Usages p dagogiques des QCM Un guide pour la mise en place d un questionnaire a choix multiple Poitiers Universit de Poitier URF Letttres et langues m moire de Master ing nierie des m dias pour l ducation non publi Butler Andrew C amp Roediger Henry L 2008 Feedback enhances the positive effects and reduces the negative effects of multiple choice testing Memory amp Cognition 36 3 604 616 Cheung Derek amp Bucat Robert 2002 How can we construct good multiple choice items Paper presented at the Science and Technology Education Conference Hong Kong Clarke Marguerite M Madaus George F Horn Catherine L amp Ramos Miguel A 2000 Retrospective on educational testing and assessment in the 20th century Journal of Curriculum studies 32 2 159 181 Crisp Geoffrey T amp Palmer Edward J 2007 Engaging academics with a simplified analysis of their Multiple Choice Question MCQ assesment results Journal of University Teaching and Learning Practice 4 2 88 106 de Vries E 2001 Les logiciels d apprentissage panoplie ou ventail Revue Fran aise de P dagogie
41. al R ponse correcte Egalement appel connaissance de la r ponse correcte Informe l apprenant de la r ponse correcte un probl me sp cifique sans information additionnelle Essayer encore Egalement appel le feedback r p ter tant que faux Informe l apprenant d une r ponse incorrecte et lui permet un ou plusieurs essai s suppl mentaire s Mise en vidence des erreurs Egalement appel surlignage des erreurs Les erreurs sont mises en vidence sans donner la r ponse correcte Elabor Terme g n rique qui signale qu on a donn une explication sur la raison pour laquelle une r ponse donn e tait correcte ou non Pourrait permettre a l apprenant de revoir une partie de ce qui a t enseign Peut ou pas pr senter la r ponse correcte voir plus bas les 6 autres types de feedback labor Elabor avec attributs critiques Feedback labor qui pr sente l apprenant les caract ristiques les plus importantes du concept ou de l habilet tudi pour une meilleure compr hension attributs critiques Elabor relatif au contenu tudi Feedback labor qui pr sente l apprenant des informations relatives au contenu tudi p ex de la r ponse correcte Peut impliquer la r p tition de l enseignement Elabor relatif la r ponse Feedback labor qui se focalise sur la r ponse de l apprenant Peut d crire pour
42. al unique comme dans l organisation de tests 2 Faire en sorte que chaque item ait un contenu ind pendant de celui des autres 3 Chaque item doit tre fond sur un contenu d apprentissage significatif viter des contenus triviaux 4 Eviter les contenus d items trop sp cifiques ou au contraire trop g n raux 5 Utiliser un mat riel nouveau pour tester des apprentissages de haut niveau Modifier en les paraphrasant les formulations des manuels ou celles utilis es par les enseignants en cours pour viter les simples rappels de phrases par c ur 6 Eviter les items exposant des opinions 7 Eviter les items avec des astuces 8 Ecrire les items avec un vocabulaire au niveau du public test 9 Evitez que l on puisse deviner la r ponse la seule lecture de la question c est dire sans les connaissances n cessaires par exemple lorsque pr sent es dans un texte lire juste avant le QCM Hanna et Hoaster 1978 signalent que les r ponses certains items sont trop ais ment devinables ou a contrario que d autres sont trop ais ment d tectables en tant que distracteurs Par exemple si l l ve lit le texte et a r pondre l item suivants id p 229 T Les oiseaux volaient au dessus de l oc an Q Qui volait au dessus de l oc an R1 Des avions R2 Des chauve souris R3 Des oiseaux R4 Des frelons Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble
43. aram tres se fait en ajoutant un param tre de mani re ce que Change nom to answer et en cochant obligatoirement la case evaluating parameters Cette fois c est le param tre nom qui devra tre utilis pour afficher le pr nom Une fois ce changement de param tre fait il n est plus n cessaire de le mentionner nouveau dans d autres N uds qui l utilisent Ensuite il faut Editer la zone Contenu Edit content pour afficher la question Quelle est la capitale de la France Puis Editer la zone Interaction Edit Interaction en choisissant l option Multiple Choice Input et indiquant les 3 r ponses possibles Vous noterez qu il est aussi possible de choisir des images des vid os etc Ensuite il faut diter les diff rentes r ponses possibles dans les R gles When Readers Submit comme indiqu sur la Fig 4 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 32 Figure 4 Faire un QCM EI PARAMETER CHANGES 1 Change nom to answer evaluating parameters Edit x 1 More info iia CONTENT Quelle est la capitale de la France Edit content INTERACTION Berlin Edit interaction PREVIEW Paris Rome Submit O Reuse the previous state s interaction if possible More info WHEN READERS Answer is equal to Berlin Edit 4 x SUBMIT More
44. bserver getArticle cfm id 1867 Narciss S amp Huth K 2004 How to design informative tutoring feedback for multi media learning In H Niegeman R Br nken amp D Leutner Eds Instructional design for multimedia learning pp 181 195 Minster Waxmann Osman Ridwan Mohamed 2011 Mesure et valuation en ducation s l Cours de l universit virtuelle africaine Osterlind Steven J 1998 Constructing test items 2th ed New York Springer Reif Frederick 2008 Applying cognitive science to education Cambridge MIT Press Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 54 Rodriguez M C 1997 The art and science of item writing A meta analysis of multiple choice item format effects Paper presented at the American Educational Research Association Chicago Roediger H L 3rd amp Butler A C 2011 The critical role of retrieval practice in long term retention Trends in Cognitive Sciences 15 1 20 27 doi 10 1016 j tics 2010 09 003 Roid Gale amp Haladyna T M 1980 The emergence of an item writing technology Review of Educational Research 50 2 293 314 Sadler Philip M 1999 The relevance of multiple choice tests in assessing science understanding In J J Mintzes J H Wandersee amp J D Novak Eds Assessing science understanding A human constructivist view pp 249 278 San Diego Academic Press Seyve D amp Gr pilloux J 2004 TICE e
45. c un outil de g n ration de cours interactifs La proc dure ci dessous vise 4 concevoir rapidement un cours diffusable avec un outil de g n ration de cours interactifs Les ann es pr c dentes de ce cours seul le logiciel eXe Learning tait propos Cette ann e avec l arriv e d Oppia syst me de conceptions de parcours interactifs tr s puissant nous avons d cid de laisser aux tudiants le choix de l outil Ces deux logiciels ont la particularit outre celle d tre libres et gratuits de permettre de m ler dans la m me page du contenu multim dia de pr sentation de contenu et d valuation de l apprentissage Bien videmment il est possible d utiliser la plupart des prescriptions de cette section pour r aliser des QCM sur d autres logiciels de fonctionnalit s similaires p ex NetQuiz Pro Nous conseillons vivement aux tudiants de commencer utiliser eXe Learning qui est bien plus simple d emploi qu Oppia Les tudiants les plus avanc s et curieux s ils buttent sur les limites de ce logiciel pourront utilement et avec assez peu de travail suppl mentaire transf rer leur contenu sur Oppia et profiter ainsi de fonctionnalit s plus labor es calcul de scores prise en compte du parcours de l l ve traces Ce cours se d roulant sur 2 ans la d couverte d Oppia peut tout fait se faire durant la deuxi me ann e galement Il n est pas dans l objet de ce cours puisqu
46. ces de ce cours pourront l aborder de diff rentes mani res Si elles sont tudiantes au MARDIF et suivent le s minaire TICE d avril il est pr f rable qu elles passent directement la troisi me partie du document qui contient la description des t ches li es ce s minaire Ce cours en est sa 4 dition mise jour avec un ajout principal dans la 9 section la pr sentation d Oppia un nouveau syst me de cr ation de cours interactifs tr s puissant La 3 dition a t l g rement augment e le calcul de l indice B et ajout de quelques ressources La 2 dition tait enti rement r vis e une douzaine de pages suppl mentaires et en partie refondue 3 partie avec l ajout de la section 10 Tous les autres publics enseignants tudiants doivent savoir que les deux autres parties de ce cours peuvent se lire ind pendamment l une de l autre Les personnes int ress es par les aspects pratiques de la construction de QCM passeront directement la 2 partie Les autres liront le document au fil des pages Bonne lecture et surtout bon travail Philippe Dessus 18 mars 2014 Remerciements L auteur remercie vivement Christophe Charroud Olivier Cosnefroy C dric D Ham Hussein Atta Salem et Emmanuelle Villiot Leclercq pour leurs commentaires d une version ant rieure de ce cours Olivier Cosnefroy et Thierry Rocher par leurs commentaires vigilants ont fait en sorte que la section
47. d pos dans l espace de d p t de votre promotion de structure comme suit o Titre indiquant le th me du QCM nom et pr nom de l tudiant promotion o Bref descriptif du nombre de participants de l tude du contexte de passation pr sence distance tour de r le en parall le etc de leur niveau scolaire si passation faite en contexte scolaire Il sera galement n cessaire de documen ter a priori leur niveau ont ils un bon ou faible niveau de connaissances du domaine du QCM o Mention des indices P ou B et ID commentaires o Graphique voir Figure 3 section 10 indiquant la r partition du choix des r ponses des l ves Il faudra veiller anonymer les participants du test o Br ve analyse item par item avec justification des items ventuellement rejet s et proposition d une nouvelle reformulation de ces derniers items ou r ponses o Copie du tableau de r sultats entier Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 51 13 Autorisation de diffusion de mon cours Document a remplir mentionner votre nom et pr nom dans les dater et signer et renvoyer par courriel en format PDF l enseignant en m me temps que le cours Autorisation entre tudiant e au MARDIF contractant e et le MARDIF CNED repr sent par son responsable M Jean Luc Rinaudo diteur Je soussign le la contractant e autorise gratuitement n autorise pas
48. de pollen B P tales 3 Abrite les cellules uf C Fleur 4 Les graines form es D Etamine 5 Contient l ovaire E Ovaire F Pistil Choix multiple complexe Parmi les r ponses suivantes lesquels sont des fruits Cochez la bonne r ponse lettre 1 Tomate 2 Tomatille 3 Piment habanero A 1 amp 2 B 2 amp 3 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 22 C 1 amp 3 D 1 2 amp 3 Items d pendants du contexte Imaginez que vous tes un d l gu de Etat du Massachusetts la convention Vous avez t autoris a voter au nom de votre Etat 1 Vous approuveriez sans doute A Le plan du New Jersey B Le plan de la Virginie 2 En lien avec votre exp rience acquise dans le traitement des dossiers vous pensez A que les fermiers n ont pas a r percuter la charge des taxes aux gens de la ville B que les indiens am ricains natifs ont tre pris en compte dans l imposition C etc Ces m mes auteurs p 312 du m me article proposent une liste de principes guidant la construction de QCM r alis e en compilant de nombreux articles ou ouvrages sur le sujet Elle est report e ci dessous traduction libre et modification de l ordre des items Pour rappel un questionnaire est compos de diff rents items eux m mes compos s d une amorce et de plusieurs choix de r ponse Le contenu 1 Chaque item doit couvrir un contenu sp cifique et un comportement ment
49. e puis de cliquer sur Save Changes bouton en haut droite dans la fen tre principale pour que les changements soient pris en compte La suite de cette section d crit pas pas la cr ation des N uds Etape 0 Cr er une Exploration Une nouvelle exploration se cr e de la mani re suivante Si vous n en avez pas d j un cr ez vous un compte Google et connectez vous au site d Oppia De la page https www oppia org contribute cliquez sur Create New Exploration Mentionner son titre et sa cat gorie dans la fen tre qui s ouvre Une page s ouvre avec dans la section Visualization 2 N uds cr s par d faut celui du d but et celui de fin Etape 1 Enregistrer le pr nom de l apprenant Cliquez sur le N ud de d but et nommez le Pr nom La premi re tape est de cr er un N ud qui demande le pr nom de l apprenant pour pouvoir s en servir dans les N uds suivants voir Fig 3 Si l on devait juste afficher le pr nom dans l interaction du N ud courant l usage du param tre par d faut answer suffirait La fen tre du N ud doit tre configur e comme suit Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 31 Figure 3 Enregistrer un pr nom Pr nom PARAMETER CHANGES No parameter changes have been defined 0 More info CONTENT Quel est votre pr nom Edit content INTERACTION Submit Edit int
50. e Vries 2001 parfois sans que leurs utilisateurs s en rendent vraiment compte En guise d illustration prenons le simple cas des correcteurs orthographiques maintenant int gr s dans tout logiciel de traitement de textes sophistiqu Utilisons ce cas pour montrer les diff rentes phases de l interaction utilisateur machine 1 Phase de production On tape du texte dans une fen tre du logiciel 2 Phase de r troaction Les mots possiblement mal orthographi s sont mis en vidence soulign s par exemple r troaction 3 Phase de correction automatique On peut de mani re optionnelle clic droit se voir proposer des alternatives au mot possiblement mal orthographi La reconnaissance du mot correcte peut se faire ou pas 4 Phase d action en retour On peut d cider de laisser le mot dans sa forme originelle si on est s r de son orthographe si le mot est un nom propre etc de s lectionner l une des alternatives propos es en 3 de corriger directement le mot mal orthogra phi 5 Retour en 1 pour taper la suite du texte Bereiter 2002 dans le chapitre 2 de son ouvrage dont un preprint est accessible http www cocon com observetory carlbereiter chapter2 pdf voque une proc dure simple pour comprendre de quelle mani re le correcteur orthographique d un logiciel de traitement de textes volu sugg re des mots alternatifs un mot possiblement mal tap Lisez le contenu du Tableau
51. e des questions de mani re par exemple placer les questions faciles au d but et les questions plus difficiles vers la fin voir si certains items sont vraiment utiles et consid rer leur suppression soit parce qu ils sont trop ou pas assez difficiles proportion de personnes ayant s lectionn la bonne r ponse trop lev e ou trop basse ce qui peut s analyser a partir de la proportion de personnes ayant s lectionn telle ou telle r ponse d une question o soit parce qu ils sont pas assez discriminants c est dire qu ils ne permettent pas bien de distinguer les tudiants performants dans le domaine du QCM de ceux moins performants ce qui se passe lorsque tous deux r pondent correctement l item quel que soit leur niveau ce qui peut s analyser en calculant la corr lation entre le score un item et le score total du questionnaire par l ve voir si certains distracteurs ne jouent pas leur r le parce qu ils sont pas assez ou m me trop choisis Il faut toutefois faire remarquer au lecteur les points suivants Tout d abord ces processus d analyse ne remplacent pas une analyse soign e par l enseignant de la validit de chaque question c a d se demander si la r ponse la question met bien en uvre la comp tence et la connaissance voulue par lui Ils peuvent toutefois alerter l enseignant sur des items pouvant poser des probl mes De plus ce type d analy
52. en psychologie de l ducation sur les questionnaires choix multiple et se termine par quelques l ments pratiques permettant de r aliser de tels questionnaires qui vitent les biais les plus courants et d taille la m thode de travail de l activit 2 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 15 5 Les questionnaires choix multiple bref historique Madaus et O Dwyer 1999 datent l utilisation des premiers questionnaires choix multiple QCM au tout d but du XX si cle pour pallier la mauvaise validit des essais couramment utilis s comme moyen d valuation voir Leclercq 2006 Les premiers tests QCM apparaissent en 1915 et en 1926 des questions choix multiple sont pos es dans le cadre du SAT Stanford Achievement Test valuation des connaissances des l ves de l cole primaire au lyc e aux Etats unis d Am rique et ont fleuri dans le cadre de tests standardis s quand la demande et surtout le nombre d tudiants et d l ves a cru En 1955 l invention du scanneur optique a permis de corriger tr s rapidement ces formulaires ce qui a accentu la popularit de ces outils ensuite augment e encore par l arriv e de l ordinateur dans le courant des ann es 1970 Cela rendait l valuation tr s rapide et peu ch re r sultats en 2 4 semaines pour un co t de 2 3 dollars lorsque r alis e via scanneur Les ann es 1980 comme l expliqu
53. ent Madaus et O Dwyer ont vu arriver un regain de critiques envers les QCM jug s avec raison comme insuffisamment authentiques Cet int r t et besoin de tests a lanc une industrie tr s opulente et il ne rentre pas dans le propos de ce cours de la relater plus avant voir Clarke Madaus Horn amp Ramos 2000 Voir plus loin Lire l article de Leclercq 2006 disponible http www elearning ulg ac be evolution_qcm_ in figari mottier pdf Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 16 6 Les questionnaires choix multiple d finitions et formes La technologie de l criture des QCM a pris son essor dans les ann es 1970 quand il s est agi de proposer des tests d apprentissage qui mesurent plus fid lement l volution de ce dernier voir Roid et Haladyna 1980 pour une revue Nous avons choisi de focaliser le reste de ce cours sur la conception et r alisation de questionnaires a choix multiple La raison premi re est qu ils sont maintenant tr s r pandus dans le domaine de l enseignement distance et parfois m me en pr sence Commen ons par quelques d finitions Un questionnaire choix multiple ou test est compos de plusieurs questions ou items de test Osterlind 1998 p 18 d finit un item de test de la mani re suivante une unit de mesure avec un stimulus et une forme de r ponse pr d finie qui est con ue pour solliciter une r ponse d
54. eraction PREVIEW Reuse the previous state s interaction if possible More info WHEN READERS SUBMIT Capitale de la France New rules will be added here Bonjour answer Bienvenue dans cette Exploration cliquer sur Edit Content pour taper la question demandant la saisie du pr nom cliquer sur Edit Interaction pour choisir l interaction Text Input qui peut tre param trable par exemple en modifiant la consigne Tapez votre pr nom dans ce champ La taille du champ de saisie ligne colonnes est galement sp cifiable cliquer sur Add new rule pour souhaiter la bienvenue l apprenant Vous notez qu il est n cessaire ensuite de l orienter vers le N ud suivant Capitale de la France Le param tre answer est utilis ici pour afficher le nom de l apprenant car on reste l int rieur du N ud Vous verrez par la suite comment utiliser cette donn e dans un autre N ud Etape 2 Un QCM Une fois ce premier N ud r alis Passons au deuxi me qui int gre un QCM sur la capitale de la France Cr ez un deuxi me N ud intitul Capitale de la France et la fen tre du N ud doit tre configur e comme ci dessous Fig 4 Tout d abord il est n cessaire de faire passer la r ponse du N ud pr c dent dans une autre variable puisque le param tre answer va contenir la r ponse au QCM et donc effacer le pr nom Le passage de p
55. es Items 1 2 3 4 5 6 2 A 1 1 1 0 0 1 3 B 1 1 1 1 0 0 a c 1 1 1 1 1 1 5 D 1 1 1 0 1 1 6 E 0 1 1 1 0 1 7 F 1 1 1 1 1 1 8 G 1 1 1 1 1 1 9 H 1 1 1 1 0 1 10 1 1 0 0 1 0 1 th J 1 1 1 1 0 1 12 scorefitem 9 9 9 8 4 9 14 0 89 2 00 2 00 0 38 1 58 0 89 15 0 86 1 94 1 94 0 36 1 53 0 86 16 P d 09 09 09 08 04 0 9 17 p faux 0 1 0 1 0 1 0 2 0 6 0 1 18 0 3 0 3 0 3 04 0 49 0 3 19 Figure 10 Tableau de donn es pour le calcul de P et ID Pour information la formule du rppis est la suivante o Xi est la moyenne variable continue de ceux qui ont eu 1 la variable dichotomique Xoest la moyenne de ceux qui ont eu 0 Sest l cart type des scores de tous les participants p est la proportion de participants ayant eu litem juste Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble Al ee pbis S Voir plus loin Il existe de nombreux autres indices issus de la th orie des tests Les mod les de r ponse litem ou IRT item response theory sont des mod les statistiques permettant de donner des indices absolus donc peu influenc s par les caract ristiques de l chantillon test Les ouvrages de Laveault et Gr goire 2002 et de Bernier 1985 sont de tr s bons ouvrages pour s initier ces questions Il existe aussi quelques logiciels la plupart payants mais certains gratuits qui aident les enseignants calculer automatiquement les indices ci dess
56. export en HTML sur un serveur web Les tudiants du MARDIF trouveront des renseignements sur ce point dans la 3 partie de ce document Pr sentation rapide d Oppia Voici les liens vers les principales informations sur Oppia Site g n ral https www oppia org Utiliser des Explorations https www oppia org learn Modifier une Exploration ou en cr er une https www oppia org contribute Documentation https code google com p oppia wiki Documentation Code https code google com p oppia Introduction Oppia https www oppia org est un syst me con u initialement par des employ s de Google sans tre un produit Google comme cela est indiqu ici https www oppia org about what is this website permettant de concevoir assez ais ment des activit s d apprentissage en ligne Il Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 28 est open source le code peut tre r cup r ici https code google com p oppia et pourra donc tre sujet de nombreuses am liorations Un enseignant dans Oppia peut g n rer des parcours appel s Explorations dont les tapes appel es N uds repr sentent diff rentes interactions dialogiques encha nements de questions et r troactions qui peuvent tre personnalis es comme si un enseignant posait une s rie de questions un apprenant en analysant ses r ponses pour le mener une prochaine question L originalit
57. iciels permettant un travail dans une perspective constructiviste mais pas toujours valu s par le logiciel lui m me Hattie et Timperley 2007 montrent que les retours peuvent porter sur les trois types d l ments L encore il est possible d utiliser cela pour guider les l ves ou vais je quels sont les buts que je poursuis comment y vais je quels progr s ai je r alis s vers ce but quoi faire ensuite quel travail dois je faire ensuite TP Prenez un logiciel ducatif de votre choix et classez les diff rents types de feedback qu il propose en utilisant les 3 questions de Hattie et Timperley 2007 Ces questions peuvent galement tre utilis es pour guider la circulation d un apprenant au sein d un logiciel d apprentissage ou une plate forme d enseignement distance Pour en savoir plus Le chapitre 2 pp 6 20 de Luengo 2009 disponible http membres liglab imag fr luengo textes articles ToutHDRV2Luengo pdf Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 12 4 Diff rentes formes de feedback On cat gorise usuellement les formes de feedback selon leur intention p dagogique leur complexit l agent d livrant le feedback la suite de cette section est issue et traduite de Trausan Matu et al 2008 p 20 et sq Feedback directif vs Facilitatif Shute 2008 a propos la distinction entre un feedback directif et facilitatif
58. iliser un meilleur le pire quelle proc dure est la meilleure crit re c s lectionner et utiliser le plus le moins a proc dure 1 un crit re pour mettre en uvre etc b proc dure 2 etc une d cision Appliquer R solution d un probl me Pas de formes Quel plan permettra de r aliser un impliquant a le comprendre b standard syst me de distribution urbaine de le d finir c choisir des l eau qui sera efficace en toutes principes r gles ou m thodes qui saisons permettront de le r soudre d a nappe phr atique choisir ou trouver des solutions l ouest de la ville b nappe phr atique l est de la ville c un r servoir dans les collines d un pipeline 60 J 4 50 4 o 404 6 8 30 3 c 201 2 o amp 404 11 00 No test Test with no Test with immediate Test with delayed feedback feedback Learning condition TRENDS in Cognitive Sciences feedback Figure 1 Les 4 conditions d apprentissage de l exp rience de Butler et Roediger 2008 copi de Roediger et Butler 2011 p 23 Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 20 Les QCM sollicitent principalement une activit de reconnaissance reconnaitre la bonne r ponse parmi plusieurs Cela a un inconv nient majeur les apprenants doivent lire des r ponses erron es et le danger est grand qu ils les apprennent ce que les tudes de Butler ont confirm
59. ique diff renciatrice ou sommative Cela n est pas du tout l objectif d un enseignant qui se place dans une d marche formative ou de p dagogie de la ma trise Dans ce cas il importe moins de d terminer les bons faibles que de d terminer ceux qui maitrisent ne maitrisent pas un contenu donn au dessus d un seuil fix par l enseignant Dans ce cas on s int resse calculer un indice de discrimination au seuil de ma trise Laveault amp Gr goire 2002 pp 222 223 ou indice de Brennan variant entre 1 et 1 Il convient tout d abord de fixer le seuil de ma trise Bloom Bloom 1988 dans la p dagogie de la ma trise stipulait qu un l ve maitrisait un contenu s il r ussissait 80 des items Il est donc ais de faire deux groupes d l ves l un contenant tous les l ves r ussissant ces 80 du test l autre groupe contenant tous les autres l ves L indice de Brennan B est simplement la diff rence entre deux indices de difficult d un item celui pour ceux ayant atteint le seuil de ma trise dans le test entier groupe ma trise auquel on soustrait ceux ne l ayant pas atteint groupe non ma trise Un indice positif montre le pourcentage d l ves du groupe ma trise a mieux r ussi l item que dans Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 38 le groupe non maitrise Si la valeur B est n gative cela veut dire que c est le grou
60. ivement la 7 2 exelearning net et la 1 04 exelearning org qui sont les versions stables les plus r centes I peut exister des diff rences entre les deux versions mais elles sont mineures Vous prendrez la version qui fonctionne le mieux sur votre syst me d exploitation 6 Il est pr suppos deux l ments importants voir aussi formulaire signer ci apr s a Sauf avis contraire de l tudiant mentionn clairement l enseignant par courriel le plus t t possible le cours produit sera plac sous licence Creative Commons BY NC SA plus d informations a http creativecommons org licenses by nc nd 2 0 fr Le logiciel eXe Learning permet d ailleurs d ajouter automatiquement une telle licence sur toutes les pages produites b La production r alis e devra tre exempte de contenu plagi Il appartient donc l tudiant de r f rencer scrupuleusement le contenu provenant d auteurs autre que lui ou elle m me Ce contenu sera n cessairement court proportionnellement au contenu crit par l tudiant mentionn entre guillemets suivi ou pr c d de sa r f rence article ouvrage Tout manquement ce point pourra faire l objet de sanctions par l instance universitaire appropri e La consultation du site http www integrite umontreal ca pourra apporter d utiles pr cisions B Conception du cours 1 Choisir un domaine dans lequel vous tes expert e et pour leque
61. l UNESCO http www sacmeq org research htm modules Pour en savoir plus sur les logiciels Il existe de tr s nombreux sites pr sentant soit des logiciels autonomes ou des outils en ligne g n rant des questionnaires Le site http webu2 upmf grenoble fr sciedu pdessus sapea logicielseval html de Flaugergues amp Dessus 2010 contient des Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 43 informations techniques de base sur la probl matique d valuer automatiquement des connaissances avec des outils informatis s Il existe aussi un tr s grand nombre d outils g n rant des QCM De Flaugergues et Dessus 2010 en listent certains et en voici d autres Il est noter que Netquiz Pro d un emploi un peu plus complexe qu eXe Learning permet de recueillir les r sultats aux QCM de chaque apprenant ce que ne permet pas ce dernier Il convient de lire attentivement les conditions l gales de leur utilisation avant toute exploitation notamment ducative ou commerciale Concerto http www psychometrics cam ac uk page 300 concerto testing platform htm Flax http flax nzdl org greenstone3 flax Google Forms http www google com google d s createforms html LDShake http Idshake3 upf edu cr ation et partage de documents eXe Learning QeDoc Quiz Maker http www qedoc org en index php title Qedoc_ Quiz Maker QuizFaber http quizfaber free fr index htm NetQui
62. l existe deux bonnes synth ses accessibles sur internet sur les possibilit s d informatiser un QCM des fins ducatives Bravard 2005 et Seyve et Gr pilloux 2004 respectivement a http fle u strasbg fr evaluation fle Bravard_qem pdf et a http greco grenet fr documents dossier_greco_qcm pdf Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 18 7 Les aspects cognitifs des QCM Les tests via QCM s ils sont maintenant tr s r pandus a tous niveaux scolaires souffrent de deux pr jug s que nous allons d tailler ici Le premier est que les QCM ne peuvent mesurer que des comp tences de bas niveau dans l chelle de Bloom et al 1969 p ex rappeler des faits Le second que le fait de r pondre un test ne fait que pr lever de l information sur ce que peut conna tre un apprenant sans aucunement interagir avec cette connaissance ni l affecter Les effets b n fiques des QCM sont les suivants Marsh Roediger Bjork amp Bjork 2007 ils donnent l occasion d exercer sa m moire reconna tre des informations d tudier un contenu et les diff rents indices donn s dans les r ponses de choix sont trait s en tant que probl mes ce qui peut l encore am liorer l apprentissage Du point de vue de l enseignant ils sont ais s corriger donc informatisables souvent utilis s quand les cours ont un grand nombre d tudiants Parmi les inconv nients connus des QCM
63. l vous voulez transmettre un contenu 2 Choisir un niveau de classe et d finissez quelques objectifs d apprentissage ce que les personnes qui suivront ce cours devront tre capables de faire a l issue du cours 3 Choisir un contenu a apprendre a propos du domaine choisi R diger cinq pages A4 de cours soit entre 17 000 et 20 000 caract res espaces compris hi rarchis es deux niveaux Veiller ce que le contenu soit galement r parti dans les diff rentes sections du cours 4 Illustrer ce cours par des images des tableaux des vid os dont la r f rence sera mentionn e dans le corps du texte du cours 5 Documenter les intentions p dagogiques du cours et son public Chacun des points Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 27 suivants doit faire l objet d une sous section dans le cours eXe Learning d apr s Andrade et al 2008 a Qu est ce qui doit tre appris d tailler le contenu du cours les principaux concepts et habilet s l uvre b Pourquoi cela doit il tre appris expliquer le contexte d apprentissage et les possibles transferts du contenu du cours d autres contextes ainsi que les contextes dans lesquels le contenu pourrait tre utile c Comment cela doit il tre appris d tailler les m thodes p dagogiques les types d exercices utilis s dans le cours d Quand cela doit il tre appris d tailler les pr requis les
64. ls ont montr qu il y a une corr lation entre leurs r sultats QCM vs r ponses courtes ensuite ils montrent que les scores des tudiants au QCM sont mieux reli s leurs scores de r ussite universitaire g n rale que ceux aux r ponses courtes Il semblerait donc que les performances des tudiants des QCM aient un lien plus profond avec leur performances acad miques que celui souvent estim par ses d tracteurs Toutefois un rapport Means Toyama Murphy amp Bakia 2010 montre des r sultats plus mitig s propos de l insertion de QCM dans des cours distance elle n est pas n cessairement en lien avec un meilleur apprentissage des tudiants TP Trouver d autres avantages et d autres inconv nients des QCM pour valuer l apprentissage Aller sur la page wikipedia propos des questionnaires choix multiple http fr wikipedia org wiki Questionnaire choix multiples La recopier dans un fichier traitement de textes et l am liorer en citant ses sources Voir plus loin Lire l un des manuels de construction de QCM cit s en r f rences pour plus d informations Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 21 8 Les types de QCM choix et conseils de r daction Cette section a pour but de donner des conseils plus pr cis sur la mani re de concevoir des QCM et de choisir leur forme en fonction des buts d enseignement Haladyna et al 2002 p 322 et sq
65. ng de place une fois d termin Figure 2 Le parcours d une Exploration minimale les Villes de France Visualization Click on a state node in the diagram below to edit it eX Capitale de la Fr x Une ville de France Add a new state N w State Nam Subm Il faut diter le N ud d tat en cliquant dessus La fen tre ci dessous appara t Fig 3 elle permet de r gler les param tres suivants qui sont tous ditables en cliquant sur le bouton droite de chaque param tre les changements de param tres variables zone parameter change permet de sp cifier des variables qui vont stocker des informations sur le parcours p ex le nom de l apprenant certaines de ses r ponses traiter ult rieurement les n uds par lesquels il est pass etc Par d faut il y a la variable answer r ponse qui contient le texte de la r ponse en cours cela peut tre le rang de l item du QCM choisi Les param tres peuvent tre utilis s tout au long de l Exploration si l on sp cifie bien les changements de param tres des N ud qui en utilisent et sont mentionnables dans tout champ texte ins r dans des doubles accolades Les noms de param tres sont sensibles la casse et ne peuvent contenir que des lettres et des chiffres Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 30 le contenu zone content c est dire la question
66. onvient aussi de v rifier si les diff rents distracteurs ont bien jou leur r le pour un distracteur donn si personne ne l a s lectionn il ne l est pas si tout le monde l a s lectionn il l est sans doute trop et les tudiants ont t massivement induits en erreur Johnstone 2003 consid re qu un distracteur remplit son r le si environ 5 au moins des personnes le choisissent La valeur de choix maximale d pend bien s r du nombre de r ponses mais il est possible en affichant une repr sentation graphique de tous les choix question par question de d terminer les r ponses distractrices qui ont t massivement vit es il faudra sans doute les reformuler Le moyen de d terminer si les r ponses distractrices remplissent bien leur r le est simple il suffit de repr senter graphiquement une distribution par item et par r ponse et de v rifier visuellement la distribution des choix La figure ci dessous en donne un exemple Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 39 100 T 90 80 70 60 50 40 30 T 20 10 0 Figure 8 Pourcentage des r ponses des l ves par item 1 6 et par r ponse a c Les fl ches indiquent les bonnes r ponses Une analyse de ce type de graphique peut nous
67. ou encore les simples questions r ponses sont un moyen classique de v rifier si un apprenant a compris Ce type de questionnaires existent depuis de nombreuses ann es et ont d j fait l objet de publications nombreuses voir Haladyna 2004 pour une synth se Pour autant il est assez curieux de noter qu il y a un engouement r cent d notre avis deux raisons leur utilisation intensive dans l enseignement distance leurs effets sur l apprentissage qui est encore mal connu Ce cours permet d tudier de plus pr s trois v nements importants et leurs effets respectifs l apprentissage proprement dit le rappel d informations d par exemple un questionnaire et les r troactions de l enseignant d une machine Le sens commun signale que l apprentis sage a uniquement lieu pendant la phase d exposition l information Des recherches r centes p ex Roediger amp Butler 2011 montrent que l apprentissage de notions est d autant meilleur qu il est suivi de feedback non pas imm diats la question mais report s quelques minutes apr s feedback diff r Ce cours s int resse donc ce que Mayer et Colvin Clark 2010 nomment des environnements d apprentissage passifs c est dire des dispositifs qui n acceptent pas d interactions ouvertes de la part de leurs utilisateurs Comme le signale Reif 2008 ce type d environnement peut en partie guider l apprenant
68. p www quiz creator com blog 2009 09 free online quiz creator tools create online quizzes http academics smcvt edu cbauer ramazani Links authoring tools htm http uepd quizport com course view php id 19 amp topic 5 http wiki cyclotronp net doku php education exerciseurs liste_logiciels http www sequane com http c deruy ouvaton org telecharger logiciels auteurs libres gratuits pdf http www freetech4teachers com 2012 06 12 tools for quickly gathering informal html Un site r pertorie quelques logiciels permettant de g rer une banque d items QCM http fr wikipedia org wiki Logiciel de questionnaire C3 A0_choix_ multiples Voici enfin des logiciels permettant le calcul d analyse d items http en wikipedia org wiki Psychometric_software http www assess com xcart product php productid 407 http www ssicentral com irt index html http languagetesting info statistics excel html http www itemanalysis com user form php Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 45 3 Partie Description du cours MARDIF Objectifs et organisation La troisi me et derni re partie de ce cours va concerner uniquement les tudiants du cours MARDIF CNED et d crit ses objectifs et son organisation Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 46 12 Objectifs du cours et aspects organisationnels Objectifs Ce cours est con u
69. pe non maitrise qui r ussit mieux l item Ce dernier ne discrimine donc pas les l ves dans le bon sens et on peut consid rer a le supprimer Le Tableau 6 ci dessous et les calculs plus bas indiquent comment calculer B Les colonnes du Tableau indiquent les l ves par groupe de maitrise 14 l ves sont dans le groupe non ma trise et parmi eux seuls 5 ont r ussi l item 20 l ves sont dans le groupe ma trise et parmi eux 16 ont r ussi l item Tableau 6 Organisation des donn es pour le calcul de l indice B de Brennan Laveault amp Gr goire 2002 p 222 R ussi a b a 5 b 16 Item Echou c d c 9 d 4 Non maitrise a c Ma trise b d Ensuite il est ais de calculer les indices de difficult de l item pour ces deux groupes resp Pm et Pum Pn bKb d 0 8 Pam a a c 0 36 B Pyn Pnm 0 8 0 36 0 44 Cela signifie que si on compare la r ussite des l ves du groupe ma trise celle du groupe non maitrise il y en a 44 de plus qui r ussissent l item dans le premier groupe On peut consid rer que cet item est conserver Un onglet du tableur Excel dont URL figure dans la section suivante permet de calculer B Le r le des r ponses distractrices La troisi me et derni re proc dure va s int resser item par item aux r ponses distractrices Tout item de QCM contient une bonne r ponse et des r ponses distractrices Il c
70. permettre de tirer les conclusions suivantes Tout d abord il est possible de d terminer si la place de la bonne r ponse se distribue uniform ment entre les diff rents items ici il y a uniformit Ensuite il est possible de d tecter les distracteurs jamais choisis p ex c pour l item 2 et de le reformuler de mani re le rendre plus proche du bon r sultat tout en tant faux Enfin comme le sugg rent Crisp et Palmer 2007 lorsque les items sont de difficult croissante il est ainsi possible de v rifier qu au d but les l ves choisissent plus ais ment la bonne r ponse qu la fin du questionnaire ici ce sont les questions 4 et 5 qui ont les distracteurs les plus attractifs Une strat gie d analyse des items L examen attentif et parall le des deux derniers indices difficult et discrimination permet d analyser finement la qualit des items Il est facile de r gler les cas o les indices P et ID d un item sont conjointement bas item tr s difficile et peu discriminant donc rejeter ou conjointement lev s item tr s facile et tr s discriminant donc conserver mais en gardant galement des items plus difficiles Evoquons les autres cas Lorsqu un item a un JD lev et un P bas cela indique que seuls les meilleurs l ves ont r ussi l item Cet item tr s s lectif pourra tre conserv l aussi en le mixant avec des items plus faciles Lorsqu un item a un JD faible et un P
71. pour tre suivi deux ann es successives La premi re ann e les tudiants gt qui l auront suivi seront capables de s lectionner l activit d apprentissage en lien avec leurs principes p dagogiques de construire des questions de QCM li es un cours galement con u pour l occasion qui soient en lien avec les activit s d apprentissage vis es dans ce cours de composer un QCM dans un contenu donn qui ne contienne pas trop de biais de r aliser un bref cours et des QCM assortis avec le logiciel eXe Learning La deuxi me ann e les tudiants seront capables d organiser une passation sur une vingtaines de personnes du cours QCM niveau et age appropri son contenu con u la premi re ann e de recueillir et d analyser les r ponses notamment en termes de difficult et discrimination de tirer quelques enseignements partir de l analyse de ces r ponses items garder rejeter ventuellement selon leur niveau de ma trise de l informatique de convertir tout ou partie de leur cours sur Oppia un nouveau syst me de conception de parcours d apprentissage interactifs Chronologie des t ches du s minaire TICE L organisation g n rale du s minaire peut se repr senter comme suit dans le Tableau 7 Le d tail des t ches pour chaque promotion suit Il faut noter que ce s minaire est con u pour tre pass en 2 ans La premi re ann e les tudiants
72. pprentissage sont aussi importants lorsque le QCM porte sur des aspects d finitionnels niveau 1 de la taxonomie de Bloom que sur des aspects d application niveau 5 de la d finition Un travail plus r cent Tractenberg Gushta Mulroney amp Weissinger 2013 montre m me qu il peut exercer les niveaux les plus lev s de la pens e critique Les QCM font ils apprendre Un avantage peu mis en avant et pourtant voqu dans la litt rature de recherche est qu il am liore l apprentissage des apprenants confront s un apprentissage et passant un test son propos ont de meilleures performances que des apprenants qui r alisent l apprentissage sans passer le test Bangert Drowns et al 1991 De nombreuses recherches ont eu pour but de valider d un point de vue cognitif la passation de QCM aupr s d apprenants Roediger et Butler 2011 en font une synth se int ressante Le r sultat le plus frappant est de montrer que contrairement ce qui est commun ment pens le simple fait d exposer des apprenants un test leur fait apprendre un peu plus le mat riel Ces auteurs ont r alis une exp rimentation Butler amp Roediger 2008 dans laquelle des apprenants devaient tudier un mat riel apprendre un cours d histoire sur les Khmers Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 19 rouges puis taient confront s un test de compr hension final Puis ils taient r
73. quoi la r ponse incorrecte est fausse ou la r ponse correcte est juste Ce feedback ne recourt pas une analyse des erreurs Elabor sous forme d indications ou signaux Feedback labor guidant l apprenant dans la bonne direction p ex indications sur la strat gie a utiliser ensuite exemple r solu d monstration Evite explicitement de pr senter la r ponse correcte Elabor centr sur les erreurs ou Feedback labor qui n cessite une analyse et un diagnostic des erreurs possibles Il donne l apprenant des informations sur ses erreurs ou compr hensions erron es p compr hensions ex ce qui est faux et pourquoi erron es Informatif Le feedback le plus labor d apr s Narciss amp Huth 2004 est un composite de feedback de v rification indications et indications strat giques sur la mani re de proc der TP En reprenant le contenu du Tableau 3 ci dessus et en prenant un contenu de cours et une question propos de ce dernier essayez formuler un feedback de ce cours selon 3 ou 4 diff rentes formes Voir plus loin Lire le rapport de Lemercier et al 2001 accessible a http edutice archives ouvertes fr docs 00 00 16 38 PDF EXTricot pdf Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 14 2 partie Les questionnaires choix multiple La deuxi me partie de ce cours pr sente quelques l ments de la recherche
74. re 23 Rendre la formulation des choix homog ne en contenu et en structure grammaticale 24 Rendre la longueur des phrases des choix peu pr s gale 25 La formule aucun des choix ci dessus doit tre utilis e avec pr caution 26 Eviter la formule tous les choix ci dessus 27 Eviter la formule tous les choix ci dessus 28 Formuler les phrases positivement Evitez les n gations telles que pas 29 Eviter de donner des indices menant la bonne r ponse tels que les suivants a Ne pas utiliser des adverbes tels que toujours jamais absolument b Ne pas faire des associations par la prononciation ou par des mots se ressemblant c Ne pas faire d incoh rences grammaticales qui orientent vers la r ponse correcte d Ne pas crire de r ponses correctes trop voyantes e Ne pas crire des paires ou triplets d options qui orientent vers la r ponse correcte f Ne pas crire de r ponses visiblement absurdes ou ridicules 30 Rendre plausibles toutes les r ponses distractrices 31 Utiliser les erreurs typiques des apprenants pour crire les r ponses distractrices Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 24 32 Utiliser l humour seulement s il est compatible avec les pratiques de l enseignant et l environnement d apprentissage Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 25 9 Construire un cours ave
75. rs Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 48 Sauf avis contraire de l enseignant les diff rents cours QCM produits sur eXe Learning seront install s sur un site public du MARDIF et pourront tre librement consult s la cl ture du s minaire soit courant juin 2014 A cette fin chaque tudiant une fois son cours enti rement con u sur eXe Learning devra r aliser la proc dure suivante D p t du cours et du formulaire sur l espace de d p t du site MARDIF correspondant la promotion de l tudiant 1 Le cours QCM tant ouvert ex cuter le menu File gt Export gt Web Site gt Zip File Cela enregistre une version compress e du site du cours dans le format XHTML 2 D poser sur l espace de d p t appropri du s minaire celui de votre promotion les fichiers suivants a Le formulaire rempli et sign d autorisation de publication du cours Si vous n acceptez pas que votre cours soit port sur le site veuillez pr venir l enseignant du cours qui vous indiquera la proc dure alternative b Le fichier compress obtenu par l tape 1 c Le fichier source du cours obtenu en faisant File gt Save As de suffixe lp 3 Envoyer un courriel l enseignant pour le pr venir du d p t Les crit res d valuation suivants seront pris en compte dans l valuation du cours qualit du contenu du cours de fond et de forme qualit du lien entre co
76. s tests psychologiques 2 Faire une revue technique des diff rents outils de cr ation de QCM disponibles et leurs avantages et inconv nients 3 Comparaison de l effet sur l apprentissage de notions d un QCM classique et d un QCM Assertion raison 4 Effet de la passation d un QCM sur l apprentissage de notions dans la lign e des travaux de Roediger 5 Les effets du feedback sur la motivation Georges amp Pansu 2011 Pour en savoir plus sur la cr ation de QCM en fran ais Le cours d Osman 2011 est disponible http oer avu org handle 123456789 228 Le document d Audet 2011 est disponible a http dev refad ca evaluation_en_ligne pdf Pour en savoir plus sur la cr ation de QCM en anglais L ouvrage de r f rence est celui d Haladyna 2004 Quelques autres tutoriels de qualit Le blog de Focal Works Section 1 http focalworks in articles creating mcqs part i ask right question Section 2 http focalworks in articles creating mcqs part ii make right choice Section 3 http focalworks in articles creating mcqs part iii alternative types multiple choice questions Cheung et Bucat 2002 accessible a http www3 fed cuhk edu hk chemistry files constructMC pdf Rodriguez 1997 accessible a http www edmeasurement net aera papers artandscience pdf Touchie s d accessible http www mcc ca pdf MCQ_ Guidelines_e pdf Les guides de cr ation d items de
77. se ne peut se faire que pour un nombre suffisamment important d l ves Haladyna mentionne le nombre minimal de 20 tout en consid rant qu un petit effectif en comprend moins de 200 Tout calcul r alis sur des chantillons de moins de 20 l ves est donc prendre avec la plus grande pr caution Ensuite les indices dont nous pr conisons le calcul ci apr s sont d pendants du niveau des l ves ou tudiants qui passent le test Cela signifie qu ils ne permettent pas un calcul resp Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 36 de la difficult et du pouvoir discriminant des items dans l absolu mais li au niveau des l ves y r pondant Il est donc tout fait possible qu un item d tect pour une passation et un groupe d l ves comme difficile soit analys comme plus facile avec un autre groupe et vice versa L aussi le jugement de l enseignant pr vaut Etudions plus en d tail ces indices Pour les calculer un simple tableur convient LibreOffice OpenOffice ou MS Excel peut tre utilis pour les calculs ci dessous et les formules sont la port e de tout utilisateur averti Le lecteur trouvera plus de d tails dans une sous section venir propos d un fichier tableur que nous avons cr cet effet La feuille CITAS Classical Item and Test Analysis Spreadsheet disponible gratuitement pour MS Excel et OpenOffice a http www assess com xcart product
78. suivent les activit s de la 2 colonne et la deuxi me ann e celles de la 3 Tableau 7 Chronologie des t ches du s minaire TICE avril 2014 Dates Butoir 1 avril 2014 Activit s Promotion Henri Wallon Activit s Promotion Houssaye Wallet D marrage du s minaire D marrage du s minaire Questions formul es Activit 1 Lecture du cours 1 et Activit 1 Lecture du cours Section le plus t t possible et avant le 14 avril 2014 12 00 CEST d marrer au plus t t 30 avril 2014 2 partie sauf section 10 installation du logiciel eXe Learning voir Section 9 et formulation de questions Activit 2 Construction et d p t du cours QCM cr avec le logiciel eXe Learning dans l espace de d p t correspondant Henri Wallon Cl ture du s minaire 10 organisation de la passation et formulation de questions Activit 2 R alisation de la passation et analyse des r sultats R daction d un bref rapport D p t du rapport dans l espace de d p t correspondant Houssaye Wallet Cl ture du s minaire Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 47 D tail des activit s par promotion A 1 ann e promotion Henri Wallon Sont d crites ici les t ches des tudiants qui d butent ce s minaire TICE et qui n ont donc pas encore eu r aliser de cours QCM avec eXe Learning l ann e pr c dente Activit 1 voir Tableau 7 pour l
79. t valuation de textes construction cognitifs de connaissances Ce tableau ne couvre bien videmment pas toutes les t ches d apprentissage ou valuatives possibles bien qu il en soit un utile r capitulatif Il alerte le lecteur sur un point important toute activit d enseignement comprend m me de mani re non intentionnelle la mention des principes ducatifs qui ont pu pr sider sa conception voir Dessus 2000 pour une discussion de cet argument TP Choisissez l une des t ches ci dessus et d crivez en une mise en uvre dans une situation d enseignement apprentissage de votre choix Int ressez vous particuli rement aux processus cognitifs des apprenants et r fl chissez la mani re d assister par informatique cette activit pour qu elle soit utilis e dans un contexte d enseignement distance Voir plus loin L article de Basque et Lundgren Kayrol 2002 accessible en preprint http tecfa unige ch tecfa teaching riat140 0304 typologies pdf est une bonne vue d ensemble des diff rentes typologies d usage des TICE Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 9 2 Les r troactions par informatique Quelques phases principales Les diff rentes phases d un feedback pour l apprentissage L informatique par le biais de nombreux logiciels procure l apprenant de tr s nombreux moyens d apprendre et de tr s nombreux types d interactions d
80. t QCM Grenoble GRECO les dossiers th matiques du projet GRECO Shute V J 2008 Focus on formative feedback Review of Educational Research 78 1 153 189 Touchie Claire s d Guidelines for the development of multiple choice questions Ottawa Medical Council of Canada Tractenberg R E Gushta M M Mulroney S E amp Weissinger P A 2013 Multiple choice questions can be designed or revised to challenge learners critical thinking Advances in Health Sciences Education 18 5 945 961 Trausan Matu S Dessus P Lemaire B Mandin S Villiot Leclercq E Rebedea T Zampa V 2008 Deliverable D5 1 LTfLL Support and feedback design Heerlen OUNL Research report of the LTfLL Project Williams Jeremy B 2006 Assertion reason multiple choice testing as a tool for deep learning a qualitative analysis Assessment amp Evaluation in Higher Education 31 3 287 301
81. t a priori pendant que l enseignant construit son QCM et avant que ses l ves le passent Il y a un autre moyen a posteriori d am liorer la qualit de chaque item que nous allons voir ici Crisp et Palmer 2007 ont montr que les enseignants du sup rieur dans leur article taient insuffisamment form s aux techniques d analyse statistique des QCM qu ils pouvaient faire passer leurs l ves ils ne calculent en effet en majorit que la moyenne et la m diane des r sultats et qu une simple batterie de tests statistiques pouvait leur permettre notamment d am liorer la qualit de ces derniers Comme le signale Haladyna 2004 avec un certain humour il existe des r gularit s dans les r ponses des apprenants aux QCM r gularit s que peuvent donc capturer des tests les l ves avec de hauts niveaux de connaissance ou habilet tendent choisir la bonne r ponse et les l ves avec de bas niveaux de connaissance ou habilet tendent choisir la mauvaise id p 203 Cette section vise donner quelques indications pour l analyse a posteriori des r sultats du questionnaire Une fois le questionnaire pass aupr s d apprenants il est n cessaire d analyser de plus pr s les r ponses afin de se faire une id e du niveau de connaissances des personnes l ayant pass en analysant apprenant par apprenant et question par question leur r ussite ou chec redistribuer l ordr
82. t me parvenir et comment vais je les analyser Le cas ch ant si votre niveau en informatique est suffisant utilisez Oppia pour convertir une partie du cours Activit 2 Passation collecte et analyse des donn es voir Tableau 7 pour la date butoir Note dans la mesure du possible il est conseill de ne pas attendre la fin de l activit 1 pour d marrer l activit 2 Les deux activit s peuvent se mener en parall le notamment la passation du questionnaire qui peut prendre du temps L activit 2 est compos e des sous t ches suivantes faire passer le questionnaire aux 20 participants Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 50 r cup rer les donn es de r sultats et les placer dans un fichier tableur a des fins d analyse le fichier tableur est disponible sur le site de l atelier et galement http webu2 upmf grenoble fr sciedu pdessus cours tabQCM xls Le cas ch ant il faudra penser augmenter les lignes et colonnes pour faire correspondre le tableau avec le nombre de vos participants des items et du nombre de r ponses des items r cup rer calculer les diff rents indices P ou B et JD et analyser les items comme indiqu dans la section 10 consid rer la suppression ou la reformulation de certains items selon les r sultats de l analyse r diger un bref document 4 p maximum qui sera ensuite mis en format PDF et
83. t vraie ou fausse Dans le cas o les deux sont vraies et seulement dans ce cas l l apprenant d termine ensuite en r pondant une deuxi me question si la raison donn e est bien une explication correcte de l assertion Pour chaque couple d assertion raison cela fait donc 5 r ponses possibles A est l assertion R la raison A et R sont vraies et R est l explication correcte de A A et R sont vraies et R n est pas l explication correcte de A A est vraie et R est fausse de ER a A est fausse et R est vraie 5 AetR sont fausses Voici un exemple d assertion raison et la r ponse Tableau 4 Un exemple de question Assertion raison et sa solution Assertion Raison Les responsables de la centrale de Tchernobyl ont Le r acteur s est trouv en sous puissance un r alis un exercice pour prouver qu on pouvait bref temps et dans une grande instabilit ce qui relancer la centrale avec des g n rateurs diesel la a provoqu une explosion Il aurait d tre suite d une panne totale du r seau lectrique ce qui refroidi plusieurs jours pour que l iode et le a d clench la catastrophe x non se d sint grent R ponse A V R V Rest l explication de A soit la r ponse 1 source http fr wikipedia org wiki Catastrophe_de_Tchernobyl acc d e le 7 avril 2011 TP Construisez sur papier un item de test de type assertion raison Voir plus loin I
84. tion L tude des r troactions 4 donner aux apprenants est un vaste et ancien probl me qui n a pas attendu l arriv e de l informatique Ces r troactions interviennent plusieurs niveaux Enard 1970 dans le guidage de l activit de l l ve lorsque les r troactions se situent pendant l activit dans la connaissance valuative de sa performance Les activit s d valuation comme celles de production voir la section pr c dente pouvant tre assist es par informatique sont tr s nombreuses mais d pendent du type de p dagogie mise en uvre par l enseignant Erstad 2008 Dans une perspective behavioriste l essentiel est que l l ve s exerce avec de nombreux probl mes r p titifs et les r ussisse selon des crit res bien d finis Des questionnaires choix multiple ou bien des tests associant questions et r ponses sont dans cette perspective Dans une perspective constructiviste l l ve est vu comme plus actif r alisant des activit s de haut niveau r daction de textes libres construction de portfolios dans des contextes authentiques p ex projets enqu tes et r fl chissant ses performances La majorit des logiciels existants s ins rent beaucoup mieux dans une p dagogie behavioriste principalement parce que le type de retours r troactions donn s par ordinateur correspondent bien ses principes voir Tableau 1 bien qu il existe de plus en plus de log
85. une personne test e partir de laquelle un construit psychologique donn connaissance habilet pr disposition trait peut tre inf r La r ponse fait l objet d un score interm diaire 0 en cas de mauvaise r ponse 1 en cas de bonne r ponse et les valeurs interm diaires sont agr g es pour obtenir un score global De plus avant les questions et r ponses un bref descriptif du contexte peut tre ajout Plus pr cis ment un item de question choix multiple comporte une amorce question la r ponse correcte des r ponses distractrices Haladyna 2004 signale que la question doit donner une id e en elle m me du type de connaissance s lectionner La r ponse correcte pas n cessairement une phrase mais aussi un symbole un diagramme etc doit l tre indiscutablement Les distracteurs par contraste doivent tre indiscutablement des r ponses erron es mais la fois plausibles et difficilement devinables ce qui est plus co teux d terminer pour l enseignant concepteur La question de la devinabilit des items est importante voir Hanna amp Oaster 1978 pour une synth se En effet un QCM qui n am ne pas de traitement particulier l l ve aura une r ponse plus devinable avec du bon sens ou le simple lien entre la question et la r ponse qu un QCM qui am ne r aliser un traitement particulier p ex calcul r flexion Dans ce dernier cas les l
86. urs et QCM qualit de r daction des QCM conformes aux prescriptions de ce cours qualit du feedback donn en retour en cas de bonne ou mauvaise r ponse B 2 ann e promotion Houssaye Wallet Sont d crites ici les t ches des tudiants qui ont d j l ann e pass e con u et r alis les activit s mentionn es ci dessus Elles se partagent galement en deux activit s Activit 1 Prise de connaissance et peaufinage du test voir Tableau 7 pour la date butoir lire tr s attentivement la section 10 de ce document pour comprendre de pr s de quelle mani re on calcule diff rents indices li s au QCM Parcourir nouveau le document la recherche des principales mises jour paragraphes avec une fine bordure noire droite retrouvez dans vos archives le cours QCM que vous avez con u l ann e pr c dente et relisez le attentivement notamment pour vous le remettre en t te Eventuellement ajoutez ou supprimez quelques questions pour une meilleure coh rence des diff rents items En effet voir section 10 de ce document l utilisation d indices statistiques suppose que les diff rents items mesurent la m me dimension connaissance comp tence s assurer que le nombre de questions de type QCM c a d une question amorce un choix de r ponses est au moins gal a 6 S assurer de plus que chaque item comporte le m me nombre de choix pour rendre l analyse plus ais e Cela
87. us voir section suivante Ce tri fin item par item peut conduire au rejet d un item particulier mais aussi la s lection d items qui pourront tre r utilis s lors d examens suivants La gestion r guli re de QCM am ne l enseignant s il veut gagner du temps dans la s lection de questions les enregistrer dans une base de donn es Des logiciels sp cifiques existent p ex http fr wikipedia org wiki Logiciel de questionnaire C3 A0 choix multiples mais un simple logiciel de base de donn es peut tr s bien convenir Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 42 11 Pour aller encore un peu plus loin Le champ de la recherche sur les r troactions automatiques est tr s actif Les lectures suivantes pourront permettre au lecteur d aller plus loin sur le sujet Les ouvrages de Demaizi re 1986 et Depover 1987 bien qu anciens permettront une bonne initiation ce champ Les ouvrages de Laveault et Gr goire 2002 et de Bernier 1985 initieront le lecteur sur la th orie statistique des tests Tous les sites internet ci dessous sont disponibles au 15 avril 2012 mais il est possible que des liens soient cass s a la date de consultation Pour r fl chir a des sujets de recherche Voici quelques sujets de recherche que l on peut mener dans le domaine du feedback automatique li aux QCM 1 Recherche historique sur les QCM en France notamment dans le
88. vez vous pencher sur l Exploration Villes de France Cat gorie Geography qui contient l ensemble des N uds d crits plus bas Vous pouvez l diter mode contribute ou la cloner pour comprendre en d tail comment elle fonctionne 4 Trouver ensuite une Exploration dont la structure est assez proche de ce que vous comptez faire Villes de France ou une autre Passez en mode cr ation https www oppia org contribute et clonez la il sera n cessaire de vous cr er un compte Google pour cela Cela cr e une copie priv e de l Exploration que vous pouvez modifier pour l adapter votre contenu et besoins Vous pourrez ult rieurement la rendre publique apr s demande aux gestionnaires du site Notez que la cr ation d une Exploration sans clonage permet de la rendre publique sans demande pr alable Une premi re Exploration Toute Exploration est compos e d une suite de N uds d tat State Nodes d sormais N uds dont on peut d finir finement l encha nement et les interactions Tout N ud comprend les l ments suivants les noms des variables parameters qui sont utilis s dans le N ud pouvant provenir de N uds pr c dents voir le passage du pr nom de l apprenant dans l Exploration d crite ci dessous un contenu content texte image ou vid o informative ou encore question Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 29 une
89. z Pro http www ccdmd qe ca catalogue netquiz pro 4 section block_6 RealQuest http www neoptec com fr produits realquest presentation php Xerte http www nottingham ac uk xerte index aspx De tr s nombreux outils Web 2 0 sont galement disponibles attention a bien lire les conditions l gales du site avant de cr er son QCM dont les suivants Blubbr Quizzes avec YouTube http www blubbr tv index php Capira ins re des questions autocorrig es dans des vid os http capira42 appspot com Fiftysneakers http fiftysneakers com Flubaroo http www flubaroo com FunTrivia http www funtrivia com GoSoapBox http www gosoapbox com LearningApps http learningapps org LimeSurvey Open Source et n cessite PHP http www limesurvey org fr One Extra Lap http oneextralap com Kahoot https getkahoot com Qedoc http www gedoc org en index php title Main_ Page Questar http questar free fr Quizlet http quizlet com QuizPoint http www learningware com quizpoint html QuizPress payant http www solrobots com quizpress index html QuizRevolution http www quizrevolution com QwickSurveys http kwiksurveys com SmarterMarks http smartermarks com home Quelques sites qui r pertorient et ou recensent des outils de construction de QCM Cours MARDIF 2013 14 sous licence CC 3 0 BY NC SA Ph Dessus Grenoble 44 htt

Evaluer l`apprentissage par ordinateur : Tâches et rétroactions

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluer l`apprentissage par ordinateur : T&acirc;ches et r&eacute;troactions

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluer l`apprentissage par ordinateur : Tâches et rétroactions