QCM : mode d`emploi
Contents
1. Logical order Example Numerical 1939 1940 1941 1942 Alphabetical Changing a from 01 to 05 Decreasing the degrees of freedom Increasing the spread of the exam scores Reducing the size of the treatment effect Sequential Heating ice from 100 C to 0 C Melting ice at 0 C c Heating water from 0 C to 100 C Evaporating water at 100 C Heating steam from 100 C to 200 C Research Numerous studies indicate that items are easier when this guideline is violated Haladyna amp Downing 1989b La place de la r ponse correcte devrait varier entre A B C et D Des recherches ont cependant montr que les places B et C taient les plus utilis es McKeachie Les tudiants aux faits de ces donn es vont choisir B ou C dans les cas o ils ne connaissent pas la bonne r ponse augmentant ainsi leur chance de r ussite Analyser les r ponses Une fois le test pass il est important d effectuer une analyse des items du test pour d terminer l efficacit du QCM Il existe des logiciels de QCM disponibles sur internet qui permettent de calculer des statistiques pour chaque question en fonction de la difficult de l item sa discrimination et la fr quence des r ponses pour chaque option Ce type d analyse vous donne les informations n cessaires pour am liorer la validit et la fiabilit de vos QCM et estimer l intensit des ressources co t du temps de construction des2. CA chapter 30 1993 Downing SM Baranowski RA Grosso LJ Norcini JJ Item type and cognitive ability measured the validity vidence for multiple true false items in m dical speialty certification Appl Meas Educ 1995 8 189 199 Eurich AC Four types of examination J Educ Psychology 1931 22 268 78 Gronlund NE Assessment of student achievement Boston MA Allyn and bacon 1998 13 Haladyna TM Downing SM Rodriguez MC A review of multiple choice item writing guidelines Applied Meas Educ 2002 15 309 333 Horgan J Principes communs pour valuer les r sultats cognitifs de la formation Service de technologie de l ducation Universit de Li ge Belgique Commission des communaut s Europ enne 1991 Jozefowicz RF Koeppen BM Case S Galbraith R Swanson D Glew H The quality of in house m dical school examinations Acad Med 2002 77 156 161 Kemp JE Morrison GR Ross SM Developing valuation instruments In Designing Effective Instruction New York NY macMillan College Publishing Company 1994 180 213 Kent TH Jones JJ Scmeiser CB Some rules and guidelines for writing multiple choice test items Iowa city University of lowa College of Medicine and American Testing Program 1974 Leclercq D La conception des QCM Bruxelles Labor 1986 Lowman J Mastering the techniques of teaching San Francisco Jossey Bass 1984 McCoubrie Improving the fairness of multiple choice questions a li
3. suffire elle m me et les items doivent tre ind pendants Eviter de poser des items qui d pendent de conna tre les r ponses aux autres questions V rifier que l information donn e par certains items ne donne pas des indices pour r pondre d autres Eviter les termes absolus comme toujours jamais tous syst matiquement ou aucun dans l nonc et les r ponses Eviter les termes impr cis comme peut pourrait et les termes rarement parfois occasionnellement peu beaucoup Eviter les ponymes acronymes et abr viations sans les renseigner Les tudiants peuvent ne pas tre familiers avec certains termes De plus ce genre de terme peut avoir plus d une signification La fiabilit ou pouvoir discriminant d un QCM est bas sur la qualit et l attractivit des distracteurs Ecrire l Enonc L nonc d un QCM pose un probl me ou formule une question I peut comporter un mot une phrase une courte histoire clinique ou une iconographie La r gle de base est que l tudiant doit tre capable de comprendre la question d s la premi re lecture et sans avoir lire les diff rentes propositions de r ponse La qualit des consignes conditionne la validit des r sultats L nonc type de QCM doit tre pr cis pr ciser 1 ou plusieurs r ponses correctes Le probl me pos doit tre simple
4. tiroir o Garder la m me construction grammaticale que l nonc o N exprimer qu une seule notion par option o Pr f rer une seule bonne r ponse par item o La bonne r ponse doit tre irr futable o Garder une homog n it de r daction de la bonne r ponse et des distracteurs en terme de style grammatical longueur et complexit o R diger des distracteurs plausibles mais incontestablement faux o Eviter les termes toutes les autres r ponses et aucune des autres r ponses o Les options doivent tre ind pendantes et ne doivent pas se chevaucher o Ecrire les options en ordre logique num rique chronologique ce qui fait varier la position de la bonne r ponse 17 Table 3 Avantages et Inconv nients Avantages Permet d valuer un grand nombre d tudiants Versatilit ils peuvent tester de nombreux sujets et a des niveaux d objectifs ducationnels diff rents Burton Collins CTL Kemp Pagonis Woodford tels que tester les capacit s de l tudiant analyser un ph nom ne appliquer un principe de nouvelles situations comprendre des concepts et des principes discriminer les faits et les opinions interpr ter la relation cause effet interpr ter des graphiques juger la pertinence d une information mettre des d ductions partir de donn es r soudre des probl mes Validit repr sentatif de l acquisition d un grand nombre de con
5. 1 mettre entre presque toutes les mains Introduction La naissance des QCM daterait d il y a a peu pr s 80 ans et est attribu e a un psychom tricien am ricain A C Eurich Eurich qui proposait de remplacer dans certains cas les questions r dactionnelles ouvertes par des questions a r ponse ferm e Les QCM sont un outil d valuation qui peut tre utilis pour une valuation diagnostique en amont d une formation formative en cours de formation ou sommative en fin de formation Ils sont maintenant largement utilis s dans l enseignement sup rieur essentiellement pour des valuations sommatives Pourtant leur r putation aupr s des enseignants est mitig e et ils les consid rent par nature comme inf rieurs aux questions ouvertes Les tudiants qui rencontrent des QCM mal formul s les consid rent comme d routant et r ducteurs Depuis l apparition des questions a r ponse ferm e dont les QCM sont le mod le de base on assiste en effet au d bat des partisans des questions r ponse ouverte versus ferm e dont les avantages et inconv nients sont souvent oppos s Beaucoup d enseignants pensent que les QCM sont adapt s pour tester des informations factuelles alors que les questions ouvertes testeraient des connaissances d un plus haut niveau cognitif Cette critique l encontre des QCM est plus souvent attribuer un d faut de construction des items qui le constituent plut t qu leur
6. D b 2C c 3B d 4A 20 5 Question illustr e simple ou multiple fait appel a une illustration un sch ma un document sonore ou vid o Quelle est la localisation de la l sion visible sur le scanner c r bral ci dessous a Angle Ponto cerebelleux b H misph re c r bral c Tronc c r bral d Vermis c r belleux Annexe 3 Formuler des nonc s avec des phrases compl tes Question avec phrase compl ter Un h matome extra dural Question directe et compl te Laquelle des propositions suivantes caract rise un h matome extra dural au scanner 21 Annexe 4 L nonc doit contenir toute l information utile et viter de r p ter la m me phrase dans chaque option Laquelle des options suivantes peut diminuer la dose d irradiation par A B C D diviser 1 mA par 1 4 diviser 1 mA par 1 3 diviser 1 mA par 1 2 diviser 1 mA par 3 4 Par combien doit on diviser un mA pour diminuer la dose d irradiation de A B A 1 3 FA A Annexe 5 Les items peuvent mesurer diff rents niveaux de connaissance Item mesurant le rappel de connaissance d apr s Collins Laquelle des propositions suivantes repr sente une maladie chronique plus de 3 mois sur une radiographie pulmonaire A Pneumonie streptocoque Syndr me de d tresse respiratoire d me pulmonaire Prot inose alv olaire pulmonaire Ite
7. P Welsh AL and Hansen WL Eds Resource manual for teacher training programs in economics New York Joint Council on Economic Education 1978 191 228 14 Woodford K Bancroft P Using multiple choice questions effectively in information technology ducation In R Atkinson C MacBeath D Jonas Dwyer and R Philips Eds Beyond the comfort zone Proceedings of the 21st ascilite Conference 2004 948 955 Zimmaro DM Writing Good Multiple choice exams Measurement and Evaluation center Austin 2004 15 Tables et Annexes Dans les annexes les formulations incorrectes des exemples de QCM sont inscrites en italique alors que les bonnes formulations sont soulign es Table 1 Exemples d objectifs et QCM pour 3 niveaux diff rents de connaissances d apr s Collins Niveau Objectif Item Connaissance l tudiant doit faire appel sa m moire Conna tre la dose d irradiation d un scanner pulmonaire Quelle est la dose d irradiation moyenne d un scanner pulmonaire A 1mSv B 8 mSv C 16 mSv D 24 mSv Compr hension et Application l tudiant doit d montrer qu il sait utiliser une information appliquer des m thodes et des concepts une autre situation Comparer les doses d irradiation de diff rents examens radiologiques Lequel des examens radiologique suivant est associ la plus grande dose d irradiation A Scanner thoraco abdominal B Scanner des art re
8. UAND LA MAREE DESCEND TRES Ti VIE ON EUT WIR IXIAS LE MONT HINTHAICHEL DAVRA FAUX QHCEST LOUCHE Guide de r daction des QCM Les diff rents composants d un QCM ont des noms particuliers Un item constitue une unit compos d un nonc et des diff rentes options de r ponse L nonc amorce ou tronc est une question ou une d claration Les r ponses sont appel es alternatives options ou choix La bonne option est appel e r ponse correcte et les options incorrectes distracteurs I existe plusieurs types de QCM dont les plus fr quents sont donn es en exemple dans l annexe 2 D apr s le guide de r daction du Center Teaching and Learning CTL il est recommand d crire quelques questions apr s chaque cours quand tout est encore fraichement inscrit dans votre m moire l examen sera ainsi un meilleur reflet des points acquis sur lesquels vous avez insist Le principe de base de l criture d un QCM est relativement simple la question doit tre formul e de fa on ce que les tudiants dou s pour les tests ne soient pas favoris s et que ceux qui le sont moins ne soient pas p nalis s Le guide de r daction qui suit est fait pour crire des QCM qui mesure les connaissances plut t que les comp tences pour r pondre des tests G n ralit s Construire chaque item pour ne r pondre qu un seul objectif bien identifi Chaque question doit se
9. alleux D Und placement du tronc c r bral 23 Annexe 8 Eviter les chevauchements d options Item avec chevauchement d options Dans quelle gamme se situe la Pression IntraCr nienne normale 5 10 cm d eau A B 10 15 cm d eau C 15 20 cm d eau D 20 25 cm d eau Item sans chevauchement d options Dans quelle gamme se situe la Pression IntraCr nienne normale A 4 9 cm d eau B 10 15 cm d eau C 16 20 cm d eau D 21 26 cm d eau Annexe 9 Eviter d utiliser toutes les autres r ponses et aucune des autres r ponses Comme il soulign par Burton l utilisation de ces termes peut diminuer la fiabilit d un test qu ils constituent la bonne r ponse ou les distracteurs surtout quand on utilise aucune des autres r ponses Can be identified by noting that two of the other Answer alternatives are correct All of the above Can be eliminated by noting that one of the other Distractor ae alternatives is incorrect Measures the ability to recognize incorrect answers rather than correct answers Answer None of the above Does not appear plausible to some students Distractor ppear p Research While research on the use of all of the above is not conclusive the use of none of the above has been found in several studies to decrease item discrimination and test score reliability Haladyna amp D
10. ce que l enseignant avait en t te en crivant l item Burton Les r gles de base pour crire les questions sont 1 l tudiant doit pouvoir s lectionner le bon item sans avoir s occuper de complexit s qui n ont rien voir avec la connaissance de la bonne r ponse 2 l tudiant ne doit pas pouvoir deviner la bonne r ponse en fonction de la fa on dont elle est r dig e Ecrire la bonne r ponse en premier apr s avoir crit l nonc en s assurant qu il s agit incontestablement de la bonne r ponse Dans le cas o il s agirait de la meilleure r ponse possible s assurer que des experts seraient d accord pour que ce soit la meilleure r ponse possible Ecrire les distracteurs de la m me fa on que la r ponse correcte en longueur complexit formulation style et contenu annexe 7 L criture de distracteurs plausibles est un exercice difficile Le meilleur distracteur est une d claration exacte mais qui ne remplit pas toutes les conditions du probl me ou une d claration incorrecte qui para t juste pour l tudiant Davis On peut augmenter la vraisemblance d un distracteur en y incluant des informations superflues ou en basant les distracteurs sur des erreurs logiques ou courantes en vitant d utiliser des termes non familiers pour les tudiants Collins Chaque proposition ne doit contenir qu une notion Deux propositions ne peuvent ni tre mutuellement exclusives ni in
11. e l objectif tester Les QCM sont souvent avantageux a utiliser mais pas dans toute les circonstances C est un outil particuli rement adapt pour valuer les connaissances fondamentales savoir Les tests de concordance de script seront parfois plus adapt s pour valuer le raisonnement encore que savoir comment et l observation directe pour valuer le comportement savoir tre En g n ral les QCM sont appropri s quand la r alisation d un objectif d ducation peut tre mesur par la s lection d une r ponse correcte parmi plusieurs alternatives Burton Par exemple o sila r alisation d un objectif d ducation peut tre mieux mesur par une r ponse fournie par l tudiant un QROC ou une question r dactionnelle seront pr f r es o sila r alisation d un objectif d ducation peut tre mieux mesur par une preuve pratique un test de performance doit tre pr f r Les QCM sont des outils de recueil de l information qui peuvent tre utilis s pour valuer les tudiants plusieurs niveaux Evaluation diagnostique en amont d une formation Les QCM permettent d estimer le niveau de connaissance des tudiants ce qui permet d adapter les cours Evaluation formative en cours de formation Il est recommand de fournir des solutions comment es pour chaque item permettant l tudiant une auto valuation et une pr paration aux examens Evaluation sommative
12. eaux cognitifs auxquels l tudiant doit faire appel Cette d marche para t essentielle pour formuler des QCM haut niveau de validit et fiabilit Le QCM doit tester les connaissances de m me niveau que l objectif qui est valu Table 1 exemple de QCM et objectif pour chaque niveau de connaissance Validit et Fiabilit Les 2 plus importantes caract ristiques d un test de connaissances sont sa validit et sa fiabilit La validit d un test est sa capacit a tester les connaissances et comp tences que l tudiant tait sens acqu rir durant la formation La fiabilit est la capacit a discriminer de fa on consistante des tudiants de niveaux diff rents Un QCM bien r dig est en g n ral plus valide et fiable qu une question r dactionnelle car 1 il teste des connaissances plus larges 2 la discrimination entre les diff rents niveaux de connaissances est plus facile d terminer et 3 la coh rence de la notation est en th orie garantie CTL La validit d un QCM est bas e sur une s lection syst matique des items en prenant en compte la fois le contenu fond ou tendue des connaissances et le niveau cognitif des connaissances Les enseignants ont plut t tendance tester le contenu et n gliger le niveau de la question choisie De plus les QCM qui ne font appel qu la m moire ou la reconnaissance sont les fr quents car les plus faciles r diger rue BS G
13. en fin de formation Il s agit de valider les acquis cognitifs m thodologiques et techniques en posant des questions centr es sur les objectifs qui ont fait l objet d un apprentissage pr alable Il a t propos d utiliser des QCM modifi s pour les int grer aux Solutions G n rales Implicites SGI On peut par exemple introduire des absurdit s dan l nonc ne fournir pas assez d information r diger des questions ou toutes les r ponses sont vraies ou bien o toutes les r ponses sont fausses Bien s r l tudiant doit tre averti de ces ventualit s Cela permet d valuer un niveau cognitif plus lev appel la vigilance cognitive Horgan Leclercq 19 Annexe 2 Les diff rents types de QCM 1 2 3 R ponse Binaire vrai faux oui non Les hommes ont ils un cerveau a Oui b non QCM a choix simple ou r ponse unique De quelle universit fait partie l h pital Necker a Paris 5 b Paris 6 c Paris 7 d Paris 11 QCM a choix libre ou r ponses multiples Quels sont les CHU faisant partie de l Universit Paris Descartes a Cochin b Necker c Piti Salp tri re d Sainte Anne Les appariements ou associations Quelles sont les services correspondant aux CHU suivants 1 Cardiologie adulte A Cochin 2 Neurochirurgie adulte B Necker 3 Neurochirurgie C Piti Salp tri re P diatrique D Sainte Anne 4 Psychiatrie adulte a 1
14. et unique les questions directes tant les meilleures L nonc peut comprendre un graphe un diagramme ou des examens radiologiques mais doit toujours tre accompagn d une phrase compl te plut t que d une proposition compl ter annexe 3 Il a t montr en effet qu une phrase incompl te diminue le taux de bonne r ponse des l ves de 10 15 Kent Parfois un nonc incomplet peut tre n cessaire pour viter un langage alambiqu ou des phrases trop compliqu es mais cela doit rester exceptionnel L nonc doit tre bref vitant les propos prolixes et doit contenir toute l information et seulement l information pertinente pour pouvoir r pondre correctement la question annexe 4 Il convient de veiller l univocit le mot garde le m me sens dans des emplois diff rents la pr cision le terme ne laisse place aucune ind cision la simplicit le niveau de langage correspond celui des l ves et l honn tet on vitera d introduire des notions non connues Bonnefon On consid re qu un tudiant doit pouvoir r pondre 1 2 QCM par minute Lowman Srinivasa Tout en restant bref les questions testant un plus haut niveau cognitif sont souvent plus longues que les autres R diger des QCM qui mesurent les hauts niveaux cognitifs est difficile mettre en place pour de nombreux l ves sans y consacrer beaucoup de temps Dans de telles questions d valuation une sit
15. fs peuvent tre crits sous forme de phrases simples l origine d un sch ma clair des connaissances qui doivent tre acquises par l tudiant La r daction des objectifs doit tenir compte du comportement de l apprenant et pas seulement du programme lui m me Les objectifs doivent d finir les connaissances les plus importantes acqu rir Les objectifs mesurables permettent d estimer le mieux si un tudiant a acquis un objectif Exemples de termes mesurables sp cifier expliquer lister identifier comparer Et de termes non mesurables savoir comprendre apprendre tre familier avec Par exemple un objectif non mesurable connaitre l aspect d un h matome extra dural sur un scanner c r bral on ne sait pas clairement comment l tudiant va pouvoir montrer qu il conna t un objectif mesurable d crire 3 caract ristiques d un h matome extra dural sur un scanner c r bral on voit plus clairement comment l tudiant va exposer ses connaissances le terme 3 caract ristiques indiquant un niveau de connaissance sp cifique Collins L utilisation des QCM doit tre adapt e aux objectifs que l on souhaite tester annexe 1 Copyright 1955 Randy Glasbergen wew glasbergen comm The square root of 9 is 3 A True B False C Who cares Many students actually look forward to Mr Atwadder s math tests D finir les niveaux cognitifs Les enseignant
16. ing Multiple Choice Questions Academic Psychiatry 2010 34 310 316 Bonnefon D Auteur de Questy http www questy fr Braddom CL A brief guide to writing better test questions Am J Phys Med Rehabil 1997 76 514 516 Burton SJ Sudweeks RR Merrill PF Wood B How to prepare better Multiple Choice Test Items Guidelines for University Faculty Brigham Young University Testing Service and The Department of Instructional Science 1991 Case SM Swanson DB Constructing written test questions for the basic and clinical sciences Philapdelphia PA National Board of m dical examiners 1998 Cashin WE Improving multiple choice tests Idea paper Number 16 Manhattan KS Center for faculty development and valuation Kansas State University 1987 Collins J Writing mutple choice questions for continuing m dical ducation activities and self assessment modules Cox KR Bandaranayake R How to write good multiple choice questions Med J Aust 1978 2 553 554 Crooks TJ The impact of classroom evaluation practices on students Review of educational research 1988 58 438 481 CTL Center for Teaching and Learning University of North carolina at Chapel Hill For your consideration Number 8 November 1990 Damjanov I Fenderson B A Velovski J J Rubin E Testing of m dical students with open ended uncued questions Human Pathol 1995 26 362 5 Davis BG Tools for teaching Jossey Bass Publishers San Francisco
17. ire faire ses QCM a un coll gue afin d augmenter leurs qualit s L Indice de Discrimination d un QCM se r f re la diff rence de pourcentage des r ponses correctes entre deux groupes d tudiants on se r f re en principe au top 25 et aux derniers 25 Il sert post riori mesurer la qualit des QCM et identifier les QCM probl mes c est dire ID n gatif Damjanov Il est d fini par la formule suivante 1 r ussite globale ID r ussite des recus d tudiants coll s Un ID positif signifie que les tudiants recus ont mieux r pondu que les autres et un ID n gatif que les tudiants recus ont moins bien r pondu que les autres Dans ce dernier cas discrimination n gative certains proposent d liminer la question de l examen Collins CTL Un item qui a une discrimination de 60 et plus est consid r comme tr s bon alors qu une discrimination inf rieure 19 indique que le QCM doit tre r vis Vydareny Authier a montr que lID est meilleur lorsque l nonc est plus court et les propositions plus longues Finalement en regardant la fr quence des r ponses incorrectes pour chaque question on peut d terminer si ce sont des distracteurs quivalent Si une r ponse fausse n a jamais t choisie il est recommand de r crire le QCM CTL 11 Conclusion Les QCM sont un outil d valuation des connaissances objectif et rentable largement utilis dans
18. items annexe 11 Van der Vleuten Schuwirth La difficult d un item est indiqu e par le pourcentage d tudiants qui ont r pondu correctement appel facilit de l item Etant donn que la chance de r pondre correctement par hasard est de 25 pour 4 options vous devez reformuler tout item qui atteint moins de 30 Il est recommand de chercher crire des items de niveaux de difficult s diff rents avec une moyenne de difficult d environ 50 Le but est de construire un test qui ne contient que peu d items pour lesquels plus de 90 et moins de 30 des tudiants r pondraient correctement Davis Les items sont consid r s comme peu mod r ment difficiles si 75 80 des tudiants r pondent correctement De plus si vous formulez des questions que vous trouvez particuli rement faciles ou 10 difficiles et que les r sultats ne correspondent pas a votre attente vous devez retravailler vos QCM D un autre point de vue la validit de l analyse des items existe par la bonne qualit de construction des items Des tudes ont regard l effet des d fauts de construction des items sur les r sultats des tudiants La plupart des tudes ont t faites sur 1 d faut nonc n gatif aucune des autres options Downing Josefowicz Downing a valu la validit d un test m dical contenant des d fauts I a trouv que 33 11 33 des items en contenait Il est recommand de faire lire et fa
19. l enseignement sup rieur Ils ont leurs avantages et leurs limitations comme tout outil d valuation Les critiques formul es par les enseignants et les tudiants viennent souvent d un manque de connaissance des applications de cet outil d valuation et surtout de d fauts de construction des items qui le constituent En effet les enseignants ne sont pas tous familiers avec la r daction d objectifs ducationnels mesurables et de QCM correspondant ces objectifs en fonction du niveau d apprentissage a tester Leur r daction doit suivre des r gles de bonne pratique qui ont t rappel es dans ce m moire Lorsqu ils sont bien formul s les QCM peuvent mesurer de fa on fiable valide et reproductible les connaissances la compr hension et les applications OH SUPER UN TEST ENFIN UN PEU PE CLART jii aide FAUX 1 CHAQUE PHRASE EST SOIT LA VERITE PURE ET DURE SOIT UN SOMBRE MENSONGE HONT SOIT L UN SOIT L AUTRE RIEN ENTRE LES DEUX 12 R f rences Authier Calcul de l indice de discrimination des QCM Application l valuation r trospective de cing preuves d embryologie et biologie du d veloppement de PCEM1 la facult de m decine de Cr teil Paris XII M moire de DIU de P dagogie Bloom BS Taxonomy of Educational Objectives The Classification of Educational Goals Ed Susan Fauer Company Inc 1956 201 207 Boland RJ Lester NA Williams E Writ
20. m mesurant l application des connaissances d apr s Collins Un homme de 30 ans se pr sente avec une histoire de dyspn e f bricule toux et fatigue depuis 4 mois Parmi les propositions suivantes quel est le diagnostic le plus probable A Pneumonie streptocoque Syndr me de d tresse respiratoire d me pulmonaire Prot inose alv olaire pulmonaire 22 Annexe 6 Les nonc s doivent tre formul s de fa on positive Eviter les formulations interro n gatives Est ce que Sarkozy n est pas le pr sident Enonc n gatif Parmi les propositions suivantes laquelle n est pas une caract ristique de l h matome extra dural au scanner Enonc positif Laquelle des caract ristiques radiologiques suivantes distingue un h matome extra dural d un h matome sous dural au scanner Annexe 7 Formuler les distracteurs et la r ponse correcte de la m me longueur L option B est plus longue que les distracteurs Que signifie une d viation de la ligne m diane au scanner c r bral Un d placement de la tente A B Un d placement de la faux par un processus expansif C Un d placement du corps calleux D Un d placement du tronc c r bral Toutes les options ont lam me longueur Que signifie une d viation de la ligne m diane au scanner c r bral A Und placement de la tente B Un d placement de la faux C Und placement du corps c
21. naissance Burton Collins CTL Pagonis Zimmaro Fiabilit Objectivit Reproductibilit Burton Collins CTL Pagonis Zimmaro Efficacit de correction plus simple et rapide Burton Collins CTL Pagonis Zimmaro Validation par une analyse des r ponses Inconv nients Versatilit tant donn que tudiant doit choisir une r ponse a partir d une liste d alternatives plut t que de construire lui m me une r ponse les QCM ne sont pas adapt s organiser sa pens e fournir des informations produire des id es originales donner des exemples Burton Fiabilit Les QCM sont expos s au risque de bonne r ponse au hasard On peut limiter ce facteur en augmentant le nombre d items par test Par exemple si le test comporte 2 items de 4 propositions A B C et D on peut s attendre ce que 1 16 tudiant r ponde correctement par hasard Si la section comporte 15 items de 4 propositions chacun on peut s attendre ce que 1 8 67 tudiant r ponde correctement par hasard Burton Peu valides si mal construits Collins Schuwirtz Van der Vleuten Difficiles et longs construire gestion lourde 1 heure par question Burton Collins Greco Van Hoozer 18 Annexe 1 Est ce que le QCM est adapt ce que l on veut tester Pour s avoir de facon fiable si un tudiant a atteint un objectif ducationnel il est essentiel que la forme du test soit adapt
22. owning 1989b 24 Annexe 10 Eviter de donner des indices de langage L option B ne suit pas la grammaire de l nonc Une d viation de la ligne m diane au scanner c r bral est Un d placement de la tente B Quand la faux est d plac e C Un d placement du corps calleux D Un d placement du tronc c r bral Toutes les options suivent la grammaire de l nonc Une d viation de la ligne m diane au scanner c r bral est A Un d placement de la tente du cervelet B Un d placement de la faux C Un d placement du corps calleux D Un d placement du tronc cr bral Annexe 11 Exemples de QCM informatis s Ces liens liste non exhaustive vous permettent d avoir acc s de la documentation sur l criture des QCM des aides l laboration de QCM en ligne et des outils de correction et d analyse des tests AMC Auto Multiple Choice Correction automatis e de formulaires QCM http home gna org auto qcm Dossiers th matiques de GRECO http greco grenet fr Construction de tests d valuation et comparaison de 9 logiciels d laboration de QCM points forts points faibles Propositions de diff rents syst mes de notation Matexo fait partie de l Anneau des math matiques Francophones http matexo smai emath fr gcm modemploi ph ModulEst http www modulest phedre net Moodle http e uag univ ag fr Netquiz Pro htt
23. p www ccdmd qc ca Ordidac http dtup free fr ordidac 25 QCM mode d emploi www irem ups tlse fr pim act tableur qcm qcm mode 20d emploi pdf QCM QUIZZ PLUS Site de Bonnefon Questy http www questy fr Vous y trouverez en plus la description par des exemples des diff rents types de QCM Site de R mi Bachelet http rb ec lille fr l Correcteur QCM htm Site de St phane Metral http metral info gcm en ligne Site de Eric Dromer http gech pagesperso orange fr eval qcm frqcm htm Th bes http www tpline fr telechargement soft Thebes zip 26 MODE D EMPLOI R diger les objectifs ducationnels D finir les niveaux de connaissance pour chaque objectif R diger des QCM appropri s pour tester ces connaissances Analyser les r sultats
24. propre faiblesse Collins McCoubrie Les QCM peuvent tester beaucoup de connaissances en peu de temps de m me niveau cognitif que les questions r dactionnelles si ils sont crits selon certains crit res qui en feront un outil d valuation des connaissances fiable et valide Boland Braddom Case Collins Cox CTL Farley Gronlund Haladyna Norcini Pagonis Schulteis Vydareny Nous proposons dans ce m moire de r sumer les bonnes pratiques de r daction des QCM formul es dans la litt rature Quatre points seront abord s 1 r diger les objectifs ducationnels 2 d finir les niveaux de connaissance pour chaque objectif 3 r diger des QCM appropri s pour tester ces connaissances et 4 analyser les r ponses R diger les objectifs Educationnels L criture d un bon test de connaissance doit commencer par l identification des informations ou connaissances tester Il doit y avoir une relation directe entre les objectifs d ducation et les items du test Ainsi les items du test doivent d couler des objectifs Kemp et se focaliser sur les questions de fond importantes en vitant de tester des connaissances m dicales triviales Les items controvers s doivent tre proscrits Braddom La d termination des questions appropri es pour le test peut tre facilit e par la revue des points importants et l identification de phrases qui r sument les id es principales du sujet Collins A partir de l les points cle
25. s coronaires C Radiographie pulmonaire conventionnelle D Radiographie pulmonaire num rique Analyse de probl me l tudiant doit comprendre les donn es d un concept leurs relations entre elles et analyser des informations nouvelles en les scindant en diff rentes parties Expliquer les effets de diff rents facteurs sur les variations des doses d irradiation d un scanner pulmonaire Laquelle des propositions suivantes diminue le moins la dose d irradiation d un scanner pulmonaire A diminuer les mA de 250 125 B diminuer les kVp de 140 120 C diminuer le temps du scanner de 2 1 D diminuer le temps du scanner de 1 0 5 16 Table 2 Guide de r daction des QCM Items o Pr parer un item de m me niveau de connaissance que l objectif tester o Ecrire des items qui requi rent diff rents niveaux de connaissance o Dans l nonc et les options Eviter les termes absolus toujours jamais tous aucun Eviter les termes impr cis parfois rarement g n ralement peu beaucoup Enonc o Poser un probl me unique complet et direct o R diger un nonc bref simple et pr cis sans ambigu t o R diger un nonc sous forme de question et de forme positive o Eviter les indices permettant de d couvrir la bonne r ponse o Formuler des questions ind pendantes sans cascade ni
26. s savent qu il existe plusieurs niveaux de connaissance mais manquent parfois d un syst me simple pour appliquer ce concept dans la pr paration d un cours ou la r alisation d un examen Collins CTL En 1956 Bloom publie une taxonomie des objectifs p dagogiques prenant en compte connaissance compr hension application analyse synth se et valuation Figure 1 tir e de Woodford Bloom aN Synthesis Analysis Application Comprehension Knowledge Figure 1 Bloom s levels of cognition Higher Cognition Depuis un syst me plus simple 3 niveaux a t propos Crooks Niveau 1 Connaissance Rappel ou reconnaissance L tudiant se souvient de faits de principes ou de th ories m moris s Niveau 2 Application et compr hension L tudiant est capable de comprendre et d expliquer ce qu il a appris avec ses propres mots et utiliser de nouvelles informations th ories ou principes Il doit translater ses connaissances pour r soudre un nouveau probl me Niveau 3 Analyse R solution de probl mes L tudiant doit examiner une information identifier des causes des motifs faire des d ductions trouver la structure sous jacente et les relations La plupart des QCM utilis s ne teste que le niveau 1 Cependant faire ses cours en tenant compte de ces 3 cat gories peut aider pr parer des questions qui testent la fois l tendue des connaissances et les diff rents niv
27. terd pendantes l une de l autre Eviter de composer des alternatives qui ne comportent que de minimes distinctions entre elles moins que la capacit les distinguer soit un objectif particulier formul dans le cours Eviter galement le chevauchement de termes annexe 8 Eviter d crire toutes les autres r ponses favorisant les tudiants qui n ont qu une connaissance partielle deviner la bonne r ponse pour les bons quant eux il suffit de trouver 2 r ponses correctes pour savoir que c est la bonne r ponse Eviter d crire aucune des autres r ponses Cela ram ne l item un vrai faux et n est vraiment appropri que pour les mati res pour lesquelles il existe des r ponses correctes absolues comme en math matiques annexe 9 Eviter de donner des indices de langage qui donnent la bonne r ponse Cela inclus les erreurs de grammaire ou de syntaxe des mots clefs qui n apparaissent que dans la bonne r ponse Cela n est pas un probl me quand la question est crite sous forme de question annexe 10 Eviter galement d crire la r ponse correcte dans un langage parfait et les distracteurs dans un langage familier ou d crire deux r ponses diff rentes qui ont la m me signification Randomiser la position des bonnes r ponses On peut par exemple ranger les r ponses par ordre alphab tique ou bien utiliser des tables de randomisation Exemple ci dessous d apr s Burton
28. tt rature review Medical teacher 2004 26 709 712 McKeachie WJ Teaching Tips 8th ed Lexington Mass Heath 1986 Norcini JJ Swanson DB Grosso LJ Webster GD Reliability validity and efficiency of multiple choice question and patient management problem item formats in assessment of clinical competence Med Educ 1985 19 238 247 Pagonis D Guide de r daction des questions a choix multiple Universit m dicale virtuelle francophone Sax G Principles of educational measurement and valuation Belmont CA Wadsworth 1974 Srinivasa DK Adkoll BV Multiple choice questions how to construct and how to evaluate Indian J pediatr 1989 56 69 74 Schulteis NM Writing cognitive educational objectives and multiple choice test questions Am J Health Syst Pharm 1998 55 2397 2401 Schuwirth LWT van der Vleuten CPM Different written assessment methods what can be said about their strengths and weakness Medical Education 2004 38 974 979 Van der Vleuten CPM The assessment of Professional comp tence developments research and practical implications Adv Health Scie duc 1996 1 41 67 Van Hoozer H et al The teaching proc s theory and practice in nursing Norwalk CT Appleton Century Crofts 1987 279 280 Vydareny KH Blane CE Calhoun JG Guidelines for writing multiple choice questions in radiology courses Invest Radiol 1986 21 871 876 Welsh AL Multiple choice objective tests In Saunders
29. uation est d crite dans un court paragraphe et le probl me est pos comme nonc de la question Toutes les r gles de r daction des QCM sont applicables mais les tudiants doivent faire appel leur jugement et une r flexion critique pour y r pondre correctement annexe 5 L nonc doit tre pos sous forme positive les tudiants pouvant mal interpr ter des phrases n gatives qui d ailleurs conduisent des QCM moins valides Braddom Les questions n gatives comportent souvent laquelle n est 7 pas vraie ou toutes sauf Ces formulations n gatives doivent tre proscrite sauf cas exceptionnel Si elles sont utilis es les propos n gatifs doivent tre soulign s ou inscrits en lettres capitales ou en italique annexe 6 Il faut d autant plus proscrire les doubles n gations L nonc ne doit pas introduire pas de jugement de valeur pas de donn es raciales ou de genre Par exemple viter de ne donner que des exemples de femmes d pressives Ecrire les R ponses En principe un QCM ne doit pas comporter moins de 3 options de fa on ce que les tudiants puissent le moins facilement deviner la ou les bonne s r ponse s Le nombre optimal entre 3 et 5 options est d battu Haladyna Woodford Ne choisir pr f rentiellement qu une seule bonne r ponse Si il y a plusieurs bonnes r ponses cela peut devenir un jeu frustrant pour l etudiant qui va essayer de deviner
Download Pdf Manuals
Related Search