Petit guide utile à l`élaboration d`examens à choix multiples dans le
Contents
1. Petit guide utile l laboration d examens choix multiples dans le domaine m dical 17 Eviter de donner des informations inutiles dans les items permet de r duire ce risque Pistes li es l ordre des propositions Si les propositions ne sont pas syst matiquement class es par ordre alphab tique ou par ordre th matique ou logique ordre ascendant ou descendant par exemple le risque est grand de positionner pr f rentiellement la bonne r ponse au milieu des propositions Classer les propositions par ordre alphab tique ou th matique ou logique Les d fauts li s des difficult s inutiles inclues dans les questions Les propositions sont longues compliqu es ou doubles Les donn es num riques sont exprim es de fa on non uniforme Cfr exemple n 6 ci dessous Les termes utilis s dans les propositions sont peu pr cis ex parfois peu souvent normalement rarement presque jamais fr quemment souvent habituellement probablement Cfr exemple n 1 ci dessous Les propositions sont class es de fa on illogique Cfr exemple n 6 ci dessous Aucune des propositions cit es est utilis e comme proposition de r ponse Les nonc s sont trompeurs ou inutilement compliqu La r ponse une question d pend de la r ponse une autre question en relation avec celle ci Petit guide utile l lab2. Ceci est l exemple typique d une erreur au niveau de la d termination de la r ponse correcte Si la r ponse correcte est l option B seulement 2 des tudiants ont r pondu correctement La r ponse correcte semble tre la C Un expert devra r viser le contenu de la question pour en tre s r S il confirme que la r ponse correcte est la C alors l item peut tre consid r comme une bonne question condition d enregistrer l option C comme tant la r ponse correcte Item n 2 Options A B C D E F Groupes Sup rieur 0 1 90 3 3 3 Inf rieur o 1 60 25 8 6 Total o 1 74 12 7 6 Interpr tation 90 du groupe sup rieur et 60 du groupe inf rieur ont s lectionn la r ponse correcte la Ceci est un bon r sultat de profil d item Cependant il pourrait y avoir une r vision des options A et B avant de r utiliser cet item dans un prochain examen parce que tr s peu d tudiants ont choisi ces options de r ponse L id al serait de trouver des distracteurs plus plausibles Item n 3 Options A B E D E F Groupes Sup rieur 44 1 50 2 1 2 Inf rieur 20 15 21 22 20 2 Total 32 7 34 14 mn 2 Interpr tation 50 du groupe sup rieur et 21 du groupe inf rieur ont choisi la r ponse suppos e tre correcte la C Cet item est tr s difficile et est probablement mal r dig Beaucoup d tudiants du groupe sup rieur
3. Les 3 items suivants illustrent tr gt Niveau d exigence bas Pas de vignette Chez les enfants avec un syndrome n phrotique et une fonction r nale normale quelle est l anomalie r nale la plus probable parmi les propositions suivantes A Glom rulon phrite post streptococcique aigu B Purpura de Sch nlein Henoch avec n phrite C Syndrome n phrotique avec changement minime D Syndrome n phrotique due une glom ruloscl rose focale et segmentaire E Syndrome h molityque et ur mique bien cette notion r f rence n 1 gt Niveau d exigence moyen Vignette br ve Un enfant de 2 ans pr sente un d me depuis une semaine Sa tension art rielle est de 100 60 mmHg et pr sente un d me g n ralis et de l ascite Les dosages s riques sont les suivants cr atinine 0 4 mg dL albumine 1 4 g dL et cholest rol 569 mg dL La tigette urinaire montre 4 de prot ines et ne pr sente pas de traces de sang Quel est le diagnostic le plus probable parmi les propositions suivantes m me liste de propositions gt Niveau d exigence lev Vignette tendue Un enfant de 2 ans de race noire a pr sent un gonflement au niveau des yeux et des chevilles la semaine pass e La tension art rielle est de 100 60 mmHg le pouls est de 110 min et la fr quence respiratoire est de 28 min En plus de l d me des yeux et des chevilles il pr sente une distension abdominale avec onde liquidienne positive Les
4. d un clair au chocolat et d un caf La majorit des convives pr sentent des naus es deux heures apr s le repas se mettent vomir et se plaindre de douleurs de abdominales Lequel de ces micro organismes analyses des aliments suivants a t on le plus de chances de trouver dans les A Escherichia coli B Proteus mirabilis C Salmonella typhimurium D Staphylococcus aureus E Streptococcus faecalis Petit guide utile l laboration d examens choix multiples dans le domaine m dical 36 4 Lors d un check up de routine une femme de 75 ans qui a une activit mod r e pr sente une concentration de cholest rol s rique total de 208 mg dl et une concentration de cholest rol HDL s rique de 70 mg dl L ECG ne montre aucune anomalie Laquelle des recommandations suivantes serait la plus ad quate A Augmentation de l ingestion de fibres B Diminution de l ingestion de cholest rol C Diminution de l ingestion d hydrates de carbone simples D Diminution de l ingestion de graisses satur es E Ne pas faire de changement dans le r gime 5 Un adolescent de 15 ans sans ant c dent m dical pr sente une douleur p riombilicale spasmodique Apr s quelques heures la douleur migre vers le quadrant inf rieur droit et devient constante Il vomit plusieurs fois Il est amen au service d urgences L abdomen est sensible la palpation profonde du quadrant inf rieur droit Les radiogr
5. fausse e La proposition aucune des r ponses qui pr c dent devrait aussi tre vit e 4342 Diff rence entre QCM de type A et QCM de type R Dans le type A la liste est limit e cing propositions Dans le type R le nombre de propositions varie entre 6 et 26 Plus il y a de propositions plus la difficult du test est grande Pour d terminer le nombre de propositions il faudra tenir compte de l objectif du test et du groupe qu il cible 4343 Exemples de donn es pour la r daction d une liste de propositions En fait n importe quelle donn e qui peut tre num r e dans une liste peut servir de base de propositions Exemples e En anatomie art res nerfs muscles structures anatomiques composants du syst me locomoteur structures cardiaques composants du syst me nerveux central segments de la moelle pini re e En physiopathologie aminoacides peptides hormones enzymes mol cules prot ines lipides vitamines min raux structures endocrines neurotransmetteurs anomalies m taboliques processus pathologiques tats physiopathologiques anomalies lectrolytiques tests diagnostiques En anatomopathologie composants cellulaires types de cellules composants sanguins types de tissus e En g n tique caryotype anomalie s cong nitales Petit guide utile l laboration d examens choix multiples dans le domaine m dical 16 e Eninfe
6. finir les valeurs des notes de issage acceptables suivantes e Pourcentage minimum acceptable d tudiants refus s indice minimum d chec e Pourcentage maximum acceptable d tudiants refus s indice maximum d chec e Score le plus bas qui permettrait un tudiant de r ussir l examen point minimal de r ussite e Score le plus lev n cessaire pour qu un l ve r ussisse point maximal de r ussi Un graphique avec le pourcentage d checs en ordonn e et le pourcentage de r ponses correctes en abscisse est trac Les quatre points cit s ci haut sont reli s pour former un rectangle Une courbe repr sentant le pourcentage de r ussites en fonction d une note de passage d finie arbitrairement est dessin e Si on fixe la note de passage suivante il faut 80 de r ponses correctes pour r ussir il y aura 90 d tudiants en chec Si la note de passage exig e est de 60 de r ponses correctes il y aura 20 d tudiants en chec L intersection entre la diagonale partant du coin sup rieur gauche du rectangle vers le coin inf rieur droit et la courbe d termine le standard 100 90 80 4 70 s 60 50 4 40 Est E a 20 Rate 10 Est Min Fail Rate Correct score Est min pass score Est max pass score Graphe repris de la th se de J Degryse r f rence n 5 Petit guide utile l laboration d examens choix multiples dans le domaine m dical 29
7. laboration d examens choix multiples dans le domaine m dical 9 4 Elaboration des questions choix multiples 4 1 Exigences g n rales La validit et la fiabilit d un examen d fEROESM de la qualit de la r daction de ses questions c est dire des items dans le cas de QCM de type meilleure r ponse possible Diff rentes r gles de base sont respecter e Le th me de la question correspond aux exigences futures de la formation et ou de la pratique professionnelle Les items devraient donc reprendre les aspects d un th me important auquel l tudiant sera souvent confront dans sa pratique courante et ou qui pourrait avoir des cons quences graves en cas d erreur et ou o les fausses id es sont r pandues et ou qui est essentiel pour la compr hension de futurs domaines d enseignement manuel de Krebs p 4 r f rence n 2 Il est important de garder l esprit l importance dans la formation m dicale de garder une vision globale avant de se sp cialiser e Tl est demand l tudiant d appliquer des connaissances dans des situations pratiques TI ne s agit pas seulement d examiner le niveau de connaissances mais aussi d valuer la compr hension analyser mettre en relation int grer transformer des informations tirer des conclusions ainsi que la capacit de mise en pratique du savoir acquis et la capacit d valuer des informations Lutlisation de vignettes cliniques patient d crit avec ses sympt mes le
8. des indices cues pour identifier la bonne r ponse ou liminer les distracteurs et leurs rem des 17 4 3 5 2 Les d fauts li s des difficult s inutiles inclues dans les questions 8 3 Exemples de QCM mal r dig s 19 5 COMMENT R DIGER UN EXAMEN DE TYPE QCM TAPE PAR TAPE 22 51 D finitions pr alables 5 2 Conception d un plan directeur ou tableau de sp cification 5 3 EDS du contenu du plan directeur 5 4 ROMAN d un groupe d enseignants la r daction d items Petit guide utile l laboration d examens choix multiples dans le domaine m dical N 5 6 V rification en groupe des items 5 7 V rification par des tiers et des experts 5 8 Acceptation ou refus des items 5 9 Elaboration de l examen 6 INTERPR TATION DES R SULTATS OBTENUS EN VUE DE L ANALYSE DES ITEMS 7 COMMENT TABLIR UNE NOTE DE PASSAGE 7 1 D finition et consid rations g n rales 7 2 M thode relative 73 M thode absolue 7 4 Compromis entre une m thode absolue et une m thode relativ 8 CONCLUSION 9 BIBLIOGRAPHIE 10 ANNEXES 10 1 Formulaire pour la r daction d items manuel de Case et Swanson p 93 r f rence n 1 10 2 Aide m moire utile 10 3 Exemple d instruction standardis e pour un QCM de type R 10 4 Exemples de QCM bien r dig s 10 4 1 QCM appariement tendu 10 4 2 QCM de
9. est conseill de commencer l examen par 1 ou 2 items faciles pour calmer l angois d but d examen des tudiants de Petit guide utile l laboration d examens choix multiples dans le domaine m dical 24 6 Interpr tation des r sultats obtenus en vue de l analyse des items Il est tr s important d avoir un retour des r sultats de l examen par QCM L analyse des r sultats pour chaque item permet d valuer la qualit des questions Tl faut donc envoyer un rapport avec les r sultats de l analyse des items aux professeurs apr s chaque examen choix multiple L approche classique consiste en l analyse des indices de difficult et de discrimination des items Cette approche est bas e sur le pr misse que chaque item mesure la m me dimension le m me trait par exemple le raisonnement clinique ce qui est discutable dans les tudes para m dicales Nous proposons une analyse des items faite sur base de l tude des profils de r ponses Pour illustrer cette notion nous reprenons un exemple d taill dans le manuel de Case et Swanson r f rence n 1 p 107 Les tudiants qui ont pass l examen ont t divis en un groupe sup rieur et un groupe inf rieur selon leur r sultat g n ral tout l examen Si le groupe contient un nombre r duit d tudiants ces 2 groupes sont form s respectivement par les 50 d tudiants ayant le mieux r ussi et les 50 des tudiants ayant le m
10. i choisi l option A Soit l item est mal r dig soit l option A est potentiellement une bonne r ponse Cet item doit tre revu par les experts Petit guide utile l laboration d examens choix multiples dans le domaine m dical 26 Item n 4 Options A B a D E F Groupes Sup rieur 18 10 51 17 2 2 Inf rieur 24 24 2 25 4 2 Total 22 17 34 22 3 2 Interpr tation La r partition des groupes sup rieur et inf rieur pour l option C est quasi identique l item n 3 Mais cet item est peut tre bien r dig La diff rence entre les 2 items est que pour celui ci les tudiants ne connai fait entre k correctes et qu elles sont bien r dig es Petit guide utile l laboration d examens choix multiples dans le domaine m dical nt pas la bonne r ponse C es s diff rents distracteurs Evidemment il est pr f rable de r viser les options A B et D afin de contr ler qu elles sont bien des distracteurs et non des r pons dire que la r partition se potentiellement 27 7 Comment tablir une note de passage 7 1 D finition et consid rations g n rales Une note de passage est le score obtenu au test qui s parera les tudiants ayant r ussi le test de ceux qui ont chou La note de passage est tablie suite une d cision p dagogique Ceci demande un crit re de jugement Ce crit re de jugement est arbitraire mais il faut v
11. pitants au niveau du poumon gauche surtout localis s au niveau de la base Th me infectiologie Options A Ad novirus L Haemophilus influenzae B Aspergillus fumigatus M Histoplasma capsulatum C Bacillus anthracis N Mycobacterium tuberculosis D Candida albicans O Mycoplasma pneumoniae E Chlamydia psittaci P Neisseria gonorrhoeae F Coccidioides immitis Q Neisseria meningi G Coronavirus R Pneumocystitis carinii H Coryneacterium diphteriae S Rhinovirus L Coxiella burnetii T Streptococcus pneumoniae J Coxsackievirus U Streptococcus pyogenes groupe A K Epstin Barr Virus Instruction Veuillez indiquer pour chacun des patients suivants pr sentant un tat f brile le microorganisme qui a le plus de chances d tre l agent responsable de la maladie d crite Vignettes cliniques 1 Un enfant de 7 ans pr sente un tat hautement f brile et des douleurs pharyng es Le pharynx est hyper mi l amygdale droite tum fi e est recouverte d un exsudat muco de blanch tre TI y a une ad nopathie sous angulomaxillaire droite douloureuse La culture du frottis sur plaque d agar montre de nombreuses petites colonies B h molytiques inhib es par la bacitracine Un patient de 18 ans souffre depuis une semaine d un tat f brile avec des douleur pharyng es et un malaise g n ral Les amygdales sont tum fi es et recouvertes d un exsudat On observe aussi la pr sence d ad nopathies cervicales diffuses et
12. r sultat de l examen clinique et ventuellement d examens compl mentaires RAEM cette exigence e La difficult de l item est adapt e au niveau du groupe cible e L item se focalise sur un contenu ou un probl me bien d fini dans un domaine bien circonscrit La question est claire e Tl existe manifestement une solution bien meilleure que les autres Le bon tudiant peut r pondre la question sans regarder les diff rentes propositions de r ponse e Les distracteurs c est dire les propositions donn es qui ne sont pas la r ponse correcte doivent tre homog nes tous sont soit des diagnostics soit des traitements soit des pronostics e Eviter les d fauts techniques qui permettent aux tudiants habiles de r pondre aux QCM mal r dig s sans conna tre la r ponse cfr paragraphe 4 3 5 1 e Le questionnaire doit tre BEBE par des confr res S ils manifestent des difficult s d terminer la r ponse correcte il faut modifier la liste de propositions ou l item pour liminer l ambigu t 4 2 Diff rences entre les questions de type A et celles de type R La diff rence entre les questions de type A choix simple positif parmi cinq propositions de r ponse et les questions de type R attribution de la r ponse correcte parmi 6 26 propositions A Z de r ponse possibles plusieurs questions est essentiellement structurelle Sauf s il s agit de la conception d un test de progres
13. 8 Conclusion L valuation par QCM a largement prouv son efficacit dans le domaine des sciences m dicales Le respect de r gles bien tablies permet une valuation valide et fiable N anmoins cela demande un travail de pr paration et de contr le a posteriori important Pour de plus amples d tails nous vous encourageons consulter les r f rences sur lesquelles nous nous sommes bas l La majorit de ces r f rences sont disponibles sur internet Les adresses pour les t l charger sont indiqu es dans la bibliographie N 9 Bibliographie Case SM Swanson DB Constructing Written Test Questions For the Basic and Clinical Sciences Third Edition Philadelphia National Board of Medical Examiners 2002 http www nbme org publications index html Krebs R Mode d emploi pour la cr ation de questions et d examens choix multiples pour l enseignement de la m decine Berne Institut f r Medizinische Lehre Universitat Bern 2004 http www iawf unibe ch aae documents methodik Manuel_QCM pdf Wood T Cole G L laboration de questions choix multiples pour les examens menant au certificat du Coll ge royal des m decins et chirurgiens du Canada Le Coll ge royal des m decins et chirurgiens du Canada 2001 http www medbev umontreal ca docimo cotonou htm Cole G Lee C Mikhael N L laboration d un plan directeur d examen ProMEDS du Coll ge royal Le Coll ge royal des m decins e
14. UCL Universit catholiqu de Louvain Petit guide utile l laboration d examens choix multiples dans le domaine m dical de Foy Th Dory v amp Degryse r ercheurs au CAMG de l UCL Professeur en M decine UCL KUL R seau de P dagogie M dicale Table des mati res 1 INTRODUCTION 2 DIFF RENTS TYPES DE QUESTIONS 3 L VALUATION UN L MENT IMPORTANT DE LA FORMATION 4 ELABORATION DES QUESTIONS CHOIX MULTIPLES 4 1 Exigences g n rales 42 Diff rences entre les questions de type A et celles de type R 43 Recommandations pour la r daction des QCM type A et type R 4 3 1 Leth me 43 2 Le les item s 432 1 Structure de l item 43 2 2 Diff rents th mes possibles pour la r daction d items en rapport avec les t ches du m decin r f rence n 1 4 3 2 3 R gles respecter lors de la r daction des items 4324 R gles suppl mentaires respecter lors de la r daction des items pour des QCM appariement tendu L instruction 4 3 3 2 Exemples d instructions bien formul 4 34 La liste de propositions 4 3 4 1 R gles respecter lors de la r daction de la liste de proposition 4 3 4 2 Diff rence entre QCM de type A et QCM de type R 43 43 _ Exemples de donn es pour la r daction d une liste de propositions 435 sata lors de la r daction de QCM manuel de Case et Swanson p 26 r f rence n 1 4 3 5 1 Les d fauts qui fournissent
15. a fin Pistes grammaticales certaines propositions ne concordent pas grammaticalement avec la question Non homog n it des propositions examens compl mentaires m dicaments Pas de classement alphab tique des propositions 5 Chez les patients avec une d mence avanc e type Alzheimer le d ficit de m moire A peut tre trait correctement avec la phosphatidylcholine l cithine B pourrait tre une s quelle d une maladie de Parkinson pr coce C ne s observe jamais chez les patients avec n uds neurofibrillaires l autopsie D n est jamais s v re E implique le syst me cholinergique Probl mes Mauvaise structure g n rale corps trop court propositions longues Usage de termes absolus Non homog n it des propos 6 Apr s un second pisode de salpingite quelle est la probabilit qu une femme soit st rile A Moins de 20 B De 20 30 C Plus de 50 D 90 E 75 Probl mes Non homog n it des propositions soit que des intervalles soit que des pourcentages pr cis Propositions class es de fa on illogique ordre croissant n est pas respect 7 L incidence du cancer du sein dans la population des femmes belges est en A augmentation B diminution C reste identique Petit guide utile l laboration d examens choix multiples dans le domaine m dical 20 D est plus importante dans les milieux d favoris s E peut tre diminu e avec une bonne c
16. a mise au point en vue d tablir un diagnostic e Traitement Ces items valuent les principes des traitements aigus et chroniques des patients ambulants et hospitalis s Lors de la r daction des questions sur le traitement il faut se concentrer sur les aspects des soins qui sont importants pour le niveau de pratique de l tudiant Petit guide utile l laboration d examens choix multiples dans le domaine m dical 13 4 3 2 3 R gles respecter lors de la r daction des items Les items doivent tre formul s de fa on simple claire et dans un langage accessible TI faut viter de les rendre artificiellement plus compliqu s ou de les concevoir comme des pi ges Les items doivent contenir toute l information n cessaire pour que le bon tudiant puisse r pondre la question sans regarder les propositions de r ponses c est ce qui s appelle la r gle de cacher les propositions La difficult de l item d pend non seulement de la complexit du probl me clinique expos et du niveau d exigence cognitive n cessaire sa r solution compr hension capacit de synth se de la mati re tudi e mais aussi de l interpr tation plus ou moins avanc e du cas clinique expos L tudiant devra montrer un niveau plus lev de capacit d interpr tation d analyse et de synth se mesure que les donn es seront pr sent es sous une forme moins interpr t e
17. ampagne de pr vention Probl me Piste logique les propositions A B et C couvrent toutes les possibilit s elles forment un ensemble exhaustif Les tudiants qui d busquent facilement les indices pour identifier la bonne r ponse savent que la bonne r ponse se trouve dans les 3 premi res propositions Mauvaise structure corps court et certaines propositions longues Non homog n it des propositions 8 Le gain secondaire est A synonyme de simulation B un probl me fr quent dans les troubles obsessionnels compulsifs C une complication d une s rie de maladies et tend prolonger la dur e de beaucoup d entre elles D ne s observe jamais dans le cas de l sion c r brale organique Probl me Piste grammaticale la proposition D n est p L nonc n est qu un d but de phrase La r ponse correcte est la plus longue Non homog n it des propositions Mauvaise structure g n rale nonc court propositions longues adapt e grammaticalement l nonc 9 Une patiente de 55 ans fumeuse suite un retour de vacances trajet en avion de plus de 12 heures la veille se plaint d oppression thoracique essoufflement transpiration toux avec h moptysies palpitations A l examen clinique vous constatez que ses extr mit s sont de couleur bleut e son pouls est de 120 bpm r gulier elle n a pas de fi vre Quel est le sympt me le plus discriminant pour tablir votre diagnos
18. ance 433 1 4332 R gles respecter lors de la r daction d une instruction L instruction doit tre bien formul e Ceci permet qu il n y ait qu une seule r ponse juste la question La formulation doit tre de pr f rence positive L instruction doit tre form e d une phrase enti re Eviter d utiliser un d but de phrase comme instruction et de proposer des fins de phrase comme propositions de r ponse Pour les QCM appariement tendu il n y a qu une seule instruction pour la s rie d items du m me th me Exemples d instructions bien formul es Pour chacun des patients suivants s lectionne le diagnostic le plus probable Pour chacun des patients suivants s lectionne l tape de prise en charge suivante la plus appropri e Pour chacun des patients suivants s lectionne le sympt me additionnel qu il pourrait pr senter de fa on la plus probable Pour chacun des cas suivants s lectionne l intervention th rapeutique la mieux indiqu e Pour chacun des patients suivants s lectionne l tiologie la plus probable de leurs sympt mes Petit guide utile l laboration d examens choix multiples dans le domaine m dical 15 4 34 La liste de propositions 434 1 R gles respecter lors de la r daction de la liste de propositions e Les propositions de la liste doivent tre aussi courtes que possible un mot ou une phrase tr s br ve e Les propositions doivent tre homog nes un
19. aphies de thorax et abdomen sont normales Le nombre de leucocytes dans l analyse sanguine est de 15 000 mm3 L analyse d urine montre 3 leucocytes champ Laquelle des propositions suivantes serait la prise en charge la plus ad quate A CT Scan de l abdomen B Cystographie et py lographie intraveineuse C Exploration chirurgicale de l abdomen D Lavement baryt E Traitement de soutien domicile avec retour imm diat aux urgences si la douleur augmente 6 Une infirmi re est hospitalis e pour une appendicectomie dans la clinique o elle travaille Une semaine apr s qu elle soit sortie de clinique l assistant de l administrateur de l h pital demande au chirurgien quel tait le diagnostic d finitif Laquelle des propositions suivant chirurgien erait la r ponse la plus ad quate de la part du A Refuser de r pondre parce que l administrateur n est pas m decin B Refuser de r pondre parce que l information est confidentielle C R pondre en raison du risque de la possibilit de diffusion de faus sujet de la patiente D R pondre parce que cela permettra une acc l ration du management de l assurance de la clinique E R pondre parce que en tant qu employ de la clinique l administrateur a ac l information sur les patients e information au Petit guide utile l laboration d examens choix multiples dans le domaine m dical 37
20. ctiologie agents pathog nes bact ries champignons virus toxines troubles immunitaires e En s miologie diagnostics En pharmacologie m dicaments types de m dicaments alternatives de traitement 43 5 Demme lors de la r daction de QCM manuel de Case et Swanson p 26 ence n 1 Il existe deux types de d fauts techniques les plus courants ceux qui permettent de r pondre correctement la question sans conna tre la r ponse et ceux dus des difficult s inutiles inclues dans les questions Des exemples de QCM mal r dig s seront donn s en illustration apr s l explication des diff rents d fauts 435 1 Les d fauts qui fournissent des indices cues pour identifier la bonne r ponse ou liminer les distracteurs et leurs rem des Pistes grammaticales pas de correspondance grammaticale entre un distracteur et l nonc Ceci peut arriver facilement si l nonc est un d but de phrase et que les propositions sont des fins de phrase viter absolument ce type d nonc Cfr exemples n 4 et n 8 ci dessous Toutes les propositions doivent correspondre l nonc du point de vue grammatical L nonc doit tre une phrase enti re et non un d but de phrase compl ter Pistes logiques un sous groupe de propositions est un ensemble exhaustif c est dire que ce sous groupe couvre lui seul toutes les possibilit s Cfr exemple n 7 ci dessous Eviter une l
21. d une spl nom galie On trouve une lymphocytose avec des lymphocytes atypiques Le test pour les anticorps h t rophiles est positif D Petit guide utile l laboration d examens choix multiples dans le domaine m dical 35 10 4 2 QCM de type A Une femme de 60 ans prouve des difficult s sortir de son fauteuil et se tenir droite Elle n a en revanche aucune peine marcher sur sol plat et parvient fl chir ses hanches sans aucune difficult Lequel des muscles suivants est le plus probablement d ficient A M grand fessier B M grand psoas C M moyen fessier D M obturateur externe E M obturateur interne Un homme de 65 ans ob se souffre de troubles respiratoires progressifs La spirom trie donne les r sultats suivants diminution des volumes pulmonaires rapport normal entre volume maximal expir la 1 FEV1 VK r duction s v re de la compliance pulmonaire La gazom trie r v le une hypox mie art rielle et une hypocapnie au travail seconde et capacit vitale Quelle est la cause la plus vraisemblable de ce tableau clinique A une augmentation du d bit circulatoire pulmonaire en raison d un shunt art rioveineux B une bronchite chronique C un emphys me pulmonaire obstructif D une fibrose interstitielle diffuse des poumons E une ob sit Le menu d un banquet tait compos d un r ti de poulet de pommes de terre r ties de petits pois
22. dosages s riques sont les suivants cr atinine 0 4 mg dL albumine 1 4 g dL et cholest rol 569 mg dL La tigette urinaire pr sente 4 de prot ines pas de trace de sang Quel est le diagnostic le plus probable parmi les propositions suivantes m me liste de propositions Petit guide utile l laboration d examens choix multiples dans le domaine m dical 14 43 24 R gles suppl mentaires respecter lors de la r daction des items pour des 4 3 3 L instruction indique la relation entre les items et les propo QCM appariement tendu Les items doivent tre de structure assez similaire Il est pr f rable que le m me type d informations soit donn par exemple si un item contient des r sultats de laboratoire les autres items doivent en contenir aussi TI vaut mieux aussi faire des vignettes avec des patients de plus ou moins m me ge m me race et m me genre de plaintes Id alement lors de la r daction des items il faudrait crire un item valable pour la majorit des propositions C est dire que le nombre d items par question doit tre proche du nombre de propositions et que la plupart des propositions doivent faire partie des r ponses correctes Pour les propositions courantes ou importantes par exemple diagnostics courants ou diagnostics de premi re importance ne pas rater il peut y avoir plusieurs items instruction ions Son r le est donc de premi re import
23. e Canrenol H V rapamil Isoptine Lodixal Instruction Choisissez pour chaque patient ci dessous le traitement le plus vraisemblablement responsable de la symptomatologie Vignettes cliniques 1 Charles un homme de 76 ans souffre depuis 10 ans d hypertension art rielle Il se plaint d une toux s che que rien n arr te et qui survient surtout la nuit L examen clinique est n gatif 2 Un confr re a prescrit hier Florentine 54 ans un traitement antihypertenseur Vous tes appel son chevet pour une crise d asthme d apparition soudaine 3 Gustave 65 ans est trait pour de l hypertension Hier on lui a fait une prise de sang On a remarqu une hypokali mie importante potassium 2 1 4 Mia 67 ans est trait e depuis 2 semaines pour hypertension Elle vient consulter pour des palpitations cardiaques et un gonflement important des chevilles Petit guide utile l laboration d examens choix multiples dans le domaine m dical 6 e PickN comme le type A ou le type R mais avec un choix portant sur plus d une meilleure r ponse possible Exemple A acide folique G Vitamine B6 B calcium H Vitamine B12 cyanocobalamine C fer L Vitamine C D fluorure J Vitamine D E Vitamine A K Vitamine E F Vitamine B1 thiamine Choisissez pour chaque enfant les suppl ments vitamin s et lectrolytiques appropri s 1 Un nourrisson de 1 mois est amen en contr le chez le m decin Il
24. e Age sexe profession origine ethnie Lieu du traitement Motif de la consultation Dur e du sympt me Histoire clinique anamn se avec Statut examen clinique Eventuellement r sultats des examens compl mentaires Eventuellement traitement initial volution L usage de mat riel de r f rence table de vaccination normes de r sultats h matologiques citations provenant de publications et d illustrations photos radiographies graphiques peut tre appropri entuellement les ant c dents familiaux 4322 Diff rents th mes possibles pour la r daction d items en rapport avec les t ches du m decin r f rence n 1 e La sant et le maintien de la sant Ces items appr cient la capacit d valuer les facteurs de risque de comprendre les donn es pid miologiques appliquer des mesures pr ventives tests de d tection de maladies vaccins et m decine du voyage interventions d urgence e M canismes des maladies Ces items valuent la connaissance de la physiopathologie au sens large tiologie pathogen se histoire naturelle histoire clinique signes associ s complications effets des interventions th rapeutiques e Diagnostic Les tudiants doivent interpr ter l histoire clinique les signes physiques et les r sultats d examens de laboratoire imagerie ou autres examens compl mentaires dans le but de d terminer le diagnostic le plus probable ou l tape suivante de l
25. e liste de diagnostics une liste de m dicaments une liste de localisations anatomiques Les propositions doivent avoir la m me forme grammaticale Eviter l usage de verbes dans les propositions Eviter les termes absolus comme toujours jamais Les propositions doivent tre class es par ordre alphab tique Exceptionnellement elles peuvent tre class es de fa on th matique si cela semble plus logique Chaque r ponse fausse dans la liste est appel distracteur Les distracteurs doivent tre de bons concurrents la bonne r ponse c est dire qu ils ne doivent pas tre de fa on trop vidente incorrects Il peut s agir de faux raisonnements de fausses id es largement r pandues sur le sujet de concepts d pass s Plus la r ponse est correcte et les distracteurs sont proches en termes de contenu et de justesse plus l item sera difficile Les propositions peuvent tre pr sent es sous forme de tableau par exemple dans le cas de valeurs de laboratoire e Les propositions du type toutes les r ponses qui pr c dent ou les r ponse A et D sont toutes les deux correctes ne doivent pas tre utilis es En effet une r ponse de ce type suppose qu il y ait plusieurs bonnes r ponses et enfreint la r gle d une seule bonne r ponse Si par contre la proposition de ce type est fausse elle peut tre trouv e plus facilement car il suffit qu une des 2 r ponses soient identifi es comme
26. est exclusivement nourri par allaitement et l examen est parfaitement normal lors de la consultation Choisissez 2 compl men alimentaires 2 Une fillette de 6 ans souffre de mucovis Choisissez 3 compl ments alimentaires idose Elle ne prend aucun m dicament Les types A et R sont ceux recommand s actuellement pour la r daction d examen dans le domaine m dical Ce sont ces deux types que nous d velopperons dans ce petit guide Petit guide utile l laboration d examens choix multiples dans le domaine m dical 7 3 L valuation un l ment important de la formation L valuation a une importance primordiale dans le cursus de l tudiant Elle est une grande source de motivation pour les tudiants L examen doit rencontrer les buts ducationnels DE DS fix s par l enseignant Il doit tester les connaissances sp cifiques jug es primordiales mais aussi la capacit de les mettre en pratique face une situation concr te L importance des caract ristiques psychom triques d pend de l objectif de l valuation Elles sont primordiales si l examen a des cons quences majeures Il s agit alors de faire un examen de bonne qualit Les quelques notions th oriques reprises ci dessous ont t reprises de la th se de Degryse J r f rence n 5 La qualit d un examen Q d pend de sa fiabilit F de sa validit V de son impact p dagogique D de faisabilit temps requis le co t f
27. estion d pend de la r ponse une autre question viter dans les propositions l toutes les r ponses qui pr c dent lles r ponses A et D sont toutes les 2 correctes l aucune des r ponses qui pr c dent Petit guide utile l laboration d examens choix multiples dans le domaine m dical 32 10 3 Exemple d instruction standardis e pour un QCM de type R INSTRUCTIONS Ce test est compos de 50 questions de type QCM appariement tendu et comprend 160 vignettes cliniques au total Lisez attentivement l instruction qui accompagne chaque question Il n y a qu une seule r ponse correcte par vignette clinique Une option de r ponse peut correspondre une seule vignette clinique plusieurs vignettes cliniques ou aucune Vous ne serez pas p nalis pour les r ponses fausses il vaut donc mieux tenter votre chance m me si vous n tes pas s r de votre r ponse Travaillez votre aise mais ne vous arr tez pas trop longtemps sur les questions qui vous posent probl me vous pourrez toujours y revenir par la suite Noircissez bien la case correspondant votre r ponse au crayon sur les feuilles ad hoc Vous disposez de 3 heures Bon travail Petit guide utile l laboration d examens choix multiples dans le domaine m dical 33 10 4 Exemples de QCM bien r dig s Certains exemples ont t tir s des r f rences cit es da
28. et de son acceptabilit A L quation suivante r sume cela Q FxVxIxfxA La fiabilit la mesure faite refl te bien la r alit elle est exacte reproductible les sources d erreur sont limit es au maximum est une condition n cessaire mais insuffisante la validit le test utilis mesure bien ce qu il est cens devoir mesurer Il faut distinguer 5 types de validit La validit apparente face validity n est qu apparente Un examen qui a une validit apparente donne l impression un observateur de mesurer ce qu il est cens mesurer La validit de contenu content validity v rifie que le contenu de l examen est bien en accord avec ses objectifs et qu il est repr sentatif des domaines de comp tences qu il est cens mesurer La validit structurelle construct validity d un test refl te la coh rence des r sultats avec les hypoth ses la base de sa construction On s attend par exemple ce que des experts du domaine test aient des meilleurs r sultats que des novices La validit concomitante concurrent validity est valu e par la corr lation entre le test tudi et un autre test consid r comme une r f rence valide pour le m me domaine La validit pr dictive predictive validity d un test est sa capacit pr dire une performance venir Par exemple le score un examen de fin de formation permet il de pr dire quels seront les meilleurs professionnels pour un crit re do
29. fort Elle respire rapidement et superficiellement Son pouls est rapide avec de nombreuses extrasystoles Elle pense que cela va passer en se reposant Elle ressent une l g re douleur dans la poitrine Elle toussote pr cipitamment en permanence ce qui ram ne parfois une petite expectoration rose p le Petit guide utile l laboration d examens choix multiples dans le domaine m dical 34 3 Une femme vous demande d examiner en urgence son mari de 28 ans pour une grippe s v re Elle s inqui te de son tat L homme est alit allong sur le c t droit TI a de la fi vre 40 5 C frissonne et transpire abondamment Il dit avoir mal dans tous les muscles mais surtout au niveau de la poitrine La douleur augmente chaque inspiration et lors des mouvements Vous auscultez le thorax et vous remarquez de fines cr pitations intermittentes au niveau pr cordial rythm es par le pouls 4 Une femme de 45 ans est trait e de mani re symptomatique pour un syndrome grippal Apr s quatre jours vous l examinez nouveau Peu de changements sont apparus au niveau de la symptomatologie Apr s discussion avec la patiente le traitement est poursuivi sans modification Deux jours plus tard elle vous rappelle en urgence Elle est assise moite et SRE dans le fauteuil Elle est fort affaiblie La fi vre reste lev e et elle tousse toujours La fr quence respiratoire est acc l r e A l auscultation vous entendez des r les cr
30. iste exhaustive de propositions qui formerait un ensemble elles seules c t d autres propositions Usage de termes absolus les termes toujours ou jamais figurent dans quelques propositions Cfr exemple n 5 ci dessous Eviter l usage des termes absolus il est rare qu en m decine l on puisse affirmer quelque chose de fa on absolue avec un de ces termes Il existe toujours des exceptions e La r ponse est la proposition la plus longue la plus sp cifique ou la plus compl te Cfr exemple n 8 ci dessous Les distracteurs devraient avoir une longueur et une diff renciation aussi proches que possible de celles de la r ponse correcte e R p tition de mots r p tition de mots ou de phrases dans l nonc et dans la r ponse correcte Cfr exemple n 9 ci dessous Eviter les r p titions de mots ou de phrases dans l nonc et dans la bonne r ponse Ils mettront de suite l tudiant sur la bonne piste e Strat gie de convergence la r ponse correcte contient la majorit des l ments qu ont en commun d autres propositions Cfr exemple n 10 ci dessous Eviter que la r ponse correcte contienne le plus grand nombre d l ments communs d autres r ponses Celle ci aura plus de chance d tre correcte aux yeux de l tudiant m me m diocre e Pistes donn es dans d autres items Des informations sur la bonne r ponse sont donn es dans d autres items et ou questions
31. iter qu il soit choisi de fa on fantaisiste A moins qu il n existe une raison sp cifique de limiter le nombre d tudiants qui r ussissent une note de passage bas e sur la ma trise que l tudiant poss de de la mati re est pr f rable une note de passage bas e sur un indice d chec Tl est conseill de faire participer au processus d tablissement d une note de passage plusieurs valuateurs bien inform s de la proc dure Les valuateurs devront entrer en p ssion des donn es de performance des tudiants un moment donn de l tablissement des notes de passage Il existe diff rentes mani res d tablir une note de passage Elle peut tre relative absolue ou tre un compromis entre ces deux m thodes 7 2 M thode relative Une note de passage relative se base sur la performance du groupe qui passe l examen Les tudiants r ussissent ou chouent en fonction du niveau du groupe auquel ils appartiennent Si le niveau de performance du groupe est lev c est dire que la moyenne des r sultats est lev e la note de passage sera plus lev e que si le niveau de performance du groupe est bas moyenne des r sultats plus basse Par exemple il peut tre d cid que les tudiants qui ont obtenu un r sultat inf rieur 2 d viations standards de la moyenne des r sultats ont chou Il est d conseill d utiliser une m thode relative En effet elle d savantage fortement les tudian
32. k sur l enseignement indiquer aux enseignants le niveau de connaissances et comp tences de leurs tudiants en vue d valuer la qualit de leurs cours 5 2 Conception d un plan directeur ou tableau de sp cification TI faut tablir un blueprint ou plan directeur ou tableau de sp cification Le Coll ge royal des m decins et chirurgiens du Canada d finissent r f rence n 4 celui ci comme des lignes directrices qui aident planifier l laboration d un examen Les plans directeurs servent non seulement d terminer le contenu et les comp tences valuer mais aussi choisir la technique de mesure appropri e pour valuer chaque comp tence et jauger la pond ration des composantes du contenu et des comp tences dans l examen Ils favorisent la validit du contenu et procurent une compr hension g n rale du processus d valuation Ils sont consid r s confidentiels parce qu ils noncent sp cifiquement le contenu qui sera pr sent dans l examen 5 3 du contenu du plan directeur Les valuateurs doivent ensuite d terminer concr tement quel sera le contenu de l examen Par exemple si l examen porte sur la capacit diagnostiquer des probl mes cliniques communs quelques valuateurs doivent tablir une liste des plaintes principales possibles de patient TI convient de r diger cette liste avant la r union qui r unira tous les r dacteurs de l examen Exemples de plain
33. le information compl te cfr r gle cacher les propositions difficult complexit probl me clinique interpr tation ou avanc e structures similaires nombre items ou nombre propositions Instruction indique la relation entre items et propositions formulation claire de pr f rence positive une phrase enti re propositions aussi courtes que possible homog nes m me forme grammaticale viter l usage de verbes viter les termes absolus toujours jamais classement par ordre alphab tique ou th matique si plus logique bons distracteurs bons concurrents la bonne r ponse une seule r ponse correcte viter les d fauts techniques indices cues istes grammaticales istes logiques lusage de termes absolus Ja proposition correcte est la plus longue la plus compl te r p tition de mots ou de phrases dans l nonc et dans la bonne r ponse ja r ponse correcte contient plusieurs l ments cit s dans les autres propositions istes donn es dans d autres items istes li es l ordre des propositions difficult s inutiles ropositions longues compliqu es doubles jonn es num riques non uniformes fermes peu pr cis parfois rarement peu souvent habituellement ropositions class es de fa on illogique nonc s trompeurs inutilement compliqu s Ja r ponse une qu
34. lus autant leurs visites et qu il semble tr s passif Quelle est l explication la plus probable du comportement de ce patient A volution vers un d lire B volution vers un trouble psychotique C exc s de s dation D p joration de trouble de la personnalit E repli sur soi e A choix simple n gatif parmi cinq propositions de r ponsi Exemple Lequel des antibiotiques suivants ne doit pas tre administr un enfant g de 18 mois souffrant d une otite moyenne aigu A amoxicilline B c faclor C co trimoxazole D doxycycline E rythromycine Petit guide utile l laboration d examens choix multiples dans le domaine m dical B attribution de la r ponse correcte parmi cinq propositions de r ponse possibles plusieurs questions Exemple A le captopril B le diazoxide C le dinitrate d isosorbide D la nif dipine E le propanolol Quelle substance inhibe 1 la lib ration de la r nine A B C D E 2 la d gradation de la bradykinine A B C D E 3 l ouverture des canaux calciques A B D E e R comme le type B mais avec jusqu 26 propositions de r ponse A Z Exemple Th me effets secondaires des antihypertenseurs Options A Captopril Capoten B Celiprolol Selectol C Dihydropyridines Adalat Amlor D Indapamide Fludex E Losartan Cozaar Loortan F Propanolol Ind ral G Spironolactone Aldacton
35. ment sifflante 2 Lise 6 ans tousse depuis deux jours Depuis ce matin elle pr sente une temp rature lev e 39 5 C et son tat g n ral est alt r Elle a peine voulu manger l auscultation vous entendez des cr pitants au niveau de la base pulmonaire gauche Dans les 2 types de QCM A et R la majeure partie de l information doit se trouver dans Titem Celui ci doit tre assez tendu tandis que les options sont relativement br ves L item doit contenir toute l information n cessaire pour r pondre la question Aucune donn e additionnelle ne doit figurer dans les options De fa on sch matique la structure doit se coller au mod le suivant manuel de Case et Swanson p 42 r f rence n 1 Item avec une structure appropri e Item avec une mauvaise structure Petit guide utile l laboration d examens choix multiples dans le domaine m dical 12 4 3 Recommandations pour la r daction des QCM type A et type R 4 3 1 Le th me En cas de QCM appariement tendu avec plusieurs vignettes pour une liste de propositions le th me annonce le sujet de la question C est par exemple une plainte principale une classe de m dicaments une pathologie une d marche th rapeutique 4 3 2 Le les item s 4 3 2 1 Structure de l item L item est souvent une vignette clinique qui d crit un patient Elle doit inclure un ou plusieurs des l ments suivants dans le m me ordre que celui ci
36. nn en lien avec le domaine test L valuation avec des QCM de type A et R BEBE une bonne fiabilit et une bonne validit si EEE sont r dig s de mani re correcte et contr l s Petit guide utile l laboration d examens choix multiples dans le domaine m dical 8 Pour une bonne r daction d un examen il faut commencer par crire un blueprint plan directeur selon la traduction utilis e par Le Coll ge royal des m decins et chirurgiens du Canada r f rence n 4 ou tableau de sp cification Avant tout il faut avoir une d finition claire des objectifs d apprentissage sous forme d un catalogue par exemple Avec celui ci il y a lieu d tablir une liste pond r e des mati res Ceci permettra que les mesures faites un examen soient comparables d une se test s seront quivalents et la r partition des th mes aussi LA VALIDITE qualit d un instrument mesurer r ellement ce qu il doit mesurer en fonction de l utilisation que l on veu en faire pparence Apparente Face validity Aspect visible ext rieur inteme Contenu Content validity Congruence avec objectifs IRepr sentativit des items IStructurelle Construct validity Coh rence avec sch ma th orique Exteme IConcomitante _ Concurrent validity Corr lation avec mesures similaires Pr dictive IPredictive validity Corr lation avec variables pr dire Petit guide utile l
37. ns la bibliographie 10 4 1 QCM appariement tendu Th me Syndromes thoraciques Options Angor Bronchite aigu Crise d asthme Crise de panique Embolie pulmonaire Infarctus du myocarde d me pulmonaire aigu Oesophagite P ricardite aigu Pleur sie Pneumonie Pneumothorax Rupture d un an vrisme de l aorte Syndrome de Tietze ZETAreROMMmENR gt X Instruction Choisissez pour chaque patient ci dessous l hypoth se diagnostique la plus probable Vignettes cliniques 1 Vous tes appel en urgence aupr s d un homme de 45 ans Il pr sente des difficult s respiratoires depuis quelques heures Tl est assis au bord de son lit Sa fen tre est grand ouverte Il fait de grands efforts pour respirer Tl est tr s inquiet et s appuie sur ses deux bras de mani re crisp e Ce n est qu avec difficult qu il parvient aligner quelques mots TI n a pas de fi vre mais son pouls est rapide A l auscultation vous entendez des sibilances wheezing au niveau des deux champs pulmonaires N Une dame ob se EE la quarantaine vient vous consulter Elle est en processus de deuil car son mari est d c d brutalement il y a quelques mois Derni rement vous lui aviez prescrit des bas de contention cause de signes d insuffisances veineuse au niveau des jambes Lorsqu elle entre dans le cabinet elle se laisse tomber dans le fauteuil pour retrouver sa respiration Elle est dyspn ique au moindre ef
38. obable Asthme Bronchectasies Bronchite Embolie pulmonaire Pneumonie streptocoques MENE Dans le type R appel aussi QCM appariement tendu l nonc se compose de 3 ou 4 parties Dans le cas o il n y a qu une seule vignette pour la liste de propositions de r ponse la structure est identique aux questions de type A la seule diff rence r side dans le fait qu il y a plus de 5 propositions de r ponse Au cas o il y a plus d une vignette pour une m me liste de propositions de r ponse 4 parties composent alors l nonc un th me une liste de propositions une instruction et plusieurs items ou vignettes Exemples Th me Probl mes respiratoires chez l enfant Options Asthme Bronchiolite Bronchite aigu infectieuse Coqueluche Epiglottite Laryngite striduleuse Pneumonie CRREREES Instruction Choisissez le diagnostic le plus probable pour les jeunes patients ci dessous Petit guide utile l laboration d examens choix multiples dans le domaine m dical 11 Vignettes cliniques 1 Paul 5 mois est amen la consultation par sa maman Il tousse beaucoup depuis ce matin et sa maman a m me entendu une respiration sifflante certains moments Son tat g n ral est alt r il a de la temp rature 38 8 C et il n a pas voulu manger beaucoup C est la premi re fois qu il pr sente ces sympt mes A l examen clinique il est tachypn ique et l expiration est discr te
39. oins bien r ussi Si par contre le nombre d tudiants qui ont pass l examen est lev le groupe sup rieur peut alors inclure seulement les 25 des tudiants ayant les meilleurs r sultats et le groupe inf rieur les 25 des tudiants ayant les moins bons r sultats Le rapport d analyse des items va montrer pour chaque option de r ponse le pourcentage des tudiants de chaque groupe qui ont choisi cette option Exemples Pour chaque exemple le pourcentage d tudiants qui ont choisi chaque proposition est donn La ligne Total reprend tous les tudiants qui ont pass l examen la ligne Sup rieur reprend le groupe sup rieur cfr explication donn e ci haut et la ligne Inf rieur le groupe inf rieur L ast risque c t de la lettre symbolisant l option montre que c est l option suppos e tre la bonne r ponse Par exemple pour l item n 1 1 du groupe sup rieur a choisi l option A 1 l option B 91 l option C 4 l option D 1 l option E et 2 l option F Par contre dans le groupe inf rieur 20 a choisi l option A 6 l option B La r ponse suppos e correcte est la r ponse B Petit guide utile l laboration d examens choix multiples dans le domaine m dical 25 Item n 1 Options A B c D E F Groupes Sup rieur 1 1 91 4 1 2 Inf rieur 20 6 51 14 6 3 Total 9 2 76 8 3 2 Interpr tation
40. oration d examens choix multiples dans le domaine m dical 18 4 3 5 3 Exemples de QCM mal r dig s 1 L embolie pulmonaire A est toujours associ e de la fi vre B est fr quemment associ e une toux productive C n es observ e chez les non fumeurs D peut toujours tre confondues avec la pneumonie E est trait e par l administration d h parine Probl mes Mauvaise structure g n rale pas de vignette clinique propositions de r ponse plus longues que le corps Pas de question introductive claire Usage de termes impr cis fr quemment et de termes absolus toujours jamai Non homog n it des propositions sympt mes diagnostics facteurs traitements 2 Un homme de 55 ans a le souffle court et des expectorations purulentes TI n a pas d ant c dent d h moptysie ni de douleur thoracique A plusieurs reprises au cours derniers jours il a eu des pisodes de sensation de froid ou de chaud mai s prouv de frisson solennel L examen du thorax r v le une hyperinflation et des bruits respiratoires r duits sans matit ni r le cr pitant mais avec des sifflements dispers s La radiographie thoracique est normale La spirom trie r v le ce s VEMS 1 68 58 pr vu CVF 2 12 75 pr vu Dans la prise en charge du patient vous sugg reriez A antibiotique intraveineux B th ophylline par voie orale C th rapie bronchodilatatrice par inhalation D cesser de fumer E inhibiteur
41. re 20 et 40 nonc s Ecrire les nonc s sur ordinateur permet un grand gain de temps 1 Les r dacteurs doivent relire leurs questions en s imaginant comment ils y r pondraient eux m mes Ils doivent v rifier que les r gles de r daction explicit es dans ce manuel sont respect es et qu ils ont vit de fournir des cues Ils documentent leurs items en pr cisant l objet de chaque vignette par quelques mots cl s en citant si possible une ou plusieurs r f rences de la litt rature permettant de justifier la r ponse correcte et en mentionnant quel objectif ou domaine cfr le blueprint l item correspond L id al est de laisser reposer les 0000 tems r dig s pendant une semaine et les relire ensuite 5 6 V rification en groupe des items Apr s avoir fait r unir nouveau les paires de r dacteurs chaque auteur doit soumettre aux autres les items qu il a crit en les lisant par exemple haute voix Les autres essayeront de r pondre TI faut aussi soumettre au groupe la liste de propositions et la corriger si n cessaire 5 7 V rification par des tiers et des experts Apr s avoir mis en page la liste des questions r dig es il faut les soumettre des tiers sans indiquer la r ponse correcte TI leur sera demand de r pondre aux questions comme passaient l examen Ceci permettra d liminer les questions pour lesquelles plusieurs propositions sont choisies comme r pon
42. s de la leucotri ne par voie orale elle la premi re tape dans la prise en charge les soins long terme du patient ou la th rapie la plus efficace Pas de classement alphab tique des propositions 3 Dans le contexte d un infarctus aigu du myocarde parmi les m dicaments lequel n a pas t prouv comme r duisant la mortalit A m toprolol par voie intraveineuse B activateur du plasminog ne des tissus r par voie intraveineuse C streptokinase par voie intraveineuse D acide ac tylsalicique E nif dipine Probl mes L usage de la forme n gative dans la question ne permet pas de savoir clairement ce que cette question chercher savoir la question v rifie t elle si le candidat sait que la nif dipine ne Petit guide utile l laboration d examens choix multiples dans le domaine m dical 19 r duit pas la mortalit ou que les autres m dicaments le font effectivement Pas de classement alphab tique des propositions 4 Un homme de 60 ans alcoolique est amen au service des urgences par la police qui l a trouv inconscient sur la voie publique Apr s s tre assur que la voie respiratoire est libre la premi re tape du traitement est l administration intraveineuse de A examen du liquide c phalo rachidien B glucose avec vitamine B1 thiamine C CT scan de la t te D ph nytoine E diaz pam Probl mes La question introductive est une phrase dont il manque l
43. se correcte Les questions doivent aussi tre v rifi s par des experts de 2 types D abord des experts du domaine concern v rifient le contenu justesse et appartenance du th me au programme de formation Ensuite des experts en examens QCM v rifieront les questions du point de vue de la forme et de la langue Petit guide utile l laboration d examens choix multiples dans le domaine m dical v v 5 8 Acceptation ou refus des items Les responsables de la r alisation des questions re oivent les questions avec les remarques des experts et d cident d accepter de refuser ou de demander de modifier les questions 5 9 Elaboration de l examen I s agit de s lectionner un chantillon d items pour chaque plainte cfr l exemple ci haut et BE garder les autres pour des examens ult rieurs Ensuite l laboration de l examen suppose la r daction d une instruction standardis e d crivant la m thode la plus s re et la plus conomique de r pondre aux questions cfr exemple donn en annexe 2 Elle doit aussi informer les tudiants de la proc dure d valuation des r ponses Il faut pr ciser si les mauvaises r ponses seront sanctionn es ou vaut mieux r pondre au hasard en cas d incertitude Dans le cas des QCM de type A et R il est recommand de ne pas sanctionner les mauvaises r ponses L tudiant aura donc toujours int r t choisir une proposition de r ponse m me s il doute de sa r ponse Il
44. sion Dans ce cas particulier le m me examen sera donn tous les tudiants tous les niveaux confondus Petit guide utile l laboration d examens choix multiples dans le domaine m dical 10 Dans le type A l nonc est compos dans l ordre suivant E vignette clinique cfr explications donn es plus loin sur la r daction d une vignette clinique BE question et Exemples r f rence n 1 Un adolescent de 15 ans a souffert de deux pisodes de choc anaphylactique s v re suite des piq res d abeilles Laquelle des interventions suivantes serait la plus ad quate Administration de corticost ro des durant l t D sensibilisation avec de l extrait de venin d abeille Interdiction au patient de sortir de la maison durant les mois d t Tenue vestimentaire protectrice Th rapie prophylactique de longue dur e avec des antihistaminiques CRE Un homme de 52 ans pr sente une augmentation de dyspn e et toux avec glaires purulentes depuis 2 jours I fume un paquet de cigarettes par jour depuis 30 ans Sa temp rature est de 37 2 C Les bruits respiratoires sont assourdis avec quelques ronchis et sibilances Le comptage des leucocytes est de 9000 mm3 avec une r partition normale La coloration de Gram des glaires montre de nombreux neutrophiles et des diplocoques Gram n gatif Les radiographies du thorax montrent une hyper inflation Laquelle des propositions suivantes serait le diagnostic le plus pr
45. t chirurgiens du Canada 2003 http www medbev umontreal ca docimo cotonou htm Degryse J De eindproef huisartsgeneeskunde Ontwikkeling en evaluatie van de certificatieprocedure voor huisartsen in Vlaanderen Leuven Katholieke Universiteit Leuven 2003 Petit guide utile l laboration d examens choix multiples dans le domaine m dical 30 10 Annexes 10 1 Formulaire pour la r daction d items manuel de Case et Swanson p 93 r f rence n 1 Th me g n ral par exemple une plainte que pr sente un patient Instruction introductive par exemple pour chaque patient qui pr sente de la fi vre s lectionne le diagnostic le plus probable IN lo E P D Q E R F s G T H U i v J w K x L Y M Z Items crire sur une feuille s par e Petit guide utile l laboration d examens choix multiples dans le domaine m dical 31 10 2 Aide m moire utile AIDE MEMOIRE UTILE A L ELABORATION DE QCM TYPE A ET TYPER QCM type A QCM type R structure g n rale 1 un item ou vignette clinique _ 1 un th me 2 une question B 5 propositions de r ponse B une instruction 12 une liste de propositions 6 26 la plusieurs items ou vignette clinique item ou vignette clinique structure longue propositions structure courte th me annonce le sujet ltem ou vign clin description d un patient formulation claire simp
46. tes masse abdominale douleur abdominale an mie ascite douleur de dos douleur pr cordiale confusion toux retard de d veloppement diarrh e naus es apparition facile d h matomes fatigue fi vre h morragies digestives c phal e prurit ict re douleur articulaire dysfonction sexuelle dyspn e l sions cutan es syncope Petit guide utile l laboration d examens choix multiples dans le domaine m dical o B 5 4 EGHMAHOh d un groupe d enseignants la r daction d items Un groupe d enseignants doit recevoir une formation la r daction d items Lors de cette formation il faut donner une analyse br ve de l objectif de l examen expliquer la proc dure suivre pour la r daction des items r gles respecter et donner des exemples qui illustrent bien les r gles expliqu es Tl faut ensuite diviser le BME d enseignants en paires de r dacteurs d items Pour continuer avec le m me exemple d j pris ci haut il faut attribuer cha plaintes principales Les tapes suivre par les paires de r dacteurs sont par ue paire 2 4 le th me g n ral de leur question en fonction d une plainte l instruction introductive de leur question la liste de propositions une liste de diagnostics des vignettes cliniques de patients en rapport avec la liste de diagnostics en respectant la structure et l ordre des l ments inclure dans chaque item Chaque paire pourrait r diger ent
47. tic A cyanose B dyspn e C h moptysie D sudation E tachycardie Probl mes R p tition de mots dans l nonc et dans les prop 10 Les anesth siques locaux sont plus efficaces sous A la forme anionique et agissant depuis l int rieur de la membrane nerveuse B la forme cationique et agissant depuis l int rieur de la membrane nerveuse C la forme cationique et agissant depuis l ext rieur de la membrane nerveuse D la forme neutre et agissant depuis l int rieur de la membrane nerveuse E la forme neutre et agissant depuis l ext rieur de la membrane nerveuse Probl mes La r ponse correcte contient la majorit des l ments qu ont en commun d autres propositions strat gie de convergence Petit guide utile l laboration d examens choix multiples dans le domaine m dical 21 5 Comment r diger un examen de type QCM tape par tape 5 1 D finitions pr alables TI faut commencer par d finir le domaine tester Ensuite il s agit de d finir l objectif de l valuation Pour rappel les diff rents objectifs d une valuation peuvent tre un objectif de s lection d termination de notes de fin de cycle ou de fin de formation d cision de promotion un objectif de formation indiquer aux tudiants la mati re importante et les mati res o leur tude est insuffisante e un objectif de motivation inciter les tudiants tudier e un objectif de feed bac
48. tit guide utile l laboration d examens choix multiples dans le domaine m dical 4 2 Diff rents types de questions Il existe deux grands types de questions pour l valuation crite le type meilleure r ponse possible et le type vrai faux Dans chacun de ces types de questions il existe des variantes Le type de questions vrai faux exige de l tudiant une t che suppl mentaire Tl doit d cider jusqu quel point une r ponse doit tre vraie pour tre consid r e comme telle Or cette consid ration additionnelle n est probablement pas en relation avec l exp rience et la connaissance cliniques TI s agit souvent de deviner ce que le r dacteur pensait car les propositions ne sont pas totalement fausses ou totalement vraies Case et Swanson dans leur manuel r f rence n 1 d conseillent l utilisation des questions de type vrai faux Le type de questions meilleure r ponse possible est par contre tr s fiable Le nombre de r ponses donner doit tre indiqu En g n ral il n y a qu une seule r ponse choisir Les diff rents types qui existent sont les suivants manuel de Krebs p 5 r f rence n 2 e A choix simple positif parmi cinq propositions de r ponse Exemple Un homme de 64 ans se trouve l h pital avec un emphys me pulmonaire au stade terminal Ces proches constatent qu il les reconna t qu il est lucide et bien orient mais qu il ne s int resse p
49. ts appartenant des groupes ann es de promotions par exemple performants Un tudiant moyen qui a les comp tences requises pour tre un bon professionnel de la sant risquerait d chouer parce qu il fait partie d un groupe d tudiants particuli rement brillants 7 3 M thode absolue Une note de passage absolue se base sur le niveau de performance de l tudiant sans tenir compte de celui des autres tudiants Il n y a pas de comparaison entre le niveau de performance de l tudiant et celui de son groupe lors de la d cision de r ussite ou d chec Il peut par exemple tre d cid que l tudiant doit obtenir une bonne r ponse 60 des questions pour r ussir lexamen Une m thode couramment utilis e est celle d Angoff Les membres du jury vont valuer pour chaque question la probabilit qu un tudiant borderline un tudiant qui serait la limite entre r ussir et chouer r ponde correctement La probabilit va de 0 1 Apr s avoir r vis chaque question et estim cette probabilit la note de passage est calcul e en fonction de la somme des probabilit s obtenue Petit guide utile l laboration d examens choix multiples dans le domaine m dical 28 7 4 Compromis entre une m thode absolue et une m thode relative La m thode d Hofstee est un compromis entre une m thode absolue et une m thode relative Apr s avoir r vis une copie de l examen les valuateurs vont d
50. type A Petit guide utile l laboration d examens choix multiples dans le domaine m dical 3 1 Introduction Ce petit guide vous aidera lors de l laboration de questions choix multiples Il est essentiellement bas sur le manuel crit par Case et Swanson r f rence n 1 dans la bibliographie ainsi que sur le mode d emploi crit par Krebs r f rence n 2 dans la bibliographie Ces deux documents sont disponibles librement sur internet cfr bibliographie pour les liens Ce manuel est volontairement dirig sur l laboration des QCM du type meilleure r ponse possible En effet ce type de questions a largement fait ses preuves de validit et fiabilit si toutefois les r gles de r daction sont respect es et devrait tre favoris lors de toute valuation crite Apr s avoir bri vement rappel l importance de toute valuation dans le cursus des tudes de m decine nous d taillons les r gles de r daction respecter lors de l criture de QCM Ensuite nous reprendrons les tapes n cessaires la r alisation d un examen par QCM L interpr tation des r sultats obtenus par les tudiants est tr s importante pour la v rification et le contr le des questions Ce point sera abord au chapitre 6 Nous terminerons par l explication de la d termination des cotes FERIBSRPEMORS de passage avec les diff rentes m thodes existantes absolue relative ou celle bas e sur un compromis Pe
Download Pdf Manuals
Related Search