GUESS un logiciel pour entraîner à l`auto-estimation de sa
Contents
1. Facilit d utilisation m me pour les profanesde l informatique Pr paration pour les examens sur ordinateur avec degr s de certitude L affichage sur cran est tr scomplet bien pr sent pr cis Lescorrections sont effectu esparune machine impartiale L exercice permet d am liorer l orthographe et le vocabulaire on est captiv attentif le tempspasse vite Originalit confrontation avec une nouvelle d marche Affichage en permanence du timing Le jeu est facile au d but lorsque le hasard intervient beaucoup Ne n cessite pas la pr sence de l exp rimentateur ni d une surveillance lourde valuer ses connaissances correctement permet d am liorer son tude Lescroyancesfausses sont plusp nalis es que l ignorance La dur e est suffisamment longue pour qu on puisse voir un progr s une fois arriv en fin d exercice On est limit par le temps et non par le nombre de questions ce qui nous permet de r fl chir l aise et de penser progresser Avoir peu de temps c est bien car on ne r fl chit pas on part sur sa premi re impulsion la r flexion am ne le doute Annonce r guli re du graphique Possibilit de choisir entre le clavier ou la souris pour r pondre Guessfait appel notre imagination Le mode d emploi est clair il n y a pas de probl mes de compr hension Lieu agr able en ce qui concerne l apprentissage avec un ordinateur On nous oblige nous pr senter un examen d2. Georges Bernard SHAW Nombreux sont maintenant les auteurs tels que BRUNO 1993 HUNT 1993 VAN LENTHE 1993 FABRE 1993 LECLERCQ 1993 DIRKZWAGER 1993 qui la suite de pionniers tels que DE FINETTI 1965 VAN NAERSSEN 1965 SHUFORD et al 1966 pensent qu il est inconcevable de traiter de la m me fa on l ignorance avou e la connaissance insuffisante parce que trop partielle r ponse correcte mais peu s re la connaissance satisfaisante r ponse correcte et assez s re la connaissance totale r ponse correcte et tr s s re la m connaissance sur base d id es fausses ou misconceptions r ponse incorrecte et s re Nous avons d montr LECLERCQ 1983 et 1993 que c est inadmissible du point de vue de l attribution des points car on favorise des pratiques telles que le guessing gt m me quand on utilise la fameuse correction for guessing HUNT 1993 et BRUNO 1993 ont d montr que l ignorance du formateur de l tat de doute de l tudiant tait tr s pr judiciable quant la possibilit de diagnostic et donc de rem diation C est pourquoi nous demandons syst matiquement aux tudiants d accompagner chacune de leur r ponse d un degr de certitude indiquant la confiance probabilit subjective qu il lui accorde La proc dure doit en plus tre conforme la th orie des d cisions Il existe de nombreuses fa ons de recueillir cette certitude ou ce doute Nous les avons
3. ponse correcte c d LA lettre deviner qui vient s afficher au bon endroit du texte sur l cran Il doit ainsi deviner toutes les lettres une une en connaissant les lettres pr c dentes Dans ce jeu certaines lettres sont videmment faciles et d autres difficiles deviner D s la deuxi me lettre deviner il faut tenir compte d une 27e possibilit l espace entre deux mots ou un signe de ponctuation virgule point etc Dans tous ces cas la r ponse fournir est de presser sur la barre d espacement TMar chal de France tu Pavie 1525 La chanson que ses soladats compos rent pour c l brer sa vaillance et qui se terminait par ces vers Un quart d heure avant sa mort il vivait encore est rest e c l bre par sa na vet qu on a injustement attribu e La Palice lui m me d apr s le Dictionnaire Robert 2 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 5 Voici l cran tel que le voit le joueur 1 2 3 Les Lions du Panshir Ken FOLLETT 478 caracteres Jane jeune tudiante anglaise 4 qui vit a Paris 15 5 17 18 20 6 2 3 5 2 0 14 Statistiques Certitude 7 Score apr s 11 6 i gt R ussi R alisme 0 865 5 Coh rence 0 951 Centration 13 91 STE moyenne Moyen Bonne Faible 8 9 11 12 13 10 Commentaires d
4. s le d but de l ann e 49 25 24 18 18 13 10 ND OO BB O1 TOTAL 201 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 15 2 Les appr ciations n gatives 1 2 10 11 12 13 14 15 16 17 18 19 20 21 Le graphique n est pas suffisamment clair et compr hensible 18 Stress d au temps tr s court l impression de devoir rivaliser contre une machine la pr sence d un timing l cran au feedback permanent au nombre minimum de r ponses introduire 15 Une partie des r sultats obtenus au test est due au hasard au d but d un mot on devine les lettres et la chance intervient 14 L exercice est trop souvent interrompu par un message proposant de visualiser les r sultats cela d concentre l utilisateur le coupe dans son lan 5 Le tableau desr sultatsest difficile comprendre 11 Tout le monde n est pas familiaris avec le maniement de l ordinateur ce qui peut influencer les r sultats 10 Comment interpr ter les r sultats Quelle est l utilit des diff rents indices Il n y a pas de conclusion suffisamment claire pour donner du sens l exercice 10 I n y a pas d explication quant au but du jeu sans la personne sur place on ne peut pas commencer l exercice 9 L impression d tre catalogu alors qu il n est pas certain que l on
5. amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 VAN NAERSSEN RF amp VaN BEAUMONT R 1965 Ervaringen met enn Zekerheidsaanduiding bij objektieve Tentamens Nederlands Tijdschrift Psychologie 20 1965 208 315 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 20
6. d crites ailleurs LECLERCQ 1993 Quelques unes d entre elles constituent ce que SHUFORD et al 1966 appellent des Admissible Probability Measurement Procedures o la consigne est probabiliste Non pas peu s r mais certitude comprise entre 25 et 50 et o le bar me des tarifs avantage le fait d exprimer son doute ou sa certitude sans biais 4En anglais Before Christ 5To guess signifie deviner et non r pondre au hasard 6Cette correction consiste quand on donne un point par r ponse correcte retirer 1 k 1 par erreur k tant le nombre de solutions propos es Ainsi avec une question VRAI FAUX 2 solutions on retire 1 point avec une QCM 3 solutions on retire 1 2 point avec 4 solutions on retire 1 3 point etc D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 2 B CONSIGNE CONCERNANT LES DEGRES DE CERTITUDE Vous devez accompagner chaque r ponse d un des degr s de certitude suivants 507 25 Si vous consid rez que votre Ecrivez Vous obtiendrez les points r ponse a une probabilit suivants en cas de r ponse d tre correcte comprise entre Correcte Incorrecte 0 et 25 0 13 4 25 et 50 1 16 3 50 et 70 2 17 2 70 et 85 3 18 0 85 et 95 4 19 6 95 et 100 5 20 20 C LA JUSTIFICATION DU BAREME DE TARIFS Le bar me des tar
7. obtenue en joignant le tarif en cas de r ponse correcte au tarif en cas de r ponse incorrecte Remarquez pour quelle zone de 0 100 chaque oblique surplombe toutes les autres 50 70 85 100 Certitude 0 Certitude 1 Certitude 2 Certitude 3 Certitude 4 Certitude 5 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 4 D LE NON HASARD ET LA NECESSITE de s entra ner l estimer Les tudiants n ont pas l habitude de r pondre des QCM encore moins en les accompagnant de degr s de certitude Parce que h las on ne les y a pas habitu s comme l auraient dit les Soldats de La Palice 7 Les m t orologistes eux sont quotidiennement oblig s de faire des pr dictions dont ils ont la confirmation ou l infirmation le lendemain et ce 365 fois par an Une des premi res tudes syst matiques sur le r alisme des pr dictions a d ailleurs t effectu e par COOKE 1906 sur 1951 pr dictions du temps du lendemain par des m t orologistes pr dictions accompagn es d un degr de certitude sous la forme d expressions verbales telles que A peu pr s certain code 5 Probabilit normale code 4 Il existe un doute code 3 etc Les pr dictions accompagn es de la certitude 5 se confirmaient 98 la certitude 4 94 la certitude 3 77 d apr s LICHTENSTEIN et al 1977 On
8. voit que ces m t orologistes se sont montr s COHERENTS plus ils sont s rs plus leur taux d exactitude est lev la coh rence se mesure par la corr lation entre ces deux variables certitude et r ussite Par contre il est impossible de savoir s ils taient REALISTES et ce par faute de la consigne qui n tait h las qu ordinale Il aurait fallu que la consigne demande de pr ciser non pas si la pr diction tait peu pr s certaine mais par exemple selon la consigne d crite en section B qui elle est une consigne m trique Mais aucun d entre nous n a t amen se pr ter syst matiquement ce genre d exercice Quel serait notre r alisme dans un tel cas Nous sous estimerions nous Nous surestimerions nous Pour le savoir chacun doit avoir essay C est pourquoi nous avons d velopp le jeu GUESS qui se joue l aide d un ordinateur Ce jeu est inspir du SHANNON Guessing Game 1951 d crit dans LECLERCQ 1983 Il a t programm par Michel HURARD licenci en informatique de l Universit de Li ge E LES REGLES DU JEU GUESS Le joueur doit deviner les lettres successives d un texte d au moins 100 lettres souvent plus extrait d un crit de la litt rature fran aise L tudiant doit taper chaque fois une des 26 lettres de l alphabet au clavier Il doit accompagner cette r ponse cette pr diction d un degr de certitude avec la consigne ci dessus Il est ensuite inform de la r
9. GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive D LECLERCQ amp J L GILLES3 Service de Technologie de l Education S T E Facult de Psychologie et des Sciences de l Education F A P S E de l Universit de Li ge Communication pr sent e au Colloque ESIEE Les auteurs tiennent remercier Michel HURARD licenci en informatique qui a programm le logiciel dans le langage TOOLBOOK Service de Technologie de l Education Universit de Li ge Assistant la Facult de Psychologie et des Sciences de l Education Universit de Li ge TN ESIEE GUESESIE DOC A LA METACOGNITION UN DESERT PEDAGOGIQUE Habituellement les enseignants ne s occupent pas de la m tacognition des tudiants C est selon nous parce qu ils manquent de th ories et de techniques ad hoc Dans son article de 1993 Emir SHUFORD met en exergue trois maximes The most useful piece of learning L apprentissage le plus utile for the uses of life pour la vie is to unlearn what is untrue est de d sapprendre ce qui est faux ANTHISTENES 445 365 B C 4 It s not what you don t know that hurts you Ce qui nous pose des probl mes ce n est pas It s what you thing is so that isn t ce que nous ignorons C est ce que nous savons Mark TWAIN mais qui est faux Beware of false knowledge M fiez vous de la connaissance erronn e It is more dangerous than ignorance Elle est plus dangereuse que l ignorance
10. ON est si la diff rence est sur 311 tudiants IDEALE 0 1 1 LA COHERENCE est si la corr lation sur est 311 tudiants IDEALE O o OA E 0 EXCELLENTE BONNE entre 0 93 et 0 96 LE REALISME est si l index est sur RE RE ee tudiants IDEAL 1 1 MINIMAL en OE D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 11 I L EVOLUTION DU REALISME MOYEN sur 10 tudiants AU COURS DU TEST nbre r p r alisme r alisme 1 5 du r alisme 2 5 du r alisme 3 5 du r alisme 4 5 du r alisme d but nbre de r ponses nbre de r ponses nbre de r ponses nbre de r ponses fin Evolution du r alisme 0 9 0 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 0 1 30 60 90 120 150 Apr s 3 5 du nombre de r ponses soit environ 90 questions le r alisme atteint peu pr s 0 80 On note aussi que certains tudiants ont atteint tr s t t un indice de r alisme lev C est le cas des tudiants 257 256 et 248 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 12 J EVOLUTION DE LA COHERENCE MOYENNE AU COURS DU TEST nbre r p coh rence coh rence 1 5 du coh rence 2 5 du coh rence3 5 du coh rence 4 5 du coh rence d but nbre de r ponses nbre
11. apr s 10 essais seulement En fait le maitre du jeu peut seul fixer apr s combien d essais on peut voir l volution L cran ci dessous montre l volution de l indice de r alisme d un joueur apr s 10 essais En abscisse apparaissent le nombre de r ponses fournies et en ordonn e les valeurs de l indice de r alisme Celui ci peut aller 1 parfait 4 catastrophique L accus e Evolution du r alisme Voici l volution des trois indices au cours de 100 r ponses successives d une m me personne un texte donn ici Le beau rivage D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 9 Le beau rivage Evolution du realisme Le beau rivage Evolution de la coherence J Le beau rivage Evolution de la centration D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 10 H LA SIGNIFICATION DES INDICES DE LA QUALITE DE L AUTO ESTIMATION A titre de rep res voici les valeurs des indices calcul s a partir des r ponses de 311 tudiants universitaires a une preuve de Psychologie ducationnelle comportant 80 questions D LECLERCQ 1992 LA CENTRATI
12. de r ponses nbre de r ponses nbre de r ponses fin Evolution de la coh rence 0 9 0 8 0 7 0 6 0 5 0 4 0 3 0 2 0 1 0 30 60 90 120 150 Une coh rence proche de 1 ou gale 1 est souvent obtenue par des tudiants l tudiant 250 par exemple qui n utilisent que deux degr s de certitude et dont par cons quent l acuit non tudi e ici est faible Cette strat gie gonfle la moyenne des scores de coh rence Cet indice ne devrait tre calcul qu partir des r sultats d tudiants ayant une bonne acuit On constate que les tudiants se r partissent en deux groupes ceux qui d s la 30e r ponse ont d j un coh rence lev e les tudiants 257 256 254 248 et les autres L exercice b n ficie donc plus certains tudiants qu d autres D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 13 K EVOLUTION DE LA CENTRATION AU COURS DU TEST nbre r p centration centrationa1 5du centration a 2 5 du centration a 3 5 du centration 4 5 du centration d but nbre de r ponses nbre de r ponses nbre de r ponses nbre de r ponses fin 257 Evolution de la centration 0 2 0 15 0 1 0 05 0 05 0 1 0 15 Il est int ressant de constater que la surestimation rapport e par de tr s nombreux auteurs dans la litt rature BRUNO DENEF FABRE GATHY LECLERCQ in LECLERCQ a
13. e cet cran 1 Titre du texte original que le joueur essaye de deviner 2 Nom de l auteur 3 Nombre total de caract res 4 Fen tre d affichage du texte les r ponses correctes attendues Les lettres soulign es rappellent que la r ponse du joueur avait t INCORRECTE 5 Clavier o la touche vaut pour tous les espaces et signes de ponctuation la fl che arri re sert corriger la lettre choisie avant d avoir introduit le degr de certitude 6 Affichage des codes de certitude et du bar me des tarifs en cas de r ponse correcte au dessus et incorrecte en dessous Le joueur fournit son degr de certitude en pressant une de ces 6 zones 7 Score moyen ramen sur 20 quel que soit le nombre de questions d j pos es 8 Nombre de r ponses caract res d j fournies 9 Certitude moyenne en ici 46 10 R ussite moyenne en ici 50 le joueur s est donc TRES LEGEREMENT sous estim D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 6 11 Indice de R alisme et commentaire sur sa qualit maximum 1 12 Indice de Coh rence et commentaire sur sa qualit maximum 1 13 Indice de Centration n gative si le joueur se SURESTIME positive s il se SOUS ESTIME nulle dans l id al Dans cet exemple Centration R ussite moyenne Certitude
14. ent amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 19 LICHTENSTEIN D FISCHHOFF B PHILLIPS L D Calibration of probabilities the state of the art decision making and change in human affairs in Proceedings of the Fifth Research Conference on Subjective Probability Utility and Decision Making Darmstadt 1 4 September D Reidel 1977 MURPHY A H amp WINKLER R L Subjective Probability forecasting experiments in meteorology some preliminary results Bulletin of the American Meteorological Society 55 1974 1206 1216 PITZ G F Subjective Probability Distribution for imperfectly Known Quantities in L W GREGG Ed Knowledge and Cognition New York Wiley 1974 SHANNON C E Prediction and entropy of printed English Bell Syst Techn J 30 1951 50 64 SHUFORD E H In Pursuit of the Fallacy Resurrecting the Penalty in LECLERCQ amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 SHUFORD E ALBERT A amp MASSENGILL N E 1966 Admissible probability measurement procedures Psychometrika 31 1966 125 145 VAN LENTHE J The Development and Evaluation of ELI an Interactive Elicitation Technique for Subjective Probability Distributions in LECLERCQ
15. entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 16 22 La fen tre d affichage du texte est trop petite 2 23 Pasde d finition destermes coh rence r alisme centration z 2 24 Lorsqu on utilise la souris pour encoder des lettres les temps de z r action de l ordinateur sont plus lents 2 25 L exercice n est pasbas sur des mati resde cours 2 26 L cran est trop charg 2 27 Le score devrait tre tabli sur 20 2 28 Les fautes d orthographe qui subsistent dans le texte influencent le score 1 29 Le graphique ne permet pas de visualiser la progression pendant le jeu 1 30 Ne reproduit pas le contexte de l examen o on est limit aussi E par le nombre de questions 31 L affichage du bar me despointsd concentre l utilisateur E 1 32 Le test ne propose pasgrand chose de concret 1 33 Quelle est la validit du r sultat final tant donn la variabilit de la coh rence du r alisme de la centration pendant le test 1 34 Le jeu devrait consister trouver un mot plut t qu une lettre 1 35 Le point de d part du jeu est trop vague et laiss au hasard 5 n importe quelle lettre peut convenir j 36 Jeu trop monotone 1 37 On devrait pouvoir effectuer une 2 me tentative avec un autre 3 texte 1 38 Exercice effectu en dehorsdesheuresde cours 1 p 39 On joue la prudence puison prend trop confiance 1 40 Mesr sultatsn ont pas t imprim s 1 41 Les traitements i
16. ifs peut vous para tre bizarre Il a t calcul de mani re ce que P P DIRELA VERITE soit la strat gie qui rapporte le plus de points ceux qui s auto valuent bien c est dire qui sont REALISTES ni surestimation flagrante ni sous estimation norme gagnent le plus de points Attention 4 20 est un score positif mais il est cependant l indication d une note insuffisante puisque inf rieur 10 20 La majorit des tudiants s auto estimant bien avec r alisme sont g n ralement avantag s par les degr s de certitude c est dire que leur score ainsi calcul est meilleur que s il avait t calcul sur la seule base de la correction for guessing c est dire le nombre de r ponses correctes diminu de la p nalit 1 k 1 o k le nombre de solutions propos es pour chaque erreur c est dire retrait de 1 point en cas de VRAI FAUX 1 2 point pour 3 solutions propos es 1 3 point pour 4 solutions propos es 1 4 point pour 5 solutions propos es 1 5 pour 6 solutions propos es etc D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 3 Les six obliques ci apr s constituent les esp rances math matiques du score une question pour chacun des six degr s de certitude choisis tant donn le continuum de 0 a 100 des certitudes ressenties Chacune des six obliques est
17. l Psychology 18 1965b 87 123 DIRKZWAGER A The Dependability of Test Scores Generalizability Theory and Hierarchical Linear Models in LECLERCQ amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 FABRE J M Subjective Uncertainty and the Structure of the Set of all Possible Events in LECLERCQ amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 HUNT D P Human Self Assessment Theory and Application to Learning and Testing in LECLERCQ amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 LECLERCQ D Confidence Marking its use in testing in POSTLETHWAITE CHOPPIN Eds Evaluation in Education Oxford Pergamon 1982 vol 6 2 161 287 LECLERCQ D Mesurer la connaissance partielle et le r alisme par les degr s de certitude in Actes du Colloque International Formation Evaluation S lection par Questionnaires Ferm s Marne La Vall e mars 1988 vol 1 306 316 LECLERCQ D amp GILLES J L Hyperm dias teaching through assessment in D LECLERCQ et J BRUNO Eds Item Banking Self Assessment amp Interactive Testing NATO ARW Conference in Li ge October 1992 Berlin Springer Verlag LECLERCQ D Validity Reliability and Acuity of Self Assessment in Educational Testing in LECLERCQ amp BRUNO Item Banking Self Assessm
18. moyenne 4 50 46 14 Tableau de r partition ot RC r ponses correctes avec un degr de certitude donn RA nombre de r ponses fournies avec un degr de certitude donn TE taux d exactitude en TE RC TOT x 100 par degr de certitude 15 Graphique de Coh rence La droite des moindres carr s du joueur montre sa tendance Plus ses taux d exactitude les carr s sont proches de cette droite ou s alignent sur cette droite plus le joueur est COHERENT avec lui m me L indice math matique de coh rence est calcul par la corr lation des taux d exactitude Centration Le petit cercle d fini par la certitude moyenne en abscisse et l exactitude moyenne en ordonn e L indice de centration est calcul par la diff rence entre ces deux valeurs R alisme Les carr s sont ils proches de la diagonale lieu o la r alit et la pr diction co ncident Si la zone du carr taux d exactitude d un degr de certitude entour de ses limites de confiance c est dire une Erreur de Mesure ajout e vers le haut ET une erreur de mesure ajout e vers le bas ne recouvre pas la diagonale il y a sous estimation ou surestimation Des taux d exactitude de 0 et 100 ne permettent pas de calculer d erreur de mesure et donc ne permettent pas d afficher des limites de confiance La formule de l indice de r alisme est 1 5ERR avec A Z i TE CV NU ERR D NA o TE Tau
19. mp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 fait place apr s 30 questions seulement une strat gie de prudence l g re sous estimation Soulignons qu il s agit d un testing interactif et que l tudiant est inform de la qualit de sa performance donc de sa certitude apr s CHAQUE r ponse ce qui n est pas le cas dans les tests papier crayon D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 14 L LES AVIS DES ETUDIANTS Chaque tudiant a re u un questionnaire lui demandant les aspects positifs et les aspects n gatifs de cette exp rience du logiciel Nous supportons ici m me des avis peu fr quents car ils pourraient servir dans la fabrication ult rieure d un questionnaire ferm a choix 1 Les appr ciations positives 1 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Permet de s entra ner l auto estimation avec les degr s de certitude de mieux comprendre les notions li es aux degr s de certitude sur estimation sous estimation r alisme coh rence centration d agir avec logique Aspect imm diat permanent et complet du feedback propos pendant le jeu Offre la possibilit de se familiariser avec le maniement d un ordinateur L exercice propos est amusant ludique sympathique
20. nformatiques ne peuvent pas tre appliqu s des questions ouvertes 1 42 Deserreursde programmation sont toujours possibles a 1 43 llfaudrait un test o on est moinstrop s r la fin d un mot E 1 44 Manque de contact humain i 45 Pasint ressant pour lesr p tants 1 46 J ai perdu du temps car personne n tait la pour remettre mon J ordinateur sur la bonne voie 1 47 La fa on dont les erreurs sont visualis es trait rouge soulign n est pas assez voyante f TOTAL 185 Bien des critiques nous indiquent les am liorations apporter la consigne aux explications de d part au logiciel aux textes etc D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 17 M CONCLUSION Bien que l analyse des donn es soit largement incompl te 10 tudiants sur 200 il appara t d j que ce petit jeu remplit des fonctions formatives de fa on assez satisfaisante Les remarques et critiques des tudiants sont particuli rement pr cieuses pour l am liorer Il faudra encore attendre que ces m mes tudiants aient t confront s un test r el pour savoir s ils y obtiennent de meilleurs indices de coh rence de r alisme de centration que leurs pr d cesseurs non entra n s avec GUESS Si oui ils devraient galit de r ponses correctes recevoir plus de points et donc tre pay s pour cette c
21. omp tence m tacognitive accrue D ontologiquement il nous para t imp ratif d offrir une telle possibilit d exploration non p nalisante aux tudiants novices dans cette estimation de comp tences 8 GUESS est disponible au STE voir conditions aupr s des auteurs D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 18 Bibliographie ATTNEAVE F Application of Information Theory to Psychology New York Holt Rinehart and Winston 1959 BOXUS E CHECK Une banque de question interactive in Actes du Colloque Les questionnaires automatisables Marne La Vall e ESTEE mars 1992 31 49 BOXUS E LECLERCQ D OSTERRIETH S WUIDAR H Principes communs pour valuer les r sultats cognitifs de la formation Bruxelles Commission des Communaut s Europ ennes EUROTECNET 1991 BRUNO J E Using Testing to Provide Feedback to Support Instruction A Reexamination of the Role of Assessment in Educational Organizations in LECLERCQ amp BRUNO Item Banking Self Assessment amp Interactive Testing NATO ARW Berlin Springer Verlag 1993 DE FINETTI B La d cision et les probabilit s Revue des Math matiques Pures et Appliqu es Bucarest 1965a 405 413 DE FINETTI B Methods for Discriminating levels of partial knowledge concerning a test item British Journal of Mathematical and Statistica
22. puisse tablir le m me jugement dans d autres t ches et dans notre fa on d agir dans la vie de tous les jours 7 L exercice ne tient pas compte du bagage culturel de l utilisateur de l tendue de son vocabulaire c est plus difficile pour un tranger 7 La dur e est trop longue ce qui provoque des probl mes de concentration chez certains la fin on crit n importe quoi Le bar me 4 20 c est trop pour une ignorance totale la perte de points avec la certitude 5 est trop grande difficile de n remonter quand on a perdu beaucoup une moyenne de notes sup rieures 20 peut cacher une lacune importante Les textes propos s n ont pas tous le m me niveau de difficult certains comportent des dates des noms propres et les r sultats sont influenc s par la difficult du texte llest impossible de passer une question et d y revenir par la suite Apr s un signe de ponctuation on est certain qu il y a un espace ce qui entra ne toujours une r ponse correcte avec un degr de certitude maximum et cela fausse les r sultats L exercice n est pasprisau s rieux car c est un jeu Textespeu int ressants bizarres smplistes Aspect nouveau et trange de l exercice On ne visualise pas les pourcentages li s aux 6 degr s de On ne peut pasjustifier sa reponse Am ne jouer la carte de la prudence lors d un examen D ND D ND WwW D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour
23. x d Exactitude de la certitude 1 VC Valeur centrale NU Nombre d utilisations NR Nombre d erreurs ERR Somme des carr s des erreurs REALISME 1 5ERR D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 7 F UNE VARIANTE A c t du jeu GUESS lettres existe une variante GUESS PAYS cr e par Michel HURARD La question appara t en haut gauche de l cran les certitudes en haut a droite Le joueur fournit sa r ponse en d signant un pays clic d clic l aide de la souris N B le clic maintenu sans d clic permet d identifier pr cis ment les pays qui s illuminent Statistiques apr s w australie i camberra Contrairement au jeu pr c dent le graphique de r alisme n appara t pas dans la m me fen tre que la fen tre de questions L une fait dispara tre l autre D LECLERCQ amp J L GILLES Colloque ESIEE GUESS un logiciel pour entra ner l auto estimation de sa comp tence cognitive Marne La Vall e D cembre 1994 page 8 G LE GRAPHIQUE D EVOLUTION DE L INDICE DE REALISME Lorsque le joueur met sa premi re r ponse son r alisme peut tre tr s bon ou tr s mauvais mais au cours des r ponses successives on observe une tendance tendance se stabiliser vers des valeurs lev es C est pourquoi il vaut mieux ne visualiser son r alisme qu
Download Pdf Manuals
Related Search