La théorie de la généralisabilité appliquée à un instrument
Contents
1. Xx Le m me proc d peut naturellement aussi tre appliqu a chacune des deux sous chelles On obtient alors deux scores distincts qui concernent l un l attitude des l ves face leurs exp riences d apprentissage de l allemand l autre l attitude face la langue et aux aspects qui lui sont associ s Les deux sous chelles donnent ainsi lieu des r sultats compris respectivement entre 16 et 64 et entre 12 et 48 points Cet instrument a t administr deux fois un chantillon d environ 400 l ves du Cycle d orientation au d but et la fin de la 7e ann e premier degr de l enseignement secondaire I Les l ves ont t recrut s dans deux des 17 tablissements du canton et appartenaient soit la fili re pr gymnasiale orientation conduisant vers des tudes longues soit la fili re non gymnasiale orientation conduisant plut t vers une formation de type professionnel Le but de la recherche tait d tudier l volution des attitudes entre les deux moments consid r s Sans entrer dans les d tails car ce n est pas l objectif de notre pr sentation signalons que globalement nous avons constat une baisse du niveau moyen d attitude d environ 9 points 67 7 et 58 7 Il semblerait donc qu au terme de l ann e scolaire l attitude des l ves soit sensiblement moins positive qu elle ne l tait au d but diff rence statistiquement tr s significative Le coefficient de Cronbac2. These data are collected by various instruments tests questionnaires scales which have to be conceived so as to ensure satisfactory precision and reliability of the measures or informations obtained Enlarging the classical concept of reliability the theory of generalizability makes it possible to verify to what extent the device respects these basic requirements It determines in particular whether the informations obtained have a general validity beyond the specific conditions under which they were produced The theory of generalizability is therefore not a method of data analysis in the proper sense Its purpose is rather to ensure that data possess the required metrical characteristics allowing further utilisation with sufficient security be it for decisions taken on the ground of these measures or for statistical treatment factor analysis analysis of variance etc The aim of the present article is to illustrate the interest and the contribution of generalizability theory for the verification of the technical qualities of a research instrument We show different applications of this method in the case of a scale designed to measure attitudes toward German language learning of pupils in lower secondary schools 18
3. nonce une opinion traduisant une attitude positive ou n gative favorable ou d favorable face aux diff rents aspects qui viennent d tre num r s Pour chaque nonc l l ve exprime son degr d adh sion ou de rejet au moyen d une chelle qui comporte quatre modalit s de r ponse tout fait ou assez d accord plut t ou tout fait en d saccord avec l opinion correspondante Voici titre d illustration deux items l un exprimant une opinion positive et l autre une opinion n gative qui figurent dans instrument En classe d allemand je fais volontiers les exercices que l enseignant nous donne Premi re sous chelle cat gorie 3 L allemand est une langue d sagr able entendre Deuxi me sous chelle cat gorie 7 Par un proc d de codage pr voyant l attribution aux diff rents items d une note comprise entre 1 et 4 selon le sens positif ou n gatif de l opinion et la r ponse du sujet nous avons tabli un score d attitude pour chaque individu situ sur une chelle allant d un minimum de 28 un maximum de 112 points Ainsi un score sup rieur 70 point central de l chelle est cens traduire une attitude globale positive d autant plus nette que la valeur num rique du r sultat est lev e En revanche les scores situ s sur la partie inf rieure de l chelle r v lent une attitude plut t n gative d autant plus marqu e que la valeur num rique est faible
4. Dans cette perspective l attention port e aux qualit s techniques d un instrument et notamment sa fid lit avait principalement pour but de d terminer son aptitude fournir une mesure pr cise fiable fid le des caract ristiques individuelles consid r es Plusieurs techniques taient alors mises en oeuvre qui n avaient pas a priori de lien direct les unes avec les autres et dont chacune permettait d tudier un aspect particulier de l instrument la stabilit des r sultats obtenus des moments diff rents l quivalence de diverses versions dites parall les ou l homog n it du r pertoire d items qui le composent consistance interne Toutes ces techniques reposaient directement ou indirectement sur l application de m thodes corr lationnelles de ce fait elles prenaient en consid ration uniquement la situation des individus les uns par rapport aux autres leurs positions relatives sur l chelle de mesure et non la valeur effective de leur score ou de leur r sultat positions absolues Dans le cas d instruments dont tous les items devaient permettre d appr hender une m me caract ristique non directement accessible l observation aptitude attitude motivation int r t etc la proc dure la plus courante tait celle qui consistait tudier leur consistance interne On calculait alors le coefficient alpha a de Cronbach dont on peut montrer qu il constitue une sorte de moyenne des d
5. la mesure Berne Peter Lang Cardinet J Tourneur Y amp Allal L 1976 The symmetry of generalizability theory applications to educational measurement Journal of Educational Measurement 13 2 119 135 Cronbach L J Rajaratnam N amp Gleser G C 1963 Theory of generalizability a liberalization of reliability theory British Journal of Mathematical and Statistical Psychology 16 2 137 163 Cronbach L J Gleser G C Nanda H amp Rajaratnam N 1972 The dependability of behavioral measurements Theory of generalizability for scores and profiles New York Wiley Cronbach L J Linn R L Haertel E H 1997 Generalizability analysis for performance of student achievement or school effectiveness Educational and Psychological Measurement 57 3 373 399 15 Anwendung der Generalisierbarkeitstheorie auf eine Einstellungsskala zum Fremdsprachenlernen Zusammenfassung In verschiedenen Bereichen der Geistes und Sozialwissenschaften haben Forscher und Praktiker mit quantitativen Daten zu tun Das Erheben dieser Daten mittels Tests Pr fungen Frageb gen Beobachtungsrastern verlangt nach einem geeigneten Verfahren das die Zuverl ssigkeit der eingeholten Informationen bescheinigt Die Generalisierbarkeit erweitert den klassischen Begriff der Zuverl ssigkeit und erlaubt eine Antwort auf folgende Fragen Sind die erhobenen Daten pr zise genug Sind sie unabh ngig von den eingesetzten Messins
6. me sous chelle il en va tout autrement pour les deux fili res car les fluctuations al atoires de l Echantillonnage sont beaucoup trop importantes par rapport a la diff rence observ e entre les moyennes des deux groupes Dans ce deuxi me cas l instrument se r v le donc inapte fournir une estimation fiable des r sultats et cette conclusion s applique tout autant l valuation de l cart s parant les deux fili res diff rence de 3 4 points selon les r sultats de notre tude qu celle du niveau moyen d attitude pour les l ves de chaque orientation respectivement 64 9 et 61 5 Sur la base de ces r sultats on peut donc conclure qu un instrument de recherche n est pas un outil bon tout faire Il est en effet frappant de constater quel point ses qualit s techniques peuvent se modifier en fonction des objets soumis la mesure et des conditions dans lesquelles cette mesure est r alis e R f rences bibliographiques utiles Bain D amp Pini G 1996 Pour valuer vos valuations La g n ralisabilit mode d emploi Gen ve Centre de recherches psychop dagogiques du Cycle d orientation Brennan R L 1992 Elements of generalizability theory 2nd ed Iowa City IA ACT 14 Cardinet J 1998 Von der klassischen Testtheorie zur Generalisierbarkeitstheorie der Beitrag der Varianzanalyse Education et recherche 20 2 1998 271 288 Cardinet J amp Tourneur Y 1985 Assurer
7. o alle osservazioni ottenute un grado di affidabilita e di precisione soddisfacente La teoria della generalizzabilita un modello statistico che permette di verificare in che misura il dispositivo utilizzato rispetta questa esigenza fondamentale determinando in particolare se le informazioni raccolte presentano une validit generale che trascenda le condizioni specifiche e contingenti nelle quali esse sono state prodotte La teoria della generalizzabilit non dunque un metodo di analisi dei dati nel senso usuale del termine Il suo obiettivo piuttosto quello di determinare se i dati raccolti presentano un grado di precisione tale da garantire al loro impiego la sicurezza necessaria tanto sul piano dell azione decisioni consecutive a certe forme di valutazione per esempio che per quanto riguarda il ricorso a diverse analisi statistiche Lo scopo dell articolo di mostrare i vantaggi ed i contributi di questo metodo per verificare le qualit techniche e metodologiche di uno strumento di ricerca Questo aspetto del problema illustrato considerando i resultati di un indagine condotta per analizzare l atteggiamento degli allievi riguardo allo studio del tedesco durante l insegnamento secondario I 17 Generalizability theory applied to an attitude scale concerning foreign language learning Summary In different fields of the humanities and social sciences researchers and practitioners are confronted with quantitative data
8. un double regard sur la qualit des mesures fournies par un instrument Le premier reprend dans son principe mais avec des moyens plus puissants et plus f conds la logique de la d marche traditionnelle car il s int resse toujours la stabilit des positions individuelles au sein de plusieurs distributions par exemple les positions d un ensemble d l ves en fonction des r sultats obtenus aux diff rents items d un test de connaissances Le deuxi me en grande partie nouveau concerne en revanche la pr cision des mesures en tant que telles c est 3 dire la stabilit des scores eux m mes lorsqu on passe d un item l autre a l int rieur d un m me instrument La th orie de la g n ralisabilit conduit donc au calcul de deux indices et non plus d un seul qu on appelle pr cis ment des coefficients de g n ralisabilit Vun relatif et l autre absolu Ainsi un instrument peut pr senter des caract ristiques m triques excellentes quant son aptitude classer de mani re fiable un ensemble d individus c est ce que le coefficient relatif permet de d terminer mais des caract ristiques beaucoup moins satisfaisantes quant la possibilit de fournir une estimation exacte pr cise fiable du niveau effectif atteint par ces m mes individus coefficient absolu Sur un plan plus conceptuel la th orie de la g n ralisabilit enrichit consid rablement le point de vue instaur par l approche classique en
9. 979 Ph 0 702 Comme on s en aper oit ais ment le coefficient relatif est particuli rement lev On peut donc conclure que le dispositif permet de situer avec pr cision les deux moyennes l une par rapport l autre Puisque dans ce cas deux mesures seulement sont effectu es une pour chaque moment la conclusion de l analyse peut tre formul e tr s simplement de la mani re suivante le dispositif instrumental fournit une estimation tout fait fiable de l cart entre les r sultats moyens obtenus au d but et la fin de l ann e scolaire Rappelons ce propos que nous avions observ une diminution du niveau moyen d attitude d environ 9 points entre les deux moments Or les r sultats de l analyse indiquent que cet cart est valu de mani re pr cise l estimation n tant que tr s 11 l g rement affect e par les fluctuations imputables au choix al atoire des tablissements des l ves et des items On dira donc que la diff rence observ e ne d pend pas ou seulement de fa on n gligeable des r pertoires d tablissements d l ves et d items retenus dans le cadre de cette tude Selon les principes classiques du raisonnement inf rentiel dont la forme est ici plus proche de la d marche d estimation que de celle qui est la base des tests d hypoth se usuels on peut donc conf rer cette diff rence un caract re une validit une port e g n ral e Le coefficient absolu est en r
10. La th orie de la g n ralisabilit appliqu e a un instrument de mesure des attitudes face l apprentissage d une langue trang re Gianreto Pini amp Dagmar Hexel Dans de nombreux domaines en sciences humaines et sociales chercheurs et praticiens sont amen s r colter et traiter des donn es quantitatives La collecte de ces donn es au moyen de tests d preuves de questionnaires de grilles d observation ou d analyse exige la mise en place d un dispositif appropri dont le but est d assurer la fiabilit des informations que l on se propose d obtenir largissant la notion classique de fid lit la th orie de la g n ralisabilit permet de r pondre des questions du type les mesures dont on dispose sont elles suffisamment pr cises sont elles ind pendantes des instruments utilis s pour les recueillir sont elles g n ralisables l ensemble des conditions d observation possibles dont chaque dispositif ne peut consid rer qu un chantillon particulier La theorie de la g n ralisabilit n est pas une m thode d analyse au sens habituel du terme son objectif est plut t de v rifier si les donn es poss dent les caract ristiques m triques n cessaires pour qu une utilisation ult rieure puisse tre envisag e avec une s curit suffisante tant sur le plan de l action d cisions cons cutives une d marche d valuation par exemple qu en ce qui concerne diff rents traitements s
11. ement du nombre total d observations mais galement et parfois surtout des crit res selon lesquels ces observations sont chantillonn es La fiabilit de l instrument une notion relative Le dernier aspect que nous aborderons ici permet d illustrer un point d j voqu pr c demment selon lequel les qualit s d un dispositif instrumental ne sont pas donn es une fois pour toutes mais d pendent du type de mesure que l on se propose d obtenir 13 Comme nous venons de le montrer notre instrument fournit des mesures relatives d excellente qualit mais des mesures absolues nettement moins satisfaisantes lorsqu on souhaite appr hender le niveau d attitude des l ves au d but et la fin de l ann e scolaire Imaginons maintenant que ce m me instrument soit utilis pour estimer le niveau d attitude des l ves a dans chacun des deux domaines attitude face aux exp riences d apprentissage de allemand et face la langue en tant que telle b dans chacune des deux fili res pr gymnasiale et non gymnasiale Voici les r sultats fournis par le logiciel d analyse a Concernant les deux domaines Pa 0 905 p we 0 809 b Concernant les deux fili res Pej 0 509 pps 0 226 On peut ainsi constater que si le dispositif diff rencie de mani re satisfaisante les domaines d attitude aussi bien sur le plan relatif qu absolu moyennes de 35 0 et 28 2 respectivement pour la premi re et la deuxi
12. en que parfois co teux sur le plan pratique pour stabiliser l estimation d un param tre relatif une population qui pr sente une variabilit importante En effet puisque la pr cision de l estimation est proportionnelle Vn elle sera d autant plus satisfaisante que l effectif de l chantillon est lev Or un des avantages de la g n ralisabilit r side dans le fait qu elle permet travers une simulation effectu e sur la base des donn es disponibles d estimer le coefficient que l on devrait obtenir en modifiant le nombre d l ments d un ou de plusieurs chantillon s Gr ce cette d marche qui constitue l une des proc dures d optimisation possibles la m thode fournit des indications pr cieuses sur la nature et sur l ampleur des modifications n cessaires pour que le dispositif fournisse des mesures pr sentant une plus grande fiabilit Appliqu e aux donn es de notre exemple cette d marche montre qu en consid rant quatre tablissements plut t que deux on obtiendrait un coefficient absolu de 0 803 Puisque cette proc dure conduit a doubler le nombre total d observations il n est pas sans int r t de constater qu on aboutirait un r sultat au moins acceptable 0 78 en doublant le nombre d tablissements 4 mais en r duisant de moiti le nombre d l ves s lectionn s dans chacun d entre eux 16 et non plus 32 On v rifie donc sans peine que la qualit des r sultats ne d pend pas seul
13. ette conclusion sera formul e en disant que le dispositif est apte a diff rencier les sujets de mani re fiable c est dire apte les situer de fa on suffisamment pr cise sur l chelle d finie par notre instrument de recherche Une fois encore la pr cision dont il est question ici concerne non pas les r sultats obtenus par les l ves la valeur effective des scores individuels mais les positions relatives que ces l ves occupent les uns par rapport aux autres Ce que la g n ralisabilit apporte de nouveau est en revanche le coefficient absolu qui nous renseigne sur la pr cision des r sultats obtenus par les l ves Comme on peut le constater la valeur de cet indice d passe largement la limite de 0 80 Ce r sultat permet donc d affirmer que globalement le dispositif instrumental fournit une mesure pr cise fiable du niveau d attitude des l ves Contrairement la situation qui vient d tre d crite la fiabilit de la mesure concerne ici la valeur effective ou absolue des scores eux m mes pour chaque l ve le r sultat que l instrument lui attribue compris entre 24 96 points Dans le cas dune chelle d attitude ce type de pr cision n est pas n cessairement exig car dans la plupart des cas les scores individuels ne sont pas utilis s en tant que tels Dans d autres situations en revanche l aptitude de l instrument fournir une estimation pr cise des r sultats est nettement plus imp
14. evanche beaucoup moins satisfaisant sa valeur tant relativement loign e de la limite g n ralement requise Ce r sultat ne permet donc pas de consid rer comme fiable l estimation du niveau d attitude pour chaque moment car la marge d incertitude qui lui est associ e d finie habituellement par l tendue de l intervalle de confiance autour de la moyenne appara t ici comme tant trop lev e pour un niveau de confiance 1 a 95 elle est en effet gale m 5 7 Par cons quent on ne g n ralisera pas les r sultats obtenus avec notre chelle 67 7 et 58 7 aux univers d tablissements d l ves et d items correspondants Au del de ce r sultat relativement global la th orie de la g n ralisabilit fournit un certain nombre d autres renseignements qui permettent de mieux cerner les facteurs responsables du ph nom ne On peut en effet constater que la source principale d erreur variations des r sultats engendr es par les proc dures d Echantillonnage r side dans l cart relativement important entre les moyennes des deux tablissements tous moments confondus respectivement 60 6 et 65 8 Ce constat semble indiquer qu il existe une diff rence non n gligeable du niveau d attitude lorsqu on passe d un tablissement l autre On peut donc en d duire que l estimation des moyennes relatives aux deux moments risque de varier excessivement selon que l tude est faite en consid rant tel o
15. f rencier des l ments du dispositif utilis cet effet A partir de ces diff rents plans la m thode fournit un ensemble de r sultats dont les plus caract ristiques et les plus facilement interpr tables sont les deux coefficients de g n ralisabilit relatif et absolu que l on d signe habituellement avec le symbole p rh carr Comme pour le coefficient amp on consid re en g n ral que instrument pr sente des caract ristiques satisfaisantes si la valeur de ces indices atteint ou d passe la limite de 0 80 80 de la variance totale concerne les carts vrais entre les l ments que l on cherche diff rencier Une premi re tude de g n ralisabilit a t faite partir d une situation analogue la pr c dente r sultats obtenus lors de la premi re passation de l chelle avec les l ves comme objets de la mesure On obtient alors les coefficients suivants D ne Per 0 892 Pubs 0 876 On remarque tout d abord que la valeur du coefficient relatif est tr s proche de celle du coefficient a calcul pr c demment 0 889 Ce r sultat n est pas fortuit car les deux indices pr sentent un certain nombre d analogies et conduisent souvent une conclusion de m me nature On peut d ailleurs montrer que dans certains cas particuliers dispositifs comportant deux facettes seulement les deux coefficients sont identiques Dans le langage propre a la g n ralisabilit c
16. formations utiles En particulier on pourra identifier les facteurs qui influencent n gativement la qualit de la mesure et appr cier l importance des perturbations introduites par diff rentes composantes du dispositif Ainsi l tude des qualit s techniques de l instrument trouve tout naturellement un prolongement int ressant dans une d marche dite d optimisation qui permet de d terminer la nature et l ampleur des modifications n cessaires pour que l on puisse obtenir des mesures de meilleure qualit Dans les pages qui suivent nous nous proposons d illustrer quelques uns des aspects qui viennent d tre voqu s et nous le ferons en montrant diff rentes applications de la th orie de la g n ralisabilit pour tudier les qualit s m triques d une chelle d attitude Notre pr sentation comprendra e une description de l instrument de recherche et du type de mesure qu il doit permettre de r aliser e une br ve comparaison entre les r sultats fournis par la m thode classique a de Cronbach et par la th orie de la g n ralisabilit en insistant tout particuli rement sur l interpr tation des coefficients relatif et absolu e une illustration des possibilit s d optimisation sugg r es par les r sultats de l analyse e quelques indications sur la qualit des mesures fournies par l instrument lorsqu il est appliqu diff rents objets d tude Br ve description de I instrument L instrument dont no
17. h et les coefficients de g n ralisabilit Nous avons d j rappel que parmi les m thodes d velopp es dans le cadre de la psychom trie classique le coefficient amp de Cronbach constitue probablement l indice le plus appropri pour ce genre d instrument valuant 1 homog n it du r pertoire d items auquel nous avons eu recours il indique en effet si l chelle est en mesure de produire un classement suffisamment stable des sujets malgr les fluctuations accidentelles engendr es par le choix al atoire des items eux m mes Selon des crit res qui comme tous les crit res statistiques de d cision reposent sur des consid rations dict es par l usage et l exp rience plus que sur des arguments th oriques v ritablement rigoureux on consid re g n ralement que l homog n it d un instrument est acceptable si la valeur du coefficient dont la marge de variation se situe entre 0 et 1 est gale ou sup rieure 0 80 Appliqu e aux r sultats fournis par notre chelle lors de la premi re passation d but de l ann e scolaire cette m thode fournit un coefficient tout fait satisfaisant avec 0 889 Ajoutons simplement que si l analyse est faite en consid rant s par ment les deux sous chelles on obtient galement des r sultats sup rieurs la limite conventionnelle que nous venons d voquer respectivement a 0 825 et 0 838 Sur la base de ces r sultats on peut donc consid rer que l instr
18. ient une cat gorie particuli re chaque cat gorie appartient l une des deux sous chelles l un des deux domaines d attitude e d autre part la structure de l Echantillon d individus retenus pour cette tude c est dire la fa on dont les l ves ont t s lectionn s chaque l ve appartient a la fois une fili re et un tablissement donn s 8 Sur la base de ces l ments on peut tablir un plan dit d observation dont le but est de d crire les relations entre les diff rentes composantes facettes qui caract risent le contexte de la mesure Pr cisons galement que dans cette phase de la d marche l utilisateur doit se conformer un certain nombre de contraintes impos es par le mod le d analyse Pour cette raison nous avons d supprimer une cat gorie d items appartenant la premi re sous chelle en l occurrence celle qui concerne la perception de la r ussite et du progr s en allemand Par ailleurs l tude a t r alis e en consid rant un chantillon al atoire de 64 l ves sur les 400 qui avaient particip la recherche Pour pouvoir r aliser l analyse proprement dite deux autres tapes sont n cessaires l laboration d un plan d estimation indiquant pour chaque facette si l chantillonnage de ses modalit s a t fait dans un univers al atoire infini al atoire fini ou fix et d un plan de mesure distinguant les objets que l on souhaite dif
19. iff rents coefficients de corr lation obtenus par la m thode split half partir de toutes les partitions possibles en deux groupes de l ensemble des items Cette approche permet de v rifier dans quelle mesure les diff rents items conduisent un classement stable donc fiable des individus plus exactement elle permet de d terminer si la position des individus au sein de la distribution varie plus ou moins en fonction du r pertoire d items con u comme un chantillon al atoire de tous les items th oriquement possibles utilis pour mesurer la caract ristique en question Ce type d analyse met donc en jeu deux sortes d l ments qui jouent des r les clairement dissym triques d une part les individus qui constituent les entit s faisant l objet de la mesure d autre part les items qui constituent l outil partir duquel la mesure est effectu e Dans le m me cadre m thodologique on pourrait envisager de renverser le probleme en consid rant les items comme objets et les individus comme instruments de la mesure Ce serait le cas par exemple si propos d un test d aptitudes ou de connaissances on souhaitait classer les items en fonction de leur degr de difficult Le probl me est alors de savoir si on peut distinguer diff rencier de mani re fiable les items faciles des items difficiles ind pendamment des sujets auxquels le test est administr Un tel changement de perspective n a pourtant
20. introduisant un principe apparemment banal mais souvent ignor jusque l selon lequel les objets de la mesure peuvent tre des entit s autres que les individus comme par exemple les items qui figurent dans une preuve les objectifs d un programme de formation diff rents domaines de comp tences les tapes d un processus d apprentissage des m thodes p dagogiques Dans cette perspective on peut donc tudier l aptitude d un dispositif diff rencier de mani re fiable une s rie d items en fonction de leur degr de difficult divers types de comp tences en fonction du niveau de ma trise atteint par les l ves diff rentes tapes dun parcours de formation en fonction du progr s enregistr lorsqu on passe de l une l autre deux ou plusieurs approches p dagogiques en fonction de leur efficacit Dans la recherche en ducation comme dans la recherche en sciences humaines de mani re g n rale cette nouvelle mani re de concevoir les choses est videmment tr s pertinente car l int r t du chercheur ne concerne pas toujours les individus eux m mes mais peut porter sur d autres aspects qui caract risent son champ d investigation Il est d s lors n cessaire qu il puisse d terminer si les moyens mis en oeuvre pr sentent les propri t s techniques requises pour r aliser de mani re fiable les observations ou les mesures qui l int ressent A cet gard il est opportun de signaler que comme l analyse
21. jamais t envisag par la psychom trie traditionnelle C est la th orie de la g n ralisabilit notamment gr ce aux travaux de J Cardinet et de Y Tourneur 1985 qui a montr la pertinence et la richesse de cette approche et qui a con u les d veloppements statistiques n cessaires pour pouvoir traiter ad quatement les probl mes auxquels elle ouvre la voie Notre intention n est pas de donner ici une d finition d taill e de la th orie de la g n ralisabilit ni d num rer les diff rentes questions auxquelles elle permet de r pondre ou l ventail des domaines d application possibles Cardinet amp Tourneur 1985 Bain amp Pini 1996 Disons simplement que cette m thode largit tr s nettement la perspective psychom trique classique en int grant ses diff rentes approches stabilit formes parall les consistance interne dans un m me cadre g n ral au sein duquel elles n apparaissent plus comme un recueil de techniques h t rog nes et disparates mais o elles sont unifi es dans une vision coh rente des probl mes relatifs la fid lit de la mesure L largissement que la g n ralisabilit apporte aux m thodes traditionnelles comporte diff rents aspects Nous nous contenterons d en signaler deux que nous illustrerons ult rieurement l aide d exemples concrets d analyse D abord sur un plan que l on qualifiera d essentiellement technique la th orie de la g n ralisabilit introduit
22. le montre assez souvent un instrument permettant d obtenir une mesure satisfaisante des comp tences individuelles ne fournit pas n cessairement une mesure fiable du niveau de difficult de diff rents items De m me un dispositif qui donne une estimation pr cise du progr s r alis par une population d l ves entre le d but et la fin de l ann e scolaire n est pas forc ment de nature permettre une comparaison fid le des r sultats obtenus avec deux m thodes p dagogiques diff rentes Ce dispositif sera d ailleurs souvent plus complexe que ceux auxquels nous venons implicitement de faire allusion En effet lorsqu on s int resse par exemple l volution des comp tences entre deux moments diff rents ou l volution de toute autre caract ristique de m me nature le dispositif instrumental ne se r duira pas n cessairement un ensemble plus ou moins vaste d items mais pourra aussi prendre en consid ration d autres facteurs en langage technique d autres facettes qui d finissent les conditions dans lesquelles la mesure a lieu On pourra donc y inclure non seulement des individus mais galement les classes et ou les tablissements auxquels ils appartiennent des domaines de comp tences des fili res d tude Les avantages d une telle approche sont consid rables car il devient possible de compl ter l appr ciation globale sur les caract ristiques m triques du dispositif par un ensemble d autres in
23. ortante comme par exemple lorsqu on a recours des tests ou des preuves de connaissance qui doivent permettre de fonder certaines d cisions p dagogiques comparaison des r sultats individuels un seuil de ma trise ou un crit re de r ussite dans des situations de notation de certification d orientation ou de rem diation Peut on estimer de mani re fiable l volution du niveau d attitude Apr s cette premi re s rie d analyses dont l objectif principal tait d tablir une sorte de comparaison entre le coefficient de Cronbach et les coefficients de g n ralisabilit consid rons maintenant une situation diff rente qui permet d illustrer un deuxi me apport d cisif de cette m thode statistique Rappelons tout d abord que l objectif de notre recherche tait d tudier l volution du niveau d attitude entre le d but et la fin de l ann e scolaire Sur le plan descriptif ce type d information est obtenu en calculant et en comparant les moyennes des deux moments consid r s Cependant avant de proc der a des 10 analyses plus approfondies il convient de v rifier si l instrument est apte diff rencier ces moyennes de mani re fiable c est dire apte fournir une mesure pr cise de l attitude des l ves chacun des deux moments et ou de son volution entre le d but et la fin de l ann e scolaire Contrairement la situation pr c dente le probl me n est plus de savoir
24. si l instrument fournit une estimation fiable des r sultats individuels mais plut t de v rifier s l est apte estimer de mani re satisfaisante le niveau global d attitude pour les deux moments consid r s De ce fait ce ne sont plus les l ves qui constituent les objets de la mesure mais les moments eux m mes Sur le plan m thodologique ce changement de perspective comporte des implications fondamentales En effet les qualit s techniques d un instrument ne sont plus valu es en consid rant uniquement son aptitude diff rencier des individus mais elles le sont d sormais de cas en cas en fonction des l ments auxquels on s int resse et dont on souhaite obtenir une mesure pr cise des moments par exemple mais aussi des objectifs des items etc Il n est d ailleurs pas inutile d insister sur un point que nous avons d j voqu et qui sera bri vement illustr par la suite selon lequel les utilisations d un instrument ne sont pas interchangeables souhait d o pr cis ment la n cessit d valuer ses propri t s et ses qualit s m triques en tenant compte de l utilisation exacte que l on souhaite en faire dans chaque cas particulier Apr s avoir d fini convenablement les diff rents plans exig s par le mod le d analyse d observation d estimation et de mesure le logiciel calcule les coefficients de g n ralisabilit qui concernent la diff renciation des deux moments 2 Qo Per 0
25. tatistiques analyse factorielle analyse de la variance etc Le but du pr sent article est d illustrer l int r t et les apports de la g n ralisabilit lorsqu on souhaite tudier les qualit s techniques d un instrument de recherche A cet effet nous montrerons diff rentes applications de la m thode aux donn es fournies par une chelle que nous avons labor e et qui a pour but d appr hender l attitude des l ves de l enseignement secondaire I face l apprentissage de l allemand Article publi dans Education et recherche 20 2 1998 289 302 actuellement Revue suisse des sciences de l ducation Les donn es correspondant celles analys es dans cet article peuvent tre obtenues aupr s du groupe dum trie p a Daniel Bain Moulin Roget 49 CH 1237 Avully e mail daniel bain bluewin ch ou t l charg es sur le site Web du groupe en pr paration la page Exercices Etude des qualit s m triques d un instrument de recherche Dans le cadre m thodologique que les chercheurs en sciences humaines et sociales ont h rit des travaux de la psychom trie classique les instruments d observation et de mesure taient g n ralement con us pour tudier diff rentes caract ristiques d un ensemble d individus comme leur niveau d aptitude et de connaissance dans le domaine cognitif ou leur niveau d attitude d int r t de motivation dans le domaine que l on qualifie plut t de socio affectif
26. trumenten Sind sie auf die Gesamtheit der Beobachtungskonditionen generalisierbar von denen die gegebene Untersuchungssituation nur eine Stichprobe darstellt Die Generalisierbarkeitstheorie ist keine Methode zur Datenanalyse im eigentlichen Sinne ihr Ziel ist vielmehr zu berpr fen ob die ein Instrument die notwendigen psychometrischen Eigenschaften besitzt die mit ausreichender Sicherheit seinen weiteren Einsatz erlaubt sowohl in der Praxis zum Beispiel bei Ausleseentscheidungen als auch im Hinblick auf statistische Analysen Faktorenanalyse Varianzanalyse usw Der vorliegende Artikel zeigt von welchem Interesse die Generalisierbarkeitstheorie beim Bescheinigen von Qualit ten eines Messinstruments ist und welchen Beitrag sie dazu leisten kann Wir zeigen die verschiedenen Anwendungsm glichkeiten dieser Methode anhand von Daten die mit einer Attit denskala zum Fremdsprachenerlernen bei Sch lern der Sekundarstufe I erhoben wurden 16 La teoria della generalizzabilita applicata ad uno strumento di misura dell atteggiamento nei confronti dello studio di una lingua straniera Riassunto In molti settori delle scienze umane e sociali le esigenze della ricerca o dell azione quotidiana richiedono talvolta la raccolta e l analisi di dati quantitativi Queste informazioni possono essere ottenute impiegando strumenti di vario genere test prove questionari eccetera che devono essere concepiti in modo da assicurare alle misure
27. u tel autre chantillon C est pr cis ment en raison d une telle instabilit que le r sultat obtenu en consid rant deux tablissements seulement ne peut pas tre g n ralis Dans le cas qui nous int resse cette faiblesse du dispositif n est pas v ritablement g nante car le but de la recherche tait surtout d estimer de mani re fiable l volution c est dire l cart positif ou n gatif entre les moyennes des deux moments et non la valeur absolue de ces moyennes On peut toutefois imaginer des situations o les cons quences d une telle limitation seraient beaucoup plus probl matiques conformit un seuil ou un crit re par exemple La question est 12 alors de savoir si le dispositif doit tre cart purement et simplement ou si l on peut envisager des ajustements susceptibles d am liorer la qualit des mesures qu il produit Cet aspect du probl me pr sente un int r t vident lorsque comme cela devrait tre fait au moins dans certains cas la premi re application de I instrument n a d autres objectifs que d tudier ses caract ristiques techniques et d y apporter les modifications ventuellement n cessaires avant la mise au point de la version d finitive Pour r pondre cette question reprenons l exemple que nous venons d voquer concernant la variabilit des r sultats entre tablissements ce propos la th orie de l estimation statistique fournit un moyen simple bi
28. ument produit un classement fiable des sujets De plus cette conclusion s applique non seulement l ensemble de l chelle mais galement chacune des deux sous chelles qui composent instrument Comme nous l avons d j signal les m me donn es peuvent aussi tre analys es en appliquant la th orie de la g n ralisabilit ce propos un premier point qu il convient de pr ciser et que nous nous limitons voquer dans le cadre de cette pr sentation concerne la conception m me de l tude et la mani re de d finir le dispositif de mesure Le calcul du coefficient a est bas sur une d marche faisant intervenir deux sortes d l ments seulement les sujets d une part et les items d autre part qui constituent respectivement les objets et l instrument le dispositif de la mesure La th orie de la g n ralisabilit conserve cette distinction fondamentale entre objets et dispositif instrumental mais permet de prendre explicitement en consid ration toutes sortes d l ments qui outre les items d finissent le contexte de la mesure et peuvent par cons quent affecter la pr cision la stabilit la fiabilit des r sultats Ainsi dans l exemple qui nous int resse on pourra tenir compte de deux aspects qui sont g n ralement ignor s par la th orie classique de la mesure e d une part la structure de l instrument lui m me c est dire la mani re dont les items ont t choisis chaque item appart
29. us avons analys les qualit s techniques est une chelle d attitude de type Likert con ue pour tudier l attitude des l ves du Cycle d orientation genevois face la langue allemande Cet instrument comprend deux sous chelles qui devraient permettre de cerner l attitude des l ves dans deux domaines diff rents d une part l attitude face leurs exp riences d apprentissage de la langue premi re sous chelle et d autre part l attitude face la langue allemande en tant que telle a son utilit et aux liens qu elle devrait permettre d tablir avec la r alit et la culture germanophones deuxi me sous chelle La premi re sous chelle consid re quatre aspects caract ristiques de l exp rience d apprentissage des l ves que nous avons d finis de la mani re suivante 1 R ussite et progr s en allemand difficult s d apprentissage 2 Plaisir et int r t pour les le ons d allemand 3 Participation et investissement personnels 4 Perception de l enseignant et du contexte d apprentissage En revanche la deuxi me sous chelle a t labor e en consid rant les trois themes que voici 5 Utilit de l allemand 6 L allemand comme vecteur culturel 7 Appr ciation des caract ristiques de la langue L instrument comporte en tout 28 items quatre pour chacun e des themes des cat gories qui pr c dent r partis al atoirement au sein de la sous chelle correspondante Chaque item
Download Pdf Manuals
Related Search