Méta Evaluation Baslé version courte sfe 18 avril 2013 baslé rcepp
Contents
1. The Metaevaluation Imperative American Journal of Evaluation Vol 22 No 2 pp 183 209 Stufflebeam D Program Evaluations Metaevaluation Checklist www wmich edu evalctr checklists Oreskes N 2004 Environmental Science amp Policy 7 pp 369 383 Science and public policy what s proof got to do with it Hanssen C E Jawrenz F Dunet D O 2008 Concurrent Meta Evaluation American Journal of Evaluation Vol 29 N 4 December Pp 572 582 Uusikyla P Virtanen P 2000 Meta Evaluation as a Tool for Learning A Case Study of the European Structural Fund Evaluations in Finland Evaluation Sage January 2000 6 50 65 Meta Evaluation of London Olympic games Final report 2012 Glass G V 1976 American Educational Research Association Primary Secondary and Meta Analysis of Research Reviewed work s Source Educational Researcher Vol 5 No 10 Nov 1976 pp 3 8Published by American Educational Research Association Stable URL http www jstor org stable 1174772 Annexe Le petit guide de l valuation CSE 1996 Les cinq crit res retenus par le CSE La qualit d une valuation ne se r sume pas sa validit scientifique II faut galement prendre en compte les finalit s sociales de l valuation C est par rapport aux trois dimensions dimensions cognitive normative et instrumentale que doit tre appr ci e la qualit d une valuation Utilit pertinence c est le fait que l valuat2. une volont de gouvernance plus ouverte Cette capacit cognitive sera construite pas pas sur la base de la pluridisciplinarit des approches et du recours sans complexe diff rents types d outils ad hoc La m ta valuation peut avoir un d veloppement ordonn et pens l on peut d velopper progressivement des capacit s de production de nouveaux savoirs valuatifs des fins de re conception des politiques publiques dans un domaine particulier 2 Maurice Basl Thierry P nard 2002 E Ewrope La Societe europeenne de l information En 2010 Editions Economica Paris 21 Maurice Basl Michel Renault 2004 L conomie fond e sur la connaissance Questions an projet europ en Editions Economica Paris Maurice Basl 2010 Connaissance et action publique Editions Economica Paris 2En France ce sont les objectifs du Comit interminist riel pour la modernisation de l action publique 2013 Deux avril http www fonction publique gouv fr fonction publique la modernisation de la fonction publique 0 L activit de M ta Evaluation si des moyens lui sont allou s pourrait tre la base d une 23 r ponse a la question les gouvernements apprennent ils Sisyphe ou ternel recommencement ou le d but d un vrai Publip dia 3 http www researchgate net researcher 11152001 Maurice Basle Rep res bibliographiques pour M ta Evaluation Stufflebeam D L 2001
3. est alors une esp ce de niveau 2 de l valuation C est ce qui a t propos dans la litt rature depuis longtemps Voir par exemple Meta evaluation is the evaluation of evaluation Cook amp Gruder 1978 Scriven 1969 in Shadish W R 1998 Evaluation Theory is Who We Are American Journal of Evaluation Vol 19 N 1 pp 1 10 2 La m ta valuation peut tre d finie comme une synth se ex post DES valuations se rapportant a une m me politique ou ses programmes Il y a bien une valuation de plusieurs valuations l activit tant demand e ex post C est une forme de compilation de ce qui a t produit dans diff rentes valuations d ja conduites On en esp re une super connaissance et un bilan vraiment complet Ce bilan peut tre une capitalisation des r sultats utilisables une progression de la connaissance valuative utilisable La m ta valuation de synth se ex post fait appel a des super crit res de qualit au regard desquels il faut valuer cette fois de mani re syst matique PLUSIEURS valuations pr c demment effectu es Metaevaluation is an assessment of an evaluation especially its adherence to pertinent standards of sound evaluation Stufflebeam Daniel Program Evaluations Metaevaluation Checklist www wmich edu evalctr checklists 3 La m ta valuation peut tre aussi d finie comme un projet ex ante de mise en place des valuations pour des programmes identiques
4. Methods and Constraints UNICEF 3 The meta evaluation analyzes 59 CP evaluation reports that were produced between 2002 and 2007 or 40 of all CP evaluations in that period Selection was based upon availability and language English Scales were established to assign values to characteristics of interest addressing programming quality evidence quality and PEF outputs and outcomes 4 Each report s catalogue of PEF investments was coded for delivery into the askSam database which allows text searching of materials from a variety of document types 5 Limitations in most cases the depth of the database for identifying best practices is constrained by a insufficient analysis of institutional contexts e g donor requirements host government sensitivities b scarce time series information e g 64 of the reports have no longitudinal data and c an alarming over reliance on Key Informant Interviews with an under emphasis on sampling and scale e g 80 lack a sampling plan Autre exemple Lynne R Tingle Marie DeSimone Benjamin Covington A Meta Evaluation of 11 School Based Smoking Prevention Programs Article first published online 9 OCT 2009 DOI 10 1111 j 1746 1561 2003 tb03574 x 2003 American School Health Association 4 Variante M ta valuation et d ploiement exp rimental de la m me politique dans diff rents contextes Cette fois le projet m ta valuatif est con u d embl e comme un processus de mise en ce
5. des charges Elle suscite de l espoir d en savoir plus Elle choisit sa gouvernance ses alliances pour retrouver des informations sa mani re de faire en pr conisant tel ou tel type d outils elle est plut t manag riale plut t pluraliste plut t centr e sur les strat gies d acteurs ou la mise en uvre plut t centr e sur le suivi des indicateurs de r sultats Elle rencontre habituellement des difficult s et doit souvent s adapter au terrain Il est n cessaire de faire le point Il apparait que 3 Voir par exemple Hanssen C E Jawrenz F Dunet D O 2008 Concurrent Meta Evaluation American Journal of Evaluation Vol 29 N 4 December Pp 572 582 La m ta analyse renvoie une analyse statistique des analyses en vue d int grer des r sultats 5 Basl M 2003 Les gouvernements apprennent ils Les Echos http www pnud ne rense BibliothYoE8que Basl E902 pdf 6 These classes are conceptual sociopolitical contractual legal technical administrative and moral ethical Basically these problems are suggested for use in improving ongoing evaluation work the matter of formative meta l on est loin des objectifs de l valuation et qu on doit au minimum r fl chir sommairement au degr de confiance que l on peut attribuer aux r sultats de l valuation La d marche d inventaire est lanc e C est un retour sur le mode de production des r sultats ce retour est souvent le texte du contre ra
6. diff rents cahiers des charges C t dimension d objectifs certaines peuvent aborder des dimensions d objectifs et de r sultats plus particuli rement que d autres C t outillage m thodes moyens de documentation certaines font appel des sources sp cifiques d autres cr ent des nouveaux documents qui leur sont propres Ce rapport la connaissance valuative n est pas neutre les alliances des diff rents valuateurs avec les sachant du programme peuvent en effet tre diff rentes Lorsqu on assemble les r sultats des valuations et qu on cherche croiser comparer il apparait que les connaissances recherch es ne sont pas homog nes et conciliables En g n ral elles ont plusieurs facettes elles m mes issues de plusieurs types de m langes de donn es brutes crois es et retrait es Chaque instance les services les experts prestataires produisent une connaissance valuative d pendante du contexte Il n est donc pas toujours ais in fine de synth tiser les 11 http michaelscriven info images EvaluatingEvals Checklist pdf p g g p La n cessit de la check list a t discut e Cf Final report London olympic games Whilst this ambition has not gone away expectations for the utility of the checklist approach especially have waned As evaluators employed a wider and wider set of approaches and tackled a wider and wider range of interventions the prospects diminished of subsumi
7. aluations Greenberg David and Mark Shroder 2004 The Digest of Social Experiments Washington DC The Urban Institute Press 5 La M ta Evaluation comme activit pluri disciplinaire Les disciplines ont surtout en France des codes d entr e dans l activit de recherche Ceci a produit des effets de segmentation des approches valuatives des chercheurs enseignants chercheurs et des consultants sp cialis s pour la majorit qui n est pas transdisciplinaire La multiplication des supports de publications a cependant permis l closion de supports aux interfaces Nul ne peut chapper cependant au choix d une entr e par un regard particulier Les valuations peuvent s appuyer successivement ou simultan ment sur plusieurs modes de de production de connaissances utiles a la compr hension de la politique publique de sa mise en ceuvre et de ses effets 18 A Data Fusion Framework For Meta Evaluation of Intelligent Transportation System Effectiveness William M Evanco 1996 1 Voir par exemple Measuring Science Capita Selecta of Current Main Issues Anthony F J van Raan In Handbook of Quantitative Science and Technology Research The Use of Publication and Patent Statistics in Studies of S amp T Systems edited by Henk F Moed Centre for Science and Technology Studies University of Leiden The Netherlands Wolfgang Gl nzel Steunpunt O amp O Statistieken K U Leuven Belgium and Ulrich Schmoch Fraunh
8. conomique CAE 2013 1 or otherwise contrived environment One purpose of the tests is the evaluation of systems of ITS technologies that are wholly or in part beyond the R amp D stage but not yet ready for full deployment Another purpose is the evaluation of user service benefits Such evaluations will help to identify the more promising services and technologies in terms of their impacts on ITS program objectives for further development and deployment Multiple operational tests may be conducted for a particular user service These tests are evaluated to provide one or more outcome measures of interest When evaluation results for a number of operational tests become available then it may be possible to synthesize results across tests to arrive at composite outcome measures This synthesis process called meta evaluation can provide information that is useful for determining the value of full scale deployment of an ITS user service Voir aussi Magura S 2012 Failure of intervention or failure of evaluation A meta evaluation of the National Youth Anti Drug Media Campaign evaluation Substance Use and Misuse 47 1414 1420 CopyrightC 2012 Informa Healthcare USA Inc Laura R Peck Social and Economic Policy Division in Substance Use amp Misuse 47 1425 1426 2012 There is no reason that we could not randomize delivery of media campaigns for example to learn about their effectiveness Need for and difficulty of meta ev
9. elon qu une valuation ou plusieurs sont pass es en revue ou analys es ou synth tis es On distingue galement selon le temps de la m ta valuation con ue ex ante d ploy e volontairement pendant invent e ex post Dans une acception particuli re la m ta valuation s appuie sur le d ploiement con u l avance d exp rimentations en parall le dans ce cas les possibilit s de la m ta analyse rejoignent ceux que l on trouve dans certains cas dans l activit de m ta valuation Dans tous les cas la d finition consiste inventer et concevoir la m ta valuation pour renforcer les connaissances valuatives de toutes natures en prenant un point de vue r flexif interne ou et externalis en vue d une meilleure compr hension de la confiance que l on peut accorder aux r sultats produits et de leur caract re utilisable dans les politiques publiques venir En ce sens l activit de m ta valuation correspond un mode d apprentissage permanent apprentissage organisationnel apprentissage dans la production et le management des connaissances apprentissage des politiques L activit combine des expertises des approches et multiplie les points de vue ce qui en fait une activit transdisciplinaire 1 M ta valuation comme valuation ex post et non pr vue d une valuation primaire Au niveau 1 un cahier des charges a t lanc L valuation se d roule sur la base de ce cahier
10. es de l instance ou du moins que ces pr f rences ont t suffisamment explicit es ou contr l es pour que l on puisse supposer qu une autre valuation r pondant aux m mes questions et utilisant les m mes m thodes conduirait aux m mes conclusions Il s agit notamment d appr cier la rigueur et l honn tet du travail de qualification telle volution par exemple est elle rapide normale ou lente et d interpr tation des donn es qui permet de passer de l observation au jugement Possibilit de g n ralisation il s agit de savoir dans quelle mesure les conclusions port es sur les effets d une action publique partir d observations faites sur un certain type de terrain pendant une p riode donn e peuvent tre tendues d autres situations d autres contextes voire des politiques diff rentes Le plus souvent les r sultats d une valuation sont en effet utilis s pour clairer des d cisions relatives des actions et des contextes qui diff reront en bien des points de ceux sur lesquels l valuation a port Transparence outre l exigence d un expos complet et rigoureux des m thodes mises en uvre ce crit re inclut l id e que l valuation doit expliciter son propre mode d emploi et ses limites positionnement par rapport d autres valuations possibles sur le m me sujet rappel des questions auxquelles il n est pas ou incompl tement r pondu anticipation des objections possibles etc C
11. et effort de lucidit et de r flexivit est d autant plus n cessaire que les valuations sont g n ralement imparfaites qu elles laissent de nombreuses questions dans l ombre et que les r sultats auxquels elles parviennent n ont pas tous la m me port e ni la m me robustesse
12. ion produise de l information compr hensible et utile non seulement pour les d cideurs mais aussi pour les autres protagonistes de la politique publique Pour cela le rapport d valuation doit r pondre de mani re directe et compr hensible aux questions pos es dans le projet Le crit re peut galement inclure le respect des d lais Enfin est galement pris en compte l int r t de l apport cognitif pour la soci t Les r flexions produites par l valuation peuvent en effet contribuer de mani re diffuse former le jugement de l opinion publique sur la politique valu e et son information sur les probl mes de soci t directement li s la politique Elles peuvent galement faire progresser la recherche et la r flexion politique sur les probl mes li s la politique valu e Fiabilit l valuation doit tre digne de confiance trustworthiness Cela renvoie l exactitude des informations collect es et la valeur scientifique des imputations causales sur lesquelles se fonde le jugement valuatif Il convient en particulier d tre attentif aux biais que les techniques de collecte et de traitement des informations peuvent introduire dans la production des conclusions Objectivit l objectivit s entend comme le fait que les conclusions de l valuation n ont pas t influenc es par les pr f rences personnelles ou les positions institutionnelles des responsables de l valuation charg s d tude ou membr
13. ions Plus profond ment partir des regards sur la qualit des valuations de la m me politique tant au plan de la forme qu au plan du fond on suppose la synth se possible en organisant la connaissance valuative et les retours de savoirs de diff rentes approches valuatives Dans le cas positif la m ta valuation produit 1 une synth se des r sultats existants sur telle ou telle politique vis vis de populations ou de territoires d application cette synth se pouvant donner lieu un tableau de synth se La synth se peut faire apparaitre des retours de savoirs valuatifs diff rents selon les angles d attaque et les cahiers des charges 2 de v ritables capitalisations de savoirs sur les politiques concern es l activit de m ta valuation permet alors gr ce une analyse et une connaissance produite plus approfondie des m canismes de succ s des recommandations plus assur es et plus adapt es pour am liorer ou r former les politiques publiques Un tableau de synth se peut tre constitu au regard d une check list des dimensions de qualit des valuations par exemple pour Stufflebeam 12 Cf London Olympic games final report Meta evaluations can also be seen as a form of systematic review where the findings of individual studies are combined synthesised to answer an evaluation research question 13 Voir charte de la soci t fran aise d valuation par exemple Conseil scientif
14. ique de l valuation 1996 Le petit guide de l valuation La Documentation fran aise Program Documentation Context Analysis Defensible Information Sources Valid Information Reliable Information Systematic Information Analysis of Quantitative Information Analysis of Qualitative Information Justified conclusionsimpartial Reporting Il existe des cas o les connaissances de synth se n existent pas On s en tient a une collection de cas ou a un rassemblement de connaissances par facette Ce peut tre tout particuli rement observ dans le cas de politiques complexes Exemple The Swiss Innovation Agency CTI has administrated its collaborative research funding scheme since the early 1980s Between 1989 and 2002 the scheme was evaluated 14 times In a study combining meta evaluation and evaluation synthesis we assessed these existing evaluations against a variety of criteria including selected evaluation standards of the Swiss Evaluation Society The meta evaluation showed that the existing evaluations were mostly qualitative internal and ex post and that evaluation practice at the CTI was episodic The evaluations differed in quality with most evaluation standards being fulfilled adequately to fairly well The results of the meta evaluation were central to the ensuing evaluation synthesis by giving information on the adequacy of the existing evaluations The synthesis compiled the mostly qualitative resul
15. l activit de m ta valuation des politiques publiques et des programmes associ s et le besoin de qualit des connaissances issues des valuations Professeur Maurice Basl CEREQ CREM CNRS Universit Rennes 1 Chaire Connaissance et action territoriale Fondation Universit de Bretagne sud 18 Avril 2013 Paris S minaire Sfe du r seau des chercheurs en Evaluation des politiques publiques Document en cours de publication Tous droits r serv s Questions La m ta valuation est souvent simplement d finie comme valuation d une ou des valuations valuation niveau 2 Peut on affiner le concept Peut on ensuite d crire l activit de M ta Evaluation La question pos e ici est la suivante un niveau deux d valuation doit il tre organis pour rendre capitalisable les valuations On montre que les synth ses existent et se font sur la base de crit res de qualit des valuations Ex post elles ne sont pas toujours possibles Mais on peut aussi construire un projet ex ante de futures m ta valuations Peut on faire un constat de qualit partir de la valeur ajout e ou de l utilit obtenue par la m ta valuation choisie R sum Quatre approches et un constat 1 La m ta Evaluation peut tre d finie comme l audit ex post des forces et des faiblesses d UNE valuation Il a t commode de commencer par d finir la m ta valuation comme une activit d valuation d une valuation C
16. luation Evaluation d une autre valuation ou d une serie d autres evaluations Les crit res de jugement sont g n ralement la fiabilit la cr dibilit et l utilit Le terme est quelquefois appliqu l audit de la fonction valuative d une organisation verification que les r gles concernant l valuation ont t appliqu es avec professionnalisme On parle parfois de meta valuation pour une synth se faite partir d une serie d valuations Means 1999 2 Comme AFD http www afd fr lang en home recherche evaluation capitalisation evaluation et capitalisation Trois remarques pr alables doivent tre faites D une part la litt rature n est pas centr e sur m ta valuation des politiques publiques mais sur la m ta valuation C est une approche souvent tr s englobante de la r flexivit sur les pratiques d valuation en pr voyant ex ante en inventant ex post ou en proposant chemin faisant de faire une m ta valuation chemin faisant D autre part la position r flexive de la m ta valuation est videmment celle de l activit de Recherche en SHS et aussi celle de l valuation de cette recherche en SHS Enfin les questions d arbitrage entre ressources consacr es aux valuations et budget consacr la m ta valuation ne sont pas souvent voqu s Quatre approches du concept et de la pratique de la m ta valuation se trouvent dans la litt rature compil e ici On distingue s
17. mais d ploy s dans le temps ou dans diff rents contextes C est un projet approfondi de supervision d valuations tentant de produire a plusieurs reprises la m me valuation de la m me politique et d en retirer plus de connaissances de ce qui fonctionne ou pas dans les processus et les chaines logiques r alisations r sultats et impacts La force de la preuve de l existence d un m canisme ou processus qui marche ou pas doit en tre renforc e C est la tache des knowledge capitalisation units de capitaliser 4 Encore plus sur le mode projet ex ante on peut aussi imaginer en variante du d ploiement pr c dent la m ta valuation comme une supervision d exp rimentations parall les rendues ex ante valuables dans les m mes termes Modulo les limites dues la construction des conditions exp rimentales artificielles en vue d une valuation d exp rimentations il doit alors tre possible de tester la validit externe de r sultats concernant les processus qui marchent et les processus qui ne marchent pas D autres exp rimentations peuvent l issue d une premi re m ta valuation et m ta analyse tre mises en place Mots cl s Le r f rentiel et les standards La check list de la M ta Evaluation Qualit totale Les super crit res de m ta Evaluation M ta Evaluation apprentissage et capitalisation des connaissances valuatives M ta valuation Meta eva
18. ng all requirements under a simple useful set of guidelines The result was that the listing of standards multiplied Crucially in attempting to cover the diversity of modern evaluation practice the standards become more and more abstract to the point perhaps of losing all utility connaissances que l on trouve dans les diff rentes facettes des livrables voir ou tenter de voir si elles sont ou non contradictoires par rapport des r ponses des questions valuatives L activit de m ta valuation est bas e sur la croyance que c est possible de se donner une grille de lecture des cahiers des charges avec des crit res ou des dimensions d int r t et que ceci va permettre des regroupements et une synth se L activit de m ta valuation consiste passer en revue syst matiquement les r sultats DES valuations au regard de super crit res de qualit des savoirs produits Ces super crit res sont finalement assez proches de ce que l on trouve dans les guides d valuation et dans ce que les soci t s professionnelles d valuateurs ont pos comme standards et d ontologie pour les m tiers des valuateurs Si ces super crit res n existaient pas il n y aurait pas de m ta valuation tout juste un regard sur quelques qualit s de chacune des valuations D s lors qu ils existent ils peuvent permettre d avoir une approche synth tique et de noter les qualit s et d fauts DES valuat
19. ofer Institute for Systems and Innovation Research Karlsruhe Germany Jacob S 2008 Cross Disciplinarization A New talisman for Evaluation American Journal of Evaluation Vol 29 N 2 June Journal of Multidisciplinary Evaluation http survey ate wmich edu jmde index php jmde_ 1 Joseph Trimble Ed Trickett Celia Fisher and Leslie Goodyear 2012 A Conversation on Multicultural Competence in Evaluation American Journal of Evaluation March 2012 33 112 123 first published on December 15 2011 Michael Morris 2011 The Good the Bad and the Evaluator 25 Years of AJE Ethics American Journal of Evaluation March 2011 32 134 151 first published on November 11 2010 Stufflebeam D L 2001 Interdisciplinary PhD programming in evaluation American Journal of Evaluation 22 445 455 Conclusion Au final il apparait que c est en raison de la diversit des approches valuatives d une m me politique puisqu il s agit de politiques publiques qui sont par essence controvers es et aussi en raison de l lasticit de la notion de r f rence des standards que la M ta Evaluation existe et a un grand avenir devant elle L activit d valuation des politiques publiques et des programmes s ins re en outre dans un contexte nouveau de soci t d information et de projet de soci t fond e sur la connaissance Les volont s d ouverture et de partage des donn es publiques publi es participent d
20. pporteur de l valuation Pour que l on puisse parler de m ta valuation il ne suffit pas de ce referee rapide on conviendra que la d marche doit tre nouveau cod e comme une nouvelle activit et qu un nouveau cahier des charges doit tre lanc qui doit partir des diff rentes dimensions de qualit et des forces et faiblesses du processus pr c dent d valuation et de ses r sultats Ainsi selon Stufflebeam la M taevaluation est un processus pour auditer les forces et les faiblesses d UNE evaluation the process of delineating obtaining and applying descriptive information and judgmental information about an evaluation s utility feasibility propriety and accuracy and its systematic nature competence integrity honesty respectfulness and social responsibility to guide the evaluation and publicly report its strengths and weaknesses La m ta valuation au sens d valuation d une valuation est vraiment l appr ciation de la qualit d une valuation Certains parlent de r f rence un r f rentiel un professionnalisme une grande exp rience Scriven propose qu un evaluation advisor soit associ en amont chaque valuation de telle sorte que l on r duise le besoin de revenir ensuite la m ta valuation ainsi con ue D j ce niveau simple d valuation d une valuation disons que la qualit s examine dans diff rentes dimension
21. s qui sont celles des standards de l valuation On peut ainsi se r f rer aux cing crit res du petit guide de l valuation du CSE Pour Guba et Stufflebeam it must produce findings that are internally and externally valid i e the findings must be true and they must be generalizable While evaluations must also meet these technical standards they are not sufficient for judging evaluation findings In addition to producing good information i e technically sound information evaluation must produce findings that are useful to some audience and the findings must be worth more to the audiences than the cost of 710 obtaining the information the concern of cost effectiveness Pour Scriven la evaluation but they should also prove useful in assessing and diagnosing completed evaluation studies a concern of summative metaevaluation Stufflebeam 1974 7 Source Stufflebeam Daniel L 2001 The Metaevaluation Imperative American Journal of Evaluation Vol 22 No 2 pp 183 209 Les travaux se rapportent au domaine de Education 8 http michaelscriven info images EVALUATION ADVISOR 6 3 11 pdf It is a person who serves as a helper or guide about evaluation but not as an evaluator 9 Conseil scientifique de l valuation 1996 Le petit guide de l valuation La documentation fran aise Les cinq crit res ne sont en r alit pas tous de m me nature utilit pertinence fiabilit objectrvit g n rali
22. sabil transparence Ils comprennent des facteurs d attitude et des r sultats d analyse 10 These three standards of technical adequacy utility and cost effectiveness have been spelled out by Guba and Stufflebeam 1970 check list de la qualit est la suivante crit res de qualit du cahier des charges d thique existence d un recoupement des r sultats d bouchant sur un degr de confiance dans les r sultats et ventuellement la possibilit de g n raliser les r sultats Le travail de m ta valuation d une valuation peut tre pr vu en chemin faisant On parle alors deb concurrent meta evaluation Cet examen ne se fait ici que pour une SEULE valuation il est possible d envisager le m me processus de supervision analytique et critique pour PLUSIEURS valuations 2 M ta Evaluation comme valuation potentiellement utile DES valuations en vue de l laboration ex post d un tableau de synth se selon des dimensions de r sultats L valuation de grands projets est quelquefois appel e m ta valuation en raison de la grande taille du programme valu valuation du m ta ou de l valuation de la somme des projets se rapportant au m me grand v nement exemple le cas des jeux olympiques de Londres en 2012 Plus g n ralement quand plusieurs valuations d une m me politique ont t r alis es les valuations sont g n ralement de diff rents types avec
23. ts of the evaluations Our study shows that there are patterns of outputs and outcomes in evidence across the evaluation studies that suggest that CTI funding is having an effect in terms of outputs and outcomes But it also shows that there are gaps in the evidence base of the evaluation studies that make it difficult to come to more precise conclusions 3 La M ta valuation comme d ploiement ex ante de la m me politique valuer dans diff rents contextes La m ta valuation peut tre pr vue l avance lorsque l on programme la conduite du d ploiement de programmes parall les et rendus valuables dans les m mes termes Il est alors pr vu de produire des donn es brutes qui peuvent tre ensuite recoup es et 14 PROGRAM EVALUATION MODELS METAEVALUATION CHECKLIST Based on The Program Evaluation Standards Daniel L Stufflebeam 1999 15 Sfe publications Evaluer et d m ler la complexit des politiques publiques Avril 2013 16 Assessing the effects of a collaborative research funding scheme An approach combining meta evaluation and evaluation synthesis 1 Barbara Good Author Affiliations 1 Technopolis Group Austria Rudolfsplatz 12 11 1010 Vienna Austria Corresponding author Email barbara good technopolis group com analys es et il semble possible de tester la validit externe de r sultats concernant les processus qui marchent et les processus qui ne marchent pas Exemples 1 Unicef Research
24. uvre d exp riences plac es autant que possible sous contr le Une m ta analyse peut tre l issue Le contr le du d ploiement d un programme peut tre mis en place comme le d ploiement d exp rimentations en parall le dans diff rents contextes A la sortie d un tel processus les r sultats peuvent faire l objet d une m ta analyse Le degr de confiance dans les r sultats qui en r sultent n est cependant pas encore total car g n ralement le processus exp riment est petite chelle ou petit domaine et produit des effets un bas niveau qui doivent tre interpr t s ce niveau mais aussi un niveau sup rieur l o les effets indirects d autres programmes peuvent s av rer importants m me dans le cas d exp riences bien men es d s l origine Le contrefactuel bien produit donne cependant de s rieuses indications pour la facette de la connaissance que l on a cherch produite m me si le besoin d avoir des r sultats sur plusieurs facettes demeure Exemple Among the initiatives included in the National ITS Program Plan is the conduct of operational tests related to the various user services These tests are conducted for a prototype system on a scale smaller than full deployment over a relatively short period of time in a real world as opposed to a controlled laboratory 17 Agn s Benassy Qu r Evaluation des politiques publiques Les Notes du Conseil d analyse
Download Pdf Manuals
Related Search