Home

En cache

Contents

1. 18 one fre Gas Tet i 7 97 4500 47 22 97 45 45 SCHWEIZ SUISSE SVIZZERA Euro Into Center Schweiz do OSEC E aii 85 492 CH 8095 Z rich Tel 41 1 365 53 15 41 1 365 54 11 eics osec ch Une http ww osec civeics BALGARNA Europress Euromedia Lid Tei 359 2 980 37 66 Fax 359 2 960 42 30 E mail Milena mbox crt bg CESKA REPUBLIKA sis Tel 420 2 24 23 14 66 Eax 420 2 24 23 1114 mail nkposp dec nis cz Gat tip Arsiscr cz CYPRUS Cyprus Chamber of Commerce and Industry PO Box 1455 CY 1509 Nicosia Tel 357 2 66 95 00 Fax 357 2 66 10 44 EESTI Tel 36 1 350 80 25 Fax 36 1 350 90 32 E mail euronfo mai mata v hu URL htp Awww euroinfo hwindex him OR 88 356 67 67 99 u gwirth usa net POLSKA Ars Polona Krakowskie Przedmiescie 7 Skr pocztowa 1001 PL 00 950 Warszawa Tel 48 22 826 12 01 Fax 48 22 828 62 40 E mail ars_pol bevy hsn com pl ROMANIA Euromedis Str G ral Bentheiot Nr 41 RO 70749 Bucuresti Tel 40 1 315 44 03 Fax 40 1 314 22 86 SSI CCEC Sojema Oktyabrya Av 9 117312 Moscow SLOVAKIA Centrum VTI SA Nam Slobody 19 SK 81223 Bratisiava Tel 54 41 83 64 Fax 421 7 54 41 83 64 E mail europ 1bb1 sitx stuba sk URL http www sitk stuba sk sta 5 000 Ljubljana Tel 386 6 309 16 40 Fax 386 613 09 16 45 E mail europ O gvestnik si URL http www gvostnik
2. Terme s connexe s Point z ro Situation de r f rence Indicateur de programme Programme indicator M Indicateur qui concerne les ressources et les r alisations de l intervention ainsi que les r sultats et les impacts sur ses destinataires directs et indirects Glossaire de 300 concepts el termes techniques lls peuvent comprendre des indicateurs d riv s mesurant l efficience l efficacit ou la performance Les indicateurs de programme sont quantifi s par les syst mes d information de suivi et galement par l valuation lorsqu elle produit des donn es primaires Lorsqu ils concernent des effets les indicateurs de programme mesurent seulement ceux qui touchent les destinataires directs et indirects E Indicateur g n rique Generic indicator U Indicateur qui sert quantifier avec la m me unit de mesure les impacts r sultant de plusieurs r alisations de natures diff rentes ex valeur ajout e g n r e par des r alisations dans les domaines de la p che du tourisme et des nouvelles technologies de l information Indicateur cl Core indicator Indicateur susceptible de jouer un r le important dans des comparaisons entre interventions diff rentes et dans la synth se des conclusions de plusieurs evaluations Dans le cadre de la politique europ enne de coh sion des indicateurs cl s sont par exemple le taux de consommation budgetaire ou le nombre de PME aid es pour le suivi de la
3. Cette collection en six volumes met a la disposition d un public largi les enseignements du programme MEANS lanc par la Commission europ enne en vue d am liorer et de promouvoir les m thodes d valuation Cette publi cation r pond au besoin de plus en plus manifeste de disposer de r f rences solides pour traiter de facon efficace les problemes d valuation rencontr s dans la mise en uvre de l action publique en g n ral et en particulier dans le domaine des Fonds Structurels De ce point de vue cet ouvrage constitue un guide m thodologique original qui fournit des solutions des problemes techniques et organisationnels rencontr s par l valuation auxquels la litt rature existante apporte peu de solutions La collection s adresse non seulement aux valuateurs professionnels pour qui elle constituera un vade mecum pr cieux mais aussi aux non sp cialistes et en particulier aux autorit s de gestion et aux membres des comit s de suivi des programmes structurels E Chaque volume est con u de mani re tre lu ind pendamment des autres mais tous sont compl mentaires et traitent conjointement la totalit des aspects de l valuation des programmes socio conomiques Conception et conduite d une valuation ll Choix et utilisation des indicateurs pour le suivi et l valuation lll Principales techniques et outils d valuation IV Solutions techniques pour valuer dans un cadre de partenariat V Ev
4. l intervention y a eu un effet d aubaine L importance de l effet d aubaine peut parfois d passer 50 de l effet brut L estimation des effets d aubaine n cessite une enqu te aupr s des destinataires directs de pr f rence avec une analyse comparative portant sur des non participants Terme s connexe s Perte s che Poids mort u Effet de d placement Displacement effect 1 Effet obtenu dans une zone ligible au d triment d une autre zone L effet de d placement peut tre d sir ex d placement d une administration publique depuis la capitale vers une r gion en reconversion ou non d sir ex 10 des emplois cr s par un programme de d veloppement r gional ont eu pour cons quence la disparition d emplois dans d autres r gions ligibles Une entreprise a utilis l aide du programme pour d placer ses locaux du centre ville la p riph rie Lorsqu ils ne sont pas d sir s les effets de d placement doivent tre soustraits des effets bruts pour arriver aux effets nets u Effet de substitution Substitution effect Effet obtenu en faveur d un destinataire direct mais au d triment d une personne ou d une organisation qui n est pas ligible l intervention Par exemple un ch meur de longue dur e a trouv un emploi gr ce l intervention En r alit cet emploi a t obtenu grace au d part d une autre personne en retraite anticip e Si l objectif est une redistribution de l emplo
5. _ Commission europ enne Fonds structurels communautaires valuer les programmes socio conomiques Glossaire de 300 concepts et termes techniques Volume 6 Commission europ enne MEANS est un programme de la Commission europ enne ll vise am liorer les M thodes d Evaluation des Actions de Nature Structurelle Le programme et la Collection MEANS ont t lanc s et supervis s par MM Philippe Goybet et Miguel Angel Benito Alonso DG XVI G2 Unit de Coordination de l Evaluation Coordination evaluation fmb dg16 cec be Sa r alisation a t confi e au Centre Europ en d Expertise en Evaluation C3E sous la direction d Eric Monnier et de Jacques Toulemonde Les opinions exprim es dans cet ouvrage n engagent que les auteurs du texte C3E 13bis Place Jules Ferry F 69006 Lyon France c3e c3e fr De nombreuses autres informations sur l Union europ enne sont dispo nibles sur Internet via le serveur Europa http europa eu int et sur le site Inforegio rttp inforegio cec eu int Une fiche bibliographique figure a la fin de l ouvrage Luxembourg Office des publications officielles des Communaut s europ ennes 1999 ISBN 92 828 6627 0 Communaut s europ ennes 1999 Reproduction autoris e sauf des fins commerciales moyennant men tion de la source IMPRIM SUR PAPIER BLANCHI SANS CHLORE Printed in ltaly Pr face D velopper des pratiques appropri es en mati re d
6. une norme nationale constitu e partir d un chantillon d interventions comparables Terme s connexe s Standard Glossaire de 300 concepts et termes techniques Pond ration Weighting Ce qui permet de dire qu un crit re a une importance plus grande ou moins grande qu un autre crit re dans la formulation d un jugement global sur l intervention On peut formaliser la pond ration des crit res en l exprimant en pourcentage le total faisant 100 L analyse multicrit re met g n ralement en uvre une pond ration Raison d tre Rationale Le fait que l intervention se justifie au regard des besoins a satisfaire ou des problemes socio conomiques a r soudre L valuation ex ante v rifie l existence r elle de ces besoins et problemes et notamment le fait qu ils ne peuvent pas tre satisfaits par l initiative priv e ni par d autres initiatives publiques d j mises en place Ainsi le caract re insuffisant ou d faillant des autres initiatives priv es ou publiques constitue un l ment fondamental de la raison d tre de l intervention en vertu du principe de subsidiarit Terme s connexe s Bien fond Raison d etre Pertinence Relevance Ad quation entre les objectifs explicites de l intervention et les problemes socio conomiques Les questions de pertinence sont particuli rement importantes dans le cadre d une valuation ex ante car on s interroge principalement
7. valuation quantitative des effets nets sur la plupart des variables macro conomiques influenc es par les actions publiques croissance emploi investissement pargne etc Les mod les sont g n ralement capables d estimer les effets de demande mais plus difficilement les effets d offre E Enqu te Delphi Delphi panel E Proc dure de consultation it rative et anonyme de plusieurs experts visant faire converger leurs opinions vers une conclusion commune Par exemple l enqu te Delphi peut tre employ e en valuation ex ante pour l estimation des impacts potentiels d une intervention Techniques de jugement E Panel d experts Expert panel amp Groupe de travail sp cialement constitu et r uni plusieurs reprises pour la r alisation de l valuation Les experts sont des sp cialistes ind pendants et reconnus dans les domaines d intervention valu s Les experts produisent collectivement un jugement sur la valeur de l intervention publique et de ses effets Le panel d experts permet de formuler rapidement et faible co t un jugement de synth se int grant les principales informations connues sur le programme ainsi que celles issues d exp riences ant rieures et ext rieures Terme s connexe s Evaluation par les pairs Peer review E Etalonnage Benchmarking Y Comparaison qualitative et quantitative des performances de l intervention avec celles r put es les meilleures dans le m me domaine d
8. Condition cadre Voir Contexte Contexte 55 Contr le 29 Contr le de gestion Voir Suivi Corr lation Voir Covariance Co t unitaire Voir Efficience Co t efficacit Voir Efficience Covariance 112 Credibilite 49 Crit re 63 Cycle de programmation Voir Programme D cideur Voir Financeur Descripteur 70 Destinataire direct 39 Destinataire indirect 40 D veloppement 97 D veloppement durable 97 D veloppement viable Voir D veloppement durable Diagnostic Voir Evaluation ex ante Disparit 65 Dispositif d valuation 43 Diversification 98 Donn e qualitative Voir Descripteur Donn e quantitative Voir Indicateur Donn es de cohorte Voir Donn es longitudinales Donn es longitudinales 108 Donn es par coupe transversale 107 Donn es primaires 107 Donn es secondaires 107 Durabilit 67 E Echantillon 108 Effectivit Voir Efficacit Effet 59 Effet additionnel Voir Effet net Effet brut 81 Effet d aubaine 81 Effet de demande 89 Effet de d placement 82 Effet de levier 88 Effet de r seau 91 Effet de substitution 82 Effet d cr mage 96 Effet d emploi 95 Effet d entrainement 90 Effet direct 87 Effet d offre 90 Glossaire de 300 concepts et termes techniques Effet fournisseur 89 Effet inattendu 61 Effet indirect 87 Effet induit Voir Effet indirect Effet multiplicateur de revenu 89 Effet net 81 Effet pervers Voir Effet inattendu Effet primaire 87 Effet propre Voir Effet net Effet secondaire 88
9. de formation qui accueille des stagiaires financ s par l intervention Dans le cadre des programmes socio conomiques de l Union europ enne le terme b n ficiaire final est employ pour d signer les organisations publiques ou priv es responsables de la commande de travaux ou de la distribution des aides publiques Le b n ficiaire final est tenu faire des comptes rendus r guliers et syst matiques ll est donc op rateur du programme au sens d fini dans cet ouvrage Terme s connex es B n ficiaire final Final beneficiary L organisation de l valuation M Porteur de projet Project promoter amp Personne ou organisme public ou priv qui sollicite et obtient ventuellement une aide dans le cadre de l intervention pour un projet donn ex r habiliter un site urbain d grad cr er une nouvelle fili re de formation Un porteur de projet doit tre consid r comme un op rateur s il re oit tous les ans des fonds publics et s il doit en rendre compte de fa on r guli re et permanente Au contraire il doit tre consid r comme un destinataire s il re oit un financement ponctuel limit un seul projet M Destinataire direct Direct addressee El Personne ou organisme qui est directement atteint par l intervention Les destinataires re oivent des aides des services des informations ils utilisent les quipements cr s gr ce l intervention ex la famille qui utilise un r seau t
10. rapporteur de la Commission europ enne fonctionnaire d un ministere national personnalit lue d une autorit r gionale ou locale Lorsque l intervention subventionne des personnes ou organisations priv es celles ci apportent galement une part du financement leffet de levier Ces personnes ou organisations ne sont cependant pas des financeurs mais des destinataires Glossaire de 300 concepts et termes techniques Terme s connexe s D cideur Ma tre d ouvrage Decision maker E Gestionnaire Manager Organisation publique ou quelquefois priv e qui a la responsabilit de la mise en oeuvre de l intervention Dans le cadre de la politique europ enne de coh sion conomique et sociale il existe des gestionnaires au niveau des programmes et des mesures Par extension le terme gestionnaire est galement employ pour les personnes qui interviennent au nom de ces organisations Terme s connexe s Maitre d oeuvre B Op rateur Operator W Organisation qui met en oeuvre les ressources allou es l intervention au plus pr s du terrain Les op rateurs sont les derniers maillons dans la cha ne de la mise en oeuvre de l intervention Ils sont la source de l information qui alimente le syst me de suivi On citera comme exemples d op rateurs une administration locale qui distribue des aides directes aux entreprises une soci t priv e qui construit et qui g re un r seau t l phonique un institut
11. thodes d valuation Techniques de structuration Techniques de collecte d information Techniques d analyse Techniques de jugement VII Annexe Bibliographie Index Alphab tique Fran ais Index Alphab tique Anglais 15 17 25 29 31 33 37 41 45 49 53 55 63 69 75 79 81 87 93 95 97 101 103 105 107 111 115 119 121 123 131 l Introduction Raison d tre du Volume L valuation est un exercice qui comporte de nombreux changes entre le commanditaire et l quipe d valuation d une part entre les diff rentes institutions concern es d autre part De la qualit de ces interactions d pend en grande partie la qualit de l valuation elle m me et son utilit Or l interaction peut tourner au malentendu si le vocabulaire n est pas employ de fa on pr cise et juste Dans le contexte des programmes socio conomiques de l Union europ enne il n est pas rare de rencontrer des probl mes de vocabulaire parce que l valuation est conduite dans un contexte international et intersectoriel entre des personnes qui ne partagent ni la m me langue maternelle ni les m mes r f rences professionnelles Par ailleurs le d veloppement r cent de l valuation fait qu un grand nombre d acteurs n en connaissent pas le vocabulaire standard lequel n est d ailleurs pas toujours stabilis II en r sulte des difficult s de communication qui peuvent faire perdre du temps et de l nergie et m me
12. un examen initial d ensemble pour d terminer le degr d valuation environnementale requis avant approbation de la mise en uvre et la focalisation scoping qui d termine quels impacts doivent tre valu s de fa on approfondie L valuation de l mpact sur l environnement examine les effets attendus et les effets non attendus Ces derniers sont souvent les plus nombreux VI Les techniques Cette partie rassemble les principaux termes techniques employ s dans le cadre de la conception et de la mise en uvre d une valuation Pour une pr sentation compl te des principales techniques d valuation on peut se reporter au Volume 3 de la Collection qui pr sente 23 fiches techniques d taill es M thodes d valuation mn M thode Method Plan de travail complet de l quipe d valuation Une m thode est une proc dure ad hoc construite sp cialement dans un contexte donn pour r pondre a une ou plusieurs questions valuatives Certaines m thodes d valuation n ont pratiquement aucune technicit alors que d autres m thodes comprennent plusieurs outils Protocole d valuation Evaluation design Partie technique du plan de travail de l valuation con u pour r aliser la collecte d informations et l analyse des donn es M thodologie Methodology Au sens strict il s agit de la science de la construction des m thodes d valuation Il faut cependant admettre que la c
13. Effet structurant 90 Effet structurel Voir Effet structurant Efficacite 65 Efficience 66 Egalit des chances 98 Eligibilit 65 Emploi cr ou maintenu 95 Emploi permanent 96 Employabilit 95 Enonc Voir Descripteur Enqu te Delphi 114 Enqu te par questionnaire 108 Entretien de groupe 109 Entretien individuel 109 Environnement socio conomique Voir Contexte Equipe d valuation 42 Equivalent temps plein 96 Etalon Voir Etalonnage Etalonnage 115 Etude approfondie 25 Etude d valuabilit 46 Etude de cas 109 Evaluanda Voir Champ Evaluateur Voir Equipe d valuation Evaluation 17 Evaluation mi parcours 27 Evaluation a posteriori Voir Evaluation ex post Evaluation a priori Voir Evaluation ex ante Evaluation affranchie des objectifs Voir Utilit Index alphab tique fran ais Evaluation chemin faisant 27 Evaluation d ensemble 25 Evaluation d mocratique 20 Evaluation d impact sur l Environnement 99 Evaluation endoformative 17 Evaluation ex ante 26 Evaluation ex post 28 Evaluation externe 41 Evaluation formative Voir Evaluation endoformative Evaluation in itinere Voir Evaluation chemin faisant Evaluation interm diaire Voir Evaluation mi parcours Evaluation interne 41 Evaluation manag riale 18 Evaluation par les pairs Voir Panel d experts Evaluation partenariale Voir Evaluation pluraliste Evaluation participative Voir Evaluation pluraliste Evaluation pluraliste 19 Evaluation r capitulative 18 Eval
14. Programme E Ensemble organis de ressources financi res organisationnelles et humaines mobilis es pour atteindre un objectif ou un ensemble d objectifs dans un d lai donn Glossaire de 300 concepts et termes techniques Un programme est d limit en termes de calendrier et de budget Il fait l objet d un effort pr alable de d finition d objectifs pertinents et d une recherche syst matique de coh rence entre ces objectifs Les trois tapes du cycle de vie d un programme sont la conception la mise en uvre et l valuation ex post Un programme est toujours sous la responsabilit d une autorit responsable ou de plusieurs autorit s responsables agissant dans un cadre de partenariat Dans le cadre de la politique europ enne de coh sion conomique et sociale les programmes se d composent g n ralement en axes mesures et projets Terme s connexe s Axe Cycle de programmation Axis Programme cycle E Mesure Measure W Dans le cadre de la politique europ enne de coh sion conomique et sociale unit de base de la gestion des programmes constitu e d un ensemble de projets de m me nature et disposant d une allocation budg taire pr cis ment d finie Chaque mesure fait l objet d un dispositif de gestion particulier Les mesures se d composent en projets Beaucoup de mesures sont mises en uvre sous forme d appel a projets Terme s connexe s Action Action E Projet Project Op rati
15. centres de recherches les universit s etc Les effets de r seau sont partiellement fond s sur des relations interpersonnelles non marchandes Ce sont donc en partie des externalit s Effets de synergie E Coh rence interne Internal coherence Y Correspondance entre les diff rents objectifs d une m me intervention La coh rence interne suppose qu il existe une hi rachie d objectifs ceux de niveau inf rieur constituent une contribution logique ceux de niveau sup rieur Mot s connexes s Consistency El Coh rence externe External coherence Correspondance entre les objectifs de l intervention et ceux des autres interventions publiques qui interagissent avec elle Si une politique nationale et un programme socio conomique de l Union europ enne interviennent tous deux de fagon compl mentaire sur le m me territoire en faveur du d veloppement des PME alors il existe une coh rence externe FE Compl mentarit Complementarity Le fait que plusieurs interventions publiques ou plusieurs composantes d une intervention contribuent a la r alisation d un m me objectif La compl mentarit peut tre fonctionnelle si l objectif est fonctionnel ex d velopper un secteur d activit cr er un r seau Elle peut tre territoriale si l objectif concerne un territoire ex politique int gr e de d veloppement local E Synergie Synergy Le fait que plusieurs interventi
16. fr IRELAND Government Supplies Agency Publications Section 45 Harcourt Road Licosa SpA Via Duca di Calabria 1 1 Case a ale 552 2 renze l 39 055 64 89 1 ss 055 64 12 57 Oftbee it GAL tela fice cosa LUXEMBOURG Mossageries du livre SARL 5 rue Raifteisen L 2441 Luxembourg T l 352 40 10 20 Fax 352 49 06 61 E mail mai mal lu URL http vw mad lu NEDERLAND SOU Servicecentrum Utigevers Christoftel Plantinstraat 2 Postbus 20014 EA Den Tel 31 70 378 98 80 Fax 31 70 378 07 83 E mal sdu Q edu URL http www edu l 351 1 485 90 50 ax 351 1 496 02 55 a Nacional Casa da Moeda EP Rua Marqu s S da Bandeira 16 A P 1050 Lisboa Codex Tel 351 1 353 03 99 Fax 351 1 353 02 94 E mail del incm mail telepac pl URL http www inem pt Akademiska Bokhandeln Keskuskatu 1 Centralgatan 1 PUPB 128 FIN 00101 Helsinki Helsinglors URL http www akateeminen com SVERIGE BTJAB Traktorvagen 11 5 221 82 Lund Ttn 46 46 18 00 00 Fax 46 46 30 79 47 t btjeu pub bij se L http han bt s0 UNITED KINGDOM The Statlonery Office Ltd International Sales Agency 51 Nine Elms Lane London SW8 50A Tel 44 171 873 90 90 Fax 44 171 873 84 63 E mail ipa enquiries O theso co uk URL http www the stationery office co uk ISLAND Bokabud Larusar Blondel Sk lav rdustig 2 15 101 Reyigavik Tel 354 551 56 50 Fax 354 552 55 60
17. indicateurs peuvent tre utilis s pour appuyer des d cisions politiques pour renforcer la gestion et pour mesurer la performance globale des programmes L ouvrage propose un cadre m thodologique et un guide pratique d utilisation des indicateurs dans ces diff rentes situations Le troisi me volume pr sente une s lection des Principales techniques et outils d valuation applicables l valuation des programmes socio conomiques Ces outils sont issus des disciplines scientifiques pertinentes conomie sociologie management g ographie etc Chacun des 23 outils pr sent s est d crit sous forme d une fiche comprenant sa description g n rale les principes de sa mise en uvre une liste de ses points forts et faibles pour l valuation des Fonds structurels un exemple La Collection MEANS d application et une bibliographie des ouvrages de r f rence Plusieurs m thodes adapt es l valuation des programmes socio conomiques font l objet d une description plus compl te dans le quatrieme volume intitul Solutions techniques pour valuer dans un cadre de partenariat Plusieurs valuations pilotes du programme MEANS ont permis de concevoir et de tester des techniques nouvelles dont le mode d emploi est d crit en d tail cartographie conceptuelle d impact matrice d impacts crois s chelles de notation et analyse multicritere Le cinqui me volume traite de amp valuation transver
18. influence L analyse de causalit peut aussi tre d ductive ou hypoth tico d ductive Dans ce cas elle examine si les hypoth ses faites sur les impacts ne sont pas contredites par les faits Elle peut galement fournir une estimation quantitative des impacts Terme s connexe s Analyse d ductive Analyse inductive Deductive analysis Inductive analysis B Th orie d action Theory of action amp Ensemble des hypotheses qui sont faites par les financeurs et les gestionnaires pour expliquer la fa on dont l intervention publique va produire ses impacts et va atteindre son objectif global Les impacts La th orie d action est constitu e des relations de cause effet reliant les r alisations les r sultats et les impacts La th orie d action est souvent implicite au moins en partie L valuation aide l expliciter et s appuie pour cela sur un Diagramme logique des impacts escompt s Terme s connexe s R f rentiel Mod le de causalit Programme theory u Th orie explicative Explanatory theory El Ensemble des hypoth ses susceptibles d expliquer les changements constat s la suite de l intervention publique effets bruts La th orie explicative a une port e plus large que la th orie d action Comme elle elle englobe les relations de cause effet entre les r alisations les r sultats et les impacts En plus elle comprend toutes les autres causes susceptibles d expliquer les effets bruts c e
19. intervention ou dans un domaine connexe L talonnage est facilit lorsqu il existe au niveau national ou r gional un classement des bonnes et moins bonnes pratiques Terme s connexe s Classement Etalon Meilleure pratique Benchmark Best practice League table Glossaire de 300 concepts et termes techniques E Analyse multicrit re Multicriteria analysis Outil permettant de comparer plusieurs interventions en r f rence plusieurs crit res L analyse multicrit re est surtout employ e dans l valuation ex ante des grands projets pour comparer des variantes Elle peut aussi tre employ e dans l valuation ex post d une intervention pour comparer la plus ou moins grande r ussite des diff rentes composantes de l intervention Elle peut enfin tre employ e pour comparer diff rentes interventions similaires afin d tablir un classement L analyse multicrit re peut faire intervenir une pond ration refl tant l importance relative accord e chacun des crit res Elle peut aboutir formuler un seul jugement ou classement synth tique ou au contraire des jugements ou classements diff rents refl tant les points de vue de diff rents protagonistes Dans ce dernier cas on parlera d analyse multicrit re multijuge Terme s connexe s Analyse multicritere multijuge Multicriteria multijudge analysis E Analyse co t efficacit Cost effectiveness analysis B Outil d valuation qui permet de porte
20. l phonique am lior gr ce l intervention publique l entreprise qui a re u une aide ou un conseil Certaines personnes peuvent tre destinataires sans faire forc ment partie du public cibl par l intervention R ciproquement les destinataires ne constituent pas forc ment la totalit du public ligible On emploie souvent le terme b n ficiaire au sens qui est donn ici au mot destinataire direct Dans le cadre de ce glossaire on a pr f r opter pour le terme destinataire et ceci pour deux raisons 1 le terme b n ficiaire final a un sens diff rent dans le cadre du syst me d valuation de la politique europ enne de coh sion conomique et sociale et 2 le terme b n ficiaire est associ l id e d un effet positif ce qui peut tre trompeur car l quipe d valuation peut rep rer des effets n gatifs lorsqu elle enqu te aupr s des destinataires directs Terme s connexe s Ben ficiaire Usager End user Recipient Glossaire de 300 concepts et termes techniques E Public ligible Eligible public amp Ensemble des personnes ou organismes a qui est directement destin e l intervention ex personnes au ch mage depuis plus d un an cr ateurs d entreprises Le public ligible est compos de tous les destinataires directs potentiels Une partie d entre eux seulement est touch e par l intervention voir la notion de taux d atteinte du public cible ou taux de couverture Le
21. les r sultats mais pas les impacts Dans d autres contextes le terme s applique principalement aux r alisations Banque Mondiale Departement d Evaluation des Op rations ou au contraire aux impacts La signification du mot performance n est pas stabilis e ll est donc pr f rable de d finir le mot lorsqu il est employ Utilit Utility Le fait que les impacts obtenus par l intervention correspondent bien aux besoins de la soci t et aux probl mes socio conomiques r soudre Glossaire de 300 concepts et termes techniques L utilit est un crit re d valuation tr s particulier puisqu il abandonne toute r f rence aux objectifs affich s par l intervention ll peut tre judicieux d appliquer ce crit re lorsque les objectifs sont mal d finis ou lorsque qu il y a beaucoup d effets inattendus Ce crit re doit tre utilis avec pr caution afin d viter que l quipe d valuation ne proc de une s lection trop personnelle des besoins ou des probl mes socio conomiques importants Certains auteurs ont pr n une forme d valuation affranchie des objectifs Terme s connexe s Evaluation affranchie des objectifs Goal free evaluation E Subsidiarit Subsidiarity Ce qui justifie qu une autorit publique d cide et mette en uvre l intervention plut t que de laisser faire l initiative priv e o une autre autorit publique Le principe de subsidiarit justifie l intervention pu
22. mise en oeuvre le cout par emploi cr ou le PIB par habitant pour l valuation des impacts Les indicateurs cl s doivent tre a la fois des indicateurs standards et des indicateurs g n riques Taux de consommation budg taire Absorption rate Ressources budg taires d j mobilis es en proportion des ressources initialement allou es Terme s connexe s Taux d absorption Les crit res et les indicateurs Taux de r alisation Completion rate Pourcentage des r alisations initialement pr vues qui sont achev es Le taux de r alisation d un grand projet d infrastructure est calcul par rapport aux tapes de travail initialement pr vues et qui sont achev es Le taux de r alisation d une intervention est la moyenne des taux de r alisation des projets qui composent cette intervention Le taux de r alisation est un indicateur cl pour le suivi de la mise en uvre de l intervention Terme s connexe s Taux d avancement Taux d atteinte du public ligible Coverage rate Pourcentage du public ligible qui a t effectivement atteint par l intervention Le taux de couverture est un indicateur de r sultat important quantifier dans le cadre du suivi On parlera de taux d exposition pour indiquer la part de la population vis e qui a re u une information sur le programme Terme s connexe s Taux de couverture Taux d exposition Exposure rate V Les impacts Les pages qui suive
23. n ral et juge si les objectifs restent pertinents Elle examine si l volution des politiques et priorit s des autres autorit s publiques pose des probl mes de coh rence Elle aide pr parer des ajustements et des reprogrammations et les argumenter de fa on transparente L valuation a mi parcours s appuie fortement sur les informations issues du syst me de suivi mais galement sur les informations relatives au contexte et son volution L valuation a mi parcours a un caract re endoformatif elle alimente une r troaction sur l intervention dont elle contribue am liorer la gestion L valuation mi parcours est une forme d valuation interm diaire intermediate evaluation D autres valuations interm diaires peuvent intervenir durant les premi res ann es ou les derni res ann es de la mise en uvre Terme s connexe s Evaluation interm diaire u Evaluation chemin faisant On going evaluation amp Evaluation qui se prolonge pendant toute la p riode de mise en ceuvre de l intervention Cette forme d valuation accompagne le suivi des r alisations et des r sultats Elle est trop souvent confondue avec le suivi L int r t de l valuation chemin faisant est de permettre une bonne collaboration entre l quipe d valuation et les gestionnaires ce qui favorise une meilleure appropriation des conclusions et des recommandations L valuation chemin faisant peut tre consid r e comme une suite d
24. question Aurait on pu obtenir plus d effets en organisant la mise en oeuvre de fa on diff rente ou bien Quels sont les op rateurs ou les mesures Glossaire de 300 concepts et termes techniques qui obtiennent les meilleures r ussites Un indicateur d efficacit se calcule en rapportant un indicateur de r alisation de r sultat ou d impact un objectif quantifie Par exemple l objectif en terme de nombre d entreprises cr es a t atteint 85 Le taux de placement obtenu par l op rateur A est meilleur que celui obtenu par l op rateur B Pour plus de clart il peut tre utile de pr ciser si l on parle de l efficacit en r f rence aux r alisations aux r sultats ou aux impacts Terme s connexe s Effectivit R ussite Succ s Efficacy Success E Efficience Efficiency Le fait que les effets ont t obtenus a un co t raisonnable L efficience peut tre appr ci e en r pondant par exemple aux questions suivantes aurait on pu obtenir plus d effets pour un m me budget d autres interventions ont elles obtenu les m mes effets pour un co t inf rieur Un indicateur d efficience se calcule par division entre les ressources budg taires mobilis es et la quantit d effet obtenu Par exemple le co t moyen de formation d un ch meur de longue dur e a t de 2 000 euros L intervention devrait aboutir un co t par emploi cr de moins de 30 000 euros
25. sur la strat gie conomique que cette derni re est cens e prendre en charge Dans le cadre d une valuation mi parcours on peut v rifier si le contexte socio conomique a bien volu comme on l imaginait a priori et si cette volution ne remet pas en question la pertinence de tel ou tel objectif initial Les crit res et les indicateurs Terme s connexe s Ad quation Appropriateness M Eligibilit Eligibility E Le fait qu une r gion un projet un groupe de personnes ait les caract ristiques requises pour b n ficier de l intervention ou plus pr cis ment pour recevoir une aide Par exemple les r gions europ ennes ligibles l aide attribu e aux zones en retard de d veloppement doivent avoir un PIB par habitant inf rieur 75 de la moyenne de l Union europ enne Les crit res d ligibilit d coulent de la raison d tre de l intervention Disparite Disparity El Le fait qu une r gion ou un groupe de personnes est dans une situation significativement diff rente des autres En r gle g n rale la raison d tre des programmes financ s par les Fonds structurels consiste r duire les disparit s socio conomiques entre r gions ou groupes sociaux Terme s connexe s In galit Inequality M Efficacit Effectiveness U Le fait que les effets attendus ont t obtenus que les objectifs ont t atteints L efficacit peut tre appr ci e en r pondant par exemple la
26. travail calendrier m thode d valuation Le terme protocole d valuation s applique de facon plus restrictive aux seuls aspects techniques du dispositif l exclusion de ses aspects organisationnels Le dispositif mis en place pour une valuation donn e s integre au systeme d valuation qui s applique dans le contexte institutionnel de l intervention valu e Glossaire de 300 concepts et termes techniques E Syst me d valuation Evaluation system W Ensemble des r gles institutions proc dures et ressources qui organisent la fonction d valuation dans un contexte institutionnel donn Le syst me d valuation de la politique europ enne de coh sion pr cise les moments o chaque programme doit tre valu ainsi que les responsabilit s des diff rents chelons dans l valuation Le syst me est d clin de fa on diff rente selon les pays Chaque valuation peut faire l objet d un dispositif particulier condition de respecter les principes de base de l ensemble du syst me Pr paration de l valuation E Mandat Mandate Document sign par les commanditaires pour formaliser leur volont d valuer l intervention Par l interm diaire du mandat le commanditaire d l gue la conduite de l valuation a un groupe de pilotage ou une instance d valuation Le mandat pr cise ce qui va tre valu le champ de l valuation les raisons pour lesquelles l valuation est lanc
27. valuation est devenue l une des actions prioritaires de la Commission afin de contribuer la bonne utilisation des financements communautaires En effet le respect des principes de bonne gestion financi re qu elle cherche promouvoir dans son programme SEM2000 Sound and Efficient Management repose notamment sur la n cessit de proc der l valuation r guli re des actions communautaires Les Directions G n rales en charge des politiques structurelles poss dent dans ce domaine une certaine exp rience car elles ont d int grer la d marche d valuation d s 1988 tout au long du cycle des interventions structurelles communautaires lors de leur conception sous la forme d une valuation prospective lors de leur mise en ceuvre en tant que renforcement du sys teme de suivi et enfin a l issue de celles ci afin de tirer les enseignements des impacts obtenus Cependant la capacit de l valuation contribuer l efficacit et la transparence de ces actions doit s appuyer sur la cr dibilit des m thodes qu elle emploie afin qu elles puissent garantir la validit des r sultats C est pourquoi il y a quatre ans l initiative de la Direction G n rale de la Politique R gionale et de la Coh sion DG XVI le programme MEANS a t con u comme une r ponse ce souci de d velopper des m thodologies et des pratiques d valuation conciliant la rigueur scientifique et les sp cifici t s propres aux inter
28. 3 32 34 69 21 Fax 81 3 32 34 69 15 E mail books psi japan co p URL hip Awww psi japan com MALAYSIA EBIC Malaysia Mundi Prensa Mexico SA de CV R o P nuco No 141 Colonia Cuauht moc MX 06500 Mexico DF Tel 52 5 533 56 58 Fax 52 5 514 67 99 E mail 101545 2361 compuserve com PHILIPPINES EBIC Philippines 18th Floor PS Bank Tower Sen Si Puyat Ave cor Tindalo St Makali SAI LANKA EBIC Sri Lanka Trans Asia Hotel 115 Sir chittampalam A Gardiner Mawatha OON bo 2 Tel 94 1 074 71 5078 Fax 94 1 44 87 79 E mail ebics itmin com o THAILAND EBIC Thailand 29 Vanissa Building Bth Floor Soi Chidiom Ploenchit 306 27 2 66506 20 tac hp rena RER org UNITED STATES OF AMERICA Bernan Associates 4611 F Assembly Drive Lanham MD207 Tal 1 800 274 44 47 toll free telephone Fax 1 800 865 34 50 tol Irea fax E mail query O baman com URL hitp www beman com ANDERE LANDER OTHER COUNTRIES AUTRES PAYS Bitte wenden Sle sich an ein B ro Ihrer Wahv Please contact Ihe sales office of your choice Veuillez vous adresser su buroau de vento de votre cholx Office for Official Publications of the European Communities 2 fue Mercier L 2985 Luxembourg Tel 352 29 29 42455 Fax 352 29 29 42758 E mail info info opoce cec be UAL http eur 0p eu int La collection MEANS Evaluer les programmes socio conomiques
29. 6 Thematic evaluation 25 Theory of action 84 Time series 107 Tool 103 Transition rate 95 Trustworthiness See Credibility U Unexpected effect 61 Unit cost See Efficiency Utility 67 V Value for money See Efficiency Verifiable objective 57 W Weighting 64 Winners and losers See Reached group Remerciements La pr paration de ce Volume s est tal e sur plusieurs ann es de 1993 1998 Les travaux pr paratoires ont comport les tapes suivantes Une premi re version en cing langues a t produite en 1993 sous forme de document interne la Commission Europ enne Une seconde version a t produite en 1995 en neuf langues en tenant compte des compl ments et commentaires apport s par un groupe d experts internationaux e Le pr sent Volume d coule directement du travail qui a t n cessaire pour produire l ensemble de la collection MEANS avec un vocabulaire coh rent La coordination des travaux de ce volume a t assur e par Miguel Benito Alonso et Andrea Mairate D G XVI G 2 Coordination de l valuation et a impliqu plusieurs Directions G n rales de la Commission Europ enne notamment les D G Il V VI XIV et XVI et en particulier Philippe Goybet Anastassios Bougas et David Sweet Ce Volume a t r dig par le Centre Europ en d Expertise en Evaluation notamment avec la participation de Kristian Colletis Wahl Les auteurs souhaitent remercier toutes celles et tous ce
30. 67 V Valeur ajout e communautaire Voir Subsidiarit Valeur sociale Voir Crit re Validit de construction 50 Validit externe 51 Validit interne 50 Viabilit Voir Durabilit Vote color 106 AS de Arros Gertie Cites Ses Auf ORGIES TES o nt she et PIS thy iso ere vor an 4 7 Port ta oe J y t E A gt NSi x w owt CRE Pal E pred 7i cli x Eve y f m i jit Index alphab tique anglais A Absorption rate 76 Accountability 22 Action See Measure Activity See Input Additional Effect See Net effect Additionality 30 Aim See Objective Appraisal See Evaluation Appropriateness See Relevance Assessment See Evaluation Audit 29 Axis See Programme Baseline 75 Benchmarking 115 C Case study 109 Causality analysis 84 Cognitive aim 20 Colour Vote 106 Commissionner 41 Community value added See Subsidiarity Comparability 72 Comparison group 111 Competitiveness 98 Complementarity 93 Completion rate 77 Concept mapping of impacts 105 Conceptual See Cognitive aim Concerned group 40 Concurrent factor See Confounding factor Confounding factor 83 Consistency See Internal coherence Construct validity 50 Context 55 Context indicator 75 Control See Audit Control group 111 Core indicator 76 Cost effectiveness See Efficiency Cost effectiveness analysis 116 C
31. Analyse comparative Voir Groupe de comparaison Analyse co t avantages 116 Analyse co t efficacit 116 Analyse de causalit 84 Analyse de r gression 112 Analyse d ductive Voir Analyse de causalit Analyse Entr es Sorties 113 Analyse factorielle 112 Analyse inductive Voir Analyse de causalit Analyse multicrit re 116 Analyse multicrit re multijuge Voir Analyse multicrit re Analyse structurelle r siduelle 113 Apport conceptuel Voir Finalit cognitive Appr ciation Voir Evaluation Appr ciation ex ante Voir Evaluation ex ante Apprentissage en double boucle Voir Apprentissage organisationnel Apprentissage en simple boucle Voir Apprentissage organisationnel Apprentissage organisationnel 22 Arbre des objectifs 105 Att nuation 97 Audit Voir Contr le Audit de performance Voir Suivi Auto valuation 41 Axe Voir Programme B n ficiaire Voir Destinataire direct B n ficiaire final Voir Op rateur Besoin 55 Bien fond Voir Raison d tre Bin me appari 112 But Voir Objectif C Cadre logique 105 Cahier des charges 46 Cartographie conceptuelle des impacts 105 Champ de l valuation 33 Champ d intervention 73 Charg d valuation Voir Equipe d valuation Classement Voir Etalonnage Coefficient d extrapolation 85 Co facteur Voir Facteur concurrent Coh rence externe 93 Coh rence interne 93 Coh sion conomique et sociale 97 Commanditaire 41 Comparabilit 72 Comp titivit 98 Compl mentarit 93
32. First round effect 87 Focus group 109 Formative evaluation 17 Framework condition See Context Glossaire de 300 concepts el termes techniques Full Time Equivalent 96 Funding authority 37 G Generic indicator 76 Global evaluation See Overall evaluation Global impact See Impact Global objective See Objective Goal See Objective Goal free evaluation See Utility Gross effect 81 H Harmonisation See Comparability Immediate outcome See Result Impact 60 Impartiality 49 Implementation 57 Implicite objective See Objective Impulsion effect 90 Income multiplier effect 89 In depth study 25 Indicator 69 Indirect addressee 40 Indirect effect 87 Individual interview 109 Inductive analysis See Causality analysis Inequity See Disparity In house evaluation See Internal evaluation Input 58 Input output analysis 113 Instrumental aim 21 Intermediate evaluation See Mid term evaluation Index alphab tique anglais Intermediate impact See Impact Intermediate objective See Objective Internal coherence 93 Internal evaluation 41 Internal validity 50 Intervention 35 J Job created or maintained 95 K Knock on effect See First round effect L Lasting effect See Structuring effect League table See Benchmarking Learning 22 Leverage effect 88 Logical framework 105 Longitudinal data 108 Macro economic model 113 Mainstreaming 99 Management audit See Monitoring Manager 38 Managerial evaluation 18 Man
33. Pour plus de clart il peut tre utile de pr ciser si l on parle de l efficience en r f rence aux r alisations aux r sultats ou aux impacts L efficience des r alisations est appel e co t unitaire Terme s connexe s Co t efficacit Co t unitaire Cost effectiveness Unit cost Value for money Les crit res et les indicateurs El Durabilit Sustainability E La propri t des effets perdurer moyen ou long terme Les effets sont durables s ils subsistent apr s la fin du financement attribu par l intervention Ils ne sont pas durables si une activit n est pas capable de g n rer ses propres ressources ou si elle s accompagne d effets n gatifs notamment sur l environnement et que cela entra ne des ph nom nes de blocage ou de rejet Terme s connexe s Viabilit P rennit E Performance Performance Le fait que les effets ont t obtenus un co t raisonnable et qu ils donnent satisfaction aux destinataires Par exemple un programme d assainissement des eaux us es est performant si le co t par habitant desservi est limit par rapport celui d interventions similaires si les stations d puration construites respectent les normes de qualit et si les rivi res sont moins pollu es L efficience et la performance sont deux notions voisines mais la seconde s tend plus largement aux dimensions qualitatives Dans certains contextes la performance concerne les r alisations et
34. Seules des d cisions collectives et souvent publiques peuvent favoriser les effets externes positifs et pr venir les effets externes n gatifs Beaucoup d aides financi res attribu es au titre de la politique europ enne de coh sion visent favoriser l obtention d effets positifs externes que les entreprises ne rechercheraient pas spontan ment par elles m mes E Effet de levier Leverage effect M Propension dans laquelle l intervention publique induit une d pense priv e pour le destinataire direct Les impacts Dans le cas o l intervention publique subventionne des investissements priv s l effet de levier est d autant plus grand que la subvention mobilise des d penses priv es importantes L effet de levier ne doit pas tre confondu avec l effet additionnel voir effet net ll ne fait pas non plus r f rence au principe d additionnalit qui s applique la politique europ enne de coh sion conomique et sociale voir additionnalit M Effet de demande Demand side effect E Effet qui se propage par l interm diaire de l accroissement des consommations interm diaires des entreprises effet fournisseur et par l interm diaire des revenus distribu s dans la r gion aid e et qui g n re son tour des d penses de consommation des m nages effet multiplicateur En cas d arr t du financement public les effets de demande disparaissent u Effet fournisseur Supplier effect Ml Effet secondaire sur les soci t s
35. Syst me d indicateurs System of indicators Tableau de bord Operating report Pr sentation des informations essentielles pour le suivi de l intervention sous forme d un petit nombre d indicateurs quantifi s p riodiquement Glossaire de 300 concepts et termes techniques Le tableau de bord concerne les ressources mobilis es les r alisations effectu es et les r sultats constat s Le tableau de bord comprend aussi quelques indicateurs statistiques permettant de suivre des l ments importants du contexte sous r serve que l information puisse tre connue sans trop de d lai Le tableau de bord fait partie du syst me d information de suivi Il est souvent produit l aide d un logiciel de gestion de bases de donn es L int r t d un tableau de bord est de permettre la visualisation continue des principaux param tres de l intervention publique et ainsi de favoriser une r troaction rapide Observatoire Statistical team Organisation ou syst me qui permet de rassembler et de diffuser des informations statistiques sur un th me donn de fa on r guli re sur une longue p riode ex observatoire de l galit des chances observatoire de l environnement dans un parc naturel Gr ce sa permanence un observatoire peut produire des s ries chronologiques ce que l valuation qui intervient dans un temps limit ne peut pas faire Les observatoires lorsqu ils existent constituent des sources int ress
36. a W Donn es recueillies directement sur le terrain gr ce une enqu te r alis e par l quipe d valuation aupr s des publics concern s par l intervention Les donn es primaires jouent un r le important dans l apport cognitif de l valuation Elles s ajoutent aux donn es d j disponibles au d but de l valuation recherches et valuations pass es donn es de suivi statistiques Les donn es primaires sont particuli rement utiles pour analyser les impacts et les besoins de fa on approfondie Donn es secondaires Secondary data amp Informations pr existantes rassembl es et interpr t es par l quipe d valuation Les donn es secondaires comprennent des informations issues du syst me de suivi des informations produites par les offices statistiques et des informations provenant de recherches et d valuations ant rieures E Donn es par coupe transversale Cross sectional data W Donn es collect es de fa on comparative un moment donn sur plusieurs cat gories d individus ou de faits Par exemple taux de ch mage compar des r gions europ ennes taux de placement compar pour les hommes et les femmes E S rie temporelle Time series M Donn es collect es sur la m me population de fa on comparable ch ances r guli res pendant une p riode donn e Glossaire de 300 concepts et termes techniques Il s agit d observer les variations globales des caract ristiques d u
37. aluation transversale des impacts sur l environnement l emploi et les autres priorit s d intervention VI Glossaire de 300 concepts et termes techniques x un x OFFICE DES PUBLICATIONS OFFICIELLES x OP x DES COMMUNAUT S EUROP ENNES LE k L 2985 Luxembourg el it 9 44 900 66 01 X09 La collection MEANS Evaluer les programmes socio conomiques Cette collection en six volumes met la disposition d un public largi les enseignements du programme MEANS lanc par la Commission europ enne en vue d am liorer et de promouvoir les m thodes d valuation Cette publication r pond au besoin de plus en plus manifeste de disposer de r f rences solides pour traiter de facon efficace les problemes d valuation rencontr s dans la mise en uvre de l action publique en g n ral et en particulier dans le domaine des Fonds Structurels De ce point de vue cet ouvrage constitue un guide m thodologique original qui fournit des solutions des probl mes techniques et organisationnels rencontr s par l valuation auxquels la litt rature existante apporte peu de solutions La collection s adresse non seulement aux valuateurs professionnels pour qui elle constituera un vade mecum pr cieux mais aussi aux non sp cialistes et en particulier aux autorit s de gestion et aux membres des comit s de suivi des programmes structurels Chaque volume est con u de mani re tre lu ind pendamment des autres mais tou
38. antes de donn es secondaires pour l valuation Comparabilit Comparability Qualit d un indicateur qui utilise la m me unit de mesure pour quantifier les besoins les objectifs ou les effets de plusieurs interventions diff rentes La comparabilit est utile pour constituer des normes de jugement ex le co t moyen des emplois cr s par l intervention se compare favorablement celui d interventions similaires Les efforts r alis s pour am liorer la comparabilit supposent Une harmonisation des unit s de mesure et aboutissent dans un premier temps d finir des indicateurs standards c est dire utilisables dans plusieurs r gions avec la m me d finition pour un m me secteurs d intervention ex nombre de PME aid es d fini et calcul de fa on comparable Dans un deuxi me temps la comparabilit peut s tendre des indicateurs cl s c est dire utilisable la fois dans plusieurs r gions et dans plusieurs secteurs d intervention Les crit res et les indicateurs Terme s connexe s Harmonisation Indicateur standard Harmonisation Standard indicator E Champ d intervention Field of intervention Ensemble d interventions qui pr sentent des similarit s suffisantes pour faire l objet d une harmonisation des indicateurs et de comparaisons entre les travaux d valuation Par exemple un m me programme peut pr voir des r alisations dans le champ de la recherche d veloppement dans celui
39. blement du taux d innovation et 2 qu une aide similaire attribu e a des PME dans d autres r gions aurait vraisemblablement pour un effet identique Seule une forte validit externe permet d extrapoler les le ons apprises lors de la mise en uvre de l intervention valu e Elle est particuli rement recherch e lorsque l valuation vise identifier et valider les meilleures pratiques La validit externe est galement requise lorsque l valuation utilise les conclusions d valuations r alis es sur des interventions similaires Terme s connexe s G n ralisabilit Repr sentativit Representativeness IV Les crit res et les indicateurs Les termes qui suivent concernent la logique de l intervention depuis les besoins auxquels elle r pond jusqu aux impacts qu elle produit en passant par les ressources qu elle mobilise et les r alisations qu elle accomplit Cette logique est celle qui structure les crit res d valuation et qui permet de construire la fois les crit res de jugement et les indicateurs Pour une pr sentation compl te de ces th mes on se reportera au Volume 1 de la Collection en particulier au d but de sa troisi me partie intitul e valuer la logique d ensemble du programme ainsi qu au Volume 2 et en particulier sa premi re partie consacr e la terminologie relative aux indicateurs Logique interne de l intervention Besoin Need Probl
40. blique quand il y a d faillance du secteur priv d une part et quand les autres chelons d administration publiques ne seraient pas aussi efficaces d autre part La subsidiarit est une composante de la raison d tre de l intervention Dans le contexte europ en la subsidiarit signifie par exemple que la Communaut agit dans la mesure o un objectif peut tre mieux r alis au niveau europ en qu au niveau des Etats membres pris isol ment Ceci rejoint la notion de valeur ajout e communautaire qui est fr quemment consid r e comme un crit re a prendre en compte dans l valuation des programmes Terme s connexe s Valeur ajout e communautaire Community value added Mesures et syst mes d information E Indicateur Indicator Mesure d un objectif a atteindre d une ressource mobilis e d une r alisation accomplie d un effet obtenu ou d une variable de contexte conomique social ou environnemental L information fournie par un indicateur est une donn e quantitative mesurant des faits ou des opinions ex pourcentage des entreprises r gionales qui ont t aid es par l intervention publique pourcentage des stagiaires qui se d clarent satisfaits ou tr s satisfaits Parmi les qualit s d un indicateur on notera qu il doit produire une information simple facilement communicable et comprise la fois par le fournisseur et l utilisateur de l information Il doit aider les responsables de l interventi
41. c des variantes selon que les variables du mod le sont continues ou discr tes et selon que leurs relations sont lin aires ou non E Covariance Covariation W Le fait que deux variables voluent syst matiquement dans le m me sens ou dans un sens oppos Si la covariance est faible il n y a pas de relation statistiquement fiable entre elles Une covariance forte entre A et B indique une pr somption de causalit mais ne le d montre pas A est il la cause de B ou B est il la cause de A ou A et B sont ils la cons quence de quelque chose d autre Terme s connexe s Corr lation E Analyse factorielle Factor analysis W Outil d analyse statistique qui permet d identifier l ensemble de corr lation au sein d une grande quantit de donn es concernant de nombreux Les techniques individus par exemple le r sultat d une enqu te et de les repr senter de fa on simplifi e sous la forme d un espace deux ou trois dimensions L outil fait appara tre des regroupements et sugg re des relations de cause effet C est un outil d analyse de causalit inductive E Analyse structurelle r siduelle Shift share analysis El Outil d valuation des politiques r gionales qui estime la situation contrefactuelle par projection des tendances conomiques nationales sur l conomie d une r gion donn e L hypoth se qui fonde cette technique est qu en l absence de politique r gionale l volution des variables conom
42. compromettre la qualit ou l utilit des travaux d valuation La vocation de ce Volume est de contribuer stabiliser et pr ciser le vocabulaire terme il a galement vocation rapprocher les concepts utilis s dans les diff rentes langues europ ennes Le public vis est constitu de toutes les personnes impliqu es dans la commande dans la r alisation et dans l utilisation des valuations intervenant dans le cadre de la politique europ enne de coh sion conomique et sociale L ouvrage s applique essentiellement l valuation d un programme de d veloppement socio conomique mais il peut galement int resser ceux qui conduisent ou r alisent des valuations th matiques ou des tudes approfondies sur des champs plus restreints Pour cette raison l ouvrage emploie syst matiquement le terme intervention publique pour d signer de fa on g n rique n importe quel objet d valuation Les choix qui ont t faits A l origine ce glossaire est n de la n cessit de traduire en plusieurs langues les travaux du programme MEANS M thodes d Evaluation des Actions de Nature Structurelle Une premi re version en cing langues a t r alis e en 1994 sous forme d un document interne a la Commission Cette premi re tentative a t bien accueillie et a attir l attention d experts en valuation dans de nombreux pays qui ont spontan ment contribu une gt Glossaire de 300 concepts e
43. concept est plus limit que celui de public concern qui comprend aussi les destinataires indirects pr vus ou impr vus Terme s connexe s Public cible Target group Destinataire indirect Indirect addressee M Personne groupe de personnes ou organisation qui n a pas de contact direct avec l intervention mais qui en re oit des effets par l interm diaire des destinataires directs ex les entreprises qui ont innov grace aux r seaux de transfert de technologie mis en place par l intervention publique Les effets indirects se produisent court ou a moyen terme de fagon positive ou n gative La raison d tre d une intervention est de produire un changement positif pour l ensemble de ses destinataires directs et indirects B Public concern Concerned group E Ensemble des personnes ou organismes qui sont atteints ou potentiellement atteints par l intervention volontairement ou non directement ou indirectement Le concept est plus large que celui de public ligible tous les destinataires directs potentiels ll comprend aussi les destinataires indirects Terme s connexe s Gagnants et perdants Winners and losers Organisation de l valuation E Auto valuation Self evaluation Evaluation d une intervention publique par l organisation qui participe directement sa mise en oeuvre Ce mode d organisation est peu courant dans le contexte des programmes financ s par l Union europ enne mais pl
44. d lais et des conditions raisonnables L intervention publique en faveur de l employabilit concerne le d veloppement des ressources humaines en particulier la formation L examen de l employabilit d un individu peut tre r alis indirectement sur la base des facteurs pr tablis qualifications exp rience mobilit existence d offres d emploi Taux de transition Transition rate Pourcentage des destinataires dont l insertion sociale s est am lior e a la suite de l intervention L am lioration peut correspondre l obtention d un emploi taux de placement ou la poursuite d une formation d un niveau plus lev Le taux de transition est valu apr s quelques mois par exemple 12 mois apr s la fin d une formation Glossaire de 300 concepts et termes techniques Mot s connexes s Taux de placement Placement rate E Effet d cr mage Skimming off effect E Cons quence du mode de recrutement des participants une formation qui privil gie ceux qui sont susceptibles de parvenir aux meilleurs r sultats Il s agit d un effet pervers qui privil gie la mesure de la performance au d triment de la satisfaction des besoins des personnes les plus d favoris es E Emploi permanent Permanent job Emploi g n r par l intervention qui perdure lorsque le soutien public prend fin Par opposition l emploi temporaire ou transitoire se termine la fin de l intervention La cr ation d emplo
45. date 45 Matching pair 112 Matrix of cross impacts 106 Means See Input Measure 34 Measurement unit 69 Meta evaluation 28 Method 103 Methodology 103 Mid term evaluation 27 Mitigation 97 Monitoring 29 Monitoring information system 71 Multicriteria analysis 116 Multicriteria multijudge analysis See Multicriteria analysis Need 55 Needs assessment See Ex ante Evaluation Net effect 81 Network effect 91 Neutrality See mpartiality Norm 63 Normative aim 21 0 Objective 56 Objective tree 105 Objectivity See Reliability Observation grid See Descriptor On going evaluation 27 Operating report 71 Operational objective See Objective Operator 38 Outcome See Impact Output 59 Overall evaluation 25 P Partner See Stakeholder Partnership evaluation See Pluralistic evaluation Peer review See Expert panel Performance 67 Performance audit See Monitoring Permanent job 96 i Placement rate See Transition rate Pluralistic evaluation 19 Policy 33 Policy priority 57 Policy off situation See Counterfactual situation Pre evaluation 45 Primary data 107 Prior appraisal See Ex ante evaluation Product See Output Programme 33 Programme cycle See Programme Programme indicator 75 Programme theory See Theory of action Project 34 Project promoter 39 Q Qualitative data See Descriptor Quantification See Measurement unit Quantitative data See Indicator Quantitative objective See Verifiable objective Ques
46. des infrastructures de transport dans celui de la formation etc Dans le cadre de la politique europ enne de coh sion les champs d intervention sont regroup s en trois grandes cat gories infrastructures de base environnement productif ressources humaines Terme s connexe s Secteur d intervention Indicateurs M Indicateur de contexte Context indicator E Mesure d une variable conomique sociale ou environnemenale concernant l ensemble d une r gion d un secteur ou d une population dans laquelle l intervention publique prend place ex PIB habitant nombre annuel de cr ations d entreprises dans la r gion Les indicateurs de contexte peuvent d crire une situation de base avant intervention et une situation esp r e apr s intervention Ils sont g n ralement quantifi s partir de donn es provenant des offices statistiques ou des observatoires Ils s appliquent l ensemble d un territoire ou d une population l inverse des indicateurs de programme qui ne s appliquent qu aux destinataires effectivement touch s par l intervention Situation de base Baseline Etat du contexte conomique social ou environnemental un moment donn g n ralement le d but de l intervention et partir duquel les changements vont tre mesur s La situation de base est d crite par des indicateurs de contexte d crivant l conomie l environnement socio conomique les publics concern s etc
47. des unit s de mesure Terme s connexe s Quantification Quantifiication Descripteur Descriptor Description sous la forme d un texte concis clair et stable d un objectif atteindre ou d un impact obtenu Par exemple on peut examiner l impact d une mesure en termes d galit des chances et conclure en choisissant parmi des descripteurs pr tablis tels que 1 la mesure a permis la majorit des femmes destinataires de se qualifier pour des emplois consid r s comme masculins ou 2 la mesure a attir parmi ses destinataires une proportion lev e de femmes d sireuses de se qualifier pour des emplois consid r s comme masculins L organisation de descripteurs sous forme d une grille structur e peut constituer la premi re tape de construction d un indicateur Si l nonc de plusieurs descripteurs a t tabli l avance il est possible de s en servir pour construire une grille d observation qui permettra d observer un ph nom ne ou un changement et de le d crire de fa on la fois qualitative et structur e L valuation ne peut pas se permettre d exclure de son champ d analyse un objectif ou un impact pour la seule raison qu il serait difficilement mesurable de fa on quantitative alors m me qu il serait consid r comme important Dans ce cas il est pr f rable de collecter des donn es qualitatives et de les structurer l aide de descripteurs Terme s connexe s Donn e qua
48. domaine de l aide au d veloppement on d signe plut t ces impacts par le terme de r sultats durables D autres impacts apparaissent de fa on indirecte ex chiffre d affaires g n r pour les fournisseurs des entreprises aid es D autres encore s observent au niveau macro conomique ou macrosocial ex am lioration de l image de la r gion aid e Ce sont les impacts globaux Entre les impacts sp cifiques et les impacts globaux l valuation est fr quemment appel e examiner un ou plusieurs impacts interm diaires Les impacts peuvent tre attendus ou inattendus positifs ou n gatifs Terme s connexe s Impact global Impact interm diaire Impact sp cifique R sultat durable Global impact Intermediate impact Outcome Specific impact Sustainable result Les criteres et les indicateurs Effet inattendu Unexpected effect Impact qui est r v l par l valuation et qui n tait pas envisag au moment du lancement de l intervention Les effets inattendus sont r v l s par des techniques d analyse inductive tude de cas notamment lls ne font pas partie des objectifs Un effet inattendu positif peut devenir un objectif implicite S il est n gatif on l appelle aussi effet pervers Par exemple une aide est accord e pour le d veloppement d un territoire qui est d sign cette occasion comme d favoris et qui devient cause de cela moins attractif pour les entreprises Terme s conne
49. e co t avantages est surtout employ e pour l valuation ex ante des grands projets VII Annexe Bibliographie GAO 1991 Designing Evaluations Washington United States General Accounting Office Program Evaluation and Methodology Division Guba E et Lincoln Y 1989 Fourth Generation Evaluation Newbury Park Sage Publications Hadji C 1990 L valuation r gles du jeu Paris ESF Editeur collection P dagogies Monnier E 1992 Evaluation de l action des pouvoirs publics Paris Economica OECD 1986 Glossaire sur l valuation des politiques internationales de d veloppement de l OCDE in Methods and Procedures in Aid Evaluation A Compendium of Donor Practice and Experience Paris OECD Patton M Q 1987 Utilization Focused Evaluation Newbury Park Sage Publications Rossi P H et Freeman H E 1993 Evaluation A Systematic Approach Newbury Park Sage Publications Scriven M 1991 Evaluations Thesaurus Newbury Park Sage Publications Sohm E D 1978 Glossary of Evaluation Terms Gen ve UNO Vedung E 1997 Public Policy and Program Evaluation New Brunswick Transaction Publishers Index Alphab tique Francais Index alphab tique fran ais Abaque de R gnier Voir Vote color Action Voir Mesure Activit Voir Ressource Additionnalit 30 Ad quation Voir Pertinence Affectation al atoire Voir Groupe t moin
50. e et l utilisation qui en est attendue Le commanditaire pr cise la nature des recommandations qu il attend de recevoir la fin de l valuation ll nonce quelques grandes questions auxquelles l valuation devra r pondre ce qui donne g n ralement une premi re id e des crit res d valuation fixe une date limite pour la remise du rapport et ventuellement une enveloppe budg taire Plusieurs mandats peuvent tre pr par s en m me temps pour chacun des exercices ex ante mi parcours et ex post pr vus dans le cadre d un plan d valuation pluriannuel Terme s connexe s Plan d valuation Evaluation plan Pr valuation Pre evaluation M Etude pr alable et rapide visant a identifier les attentes des protagonistes choisir et a pr ciser les questions valuatives v rifier qu il sera possible d y r pondre a mettre en place le dispositif d valuation et a r diger le cahier des charges Le cas ch ant la pr valuation peut recommander de ne pas proc der a l valuation ou de la remettre plus tard si les conditions de son bon d roulement et de son utilisation ne sont pas r unies La partie technique de la pr valuation est appel e tude d valuabilit Glossaire de 300 concepts et termes techniques E Etude d valuabilit Evaluability assessment m Partie technique de la pr valuation qui fait le point sur le niveau des connaissances disponibles et sur le fait que les condi
51. e loop learning Double loop learning E Rendre des comptes Accountability Obligation pour les acteurs qui participent a la mise en place ou a la mise en oeuvre de l intervention publique de donner des informations et des explications aux responsables politiques et aux citoyens a propos des Les enjeux de l valuation r sultats attendus obtenus et propos du bon emploi des ressources publiques Le devoir de rendre compte est une dimension importante de l valuation dans une perspective d mocratique Les autorit s publiques renforcent progressivement l exigence de transparence vis vis des contribuables sur la bonne utilisation des fonds qu elles ont la charge de g rer Dans cet esprit l valuation doit contribuer expliquer de fa on simple o a t d pens l argent public quels effets il a produit et en quoi les d penses taient justifi es Les destinataires de ce type d valuation sont bien videmment les responsables politiques et in fine les citoyens par l interm diaire des m dia Par exemple un organisme de formation rend compte du nombre de stagiaires form s et des qualifications acquises Une autorit gestionnaire rend compte du co t par emploi net cr gr ce l intervention La Commission publie un rapport sur les progr s r alis s en termes de coh sion conomique et sociale Terme s connexe s Imputabilit Redevabilit Rendu compte Responsabilit Types d valuat
52. effet net M Effet net Net effect M Effet r ellement imputable l intervention publique et elle seule par opposition aux changements apparents ou aux effets bruts Pour valuer les effets nets partir des effets bruts il faut retrancher les changements qui se seraient produits en l absence de l intervention publique et qui ne lui sont donc pas imputables car produits par des facteurs concurrents situation contrefactuelle Par exemple on constate une stabilit des effectifs des entreprises aid es changement ou effet brut gal z ro Cependant on estime qu en l absence d aide 400 personnes auraient t licenci es situation contrefactuelle y a donc eu maintien de 400 emplois effet net Terme s connexe s Effet additionnel Effet propre Additional Effect M Effet d aubaine Deadweight amp Changement observ chez les destinataires directs a la suite de l intervention publique ou d clar par les destinataires directs comme une Glossaire de 300 concepts et termes techniques cons quence de l intervention publique alors m me qu il serait survenu en l absence de l intervention Par exemple un agriculteur a re u une aide pour cr er un g te rural A l occasion d une enqu te il d clare que l aide lui a permis de cr er un g te de meilleure qualit mais qu il aurait cr le g te de toute fa on en l absence d aide La cr ation du g te ne peut donc pas tre enti rement imputee
53. eme ou difficult qui affecte les publics concern s et que l intervention publique vise r soudre ou surmonter L valuation ex ante v rifie la r alit des besoins invoqu s pour justifier le lancement de l intervention L valuation mi parcours peut enqu ter aupr s des destinataires pour exprimer les besoins avec leur point de vue Les besoins constituent la r f rence de jugement pour une valuation qui utilise les crit res de pertinence et d utilit H Strat gie Strategy Selection des priorit s d action en fonction de l urgence des besoins a satisfaire de la gravit des probl mes r soudre et des chances de succ s des actions envisageables La formulation d une strat gie aboutit s lectionner les objectifs fixer leur niveau d ambition et les hi rarchiser Tous les territoires ou les publics ne rel vent pas d une m me strat gie de d veloppement L valuation ex ante examine si la strat gie est adapt e au contexte et son volution probable Contexte Context L environnement socio conomique dans lequel on met en oeuvre une intervention Le terme s entend dans un sens tres large Par exemple dans le cas des interventions en faveur des PME le contexte comprend la conjoncture macro conomique et les conditions cadre fiscalit droit des soci t s etc Terme s connexe s Condition cadre Environnement socio conomique Framework condition Socio economic envi
54. entions des pouvoirs publics La d marche ici privil gi e est celle interne l administration d optimisation des moyens budg taires existants La dimension politique de l acte d valuation est pass e sous silence La qualit de l valuation manag riale est bas e sur deux principes l ind pendance de l valuateur et l objectivit de la m thode Par exemple au cours des ann es 80 un grand nombre des fonctions de l administration britannique ont t privatis es ou d l gu es des agences semi ind pendantes Parall lement les exigences d efficacit de ces services se faisaient croissantes Cela a conduit au d veloppement d valuations de type Value For Money E Evaluation pluraliste Pluralistic evaluation D marche d valuation con ue comme un processus collectif de r solution de probl me associant l ensemble des parties concern es Sur la base d informations fiables et accept es par tous les jugements de valeur sont formul s en recherchant un accord au sein d une instance d valuation qui comprend des responsables politiques et administratifs ainsi que des porte parole des publics concern s En France des instances d valuation ad hoc sont fr quemment constitu es pour diriger les travaux d valuation Ainsi dans le cadre de l valuation nationale de la pr vention des risques naturels l instance d valuation comprenait des acteurs d origines diverses minist res autorit s locale
55. errain est utilis e pour corriger la mise en oeuvre ou pour apporter des Glossaire de 300 concepts et termes techniques changements plus radicaux y compris la remise en cause de son existence m me La r troaction est la vocation principale de l valuation lorsque celle ci a une perspective manag riale et ou endoformative Elle correspond une utilisation instrumentale Terme s connexe s Feed back B Apprentissage organisationnel Organisational learning amp Le fait que les le ons tir es de l exp rience sont accept es et retenues par les institutions o organisations responsables de l intervention L apprentissage va au del de la r troaction dans la mesure o les le ons apprises sont capitalis es et peuvent tre appliqu es d autres interventions lly a apprentissage direct dit en simple boucle lorsque les utilisateurs apprennent que l intervention est un succes ou un chec Cela peut les conduire par exemple diminuer la dotation budg taire des interventions qui r ussissent le moins bien ll y a apprentissage indirect dit en boucle double lorsque les utilisateurs r alisent qu ils doivent remettre en cause leurs hypoth ses de base leur th orie d action Cela peut les conduire par exemple organiser diff remment la mise en uvre des interventions qui r ussissent le moins bien Terme s connexe s Apprentissage en simple boucle Apprentissage en double boucle Singl
56. es enjeux de la Coh sion Economique et Sociale ainsi que les d fis que repr sente le futur largisse ment de l Union europ enne sont ce prix Je me dois enfin de remercier le Comit des Personnalit s Ind pendantes constitu d s le lancement du programme qui par leur comp tence et leur renom ont grandement contribu asseoir la qualit et la pertinence m thodologique du programme MEANS Il s agit de E Chelimsky USA ex Pr sidente de l American Evaluation Association K Kennedy IRL Directeur de l Economic and Social Research Institute ESRI J R Cuadrado Roura E Pr sident de l European Regional Science Association C Seibel F Directeur des Statistiques d mographiques et sociales de l Institut National de la Statistique et des Etudes Economiques INSEE L Senn I Directeur du D partement d Economie R gionale de l Universit Bocconi E Stern UK Directeur de l unit d valuation du Tavistock Institute A Sorber f NL Chef du Policy Analysis Department of the Ministery of Finance L Strom SV Statens Institut f r Regionalforsking SIR L Tsoukalis GR professeur l Universit d Ath nes H Wollmann D professeur l Universit de Humboldt Berlin et membre fondateur de la European Evaluation Society E Landaburu La Collection MEANS Evaluer les programmes socio conomiques La d marche d valuation des interventions structurelle
57. exemple suivi des consommations budg taires suivi des d lais de r alisation suivi du pourcentage de PME dans les entreprises b n ficiaires suivi du niveau de qualification atteint par les stagiaires Terme s connexe s Audit de performance Contr le de gestion Pilotage Monitorage Management audit Performance audit E Additionnalit Additionality E Le fait que l aide communautaire au d veloppement conomique et social ne se substitue pas aux efforts des gouvernements nationaux autrement dit que les financements propres de l Etat b n ficiaire restent globalement au moins gaux ceux qui existaient avant la contribution des Fonds structurels La v rification de la mise en uvre de ce principe s effectue l chelon national dans le cadre du contr le financier et non de l valuation proprement parler Ce terme ne doit pas tre confondu avec celui d effet additionnel qui s applique l valuation des effets nets de l intervention lll L organisation de l valuation Les pages qui suivent rassemblent les principaux termes relatifs la pr paration de l valuation depuis la d cision de lancement jusqu au cahier des charges Est galement abord e la question de la qualit de l valuation Pour une pr sentation compl te de ces th mes on peut se reporter la seconde partie du Volume 1 de la Collection consacr e la pr paration des diff rentes formes d valuation et sa quatri me partie
58. i en faveur des cat gories d favoris es l effet doit tre consid r Les Impacts comme positif L valuation d termine au regard des objectifs de l intervention si l effet de substitution doit tre consid r comme b n fique ou non Lorsqu il n est pas b n fique l effet de substitution doit tre soustrait des effets bruts 5 Situation contrefactuelle Counterfactual situation amp Situation qui se serait produite en l absence de l intervention publique Par exemple une entreprise a t aid e pour adapter la qualification de son personnel aux nouvelles technologies Il ny a pas eu de suppression d emplois dans les deux ann es suivantes En l absence de l aide situation contrefactuelle on estime que 50 emplois auraient t supprim s En comparant la situation contrefactuelle avec la situation r elle il est possible de d terminer les effets nets de l intervention publique Divers outils peuvent tre utilis s pour la construction de la situation contrefactuelle analyse r siduelle structurelle groupe de comparaison simulation avec l aide d un mod le macro conomique etc Au point z ro la situation r elle et la situation contrefactuelle sont identiques Les deux situations divergent pendant la dur e de l intervention si celle ci est efficace Terme s connexe s Sc nario hors intervention Policy off situation Facteur concurrent Confounding factor E Facteurs ind pendants de l interventio
59. ilit Reliability Qualit de la collecte des donn es d valuation lorsque le protocole utilis permet de produire des informations similaires au cours d observations r p t es dans des conditions identiques Glossaire de 300 concepts et termes techniques La fiabilit d pend du respect des r gles de l art pour l chantillonnage et pour l utilisation des instruments de recueil et de saisie des informations quantitatives et qualitatives Une bonne fiabilit suppose en outre un caract re exhaustif de la collecte de donn es ou une bonne ad quation aux questions valuatives pos es Cette notion est importante non seulement pour les donn es primaires mais aussi pour les donn es secondaires dont la fiabilit doit faire l objet d une v rification attentive Terme s connexe s Objectivit Robustesse Objectivity Soundness Validit de construction Construct validity E Qualit d une m thode d valuation qui refl te fid lement les changements ou les besoins que l on cherche mesurer ou identifier La validit de construction implique que les impacts attendus soient exprim s dans des termes suffisamment pr cis et que les observations r alis es sur le terrain permettent d analyser de fa on fiable et sensible ce qui doit tre observ Par exemple si l on cherche estimer l impact d une aide sur l innovation gr ce une enqu te aupr s des PME r gionales il faut que la notion d i
60. intervention valu e L enqu teur cherche comprendre la situation de l int rieur Cette technique est utile dans une situation mal connue ou lorsque l acc s au terrain est difficile L observation ethnographique permet de r aliser une collecte d information tr s approfondie avec des moyens d enregistrement audiovisuels le cas ch ant sur quelques situations typiques de la mise en oeuvre de l intervention Elle permet d identifier l ensemble des effets de l intervention et l influence du contexte Techniques d analyse Groupe de comparaison Comparison group Groupe de personnes ou d organisations qui n a pas particip l intervention publique et qui est compar un groupe de participants afin d analyser les effets nets de l intervention Si les deux groupes sont des chantillons tir s au sort le groupe de comparaison est appel groupe t moin car il est en tous points comparable au groupe dit exp rimental Quel que soit le mode de s lection du groupe de comparaison il doit avoir des caract ristiques aussi proches que possible de celles des destinataires directs Par exemple l valuation peut r aliser une comparaison avant et apr s entre un groupe de destinataires directs et un autre groupe constitu avec la technique des bin mes appari s Terme s connexe s Analyse comparative m Groupe t moin Control group El Groupe de comparaison constitu de personnes ou d organisa
61. ion B Evaluation d ensemble Overall evaluation amp Evaluation d une intervention dans sa globalit L valuation d ensemble juge toutes les actions financ es au titre de l intervention publique Elle embrasse tous les instruments utilis s tous les publics vis s tous les territoires ligibles tous les impacts attendus et tous les th mes pertinents L valuation d ensemble constitue souvent une premi re tape de radioscopie du champ de l valuation avant une seconde tape de focalisation qui prend la forme d valuations th matiques ou d tudes plus approfondies Terme s connexe s Radioscopie Screening Global evaluation M Evaluation th matique Thematic evaluation Evaluation qui analyse transversalement un m me point particulier un th me dans le cadre de plusieurs interventions au sein d un programme ou dans plusieurs programmes mis en ceuvre dans diff rents pays ou r gions Le th me peut correspondre a un impact attendu ex comp titivit des PME ou a un domaine d interventions ex la R amp D La notion d valuation th matique voque celle d approfondissement d une question valuative ex impact de l aide la R amp D sur la comp titivit des PME mais il s agit d un exercice de grande ampleur lorsqu il est conduit l chelle europ enne m Etude approfondie In depth study Evaluation ou partie d une valuation focalis e de fa on pr cise sur une cat gorie de r al
62. iques de la r gion aurait t conforme celle de l ensemble du pays La comparaison entre la situation r elle et la situation contrefactuelle aboutit une estimation de l impact macro conomique de la politique r gionale Les conditions optimales d emploi de cet outil sont rarement r unies M Analyse Entr es Sorties Input output analysis amp Outil qui repr sente les changes entre les secteurs d une conomie nationale ou r gionale sous forme de consommations interm diaires et finales L analyse Entr es Sorties permet d estimer les r percussions d un effet direct sous forme d effets primaires puis secondaires dans l ensemble de l conomie L outil est applicable quand on dispose d un tableau des entr es et sorties ce qui est habituellement le cas au niveau national plus rarement au niveau r gional L outil est capable d estimer des effets de demande mais pas des effets d offre Hi Mod le macro amp conomique Macro economic model amp Outil qui permet de simuler les principaux m canismes d un syst me conomique r gional national ou international Glossaire de 300 concepts el termes techniques ll existe un grand nombre de modeles fond s sur des th ories macro conomiques tres diverses Ce type d outil est souvent utilis pour construire des simulations prospectives mais il peut servir en tant qu outil d valuation Dans ce cas il permet la simulation d une situation contrefactuelle et donc l
63. is permanents constitue un effet durable de l intervention Equivalent temps plein ETP Full Time Equivalent FTE Conversion des emplois a temps partiel en quantit s correspondantes d emplois a temps plein Par exemple une intervention d aide a l exportation permet aux entreprises de trouver de nouveaux d bouch s et de cr er 8 postes a temps plein et 22 postes mi temps L impact en termes d emploi quivalent temps plein s l ve a 19 D veloppement conomique et social u Coh sion conomique et sociale Economic and social cohesion Mi Le fait qu il n y a pas d carts inacceptables entre les r gions entre les cat gories de territoires ex urbain rural ou entre les groupes sociaux du point de vue de leur niveau de d veloppement conomique et de leur int gration sociale La coh sion conomique et sociale porte notamment sur les disparit s r gionales de revenu et de qualit de vie ainsi que sur toutes les formes de disparit s d acc s l emploi entre groupes sociaux Elle constitue l objectif global de la politique europ enne du m me nom voir l article 130 A du trait u D veloppement durable Sustainable development amp Accroissement de l activit conomique qui se r alise dans le respect de l environnement et l utilisation harmonieuse des ressources naturelles de fa on ne pas compromettre la capacit des g n rations futures satisfaire leurs propres besoins Par op
64. isations un public ou une cat gorie d impacts et qui peut donc faire l objet d une analyse plus d taill e la difference de l valuation d ensemble qui vise tre exhaustive Glossaire de 300 concepts et termes techniques L valuation d ensemble d un programme peut s accompagner de l tude plus approfondie d une ou plusieurs questions On peut aussi d cider de lancer une valuation uniquement consacr e a l approfondissement d une question La focalisation sur une question pr cise permet d avoir recours des techniques d valuation plus exigeantes et donc plus fiables notamment pour l observation des comportements des destinataires pour l observation d un groupe de comparaison et pour l analyse des effets nets L approfondissement portant essentiellement sur l observation des effets sur le terrain ces analyses concernent donc l valuation mi parcours et l valuation ex post Terme s connexe s Focalisation Scoping M Evaluation ex ante Ex ante evaluation W Evaluation qui intervient alors que la mise en uvre n a pas encore commenc Pour que l intervention puisse tre valu e ex ante elle doit tre connue avec suffisamment de pr cision c est dire qu il doit y avoir au minimum un projet de d cision S il s agit de concevoir l intervention partir de z ro on parlera plut t de diagnostic des besoins Cette forme d valuation contribue faire en sorte que l intervention soit aussi pe
65. iter l acceptation des d finitions choisies et pour r duire les malentendus l ouvrage mentionne les principales d finitions concurrentes et les termes connexes en vigueur dans d autres contextes sectoriels ou nationaux Pour reprendre une formule bien accueillie lors de la diffusion des premi res versions de ce glossaire on a pr sent les d finitions avec une structuration par th mes et non pas par ordre alphab tique Les th mes trait s figurent la table des mati res Un index alphab tique en fran ais et en anglais est repris en annexe Le glossaire peut donc tre utilis de trois fa ons diff rentes comme le montre l encadr ci contre Introduction Utilisation du glossaire Pour le lecteur qui veut rechercher la d finition d un terme gt Rechercher le terme dans l index fran ais la fin du Volume se reporter a la page o ce terme est d fini Pour le lecteur qui veut traduire un terme de l anglais vers le fran ais ou vice versa gt Rechercher le terme dans l index anglais ou francais la fin du Volume se reporter la page o ce terme est d fini Les termes anglais figurent en italique Pour le lecteur qui veut se rep rer dans le vocabulaire en partant d un th me gt Rechercher le th me dans la table des mati res et parcourir les pages concernant ce th me Il Les enjeux de l valuation Cette partie d finit l valuation et ses diff rentes formes en insistant s
66. ittee amp Groupe de pilotage largi aux principaux protagonistes de l intervention valu e On peut associer l valuation toute personne qui est potentiellement utilisatrice des recommandations toute personne qui a un int r t dans les informations produites toute personne qui est susceptible d tre gagnante ou perdante dans le processus Les principales cat gories de protagonistes sont les financeurs les gestionnaires les op rateurs et les publics concern s Les protagonistes invit s participer une instance d valuation expriment leurs attentes et leurs craintes ils am liorent la pertinence des questions pos es et leur presence cr dibilise l valuation Une plus grande diversit de points de vue facilite leur confrontation au sein du groupe de pilotage et permet d lever le degr de consensus d interaction et la robustesse des interpr tations Sous r serve de savoir tirer un parti positif des diff rences de vues l valuation pluraliste renforce la richesse et la cr dibilit des conclusions La prise en compte des attentes de plusieurs partenaires permet une meilleure acceptation des conclusions et augmente l int r t qui sera port ces conclusions E Dispositif d valuation Evaluation setting W Ensemble des modalit s d organisation d une valuation donn e relations tablies entre le commanditaire le groupe de pilotage et l quipe d valuation implication des protagonistes organisation du
67. lit des chances comporte une int gration de la perspective de genre dans toutes ses tapes E Integration Mainstreaming E Prise en compte syst matique des priorit s et besoins propres des femmes et des hommes dans toutes les dimensions de l intervention depuis le stade de la conception et de la mise en uvre jusqu au suivi et l valuation Par exemple l galit des chances est int gr e l valuation dans la mesure o celle ci distingue syst matiquement les hommes et les femmes parmi les destinataires directs et indirects de l intervention publique et galement parmi les op rateurs et les d cideurs et dans la mesure o la distinction concerne les besoins les r sultats et les impacts Par extension le principe de l int gration peut aussi s appliquer a d autres impacts consid r s comme prioritaires Terme s connexe s Int gration strat gique H Evaluation d Impact sur l Environnement EIE Environmental Impact Assessment EIA Etude de l ensemble des r percussions d un projet individuel sur l environnement naturel L EIE est une tape obligatoire pendant la proc dure de s lection de grands projets d infrastructure Par opposition l Evaluation Environnementale Strat gique EES se r f re l valuation des programmes et des priorit s Glossaire de 300 concepts et termes techniques politiques L ElE consiste en deux tapes la radioscopie screening qui fait r f rence
68. litative Enonc Grille d observation Observation grid Qualitative data Statement Les crit res et les indicateurs Notation Scoring Choix d un niveau sur une chelle pr alablement gradu e en unit s de mesure quantitative par exemple une chelle de O a 100 ou de 3 a 3 pour repr senter l importance d un effet d un besoin ou d un l ment de qualit ll est possible de construire une grille d observation suffisamment structur e pour qu elle produise directement une notation La personne qui choisit la note est appel e notateur ou assesseur La docimologie tudie les syst mes de notation Terme s connexe s Rating m Syst me d information de suivi Monitoring information system Dispositions prises pour que les op rateurs collectent et conservent les informations concernant les ressources les r alisations et les r sultats pour qu ils les traitent et les transmettent de fa on r guli re aux gestionnaires ex rapports d avancement comptes rendus d ex cution Le syst me d information de suivi comprend galement les synth ses et les agr gations r alis es par les gestionnaires et pr sent es p riodiquement aux autorit s responsables de la mise en oeuvre bilans d activit tableaux de bord indicateurs Dans le cadre des programmes socio conomiques de l Union europ enne la pi ce ma tresse du syst me d information est constitu e par le syst me d indicateurs Terme s connexe s
69. mpliqu s dans la gestion de l intervention publique institutions politiques ou professionnelles fondations organes de presse Elle aboutit une appr ciation globale et distanci e L valuation est dite r capitulative ou sommative quand elle a pour but de rendre des comptes et qu elle sert la fois juger l intervention publique et aider les autorit s qui en sont responsables d cider de son lancement de son maintien de son ajournement de sa suppression o de sa reproduction Les utilisateurs sont alors les financeurs ext rieurs et ventuellement d autres acteurs sociaux qui peuvent d cider de l opportunit d adopter pour eux m mes les meilleures pratiques identifi es l occasion de l valuation du programme Terme s connexe s Evaluation sommative E Evaluation manag riale Managerial evaluation amp D marche d valuation int gr e dans la gestion de l intervention publique qui vise recommander des changements que ceux ci soient de l ordre de la d cision r troaction utilisation instrumentale ou du comportement des acteurs charg s de la mise en oeuvre Les enjeux de l valuation La probl matique g n rale qui sous tend la d marche manag riale est proche de la nouvelle gestion publique new public management et vise faire face la stagnation des recettes publiques La question sous jacente peut se formuler ainsi comment justifier les arbitrages entre les diff rentes interv
70. n des indicateurs associer aux principaux impacts attendus E Vote color Colour Vote W Technique d animation de r unions qui repose sur une pr sentation visuelle des avis presents au sein d un groupe Dans une situation d valuation associant plusieurs protagonistes il permet de structurer la discussion et la reflexion collective en favorisant l expression de tous les points de vue C est donc un outil susceptible de renforcer l impartialit de l valuation dans le cadre d une d marche pluraliste peut tre employ pour la clarification et la hi rarchisation des questions valuatives pour choisir les crit res d valuation pour valider les conclusions de l valuation et pour formuler des recommandations Certaines variantes de cet outil font appel l informatisation Terme s connexe s Abaque de R gnier m Matrice des impacts crois s Matrix of cross impacts W Outil qui montre les compl mentarit s les duplications et les conflits qui risquent de surgir entre les impacts des diff rentes composantes de l intervention ou entre les impacts de diff rentes interventions Par exemple l outil pr sente les diff rentes mesures d un programme en lignes et en colonnes Dans chaque cellule on fait figurer une note de 3 3 qui d crit la synergie potentielle entre la mesure figurant en ligne et la mesure figurant en colonne Techniques de collecte d information E Donn es primaires Primary dat
71. n devra apporter une r ponse L organisation de l valuation Les questions ont en principe trois dimensions descriptive que s est il pass causale dans quelle mesure ce qui s est pass est il r ellement un effet de l intervention et normative l effet est il satisfaisant Une valuation comprend g n ralement plusieurs questions Qualit de l valuation E Cr dibilit Credibility Qualit des r sultats et conclusions d une valuation lorsqu ils sont tay s logiquement par des faits empiriques et sont justifi s par une analyse des donn es valide La cr dibilit d pend de plusieurs facteurs dont la fiabilit des donn es la solidit de la m thode mais aussi la r putation de l quipe d valuation Terme s connexe s Trustworthiness Impartialit Impartiality E Qualit des conclusions et recommandations d une valuation lorsqu elles sont justifi es par des crit res de jugement explicites et non influenc es par des consid rations personnelles ou partisanes Une valuation impartiale prend en compte les attentes les interpr tations et les criteres de jugement de tous les protagonistes qui sont l gitimes pour donner une opinion sur la Res publica y compris ceux qui ont un faible pouvoir ou une faible capacit d expression L impartialit est un l ment essentiel de la qualit d une valuation Terme s connexe s Neutralit Neutrality Fiab
72. n et de se d rouler sur des p riodes longues Terme s connexe s Evaluation a posteriori E M ta valuation Meta evaluation M Evaluation d une autre valuation ou d une s rie d autres valuations Les criteres de jugement sont g n ralement la fiabilit la cr dibilit et Putilit Le terme est quelquefois appliqu l audit de la fonction evaluative d une organisation v rification que les r gles concernant l valuation ont t appliqu es avec professionnalisme On parle parfois de m ta valuation pour une synth se faite partir d une s rie d valuations Activit connexes l valuation Contr le Audit V rification de la l galit et de la r gularit de la mise en uvre des ressources Le contr le juge en fonction de crit res et de normes g n rales connues et clarifi es l avance applicables l ensemble d un domaine politique ou professionnel et qui ne sont pas sp cifiques l intervention publique Par exemple dans le cas d une aide aux PME le contr le v rifiera si les crit res d ligibilit ont t respect s et si les entreprises destinataires ont respect les r gles d utilisation de l aide Le contr leur a une connaissance approfondie des normes ex connaissances juridiques ou comptables L intervention du contr leur a un caract re obligatoire et inspire le respect et l autorit Le contr le recherche en priorit les erreurs et les dysfoncti
73. n et le groupe de pilotage formulent des recommandations r alistes et que les d cideurs se les approprient facilement Dans cet esprit le statut des recommandations est clairement expliqu en r pondant aux questions suivantes la mise en ceuvre de cette recommandation a t elle une implication financi re peut elle intervenir court terme la recommandation fait elle consensus L utilisation instrumentale est difficile prouver car de nombreux autres facteurs interviennent au moment de la prise de d cisions M Finalit normative Normative aim M Le fait que l valuation propose des arguments pour former ou modifier les jugements port s sur l intervention L valuation peut avoir un apport normatif quand elle aide a expliciter les criteres et a d finir les normes de comparaison ou quand elle identifie des bonnes pratiques et des projets exemplaires Cet apport est primordial lorsque l valuation sert rendre des comptes aux autorit s politiques et au grand public L utilisateur confronte les conclusions de l valuation ses propres opinions ll en vient maintenir conforter ou changer son jugement personnel sur l intervention Toutes les valuations ne parviennent pas cette forme d utilisation car les responsables publics ne sont pas toujours pr ts remettre en question leur intime conviction E R troaction Feedback ll y a r troaction lorsque l observation des r sultats et des impacts sur le t
74. n publique qui sont la cause en tout ou partie des changements observ s chez les destinataires effets bruts Un facteur concurrent peut freiner o au contraire amplifier un impact escompt Par exemple l emploi a augment de 10 dans les entreprises aid es Cependant cette augmentation ne peut tre imput e enti rement l intervention publique car les entreprises aid es ont galement b n fici d une bonne conjoncture macro conomique nationale facteur concurrent Autre exemple pr s de 80 des stagiaires ont trouv un emploi apr s un an Cependant ce bon taux de placement est en partie imputable la Glossaire de 300 concepts et termes techniques qualification initiale des stagiaires qui tait tr s lev e au moment de leur recrutement effet d cr mage Lorsque l valuation r alise une analyse de causalit elle d partage les effets imputables l intervention publique effets nets et ceux qui sont imputables aux facteurs concurrents Terme s connexe s Co facteur Facteur exog ne Facteur contextuel Concurrent factor Extraneous factor Exogeneous factor E Analyse de causalit Causality analysis MM Etude des relations de cause effet qui relient l intervention publique et ses impacts L analyse de causalit peut tre inductive Dans ce cas elle s interroge sur les m canismes susceptibles de produire les impacts ainsi que sur les facteurs concurrents susceptibles d exercer une
75. nci re Voir Ressource Redevabilit Voir Rendre des comptes R f rentiel Voir Th orie d action Rendre des comptes 22 Rendu compte Voir Rendre des comptes Repr sentativit Voir Validit externe Ressource 58 R sultat 59 R sultat durable Voir Impact Retomb e Voir Effet inattendu R troaction 21 R ussite Voir Efficacit Robustesse Voir Fiabilit S Sc nario hors intervention Voir Situation contrefactuelle Secteur d intervention Voir Champ d intervention Sensibilit Voir Indicateur S rie chronologique Voir S rie temporelle S rie temporelle 107 Situation contrefactuelle 83 Situation de base 75 Situation de r f rence Voir Situation de base Strat gie 55 Subsidiarit 68 Succ s Voir Efficacit Suivi 29 SWOT 105 Synergie 93 Syst me d valuation 44 Syst me d indicateurs Voir Syst me d information de suivi Syst me dinformation de suivi 71 T Tableau de bord 71 Taux de r alisation 77 Taux d absorption Voir Taux de consommation budg taire Taux d avancement Voir Taux de r alisation Taux d exposition Voir Taux d atteinte du public ligible Taux de consommation budg taire 76 Taux de couverture Voir Taux d atteinte du public ligible Taux de couverture 77 Taux de placement Voir Taux de transition Taux de placement 95 Technique Voir Outil Th orie d action 84 Th orie explicative 85 Transparence Voir Rendre des comptes U Usager Voir Destinataire direct Utilisation cognitive 20 Utilit
76. ne population donn e au cours du temps Les offices statistiques et les observatoires sont les principales sources de s ries temporelles Terme s connexe s S rie chronologique E Donn es longitudinales Longitudinal data amp S rie temporelle relative a des observations r p t es sur les m mes individus de fa on comparable ch ances r guli res pendant une p riode donn e Dans le cadre de l valuation il s agit le plus souvent d observer l volution d un chantillon de destinataires Terme s connexe s Donn es de cohorte M Echantillon Sample Ml Partie d une population s lectionn e pour faire l objet d une enqu te Le terme population dans son sens statistique s applique la totalit des personnes des projets ou des objets qui sont susceptibles d tre observ s Par exemple la totalit des entreprises ou des individus aid s l ensemble des entreprises r gionales ou l ensemble d un groupe cible Si l chantillon est repr sentatif les r sultats de l enqu te peuvent tre g n ralis s toute la population enqu t e validit interne ou des populations similaires validit externe Un chantillon est repr sentatif s il poss de la m me distribution des caract ristiques que la population dont il est issu et si sa taille est suffisante E Enqu te par questionnaire Questionnaire survey Hi Ensemble de questions structur es adress es un chantillon de personne
77. nel Objectif implicite Aim Goal Global objective Intermediate objective Specific objective Operational objective Implicite objective Les crit res et les indicateurs Priorit politique Policy priority amp Souhait des financeurs de voir l valuation examiner certains impacts qui n ont pas ete affich s en tant qu objectifs au moment du lancement de l intervention mais qui repr sentent des priorit s politiques son chelon Par exemple dans le cadre de sa politique de coh sion conomique et sociale l Union europ enne demande que les valuations prennent syst matiquement en compte les impacts sur l environnement sur la comp titivit des PME sur la cr ation et le maintien de l emploi et sur l galit des chances entre les femmes et les hommes M Objectif v rifiable Verifiable objective El Objectif nonc de fa on telle que l on puisse v rifier ult rieurement s il a t atteint Une fa on de rendre un objectif v rifiable est de le quantifier l aide d un indicateur associ deux valeurs situation de base et situation attendue Un objectif peut galement tre rendu v rifiable s il est associ un descripteur c est dire un nonc qualitatif clair et pr cis de l effet attendu Terme s connexe s Objectif quantitatif Quantitative objective Mise en oeuvre Implementation 1 Le processus op rationnel n cessaire pour produire les r alisations attendues Dans le con
78. nnovation ait t d finie de fa on pr cise et que les questions pos es correspondent pr cis ment ces d finitions ex nombre de nouveaux produits ou proc d s de production Validit interne Internal validity E Qualit d une m thode d valuation qui limite autant que faire se peut les biais imputables aux instruments de collecte ou de traitement des donn es Par exemple l intervention a entraine dans les PME aid es directement et indirectement un doublement du taux d innovation par an pour 1 000 emplois Ce type de conclusion est plus solide si la collecte et l analyse des donn es ont tenu compte tr s pr cis ment de toutes les particularit s de L organisation de l valuation l intervention et de son contexte cat gories d entreprises aid es formes d innovations propres la r gion etc Pour obtenir une meilleure validit interne on est amen contr ler strictement une s rie de param tres au risque de cr er une situation artificielle qui limitera d autant la possiblit de g n raliser les conclusions moindre validit externe Validit externe External validity m Qualit d une m thode d valuation qui permet d obtenir des conclusions g n ralisables a d autres contextes groupes zones p riodes que celui de l intervention valu e Par exemple l valuation permet de conclure 1 que l intervention a entra n dans les PME aid es directement et indirectement un dou
79. nt co il De Europese Boekhandel PORTUGAL Europa nun i E Rue de la Loi 244 Wetstraat 244 7 Sub agent for the Palesti Authority B 1040 Bruxelles Brussel ee ne Bertrand Ld FO Box 475 sash T l 32 2 295 26 39 Fax 32 2 735 08 60 E mail mail libeurop be URL http www kbeurop be Moniteur beige Beiglsch Stastebiad Rue de Louvain 40 42 Leuvenseweg 40 42 8 1000 Bruxekes Brussel T l 32 2 552 22 11 Fax 32 2 511 01 84 DANMARK J H Schultz Information A S Herstedvang 10 12 DK 2620 Albertslund E mail schultz schuitz dk UAL http www schuitz dk DEUTSCHLAND Bundesanzeiger Verlag GmbH Vernebsabteilung Amsterdamer Stra e 192 D soras Koln 49 221 97 66 80 ax 49 221 97 66 82 78 as verineb bundesanzeiger de URL Nttp www bundesanzeiger de EMAANGREECE G C Eleftheroudakis SA primos 17 Bookstore crie 1 30 1 3 2 BONS ax 30 1 323 98 21 elebooks Q netor gr ESPA A Bolet n Oficial del Estado Trafalgar 27 E 28071 Madrid Tel 34 915 38 21 11 Libros 91384 17 15 Suserip Fax 34 915 38 21 21 Libros 13 84 17 14 Susemp E mail cientes Q com bos es URL hitp www boe es Mundi Prensa Libros SA Castell 37 E 28001 Madrid Tel 34 914 36 37 00 Fax 34 915 75 39 98 E mail kbreria mundiprensa es URL http www mundiprensa com Desax r 18727 Paris Codex 15 Fax a 140 58 77 31 33 140 58 77 00 URL http Awww journal officiel gouv
80. nt rassemblent les termes relatifs aux impacts des interventions publiques et plus particuli rement ceux qui contribuent au d veloppement socio conomique Le vocabulaire en partie emprunt l conomie fait g n ralement r f rence au terme effet plut t qu celui d impact Les deux termes ayant une forte proximit on a conserv le vocabulaire conomique d origine Pour une pr sentation compl te de ces th mes on peut se reporter la troisi me partie du Volume 1 de la Collection consacr e aux impacts socio conomiques de niveau micro et macro ainsi qu au Volume 4 qui consacre sa troisi me partie aux effets de synergie et au Volume 5 qui d veloppe les impacts sur l emploi l environnement et d autres priorit s communautaires Analyse de causalit E Effet brut Gross effect amp Changement constat la suite de l intervention publique ou effet d clar par le destinataire direct L effet brut apparait comme une cons quence de l intervention mais il ne peut g n ralement pas lui tre imput en totalit L exemple qui suit montre que l valuation ne peut pas se contenter de d crire les effets bruts les entreprises aid es ont d clar avoir cr 500 emplois gr ce l aide effet brut En r alit elles auraient tout de m me cr 100 emplois en l absence de l aide effet d aubaine Les emplois r ellement imputables a l intervention sont donc au nombre de 400
81. on non divisible d limit e en termes de calendrier et de budget et plac e sous la responsabilit d un op rateur Par exemple la mise en place d une nouvelle fili re de formation l extension d un r seau d assainissement la r alisation d une s rie de L organisation de l valuation missions par un organisme de conseil aux entreprises Dans le cadre de la politique europ enne de coh sion conomique et sociale l op rateur sollicite une aide qui est attribu e ou non par les gestionnaires du programme la suite d une proc dure de s lection Les grands projets d infrastructure font l objet d une d marche d valuation ex ante particuli rement attentive utilisant la technique de l analyse co t avantages E Intervention Intervention Mi Toute action ou op ration des autorit s publiques quelle que soit sa nature politique programme mesure ou projet Dans le cadre de la politique europ enne de coh sion conomique et sociale les interventions prennent les formes suivantes Programmes Op rationnels Programmes d initiatives Communautaires et Soutien aux mesures d assistance technique et aux actions innovatrices Les moyens d intervention sont l aide directe l aide remboursable la bonification de l int r t la garantie la prise de participation la participation au capital a risque ou une autre forme de financement Enfin les grands domaines d intervention sont les infrastructures de base l environnement p
82. on publique communiquer n gocier ou d cider Pour cela il est pr f rable qu il soit reli un crit re de r ussite de l intervention II doit refl ter pr cis ment ce qu il est cens mesurer validit de construction L indicateur et son unit de mesure doivent tre sensibles c est dire que la quantit mesur e doit varier significativement quand il appara t un changement dans la variable mesurer Les indicateurs peuvent tre construits sp cifiquement par l quipe d valuation et quantifi s l aide d enqu tes ou de donn es statistiques sont souvent emprunt s au syst me de suivi ou aux s ries statistiques Un indicateur peut tre l mentaire ou d riv de plusieurs autres indicateurs sous forme de ratio ou d index Terme s connexe s Donn e quantitative Sensibilit Quantitative data Sensibility Unit de mesure Measurement unit Ce qui permet d observer un ph nom ne un changement une variable et de le situer sur une chelle quantitative Glossaire de 300 concepts et termes techniques L unit de mesure permet la quantification Un indicateur l mentaire est associ une unit de mesure et n a qu une seule dimension ex km d autoroute nombre de stages Certaines unit s de mesure sont divisibles et d autres sont indivisibles ex 20 3 km ont t construits 30 stagiaires ont re u une formation La comparabilit des indicateurs suppose une harmonisation
83. onception technique d une valuation rel ve encore du savoir faire et de l expertise plut t que d une d marche v ritablement scientifique En pratique le terme est souvent employ au sens de m thode telle que d finie ci dessus Outil Tool Proc dure standardis e qui permet de remplir une fonction d valuation ex analyse de r gression enqu te par questionnaire Les outils d valuation servent collecter des donn es quantitatives ou qualitatives synth tiser des crit res de jugement explititer des objectifs estimer des impacts etc On reconna t un outil ce qu il est d crit dans un manuel qu il porte un nom et qu il peut tre enseign Son Glossaire de 300 concepts et termes techniques Usage peut tre gratuit ou payant s il est prot g par une marque enregistr e Une valuation peut avoir recours un seul outil ou plusieurs Terme s connexe s Technique Technique Techniques de structuration E Forces faiblesses opportunit s menaces Strenghts Weaknesses Opportunities Threats SWOT Analyse des facteurs internes sur lesquels on cherchera a s appuyer forces ou que l on essaiera de compenser faiblesses ainsi que les facteurs externes favorables opportunit s ou d favorables menaces C est un outil d valuation qui permet de verifier si l intervention publique est adapt e son contexte L outil structure un d bat sur les orientations strat gi
84. onnements ll vise obtenir un effet de dissuasion Avec le temps les termes de contr le et d audit se sont tendus des activit s beaucoup plus vastes que ce qui correspond leur d finition d origine cit e ci dessus Par exemple certains audits ou contr les v rifient que les r alisations ont t produites avec un niveau suffisant d efficience et de qualit D autres examinent si les r sultats et les performances sont suffisants par rapport ceux qui sont obtenus par d autres interventions semblables Le contr le et l audit s appliquent galement la v rification de l existence et du bon fonctionnement des proc dures de suivi et d valuation Terme s connexe s Audit Control Suivi Monitoring Examen exhaustif et r gulier des ressources des r alisations et des r sultats de l intervention publique Glossaire de 300 concepts et termes techniques Le suivi repose sur un systeme d information coh rent comprenant comptes rendus d activit s bilans tableaux de bord indicateurs etc Les informations du syst me de suivi proviennent principalement des op rateurs et sont utilis es en premier lieu pour piloter l intervention publique Lorsque le suivi comporte un jugement celui ci fait r f rence l atteinte des objectifs op rationnnels Le suivi a une vocation de r troaction et d apprentissage direct Il est g n ralement sous la responsabilit des acteurs charg s de la mise en oeuvre Par
85. ons publiques ou plusieurs composantes d une intervention produisent ensemble un impact sup rieur a l addition Glossaire de 300 concepts et termes techniques des impacts qu elles produiraient isol ment ex l intervention finance l agrandissement d un a roport qui facilite le remplissage des quipements touristiques galement financ s par l intervention Si rien n est pr cis la synergie fait r f rence des impacts positifs On peut cependant voquer des ph nom nes de renforcement d impacts n gatifs de synergie n gative ou d antisynergie ex l intervention subventionne la diversification des entreprises alors qu une politique r gionale favorise le renforcement de l activit dominante Effets sur l emploi E Effet d emploi Employment effect El Am lioration de l employabilit cr ation d emplois maintien d emplois ou modification structurelle du march de l emploi cons cutifs l intervention E Emploi cr ou maintenu Job created or maintained Nouveaux emplois cr s gr ce l intervention publique ou emplois menac s que l intervention publique a permis de sauvegarder B Employabilit Employability 1 Capacit d un individu trouver ou conserver un emploi dans un environnement socio conomique donn ll s agit d une ad quation des comp tences aux exigences du march du travail permettant l individu de garder son emploi ou de re trouver un emploi dans des
86. ounterfactual situation 83 Covariation 112 Coverage rate 77 Credibility 49 Criterion 63 Cross sectional data 107 Deadweight 81 Decision maker See Funding authority Deductive analysis See Causality analysis Delphi panel 114 Demand side effect 89 Democratic evaluation 20 Descriptor 70 Direct addressee 39 Direct effect 87 Disparity 65 Displacement effect 82 Diversification 98 Double loop learning See Organisational learning E Economic and social cohesion 97 Effect 59 Effectiveness 65 Efficacy See Effectiveness Efficiency 66 Eligibility 65 Eligible public 40 Employability 95 Employment effect 95 Endogeneous development 97 End user See Direct addressee Environmental Impact Assessment 99 Equal opportunities 98 Ethnographic observation 110 Evaluability assessment 46 Evaluand See Scope Evaluation 17 Evaluation Committee 43 Evaluation design 103 Evaluation setting 43 Evaluation system 44 Evaluation team 42 Evaluative question 46 Evaluator See Evaluation team Ex ante evaluation 26 Exogeneous factor See Confounding factor Expert panel 115 Explanatory theory 85 Ex post evaluation 28 Exposure rate See Coverage rate External coherence 93 External evaluation 41 External validity 51 Externality 88 Extraneous factor See Confounding factor Extrapolation coefficient 85 F Factor analysis 112 Feedback 21 Field of intervention 73 Final beneficiary See Operator Financial realisation See Input
87. pe Focus group Mi Technique d enqu te bas e sur une discussion en petit groupe souvent employ e pour permettre aux participants de se forger une opinion sur un sujet qu ils connaissent peu Elle fait appel l interaction et la cr ativit des participants pour enrichir et consolider l information collect e Elle est sp cialement int ressante pour analyser des th mes ou domaines qui suscitent des opinions divergentes que l on doit tenter de r concilier ou qui ont trait des questions complexes qui doivent tre explor es en profondeur u Etude de cas Case study E Etude approfondie de donn es rassembl es propos d un cas sp cifique un projet un destinataire une ville Glossaire de 300 concepts et termes techniques L tude de cas est adapt e pour l analyse inductive des impacts en particulier pour les interventions innovantes pour lesquelles on ne dispose pas d une th orie explicative des impacts Une tude de cas se conclut par une monographie pr sent e sous une forme narrative Une s rie d tudes de cas peut tre conduite en parall le de fa on cumulative ou de conception it rative Cette derni re consiste conduire plusieurs vagues d tudes de cas s lectionn es soigneusement pour v rifier une hypoth se E Observation ethnographique Ethnographic observation Observation in situ et de fa on non perturbatrice de l activit quotidienne des acteurs et ou des destinataires de l
88. permet d identifier les avantages existants sous le terme forces ou facteurs de succ s et les d savantages qu il faudrait r duire sous le terme faiblesses M Diversification Diversification D ploiement de la production d une entreprise ou d une r gion en dehors de ses sp cialisations traditionnelles en vue de cr er de nouvelles activit s et ou de s implanter dans de nouveaux segments de march Les politiques d incitation et d appui la diversification s adressent a l ensemble des entreprises implant es dans des segments de march en crise ou menac s E Egalit des chances Equal opportunities Egale capacit des femmes et des hommes acc der un emploi un m me niveau de r mun ration et a des avantages sociaux dans un environnement socio conomique donne Les impacts Cet impact se r f re au principe d galit des droits et de parit de traitement entre les femmes et les hommes signifie d une part que tous les tres humains sont libres de d velopper leurs aptitudes personnelles et de proc der des choix sans tre limit s par des r les de genre st r otyp s et d autre part que l on s abstient de survaloriser ou de d valoriser telle ou telle diff rence de comportement d aspiration et de besoin entre les femmes et les hommes Le principe d galit des chances peut appeler un traitement in gal pour compenser la discrimination L valuation de l impact sur l ga
89. position un d veloppement non durable est caract ris par la destruction de ressources naturelles qui se r percute n gativement sur les potentialit s de d veloppement long terme Terme s connexe s D veloppement viable E Att nuation Mitigation E Action visant a r duire les effets n gatifs potentiels d une intervention publique sur l environnement E D veloppement endog ne Endogeneous development FI Accroissement de l activit conomique fond sur des avantages comp titifs internes une r gion ou un territoire Glossaire de 300 concepts et termes techniques Les principaux facteurs de d veloppement endog ne sont le capital humain l entreprenariat l pargne locale et les r seaux locaux d innovation A l inverse le d veloppement exog ne privil gie l attraction de capitaux de technologie de savoir faire de comp tence E Comp titivit Competitiveness Capacit d une entreprise plac e dans un environnement socio conomique comp titif a d fendre durablement ou accro tre ses parts de march et g n rer de la valeur La notion de comp titivit peut s appliquer une entreprise isol e ou l ensemble des entreprises d un secteur ou d une r gion Elle est directement li e la notion d avantage comp titif avantage que doit poss der ou d velopper une entreprise un secteur o une r gion pour tre comp titif sur un segment de march donn L analyse SWOT
90. publics la qualit des services publics les r seaux d innovation etc Effet structurant Structuring effect M Changements durables intervenant dans les structures socio conomiques suite l intervention publique Les effets structurants sont les changements qui perdureraient si la d pense publique venait s arr ter Ils comprennent les effets durables au niveau micro conomique et les effets d offre Les effets de demande n en font pas partie Les effets structurants ne doivent pas tre confondus avec l ajustement structurel qui recherche la convergence des variables macro conomiques d un pays vers les standards internationaux notamment en termes de finances publiques et d inflation Mot s connexes s Effet structurel Lasting effect Effet d entra nement Impulsion effect Effet secondaire qui se propage par l interm diaire d investissements induits en amont et en aval du secteur touch par l intervention Par exemple la construction d un grand projet d infrastructure g n re la cr ation de nouvelles entreprises dans la r gion entreprises qui continuent de se d velopper apr s la fin des travaux Les impacts B Effet de r seau Network effect Effet secondaire qui se propage par l interm diaire de relations privil gi es et durables entre les entreprises d un m me territoire et ou d une m me fili re ainsi qu entre ces entreprises et des organisations publiques ou para publiques comme les
91. ques E Cadre logique Logical framework El Outil de structuration de la logique d une intervention publique Il repose sur une pr sentation matricielle de l intervention faisant appara tre ses r alisations ses r sultats ses impacts sp cifiques et ses impacts globaux Chaque niveau d objectif est associ un ou plusieurs indicateurs de succ s v rifiables ainsi qu des conditions et risques qui influencent la r ussite ou l chec facteurs concurrents Cet outil est fr quemment employ pour l valuation des projets d aide au d veloppement Il est par contre peu adapt l valuation des programmes socio conomiques car trop simplificateur E Arbre des objectifs Objective tree E Classification hi rarchique des objectifs de l intervention publique reliant sous forme d arborescence tous ses objectifs sp cifiques et son objectif global L arbre des objectifs d un programme rend explicite la logique d ensemble C est un outil de clarification B Cartographie conceptuelle des impacts Concept mapping of impacts Ml Outil d aide la clarification des objectifs explicites et implicites bas sur l identification le regroupement et la hi rarchisation des impacts attendus Glossaire de 300 concepts et termes techniques La cartographie conceptuelle des impacts se met en ceuvre selon une d marche pluraliste et participative qui peut associer un grand nombre de participants Elle peut d boucher sur la s lectio
92. qui propose une d marche d appr ciation de la qualit d une valuation Ce qui est valu E Champ de l valuation Scope amp D limitation pr cise de l objet de l valuation de ce qui est valu Le champ de l valuation doit tre circonscrit sur quatre plans au moins op rationnel tout ou partie des domaines d intervention une ou plusieurs politiques connexes institutionnel tout ou partie des autorit s temporel p riode prise en consid ration et g ographique un ou plusieurs territoires ou parties de territoires telle r gion telle ville tel parc naturel etc Dans le contexte de la politique europ enne de coh sion l objet de l valuation peut tre un programme une mesure ou un projet Pour rester suffisamment g n ral cet ouvrage emploie le terme intervention publique et l applique de fa on g n rique n importe quel objet d valuation Terme s connexe s Evaluanda Evaluand E Politique Policy El Ensemble d activit s diff rentes programmes proc dures lois r glements qui sont dirig es vers un m me but un m me objectif g n ral Ces activit s s accumulent souvent de fa on incr mentale au fil des ann es La politique europ enne de coh sion conomique et sociale est rythm e par un calendrier pr cis et encadr e par un budget pluriannuel Ce n est pas le cas pour la majorit des politiques au sens traditionnel du terme Programme
93. qui fournissent des biens et services aux entreprises qu sont destinataires directes de l intervention publique Il peut y avoir plusieurs cycles d effet fournisseur si on tend l analyse aux fournisseurs des fournisseurs etc L analyse d entr es sorties input output permet d estimer la totalit des effets fournisseurs sur un territoire donn u Effet multiplicateur de revenu Income multiplier effect W Effet secondaire qui r sulte de l augmentation des revenus et de la consommation g n r e par l intervention publique L effet multiplicateur est cumulatif et tient compte du fait qu une partie des revenus g n r s sont red pens s et produisent d autres revenus et ainsi de suite sur plusieurs cycles successifs A chaque cycle l effet multiplicateur est diminu cause des achats effectu s hors du territoire L effet decroit donc d autant plus vite que le territoire est plus petit et que son conomie est plus ouverte Glossaire de 300 concepts el termes techniques B Effet d offre Supply side effect E Effet secondaire qui se propage par l interm diaire de l augmentation de comp titivit des entreprises et donc de leur production Les principaux m canismes mis en jeu sont l augmentation de la capacit de production l augmentation de la productivit la diminution des co ts la diversification et le renforcement des autres facteurs de comp titivit tels que le capital humain la dotation d quipements
94. r un jugement en termes d efficience Cet outil consiste reporter les effets nets de l intervention qui doivent tre d termin s s par ment aux ressources financi res qui ont t n cessaires pour produire ces effets Le crit re de jugement est par exemple le co t par unit d impact produite ex co t par emploi cr Ce co t unitaire sera confront celui d autres interventions choisies comme talons de comparaison E Analyse co t avantages Cost benefit analysis W Outil d valuation qui juge l int r t de l intervention du point de vue de l ensemble des groupes concern s et sur la base d une valorisation mon taire de toutes les cons quences positives et n gatives de l intervention qui doivent tre estim es par ailleurs Les techniques Lorsqu il n est pas pertinent ou possible d utiliser les prix du march pour valoriser un gain ou une perte un prix fictif peut tre fix par dif rentes m thodes La premi re consiste estimer la disposition des destinataires payer pour obtenir les impacts positifs ou pour viter les impacts n gatifs Le prix fictif d un bien ou d un service peut galement tre estim par le manque gagner en cas d absence de ce bien ou service ex en cas de ch mage massif le prix fictif d une journ e de travail non qualifi e est tres faible Enfin le prix fictif peut tre d cid directement par les responsables administratifs ou par le groupe de pilotage L analys
95. ristiques Elles peuvent aussi prendre la forme de services immat riels formation conseil information Terme s connexe s Extrant Produit Product Realisation R sultat Result amp Avantage ou inconv nient que les destinataires directs obtiennent des la fin de leur participation l intervention publique ou d s l ach vement d un quipement public Les r sultats sont observables au moment ou l op rateur termine son action et o il rend des comptes sur l argent dont la gestion lui a t confi e A ce Glossaire de 300 concepts et termes techniques moment il peut montrer par exemple que l accessibilit s est am lior e gr ce la construction d une route ou que les entreprises qui ont re u un conseil se d clarent satisfaites Les op rateurs peuvent conna tre les r sultats et en faire un suivi r gulier leur appartient d adapter la mise en ceuvre de l intervention en fonction des r sultats obtenus Terme s connexe s Immediate outcome E Impact Impact W Cons quence apparaissant pour les destinataires directs apr s la fin de leur participation l intervention ou apr s l ach vement des quipements publics ou encore cons quence indirecte sur d autres destinataires gagnants ou perdants Certains impacts impacts sp cifiques s observent chez les destinataires directs apr s quelques mois ou plus long terme ex survie des entreprises aid es apr s deux ans Dans le
96. roductif et les ressources humaines Dans ce Volume le terme intervention est syst matiquement employ pour d signer ce qui fait l objet de l valuation Protagonistes de l evaluation Protagoniste Stakeholder Individus groupes ou organisations qui ont un int r t dans l intervention valu e ou dans l valuation elle m me et notamment les autorit s ayant d cid et financ l intervention les gestionnaires les op rateurs les porte parole des publics concern s Les protagonistes peuvent tre porteurs d int r ts l gitimes dont l valuation doit tenir compte Ils peuvent galement avoir des int r ts purement priv s qui ne font pas l gitimement partie de l valuation Par exemple dans le cas d une intervention qui subventionne la cr ation de nouveaux h tels les parties prenantes sont les financeurs les gestionnaires les nouveaux h teliers destinataires directs les autres professionnels du tourisme les anciens h teliers qui subissent la concurrence des h tels aid s les touristes les associations de protection de la nature les entreprises de construction Terme s connexe s Partenaire Partie prenante Partner E Financeur Funding authority Institution publique qui participe au financement de l intervention Par extension le terme financeur est galement employ pour les personnes qui interviennent au nom de ces institutions dans le processus d valuation
97. ronment Glossaire de 300 concepts el termes techniques Objectif Objective Enonc clair explicite et pr alable des effets que l intervention publique doit abtenir Si les objectifs ne sont pas nonc s d une mani re explicite l valuation particuli rement l valuation ex ante peut contribuer les clarifier Un objectif quantitatif s nonce l aide d indicateurs un objectif qualitatif s nonce l aide de descripteurs Par exemple 30 des r alisations devront tre termin es au bout de la troisi me ann e l intervention publique doit b n ficier en priorit aux ch meurs de longue dur e Les objectifs sp cifiques concernent les r sultats et les impacts d une intervention sur ses destinataires directs L objectif global correspond la finalit de l intervention La finalit d une intervention est de produire un impact exprim en termes globaux par exemple r duire les disparit s r gionales de d veloppement ll peut galement y avoir des objectifs interm diaires Les objectifs qui noncent les r alisations produire sont appel s objectifs op rationnels Si les objectifs d une intervention publique n ont pas t clairement d finis au pr alable l valuation peut tenter de les clarifier apr s coup Il est pr f rable dans ce cas de parler des objectifs implicites Terme s connexe s But Finalit Objectif global Objectif interm diaire Objectif sp cifique Objectif op ration
98. rtinente et coh rente que possible Ses conclusions sont destin es tre int gr es au moment de la d cision L valuation ex ante porte notamment sur l analyse du contexte Elle apporte aux autorit s responsables un jugement sur le fait que les enjeux de d veloppement ont t correctement diagnostiqu s que la strat gie et les objectifs propos s sont pertinents qu il n y a pas d incoh rence entre eux ni avec les politiques et orientations nationales et communautaires que les impacts escompt s sont r alistes etc Elle apporte par ailleurs les bases n cessaires au suivi et aux futures valuations en veillant l existence d objectifs explicites et dans la mesure du possible quantifies Terme s connexe s Appr ciation ex ante Evaluation a priori Diagnostic Prior appraisal Needs assessment Les enjeux de l valuation M Evaluation mi parcours Mid term evaluation amp Evaluation qui intervient vers le milieu de la p riode de mise en ceuvre de l intervention Cette valuation porte un regard critique sur les premi res r alisations et sur les premiers r sultats ce qui lui permet d appr cier la qualit du suivi et de la mise en uvre Elle montre la traduction op rationnelle des intentions de d part et le cas ch ant elle constate les modifications apport es de facto aux objectifs initiaux Par comparaison avec la situation de d part elle montre l volution du contexte conomique et social g
99. s agences publiques associations Dans le cadre de politiques cofinanc es par l Etat et les r gions le pilotage de certaines valuations est assur par des responsables politiques et administratifs des deux niveaux en association avec des repr sentants des publics concern s Terme s connexe s Evaluation partenariale Evaluation participative Partnership evaluation Stakeholder evaluation Glossaire de 300 concepts et termes techniques E Evaluation d mocratique Democratic evaluation E D marche d valuation qui vise accro tre la qualit et la transparence du d bat d mocratique qu il s agisse de mieux faire conna tre et comprendre la logique et les effets de l intervention publique ou qu il s agisse de juger sa raison d tre ou son efficacit L valuation est d finie comme un jugement port sur la valeur de l intervention publique par des personnalit s d mocratiquement lues Les professionnels de l valuation sont au service de cette instance et ont un apport technique uniquement Le processus est public Ce mod le s applique dans le cas d une intervention d cid e titre experimental et qui doit faire l objet d un vote de confirmation au vu des r sultats obtenus l issue des premi res ann es de mise en uvre B Finalit cognitive Cognitive aim El Le fait que l valuation permette ses utilisateurs de prendre connaissance d informations nouvelles sur l intervention et sur
100. s de l Union europ enne est entr e dans une phase de maturit ainsi qu en atteste l extension prise par les travaux r alis s tant par les Etats membres que par la Commission Les obligations r glementaires issues des d cisions du Conseil ont largement contribu a r pandre la pratique de l valuation et ont galement stimul le d veloppement m thodologique Pendant ces dix derni res ann es la Commission s est employ e a promouvoir et am liorer les m thodes d valuation des interventions des Fonds structurels Les principaux enseignements m thodologiques ont t d battus et diffus s dans le cadre du programme MEANS initi par la Commission des 1991 Les acquis sont maintenant suffisamment substantiels pour nourrir une publication complete et accessible pour un public plus large une Collection de six ouvrages traitant tous les aspects de l valuation des programmes socio conomiques Ces ouvrages sont r dig s dans une perspective plus large que celle du strict cadre administratif actuel En effet celui ci est amen a voluer p riodiquement alors que les standards professionnels ont une plus grande stabilit De mani re g n rale la Collection s adresse des lecteurs non sp cialistes d sireux de disposer des informations indispensables l valuation des programmes de d veloppement socio conomiques Ces programmes ont une multiplicit d objectifs une dimension de partenariat et un contenu mul
101. s ou de facon exhaustive un groupe de personnes Les techniques Un questionnaire comporte une liste de questions dont l encha nement a t d termin l avance Selon que les questions sont ouvertes ou ferm es la personne interrog e est libre dans la formulation de ses r ponses ou contrainte de choisir des nonc s pr d finis descripteurs Un questionnaire peut tre administr par courrier par entretien t l phonique par e mail ou par entretien de visu Si l enqu te par questionnaire est exhaustive ou si elle porte sur un chantillon repr sentatif elle peut servir collecter des donn es quantitatives et renseigner des indicateurs condition de comporter principalement des questions ferm es E Entretien individuel Individual interview El Technique permettant de recueillir des donn es qualitatives et les opinions des personnes concern es ou potentiellement concern es par l intervention son contexte sa mise en oeuvre ou ses effets Il existe plusieurs types d entretiens individuels dont l entretien par conversation informelle l entretien semi directif et l entretien directif Cette derni re est l approche la plus rigide et ressemble l enqu te par questionnaire L entretien semi directif quant lui consiste faire r agir une personne sur des l ments d termin s par avance mais en lui laissant une grande libert d interpr tation et de reformulation de ces l ments M Entretien de grou
102. s qui r alisent l valuation L quipe d valuation s lectionne et interpr te les donn es secondaires elle collecte les donn es primaires elle r alise les analyses et produit le rapport d valuation L quipe d valuation peut tre interne ou externe Elle peut tre constitu e d un groupement de plusieurs organisations consortium ou faire appel des sous traitances A la limite elle est compos e d une seule personne Dans cette Collection le terme quipe d valuation a t pr f r celui d valuateur qui est conforme au mod le d valuation manag riale mais qui s applique mal aux deux autres mod les valuation pluraliste et valuation d mocratique dans la mesure o c est l instance d valuation qui formule le jugement final sur la base du travail produit par l quipe d valuation Terme s connexe s Evaluateur Charg d valuation Evaluator E Groupe de pilotage Steering group Mi Groupe restreint compos de fonctionnaires des administrations les plus directement concern es par l intervention auquel on adjoint parfois quelques experts La p riodicit de ses r unions est importante et les proc dures de travail sont peu formelles Le groupe de pilotage agit en tant que m diateur entre L organisation de l valuation les commanditaires et l quipe d valuation mais aussi entre les diff rents partenaires concern s par l intervention E Instance d valuation Evaluation Comm
103. s sont compl mentaires et traitent conjointement la totalit des aspects de l valuation des programmes socio conomiques I Conception et conduite d une valuation ll Choix et utilisation des indicateurs pour le suivi et l valuation Ill Principales techniques et outils d valuation IV Solutions techniques pour valuer dans un cadre de partenariat V Evaluation transversale des impacts sur l environnement l emploi et les autres priorit s d intervention VI Glossaire de 300 concepts et termes techniques Prix TVA exclue au Luxembourg EUR 120 x X x OFFICE DES PUBLICATIONS OFFICIELLES ISBN 92 828 bb27 0 k _eun_ A DES COMMUNAUT S EUROP ENNES ON MAR 9 789282 866276 gt kg Ak L 2985 Luxembourg s el Zt N a gt T gt O
104. sale des impacts sur l environnement l emploi et les autres priorit s d intervention de l Union Europ enne et des Etats membres ll aborde entre autres la question des impacts en termes d galit des chances hommes femmes ou de comp titivit des PME Le volume offre les l ments n cessaires l analyse de ces impacts qui ne figurent pas n cessairement parmi les objectifs explicites de toutes les actions valu es Enfin le dernier volume est constitu d un glossaire des concepts et termes techniques La mise au point de la Collection a en effet impos un travail rigoureux d homog n isation et de d finition des termes employ s Chacun des cinq premiers volumes est suivi d un index dont les termes sont repris parmi les centaines de d finitions rassembl es dans le glossaire Table des mati res I Introduction Il Les enjeux de l valuation Utilit de l valuation Types d valuation Activit connexes l valuation L organisation de l valuation Ce qui est valu Protagonistes de l valuation Organisation de l valuation Pr paration de l valuation Qualit de l valuation IV Les crit res et les indicateurs Logique interne de l intervention Crit res d valuation Mesures et syst mes d information Indicateurs V Les impacts Analyse de causalit Effets socio conomiques Effets de synergie Effets sur l emploi D veloppement conomique et social V Les techniques M
105. ses effets L apport cognitif est particuli rement visible quand le lecteur du rapport d valuation est surpris par ce qu il lit quand il d couvre quelque chose qu il ne connaissait pas correspond g n ralement la production d informations nouvelles donn es primaires mais il peut aussi intervenir quand l valuation met la port e de ses utilisateurs des donn es secondaires dont ils n avaient pas connaissance Une dimension de l apport cognitif est celle qui transforme la mani re dont l utilisateur se repr sente l intervention ses effets et les relations de cause effet th orie explicative des impacts ll s agit alors d un apport conceptuel Quelle que soit sa finalit une valuation r ussie a toujours un apport cognitif visible et reconnu Terme s connexe s Apport conceptuel Conceptual Les enjeux de l valuation Finalit instrumentale Instrumental aim El Le fait que l valuation d bouche directement sur des d cisions d am lioration de prolongation ou d arr t de l intervention publique Par exemple un rapport d valuation mi parcours a recommand une s rie de vingt six r ajustements des composantes de l intervention publique Quelques mois apr s l valuation les autorit s responsables se sont mises d accord sur une s rie d ajustements Parmi les d cisions prises treize correspondent aux recommandations de l valuation Cet apport est optimis quand l quipe d valuatio
106. si T RKIYE D nya Infotel AS 100 Yi Mahalless 34440 TR 80050 Bagcilar Istanbul Tel rl 9 48 89 Fax 90 212 629 46 27 E mail infolel dunya gazete com tr SLO 1 AUSTRALIA Hunter Publications PO Box 404 3067 Abbotstord Victoria Tet ee En 175361 Fax 61 3 94 19 71 54 E mail jpdavies oz email com au A Les ditions La Libert inc 3020 chemin Sainte Fi G1X 3V Sainte Foy Qui Tel 1 Sool sav 3763 Fax 1 800 567 54 49 E mail liberte mediom qc ca Renouf Publishing Co Ltd 5369 Chemin Canotek Road Unit 1 K1J 933 Ottawa Ontano Tel 1 613 745 26 65 Fax 1 613 745 76 60 E mail order dept renoufbooks com URL http Awwew renoutbooks com EGYPT The Midcie East Observer 41 Shent Street Cairo Tel 20 2 392 69 19 Fax 20 2 393 97 32 E mail matouda meobserver com eg E mail demetrap Otcc org cy URL http www meobserver com eg a INDIA Esti Kaubendus Todstuskoda Estonian EBIC India Chamber of Commerce and industry Toom Kooli 17 FE OOD Talinn LEE be D dE es ae ee 3rd Floor Y B Chavan Centre Gen J Bhosale Marg 400 021 Mumbai Tel HE 282 60 64 Fax 91 22 285 45 64 E mail sbic giasbrnQ 1 vanl net in URL hitp Awww ebicindia com Index information Services PO Box 19502 Jerusale Tel 972 2 62716394 Fax 972 2 627 12 19 JAPAN PSiJapan Asahi Sanbancho Plaza 1206 7 1 Sanbancho Chiyoda ku Ti 102 Tel 81
107. sources financi res ou budg taires Dans ce cas le mot activit peut tre appliqu la mise en oeuvre des ressources humaines et organisationnelles L expression r alisation financi re est quelquefois employ e au sens de consommation des ressources budg taires Terme s connexe s Activit Intrant Moyen R alisation financi re Activity Financial realisation Means Resource Les crit res et les indicateurs u Effet Effect amp Changement socio conomique r sultant directement ou indirectement de l intervention mise en oeuvre Les effets comprennent les r sultats et les impacts de l intervention qu ils soient attendus ou non positifs ou n gatifs Dans certains cas le terme d effet est tendu improprement aux r alisations R alisation Output El Ce qui est financ et accompli ou concr tis avec l argent allou a l intervention Un porteur de projet s engage produire une r alisation en contrepartie imm diate de l aide qui lui est attribu e S il ne r alise pas ce qui tait pr vu il ne re oit pas l aide ou il doit la rembourser en tout ou en partie Les op rateurs sont responsables des r alisations et doivent en rendre compte de fa on r guli re et syst matique par l interm diaire du syst me de suivi Les r alisations peuvent prendre la forme d quipements ou de travaux construction d une route r habilitation d une friche urbaine station d puration lits tou
108. sseurs salari s Les effets primaires peuvent tre analys s l aide d enqu tes d valuations Ils sont de nature micro conomique l inverse des effets secondaires qui concernent des cercles de destinataires de plus en plus indirects Glossaire de 300 concepts et termes techniques Terme s connexe s Impact de premier ordre Knock on effect E Effet secondaire Secondary effect E Ensemble des impacts que produit l intervention au del de ses effets primaires c est dire au del de ses destinataires directs et du premier cercle de destinataires indirects Les m canismes d effets secondaires s tendent potentiellement par cercles successifs jusqu l ensemble de l conomie Ils sont g n r s par l effet fournisseur l effet multiplicateur de revenu l effet d entrainement etc L valuation des effets secondaires fait appel des raisonnements et des techniques macro conomiques Externalit Externality Effet d une action priv e ou d une intervention publique qui se propage sans passer par un march Par exemple une entreprise pollue une rivi re et cr e une perte conomique pour une exploitation piscicole en aval Un ing nieur quitte l entreprise qui l a form et met son savoir faire au service d une nouvelle entreprise qu il cr e De par leur nature m me les externalit s donnent lieu des choix priv s qui ne peuvent pas tre optimis s par les m canismes de concurrence
109. st dire tous les facteurs concurrents L valuation s appuie sur une liste d hypotheses explicatives tablie avec l aide d experts partir de travaux de recherches et d valuation r alis s dans des champs similaires Les techniques d analyse inductive contribuent galement construire ou am liorer la th orie explicative E Coefficient d extrapolation Extrapolation coefficient amp Ratio qui permet d estimer un impact a partir des donn es de suivi Par exemple si l on conna t le montant des investissements effectu s par les PME aid es un coefficient d extrapolation permettra d estimer la valeur ajout e annuelle g n r e Dans ce cas le coefficient d extrapolation pourra tre le ratio de valeur ajout e annuelle par euro investit Ce ratio sera tir des statistiques de la r gion ou du secteur concern Si l quipe d valuation emploie des coefficients d extrapolation pr existants il importe qu elle explique et justifie ceux qu elle a choisis Un Glossaire de 300 concepts el termes techniques coefficient peut tre d duit d une enqu te par questionnaire condition que l chantillon soit repr sentatif conduite dans le cadre de la m me valuation ou d une valuation pr c dente Un coefficient peut aussi tre emprunt une valuation ou une recherche portant sur des interventions similaires condition que les conclusions soient consid r es comme g n ralisables validit ex
110. t termes techniques seconde version r alis e en 1996 avec des d finitions am lior es et quatre langues suppl mentaires La publication de la Collection MEANS en exigeant un travail rigoureux d homog n isation et de d finition des termes employ s a cr l occasion de renforcer l tendue et la coh rence du glossaire et de publier ce Volume La Commission a choisi dans un premier temps de privil gier la coh rence du glossaire plut t que le nombre de langues couvertes Ce Volume est donc un premier pas qui couvre l anglais et le fran ais avec une traduction syst matique d une langue vers l autre Le travail pourra ult rieurement tre tendu d autres langues europ ennes Les mots choisis pour figurer dans ce volume sont prioritairement ceux qui appartiennent au vocabulaire de l valuation Une place importante a galement t accord e aux impacts socio conomiques Chacun des cinq premiers volumes de la Collection MEANS est suivi d un index qui recouvre autant que possible les termes et concepts d finis dans ce sixi me Volume Une des difficult s rencontr es dans la construction de cet ouvrage tient au fait que plusieurs d finitions d un m me mot coexistent fr quemment aussi bien la Commission europ enne que dans les communaut s scientifiques et professionnelles Dans ces circonstances un choix unique et clair a toujours t fait de fa on aboutir une coh rence d ensemble Toutefois pour facil
111. tal Plus g n ralement le terme est employ dans la gestion des ressources humaines pour l valuation d une personne ex entretien annuel d valuation ou dans le domaine financier pour estimer la valeur d une entreprise L usage journalistique du mot est souvent celui d une estimation impr cise on value le nombre de victimes 1 000 personnes ou d une estimation mon taire ce tableau est valu un million d euros Terme s connexe s Appr ciation Examen Appraisal Assessment Evaluation endoformative Formative evaluation Evaluation conduite a l intention des gestionnaires et des protagonistes directs dans le but de les aider a am liorer leur action r troaction Glossaire de 300 concepts et termes techniques L valuation endoformative s applique surtout une intervention publique en cours de mise en oeuvre valuation chemin faisant ou mi parcours Elle s int resse essentiellement aux proc dures de mise en oeuvre et leur efficacit et leur pertinence La distinction entre valuation formative et valuation r capitulative a t r sum e ironiquement de la fa on suivante Quand le cuisinier go te la soupe c est formatif quand les invit s go tent la soupe c est r capitulatif Terme s connexe s Evaluation formative E Evaluation r capitulative Summative evaluation W Evaluation conduite l intention d acteurs qui ne sont pas directement i
112. terne Un coefficient peut galement tre tabli pour les besoins d une valuation par un panel d experts ou par un r seau d experts en utilisant la technique de l enqu te Delphi Effets socio conomiques Effet direct Direct effect amp Effets de l intervention publique sur ses destinataires directs l exclusion de toute r percussion sur d autres publics Par exemple une aide l investissement a des effets directs sur les entreprises aid es co ts et capacit de production cr ation ou maintien d emplois Une infrastructure nouvelle a un effet direct sur les personnes et les entreprises qui l utilisent u Effet indirect Indirect effect W Effet qui se propage dans l conomie la soci t ou l environnement au del des destinataires directs de l intervention publique On distingue les effets indirects internes qui se propagent travers des changes marchands ex effet sur les fournisseurs ou sur les salari s d une entreprise aid e par opposition aux effets externes ou externalit s qui se propagent sans passer par un march ex nuisance sonore effet de fertilisation au sein d un r seau d innovation Terme s connexe s Effet induit Effet primaire First round effect amp Effet sur les destinataires directs de l intervention publique et sur le premier cercle des destinataires indirects Par exemple l impact sur les entreprises aid es et sur leurs clients fourni
113. texte des programmes socio conomiques de l Union europ enne la mise en uvre comprend tout ou partie des t ches suivantes mobiliser et r partir les ressources allou es attribuer les responsabilit s de gestion aux op rateurs solliciter ou susciter les candidatures des porteurs de projet s lectionner les projets et les financer Glossaire de 300 concepts et termes techniques Pour surveiller et am liorer la mise en uvre on met en place un Comit de suivi on fait fonctionner un syst me d information de suivi on r alise des contr les et des valuations Terme s connexe s Impl mentation Ressource Input E Moyens financiers humains mat riels organisationnels et r glementaires mobilis s pour la mise en oeuvre de l intervention Par exemple soixante personnes ont travaill la mise en oeuvre du programme 3 du co t des projets a t consacr l att nuation des effets sur l environnement Le suivi et l valuation s int ressent sp cifiquement aux ressources allou es par les autorit s publiques et employ es par les op rateurs pour obtenir les r alisations Dans cette Collection on consid re que les ressources priv es mobilis es par exemple par les entreprises aid es sont classer parmi les r sultats de l intervention publique La d finition ci dessus donne une signification relativement large au mot ressource Certains pr f rent r duire son usage aux seules res
114. tionnaire survey 108 Raison d etre See Rationale Rating See Scoring Rationale 64 Realisation See Output Recipient See Direct addressee Regression analysis 112 Relevance 64 Reliability 49 Representativeness See Reliability Resource See Input Result 59 Rolling evaluation See On going evaluation Glossaire de 300 concepts el termes techniques S Sample 108 Scope of evaluation 33 Scoping See In depth evaluation Scoring 71 Screening See Overall evaluation Secondary data 107 Secondary effect 88 Self evaluation 41 Sensibility See Indicator Shift share analysis 113 Side effect See Unexpected effect Single loop learning See Organisational learning Skimming off effect 96 Social cost benefit analysis 116 Social value See Criterion Soudness See Reliability Specific impact See Impact Specific objective See Objective Stakeholder 37 Stakeholder evaluation See Pluralistic evaluation Standard See Norm Standard indicator See Comparability Stastitical team 72 Statement See Descriptor Steering group 42 Strategy 55 Structuring effect 90 Subsidiarity 68 Substitution effect 82 Success See Effectiveness Summative evaluation 18 Supplier effect 89 Supply side effect 90 Sustainability 67 Sustainable development 97 Sustainable result See Impact SWOT 105 Synergy 93 System of indicators See Monitoring information system Index alphab tique anglais 1j Target group See Eligible public Technique See Tool Terms of reference 4
115. tions ligibles mais qui ont t cart s de toute participation l intervention suite un tirage al atoire parmi les candidats Mis part la participation l intervention le groupe t moin est en tous points comparable celui des participants et il a t expos aux m mes variations du contexte socio conomique facteurs concurrents Lorsque l on compare un groupe de particpants et un groupe t moin l influence des facteurs concurrents est donc la m me des deux c t s condition que les deux groupes soient suffisamment nombreux Terme s connexe s Affectation al atoire Groupe de contr le Glossaire de 300 concepts et termes techniques B Bin me appari Matching pair E Technique de construction d un groupe de comparaison Pour chaque individu d un chantillon des destinataires directs de l intervention sur lequel porte l enqu te on choisit un individu qui lui ressemble le plus possible et qui n a pas particip l intervention B Analyse de r gression Regression analysis W Outil statistique qui permet d obtenir une estimation quantitative de l influence de plusieurs variables explicatives l intervention publique et les facteurs concurrents sur une variable expliqu e l impact L analyse de r gression est un outil d analyse de causalit d ductive Elle est bas e sur un mod le logique explicatif et sur une s rie d observations effectu es au pr alable L outil s applique ave
116. tions techniques et institutionnelles seront r unies pour apporter des r ponses fiables et cr dibles aux questions pos es ll s agit concr tement de s assurer qu une quipe d valuation utilisant des outils d valuation appropri s sera capable dans des d lais et pour un co t compatibles avec les contraintes existantes de r pondre aux questions valuatives avec une forte probabilit d arriver des conclusions utiles E Cahier des charges Terms of reference amp Le cahier des charges d finit le travail et le calendrier que devra r aliser l quipe d valuation Il rappelle le cadre r glementaire et pr cise le champ de l valuation annonce les principaux motifs de l valuation et pr cise les questions pos es Il rappelle les connaissances disponibles et trace les grandes lignes de la m thode d valuation Il d crit la r partition du travail et des responsabilit s entre les personnes qui participent au processus d valuation Il fixe le calendrier et si possible le budget allou Il pr cise les qualifications attendues des quipes candidates ainsi que les crit res qui seront utilis s pour s lectionner l quipe d valuation Il est g n ralement compl t par des annexes administratives Terme s connexe s Termes de r f rence Job description M Question valuative Evaluative question El Question pos e par le commanditaire dans le cahier des charges et laquelle l quipe d valuatio
117. tisectoriel plusieurs caract ristiques qui appellent des m thodes d valuations adapt es et des solutions que n offre pas encore la litt rature technique internationale La Collection compl te comprend 6 volumes con us pour Glossaire de 300 concepts et termes techniques tre compl mentaires et fournir les elements indispensables au professionnel qui souhaite d velopper de fa on autonome ses pratiques d valuation Chaque volume a t construit de telle mani re qu il puisse tre lu et compris ind pendamment des autres Le premier volume de la Collection MEANS s intitule Conception et conduite d une valuation ll a une fonction de porte d entr e dans la Collection ainsi que dans le domaine de l valuation des programmes socio conomiques permet au lecteur de comprendre les enjeux de l valuation et de savoir ce qu il peut ou ne peut pas attendre d une valuation un moment et dans un contexte donn s Il apporte les l ments n cessaires pour piloter une valuation de Z r partir les responsabilit s de l valuation d finir sa finalit et les grandes lignes de sa m thode fixer son calendrier et son budget appr cier la qualit des travaux et enfin g rer l utilisation de ses conclusions Le second volume porte sur e choix et l utilisation des indicateurs pour le suivi et l valuation ll traite des indicateurs utilis s pour le suivi et l valuation Il montre comment les
118. trice d impacts crois s 106 Meilleure pratique Voir Etalonnage Mesure 34 69 M ta valuation 28 M thodes 103 M thodologie 103 Mise en oeuvre 57 Mod le de causalit Voir Th orie d action Mod le macro conomique 113 Monitorage Voir Suivi Moyen Voir Ressource Neutralit Voir Impartialit Norme 63 Notation 71 0 Objectif 56 Objectif global Voir Objectif Objectif implicite Voir Objectif Objectif interm diaire Voir Objectif Objectif op rationnel Voir Objectif Objectif quantitatif Voir Objectif v rifiable Objectif sp cifique Voir Objectif Glossaire de 300 concepts et termes techniques Objectif v rifiable 57 Objectivit Voir Fiabilit Observation ethnographique 110 Observatoire 72 Op rateur 38 Outil 103 P Panel d experts 115 Partenaire Voir Protagoniste Partie prenante Voir Protagoniste P rennit Voir Durabilit Performance 67 Pertinence 64 Perte seche Voir Effet d aubaine Pilotage Voir Suivi Poids mort Voir Effet d aubaine Point z ro Voir Situation de base Politique 33 Pond ration 64 Pr valuation 45 Priorit politique 57 Produit Voir R alisation Programme 33 Projet 34 Protagoniste 37 Protocole d valuation 103 Public cible Voir Public ligible Public concern 40 Public ligible 40 que Quantification Voir Unit de mesure Radioscopie Voir Evaluation d ensemble Raison d tre 64 R alisation 59 Index alphab tique francais R alisation fina
119. tudes approfondies comportant des analyses sucessives sur des questions Glossaire de 300 concepts et termes techniques valuatives apparaissant en cours de mise en uvre Par exemple l valuation chemin faisant d une aide au d veloppement touristique a trait succesivement les questions suivantes comment le public r agit il aux aides propos es premi re ann e l volution du march touristique est elle en train de rendre l aide inutile troisi me ann e parmi les projets aid s quels sont ceux qui peuvent tre consid r s comme des cas de bonne pratique reproduire quatri me ann e Terme s connexe s Evaluation in itinere Rolling evaluation Evaluation ex post Ex post evaluation Evaluation qui r capitule et juge l intervention apr s son ach vement Elle vise rendre compte de l utilisation des ressources de l obtention des effets attendus efficacit et inattendus utilit ainsi que de l efficience des interventions Elle cherche comprendre les facteurs de r ussite ou d chec ainsi que la durabilit des r sultats et impacts Elle cherche tirer des enseignements g n ralisables d autres interventions Pour que les impacts aient eu le temps de se mat rialiser l valuation ex post doit tre conduite deux trois ans apres la mise en oeuvre En vue d analyser les impacts les valuations ex post sont susceptibles d impliquer des enqu tes de terrai
120. uation sommative Voir Evaluation r capitulative Evaluation th matique 25 Examen Voir Evaluation Externalit 88 Extrant Voir R alisation F Facteur concurrent 83 Facteur contextuel Voir Facteur concurrent Facteur exog ne Voir Facteur concurrent Feed back Voir R troaction Fiabilit 49 Finalit Voir Objectif Finalit instrumentale 21 Finalit normative 21 Financeur 37 Focalisation Voir Evaluation approfondie Forces faiblesses opportunit s menaces 105 G Gagnants et perdants Voir Public concern G n ralisabilit Voir Validit externe Gestionnaire 38 Grille d observation Voir Descripteur Groupe de comparaison 111 Groupe de contr le Voir Groupe t moin Groupe de pilotage 42 Groupe t moin 111 Harmonisation Voir Comparabilit Impact 60 Impact de premier ordre Voir Effet primaire Impact global Voir Impact Impact interm diaire Voir Impact Impact sp cifique Voir Impact Impartialit 49 Impl mentation Voir Mise en oeuvre Imputabilit Voir Rendre des comptes Indicateur 69 Indicateur cl 76 Indicateur de contexte 75 Indicateur de programme 75 Indicateur g n rique 76 Indicateur standard Voir Comparabilit In galit Voir Disparit Instance d valuation 43 Int gration 99 Int gration strat gique Voir Int gration Intervention 35 Intrant Voir Ressource Maitre d oeuvre Voir Gestionnaire Maitre d ouvrage Voir Financeur Mandant Voir Commanditaire Mandat 45 Ma
121. ur l utilit de l exercice et sa valeur ajout e par rapport aux exercices voisins que sont le suivi et le contr le Pour une pr sentation compl te de ces th mes on peut se reporter au Volume 1 de la Collection en particulier son introduction et sa premi re partie consacr e aux enjeux de l valuation dans le cadre de la politique europ enne de coh sion conomique et sociale Utilit de l evaluation Evaluation Evaluation Jugement sur la valeur d une intervention publique par r f rence des crit res et des normes explicites ex sa pertinence son efficience Le jugement porte principalement sur les besoins auxquels l intervention doit r pondre et sur les effets dont l intervention est la cause L valuation s appuie sur une information sp cialement collect e et interpr t e pour produire le jugement Par exemple valuation de l efficacit d un programme valuation co t avantages d un projet valuation du bien fond d une politique valuation de la qualit d un service public Certaines d finitions excluent la dimension de jugement et limitent l valuation la mesure des effets de l intervention D autres d finitions encore plus restrictives limitent l valuation l estimation ex post des effets Dans certains contextes l valuation porte non pas sur une intervention publique mais sur une organisation publique ex valuation d une universit d un h pi
122. us fr quent dans le cadre des projets d aide aux pays en d veloppement en raison de l loignement culturel et g ographique E Evaluation interne Internal evaluation B Evaluation d une intervention publique par une quipe d valuation appartenant l administration en charge du programme L valuation interne peut tre ind pendante si l quipe d valuation n a aucun lien hi rarchique avec les acteurs de la mise en uvre Dans le cas contraire il s agit d une auto valuation Terme s connexe s In house evaluation M Evaluation externe External evaluation Evaluation d une intervention publique par des personnes qui n appartiennent pas l administration responsable de sa mise en uvre Par exemple une quipe compos e de consultants priv s de chercheurs ou de personnes appartenant a des organisations publiques sans liens avec celles responsables de l intervention E Commanditaire Commissionner Personne ou organisation qui d cide ou qui co d cide le lancement de l valuation Glossaire de 300 concepts et termes techniques Le commanditaire a avantage rendre sa d cision visible en tablissant un mandat Le commanditaire peut d cider de piloter lui m me le travail de l quipe d valuation ou au contraire de constituer un groupe de pilotage ou une instance d valuation a cet effet Terme s connexe s Mandant M Equipe d valuation Evaluation team W Les personne
123. ux qui ont contribu soit directement soit indirectement la production de ce Volume et en particulier les experts dont les noms suivent Dr Ahonen University of Tampere Finlande X Ballart Universitad Autonoma de Barcelona Espagne G Becher Prognos A G Suisse M L Bemelmans Videc University of Nijmegen Pays Bas M Meneguzzo Universita Bocconi Italie Ch Pollitt Brunel University Grande Bretagne Thanos Skouras Athens University of Economics and Business Gr ce Markus Spinatsch Suisse E Vedung Uppsala University Su de Commission europ enne valuer les programmes socio conomiques Glossaire de 300 concepts et termes techniques Luxembourg Office des publications officielles des Communaut s europ ennes 1999 138 p 14 8x 21 cm ISBN 92 828 6627 0 Venta Salg Verkauf MwAnotis Sales Vente e Vendita Verkoop Venda Myynti F rs ljning BELGIQUE BELQI STERREICH HRVATSKA ISRAEL Jean Manz sche Veriags und Mediairade Lid sehr Ran 202 Koningslaan 202 Universiu isbucnhandlung GmbH fava hau Hatza 1 ROY Teen 8 1190 Kohlmarkt 16 41 Mishmar Hayarden Street T l 32 2 538 43 08 A we 19411 PO Box 13056 ae cal Heure e un y 1 972 Sac Ar om rl es E Mail bestellen O manz co at MAGYARORSZ G Fax 972 3 648 60 39 URL http www manz avindex him Euro Info Service E mail royi Q netvision net l La librairie europ enne UAL http www royi
124. ventions communautaires tout en demeurant volon tairement accessibles au plus grand nombre L un des r sultats les plus tangibles du programme MEANS est la publica tion de cette collection de six ouvrages r dig s par un groupe d experts ind pendants qui traitent des grands aspects de l valuation des pro grammes socio conomiques dont un bref apercu est donn au d but de ce volume Cette collection capitalise des exp riences des changes et des innovations m thodologiques dans le contexte des Fonds Structurels Elle permettra aux responsables de l valuation de d velopper leurs pratiques de mani re autonome et aux commanditaires de mieux ma triser cette d marche T moin direct lors des grandes rencontres europ ennes entre sp cialistes et utilisateurs de l valuation Bruxelles 1995 Berlin 1996 S ville 1998 de l engouement que suscitent ces nouvelles techniques il m appartient d in sister sur le fait que le d veloppement de l valuation doit aller de pair avec la recherche d une v ritable insertion de ses r sultats dans les processus d cisionnels afin de savoir si les politiques men es sont quitables effi caces et adapt es aux besoins En r pondant ces exigences l valuation appara t comme un moyen pri vil gi offrant tant aux autorit s nationales que communautaires les garan ties n cessaires pour que les fonds communautaires soient utilis s au mieux des int r ts des citoyens de l Union L
125. xe s Effet pervers Retomb e Perverse effect Side effect Criteres d valuation Crit re Criterion Caract re propri t ou cons quence de l intervention publique sur la base duquel sera formul un jugement Par exemple un programme d aide l embauche peut tre jug en fonction du crit re co t par emploi cr ou pourcentage de l aide b n ficiant aux ch meurs de longue dur e dans ce dernier cas on suppose que l intervention est d autant meilleure que le pourcentage est plus lev Un crit re d valuation doit tre explicite c est dire qu il doit faire clairement appara tre ce qui fait que l intervention sera jug e meilleure ou moins bonne Des crit res fr quemment employ s en valuation sont la performance et l efficacit mais aussi l quit ou la durabilit On voit ainsi que les crit res d valuation peuvent faire r f rence des valeurs sociales diff rentes Pour tre utilis dans une valuation un crit re doit tre accompagn d une norme niveau de r ussite partir duquel l intervention sera jug e bonne au regard de ce crit re Une intervention est g n ralement jug e sur plusieurs crit res Terme s connexe s Valeur sociale Social value Norme Norm Niveau que l intervention doit atteindre pour tre jug e r ussie selon un crit re donn Par exemple le co t par emploi cr a t satisfaisant au regard d

Download Pdf Manuals

Related Search

Related Contents

  Manuale di Istruzioni testo 549/550  MESA MBF2620ECSD Instructions / Assembly : Free Download, Borrow, and Streaming : Internet Archive  AGLOMERADO ASFÁLTICO DE APLICACIÓN EN FRÍO PARA  ALGORITHMES DE CLASSIFICATION  Man & Machine B Cool  Norma UNE 81900EX. Sistema de Gestión de Prevención de  Black Box 4-Port User's Manual  有害紫外線モニタリングネットワーク活動報告  PASCO Specialty & Mfg. CI-6504A User's Manual  

Copyright © All rights reserved. Failed to retrieve file