Les études d`évaluation à l`Institut national de prévention et d
Contents
1. tudier les premiers effets d une action Enfin l issue de l intervention l valuation peut s int resser plus sp cifiquement l analyse des r sultats ou plus large ment de l impact de l action quels sont les r sultats Comment sont ils construits partir de quels types d indi FIGURE 1 Conception de l valuation et liens avec l action cateurs cliniques biologiques de qualit de vie cono miques sociaux etc 51 Correspondent ils aux r sultats attendus Y a t il un impact collat ral ou non pr vu valuer c est galement se r f rer des disciplines vari es et des m thodologies diverses Dans le champ de la sant publique l valuation fait appel notamment l pid miologie aux sciences humaines ou aux sciences conomiques Si l valuation dite normative se fonde sur des normes pr d finies qu il s agisse d objectif de sant publique de grilles d analyse ou de r f rentiels la recherche valuative se construit partir d une d marche scientifique qui vise mieux comprendre les liens de causalit entre diff rentes composantes d une interven tion 2 Au del d approches purement qualitatives ou purement quantitatives il existe aussi des m thodes dites mixtes qui permettent un aller retour et un enrichisse ment mutuel entre ces deux types d approche 6 SP CIFICIT S DE L VALUATION DANS LE CHAMP DE LA PROMOTION DE LA SANT La promotion de la sant vis2. APPROCHE RELATIONNELLE RECHERCHE VALUATIVE LOGIQUE NORMATIVE Ressources Moyens financiers Nonpr cis s Acteurs Internes Externes CS e E Non pr cis s Actions valuatives Objet d valuation Oooo O Of valuation des effets valuation de l impact Indicateurs donn es a a Qualitatifs repr sentation comportements tat sant et maladie Quantitatifs Comportements indicateurs de consommation alimentaire et indicateurs repr sentation comportements d activit s physiques tat sant et maladie tat de sant Indice de masse corporelle poids taille Recueil des donn es Instruments utilis s dans une tude valuative pr c dente Auto questionnaires struments Mesure du poids et de la taille Constitution des groupes Comparaison de deux groupes expos t moin et mesures avant apr s Plan d analyse Groupes constitu s sur la base du volontariat coles et enseignants Jugement C EFFETS TABLEAU V Les tudes d valuation l Institut national de pr vention et d ducation pour la sant Analyse de l valuation de la campagne de pr vention des accidents par d fenestration et des intoxications chez les jeunes enfants 2005 2007 A SITUATION INITIALE Acteurs Probl mes que l valuation cherche r soudre Objectif fondamental formatif B DISPOSITIF VALUATIF Ressources Moyens financiers Acteurs Externes Internes Actions valuatives
3. com poser en diff rentes parties Au sein d un environnement physique organisationnel et symbolique l intervention comporte une situation initiale qui implique des acteurs un des probl me s r soudre et un des objectif s FIGURE 2 Typologie des valuations Composantes de l intervention valuative A Situation initiale Acteurs Probl mes 1 Srat gique 2 Formatif 3 Sommatif 4 Fondamental 4 Objectifs B Dispositif valuatif Ressources Moyens financiers valuation externe Act z eue ue 2 valuation interne Actions valuatives 1 Approche logique B un dispositif qui mobilise des ressources moyens acteurs etc qui s appuie sur un processus d actions et produit des biens et des services C des effets qui r sultent de la mise en uvre de cette intervention Nous pouvons maintenant appliquer ce sch ma l inter vention valuative en partant de la d finition de l valua tion propos e par Contrandriopoulos et al 21 valuer consiste fondamentalement produire un jugement de valeur sur une intervention ou sur une de ses composantes en mettant un uvre un dispositif de fa on ce que les diff rents acteurs concern s soient en mesure de prendre position sur l intervention et de construire un jugement qui puisse se traduire en actions L valuation peut donc tre d compos e en trois parties une situation initiale avec des
4. index htm
5. mes que l valuation cherche r soudre Objectifs Srat gique Formatif Sommatif Fondamental B DISPOSITIF VALUATIF 1 APPROCHE LOGIQUE 2 APPROCHE NORMATIVE 3 APPROCHE RELATIONNELLE RECHERCHE VALUATIVE Ressources Moyens financiers Acteurs Externes Internes Actions valuatives Objet d valuation 1 1 Mod lisation de l intervention 2 1 Appr ciation de la structure 3 1 valuation du processus 1 2 Analyse strat gique 2 2 Appr ciation du processus 3 2 valuation de l implantation 1 3 Analyse logique 2 3 Appr ciation des r sultats 3 3 valuation des effets valuation de l impact valuation des r sultats ou efficacit 3 4 valuation conomique valuation de la producti vit valuation du rendement Indicateurs donn es Qualitatifs repr sentation comportements tat sant et maladie Quantitatifs repr sentation comportements tat sant et maladie Recueil des donn es Instruments Constitution des groupes Plan d analyse Jugement C EFFETS TABLEAU IV valuation d un programme d partemental de promotion de la sant pr vention du surpoids et de l ob sit chez les enfants scolaris s de 10 13 dans la Vienne A SITUATION INITIALE Acteurs Non pr cis s OTEUEACUONAEITELQUMET Non pr cis s r soudre Objectif fondamental Conna tre l impact du programme et sp cifier son implantation B DISPOSITIF VALUATIF 1 APPROCHE 2 APPROCHE 3
6. rique Cormand 93203 Saint Denis cedex France Correction Carmen Fernandez R alisation Philippe Ferrero Septembre 2009 http www inpes sante fr valuations en pr vention et en ducation pour la sant 2007 Les tudes d valuation l Institut national de pr vention et d ducation pour la sant ST PHANIE PIN stephanie pin inpes sante fr C CILE FOURNIER B ATRICE LAMBOY Charg es d expertise en promotion de la sant Institut national de pr vention et d ducation pour la sant INPES France PHILIPPE GUILBERT conom tre directeur adjoint des Affaires scientifiques Institut national de pr vention et d ducation pour la sant INPES France L valuation quels qu en soient la forme et les objectifs est devenue progressivement un outil incontournable dans le champ de la sant publique Aujourd hui dans le domaine de la pr vention on entend encore trop souvent poser la question La pr vention est elle efficace Sachant qu il n existe pas une mais plusieurs fa ons de faire de la pr vention la question se poser se doit d tre beaucoup plus complexe Quelles sont les actions de pr vention les plus adapt es aux besoins les plus acceptables les plus efficaces et les plus efficientes l Institut national de pr vention et d ducation pour la sant INPES comme ailleurs une majorit des actions de pr vention et de promotion de la sant b n ficie d u
7. 8 r alis es partir d enqu tes par quotas 61 5 et utilisant des donn es quantitatives 65 4 Une minorit d tudes a t consacr e des valuations externes seulement trois soit 11 5 De m me tr s peu d tudes d valuation se sont fond es sur une enqu te al atoire M thode R union Donn es Entretien individuel Enqu te Eri Ce Co Co Ce un Ea E mE 1 23 al atoire des entretiens individuels et une approche qualitative mixte r union de groupe et entretien indivi duel seulement une tude de chaque Aucune tude d valuation ne s est appuy e sur une double approche enqu te et r union de groupe ou entretien individuel m thode quantitative et qualitative Cette surrepr sen tation des valuations internes post intervention fond es sur des enqu tes par quotas et des analyses quantitatives appara t particuli rement au sein du programme nutri tion qui a r alis le plus d tudes en 2006 parmi ces huit tudes cinq valuations internes en post test six par des enqu tes par quotas et avec des donn es quantita tives Le programme tabac se distingue par le nombre d valuations externes r alis es deux parmi les trois tudes d valuation r alis es au sein de ce programme repr sentant deux des trois valuations externes r alis es au total Le programme maladies infectieuses quant lui pr sente une plus grande diversit dans
8. ses tudes d valuation et un plus grand panachage d approches Les tudes d valuation l Institut national de pr vention et d ducation pour la sant D CRIRE ET CLASSER LES VALUATIONS UN MOD LE INT GRATEUR DE L VALUATION Afin de d crire et de cerner au mieux les pratiques valua tives r alis es au sein de l INPES il peut tre utile de s appuyer sur une repr sentation globale de l valuation Pour ce faire nous proposons une adaptation du cadre conceptuel propos par Champagne et ses collabora teurs 2 17 pour produire un cadre int grateur tentant d appr hender et de refl ter la diversit des approches m thodologiques en cours dans le champ de l valuation Ce mod le int grateur qui se veut au service de l ana lyse de la pratique valuative vise ainsi pr senter diff rentes formes d valuation et proposer une typologie construite selon divers crit res discriminants Partant du constat que tout dispositif d valuation en lui m me est une intervention qui peut tre l objet d un questionnement valuatif 2 nous nous appuierons en premier lieu sur une repr sentation des compo santes d une intervention inspir e par Champagne 17 pour laborer notre mod le Nous partirons ainsi d une conception de l valuation en tant qu action pouvant tre analys e et mod lis e comme peut l tre tout dispositif d intervention Sch matiquement toute intervention peut se d
9. tre class es en fonction de la situation initiale dans laquelle s inscrit l intervention valuative acteurs probl mes et objectifs Ce sont les diff rents objectifs d valuation qui sont principalement mentionn s dans la litt rature Contrandriopoulos et al et Champagne 2 171 distin guent les finalit s officielles de l valuation des finalit s officieuses Parmi les objectifs officiels ils en isolent quatre 1 objectif strat gique l valuation vise aider la plani fication et l laboration d une intervention 2 objectif formatif l valuation fournit de l information pour modifier am liorer et mieux g rer l intervention en cours de r alisation 3 objectif sommatif l valuation permet la prise de d cision concernant l intervention poursuite r duction extension agr ment 4 objectif fondamental l valuation contribue lavan cement des connaissances LE DISPOSITIF D VALUATION LES TYPES D APPROCHES Les diff rentes formes d valuation peuvent ensuite tre cat goris es en fonction du type de dispositif mis en place pour r aliser l valuation Ce dispositif valuatif peut tre fort diff rent que ce soit au niveau de chacune de ses composantes comme au niveau de la d marche valua tive dans son ensemble Au niveau de la d marche valua tive d ensemble il est possible de distinguer plusieurs approches m thodologiques donnant lieu la production d un jugement valu
10. INPES avec l aide des instituts d tudes LH2 Ipsos BVA et Atoo tableau 1 Parmi elles vingt six soit 76 ont relev d tudes d valuation et huit d tudes d obser vation tudes exploratoires et Barom tres sant Un budget total de 1918276 euros a t consacr aux tudes avec une majorit pour les tudes d valuation 72 du budget d tudes Cette pr dominance des tudes d valuation se retrouve au sein de chaque programme de l INPES except pour les programmes sant mentale maladies chroniques et toxicomanie o les tudes r alis es relevaient de l observation explo ratoire Plusieurs programmes ont consacr leurs tudes uniquement l valuation d actions men es ou pilot es par l INPES nutrition alcool sida personnes g es La quasi totalit des tudes a t associ e l un des onze programmes th matiques ou populationnels de l INPES une seule correspondant une tude multi th matique qui portait sur la revue de l INPES La Sant de l homme Diff rentes formes d tudes d valuation ont t accom plies en 2006 tableau lI Elles se sont tout d abord distingu es en fonction du type d valuation r alis II TABLEAU I valuations en pr vention et en ducation pour la sant 2007 Effectif et budget des tudes d valuation r alis es en 2006 l INPES parmi l ensemble des tudes effectifs bruts et pourcentages tudes d valuat
11. NPES pilote et les principaux responsables des EGA ICAA Apprendre sur l organisation de tels v nements r soudre Objectif formatif fondamental B DISPOSITIF VALUATIF Ressources Moyens financiers Acteurs Externes Internes Actions valuatives Objet d valuation Indicateurs donn es Qualitatifs repr sentation comportements tat sant et maladie Quantitatifs repr sentation comportements tat sant et maladie Recueil des donn es Instruments Constitution des groupes Plan d analyse Jugement C EFFETS Fournir de l information sur le processus d organisation et l impact de l intervention pour am liorer ult rieurement ce m me type d action 1 APPROCHE 2 APPROCHE NORMATIVE LOGIQUE la norme provient des publics cibl s par l intervention 3 APPROCHE RELATIONNELLE RE CHERCHE EVALUATIVE INPES pilote une instance d valuation regroupant les responsables des EGA un expert un prestataire Alcimed Appr ciation du processus et des r sultats tude de la couverture de la qualit et de l atteinte des objectifs Analyse de l opinion de l exp rience v cue et des actions cons cutives Nombre de participants aux EGA et visiteurs du site Internet Analyse quantitative de donn es qualitatives 1 opinion satisfaction face aux EGA 2 connaissances des EGA de la probl matique alcool Questionnaire et grille de codage construits pour l enqu te analyse do
12. Objet d valuation Indicateurs donn es Qualitatifs repr sentation comportements tat sant et maladie Quantitatifs repr sentation comportements tat sant et maladie Recueil des donn es Instruments Constitution des groupes Plan d analyse Jugement C EFFETS TABLEAU VI Non pr cis Objectiver la compr hension et l agr ment de la campagne par les publics cibl s parents et enfants de milieux d favoris s le niveau de connaissance des publics cibl s en mati re de pr vention des accidents de la vie courante 1 APPROCHE 2 APPROCHE NORMATIVE 3 APPROCHE RELATIONNELLE RECHERCHE EVALUATIVE LOGIQUE LA NORME PROVIENT DES PUBLICS CIBL S Non pr cis s Non pr cis s INPES pilote et un prestataire BVA Appr ciation du processus tude de la qualit valuation de l impact Analyse quantitative de donn es qualitatives Analyse quantitative de donn es qualitatives 1 opinions sur le contenu et la qualit des affiches connaissances des dangers et des gestes de 2 re connaissance des affiches pr vention questionnaire et grille de codage construits pour l enqu te groupes raisonn s parents et enfants cibl s par la campagne 1 groupe expos Identification des repr sentations du public cibl par l intervention Recommandation pour la prochaine campagne dans le domaine valuation des tats g n raux de l alcool EGA A SITUATION INITIALE Acteurs I
13. ST PHANIE PIN Charg e d expertise en promotion de la sant Institut national de pr vention et d ducation pour la sant INPES France C CILE FOURNIER Charg e d expertise en promotion de la sant Institut national de pr vention et d ducation pour la sant INPES France B ATRICE LAMBOY Charg e d expertise en promotion de la sant Institut national de pr vention et d ducation pour la sant INPES France PHILIPPE GUILBERT conom tre directeur adjoint des Affaires scientifiques Institut national de pr vention et d ducation pour la sant INPES France Les tudes d valuation l Institut national de pr vention et d ducation pour la sant e wwwinpes sante fr L INPES autorise l utilisation et la reproduction des donn es de cet ouvrage sous r serve de la mention des sources jonal stitut nationa a r vention d ducation pour Pour nous citer Pin S Fournier C Lamboy B Guilbert P Les tudes d valuation ja sant l Institut national de pr vention et d ducation pour la sant Saint Denis INPES coll valuations en pr vention et en ducation pour la sant 2007 8 p Z EVALUATIONS EN PREVENTION ET EN EDUCATION POUR LA SANTE 2007 Z Z Z Institut national de pr vention et d ducation pour la sant Direction de la collection Thanh Le Luong 42 boulevard de la Lib ration Direction ditoriale Philippe Guilbert dition Marie Fr d
14. acit du programme d intervention am liorer le programme d inter vention modifier la planification du programme d interven tion d montrer sa responsabilit et justifier l utilisation des financements 231 En conclusion chacune des composantes d une inter vention valuative a repr sent autant de crit res partir desquels il a t possible d laborer une typologie des diff rentes formes d valuation Cette typologie qui met en exergue la diversit des d marches valuatives vise favoriser l identification et la sp cification des valuations r alis es Elle tente aussi de mettre en avant la compl mentarit de chacune des approches partir de ce cadre conceptuel int grateur une grille d analyse a ensuite t labor e tableau III Cette grille qui est susceptible d tre appliqu e toute interven tion valuative repr sente un support de r flexion pour la pratique de l valuation Pour illustrer cette typologie et tester cette grille d analyse cette derni re a t appli qu e trois valuations pr sent es dans ce rapport tableaux IV VI Ces valuations qui ont t retenues pour leur diversit de m thodes et d objets d investigation nous ont permis d appliquer la grille d analyse dans diff rents contextes d valuation 10 l valuations en pr vention et en ducation pour la sant 2007 TABLEAU IlI Analyse d une valuation A SITUATION INITIALE Acteurs Probl
15. acteurs voulant r soudre un des probl me s et atteindre un des objectif s par une valuation B un dispositif valuatif qui porte sur une intervention et qui mobilise des ressources moyens acteurs qui s appuie sur un processus d actions valuatives et produit un jugement C des effets qui impliquent des prises de position sur l intervention valu e et des actions cons cutives Chacune de ces composantes de l intervention valua tive peut repr senter un crit re partir duquel il est possible de diff rencier les types d valuation permettant ainsi l laboration d une typologie des valuations fond e sur plusieurs axes d analyse figure 21 Types d valuations 3 Approche relationnelle Zaporeen normat e recherche valuative Objet d valuation Indicateurs donn es Recueil des donn es Jugement 11 Mod lisation de l intervention 1 2 Analyse strat gique 2 valuation quantitative 1 3 Analyse logique de l intervention 21 Appr ciation de la structure 2 2 Appr ciation du processus 2 3 Appr ciation des r sultats 31 valuation du processus 3 2 valuation de l implantation 3 3 valuation des effets valuation de l impact valuation des r sultats ou efficacit 3 4 valuation conomique valuation de la productivit valuation du rendement l sl LA SITUATION INITIALE DE L VALUATION Les valuations peuvent tout d abord se distinguer et
16. atif de nature diff rente Trois grandes approches m thodologiques peuvent tre diff renci es l approche logique ou analyse logique l approche normative ou valuation normative l approche relation nelle ou recherche valuative L approche logique vise identifier les diff rentes composantes de l intervention et pr ciser l ensemble des postulats sur la mani re dont un programme est reli aux b n fices qu il est suppos produire et la strat gie et les tactiques qu il a adopt es pour atteindre ses buts et ses objec tifs 18 in 1 Dans ce cadre l valuation correspond une analyse critique des diff rentes composantes de l intervention et une mise en vidence de leurs interac tions L approche logique doit permettre de produire un mod le th orique et op rationnel de l intervention Dans l approche normative l valuation se fonde sur une comparaison entre des observations empiriques et des normes tablies La mise en perspective des compo santes de l intervention avec diff rents crit res point de vue individuel norme d experts r f rentiel scienti fique etc permet de produire un jugement sur l interven tion Ainsi l approche normative propose une appr cia tion d une ou de plusieurs composantes de l intervention L approche relationnelle vise analyser par des m thodes scientifiques valides et reconnues les relations qui existent entre les diff rentes composantes d une inte
17. coll S minaires 2002 35 50 P ladeau N Mercier C Approches qualitative et quantitative en valuation de programmes Sociologie et Soci t 1993 25 2 112 24 Blum Boisgard C Chabaud F Gaillot Mangin J Matillon Y valuation en sant publique Actualit et dossier en sant publique 1996 n 17 18 22 http www hcsp fr hcspi explore cgi ad173640 pdf 9 10 m 12 13 14 15 16 17 18 valuations en pr vention et en ducation pour la sant 2007 Monnier valuation de l action des pouvoirs publics Paris Economica 1992 237 p Demarteau M l valuation toute une histoire La Sant de l homme 2007 n 390 26 30 Deccache A valuer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion et ducation 1997 4 10 4 Asbl Sant Communaut Participation L valuation un outil au service du processus Bruxelles ASBL Coll sant communautaire et promotion de la sant 1998 54 p Vandoorne C Jabot F Fond Harmant L dir Dossier ducation pour la sant les d fis de l valuation La Sant de l homme 2007 n 390 11 55 Demarteau M valuer une question d thique La Sant de l homme 2000 n 345 36 8 Vandoorne C valuation des r ponses des questions qui d rangent La Sant de l homme 2007 n 390 24 5 Vando
18. cumentaire rapports presse comptes rendus recommandations site Internet enqu te par questionnaires auto administr s enqu te t l phonique entretiens semi directifs Groupes raisonn s populations impliqu es dans les EGA population g n rale Recommandations pour l organisation ult rieure d actions du m me type 12 I R f rences bibliographiques 1 2 3 4 5 6 7 Nock F Le monde complexe de l valuation Petit Guide de l valuation en promotion de la sant Paris Mutualit fran aise 2000 6 18 Contandriopoulos A P Champagne F Denis J L Avargues M C l valuation dans le domaine de la sant concepts et m thodes Revue d pid miologie et de sant publique 2000 48 6 517 39 Deccache A Pour mieux choisir son valuation D finition et r les des valuations en ducation pour la sant Li ge Belgique APES coll M thodes au service de l ducation pour la sant 1989 2 Agence nationale pour le d veloppement de valuation m dicale service formation valuation d une action de sant publique recommandations Paris Andem 1995 7 Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In CFES CRAES ENSP Universit Victor Segalen de Bordeaux dir valuer l ducation pour la sant concepts et m thodes Vanves INPES
19. e la participation de chacun individuellement et collectivement la d finition et au Avant l action Analyse pr liminaire valuation a priori Situation Besoins Choix initiale attentes des th mes Faisabilit modalit s d action Conception de l action ou du programme de sant publique Objectifs Moyens Ressources Intervenants Conception du projet d valuation de l action Pendant l action valuation en cours 1 valuation en cours 2 valuation en cours 3 Apr s l action valuation finale Conditions de d roulement de l action R sultats interm diaires Coh rence des diff rents l ments de l action R sultats attendus Conditions de d roulement de l action R sultats terminaux Effets impact Efficacit Efficience indicateurs de r sultat Les tudes d valuation l Institut national de pr vention et d ducation pour la sant maintien de sa sant Certaines formes d valuation dites participatives int grent cette notion dans leur m tho dologie et permettent aux diff rents acteurs de prendre part l laboration m me du projet valuatif son volu tion et sa traduction de mani re n goci e Ces formes d valuation permettent galement un ajustement tout au long du d roulement de l intervention ce qui facilite son appropriation par les personnes concern es et favorise sa p rennit De tels mod les res
20. e situation donn e afin que d autres acteurs puissent se les appro prier et les adapter selon leurs besoins CONTENU La premi re partie de ce rapport traite d valuations de campagnes m diatiques r alis es par l INPES Les objets de ces valuations tournent souvent autour de questions de reconnaissance spontan e ou assist e des campagnes de connaissance des slogans ou des id es forces des messages dont la validit est limit e dans le temps Nous pr sentons ici deux exemples d valuations de campagnes men es par l INPES qui dans la tr s grande majorit des cas reposent sur des enqu tes quantitatives Les tudes d valuation l Institut national de pr vention et d ducation pour la sant ad hoc ou omnibus aupr s d un millier personnes g es de 18 ans et plus La deuxi me partie pr sente des valuations d outils et de supports de pr vention et de promotion de la sant Ces valuations s int ressent notamment la r ception des supports et outils leur usage leur ergonomie leur capacit contribuer l atteinte des objectifs pour lesquels les utilisateurs les mobilisent et aux pistes d am lioration pr voir Ces valuations utilisent aussi bien les techniques d enqu tes quantitatives que qualitatives dans lesquelles la repr sentativit des personnes interro g es n est pas toujours un crit re recherch La troisi me partie est consacr e des rec
21. e subdivis e en deux types Nock 19 s inspi rant de la d finition de Green 20 distingue l valua tion de l impact modifications constat es aupr s du public changements de comportements par exemple et l va luation des r sultats am liorations constat es plus long terme sur la sant publique diminution de l incidence d une maladie par exemple Cette derni re est aussi appel e valuation de l efficacit qui traduit la capacit de l intervention modifier les tats de sant 17 L valuation de l implantation porte sur les modalit s de production des effets 17 et analyse les liens entre la mise en uvre de l intervention objectifs acteurs ressources processus d actions biens et services et les effets qui en r sul Les tudes d valuation l Institut national de pr vention et d ducation pour la sant tent Elle vise une meilleure compr hension des facteurs de production et d inhibition des effets L valuation des processus analyse sp cifiquement les modalit s de mises en uvre 21 autrement dit les liens entre les services produits et les types d effets observ s L valuation cono mique s int resse aux ressources mises en uvre l va luation de la productivit analyse le lien entre les ressources et les services produits biens et activit s l valuation du rendement tudie le rapport entre les ressources et les effets observ s Au del d
22. emparent rev tir des formes surprenantes simpli ficatrices ou manipulatrices 15 L valuateur devrait accompagner aussi les conclusions de son analyse tout en gardant l esprit la fois les objectifs de son travail et les objectifs implicites des diff rents acteurs en pr sence Ces enjeux laissent entrevoir les diff rentes contraintes li es la r alit du terrain d enqu te et qui vont peser sur le travail de l valuateur Au del de sa vocation op rationnelle ou scientifique l valuation a galement une utilit sociale qu il ne faut pas n gliger Pr sente toutes les tapes d une interven tion de sant publique de sa conception l analyse de ses effets positifs ou n gatifs l valuation engage les profes sionnels de sant les communaut s ou populations concern es les patients les chercheurs les d cideurs Elle permet de rendre compte d un programme de donner un sens et une visibilit une action qui sans cela resterait m connue La valorisation des r sultats de l va luation qu ils soient positifs ou n gatifs est en ce sens une phase extr mement importante souvent n glig e en France o l on recense peu de publications sur des valuations d interventions de sant publique 16 et o une mise en commun plus syst matique des valuations men es serait fort utile LES TUDES D VALUATION R ALIS ES L INPES En 2006 trente quatre tudes ont t r alis es l
23. es objets d investigation des diff rences peuvent aussi tre observ es au niveau des autres compo santes de l intervention valuative Les acteurs de l va luation peuvent tre ext rieurs l intervention il est alors question d valuation externe ou bien participer l inter vention il s agit alors d une valuation interne 17 191 Les actions valuatives peuvent s appuyer sur plusieurs types d indicateurs On distingue g n ralement les donn es chiffr es qui permettent le recours aux analyses statis tiques valuation quantitative des donn es nominales qui donnent lieu des analyses de contenu valuation qualitative Les indicateurs peuvent aussi correspondre des repr sentations connaissances attitudes opinions croyances des comportements ou un tat de sant ou de maladie 22 Comme le soulignent Breart et Bouyer les indicateurs retenus doivent non seulement permettre d va luer les effets positifs mais aussi les effets n gatifs 22 La m thode de recueil de donn es sur laquelle se fonde l va luation peut aussi tre fort variable au niveau des outils et instruments d analyse questionnaires entretien discus sions de groupe observations 19 comme au niveau du plan d analyse un groupe expos et une mesure unique un groupe expos et deux mesures comparaison avant apr s deux groupes un expos compar un groupe t moin et au niveau de la constitution du des g
24. estie dans la formulation des objectifs des actions elles m mes beaucoup de pr cision dans la d finition des objectifs de l valuation une conscience des limites des m thodes utilis es et une certaine prudence dans les conclusions qui sont extraites des tudes DE QUELQUES ENJEUX DE L VALUATION Processus de production d un jugement de valeur pour conduire une action par des d cisions l valuation est une question de valeurs avant d tre une question de connais sances 5 Dans le champ de la promotion de la sant qui touche la vie et l intimit des personnes comme dans d autres domaines les questions thiques enserrent l valuateur d s la conception de l action et de l valua tion 13 14 Comment prioriser les valuations lorsque les budgets sont limit s Que faire si une valuation initiale r v le des besoins auxquels il sera impossible de r pondre Quelle m thodologie choisir pour que l valuation respecte les principes de libert et d autonomie des personnes Qui doit valuer le promoteur de l action valuation quali fi e d interne ou du programme lui m me ou bien une personne ext rieure valuation externe Des questions se posent galement au sujet de l utilisation des r sultats qui peut dans certains cas soutenir des prises de d cision g n ratrices de progr s importants ou peut parfois au contraire selon les lieux et les publics qui s en
25. herches valuatives r alis es par l INPES ou financ es dans le cadre de l appel projet de recherche Institut de recherche en sant publique Iresp INPES 2006 2007 Parmi les sujets qui rendent cette partie sp cifique figurent des recherches actions Les m thodes employ es peuvent tre quantitatives enqu te transversale al atoire cohorte panel essai cas t moin etc ou qualitatives l inverse de celles d crites dans les deux premi res parties ces valuations s inscrivent dans des protocoles longs avec des remises de r sultats tal es dans le temps La quatri me et derni re partie offre un exemple de synth se documentaire il s agit d une s lection d articles scientifiques sur l valuation d actions de pr vention concernant un th me donn le tabac sous la forme d une part d un tableau de synth se des principales donn es issues de la litt rature th me et population concern s m thode r sultats et conclusion et d autre part des r sum s d auteurs traduits Avant d entrer dans le vif du sujet nous abordons bri vement la question de l valuation d un point de vue th orique en soulevant ses principaux enjeux Puis nous pr sentons un panorama des sujets et m thodes des valuations r alis es l INPES au cours de l ann e 2006 m L VALUATION DU POINT DE VUE TH ORIQUE Les d finitions de l valuation concept la mode vocable magique par de toutes les vertu
26. ion Budget euros oss oo Programme Effectif Nutrition Maladies infectieuses Alcool Environnement Accidents de la vie courante Sant mentale Maladies chroniques Personnes g es Toxicomanie Multi th matique TABLEAU II Total des tudes Effectif Budget euros 333 046 Type m thode et donn es utilis s au sein des tudes d valuation r alis es en 2006 l INPES Type Programme Interne Interne Externe Enqu te Nutrition Maladies infectieuses Alcool Environnement Accidents de la vie courante Personnes g es Multi th matique pouvait s agir d tudes visant valuer une production ou un dispositif effectu par l INPES valuation interne ou effectu par un autre organisme valuation externe Les valuations pouvaient avoir lieu avant la mise en uvre de l action ou de l outil de pr vention valuation pr inter vention ou bien apr s valuation post intervention Les tudes d valuation se sont aussi appuy es sur diff rentes m thodes enqu te al atoire enqu te par quotas et chantillons raisonn s organisation de r unions de groupe ou focus groupe entretiens individuels Les donn es exploit es taient soit quantitatives soit qualita tives donnant ainsi lieu des analyses statistiques ou des analyses de contenu En 2006 on observe que la plupart des tudes d va luation renvoient des valuations internes post inter vention 53
27. ne valuation La plupart du temps l valuation consiste v rifier l atteinte des objectifs d une action r ception d un document compr hension d un message utilisation d un outil etc Ainsi une action ou certains des l ments qui la composent ne sera pas reconduite en l tat si elle n a pas atteint les objectifs qu elle s tait fix s au d part Sur les trente quatre tudes men es par l INPES en 2006 vingt six taient des valuations d action Mais d autres types d valuations sont galement men s comme le montre ce recueil qui dit pour la premi re fois sur son site Internet par l INPES pr sente un tour d horizon des principales valuations r alis es en 2007 o LE RAPPORT VALUATIONS 2007 OBJECTIFS Ce rapport met disposition des d cideurs des profes sionnels et des acteurs de sant publique une s lection d actions valu es ou d valuations d actions selon l angle avec lequel on les regarde r alis es ou financ es en 2007 par l INPES Les actions valu es pr sent es dans ce rapport concernent directement les programmes mis en uvre par l Institut dans le champ de la pr vention et de la promotion de la sant Leur diffu sion pr sente l int r t de faire partager des exemples tr s d taill s d valuations d actions de pr vention en ayant le souci de d crire leurs m thodes leur mise en uvre concr te leurs apports et leurs limites dans un
28. orne C Les acteurs et les enjeux au c ur de l valuation promotion de la sant valuation ducation Sant 2002 173 9 11 Sizaret A Fournier C Dossier documentaire valuation mode d emploi Saint Denis INPES 2005 96 p Champagne F M thodes d valuation Cours ASA 6178 In Dipl me universitaire Analyse et valuation des Interventions en Sant ANEIS 2008 Universit de Montr al 2008 Rossi P Freeman H Lipsey M Expressing and assessing program theory In Evaluation a systematic approach 6th ed Beverly Hills CA Sage Publications 1999 155 88 19 20 21 22 23 Nock F Petit Guide de l valuation en promotion de la sant Paris Mutualit fran aise 2000 89 p Green LW Lewis F M Measurement and evaluation in health education and health promotion Palo Alto CA Mayfield Publishing Company 1986 411 p Nock F Petit Guide de l valuation en promotion de la sant Paris Mutualit fran aise 2006 19 p Br art G Bouyer J M thodes pid miologiques en valuation Rev pidemiol Sant Publique 1991 39 Suppl 1 S5 14 MacDonald G Starr G Schooley M Yee S L Klimowski K Turner K Introduction to Program Evaluation for Comprehensive Tobacco Control Programs Atlanta GA Centers for Disease Control and Prevention 2001 139 p http www cdc gov tobacco tobacco_control_programs surveillance_evaluation evaluation_manual
29. r vention et en ducation pour la sant 2007 aspects d velopper des axes d intervention r viser une strat gie Pour construire ce jugement l valuation se fonde sur une comparaison entre l avant et l apr s entre lici et l ailleurs entre une intervention et l absence d inter vention ou encore entre un projet et un r f rentiel ou une norme pr tabli o UNE OU DES VALUATIONS Les voies de l valuation sont plurielles Ses objets le sont galement m me lorsque l on se borne la sant publique action d pistage intervention en milieu scolaire campagne m diatique formation aupr s de m decins etc outil d ducation pour la sant ou d du cation du patient programme de pr vention ou d du cation pour la sant politique de sant publique Les objets varient en nature et en ampleur en complexit et en dur e imposant l valuateur d en fixer les contours Que souhaite t il valuer Et pour quelles raisons L valuation renvoie aussi diff rents temps d ana lyse d une action d un programme ou d une politique figure 1 L analyse du contexte et de la faisabilit d une action est un premier type d valuation plus ou moins formalis selon les cas Pendant l action le processus peut tre lui m me objet d valuation et l on peut tre amen examiner les conditions de d roulement d une action l ad quation entre la mise en uvre et le projet initial jusqu
30. rents soient en mesure de prendre position sur l intervention et construire un jugement qui puisse se traduire en actions Les informations produites par une valuation peuvent r sulter de la comparaison entre des observations et des normes valuation normative ou s laborer partir d une d marche scientifique recherche valuative 21 valuer un projet en ducation pour la sant ce n est pas n cessairement ou seulement dire s il est efficace ou non D terminer l utilit a priori d un projet mesurer la compr hension d un message conna tre les effets d une action ou s interroger sur le d roulement d un plan tout cela est valua tion Mais chacune de ces valuations est diff rente des autres de par son contenu ses objectifs ses m thodes et les probl mes pratiques qu elle pose Toutes les valuations ont toutefois un point en commun elles aident fon der une d cision effectuer un choix Pour cela elles nous fournissent des informations dont nous tirerons des conclusions valuer c est collecter ou fournir des informations en vue de prendre une d cision C est aussi comparer les informations collect es avec des crit res des normes correspondant aux objectifs de l valuation Cela sous entend qu il existe une d cision prendre un objet valuer des objectifs d va luation des crit res des informations collecter Pr ciser ces cing l ments r pondre ces questions es
31. roupe s groupe raisonn groupe randomis au niveau du groupe groupe randomis au niveau individuel 221 Comme nous venons de le voir la nature des jugements produits d pend pour une grande part de l approche m thodologique utilis e et de la nature des composantes de l valuation Ces jugements autrement dit les r sultats de l valuation peuvent ensuite tre diffus s sous diff rents formats rapport d valuation document synth tique affichages aupr s des publics concern s commu nication aupr s des m dias 21 Il est important que le format et le contenu de la diffusion des r sultats d valua tion soient adapt s aux publics cibl s 23 Les r sultats peuvent aussi donner lieu la r daction de recommanda tions concernant l action valu e et un bilan propos de la d marche valuative r alis e 23 Mais comme le rappelle le point C de notre mod lisation de l intervention valuative figure 2 l valuation ne repr sente pas en soi une finalit mais plut t un moyen utilis pour produire un certain nombre d effets en lien avec des probl mes et objectifs initiaux Il est donc important de s interroger sur les cons quences et les retomb es pratiques produites par la mise en uvre de l valuation et de voir comment le jugement produit par l valuation se traduit en actions Le CDC identifie cinq principales formes d actions qui peuvent d couler d une valuation prouver l effic
32. rvention 17 Cette approche valuative qui porte sur l tude des liens de causalit entre les composantes de l intervention se fonde sur une d marche empirique scientifique valuations en pr vention et en ducation pour la sant 2007 LE DISPOSITIF D VALUATION LES TYPES DE COMPOSANTES Nous venons de voir que dans son ensemble le dispositif valuatif peut faire appel plusieurs approches m thodo logiques Mais ce dispositif peut aussi pr senter des diff rences au niveau de chacune de ses composantes Ainsi les ressources moyens financiers acteurs les actions valuatives objet d valuation indicateurs recueil de donn es et les jugements produits peuvent tres fort variables et donner lieu plusieurs types d valuation Au sein de chaque approche m thodologique d ensemble logique normative relationnelle il existe diff rentes formes d valuation qui se distinguent par leur objet d investigation Dans l approche logique on trouve la mod lisation qui cherche pr ciser toutes les compo santes de l intervention contexte acteurs probl mes objectifs ressources actions groupes vis s interve nants produits effets court moyen long terme etc l analyse strat gique qui vise d terminer l ad quation entre le s probl me s r soudre et l intervention mise en place l analyse logique de l intervention qui porte sur l ad quation entre les objectifs de l intervention e
33. s ne manquent pas et donnent des images parfois fort diff rentes de cette notion de ses contours de ses champs d application de ses r sultats galement Et le probl me ne se r sout pas en explorant plus pr cis ment l valuation dans le champ de la sant publique ou de la promotion de la sant L aussi le terme cache des traductions op rationnelles diverses correspondant des enjeux sp cifiques et parfois contradictoires de l essai randomis contr l l enqu te de satisfaction en passant par l utilisation d approches inspir es du marketing pour valuer les campagnes m diatiques par l valuation de la qualit du d roule ment des actions de pr vention ou encore par l analyse du contexte pr c dant l laboration d un projet 1 LA QUESTION DES D FINITIONS Des nombreuses d finitions existantes voir encadr nous retiendrons quelques points qui permettent de cerner cette notion L valuation est un processus elle s chelonne ainsi sur une certaine dur e inh rente au TROIS EXEMPLES DE D FINITION DE L VALUATION valuer consiste fondamentalement porter un jugement de valeur sur une intervention en mettant en uvre un dispositif permettant de fournir des informations scientifiquement valides et socialement l gitimes sur une inter vention ou sur n importe laquelle de ses composantes de fa on ce que les diff rents acteurs concern s qui peuvent avoir des champs de jugement dif f
34. t la premi re tape d une valuation 3 l valuation est un processus d analyse quantitative et ou qualitative qui consiste appr cier soit le d roulement d une action ou d un programme soit mesurer leurs effets c est dire les effets sp cifiques et les cons quences ou l impact Toutes les d marches d valuation sont des d marches d observation et de comparaison La comparaison s tablit toujours entre des donn es recueillies et un r f rentiel Le r f rentiel d valuation pouvant tre soit un objectif de sant d termin par la litt rature soit un crit re construit de fa on pragmatique en fonction de certaines situations partir d avis d ex perts par exemple On distingue couramment et sch matiquement les valuations strictement comparatives de type avant apr s ou ici ailleurs les valuations analytiques qui recherchent des causes de dysfonctionne ment ou de changement les valuations dynamiques de type r tro action qui modifient l action en cours au fur et mesure de son d roulement 4 4l projet ou l action que l on cherche valuer et au temps d tude n cessaire Par l valuation on collecte et on rassemble des informations permettant de prendre une d cision L aspect op rationnel de l valuation est primor dial l valuation doit tayer un choix poursuivre un projet ou une action l am liorer ou en renforcer certains valuations en p
35. t les moyens ressources services mis en uvre pour les atteindre La mod lisation et les analyses strat gique et logique de l intervention peuvent s effectuer partir de deux formes de connaissances celles bas es sur l exp rience la pratique l intuition et celles fond es sur les connaissances scientifiques Dans l approche normative les diff rentes compo santes de l intervention peuvent tre valu es et donner lieu plusieurs formes d valuation Il est possible d tu dier les ressources mises en uvre et leur organisation appr ciation de la structure les services et les biens produits appr ciation du processus les effets de l inter vention appr ciation des r sultats En ce qui concerne les normes utilis es pour effectuer l valuation elles peuvent se fonder sur cinq crit res diff rents l cart dans la mise en uvre l intervention a t elle t implant e telle que pr vue la couverture quelle est la client le rejointe par l intervention la qualit l intervention est elle bien faite les co ts les co ts de production sont ils appro pri s l atteinte des objectifs l intervention a t elle eu les r sultats escompt s L approche relationnelle porte sur l tude scientifique des liens existant entre les composantes de l intervention L valuation des effets s int resse au lien entre les services produits activit s et biens et les effets observ s Celle ci peut tr
36. tent toutefois rarement mis en uvre 8 9 la d marche sp cifique de la promotion de la sant participation des usagers approche transversale de la pr vention et de l ducation interaction entre les acteurs etc devrait r pondre une approche valuative qui analyse tant les r sultats des actions ou des programmes que la qualit de leur processus 10 La compr hension de la mise en uvre des actions ou des programmes constitue un objectif de l valuation important et compl mentaire l tude de leur efficacit Pour cela les paradigmes issus de la recherche exp rimentale et parfois ceux de la recherche pid miologique se r v lent peu adapt s 11 121 Cet int r t sp cifique suppose l utilisation de m thodes appropri es permettant notamment d valuer les sentiments perceptions repr sentations et croyances des individus composant la fois le public cible et les promoteurs de l action ou du programme 11 et permet tant d appr hender l volution des pratiques profession nelles en tenant compte des contraintes auxquelles elles sont soumises Enfin la promotion de la sant cherche modifier durablement la sant des individus et leur capacit tre acteurs de leur vie Les r sultats d une action ou d un programme de promotion de la sant ne sont donc pas visibles court ou moyen terme mais s expriment plus en ann es ou en tapes du parcours de vie Cet enjeu impose une grande mod
Download Pdf Manuals
Related Search