Home

Evaluation, mode d`emploi - Inpes

Contents

1. 10 subjectifs points de vue des patients par exemple qu partir de crit res objectiv s et pr d finis Enfin le processus objet principal de l valuation de qualit y est per u comme ce qui se passe enire l input et l output c est dire en tant qu utilisation et transformation de l input Ces r f rents et m thodes sont ils suffisants et ad quats op rationnaliser les concepts d valuation d efficacit et de qualit en Promotion de la Sant et en Education pour la Sant Faut il les compl ter d autres L approche de PESI est elle appropri e C est ces questions que le pr sent article veut r pondre en trois parties La premi re concerne le point de vue la discipline de r f rence utilis e et ses paradigmes et outils La deuxi me porte sur la relation entre efficacit et qualit La troisi me traite des m thodes et crit res n cessaires dans une application la Promotion de la Sant Promouvoir la sant une d marche et des r f rents particuliers Tones d finit simplement la promotion de la sant comme un produit d actions d ducation pour la sant et de politique publique saine impliquant qu il ne peut y avoir de promotion de la sant sans la pr sence simultan e d ducation et de politique de sant qu elle soit au niveau l gal environnemental social ou sanitaire Fig 2 La promotion de la sant s inscrit dans un mouvement id
2. Le degr de coh rence dans la structure entre les trois cat gories des fins valuation de contexte objectif valuation de produit et les trois cat gories de moyens valuation d intrant plan valuation de processus Un projet est coh rent si les trois cat gories portent sur le m me objet La professionnalisation du promoteur activit s continues dans le secteur depuis trois ans au moins L exp rience dans la r daction de programme introduction d au moins une demande de financement dans les trois ann es qui pr c dent e La professionnalisation de l valuateur la r alisation d au moins une autre valuation dans les trois ann es pr c dentes Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 43 e comment value t on B EN Type 1 valuation implicite TO II y a absence de projet d valuation Absence de coh rence II n y a pas de programme d action Par exemple le promoteur demande le financeme
3. Plusieurs ressources documentaires ont permis de rep rer les d finitions Celles ci sont issues principalement de la base de concepts du centre de documentation de l Inpes interrogeable en ligne sur le site internet de l Institut www inpes sante fr Rubrique Espace documentaire d instances nationales ou internationales de documents connus de tous les professionnels Nous avons choisi de les pr senter par ordre chronologique ce qui permet de mettre en vidence l volution de ce concept le c D le c D N Q D O gt N e qu est ce que l valuation E L valuation Proc dure scientifique syst matique qui d termine le degr de succ s d une action ou d un ensemble d actions au regard d objectifs pr d termin s Monnier J Deschamps J P Fabry J Manciaux M Raimbault A M Sant publique sant de la communaut Villeurbanne SIMEP 1980 p 36 L valuation est un moyen syst matique de tirer les le ons de l exp rience et de s en servir pour am liorer les activit s en cours et promouvoir une planification plus efficace par un choix judicieux entre les actions ult rieures possibles Cela implique une analyse critique de diff rents aspects de l laboration et de l ex cution d un programme et des activit s qui le composent de sa pertinence de sa formulation de son efficience de son efficacit de son co t et de son acceptation par toutes les partie
4. op rationnaliser par des crit res sp cifiques d finis par les acteurs du syst me ou du programme consid r est une alternative bien plus apte permettre une am lioration de la qualit de la promotion de la sant et de l ducation pour la sant Elle rend certaines caract ristiques qualitatives peu mesurables leur place importante tout en tirant parti des caract ristiques concr tes tangibles mais insuffisantes cerner la complexit de la promotion de la sant et de l ducation pour la sant que sont les moyens les proc dures les comp tences et les co ts R f rences Briziarelli L Evaluation in health education In Mahan C Tinarelli M ds Consultation on Evaluation on Health Education Perugia IUHE EURO Experimental Center for Health Education 1989 10 21 2 British Standards Institution BS 4778 British Standards Quality Vocabulary 1978 3 Bury JA ducation pour la sant concepts enjeux blanifications Coll Savoirs et sant Bruxelles De Boeck Universit 1988 4 Caplan R Holland R Rethinking health education theory Health Education Journal 1990 49 1 10 12 5 De Ketele JM Renders X M thodologie du recueil d informations Coll P dagogies en d veloppement Bruxelles De Boeck Universit 1986 6 Deccache A Lavendhomme E Information et Education du patient des fondements aux m thodes Coll Savoirs et sant Bruxelles De Boeck Universit 198
5. Es Promotion amp Education Vol IV 1997 2 Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et e pourquoi value t on h L Fig 2 Promotion de la sant et ducation pour la sant MAINTIEN ET AM LIORATION DE EA SANT ACTION S ENVIRONNEMENTALES de maintien d am lioration d vitement de suppression PR VENTION DES MALADIES ET DES RISQUES DUCATION Evaluation d efficacit ou valuation de qualit Un autre exemple concerne l valuation des effets des actions de promotion de la sant et d ducation pour la sant Green et a distinguent deux types d effets l impact et les r sultats L impact regroupe les effets directs ou indirects interm diaires imm diats vis s ou non en ducation pour la sant les changements de savoirs pratiques ou th oriques de repr sentations sociales de perceptions et attitudes peuvent tre consid r s comme l impact Les r sultats sont les effets finaux souvent moyen ou long terme tels les changements en termes de morbidit de mortalit ou encore d acc s aux services ou de co t des soins et de la sant Pendant longtemps en valuation l approche de sant publique pr valu L valuation y est con ue comme la mesure de l efficacit efficacit surtout pid miologique d ailleurs Or cette valuation r pond
6. e valuation d une action 4 2 En second lieu pour d crire les pra tiques des professionnels et le proces sus d ducation des patients on peut isoler artificiellement trois dimensions prendre en compte des aspects id ologiques et philo sophiques qui renvoient la concep tion que les professionnels ont de la sant et de l ducation du patient et qui sous tendent toutes les activit s qui seront mises en place grille ID des aspects th oriques et organisa tionnels qui concernent les choix en mati re de planification des activit s de fonctionnement de l quipe de s lec ion du public cible et des contenus des Srogrammes grille IT des aspects m thodologiques c est dire les m thodes p dagogiques employ es et l valuation mise en place grille IV 3 Par ailleurs il importe de recueillir l avis de patients concernant les acti vit s ducatives qui leur sont propos es grille V L tude qualitative guid e par ces cinq grilles repose sur des entretiens et sur une observation des pratiques du catives dans des lieux de soins L outil et la d marche sont en cours d utilisation par un observateur externe dans plu sieurs structures d ducation de patients diab tiques implant es dans des centres hospitalo universitaires parisiens En plus de son utilit dans la des cription et la comparaison de pro grammes d ducation du patient c
7. 4 10 14 18 e pourquoi value t on C L m thodologique Evans et ses coll gues sugg rent douze crit res de bonne pratique une philosophie de projet explicite et partag e une d finition claire de la sant des d cisions fond es sur des analyses de besoins une approche planifi e une collaboration intersectorielle r elle une direction et une supervision strat gique du projet des objectifs r alistes des m thodes et moyens ad quats et efficaces une participation et une implication active du public une diffusion large des r sultats une r flexion et une auto valuation sur le processus une quipe comp tente et motiv e On retrouve dans cette proposition les l ments fondamentaux de la promotion de Ia sant qui d finissent des cat gories de crit res g n rales et in vitables les crit res relatifs au programme c est dire l ensemble des activit s pr vues leur nature d roulement composants ad quation aux besoins et non seulement aux probl mes exprim s ou non les crit res concernant les agents et intervenants comp tences interactions capacit s favoriser l mergence des besoins de la communaut et soutenir les actions les crit res relatifs la communaut public ou individus concern s qualit des participants degr de leur participation satisfaction etc les crit res d utilisation des r
8. Dossier documentaire Evaluation mode d emploi pr sent lors des Journ es de la pr vention organis es par l Inpes La pr vention en actions partage d exp riences Paris les 12 et 13 avril 2005 Anne Sizaret C cile Fournier a e2 UIPES www iuhpe org Union Internationale de Promotion de la Sant et d Education pour la Sant e sommaire In EE AVANT Propos dc doudou a ones Introduction ana an anaa aE E E E E AE A nra 1 Quelques d finitions qu est ce que l valuation 1111111 2 Objectifs de l valuation pourquoi value t on sisisi Blum Boisgard C Gaillot Mangin J Chabaud F Matillon Y valuation en sant publique Actualit et dossier en sant publique 1996 17 18 22 En ligne http hcsp ensp fr hcspi docspdf adsp adsp 17 ad173640 pdf Derni re consultation 24 11 2005 Contandriopoulos A P Champagne F Denis J L Avargues M C L valuation dans le domaine de la sant concepts et m thodes Revue d pid miologie et de sant publique 2000 48 517 539 Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion amp Education 1997 4 DO ee dr ann A A ci re Demarteau M valuer une question d thique La sant de l homme 2000 345 36 38 Nock F Le monde complexe de l valuation In Petit guide de l valuation en promotion de l
9. Pimpact Entre la d termination des besoins et des objectifs et les r sultats sur la sant que l on peut observer l issue d interventions plusieurs tapes et l ments interm diaires existent dont d pendent aussi les effets Fig 3 En promotion de la sant et en ducation pour la sant on ne conna t pas encore tr s bien ces tapes ni leurs effets respectifs dans des conditions et des contextes diff rents Travailler sur les facteurs d influence et les d terminants et conditions psycho socio environnementaux est donc indispensable pour mieux comprendre le processus en question et tablir ensuite des crit res ou standards de qualit Par ailleurs en nous limitant valuer l efficacit c est dire v rifier si les effets attendus taient observ s nous ne sommes pas pr occup s des autres effets possibles inattendus impr vus des effets secondaires parfois positifs et parfois n gatifs Ily a donc plusieurs raisons valuer tous les effets possibles plut t que ceux li s aux seuls objectifs valuer l ensemble du processus plut t que les seuls moyens proc dures et co ts valuer l impact plut t que les r sultats valuer la qualit plut t que l efficacit Pour les ducateurs pour la sant et les promoteurs de sant les questions comment a marche et comment am liorer sont devenues essentielles Dans ce domaine l apparition de l
10. Pour mieux choisir son valuation D finition et r les des valuations en ducation pour la sant In M thodes au service de l ducation pour la sant Li ge APES 1989 p 2 valuation Processus d analyse quantitatif et ou qualitatif qui consiste appr cier le d roulement d actions de pr vention de diagnostic ou de th rapeutique et mesurer leurs effets Sournia J C dir Dictionnaire fran ais de sant publique Paris Editions de Sant 1991 p 149 L valuation est un processus d analyse quantitative et ou qualitative qui consiste appr cier soit le d roulement d une action ou d un programme soit mesurer leurs effets c est dire les effets sp cifiques et les cons quences ou l impact Toutes les d marches d valuation sont des d marches d observation et de comparaison La comparaison s tablit toujours entre des donn es recueillies et un r f rentiel Le r f rentiel d valuation pouvant tre soit un objectif de sant d termin par la litt rature soit un crit re construit de fa on pragmatique en fonction de certaines situations partir d avis d experts par exemple Toute donn e relev e ou mesur e qui ne peut tre compar e une autre ne peut tre consid r e comme une donn e valuative Il s agit alors d un moyen de surveillance ou de monitoring On distingue couramment et sch matiquement les valuations strictement comparatives de type avant apr
11. l coute compr hensifs et rarement critiques L id alisation du lieu pourrait inci ter certains jeunes r cidiver dans leur menace suicidaire pour pouvoir y revenir L absence presque totale de frustrations et de contraintes pourrait aussi compliquer la r adaptation la vie l ext rieur et expli quer un taux de r admission lev Le v cu des soignants La tr s grande majorit des intervenants sont des personnes ayant beau coup d exp rience et une forte motivation prouvant du plaisir tra vailler dans ce cadre nouveau Les relations interpersonnelles sont bonnes une fois pass les premiers ajustements il ne semble pas exis ter de conflit majeur Mais le travail est d crit par tous les intervenants comme difficile et astreignant ce qui laisse craindre plus ou moins long terme des syndromes d puisement professionnel chez les membres de l quipe Pour ce qui est de la partie plus ducative du travail avec les jeunes qui concerne plus sp cifiquement les infirmiers il appara t que ces der niers se sentent souvent mis en situation difficile de par la multiplicit de leurs r les responsables du maintien du cadre ils doivent en m me temps imposer une image d coute attentive de disponibilit requ rant toute leur vigilance Ils doivent aussi pr venir tout d rapage acte de violence tentative de suicide IIs doivent enfin veiller un d roulement quilibr des journ es en termes de sommeil d a
12. valuation d actions d ducation pour la sant 1 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p 63 e comment value t on B EN Caract ristiques g n rales de l action valu e 1 Th me s abord s ex tabac violence 3 Nature de l action ou des actions valu e s ex campagne presse spot radiophonique newsletter formation d crire le plus pr cis ment possible e osAjeue p Se 1 3 s poyz u EC 4 Objectifs de l action valu e d tailler au maximum en pr cisant ventuellement l objectif g n ral et les objectifs op rationnels ou l objectif principal et les objectifs secondaires Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant 2 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p 64 e comment value t on B EN Caract ristiques de l valuation men e 7 Objectifs de l valuation cocher la les r ponses valuation normative valuation visant v rifier sur le terrain les performances obtenues par l application de m thodes d intervention en r f rence des normes pr d finies recherche valuative va
13. valuer la qualit Pour valuer la qualit nous devons parvenir comprendre comment un processus permet certains effets Et comme pour toute forme d valuation des crit res sont n cessaires Ces crit res doivent tre ad quats aux objets d valuation c est dire au processus sp cifique chaque action ou programme et leurs choix Pour parvenir d finir des normes de bonne pratique en promotion de la sant et en ducation pour la sant nous avons besoin de crit res clairs et pertinents Or le choix m me des crit res n est pas neutre II est li aux options de paradigmes disponibles Ces options d terminent le type de crit res appropri s et les crit res d terminent le type de pratique appropri e Pour briser le cercle vicieux Evans et al ont de mani re empirique propos plusieurs crit res de bonne pratique comme point de d part ces crit res devant tre leur tour remis en question et affin s Pour chacune des six fonctions identifi es du travail de promotion de la sant et d ducation pemr la sant planification gestion de projet valuation formation information professionnelle aide et consultance Be SE Promotion amp Education Vol IV 1997 2 e UOljEnEA9 p S129 qo Se IN Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion amp ducation 1997
14. Il se voit imposer des normes communes respecter sous peine de ne pas tre int gr Il est ainsi socialis dans une incitation forte se conformer aux mani res de vivre de ses groupes d appartenance II lui faut tre comme tout le monde Dans le m me temps il lui est de mand d tre le meilleur sur les march s de la scolarit de la formation Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 51 e comment value t on B EN et de l emploi Sa r ussite y est li e sa capacit tre comp titif et se diff rencier des autres en leur passant devant ou en leur marchant dessus La construction de sa subjectivit propre est op rer dans l ex p rience de ces contradictions difficiles concilier Pour ce faire l in dividu recourt aux valeurs culturelles dominantes du temps c est dire une id ologie molle proclamant l ouverture de tous les droits et de toutes les libert s tout un chacun tout doit tre possible pour le jeune citoyen de nos d mocraties lib rales avanc es Mais l hor
15. chercheurs population D velopp es tant partir des r f rents de la sant publique que de ceux de diverses sciences humaines la promotion de la sant et l ducation pour la sant se fondent sur des paradigmes et des d marches vari es de l pid miologie la psychologie et l anthropologie Plusieurs auteurs dont Liedekerke et al Briziarelli Tones Bury gt ont mis en garde contre l utilisation exclusive des disciplines de la sant publique pour comprendre agir et valuer la promotion de la sant Pour la promotion de la sant le concept m me de sant est au moins double d une part c est une r alit pid miologique objectiv e et mesurable et d autre part c est une r alit individuelle et sociale subjective mais tout aussi r elle et valuable Dans la pratique la promotion de la sant _ implique d int grer les actions visant la pr vention et celles qui visent le maintien et l am lioration de la sant Son objet est donc double sant et maladie ou risque Cette caract ristique ouvre les options d action de la promotion de la sant plus largement que celles de la sant publique classique au sens strict construite sur l pid miologie et dont l objet est essentiellement les risques et les maladies suppose aussi de compl ter ou remplacer l approche verticale de la pr vention par th mes et par risques d une approche transversale par public voire m me gl
16. e valuation d une action 4 probl me pour rejoindre des adolescents en grande difficult psychologique et sociale apr s le laps de temps n cessaire l va luation Un quart des jeunes n ont pu tre rejoints pour diverses raisons absence un minimum de deux rendezvous fix s en accord avec eux placement dans une institution horaires de travail incompatibles avec l enqu te jeunes perdus de vue refus du th rapeute Compte tenu de ces difficult s seules des recommandations ax es sur les propos des jeunes qui ont pu tre rejoints apr s trois ou six mois ont pu tre formul es On peut imaginer que ces jeunes taient parmi ceux qui taient le moins mal en point ce qui a certainement introduit des biais dans les r sultats En ce qui concerne le protocole d valuation lui m me si la tentative d appliquer la m thode exp rimentale a chou il faut souligner la richesse des r sultats obtenus par l associa tion de m thodes quantitatives et de m thodes qualitatives Ces r sul tats donnent la fois une vision d ensemble et une perception d taill e des effets de l admission l unit de Gen ve et ouvrent la voie des propositions concr tes en vue d am liorer la prise en charge des ado lescents suicidants uones9ijdde p s jdw x Communication en atelier 16 septembre 1998 Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux
17. l thique propos e par Paul Ladri re offre des points de rencontre de conver gences avec la d finition que nous don nons de l valuation Si l on suit Paul Ladri re un acte thique est un acte qui se confronte aux valeurs un acte qui dit ce qu il fait qui dit la valeur de ce qu il fait qui expli cite les crit res les valeurs en jeu qui dit et pr sente la critique les enjeux personnels institutionnels sociaux qu il porte C est un acte qui s value Si la fonction principale de l valua tion est d expliciter les enjeux multiples qui sous tendent l action comme nous le d fendons elle agit alors comme l thique rationnelle qui fait appara tre et discute ce qui semble vident L va luation a une fonction thique valuer n est pas d abord une tech nique mais un acte thique une res ponsabilit de chaque ducateur pour la sant Comment dire la valeur de ce que l on fait C est tout simplement dans un premier temps regarder ce que l on fait s interroger C est ensuite d placer le regard et s offrir au regard de l autre en passant par l nonciation dire C est enfin demander le regard d un autre des autres en faisant intervenir un tiers faire dire L valuation c est rendre compte ceux qui nous deman dent des comptes mais surtout ceux pour qui et avec qui nous travaillons directement ou par l interm diaire des institutions Il y a donc dans l valua
18. l expression probable et m me n cessaire d un d saccord voire d un rejet Si nous donnons l habitude au patient de questionner les informations qu il re oit de r fl chir de dialoguer d argumenter de rechercher avec les autres des solutions il saura aussi mettre en uvre ces comp tences vis vis de nous et de notre mod le ducatif Encore faut il que nous soyons pr ts recevoir cette possible remise en question II s agit d tre attentif notre com portement quotidien pour qu il ne vienne pas contredire les intentions que nous affichons II faut sans doute aussi am nager des temps pour en parler accepter d expliquer et de mettre en d bat le projet que nous avons pour le patient et les valeurs qui le sous tendent Si nous sommes capables de respecter ces conditions la personne pourra se situer par rapport nos intentions ducatives et s en affranchir Observer le changement produit chez l autre et chez soi m me L une des caract ristiques de la relation ducative est qu elle produit un changement chez les deux protagonistes chez le sujet qui apprend mais aussi chez l ducateur C est une dimension que l valuation devrait d ailleurs prendre en compte Cela me permet de revenir au sujet de ce colloque et l valuation dans tout a Repensons simplement la d finition donn e par Michel Demarteau C est une proc dure de recueil d informations qui donne lieu un jugement de valeur et p
19. pr cis Type 4 valuation du processus interne et explicite T3 mais informel e Apparition d valuation avec un processus explicite et un juge ment explicite T5 ou une d cision T6 explicite e Diversification des objets apparition d objectifs de type affectif Coh rence des projets au niveau des moyens l valuation de pro cessus est pr pond rante Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 44 e comment value t on B EN Exp rience du secteur Tous les promoteurs sont exp riment s Exp rience de programmes d action pour une majorit Absence d exp rience d valuation La plupart de ces programmes s adressent au milieu scolaire Il y a peu d valuation des effets part l valuation de connaissances ou de comportements Type 5 valuation interne et ou externe avec un processus explicite for mel et un jugement explicite T5 II n y a pas de d cision explicite Objets d valuation focalis s
20. promotion de la sant valuation Education sant 2002 173 9 11 En ligne http www educationsante be es article php id 329 Derni re consultation 24 11 2005 e UOljEnJEA9 p S129 qdo Se e pourquoi value t on C L Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines DOSSIER n mati re d valuation la Promotion de la Sant et FEducation pour la Sant se sont longtemps limit es l valuation d efficacit des actions et programmes Depuis que plusieurs chercheurs se sont int ress s l valuation de la qualit de la Promotion de la Sant et de l Education pour la Sant gt une nouvelle orientation a t ouverte Elle se g n ralise en 1996 avec la 3 Conf rence europ enne sur l Efficacit de la Promotion de la Sant et de l Education pour la Sant consacr e enti rement l valuation de la qualit Evaluer l efficacit c est v rifier si et jusqu quel point les objectifs vis s sont effectivement atteints c est donc un rapport entre effets et objectifs Evaluer la qualit revient estimer la capacit du processus mis en uvre d marche moyens proc dures interactions produire certains effets et r sultats Fig 1 L lt assurance de qualit est un concept et une activit d velopp s dans l industrie dans le but d am liorer l efficience de
21. sp cifiquement pour l ducation pour la sant et la pro motion de la sant rencontre nos besoins Nous l avons modifi apr s l examen de quelques documents pour tenir compte des programmes Les quatre premiers objectifs et le huiti me sont de Green En revanche nous avons pr f r aux facteurs propos s par Green la dis tinction entre objectifs cognitifs affectifs et psychomoteurs Le der nier objectif est le r sultat de la cat gorie autre que nous avions pr vue en d but d analyse et qui s est r v l e refl ter un objectif que nous pourrions nommer autonomisation appropriation ou pouvoir d agir Le plan et les objets de l valuation des intrants et des processus Treize cat gories ont t identifi es partir de notre exp rience et de l analyse pr alable de quelques programmes Elles refl tent la fois des strat gies d ducation pour la sant de promotion de la sant et de pr Les huit premi res cat gories recouvrent les strat gies d actions et EC e osAjeue p Se 1 3 s poyz u 42 e comment value t on B EN Tous les l ments th oriques ont t rassembl s et pr sent s Formulons notre th se nous soutenons que la grille d Analyse des pra tiques d valuation de programme permet de d crire aussi bien les pra tiques d valuation de terrain en ducation pour la sant que les pra tiques th oris es des professionnels de l valuation Sous l apparente diversi
22. 165 171 e UOljEnEA9 p S129 qo Se IN 27 e pourquoi value t on C L force je vais s rement finir par aimer a Pour m aider il me fait faire des jeux de r le je dois apprendre dire oui quand on me propose un verre de vin II m a aussi conseill de verser chaque jour le contenu de la sali re dans la carafe d eau ce qui videmment me coupe l envie de boire de l eau Ce candidat ail fait uvre d ducation Certes non Seulement de conditionnement Enfin un troisi me candidat se pr sente Il s y prend tout autrement Il m invite dans un bon restaurant pour un d ner aux chandelles II me laisse choisir le menu et commande une demi bouteille d un excellent vin Quelques instants plus tard il me regarde d un air langoureux et me tend son verre en disant J ai tr s envie de partager ce plaisir avec toi Et bien s r je ne r siste pas Vous pensez certainement que lui non plus n a pas fait uvre d ducation mais seulement de s duction Je crois pour ma part que c est un bon d but II a su tablir une relation avec moi et ne vous y trompez pas dans toute relation ducative il y a une part de s duction II faut seulement en avoir conscience et ne pas s ar r ter l Si ce troisi me candidat a une v ritable intention ducative ce dont vous doutez peut tre il va progressivement changer de registre Si je bois du vin pour le seul plaisir d tre avec cet homme il suffira qu il disp
23. 45 57 une strat gie pour le travail de rue Service social 2003 50 263 279 En ligne www erudit org revue ss 2003 v50 n1 009972ar html kA Ridde V Baillargeon J Quellet P Roy S L valuation participative de type empowerment Derni re consultation 24 11 2005 5 Pour en savoir DIS en oe p 90 e avant propos o E 3 Le terme d valuation est aujourd hui r current dans tous les discours aussi bien des d cideurs et des politiques que des professionnels du champ sanitaire et social et des usagers du syst me de sant Sodoid juene Bien que l valuation soit reconnue comme un outil d am lioration de la qualit des actions de pr vention et de promotion de la sant sa perception est encore souvent n gative comme celle d une mission impossible ou d une op ration de contr le Ceci est li d une part au caract re conflictuel des enjeux qui la sous tendent d autre part aux difficult s concr tes rencontr es dans sa mise en uvre difficult s pour obtenir un consensus sur les questions auxquelles elle doit apporter des r ponses sur la m thodologie choisir sur les indicateurs probl mes li s au temps y consacrer et au suivi g n ralement de long terme co t de l valuation parfois sup rieur celui de l action etc Ces diff rents l ments repr sentent un frein certain son d veloppement et rendent difficile la mise en uvre d valuations adapt es et pertinentes t
24. B EN professionnels le d veloppement des capacit s tre acteur de sa sant II lui faut des outils techniques plus fins et plus sensibles que le questionnaire et l observation des faits L activit valuative critique a permis d appr cier le degr de vali dit de ces mod les amenant l invalidation th orique du premier qui n a pas disparu pour autant et laissant en pr sence les deux autres et leurs diverses variantes Les communications pr sent es dans les ateliers t moignaient de quelques survivances du mod le biom dical mais montraient un enga gement fr quent dans le champ structur par les deux autres perspec tives sans que cela soit le plus souvent explicit II reste du travail faire pour identifier clairement les r f rences latentes de l action et lui appli quer des modalit s d valuation homog nes ses intentions et sa mise en uvre Il est souvent apparu que le poids des habitudes prises la culture professionnelle et l tat des comp tences amenaient certains recourir des outils pertinents en eux m mes mais inad quats l va luation de la r alisation de leurs objectifs ce qui entra nait un d calage important entre les nonc s d objectifs de d part et les r sultats de l valuation Ainsi on a vu des quipes recourir des outils d observation pi d miologique pour valuer un objectif formul en termes de mobili sation des acteurs et de promotion d u
25. Se IN 30 e comment value t on B L 3 1 Fondements th oriques G n ralit s Cette premi re partie r unit des articles abordant les questions de m thodologie d valuation Demarteau apr s un retour sur les d finitions et les enjeux des diff rents types d valuation propose une grille d analyse des pratiques d valuation en fonction d une part du caract re implicite ou explicite de leurs trois composantes le processus le jugement de valeur et la d cision et d autre part des trois dimensions valuables dimension sociale strat gique et technique Il analyse ainsi un certain nombre d valuations men es dans le champ de l ducation pour la sant et aboutit une typologie des pratiques d valuation en ducation pour la sant qui lui permet de souligner plusieurs enjeux pour l avenir Br art et al pr sentent diff rentes m thodes pid miologiques destin es valuer les effets d une intervention de sant publique ils passent en revue des diff rents types d indicateurs et d enqu tes qui peuvent tre choisis en les illustrant par des exemples S jeue p s li z sopoujouwu EC L article de Liekens vient en contrepoint de celui de Br art enexplicitant d une mani re tr s pratique outils et exemples l appui comment mettre en place une valuation participative en impliquant les personnes concern es par l action d ducation pour la sant Goudet travers un exer
26. a le ciel et la terre Dieu regarda tout ce qu il avait fait et dit C est tr s bien Lors du septi me jour alors que Dieu se reposait l archange vint le trouver et lui demanda Dieu comment savez vous que ce que vous avez cr est tr s bien Quels sont vos crit res Quelles sont les donn es qui fondent votre jugement N tes vous pas trop impliqu dans la situation pour faire une valuation honn te et non biais e Dieu r fl chit ces questions toute la journ e et son repos en fut gravement perturb Le huiti me jour Dieu dit Lucifer va au diable C est ainsi que l valuation naquit dans toute sa gloire Cette histoire de la gen se de l valuation illustre les r sultats d une revue des d finitions de l valuation en ducation faite par Nevo 7 en 1986 Cet auteur identifie dans ces d finitions trois grandes tendances e La premi re la plus courante d finit l valuation comme mesure dela valeur d un objet d un programme Le terme valuation est tymologiquement li la notion de jugement de valeur C est le jugement divin e La seconde moins fr quente met l accent sur la r colte d infor mations L valuation est une investigation syst matique du d rou lement et des cons quences d un programme C est la question de l archange Quels sont les crit res Quels sont les faits La troisi me tendance d finit l valuation comme le moyen de fournir de l inf
27. action parmi lesquelles l instauration d un climat de confiance le respect de l thique et de ses r gles ou encore la p dagogie Bullano et Repellin 1999 pr sentent une strat gie d valuation visant suivre les effets d une formation dans ce contexte l valuation est centr e sur le niveau d acquisition de certaines comp tences par des patients Les auteures d taillent les raisons qui ont pr sid au choix cette strat gie d valuation pr sentent les modalit s de sa mise en uvre concr te dans la pratique quotidienne rapportent le v cu des patients et des soignants et discutent les apports et les limites de cette strat gie uones9i dde p s jdw x 78 valuation d une action Bouttin V Sur quels crit res valuer les projets de promotion de la sant dans les coles Education sant 2002 166 13 14 En ligne http www educationsante be es article php id 411 Derni re consultation 24 11 2005 Bullano S Repellin E L valuation du patient diab tique par un Examen Structur Objectif E S O Bulletin d ducation du patient 1999 18 hors s rie 8 11 Collin J F Giraudo S Baumann M Outil d aide l valuation de performance des actions de sant l exemple du programme de prevention de l alcoolisme en Lorraine Sant Publique 2001 13 2 179 193 En ligne http fulltext bdsp tm fr Sfsp SantePublique 2001 2 01 COLL pdf 6400W X4107 7DWW4 TIX6Q 8G304 Derni
28. aux questions estce que cela marche et qu est ce qui marche et n apporte d ailleurs que des r ponses partielles Elle ne permet pas de savoir comment ou pourquoi a marche ni ce qu on peut am liorer Certains programmes privil gient une approche inspir e des Sciences de l ducation L valuation y est vue comme une collecte d informations visant permettre une prise de d cision L valuation d efficacit s y retrouve mais avec d autres valuation de processus de besoins d impact pour comprendre les effets secondaires inattendus etc Ailleurs c est l approche de marketing social et de communication qui a t utilis e avec ses tudes de march ses segmentations de publics et ses valuations de lisibilit de p n tration d efficacit etc Plus r cemment l approche anthropologique et ses m thodes ethnographique et autres est venue renforcer les pr c dentes Il y a donc bien plusieurs visions et paradigmes qui se compl tent et parfois s opposent de sciences humaines Promotion amp ducation 1997 4 10 14 e UOljEnEA9 p S129 qo Se IN 17 e pourquoi value t on C L Besoins gt Objectifs Fig 3 Processus de promotion de la sant Planification 7 Facteurs d influence Comportements Interventions D terminants D apr s Kok et Jonkers 1986 A trop nous pr occuper des r sultats nous avons un peu n glig
29. correspondre la derni re version produite L interrogation de la base peut se faire soit en texte libre mode de recherche simple soit l aide de mots cl issus du thesaurus de la National Library of Medicine et donc de Medline le Medical subjects headings MeSH Elle peut s tendre automatiquement la base am ricaine National guidelines clearinghouse NGC www guideline gov au Catalogue d indexation des sites m dicaux francophones CISMeF www chu rouen fr cismef ou Pubmed www ncbi nlm nih gov entrez en cliquant sur le logo correspondant en bas de la page d interrogation Les recommandations professionnelles sont accessibles en texte int gral sur le site gratuitement e snid Jones us Inod 91 e pour en savoir plus 15 ES CDC Evaluation working group www cdc gov eval index html Derni re consultation 24 11 2005 Le groupe de travail valuation est rattach au Center for Disease Control agence f d rale am ricaine rattach e au minist re de la sant Il a t cr en 1997 avec comme objectif de mettre en place et de d velopper un cadre pour l valuation de programmes en sant publique Il d finit et organise donc les l ments essentiels l valuation de programmes Beaucoup d informations sont disponibles en ligne dont la description de six tapes permettant la mise en uvre d une valuation de programme la description de 30 items permettant de mesurer
30. de mesure et de conduite du changement Elle a deux buts principaux le but formatif qui vise am liorer la mise en uvre du programme le pilotage le but sommatif qui analyse les effets du programme pour en tirer les le ons Fontaine D Beyragued L Miachon C R f rentiel commun en valuation des actions et programmes sant et social Lyon ERSP 2004 p 18 A D A D N Q D gt gt N J e pourquoi value t on 12 EME Pourquoi value t on Quels sont les enjeux sous jacents Quelle vision les professionnels ont ils des objectifs et enjeux de l valuation Certaines m thodes sont elles plus m me d apporter des r ponses aux questions qui se posent dans le domaine de la promotion de la sant L article de Contandriopoulos et al 1996 tr s complet propose un cadre conceptuel pour l valuation dans le domaine de la sant susceptible de permettre aux personnes ayant une activit d valuation de se comprendre de faire des valuations meilleures et pertinentes Il donne l valuation quatre types de finalit s strat gique formative sommative et fondamentale et claire ces approches afin de favoriser la mise en coh rence des pratiques et d aider la prise de d cision Nock 2000 centre son discours sur l valuation dans le champ de la promotion de la sant il explore les motivations qui peuvent tre l origine d une valuation dans ce domaine
31. de promotion de la sant e osAjeue p Se 1 3 s poyz u EC 22 IUHPE PROMOTION amp EDUCATION HORS S RIE 1 2004 Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 71 le cadre d un ECR qui est habituellement consid r comme la forme de donn es probantes la plus valable Les principes d une approche syst matique par exemple sont habituellement fond s sur une argumentation logique le consensus et les conclusions de multiples tudes de cas Il n existe pas encore de classement particulier internationalement accept des types de donn es probantes et l avis selon lequel des m thodes de v rification autres que l ECR sont galement valables recueille de plus en plus de suffrages McQueen and Anderson 2002 Koelen et al 2001 Figure Leadership Mod le de Preffi 2 0 Choix eo 2 Soutien engagement Choix Choix et laboration de l intervention valuation e comment value t on E EN tape 4 Les r sultats de l application de ces crit res de s lection Preffi 1 0 ont dans un premier temps t examin s par le groupe de travail puis individuellement par les membres du Comit scientifique et finalement tous ensemble Le r sultat de ces consultations a servi pr ciser u
32. des mass media et des campagnes nationales pour valuer l efficacit propre de l action de proximit On a ainsi cherch isoler des cantons et comparer les r sultats obtenus dans les cantons soumis l intervention et ceux obtenus dans les autres cantons Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 53 e comment value t on B EN Hier soir dans la chaude convivialit de l Ali nor alors que le col loque nous menait en bateau je me pris r ver d un bateau t moin isol du n tre par le flot perdu quelque part dans la nuit sans aucune interf rence avec notre univers de mangeaille de libations de rires et de sautillements Dans ce bateau t moin deux cents congres sistes semblables en tous points nous autres du point de vue des appartenances g ographiques cat gories socioprofessionnelles et tranches d ge prenaient un repas frugal arros d eau pure et non de ti punch en coutant gravement un clone de la d l gu e g n rale du CFES leur lire des morceaux choisis d
33. des sciences sociales observation entretien _ questionnaire d enqu te analyse de contenu analyse strat gique sociologie des organisations 2 selon Contandriopoulos A P Champagne F Denis J L Pineault R L valuation dans le domaine de la sant concepts et m thodes modifi Revue d pid miologie et de sant publique 2000 48 517 539 et selon l Andem Evaluation d une action de sant publique recommandations Andem octobre 1985 39 p 3 d apr s l Andem op ci 4 d apr s l Andem op ci Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant 3 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p e osAjeue p Se 1 3 s poyz u EC 65 e comment value t on B EN issue des sciences conomiques Z tude de minimisation des co ts comparaison d actions ayant les m mes effets en termes de sant analyse co t efficacit rentabilit de diff rentes actions ayant des r sultats en termes d unit s physiques ann es de vie gagn es nb de handicaps vit s analyse co t utilit efficacit appr ci e en terme de qualit de vie analyse co t b n fice ensemble des cons quences d un programme de sant par ex les co ts vit s 11 Types de crit res
34. ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 48 e comment value t on B EN Point de vue Entendre l valuateur en tant que personne Dans les propositions que j ai faites le programme d action d ducation pour la sant est con u comme un apprentissage et l valuation comme un accompagnement de cet apprentissage pour tous les acteurs Mais en coutant Brigitte Sandrin Berthon voir p 165 je me suis dit qu on devrait aussi essayer d entendre l valuateur en tant que personne et en tant que sujet C est quelque chose qu on n a pas abord et auquel il serait int ressant de r fl chir car un valuateur a aussi une intention il joue un r le de m diation il donne du sens et il aide trouver les chemins et revenir sur les chemins Michel DEMARTEAU Apes Action recherche valuation en promotion et ducation pour la sant cole de sant publique Universit de Li ge Belgique Extrait de la table ronde 17 septembre 1998 Demarteau M Les pratiques d action en ducation pour la sant et leurs mo
35. et questionne la possibilit d valuer la pr vention Il fait le lien entre les principales questions qui peuvent se poser et les m thodes utilisables pour contribuer y r pondre Il donne galement des d finitions simples pour appr hender la terminologie utilis e par les chercheurs et les th oriciens de l valuation efficacit efficience ou effectivit valuation formative ou sommative valuation interne ou externe tout en mettant en relief leurs avantages et inconv nients respectifs e UOljeneA9 p S29 qo Se Evaluer quoi Evaluer pourquoi Ce sont certaines des questions auxquelles l article de Blum Boisgard et al 1996 contribue r pondre en les reliant aux conseils m thodologiques labor s par l Andem l usage des promoteurs d actions de sant publique souhaitant mettre en place une valuation Deccache 1997 examine les diff rences et les relations entre l valuation d efficacit et l valuation de qualit Il pr sente les disciplines de l pid miologie aux sciences humaines qui peuvent tre contributives ce type d valuation Il discute galement les apports et les limites de m thodes import es du courant de l assurance de qualit et tudie quelles conditions et avec quelles limites elles peuvent tre transpos es dans le champ de la promotion de la sant Il propose enfin des cat gories de crit res d valuation en soulignant l importance de confier leur choix toutes
36. haut en bas ou de bas en haut T1b Adaptation des interventions de mise en uvre aux interm diaires Tic Acceptation des fournisseurs par les interm diaires 72 Suivi et r troaction 7 3 Int gration la structure existante valuation 8 valuation 8 1 Clart et accord sur les principes d valuation 8 2 valuation du processus 8 3 valuation des effets 8 3a Un changement a t il t mesur 8 3b Le changement a t il t caus par l intervention 8 4 R troaction aux intervenants IUHPE PROMOTION amp EDUCATION HORS S RIE 1 2004 25 e osAjeue p Se 1 39 s poyz u EC Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 73 assur e par le charg de projet Les fl ches qui pointent vers l int rieur indiquent les moments auxquels des choix doivent tre faits La fl che pointant vers le choix d une intervention est plus grosse pour indiquer que c est ce point que l influence des conditions contextuelles se fait souvent particuli rement sentir Les 39 crit res de qualit indicateurs pr visionnels des effets inclus dans Preffi 2 0 ont t sous divis s en l ments voir la figure 2 Les l ments du c t gauche portent principalement sur l laboration syst matique d une intervent
37. int r t pour la Qualit est d abord li la recherche d am lioration et du bon usage des ressources avant les pr occupations de ma trise des co ts D ailleurs de tous temps les ressources et les moyens ont t limit s en promotion de la sant 1 du budget de la sant dans le meilleur des cas en Europe Les probl mes r sident moins dans l efficacit et la rentabilit de la promotion de la sant que dans les choix effectu s en amont aux niveaux politique social et environnemental La logique sous jacente notre point de vue de professionnels est que a promotion de la sant est indiscutablement une activit socialement pertinente et utile et que nous voulons la rendre plus ad quate et efficace Dans cette logique la qualit est un instrument et un moyen d am liorer l efficacit Selon Windsor valuer la promotion de la sant dans ce but revient 1 pour la pratique d crire les points forts et faibles d un programme v rifier si le programme se d roule conform ment la planification et d gager les 12 informations et l ments n cessaires au contr le de sa qualit v rifier si le programme est transf rable et reproductible dans d autres syst mes 2 pour la th orie augmenter les connaissances scientifiques formuler des hypoth ses coh rentes de recherche 3 pour la strat gie et la politique permettre de rendre des comptes la communaut c
38. la question Enfin il y a un certain nombre de crit res qui exigent essentiellement un avis d expert Citons pour exemple l op rationnalisation du mod le th orique 3 1 qui comprend non seulement la question au sujet de l utilisation ou non d un mod le th orique mais pour laquelle on demande galement si l on a tabli comme plausible que le mod le choisi convient une application dans une situation particuli re Un certain nombre de crit res de Preffi permettent de choisir l option incapable d valuer il s agit en particulier des crit res qu il est difficile pour des tiers d valuer en se fondant sur la preuve documentaire fournie par exemple l expertise et les caract ristiques du charg de projet 1 3 a Dans d autres crit res le manque d information est valu comme faible Le formulaire de pointage permet de donner chaque l ment une note globale entre 1 et 10 qui doit tre compos e partir des notes attribu es individuellement chaque crit re au sein de l l ment La note globale pour l ensemble du projet est donc fond e sur les valuations des l ments individuels La note g n rale n est pas n cessairement une simple moyenne car des pond rations diff rentes peuvent tre attribu es certains crit res d un l ment Le verso du formulaire de pointage comporte un espace pour reporter les notes des l ments sous forme graphique et pou
39. la qualit des activit s d valuation e snid Jones us Inod Une importante rubrique est consacr e aux ressources disponibles concernant l thique les principes et les standards d valuation les organismes les revues scientifiques sp cialis es les manuels les mod les les outils et les publications g n rales ou th matiques Centre de Comp tences en Evaluation Office f d ral de la sant publique ETERA www bag admin ch cce f index htm Derni re consultation 24 11 2005 Office f d ral de la sant publique CH 3003 Berne T l 41 0 31 322 21 11 Fax 41 0 31 322 95 07 E Mail info bag admin ch Le Centre de comp tences en valuation est directement rattach la direction de l Office f d ral de la sant publique Il offre ses prestations de service et accompagne les activit s d valuation de la direction et de toutes les unit s de l Office Il joue cet gard le r le de charni re entre les praticiens et le monde scientifique pour la d finition des objectifs des actions men es Le CCE a pour mission de d velopper une culture d valuation l OFSP d encourager l auto valuation syst matique de conseiller l OFSP en mati re d valuation de mettre sur pied une formation l valuation pour l OFSP de mettre la disposition de la direction des unit s et des responsables de projet les bases n cessaires permettant d assurer l valuation des principaux projets programmes et polit
40. laboration du projet l action entendant transformer cette situation il convient d en bien conna tre les caract ristiques pour poser des objectifs non ant ce qu on veut y changer Un bon exemple de ce premier temps de l valuation a t donn en atelier par une tude pr alable r alis e pour permettre aux Maisons m dicales ou Centres de sant en Belgique de mettre en place un pro jet structur Les objectifs et les indicateurs tant ainsi d gag s des cellules de veille charg es de suivre et de corriger le d roulement de l action ont pu tre mises en place pour une valuation continue au service de la pertinence de l action Cette pratique de l valuation continue peut tre facilit e par le fait d associer aux op rateurs des tiers partenaires permettant la produc tion des connaissances initiales et garantissant le maintien d une activit r guli re de connaissance articul e au d veloppement de l action On retrouve ce rapport int riorit ext riorit pr sent par Michel Demarteau s tablissant de mani re variable selon la particularit des situations et les modes de relation entre les partenaires Dans tous les cas de figures ce mode d valuation mis au service d un processus de pilotage critique de l ensemble de l action s int gre dans une d marche de projet valuation et repose sur un comit de pilotage institutionnel qui valide les objectifs et d l gue l activit de vigilanc
41. les possibilit s de mise en uvre L valuation porte sur tous les moments du processus auxquels des choix doivent tre faits et c est pour cette raison que des fl ches pointent vers tous ces moments L efficacit des interventions et les choix qui peuvent tre faits dans le cadre de ces interventions sont d termin s en partie par des conditions contextuelles telles que le soutien au projet les moyens disponibles pour sa mise en uvre et la qualit de la coordination Conditions contextuelles 1 Conditions et faisabilit contextuelles 1 1 Soutien engagement 1 2 Capacit 1 3 Leadership 1 3a Expertise et caract ristiques du charg de projet 1 3b Point de mire pour le leadership Analyse 2 Analyse des probl mes 2a Nature gravit ampleur du probl me 2b R partition du probl me 2c Perception du probl me par des intervenants 3 D terminants du probl me psychologique comportement et milieu 3a Mod le th orique 3b Contribution des d terminants au probl me comportement ou facteur environnemental 3c Susceptibilit des d terminants au changement 3d Priorit s et s lection Choix et laboration d interventions 4 Groupe cible 4a Caract ristiques g n rales et d mographiques du groupe cible 4b Motivation et possibilit s du groupe cible 4c Accessibilit du groupe cible 5 CGibles 5a Les objectifs correspondent l analyse 5b Les objectifs sont sp cifiques pr cis s dans le te
42. s ou ici ailleurs les valuations analytiques qui recherchent des causes de dysfonctionnement ou de changement les valuations dynamiques de type r tro action qui modifient l action en cours au fur et mesure de son d roulement Service de Formation Evaluation d une action de sant publique recommandations Paris Agence nationale pour le d veloppement de l valuation m dicale octobre 1995 p 7 L action ou le programme de sant publique vise am liorer la sant d une population Son valuation consiste appr cier son d roulement ou mesurer ses effets elle est donc un processus qui accompagne l action depuis sa conception jusqu ses r sultats Blum Boisgard C Gaillot Mangin J Chabaud F Matillon Y Evaluation en sant publique Actualit s et dossiers en sant publique 1996 17 XVIII XXII gt le c E le c D N Q D O gt N e qu est ce que l valuation E L Art 1er L valuation individuelle des pratiques professionnelles vise am liorer la qualit des soins en permettant chaque praticien de disposer d une appr ciation et de recommandations formul es par ses pairs sur la qualit de ses pratiques en mati re de pr vention de diagnostic et de th rapeutique Dans cette perspective elle permet de promouvoir le respect de la plus stricte conomie compatible avec la qualit la s curit et l efficacit des soin
43. sur l valuation pr sent e dans l article 14 Quelles sont les limites de cette valuation 16 Quelle est selon vous la pertinence de ce type d valuation pour les actions mises en uvre ou pilot es par l Inpes 17 Quelle est selon vous la faisabilit de ce type d valuation pour l Inpes et quelles seraient alors les conditions d application requises Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant 6 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p e osAjeue p Se 1 3 s poyz u EC 68 e valuation d une action 4 concepts enjeux plani ke M thodologi a Sant Unit d Educati j Reso cole d Sant publique Sant Sant n t te D crire et analyser les programmes d ducation des patients gt R f rences bibliographiques 1 Jacquemet Eacroix A Perrolini M Golay A Assat J P Qualitative valuation of courses intented for patients s ffering from chronic diseases new observation method for the continuous training ofthe health care team Patient education and counseling 1998 34 201 12 2 Davies JK MacDanald G eds Duality evidence and effectiveness in health pro motion grappling with uncertainties Lon don Routledge Publishers 19
44. surtout sanitaires comportemen taux et cognitifs Absence d exp rience du secteur Absence d exp rience de programme valuation interne non sp cialis e et ou valuation externe pro fessionnelle avec sch ma d valuation quasi exp rimental La plupart de ces programmes concernent l ducation du patient Type 6 valuation interne avec un processus explicite et formel et un jugement explicite T5 Propositions d valuation avec des d cisions explicites T7 Diversification des objets de l valuation sur l environnement et le pouvoir d agir Coh rence des fins et des moyens Exp rience du secteur Exp rience des programmes Exp rience de l valuation II s agit de vastes programmes nationaux de promotion de la sant orientation communautaire IIs mettent en uvre un partenariat impor tant et mobilisent des budgets lev s En synth se et en simplifiant beaucoup e Ily aune explicitation et une formalisation croissantes en relation avec l exp rience des acteurs et les enjeux de l action l ampleur du projet et de son budget La plupart des projets proposent une valuation interne m me lorsqu elle est professionnelle II s agit alors de projets d action pro pos s par des professionnels de l valuation L int r t pour l valuation des effets n appara t que pour un petit nombre de programmes soit orient s sur la maladie soit propos s par des professionnels de l valuati
45. t r guli rement par la suite Notons qu elle est port e en Europe par des organisations natio nales appel es justifier leurs activit s Health Education Council en Angleterre en 1979 2 Dutch Health Education Center en 1990 3 Comit fran ais d ducation pour la sant en 1998 4 Y at il de bonnes pratiques d action en ducation pour la sant Mais la r ponse la question de l efficacit comme celle des bonnes pratiques n est pas un probl me de recherche C est la per manence de la question qui pose question Pourquoi cette permanence Parce que la preuve de l efficacit est difficile apporter effets long terme causalit s multiples probablement Parce que les effets attendus de l ducation pour la sant voluent en se diversifiant et en se complexifiant que les preuves apporter chan gent aussi probablement Mais surtout parce que la question de l efficacit est d abord et avant tout un probl me plus politique que m thodologique Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 sept
46. tout cela Retracer le chemin parcouru C est aussi une tape que j ai voqu e bri vement en parlant du vin Un travail ducatif suppose que l ducateur prenne le temps d expliciter la d marche qu il a poursuivie et que l apprenant prenne le temps d analyser son propre cheminement d identifier pourquoi et comment il a appris C est une tape indispensable l appropriation des connaissances Pour pr ciser ma pens e je paraphraserai ce que j ai crit propos de l ducation pour la sant en milieu scolaire Nous avons le projet d aider l autre s panouir trouver sa propre voie devenir auto nome donc se lib rer de nous Or le fait m me d avoir un projet du Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOljEnEA9 p S129 qo Se IN 29 e pourquoi value t on C L catif pour autrui cr e une forme de d pendance Comment sortir de ce paradoxe La r ponse r side d j dans la mati re m me de notre ensei gnement et dans la fa on dont nous construisons chaque jour la relation ducative Il faut laisser une place
47. toute la r flexion conduite jusqu ici montre qu il y a aussi des m thodes qui rel vent des sciences humaines et qu il faut absolument utiliser dans l valuation de nos actions Lors de la premi re journ e du colloque je me demandais pourquoi y at il ce gouffre entre l expos de Philippe Lecorps et celui de Roger Salamon Jean Pierre Deschamps avait d j r pondu en soulignant que Philippe Lecorps abordait ce qu taient la vie et la sant tan dis que Roger Salamon nous parlait uniquement des m thodes de l pid miologie pour essayer de mesurer quelques ph nom nes li s la sant et la maladie Pour tre plus fid le au sujet de notre colloque entre pid miologie et sciences humaines il aurait fallu demander un sp cialiste des sciences humaines de nous proposer les m thodes que l on utilise en phi losophie en sociologie en anthropologie sociale etc susceptibles de nous aider valuer un projet Ma deuxi me remarque concerne les buts de l valuation Tant que les du cateurs pour la sant auront l impression qu ils peuvent modifier les com portements de sant on sera dans l utopie la plus totale et les valuations aboutiront forc ment des checs car on ne peut videmment esp rer des abandons de consommation de tabac d alcool et autres comportements risque par le seul effet de nos interventions dites ducatives II faudrait peut tre parler d efficacit autrement qu en termes de ch
48. universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 89 e pour en savoir plus Recherches bibliographiques sur internet Derni re consultation 24 11 2005 e Institut national de pr vention et d ducation pour la sant www inpes sante fr espace Bases documentaires e Medline Pubmed www ncbi nim nih gov entrez e Base de donn es en sant publique www bdsp tm fr e Cochrane www mrw interscience wiley com cochrane e snid J10AeS us Inod e ResoDoc et Doctes www md ucl ac be entites esp reso bdd acces htm e Haute autorit de sant www anaes fr e Office f d ral de sant publique Suisse www bag admin ch e Evidence for policy and practice information and co ordinating centre eppi ioe ac uk EPPIWeb home aspx 90 e pour en savoir plus Sites internet Base fran aise d valuation en sant bfes has sante fr Derni re consultation 24 11 2005 C est une base de la Haute Autorit de sant r alis e dans le cadre d une collaboration entre l Agency for Healthcare Research and Quality USA et le projet europ en AGREE Appraisal of Guidelines Research and Evaluation L
49. 15 16 et 17 septembre 1998 Vanves Editions Inpes 20025 121129 EE GERR N E O ER ORRA R E O p 81 Flament M L outil Animation sant de l empirisme l valuation ducation sant 2004 186 12 15 En ligne http www educationsante be es article php id 149 Derni re consultation 24 11 2005 Janzyk V Husdens A Berghmans L valuation d une campagne m diatique et de mobilisation des relais sur le th me de l alimentation Education sant 2004 186 2 5 En ligne http www educationsante be es article php id 142 Derni re consultation 24 11 2005 e sommaire In EE Je Perreault M Boyer G Bouchard F L veill D Colin C valuation du contenu d une grille d intervention aupr s de femmes enceintes vivant en grande pauvret Ruptures 1997 4 1 79 93 En ligne www medsp umontreal ca ruptures pdf articles rup041 079 pdf Derni re consultation 24 11 2005 th orique d une grille d identification et d analyse continues des besoins de femmes enceintes vivant en grande pauvret Ruptures 1996 3 2 173 186 En ligne www medsp umontreal ca ruptures pdf articles rup032_173 pdf Derni re consultation 24 11 2005 Pe Perreault M Bouchard F L veill D Boyer 6 Colin C valuation qualitative du construit e JlEewWWOoOS Potvin L Paradis G Lessard R Le paradoxe de l valuation des programmes communautaires multiples de promotion de la sant Ruptures 1994 1 1
50. 2 Qu estce que cela leur apporte finalement Peuventils aborder les sujets qui les int res Domaine principal savoirs savoir faire savoir tre ou savoir devenir Modes p dagogiques pr sentation de l information interaction d couverte de l information 2 Quel est le plan d valuation Quel type d valuation formative somma tive Quels crit res Quels sont tes objets et personnes sur les quels porte cette valuation Quelle pertinence de l valuation par rapport aux objectifs et au processus sent Leurs questions et attentes sontelles prises en compte Trouventils des r ponses leurs questions ou probl mes 3 Quelles r flexions suscitent chez eux l or ganisation des activit s et le type de m thodes employ es Fournier C D crire et analyser les programmes d ducation du patient La sant de l homme 1999 341 15 16 uones9ijdde p s jdw x 70 e comment value t on B L Gerard R M Molleman Machteld A Ploeg Clemens M H Hosman et Louk Peters Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Quels sont les l ments qui rendent les programmes de promotion de la sant efficaces Comment peut on concevoir et mettre en uvre des projets de fa on cr er les conditions optimales leur efficacit Au cours des 20 derni res ann es de nombreux chercheurs ont essay de r
51. 2000 60p En ligne www santepublique outaouais qc ca app DocRepository 12 GuideEvaluation pdf Derni re consultation 24 11 2005 MacDonald 6 Starr G Schooley M Yee S L Klimowski K Turner K Introduction to Program Evaluation for Comprehensive Tobacco Control Programs Atlanta Centers for Disease Control and Prevention 2001 139 p En ligne www cdc gov tobacco evaluation manual Evaluation pdf Derni re consultation 24 11 2005 e snid Jones us Inod 95 e pour en savoir plus 15 ES Office f d ral de la sant publique Guide pour la planification de l valuation de projets ou programmes de sant Berne OFSP 1997 78 p En ligne www bag admin ch cce tools leitfaden f leitfaden pdf Derni re consultation 24 11 2005 Renforcer la position de l valuation Spectra 2001 29 1 8 En ligne www suchtundaids bag admin ch imperia md content spectra 33 pdf Derni re consultation 24 11 2005 Weber M Les valuations ne sont pas interchangeables Spectra 2004 47 6 En ligne www suchtundaids bag admin ch imperia md content spectra 79 pdf Derni re consultation 24 11 2005 Widmer T Landert C Bachmann N Standards d valuation de la Soci t Suisse d Evaluation standards SEVAL Bern SEVAL 2000 20 p En ligne www ofj admin ch themen eval standard f pdf Derni re consultation 24 11 2005 e snid Jones us Inod 96
52. 4 p 3 4 En ligne www ersp org esp_ress commun FichevalERSPdocfinal pdf Derni re consultation 24 11 2005 Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p Fournier C D crire et analyser les programmes d ducation du patient La sant de l homme n 341 mai juin 1999 p 15 16 Hincelin L Indicateurs et tableaux de bord du pilotage l valuation Contact sant 2004 196 16 17 En ligne http www mrps asso fr portail site _upload contact_sante fichiers reperes 2004 reperes CS196 pdf Derni re consultation 24 11 2005 Hincelin L Petits outils d valuation Contact sant 2001 166 18 19 Les tapes pr paratoires de l valuation In Service valuation technologique service valuation conomique Guide m thodologique comment valuer a priori un programme de d pistage Saint Denis Anaes 2004 pp 15 18 En ligne www anaes fr cliquer sur Publications puis Les titres Derni re consultation 24 11 2005 Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 Service de formation Des tapes aux questions In Evaluation d une action de sant publique recommandations Paris Agence nationale pour le d veloppement d
53. 9 7 Evans D Head Mj Speller V Assuring Quality in Health Promotion How to Develop Standards of Good Practice London Health Education Authority 1994 8 Green LW The theory of participation In Advances in Bealth Education and Promotion vol 1 JAI Press 1986 9 Jonkers R Effectiveness in health education In Mahan C Tinarelli M ds Consultation on Evaluation on de sciences humaines Promotion amp ducation 1997 4 10 14 e UOI eNnJen p S129 qo Se N 19 e pourquoi value t on C L Health Education Perugia IUHE EURO Experimental Center for Health Education 1989 10 21 10 Kok GJ Jonkers R GVO en preventie In Gvo aggz preventie Reader Utrecht Landelijk centrum GVO 1986 11 Liedekerke et al Effectiveness of Health Education Review and Analysis Assen Pays Bas Van Gorcum Uitgeverij voor Gezonheidsbevordering b v 1990 12 Ovretveit J Quality in health promotion Health Promotion International 1996 11 1 55 62 13 Ovretveit J All together now Health Services Journal 1994 December 24 26 14 Taylor V Health education a theoretical mapping Health Education Journal 1990 49 1 13 14 15 Tones K Measuring success in health promotion HYGIE 1992 11 4 10 14 16 Windsor RA et al Evaluation of Health Education and Health Promotion Programs Palo Alto Mayfield Publishing Co 1984 17 Wright C Whittington D Quali
54. 98 245 p 3 Fourni r C D crire et analyseres pro grammes d ducation du patient d marche m thode outils d valuation de processus M moire de licence en Sciences de la sant publique orientation ducation du patient Universit Catholique de Louvain Bruxelles janvier 1999 HA Bury Je ducation pour la sant cations Bruxelles 2 Editions De Boeck Universit coll Savoirs et sant 1998 225 pio RE 5 Deccache Infoi ation et ducation i patient pr position de cadres conceptuel probl matique et Pratique M moire de licence en Education pour la Sant Bruxelles 1988 a tions Bulletin d Education du Patie 15 3 87 92 7 Paquay L R f rentiel du module de m nautaire facult de m decine Universit Catholique de Louvain S ptembre 1996 8 d Vernois J duquer le pati nt Paris Vigot 1998 riayre R Appr ndre 208 p On assiste actuellement en France dans les lieux de soins au d veloppe ment de pratiques ducatives tourn es vers les patients porteurs de certaines maladies chroniques Ces pratiques n es le plus souvent d initiatives indi viduelles et locales peuvent s organiser de mani re tr s diff rente structur e ou non r unissant des acteurs des objec tifs ou des m thodologies extr mement vari s Parall lement une prise de conscience de l int r t individue
55. E a t prise dans un ouvrage de Deccache Certains articles pr sentent des grilles qui peuvent tre utiles pour structurer une valuation ou d crire des activit s Fournier et al pour l analyse de la litt rature sur l valuation et du ciblage des valuations publi es Molleman et al pour l outil pref fi 2 0 qui vise analyser l efficacit des interventions en promotion de la sant ainsi que Demarteau dans la partie 3 1 sur les dimensions valu es et le caract re explicite ou implicite des composantes de l valuation Fournier sur l analyse du processus de programmes d ducation du patient D autres auteurs proposent des fiches pratiques d taillant toutes les questions se poser chaque tape d une valuation d action Fontaine et al ainsi que les deux documents de l Anaes e osAjeue p s jjup 39 s poyz u EC D autres enfin sont des outils pratiques de suivi et de mesure des diff rents param tres de l action les 2 articles de Hincelin 61 e comment value t on B L 3 2 Mod les grilles et outils d valuation Deccache A Lavendhomme E Des besoins aux objectifs In Information et ducation du patient des fondements aux m thodes Bruxelles De Boeck universit 1989 pp 70 71 Fontaine D Beyragued L Miachon C Pr sentation des fiches In L valuation en 9 tapes fiches pratiques pour l valuation des actions et programmes sant et social Lyon ERSP 200
56. F VRIER 2000 l interaction Chacun engage sa res ponsabilit Plus loin l exp rience thique se d gage du rapport l autre anonyme par la m diation des institutions La libert des autres se construit alors et s abstrait dans la r f rence des valeurs comme l galit la fraternit Ces r gles reconnues comme l gitimes sont la trace de choix thiques collectifs ant rieurs L id e de valeur est une abstraction d tach e de l exp rience v cue mais qui en est issue La valeur est construite par le sujet partir de l analyse de ses actes et de ce qui vaut pour lui de ce qu il d sire Il faut pour cela l exercice d une libert personnelle qui permet le choix des actes Cette analyse person nelle est aussi soumise celle d autrui Elle est alors interpersonnelle Elle fera ensuite r f rence des valeurs recon nues collectivement h rit es par des exp riences v cues socialement fami liale ducative religieuse etc Ces valeurs se transforment alors en r gles en morales en lois L thique traditionnelle va consid rer ces valeurs les r gles la morale les lois comme des vidences Il y a une responsabilit individuelle mais sou mise la norme sociale Il s agit d un savoir implicite un savoir d arri re plan qui va de soi L thique rationnelle admet ce savoir implicite accepte qu il d termine aussi largement l expression explicite mais va le soumettre l exame
57. J A M Effectiveness of health education Assen Van Gorcum 1990 4 Roussille B Arwidson P L ducation pour la sant est elle efficace Vanves Comit fran ais d ducation pour la sant coll Dossiers techniques 1998 45 5 Veen C A Evaluation of the IUHPE project on the effectiveness of health promotion and health education Proceedings of the expert meeting Bonn 22 24 March 1995 Utrecht IUHPE Regional Office for Europe 1995 77 6 Demarteau M Analyse des pratiques d valuation de programmes d ducation pour la sant Th se de doctorat cole de sant publique de l Universit de Li ge 1998 7 Nevo D The conceptualization of educational evaluation an analytical review of the literature In House E R Stufflebeam D L Shinkfield A J Systematic evaluation a self instructional guide to theory and practice Boston Kluwer Ni hoff Publishing 1985 347 8 Barbier J M laboration de projets d action et planification Paris PUF 1991 287 9 Crozier M Friedberg E L acteur et le syst me Paris Seuil 1977 10 Madaus G F Stufflebeam D L Scriven M S Program evaluation a historical over view In Madaus G F Scriven M S Stufflebeam D L Evaluation models view points on educational and human services evaluation Boston Kluwer Nihoff 1983 423 11 Dab W La d cision en sant publique Surveillance pid miologique urgences et crises Ren
58. a d marche d valuation sont discut s de mani re approfondie Bouttin 2002 offre un exemple d valuation de projets de promotion de la sant en milieu scolaire elle pr sente une liste de 12 crit res d valuation des projets utilis e par un jury charg de remettre des prix r compensant les meilleurs projets uones9ijdde p s jdw x 76 e valuation d une action Les choix effectu s par le jury choix qui renvoient des principes ou des valeurs de la promotion de la sant sont ainsi mis en lumi re Comment faire participer la population destinataire de l action au processus d valuation Ridde et al 2003 pr sentent un processus d valuation participative de type empowerment Il proposent trois caract ristiques pour d finir une valuation participative et pour examiner si celle ci va jusqu l empowerment le degr de contr le du processus valuatif la s lection des personnes ressources pour la participation enfin l implication et la participation de ces personnes Les auteurs analysent les effets observables apr s un processus d valuation participative sur les populations cibles et sur les intervenants aupr s de ces populations Collin et al 2001 pr sentent un outil d aide l valuation de performance c est dire de processus et de r sultat qui combine une approche chiffr e bas e sur des indicateurs qui sont d taill s et une approche globale bas e sur l ana
59. a BFES a pour objectif de fournir un moyen facilement accessible d obtenir des informations d taill es sur les diff rentes recommandations professionnelles fran aises disponibles r pondant des crit res minimum et de valoriser les recommandations faites par l ensemble des professionnels de sant soci t s savantes associations professionnelles etc et par les agences sanitaires Quelque soit sa m thode d laboration recommandation pour la pratique clinique conf rence de consensus ou consensus formalis d experts une recommandation professionnelle doit pour tre incluse dans la BFES r pondre la totalit des crit res suivants tre conforme la d finition des recommandations propos e par l Institute of Medicine Contenir des propositions des strat gies ou autres informations d velopp es m thodiquement pour aider le professionnel de sant et le patient dans leur d cision concernant le caract re appropri des soins dans des circonstances cliniques donn es e fournir un document objectivant lors du processus de d veloppement des recommandations une recherche de la litt rature publi e ainsi qu un descriptif de la m thode de d veloppement de la recommandation tre con ue sous l gide d une organisation professionnelle fran aise reconnue agences gouvernementales soci t s savantes ou associations professionnelles d cideurs ou planificateurs en sant tre en langue fran aise et
60. a sant Paris Mutualit fran aise 2000 6 18 Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 Vandoorne C Les acteurs et les enjeux au c ur de l valuation promotion de la sant valuation Education sant 2002 173 9 11 En ligne http www educationsante be es article php id 329 Derni re consultation 24 11 2005 p 9 e SJEWUUUOS e sommaire In EE 3 M thodes et grilles d analyses comment value t on sss p 31 oO 3 1 Fondements th oriques G n ralit s 111s1sisisisisisisininiinineiseirseriesnres p 31 Br art G Bouyer J M thodes pid miologiques en valuation Revue d pid miologie et de D sant publique 1991 39 55 514 D e Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant
61. aires des actions les jeunes eux m mes les habitants des quartiers les tra vailleurs des entreprises les d tenus les personnes g es Le lien soci tal est ici en jeu Dans cette m me perspective l valuation une fois produite doit tre valoris e et ne pas rester dans un tiroir sous une pile de rapports Le deuxi me crit re de l gitimit de l valuation est sa scientificit L les choses se compliquent encore Le processus de connaissance mis contribution pour produire un jugement de valeur qui conduise des d cisions doit tre fiable Face cette exigence la tentation est grande de rejoindre l alternative initiale dont nous avions voulu sortir soit nous r fugier dans ce qu il y a d indicible dans la conscience que le sujet a de lui m me pour nous contenter d attester de la puret des intentions et de l minente valeur de la t che ducative et donc refuser le combat soit plonger dans des m thodologies qui ont fait leurs preuves dans le domaine des sciences exp rimentales la biologie en par ticulier Cette deuxi me attitude s appuie sur l hypoth se que les actions d ducation pour la sant sont assimilables des exp rimentations de laboratoire et s efforce d tablir des liens de causalit univoque entre des variables le plus ind pendantes possible Pour ce faire il convient de neutraliser toutes les variables sociales ext rieures influence collective
62. aits de leur s jour qui pour une majo rit d entre eux a d bouch sur une prise en charge th rapeutique qui se maintient apr s trois mois Mais l valuation fait aussi appara tre un certain nombre de probl mes Modalit s et crit res d admission Un nombre non n gligeable de jeunes admis aux urgences pour tentative de suicide refusent l hospitalisation On peut faire l hypo th se qu il y a parmi eux des adolescents qui tendent nier la gra vit de leur geste ou qui ne sont pas en tat d accepter de l aide et Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 87 e valuation d une action donc pr sentent des risques importants de r cidive dans la mesure o ils se retrouvent confront s aux m mes difficult s une fois pass la p riode des soins d urgence Les raisons qui motivent ces refus devraient tre explor es plus avant Une proportion importante de jeunes sont admis pour id ation sui cidaire et non pour tentative de suicide Cela risque terme d en tra
63. angements de com portement en essayant d identifier les tapes pr alables ces changements de comportement tapes qui pourraient faire l objet d valuation C est l qu on a besoin la fois des pid miologistes et des sciences humaines pour qu ils nous disent quels indicateurs pourraient nous signaler quel moment la relation ducative pourra amener des changements de comportement Claude MICHAUD Comit d partemental d ducation pour la sant du Doubs Codes 25 Extrait de la table ronde 17 septembre 1998 Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 EC e osAjeue p Se 1 3 s poyz u 60 e comment value t on B L 3 2 Mod les grilles et outils d valuation Cette partie regroupe des documents portant sur trois types d outils qui peuvent tre utiles lors de l laboration et de la mise en uvre d une valuation Certains documents pr sentent des mod les permettant d appr hender les diff rentes phases ou composantes d une action sur lesquelles peut porter l valuation La traduction fran aise du mod le PRECED
64. ant entendu que tout ne peut ni ne doit tre valu Il est vrai que le champ des possibles en valuation est vaste les objectifs peuvent en tre extr mement vari s par exemple comprendre comment se d roule une action de pr vention ou savoir quelle serait l action la plus pertinente mettre en place parmi plusieurs actions possibles parfois m me oppos s Les m thodes et les indicateurs peuvent l tre galement Selon la logique utilis e on fera ressortir davantage la sant physique des personnes leur qualit de vie ou le co t de l action de pr vention en utilisant des indicateurs qui mettent l accent sur des r sultats individuels ou collectif Par ailleurs l utilisation des r sultats de l valuation constitue une question part enti re tant la communication de donn es synth tiques et le contexte dans lequel on les mobilise peuvent d former des r sultats tr s nuanc s obtenus dans une situation donn e Ce point ne sera pas d velopp sp cifiquement ici mais certains des articles pr sent s apportent un clairage sur cette question Ce dossier documentaire a t initi dans le cadre de la r flexion men e par l Inpes sur l valuation dans son champ d expertise Sans pr tention l exhaustivit il regroupe des d finitions et des articles de m thodologie permettant de mieux comprendre la place de l valuation et donne des l ments de m thode et de pratique pour mettre en uvre l valuati
65. araisse pour que ma consommation s arr te II va donc me faire d couvrir le plaisir du vin pour lui m me et m aider donner du sens ma consommation Me sachant auvergnate et connaissant mon go t pour le fromage il m initiera l alliance subtile de ces deux saveurs Apr s quelques mois ce sera moi qui lui conseillerai de choisir tel cru pour les fromages p te dure et tel autre pour les fromages p te molle Un jour enfin je serai capable d expliquer comment je me suis mise aimer le vin de d crire tout le chemin que mon ducateur m a aid e parcourir Quant lui il s apercevra qu il a aussi chang il aura peut tre appris aimer le fromage II saura alors qu il a fait uvre d ducation L ducation pour la sant des patients est une aventure humaine travers cet exemple caricatural j ai essay de vous en d crire le che min Je vous propose maintenant de parler de mani re un peu moins imag e un peu plus s rieuse des diff rentes caract ristiques de la d marche ducative que j ai voqu es Diff rentes caract ristiques de la d marche ducative Clarifier ses intentions ducatives Mettre en uvre une d marche ducative suppose que nous ayons un projet une intention vis vis du patient avec lequel nous travaillons Cette intention ne peut pas se restreindre la normalisation d un para m tre biologique par exemple faire baisser le taux de glyc mie C est une intention qui conc
66. aris Luxembourg UIPES et Commission europ enne Durlak J A amp Welsh A M 1997 Primary revention mental health programs for children and adolescents meta analytic review American Journal of Community Psychology 25 115 152 Glanz K Lewis F M amp Rimer B K Eds 2002 Health behavior and health education theory research and practice San Francisco Jossey Bass Jong M D T d amp Schellens P J 2000 Formatieve evaluatie In Schellens P J Klaassen R and Vries S d eds Communicatief ontwerpen Methoden perspectieven en toepassingen Assen Van Gorcum Koelen M A Vaandrager L amp Colom r C 2001 Health promotion research dilemmas and challenges Journal of Epidemiology and Community Health 55 257 262 Kok G J Borne B v d amp Mullen P D 1997 Effectiveness of health education and health promotion meta analyses of effect studies and determinants of effectiveness Patient Education and Counseling 30 19 27 McQueen D V amp Anderson L M 2002 What counts as evidence issues and debates on evidence relevant to the evaluation of community health programs In Rootman l Goodstadt M McQueen D Potvin L Springet J and Ziglio E eds Evaluation in Health Promotion principles and perspectives Copenhague OMS EURO Meurs L H v 2002 Concept Preff 2 0 reliability and usefulness document de rec
67. ation du patient en r sulte But principal de l ducation du patient auto nomie autod termination observance 6 Quelles sont les m thodes p dagogiques uti lis es prescriptives enseignement didac igues enseignement travaux pratiques participatives apprentissage travail com munautaire ducation action sociale B Hi DIMENSION THEORIQUE ET ORGANISATIONNELLE patients 4 Quels soignants interviennent Quelles formations et comp tences ontils Combien sontits Quel est l investissement de chacun dans la structure Comment fonc tionne l quipe interdisciplinarit 5 Quels sont les th mes contenus d duca tion et quels sont les axes d apprentissage 7 6 Description des locaux et des quipe ments locaux implantation taille local sp cifique ou non mat riel p dagogique Iv DIMENSION M THODOLOGIQUE Quelles sont les strat gies ducatives Outils et supports p dagogiques quels sont ils Qui les a construits e Supports d informations et outils de com munication dans la relation de soin z Qutils servant tablir puis soutenir la rela tion ducative long terme carnet de Eh suivi contrat M thodes Collectives individuelles d autoapprentis sage 8 LE POINT DE iL Pourquoi sontils venus suivre un pro gramme d ducation En ont ils d j suivi un En ontis fait la demande Qu en attendent ils
68. bat n est peut tre pas l Malgr le d faut apparent de preuves scientifiques de son effi cacit l ducation pour la sant est d j financ e dans l espoir d une r duction des co ts Et m me si l ducation pour la sant tait plus efficace plus efficiente pour la sant que les soins curatifs encore faudrait il pouvoir isoler l action ducative des autres interventions en m connaissant leurs interactions il n y aurait pas de modifica tions du financement sans lutte politique Le discours sur l efficacit est aussi un enjeu strat gique entre acteurs et d cideurs c est un enjeu professionnel L affirmation de la comp tence professionnelle passe par l affirmation de la comp tence scientifique et technique surtout quand il faut s affirmer par rapport l activit curative et au mod le biom dical dominant Le d veloppement de l valuation est li la professionnalisation et au besoin de visibilit On le voit il est difficile d avancer dans une r flexion sur l action et l valuation en ducation pour la sant si l on reste dans le cadre pres criptif des bons mod les d action et des bons mod les d valuation C est pourquoi la recherche en ducation pour la sant va d abord ten ter plus modestement d observer et de d crire les pratiques d action et d valuation existantes Quelles sont les pratiques d valuation de programmes d ducation pour la sant C est dans cette vo
69. cation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 85 e valuation d une action Les participants qui en ont exprim la demande ont pu avoir acc s un bref r sum des r sultats de la recherche R sultats Les donn es chiffr es relatives au s jour l unit font appara tre un certain nombre d incidents Ainsi 10 des jeunes ont fugu en g n ral pour une courte p riode 22 ont effectu un geste suicidaire dans l unit sans cons quence grave heureusement 13 ont d tre exclus de l unit soit pour une d compensation psychique grave n cessitant une hospitalisation en psychiatrie soit pour un manque ment r p t au r glement Enfin il faut noter qu un quart des jeunes admis dans l unit y sont revenus dans les trois mois qui ont suivi leur premi re admission Le v cu des adolescents La majorit des adolescents gardent un bon souvenir de leur s jour L atmosph re est d crite comme chaleureuse et accueillante La vie de groupe les nombreux changes de parole sont pour beaucoup une d couverte et un plaisir Les soignants sont d crits comme tant parti culi rement empathiques et extr mement disponibles En r alit les commentaires de nombreux jeunes laissent appara tre une image id a lis e de ce lieu maternant o les adultes sont constamment
70. cative a augment son bien tre On imagine mal un va luateur d clarer Monsieur mes observations et mes calculs me per mettent d affirmer que vous vous sentez mieux Alors on a invent les chelles de qualit de vie pour donner la parole aux patients pour qu ils aident les valuateurs objectiver le bien tre ou le mal tre Le probl me c est que pour tre exploitables ces chelles doivent tre simples il faut r pondre chaque question par oui ou par non On ne fait pas dans la nuance Je me suis demand cette nuit si de telles chelles permettaient vraiment de mesurer le bonheur et la joie de vivre 2 Ma deuxi me remarque est la suivante il est commun ment admis que les d terminants de la sant et de la maladie sont mul tiples Quand on r clame l ducation pour la sant des r sultats des preuves on a parfois tendance l oublier Si une personne fait des crises d asthme c est cause de plusieurs facteurs intriqu s II est sans doute pertinent d entreprendre avec elle une d marche ducative mais il est discutable d attendre que cette d marche elle seule r duise le nombre de crises On a un peu tendance fixer l ducation des objec tifs qu elle n est pas en mesure d atteindre seule Si l on constate un nombre anormalement lev d accidents de la circulation aux abords d une cole il est sans doute judicieux d apprendre aux enfants regarder de chaque c t de la rue ava
71. ccorder nos patients le droit l erreur Sommes nous capables de consid rer les checs les erreurs les t ton nements des patients comme autant d occasions d analyse de compr hension de progression dans le processus ducatif Deuxi me question comment fait on de l valuation Apr s le pourquoi le comment On retrouve l encore des logiques qui s affrontent D un c t on veut objectiver des r sultats on veut prouver que l ducation a marche II faut viter les biais constituer des groupes t moins ma triser tous les facteurs d influence etc Il faut choisir des indicateurs chiffr s et des performances annonc es l avance Vous allez voir ce que vous allez voir gr ce mon action ducative je vais faire baisser de 25 les hospitalisations en urgence de 18 la consom mation de m dicaments et de 30 les d penses de sant D un autre c t on sent bien que a coince que c est un mod le un peu r ducteur a ne prend pas vraiment en compte l incertitude les al as de la d marche ducative la complexit des personnes des rela tions des situations a ne prend pas en compte les effets inattendus vouloir tout pr voir on promeut sans doute davantage la normalisa tion que l autonomie de la personne Alors face ces deux logiques apparemment inconciliables cer tains concluent peut tre un peu h tivement que l ducation n est pas valuable D autres consid rent plus pr
72. cice de synth se des d bats au cours d un colloque sur l valuation de l ducation pour la sant en 1998 met en perspective les apports d intervenants issus de champs diff rents Il aborde la question des crit res de l gitimit de l valuation et fait des propositions pour son am lioration et son d veloppement Nock pour sa part d taille les objectifs les avantages et les inconv nients des enqu tes qualitatives et quantitatives ainsi que des m thodes et outils mobilisables focus groupes groupes de parole questionnaires interviews chelles de perception Des exemples sont fournis pour rendre le propos le plus concret possible 31 e comment value t on B L Br art G Bouyer J M thodes pid miologiques en valuation Revue d pid miologie et de sant publique 1991 39 55 514 Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d A
73. composantes de l valuation sont toujours pr sentes et nous pensons galement que c est l nonciation d une ou de plu sieurs de ces composantes qui est significative de la fonction sociale qui est attribu e l valuation et qui d termine sa pratique C est l l ment d terminant qui permet de diff rencier les multiples pratiques d va luation L axe implicite explicite appliqu aux trois composantes de l va luation permet de pr voir l existence de huit types d valuation qui ser vent de fil conducteur pour la description des pratiques TO L valuation implicite Explicite Processus Jugement de valeur D cision Implicite T1 L valuation de d cision d cision explicite D cision Explicite Processus Jugement de valeur Implicite Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 36 e comment value t on B EN T2 L valuation d expertise jugement explicite Jugement de valeur Explic
74. concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves ditions Topes 2002 F 35012 na EATE EES AORTAE p 33 Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 nes p 50 Liekens L valuation participative Contact sant 2003 181 12 15 En ligne http www mrps asso fr portail site upload contact sante fichiers reperes 2003 reperes_CS178 pdf Derni re consultation 24 11 2005 Nock F En savoir plus solliciter les destinataires du programme In Petit guide de l valuation en promotion de la sant Paris Mutualit fran aise 2000 46 64 3 2 Mod les grilles et outils d valuation nten nen p 61 Deccache A Lavendhomme E Des besoins aux objectifs In Information et ducation du patient des fondements aux m thodes Bruxelles De Boeck universit 1989 pp 70 71 Fontaine D Beyragued L Miachon C Pr sentation des fiches In L valuation en 9 tapes fiches pratiques pour l valuation des actions et programmes sant et social Lyon ERSP 2004 p 3 4 En ligne www ersp org esp_ress commun F
75. d valuation cocher la les r ponses et pr ciser en regard tous les indicateurs retenus ex Type de crit re sanitaire Indicateur fr quence de consommation de tabac dans la population SOCIO CONOMIQUES Era rir nensi ann i rien ne haut ene td renard Ei astres d autonomie empowerment iii 5 d apr s Green adapt par Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In CFES CRAES ENSP universit Victor S galen de Bordeaux dir Evaluer l ducation pour la sant concepts et m thodes Vanves ditions Inpes s minaires 2002 p 35 50 Selon l Andem Les crit res sont des variables qui rendent compte de l atteinte des objectifs elles sont alors choisies parmi les r sultats qualit de vie tat de sant repr sentations savoir faire savoir tre savoirs offre de soins etc des diff rentes composantes du programme elles sont alors choisies parmi des l ments du processus participation des patients participation de l quipe et des autres partenaires ch ancier etc Les indicateurs sont les donn es concr tes qui dans la r alit rendent compte du crit re choisi Les indicateurs sont le plus souvent exprim s en pourcentage ou sous forme d un nombre Fournier C Sizaret A Ferron C Grille d analyse d articles portant su
76. dations Paris Agence nationale pour le d veloppement de l valuation m dicale octobre 1995 p 20 En ligne www anaes fr cliquer sur Publications puis Les titres Derni re consultation 24 11 2005 4 valuation d une action exemples d application 1 11911111151151111r1r1111s p 76 Bouttin V Sur quels crit res valuer les projets de promotion de la sant dans les coles ducation sant 2002 166 13 14 En ligne http www educationsante be es article php id 411 Derni re consultation 24 11 2005 Bullano S Repellin E L valuation du patient diab tique par un Examen Structur Objectif E S O Bulletin d ducation du patient 1999 18 hors s rie 8 11 Collin J F Giraudo S Baumann M Outil d aide l valuation de performance des actions de sant l exemple du programme de prevention de l alcoolisme en Lorraine Sant Publique 2001 13 2 179 193 En ligne http fulltext bdsp tm fr Sfsp SantePublique 2001 2 01 COLL pdf 6400W X4107 7DWWA4 T1X6Q 8G304 Derni re consultation 24 11 2005 Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux
77. de supporter sans dommage l entretien de l en qu te Cette r gle a t respect e la lettre au prix de retards ayant entra n dans cinq cas une impossibilit finale de rencontrer l adoles cent concern Un certain nombre d autres questions thiques ont galement fait l objet d une r flexion approfondie dans le cadre de l valuation L inclusion dans l tude tait subordonn e un accord crit apr s information L accord stipulait que l adolescent acceptait de donner ses coordonn es et d tre r interrog environ trois mois apr s son s jour et pr cisait bri vement les objectifs et les modalit s de la recherche ainsi que les modalit s de l entretien Les parents ont t tenus inform s mais leur accord n a pas t demand L enregistrement confidentiel des donn es tait garanti Le contenu de l entretien ne devait pas tre divulgu des tiers moins d une menace suicidaire pr sentant un danger imm diat Les r sultats sont pr sent s de fa on anonyme dans toutes les commu nications Chaque adolescent tait libre de ne pas r pondre aux questions qui lui posaient probl me Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l du
78. des valuations qui ont pr valu au choix des articles pr sent s dans cette partie ils ont t s lectionn s parce qu ils pr sentaient la fois une d marche d valuation et son d roulement lors d une application concr te ainsi qu une discussion sur les probl mes et les facteurs facilitants ventuellement rencontr s dans la mise en uvre Un certain nombre d entre eux concernent l valuation de programmes de promotion de la sant avec souvent une attention particuli re port e diff rents aspects de l valuation la rencontre entre les objectifs pratiques de l action et les objectifs scientifiques de l valuation Potvin et al 1994 la r flexion thique Ferron 2002 le respect des valeurs de la promotion de la sant Bouttin et al la participation des populations cibles Ridde et al 2003 ou la proposition de fiches pratiques Collin et al 2001 D autres articles sont plus sp cifiquement ax s sur l valuation de campagnes m diatiques Janzyk 2004 ou l valuation d outils ou de d marches conduites avec des supports ou une strat gie particuli re Perreault et al 1997 1996 Flament 2004 Bullano et Repellin 1999 Potvin et al 1994 noncent des principes pour mettre en uvre des valuations valides tout en ne sacrifiant pas aux principes de base de la sant communautaire dans les programmes de promotion de la sant savoir l implication de la population dans les phases de planification d
79. des d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 49 e comment value t on B EN EC Quatre propositions pour garantir la qualit de l valuation Bernard GOUDET Comit r gional d Aquitaine d ducation pour la sant Craes Le d fi de la synth se Nous sommes au troisi me jour du colloque et il me revient de synth tiser les travaux de trois ateliers o furent pr sent es et d battues seize communications Pour relever ce d fi quelques points d appui sont ma disposition les comptes rendus effectu s par les trois rapporteurs une lecture pr alable des r sum s les cadres d analyse propos s lors de la premi re journ e Il y eut en effet un premier jour o l on entendit des voix situant l va luation des actions d ducation pour la sant entre les deux syst mes de ressources et de contraintes de l pid miologie et des sciences humaines Roger Salamon d plora l impossibilit pour l pid miologie de construire des situations d exp rimentation comme le fait la biologie Malheureuse
80. des urgences Gen ve La mesure au temps T1 a t effec tu e par le charg de recherche de l quipe de Lausanne L valuation du statut psychiatrique a t r alis e aux temps TO et T1 l aide du Mini Mini International Neuropsychiatric Interview Cet instrument est un questionnaire qui permet d explorer les diff rentes dimensions du DSM4V Le fonctionnement psychosocial des adolescents a t valu au moyen d une s rie de questions explorant la vie familiale sociale et pro fessionnelle le r seau social les loisirs la perception de soi les plaintes psychosomatiques les probl mes de sant sp cifiques et les consulta tions m dicales la pr sence de comportements autodommageables accidents blessures prises de risque tentatives de suicide de com portements h t ro agressifs ou de comportements d linquants L entretien et la pr sentation des deux questionnaires ont dur d une heure et demie deux heures et demie selon les cas Ethique Le protocole d valuation a t soumis la commission d thique psy chiatrique de la facult de m decine de Lausanne Cette commission a mis un avis favorable subordonn au respect d une r gle bien pr cise avant de prendre contact avec l un des adolescents ayant fait un s jour l unit de Gen ve le chercheur tait tenu de consulter son th rapeute actuel s il en avait un afin de s assurer que l adolescent tait psycho logiquement en tat
81. devrait donc tre la fois savant juge et politicien Nous disposons ainsi d une d finition tr s large de l valuation mais comment l utiliser pour d finir une pratique d valuation Les axes de diff renciation des pratiques d valuation de programme La litt rature apporte des arguments pour identifier trois dimensions importantes caract ristiques d une pratique d valuation une dimen sion sociale une dimension strat gique et une dimension technique Elles permettent de diff rencier les pratiques tout en conservant l id e d une unit de structure toute valuation La dimension sociale ou l axe impliciteexplicite L valuation est une pratique sociale Cette affirmation pour vidente qu elle paraisse a mis longtemps s imposer la majorit des valua teurs Elle ne fait d ailleurs toujours pas l unanimit Cette pratique sociale de l valuation s exprime en premi re analyse par la position sociale et les int r ts des diff rents acteurs de l valuation Cette dimen sion strat gique de l valuation est prise en compte dans le deuxi me axe de diff renciation De fa on plus g n rale et plus subtile aussi la dimension sociale s exprime par l nonciation par la socialisation de l une ou l autre des composantes de l valuation La grille th orique que nous proposons s inspire du concept d ex plicitation d velopp par Barbier 8 mais en le g n ralisant Nous pen sons que les trois
82. e heure Il est devenu vident que les personnes utilisent Preffi diverses tapes des projets pour examiner leur propre projet et comme base pour tudier ceux de coll gues L valuation des projets d autres personnes peut cependant tre e osAjeue p Se 1 39 s poyz u EC 26 IUHPE PROMOTION amp EDUCATION HORS S RIE 1 2004 Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 74 difficile si l information manque ou est peu claire Il a t tabli qu il faut chaque fois en plus d valuer les documents fournis avoir en plus une discussion avec le charg de projet Les utilisateurs trouvent que ceci produit un aper u quilibr et utile des l ments du projet qui doivent tre am lior s Les avis exprim s lors de l tude pilote ont t corrobor s par l exp rience avec notre programme de mise en uvre de Preffi 2 0 dans le cadre duquel plus de 400 sp cialistes de la promotion de la sant ont d j t form s Conclusions Pour tre efficace la promotion de la sant exige l laboration et la diffusion de programmes dont l efficacit a t d montr e ainsi que la connaissance des principes qui influent sur cette efficacit Preffi est un syst me d apprentissage dynamique qui permet de concour
83. e aux attentes engendre une sanction la rupture des finance ments On a finalement peu parl des b n fices propres l valuation II s agit ici d une synth se d atelier Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOljEnEA9 p S129 qo Se IN 24 e pourquoi value t on C L Le premier inconv nient de cette situation est que l on fait appel des m thodes et des crit res d valuation susceptibles de satisfaire les financeurs des m thodes et des crit res acceptables par eux Dans ces conditions il arrive que l valuation soit peu utile aux acteurs et aux b n ficiaires de l ducation L valuation est plut t utilis e pour justi fier et p renniser les financements que pour am liorer les pratiques Deuxi me inconv nient de cette situation il est tout fait d con seill de faire conna tre de publier ce qui ne marche pas on risque d ef frayer les financeurs Quel enseignement pouvons nous alors tirer de nos erreurs de nost tonnements et de ceux des autres professionnels Et sommes nous capables d a
84. e critique un comit de pilotage technique soit compos d op rateurs soit associant op rateurs et tiers soit constitu de tiers Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 55 e comment value t on B EN Dans ce contexte l valuation prend un caract re correctif ou r gu lateur de l action joue un r le formateur pour les op rateurs facilite la r flexion sur les d cisions pour les responsables institutionnels 2 Veiller la coh rence entre les conceptions et m thodes de l action et les m thodologies d valuation Il existe diverses conceptions de la sant et de l ducation Selon la conception privil gi e l action prend une vis e sp cifique re oit des objectifs particuliers se pr te certaines m thodes d valuation et pas d autres Ces pr suppos s li s la relativit des connaissances en mati re de sant et de processus ducatifs mais plus encore la normativit incontournable des objectifs donn s l action restent le plus souvent implicites Le d cide
85. e d veloppement et de r alisation des projets Les auteurs examinent les lacunes du mod le traditionnel d valuation des programmes communautaires en promotion de la sant reposant sur des tudes exp rimentales ou quasi exp rimentales mesure de la pr valence de comportements de type avant apr s ou ici ailleurs ils visent v rifier une hypoth se de recherche les d cisions m thodologiques sont centralis es et il y a une tentative d uniformisation des caract ristiques des sites Pour satisfaire la fois les besoins des communaut s et les exigences des scientifiques d accroissement des connaissances trois principes sont propos s ne pas formuler de question de recherche a priori cr er un projet int grateur de plusieurs projets locaux d valuation enfin d finir un tronc commun minimal de donn es et d instruments de mesure Un exemple de mise en uvre concr te de ce type d valuation est propos Ferron 2002 d crit un projet d ducation pour la sant les enjeux autour de son valuation ainsi que les objectifs et m thodes choisis pour la mettre en uvre La m thode d valuation de processus est tr s d taill e objectifs indicateurs choisis m thodes de recueil et d analyse ainsi que la m thode d valuation des r sultats Les questions thiques qui se sont pos es sont clairement expos es ainsi que les choix m thodologiques qui en ont d coul Les obstacles et limites rencontr s au cours de l
86. e des outils concrets de planification et de mise en oeuvre de projets Le site offre de nombreux outils et documents pouvant tre utilis s pour g rer des projets exp rimenter et d velopper des m thodes et pratiques avec toute tape une valuation et des crit res de qualit Il est construit sur un mod le de pr sentation constant rubrique et sous rubrique au nombre de cent quarante et une pour les sections sur la m thodologie la premi re rubrique introductive rappelle les notions de base de projet et de qualit la deuxi me liste et explique les crit res de qualit des projets la troisi me est subdivis e en quatre phases planification g n rale planification d taill e phase de r alisation phase de conclusion et la quatri me rubrique propose des outils de travail avec des indications sur leur fonction et des instructions sur leur utilisation Un glossaire offre par ordre alphab tique les d finitions des pricipaux termes utilis s dans les textes des rubriques m thodologiques e pour en savoir plus 15 L TD en ne D gt N Fat lt _ D f N J 94 Soci t Fran aise de l valuation 12 www sfe asso fr Derni re consultation 24 11 2005 La Soci t Fran aise de l valuation SFE a t fond e en juin 1999 Elle a pour vocation g n rale de contribuer au d veloppement de l valuation et de promouvoir son utilisation dans les organisations publ
87. e l valuation m dicale octobre 1995 p 20 En ligne www anaes fr cliquer sur Publications puis Les titres Derni re consultation 24 11 2005 osAjeue p Se 1 39 sopoujeuwu EC 62 e comment value t on B EN Institut National de Pr vention et d Education pour la Sant Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Contexte d laboration cette grille a t con ue fin 2003 dans le cadre de la r flexion de l Inpes sur le d veloppement de l valuation dans son champ d expertise Une d marche participative d analyse de la litt rature a t mise en uvre au sein de l institut engageant des charg s de mission appartenant plusieurs directions e osAjeue p Se 1 3 s poyz u EC Objectif de cette grille analyser des articles s lectionn s par le d partement documentation ou identifi s par le lecteur d crivant des valuations d actions d ducation pour la sant Il s agit dans chaque article d tudier la m thodologie d valuation choisie et de r fl chir la pertinence et la faisabilit d une telle valuation pour les actions mises en uvre par l Inpes Nom du lecte raanei M Rte M das 1 Les documents concernant des recommandations pour l valuation ont t analys s part et sont pr sent s sous forme de dossier documentaire Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l
88. e la charte de cet orga nisme du bilan de son conseil scientifique et d autres textes exem plaires agr ment s de d clarations de quelques sages de la sant publique IIs avaient rempli un questionnaire leur entr e dans le bateau ils en rempliraient un second leur sortie et nous aussi et l on comparerait les r ponses Je me rendis compte alors que nous n avions pas rempli de questionnaire l entr e et que nous ne serions peut tre pas en tat d en remplir un la sortie L illusion du bateau t moin et de la science salvatrice se dissipa La d l gu e g n rale dansait une biguine endiabl e gage vident de bonne sant et je me rappelais ce qu avait d clar Michel Demarteau dans un atelier le matin Nous n arriverons jamais prouver math matiquement l effi cacit de l ducation pour la sant Mais alors que nous restet l faire Que peut tre l valuation du travail ducatif r alis avec ces multiples sujets d sirants et contra dictoires fa onn s par des cultures qui les mod lent et les contrai gnent impliqu s dans l action de la soci t sans avoir beaucoup de pouvoir pour en changer le cours Je cite approximativement une d finition de l ducation pour la sant qui a eu les honneurs de La Sant de l homme et ne donne point le nom de son auteur par gard sa modestie Que peut tre l valuation de l action ducative aupr s de ces individus concrets sing
89. eil et de structuration de Pinfor mation mais qui ne se r duit ni des informations quantifi es ni aux pro c dures exp rimentales L valuation n tudie pas Paction pour le savoir mais pour l action Le savoir sur l action n est qu une tape et non une finalit Ainsi bien qu elle uti lise les m thodes scientifiques l va luation ne serait pas une science Cette affirmation soul ve des enjeux pis t mologiques importants L valuation par exemple peut elle servir conna tre et comprendre l ducation pour la sant en accumulant des connais sances g n ralisables L valuation se r f re ensuite la production d un jugement de va leur sur l action L valuation pose la question de la valeur des actions en treprises C est pour cela qu elle offre un champ aux questions thiques et se tourne vers les philosophes pour clarifier par exemple la distinction entre valeur et v rit D L valuation comprend enfin l utili sation de ce jugement pour prendre des d cisions sur le d roulement de l action La derni re facette de l valua tion mais aussi la plus importante est la question de la d cision qui conduit l action C est la finalit ou l usage de l valuation C est aussi le lien in vi table avec le champ du politique Cependant si P valuation a pour int r t principal d assurer la conduite de l action c est parce qu elle aide mieux conna
90. embre 1998 Vanves Editions Inpes 2002 35 51 33 e comment value t on B EN L valuation est une question de valeurs avant d tre une question de connaissances comme l utilisation des termes bonnes pratiques nous le fait entrevoir Prouver l efficacit demande un examen des enjeux et des acteurs Prouver l efficacit demande une r flexion sur les m thodes de la preuve Prouver l efficacit demande une analyse de l utilisation des preuves cet gard les tentatives pour rassembler des l ments de preuves de l efficacit de l ducation pour la sant partir de revues de litt ra ture sont souvent d cevantes voire invalides Elles occultent la ques tion des valeurs Elles refl tent implicitement les valeurs des cher cheurs et de ceux qui les publient D ailleurs les r sultats ne portent le plus souvent que sur des effets court terme d interventions tr s cibl es dont on ne nous dit rien du contenu ni du d roulement 5 Le discours sur l efficacit a en fait plusieurs fonctions 6 II porte un enjeu thique II faut conna tre les effets pour ne pas nuire II sous tend un enjeu conomique et politique L ducation pour la sant qui a un co t at elle des effets co t gal permet elle d tre plus efficace que d autres strat gies Permet elle de r duire les co ts de la sant II y a bien diff rents enjeux conomiques propos de l ducation pour la sant Mais le d
91. entions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 72 un formulaire de pointage qui permet aux utilisateurs d attribuer des notes une liste de crit res de qualit les fameux indicateurs d crits pr alablement et qui comporte un espace pour d crire les l ments qui doivent tre am lior s une repr sentation visuelle du mod le Preffi 2 0 d crit la section suivante de cet article est galement incluse sur ce formulaire un document intitul Op rationnalisation et normes qui permet de documenter chaque crit re au moyen d une ou plusieurs questions auxquelles il faut r pondre par oui ou par non des normes cat gories de notes pour interpr ter les r ponses aux questions d op rationnalisation sont galement fournies un Manuel de l utilisateur qui explique Preffi 2 0 et donne des instructions pour l utilisation de l outil et chacun de ses l ments Ceci est compl t par un document exhaustif intitul Guide explicatif qui donne des d tails suppl mentaires sur les crit res de qualit indicateurs pr visionnels des effets et examine leur importance pour l valuation de l efficacit ainsi que l information sur les donn es probantes disponibles y compris des r f rences documentaires Peters et al 2003 Le mod le Preffi 2 0 Les principaux l ments conceptuels de l outil sont repr sent s dans le mod le Preffi 2 0 voir la f
92. er lavalidit ducontenudelagrille laconstitution d un panel d experts issus de diff rentes disciplines et l analyse th matique de contenu par des chercheurs comparant les th mes retenus dans la grille et les th mes identifi s lors d entretiens avec des personnes issues de la population cible ou lors de l observation de rencontres entre des professionnels et ces personnes La comparaison des donn es issues de recherches du processus d laboration de la grille et des items retenus laisse appara tre deux construits qui ne sont ni d finis ni interrog s le concept de besoin et le mod le des d terminants de la sant Les auteurs recommandent qu une analyse qualitative des concepts qui fondent la validit d outils con us pour mesurer et pr dire soit men e pr alablement des tudes quantitatives lt uones9ijdde p s jdw x 77 e valuation d une action Flament 2004 relate l valuation de d marches conduites avec un outil d animation en l occurrence l outil animation sant Apr s une pr sentation claire de la m thode d animation ses objectifs g n raux les phases qui la structurent les proc d s et le mat riel utilis la position de l animateur les contenus et les difficult s rencontr es l auteure pr sente l valuation de processus d une recherche action qui s appuie sur une grille d observation con ue par les animateurs Cette grille permet de questionner huit dimensions de l
93. ermet une prise de d cision Les trois tapes qu il propose me paraissent tout fait applicables l valuation d une d marche ducative donnons nous les moyens d observer nos pratiques analysons les en r f rence aux caract ristiques que j ai d crites et prenons les d cisions qui nous permettront de devenir de meilleurs ducateurs Ce qu il importe d valuer c est d abord notre capacit faire uvre d ducation Quant l efficacit de nos inter ventions en termes de sant publique je l ai dit pr c demment nous ne pourrons la mesurer qu en prenant en consid ration toutes les autres actions de promotion de la sant mises en uvre Si je me fie mon intuition et mon bon sens c est dans cette direc tion que j ai envie de chercher J esp re que certains d entre vous sont pr ts m accompagner sur ce chemin Merci de votre attention et par don de vous avoir racont ma vie Synth se d atelier et mise en perspective assembl e pl ni re 17 septembre 1998 Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOljEnEA9 p S129 qo
94. erne la personne dans toute sa complexit ainsi que larelation que nous tablissons avec elle en tant que professionnel Notre projet ducatif est sous tendu par des valeurs qu il importe de clarifier Avoir une m thodologie rigoureuse ne dispense pas de Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOljEnEA9 p S129 qo Se IN 28 e pourquoi value t on C L s interroger en amont sur ses propres conceptions des relations m de cin patient de la maladie de la sant de la souffrance de la mort Autant d l ments qui influenceront notre d marche m me si nous n en avons pas conscience tablir une relation d quivalence De mani re un peu provocatrice j ai parl de s duction Je ne vous recommande pas pour autant d inviter au restaurant tous les patients avec lesquels vous travaillez Je voulais seulement attirer votre attention sur le fait que la d marche ducative suppose une relation de confiance r ciproque un apprivoisement Jean Fran ois Malherbe crit que l au tonomie ne peut se d velopper que dans une relation d qu
95. ersitaire de m decine sociale et pr ventive de Lausanne Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 82 e valuation d une action Les objectifs de l valuation taient d appr cier le fonctionnement de l unit ou processus et l impact des soins sur le devenir des ado lescents c est dire les r sultats en termes de qualit de prise en charge et plus globalement d quilibre psychologique et relationnel Cette valuation devait d boucher sur des recommandations Ont ainsi t enregistr s les opinions des intervenants infirmiers et th rapeutes sur le fonctionnement de l unit les opinions des jeunes patients sur le fonctionnement de l unit le v cu par ces patients de leur s jour l unit et les suites de ce s jour le taux de prise en charge th rapeutique moyen terme l tat psychologique et l tat de sant des patients moyen terme par comparaison avec leur tat l admission en milieu hospitalier Il est int ressant de pr c
96. ervateur ext rieur Cette expertise devient externe formelle si les crit res sont pr ci s s voire standardis s L observateur de la formation a d fini au d part ses crit res de jugement Cet exemple de l valuation d expertise met en vidence trois enjeux dans les relations entre jugement processus et d cision en fonction des trois dimensions identifi es Il y a d abord l enjeu de l xplicitation L expertise est une forme d valuation relativement ancienne qui appa ra t en relation avec l valuation de politique publique d s le xvui si cle 10 L expert est au carrefour entre un savoir sp cialis et un probl me r soudre Il est appel dire non seulement ce qu il sait mais aussi ce qu il pense de ce qu il sait II passe alors du savoir la conviction C est une activit de jugement et non une activit scientifique Toute exper tise comme toute valuation risque d s lors de d clencher des strat gies de contestation r futation mise en cause blocage vitement contr le L explicitation du processus de production du jugement de l expert et l explicitation de l utilisation de l expertise les deux autres compo santes d une valuation ne suppriment pas les conflits mais les balisent Cette explicitation va dans le sens du concept de rationalisation accrue propos par William Dab 11 dans son ouvrage sur l pid miologie et la prise de d cision L explicitation de l val
97. es conditions d exposition aux risques sont elles connues Bury J A Education pour la sant concepts enjeux planifications Bruxelles De Boeck Universit 1988 p 198 gt Q C D A D N Q D gt gt N J qu est ce que l valuation E L Evaluer un projet en ducation pour la sant ce n est pas n cessairement ou seulement dire s il est efficace ou non D terminer l utilit a priori d un projet mesurer la compr hension d un message conna tre les effets d une action ou s interroger sur le d roulement d un plan tout cela est valuation Mais chacune de ces valuations est diff rente des autres de par son contenu ses objectifs ses m thodes et les probl mes pratiques qv elle pose Toutes les valuations ont toutefois un point en commun elles aident fonder une d cision effectuer un choix Pour cela elles nous fournissent des informations dont nous tirerons des conclusions Evaluer c est collecter ou fournir des informations en vue de prendre une d cision C est aussi comparer les informations collect es avec des crit res des normes correspondant aux objectifs de l valuation Cela sous entend qu il existe une d cision prendre un objet valuer des objectifs d valuation des crit res des informations collecter Pr ciser ces cinq l ments r pondre ces questions est la premi re tape d une valuation Deccache A
98. es de l valuation et la res ponsabilit de l valuateur ces trois niveaux Nous n entendons pas l va luateur comme le sp cialiste des tech niques de l valuation mais comme tout ducateur pour la sant qui se penche sur les actes qu il pose L valuateur voit sa responsabilit thique engag e au cours du proces sus de r colte et d analyse des infor mations Il y a d abord une responsabilit professionnelle par exemple res pect de la libert d autrui de la vie pri v e lors des investigations Cette res ponsabilit est vidente et souvent encadr e par des lois C est moins d thique qu il s agit ici que de d on tologie ou de morale Cette dimension professionnelle est bien identifi e Il existe par exemple des standards de qualit d une valuation d finis par le Joint Committee on Standards for Edu cational Evaluation aux tats Unis Celui ci propose comme dimensions cl s l utilit l honn tet loi et morale la faisabilit et la pr cision Il y a surtout sur le plan thique la recherche d une information pr cise voire exacte Le processus d valuation vise id alement une information com pl te et impartiale Elle emprunte aux m thodes de la d marche scientifique pour atteindre le vrai mais cette recherche de l objectivit est plus un engagement une exigence thique qu une r alit Il n y a pas il ne peut y avoir une information exacte com
99. es donn es s est d roul e comme suit les premiers bilans de la situation des jeunes ont t r alis s du 1 novembre 1996 au 31 mars 1997 par l quipe genevoise les seconds bilans r alis s par l quipe lausannoise ont d but le 1 f vrier 1997 et se sont d roul s jusqu au 30 juin 1997 valuation des processus Ce volet de l valuation a port sur le fonctionnement de l unit tel qu il tait per u par les intervenants et par les adolescents Le chercheur a rencontr en entretien individuel chacun des membres de l quipe Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 83 e valuation d une action les dix intervenants de l quipe infirmi re les quatre th rapeutes trois m decins une psychologue l assistante sociale la psychologue en charge de la recherche et de la pr vention le m decin responsable galement commanditaire de l valuation soit un total de dix sept entretiens Le guide d entretien semi directif labo
100. es r sultats En ce qui concerne la prise en charge apr s trois six mois les entre tiens avec les jeunes suicidants ont abord de fa on syst matique les recommandations qui ont t propos es l issue du s jour hospitalier les mesures psychoth rapeutiques suivi psychiatrique ou psy chologique ou autres autres professionnels placements stages d marches diverses etc l application ou non de ces recommandations et les raisons d une non application de ces recommandations le degr de satisfaction par rapport au suivi l aboutissement des d marches planifi es lors de l hospitalisation Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 84 e valuation d une action Une mesure de l volution du statut psychiatrique et psychosocial de l adolescent a t effectu e au moyen de comparaisons standardis es entre le temps TO admission l unit et le temps T1 de trois six mois apr s la sortie La premi re mesure a t effectu e au temps TO dans le cadre
101. es vivant en grande pauvret Ruptures 1996 3 2 173 186 En ligne www medsp umontreal ca ruptures pdf articles rup032_173 pdf Derni re consultation 24 11 2005 EN uones9ijdde p s jdw x 79 e valuation d une action Potvin L Paradis G Lessard R Le paradoxe de l valuation des programmes communautaires multiples de promotion de la sant Ruptures 1994 1 1 45 57 Ridde V Baillargeon J Quellet P Roy S L valuation participative de type empowerment une strat gie pour le travail de rue Service social 2003 50 263 279 En ligne www erudit org revue ss 2003 v50 n1 009972ar html Derni re consultation 24 11 2005 uones9ijdde p s jdw x 80 e valuation d une action valuation de l unit de crise pour adolescents des h pitaux universitaires genevois Christine FERRON Comit fran ais d ducation pour la sant Vanves Pierre Andr MICHAUD Institut universitaire de m decine sociale et pr ventive Lausanne Le contexte de l action En octobre 1996 les h pitaux universitaires de Gen ve ont mis en place une unit hospitali re pour jeunes suicidants assez rapidement rebaptis e unit de crise pour adolescents Avant l ouverture de cette unit il n existait pas d autre alternative pour les jeunes suicidants que l admission au centre m dicochirurgical de l h pital cantonal de Gen ve o ils recevaient d ventuels soins somatiques avant u
102. essources disponibles et de gestion des contraintes les crit res d interaction entre parties du programme entre diff rents programmes et syst mes impliqu s c est dire l intersectorialit la part respective de l Education pour la Sant et du sociopolitique et la compl mentarit des approches verticales par th me ou risque et transversales par public ou situation et enfin les crit res relatifs aux choix valoriels et th oriques aux paradigmes sous jacents c est dire l acceptabilit l quit l accessibilit les aspects thiques l ad quation des m thodes et techniques utilis es aux choix philosophiques et conceptuels effectu s En effet entre participation activisme et manipulation la diff rence est parfois faible entre sant du public et sant publique les limites sont floues et entre l int r t de l individu et celui de la collectivit les conflits ne sont pas rares Ces crit res c est tous les partenaires de les d finir pouvoirs subsidiants d cideurs population et professionnels de la promotion de la sant et non un seul d entre eux Chacun de ces acteurs peut ainsi apporter sa vision de la qualit et ses attentes Entre la complexit scientifique et la n cessit politique souvent reconnues nous devons garder la place de la pertinence sociale de la promotion de la sant Entre les diff rentes sortes de crit res d crites par Green de
103. et outil peut aider prendre en compte les diff rentes dimensions d un programme ducatif et contribuer poser la question de la coh rence interne d un programme inscrit dans un contexte propre Ii peut tre aussi une aide la conception d un programme en incitant d finir d avance les strat gies employ es en fonction des objectifs et du contexte Toutefois pour que l valuation d un programme d ducation du patient soit compl te il est n cessaire que l va luation des processus soit reli e en amont une analyse de besoins et en aval une valuation des effets C cile Fournier Interne de sant publique Direction g n rale de la sant Paris DA LA SANT DE L HOMME N 341 MAI JUIN 1999 au niveau de l h pital e Y atil une politique d ouverture la promo tion de la sant l ducation pour la sant et l ducation du patient le Quelles sont la repr sentation et la position ti des instances administratives de l h pital vis avis du centre ou du programme d duca tion du patient Existe ti une coordination transversale de z l ducation du patient sur l h pital Si oui par quels professionnels i ANALYSE DU CADRE INSTITUTIONNEL au niveau du centre ou du programme d ducation s Quelle est l origine de la cr ation du centre ou du programme et qui uvr pour e Quel est le v cu de leur situation de teur travail et de leurs co
104. fqo s l IN 25 e pourquoi value t on C L autour du cou pour oublier la dure r alit de l valuation en ducation pour la sant Quant moi rassurez vous je n ai pas pass la nuit r diger le glos saire J ai seulement essay de comprendre pourquoi certains outils de l valuation n taient pas adapt s l ducation pour la sant et quelle piste il fallait emprunter pour en trouver de nouveaux Difficult s et ambigu t s de l valuation J ai remarqu trois choses qui ne vous ont s rement pas chapp 1 Hier nous avons souvent parl d une v n rable institution qui s appelle l Inserm II semblerait qu elle d tienne les cl s de l valua tion Quand on veut faire s rieux scientifique quand on veut prouver aux financeurs que l action que l on m ne est efficace on se tourne vers l Inserm Les chercheurs de cette institution savent tr s bien mesurer l efficacit d jouer les biais comparer les groupes d inter vention et les groupes t moins etc Ils disposent de m thodes prou v es dans le domaine de la recherche m dicale c est la raison d tre de leur institution Mais nous c est de sant que nous parlons pas seulement de m de cine Or depuis 1946 on s accorde dire que la sant c est le bien tre Peut on observer le bien tre d autrui l objectiver le mesurer On per oit bien que seul le patient peut dire s il se sent bien ou non si la d marche du
105. herche en N erlandais Woerden NIGZ Molleman G R M 1999 Implementing the Preffi the use of guidelines for practitioners in the Netherlands in Best Practices a selection of papers on Quality and Effectiveness in Health Promotion Helsinki Talinn Centre finlandais de promotion de la sant Molleman G R M Hosman C M H Kok G J amp Peters L W H 2004 mplementation of a quality assurance instrument Prefi 1 0 to improve the effectiveness of health promotion in the Netherlands submitted Molleman G R M Peters L H M Hommels L H amp oeg M A 2003 Assessment Package Health romotion Effect Management Instrument Preffi 2 0 Woerden NIGZ Disponible l adresse http www nigz nl english index cfm code 904 Peters L H M Molleman G R M Hommels L H Ploeg M A Hosman C M H amp Llopis E 2003 Explanatory Guide Preffi 2 0 Noerden NIGZ Disponible l adresse http www nigz nl english index cfm code 904 32 IUHPE PROMOTION amp EDUCATION HORS S RIE 1 2004 27 e osAjeue p Se 1 3 s poyz u EC Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 75 e valuation d une action Ce ne sont pas les th mes les populations ni les r sultats
106. ichevalERSPdocfinal pdf Derni re consultation 24 11 2005 Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p seine p 63 Fournier C D crire et analyser les programmes d ducation du patient La sant de l homme n 341 mai juin 1999 p ID l6 reiron aranna ROTT E RRi p 69 Hincelin L Indicateurs et tableaux de bord du pilotage l valuation Contact sant 2004 196 16 17 En ligne http www mrps asso fr portail site _upload contact_sante fichiers reperes 2004 reperes_CS196 pdf Derni re consultation 24 11 2005 lt lt m gt e sommaire DE CE i Hincelin L Petits outils d valuation Contact sant 2001 166 18 19 Les tapes pr paratoires de l valuation In Service valuation technologique service valuation conomique Guide m thodologique comment valuer a priori un programme de d pistage Saint Denis Anaes 2004 pp 15 18 En ligne www anaes fr cliquer sur Publications puis Les titres Derni re consultation 24 11 2005 e 9SJIEWIUUOS Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interventions en promotion de la sant Promotion et Education 2004 hors s rie 22 27 in p 71 Service de formation Des tapes aux questions In Evaluation d une action de sant publique recomman
107. ie de recherche que je me suis engag Pour d crire les pratiques je propose tout d abord un cadre concep tuel partir d une d finition de l valuation de programme cette d fi nition met en vidence les enjeux de l valuation Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 34 e comment value t on B EN Ensuite je pr senterai quelques r sultats de l analyse des propo sitions d valuation contenues dans quarante six programmes d du cation pour la sant propos s en Belgique pour une demande de financement Je terminerai avec cinq propositions pour progresser dans l valua tion en ducation pour la sant Le cadre conceptuel La description des pratiques d valuation de programmes Une d finition de l valuation de programmes Qu est ce que l valuation Quelle est son origine Je propose une tra duction libre de l histoire de la gen se de l valuation racont e par Michael Patton Au d but Dieu cr
108. igne ftp ftp cdc gov pub Publications mmwr rr rr4811 pdf Derni re consultation 24 11 2005 Fontaine D Beyragued L Miachon C R f rentiel commun en valuation des actions et programmes sant et social Lyon ERSP 2004 101 p En ligne www ersp org esp ress commun Referentiel 20Eval 20ERSP pdf Derni re consultation 24 11 2005 Green L W Lewis F M Measurement and evaluation in health education and health promotion Palo Alto Mayfield Publishing Company 1986 621 p Stufflebeam D L Shinkfield A J Systematic evaluation a self instructional guide to theory and practice Boston Kluwer Nijhoff Publishing 1985 347 p Mod les grilles et outils d valuation Berrewaerts J Libion F Deccache A Quels crit res et indicateurs d valuation sont privil gier en ducation pour la sant en milieu de soins Louvain UCL S rie de dossiers techniques 03 23 46 p En ligne www md ucl ac be entites esp reso dossiers dos23 pdf Derni re consultation 24 11 2005 Conseil sup rieur de promotion de la sant Grille d valuation utilis e par la Commission d avis Campagnes radiodiffus es En ligne www sante cfwb be charger grillevalucampagnes pdf Derni re consultation 24 11 2005 D Amours 6G Deschesnes M Jomphe Hill A Olivier C Guide d valuation des interventions Projet Ecoles Milieux en sant de l Outaouais Hull Can Direction de la sant publique de l Outaouais RRSSSO
109. igure 1 qui insiste sur la nature dynamique des projets de promotion de la sant l interaction constante entre le contenu et les conditions contextuelles et la nature cyclique du processus de promotion de la sant L l ment central du mod le montre les tapes qu il faut suivre dans la conception et la mise en uvre syst matique d un projet savoir analyse du probl me choix et d finition de la bonne intervention mise en uvre et valuation de celle ci Les tapes du processus sont repr sent es par des losanges parce que chaque tape consiste en un premier temps examiner un vaste ensemble d options divergence puis de choisir parmi ces e comment value t on E L options en se fondant sur les aspects du contenu et les conditions contextuelles convergence Pour donner un exemple l analyse du probl me consiste dans le meilleur cas de figure d celer toutes les causes d terminants possibles apr s quoi on choisit les d terminants devant tre abord s dans le cadre de l intervention en se fondant sur des arguments de contenu de pertinence de modificabilit et de faisabilit pratique Les losanges se chevauchent parce que le processus de s lection doit toujours prendre en ligne de compte les cons quences et les options de l tape suivante Ainsi lorsqu ils choisissent une Efficacit intervention particuli re les concepteurs devraient d j prendre en consid ration
110. ion alors que ceux de droite portent particuli rement sur les aspects de la mise en uvre La structure fondamentale est la m me que celle de Preffi 1 0 mais certains l ments ont t red finis l un par rapport l autre Au niveau de chacun des crit res le Preffi 2 0 a t r vis fond tel que d crit pr c demment et le nombre de crit res a t ramen de 49 39 Exemple de lop rationnalisation et des normes d un crit re Preffi 6 3 a Participation du groupe cible Op rationnalisation 1 Dans le cas d interventions labor es ailleurs p ex au niveau national le groupe cible g n ral a t il au moins t consult pendant que l intervention tait labor e 2 Pour n importe quel projet le groupe cible particulier pour le projet actuel c d les r sidents du district cible ont ils au moins t consult s pendant que l intervention tait labor e ou avant que le mod le d intervention ait t choisi 3 Pour n importe quel projet compte tenu de la nature du projet le groupe cible a t il particip suffisamment l laboration ou la s lection de l intervention Normes e Faible question 1 non ou sans objet et question 2 non ce qui rend la question 3 sans objet e Mod r e question 1 et ou 2 oui et question 3 non e Forte question 1 et ou 2 oui et question 3 oui e comment value
111. ion des ateliers le fait de ne pas tre une sp cialiste du sujet et le fait de n avoir entendu que quatre expos s sur neuf m viteront sans doute une trop grande interpr tation person nelle des d bats Et puis rassurez vous je me suis fait aider par les ani mateurs rapporteurs et participants des ateliers 5 et 6 Jean Claude Palicot Bernard Gay Alain Deccache Jean Louis Demeaux Ren Chassaigne et Fran ois Par J tais bien entour e Merci eux tous Quant aux perspectives que je suis suppos e d gager dans la deuxi me partie de mon expos d faut de comp tences tr s pointues dans le domaine de l valuation j ai surtout fait appel un m lange savamment dos d intuition f minine et de bon sens paysan Eh oui j ai la chance d tre une femme et j ai la chance d tre auvergnate a aide Pour commencer je vais essayer de vous dire autour de quelles ques tions ont tourn les d bats ou plus exactement ce qu en ont retenu mes petits camarades cit s pr c demment Deux questions principales Premi re question pourquoi fait on une valuation Il semblerait que ce soit le plus souvent pour montrer aux financeurs que a marche pour leur prouver qu ils n ont pas gaspill leur argent Nous sommes apparemment prisonniers de cette logique conomique Nous avons un peu de mal nous en affranchir L valuation est avant tout une obligation une contrainte dont le r sultat s il n est pas con form
112. ions donc deux d fis relever tablir des ponts entre l observation objectivante des ensem bles humains et la prise en compte de la singularit unique de chaque sujet lever le doute sur la valeur de l action au prix d un d tour par la connaissance Il y eut un deuxi me jour o nous nous m mes l analyse des pra tiques d action et d valuation Il se termina en bateau et nous v mes que cela tait bon Un mat riau tr s riche de pratiques d action et d valuation fut livr au travail des trois ateliers Comment rendre compte des r sultats de nos travaux Partons des bauches de r ponse aux deux enjeux de la premi re jour n e qui ont pu appara tre dans la r flexion des ateliers La demande de Jean Pierre Deschamps d tablir un pont entre l uni vers des populations et des individus moyens et celui des sujets vivants chacun particulier et unique fut r it r e Des pistes furent parfois sugg r es Parmi diverses passerelles pos sibles je prends sur moi d en proposer une emprunt e la r flexion sociologique de ce courant tourainien si soucieux d clairer l enga gement de sujets acteurs dans le changement social et plus pr cis ment aux travaux de Fran ois Dubet celle de l analyse de l exp rience sociale 1 dans la soci t contemporaine Cette perspective sociologique nous montre l individu faisant l exp rience d une vie sociale qui le soumet des injonctions contradictoires
113. iques de mandater les tudes d valuation et g rer les relations contractuelles avec les valuateurs externes de d finir et veiller l application des normes de qualit applicables la planification et la r alisation des valuations assurance qualit de servir d interm diaire entre les sp cialistes de l OFSP et les valuateurs externes en particulier au niveau m thodologique de analyser des r sultats d valuation et en faire une synth se pour l OFSP de tisser un r seau de comp tences sp cialis en valuation en dehors de l OFSP autres services f d raux associations sp cialis es etc Le site internet du CCE est une mine d informations De nombreux documents sont accessibles en ligne tels que les rapports et tudes men s et des outils relatifs l valuation guide d valuation checklists standards d valuation 92 e pour en savoir plus 15 ES D O E D 3 a D lt O _ 2 a e 93 Portail de l valuation des politiques publiques www evaluation gouv fr Derni re consultation 24 11 2005 Ce portail a t cr par le Commissariat g n ral au plan la D l gation interminist rielle la r forme de l Etat et la D l gation l am nagement du territoire et l action r gionale Il a pour objectif de faciliter l acc s au plus grand nombre acteurs de l valuation m dias chercheurs grand public l ensemble des donn es d valuation produ
114. iques et priv es et aussi au sein des collectivit s en charge de l laboration et de la mise en oeuvre des politiques publiques Elle s efforce notamment de faire progresser les techniques et les m thodes et de favoriser le respect de r gles thiques et proc durales propres garantir La Charte de l valuation des politiques publiques et des programmes publics adopt e par l assembl e g n rale de la SFE le 28 octobre 2003 se trouve En ligne sur ce site Ce texte de r f rence s adapte diff rentes mises en uvre d valuation il exprime 6 principes importants les principes de pluralit de distanciation de comp tence de respect des personnes de transparence et de responsabilit La consultation de ce site permet de rep rer les activit s des groupes de travail sectoriels ou transversaux de trouver des informations d ordre v nementiel et des liens vers des sites similaires Enfin une base de donn es sur les formations l valuation est disponible elle est interrogeable par th matique par localisation ou par type de formation dipl mante vs professionnelle Autres ressources documentaires Pourquoi value t on Les objectifs de l valuation Anceschi O Duvaufferrier G Le Tellier N Synth se documentaire la promotion de la sant au Qu bec en Suisse au Royaume Uni et dans la Communaut fran aise de Belgique pratique de l valuation et de l accr ditation Paris Institut national des tech
115. ir cet objectif de diverses fa ons L outil combine connaissances scientifiques et pratiques et sa fonction principale en est une de diagnostic de la qualit qui aide les utilisateurs d terminer d ventuelles am liorations leurs projets En sus il pourrait ventuellement tre utilis comme outil de s lection de projets bien qu il faille davantage de recherche et de d veloppement pour cette fonction une tude actuellement en cours a justement pour objet d examiner combien d valuateurs il faudrait pour obtenir des conclusions dignes de confiance cet gard Le perfectionnement de l outil Preffi se poursuit car de nouvelles versions sont produites r guli rement et son aspect pratique sa fiabilit et sa validit sont sans cesse am lior s Les praticiens n erlandais sont d avis que l utilisation de Preffi pour valuer leurs propres projets et ceux de leurs coll gues produit actuellement une am lioration de la qualit des projets Nous essayons l heure actuelle de corroborer cet avis au moyen de recherches plus syst matiques e comment value t on E L Efficacit R f rences Bartholemew L K Parcel G Kok G amp Gottlieb N H 2001 ntervention mapping designing theory and evidence based health promotion programs Mountain View Mayfield Boddy D Ed 1999 The evidence of health promotion effectiveness shaping publie health in New Europe P
116. iser d embl e que l un des volets de l va luation initialement envisag n a pu tre r alis II tait pr vu de com parer la cohorte des adolescents admis dans cette nouvelle unit avec une cohorte d adolescents admis dans des conditions standard au centre des urgences de Lausanne Pour des raisons qu il sera int ressant de discuter par la suite les m decins de Lausanne n ont pas pu remplir la t che qui leur avait t confi e et seuls cinq dossiers d adolescents nous ont t transmis Pour les m mes raisons l valuation de la tenue des dossiers fond e sur une comparaison des informations relev es sur les deux sites n a pas non plus pu tre effectu e dans une optique com parative On verra aussi que les biais dans la constitution de l chan tillon taient tels qu ils n ont pas permis la comparaison avec des don n es de la litt rature Initialement seuls les jeunes admis aux urgences pour tentative de suicide devaient tre inclus l valuation les hospitalisations vis e pr ventive des jeunes pr sentant une menace suicidaire tant exclues En r alit au cours de ses cinq premiers mois de fonctionnement l unit a accueilli autant d adolescents pr sentant des id ations suici daires que d adolescents suicidants et les deux types d adolescents ont t int gr s l valuation C est aussi pour cette raison que le nom de l unit a rapidement chang Sur un plan chronologique la collecte d
117. ite Processus D cision Implicite T3 L valuation formelle processus explicite Processus Explicite Jugement de valeur D cision implicite T4 L valuation de contr le jugement et d cision explicites Jugement de valeur D cision Explicite Processus Implicite T5 L valuation orient e vers les conclusions processus et jugement explicites Processus Jugement de valeur Explicite D cision Implicite T6 L valuation processus d cision processus et d cision explicites Processus D cision Explicite Jugement de valeur Implicite TL valuation explicite processus jugement et d cision explicites Processus Jugement de valeur D cision Explicite Implicite Tableau 1 Les huit types d valuation Chaque composante de l valuation peut donc tre explicit e seule ou avec d autres Par exemple examinons plus attentivement le type 2 l valuation d expertise Seul le jugement de valeur est explicit c est le jugement divin dans l histoire propos e par Patton La dimension strat gique ou l axe interneexterne L valuation joue un r le dans les jeux de pouvoir entre acteurs d une action organis e selon le mod le propos par Crozier et Friedberg 9 Nous avons tent d int grer cette r flexion en identifiant la position interne ou externe des acteurs des diff rentes composantes de l va luation par rapport l organisation qui m ne l action Le processu
118. ites par les organismes publics A ce jour seule la partie produite par le Commissariat g n ral du plan et par le Conseil national de l valuation est accessible Le site est structur en quatre grandes rubriques Les acteurs de l valuation au niveau international national institutions parlementaires administrations centrales tablissements publics et r gional L valuation interminist rielle avec les valuations en cours ou achev es les publications accessibles pour la plupart en texte int gral les proc dures et un appui m thodologique c est dans cette derni re partie que figure en ligne Le petit guide de l valuation L valuation des contrats de plans Etats r gion Actualit s travaux des r gions proc dures et appui technique Les ressources mentionnant des manifestations ou des colloques et des bibliographies g n rales et th matiques Quint essenz En ligne www quint essenz ch Derni re consultation 24 11 2005 Promotion Sant Suisse Av de la Gare 52 Case postale 670 CH 1001 Lausanne T l 41 0 21 345 15 15 Fax 41 0 21 345 15 45 Ce site est celui de l organisation gouvernementale suisse Promotion Sant Suisse Il s adresse toutes les personnes impliqu es dans la planification et la r alisation de projets en promotion de la sant et en pr vention Il contient des informations sur la gestion de projet la gestion de la qualit et la promotion de la sant En outre il propos
119. itifs per mettant de formaliser l valuation tayage th orique recueil et traite ment de donn es laboration de mod les recherche de crit res fabri cation d indicateurs non seulement quantitatifs mais aussi qualitatifs assez fins et pr cis pour prendre en compte l volution des repr senta tions mentales des attitudes du rapport l existence et la prise de risque Il faut sortir des guerres de religion entre quantitatif et qua litatif et se risquer leur articulation Dans cette perspective quelques communications ont pr sent des travaux visant l laboration et l utilisation d chelles d atti tudes d chelles d autonomie et de d pendance d chelles de qua lit de vie L laboration d un questionnaire de Qualit de vie li e la sant QVLS a t expos e par un laboratoire marseillais La ten tative appuy e sur une probl matique solide et une m thodologie tr s rigoureuse appara t tr s int ressante Ce genre de travaux fait progresser l valuation et peut tre tr s utile II doit tre encourag mais en recommandant aux chercheurs d viter l cueil qui les guette celui de la fascination pour l outil passe partout capable en tout lieu et toute circonstance avec tout groupe social et toute classe d ge de tout mesurer Ne craignons pas de dire que cet outil parfait n existera jamais et que plut t que de s acharner peaufiner cette illusoire cl u
120. ivalence morale Michel Develay parle de relation de parit entre l ducateur et le sujet Ce qui me para t vident c est que la d marche ducative est incompatible avec une relation de pouvoir de domination ou de chan tage L ducation n est pas une prescription c est une construction commune Donner du sens Au d but de l exemple que j ai imagin je ne bois du vin que par atta chement mon ducateur Puis celui ci cherche instaurer un lien direct entre le vin et moi II se pose en m diateur pour reprendre ici encore les propos de Michel Develay La relation ducative est triangulaire il importe d en dissocier les trois sommets l ducateur le sujet qui apprend et le contenu de l enseignement Il s agit d viter la p rennit d une d pendance l ducateur L objectif de la d marche ducative est de m apprendre aimer le vin pas de me marier avec l ducateur Il faut que je d couvre quel sens je peux donner ma consommation de vin actuellement pour l avenir et en r f rence ma vie pass e De la m me mani re l ducation pour la sant d un patient est possible si celui ci trouve au pr sent un int r t une satisfaction voire du plaisir ce qu on lui enseigne s il peut l int grer ses projets de vie son avenir s il peut le situer par rapport son pass son histoire person nelle et familiale sa culture tre ducateur c est aider le patient faire
121. izon lumi neux se voile bien vite le jeune citoyen se rendant compte avec amer tume souvent que tous les possibles ne sont pas pour lui leur r alisa tion d pendant de sa position dans des rapports sociaux in galitaires marqu s par des processus de domination D couverte douloureuse dont t moigne une communication rapportant la suavit du langage m docain d un jeune l ve de CPA Ceux qui font les lois ils nous font ch expr s pour nous parquer et nous piquer notre fric Quelles sont les raisons de l inflation actuelle de l valuation Cette inflation est particuli rement sensible dans des domaines fluides et peu co teux comme celui de l ducation pour la sant La synth se d un des trois ateliers nous propose une explication fort plausible Construit social r cent l valuation aurait surtout une fonction l gitimante La demande d valuation de l ducation pour la sant r pondrait un doute sur le bien fond de l action ducative en mati re de sant Le doute sur la valeur de l ducation pour la sant s inscrirait dans le contexte plus large de la crise des valeurs ducatives voire d une crise des valeurs de d mocratie et de citoyennet dont on parle d autant plus qu on les pratique d autant moins en un temps o l esprit public se perd et o dispara t le lien soci tal c est dire ce qui assure l adh sion des individus une forme de soci t dans laquelle ils ont le sentime
122. jet crit une op ration de formulation des fins l valuation de contexte une repr sentation des fins les objectifs une repr sentation de l valuation des fins l valuation de produit une op ration de formulation des moyens l valuation d intrant une repr sentation des moyens le plan une repr sentation de l valuation des moyens l valuation de pro cessus Les cat gories d analyse de la structure d un programme nous per mettent d identifier le lien intime qui existe entre l valuation et l ac tion Elles pr cisent ce que peut tre l valuation d un programme Ces cat gories correspondent bien un projet crit II ne s agit pas de la r a lisation du programme et de son valuation Dans ce cas la repr senta tion des fins et des moyens et la repr sentation de leur valuation deviendraient des op rations Le lien entre valuation et action est le quatri me enjeu que nous identifions On peut on doit tablir un lien entre les d marches d va luation et les d marches de planification de l action L valuation per met de conna tre juger modifier le cycle de l action Cette d marche d valuation continue globale je la qualifie d valuation de la qualit d un programme Elle ne s oppose pas l valuation d efficacit elle l inclut Elle pr c de accompagne cl ture ou relance le programme d action Le contenu d un programme d ducation pour la sant Q
123. jeue p Se 1 3 s poyz u EC 58 e comment value t on B EN aussi capable quand il le faut de travailler tard la chouette de Minerve oiseau du discernement ne prend son vol qu au cr pus cule disaient les Grecs repris par Hegel si j ai bonne m moire Synth se d atelier et mise en perspective assembl e pl ni re 17 septembre 1998 R f rences bibliographiques 1 Dubet F Sociologie de l exp rience Paris Seuil 1994 273 2 Baptiste A Belisle C P chenart J M Vacheret Photolangage une m thode pour communiquer en groupe par la photo Paris Les ditions d organisation 1991 216 e osAjeue p Se 1 3 s poyz u EC Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 59 e comment value t on B EN Point de vue Les changements de comportement se font par tapes Ce colloque aura eu l norme m rite de faire exploser une pens e domi nante qui consiste croire que dans le domaine de l valuation il n y a pas de salut en dehors de l utilisation des m thodes pid miologiques Je crois que
124. l Analyse des pratiques d valuation de programme e pourquoi value t on 12 EME Blum Boisgard C Gaillot Mangin J Chabaud F Matillon Y valuation en sant publique Actualit et dossier en sant publique 1996 17 18 22 En ligne http hcsp ensp fr hcspi docspdf adsp adsp 17 ad173640 pdf Derni re consultation 24 11 2005 Contandriopoulos A P Champagne F Denis J L Avargues M C L valuation dans le domaine de la sant concepts et m thodes Revue d pid miologie et de sant publique 2000 48 517 539 Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion amp ducation 1997 4 10 14 Demarteau M valuer une question d thique La sant de l homme 2000 345 36 38 Nock F Le monde complexe de l valuation In Petit guide de l valuation en promotion de la sant Paris Mutualit fran aise 2000 6 18 Sandrin Berthon B Evaluer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 Vandoorne C Les acteurs et les enjeux au c ur de l valuation
125. l et col lectif en particulier sanitaire et finan cier de l ducation des patients est apparue dans notre pays une volont croissante d encourager ces pratiques ducatives structur es et de permettre leur reconnaissance Cette volont se retrouve aussi bien chez les profes sionnels de terrain m dicaux et para m dicaux que chez les patients et asso ciations de patients ainsi que chez les d cideurs et les financeurs Or en amont du probl me que pose leur reconnaissance professionnelle et financi re ces activit s souffrent cer tainement de l absence de crit res com muns de description et d valuation En effet parmi les nombreuses difficult s d valuation auxquelles on est confront dans le domaine de l ducation du patient les valuations d efficacit r a lis es ne prennent qu exceptionnelle ment en compte la nature des proces sus mis en place par les soignants 1 mais l valuation des processus est de plus en plus mise en avant et recom mand e comme la principale et la plus indispensable forme d valuation 2 car elle s int resse ce qui sous tend fondamentalement l efficacit de l du cation du patient Il s agit de proposer une d marche d valuation des processus accompa gn e d un outil qui permette de porter un regard distanci sur les pratiques en ducation du patient Les objectifs 3 en sont les suivants laborer une grille de lecture com mune des nomb
126. la production Deux approches distinctes en d coulent La premi re appel e external standards inspection Evaluation sur crit res externes ou EST consiste tablir des crit res de qualit les valuer et rem dier aux insuffisances La deuxi me dite continuous quality improvement am lioration continue de la qualit ou CQD con oit l activit ou le service comme un processus et envisage l valuation de la qualit comme une partie du processus charge des acteurs impliqu s eux m mes Dans le champ de la sant maladie et des soins en particulier ce concept et ces activit s ont conserv leur objectif initial Ils s inscrivent dans le cadre des besoins de ma trise des co ts de la sant s int ressant des aspects tels que les moyens mis en uvre proc dures co ts et effets obtenus En un sens ils s apparentent en partie l valuation co ts efficacit L efficacit y est consid r e comme un crit re de qualit et les r f rents th oriques y sont ceux de l Economie et de la Sociologie des organisations L approche utilis e y est celle de PESI Dans cette perspective l assurance de qualit est consid r e comme une d marche objectiviste utilisant principalement des m thodes quantitatives et ne s int ressant aux aspects Fig 1 Evaluation d efficacit et de qualit OBJECTIFS 2 gt PROCESSUS 2 EFFETS ND Eval d Efficacit _ Eyal de Qualit
127. le a t l utilisation de ces r sultats Sont ils occult s modifi s Par m connais LA SANT DE L HOMME N 345 JANVIER F VRIER 2000 A Demarteau M valuer une question d thique La sant de l homme 2000 345 36 38 e UOljEnEA9 p S129 qo Se 22 e pourquoi value t on C L sances d faut d explication ou volon tairement La mani re de r pondre ces ques tions d pend des valeurs auxquelles se r f re l valuateur Il doit se situer De nombreux th oriciens de l valuation ont propos des mod les d intervention en valuation partir d un parti pris ini tial sur ces questions Par exemple Scri ven affirme que la responsabilit ultime de l valuateur est de rendre compte la population Il a le premier situ l en jeu d mocratique de l valuation L thique des valuateurs n est donc pas limit e au seul processus d infor mation Pour nous une valuation de qua lit une valuation thique est une va luation explicite et formelle qui res pecte les l ments suivants Elle fournit une information de qualit pr cise fid le valide pertinente prudente honn te Elle permet un jugement de qualit bas sur des crit res pluriels d battus Elle conduit des d cisions de qualit qui respectent la d mocra tie et font progresser les personnes et la collectivit vers les valeurs qu elles se sont choisies en accord avec les droit
128. les personnes concern es par l action 1 Andem Agence Nationale pour le D veloppement de l valuation M dicale e pourquoi value t on 12 EME De la m me mani re Vandoorne 2002 montre pourquoi les paradigmes issus de la recherche exp rimentale se r v lent peu adapt s l valuation de la promotion de la sant Elle d crit trois types d enjeux au sein de la dynamique d valuation social strat gique et technique Elle indique les repr sentations de l valuation exprim es chez des acteurs inscrits dans une d marche de formation l valuation Elle montre une application concr te du mod le d valuation d crit par Demarteau mod le APEP en tant que canevas d interrogation permettant de pr parer un plan d valuation Les quatre tapes de ce canevas sont les suivantes 1 qui utilisera les r sultats de l valuation 2 A quoi l valuation va t elle servir 3 Quelles sont les valeurs de r f rence les crit res de jugement 4 Quels sont les objets d valuation Sandrin Berthon 2002 se fait l cho du questionnement des professionnels r unis pour un colloque sur l valuation en sant publique en 1998 sur le pourquoi et le comment de l valuation Par ailleurs en illustrant son propos par des exemples imag s elle propose des crit res pour valuer si une action donn e correspond ou non une action d ducation e UOljEnJEA9 p S129 qo Se 1 Mod le APEP Mod le de
129. limentation d hy gi ne et assurer le bon d roulement des activit s vocation ducative sport peinture relaxation musique vid o Les infirmiers sont consi Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 86 e valuation d une action d r s comme interchangeables leur activit se modifiant au gr des horaires et des admissions Plusieurs d entre eux souhaitent pouvoir tablir une relation de continuit avec certains jeunes aupr s desquels ils seraient identifi s comme infirmiers r f rents Les infirmiers regret tent que le travail men avec les familles soit insuffisant Enfin ils rel vent que la gestion des soir es et des nuits est particuli rement difficile voire risqu e dans la mesure o ils se retrouvent seuls devoir travailler sur deux tages la fois Le devenir des jeunes Il est tr s difficile de tirer des conclusions d finitives quant l impact de l hospitalisation sur le devenir des jeunes suicidants tant donn les biais qui se sont i
130. luation cherchant d montrer scientifiquement la coh rence interne et l efficacit de certaines m thodes d intervention avant leur application et leur g n ralisation 8 Situation temporelle de l valuation cocher la les r ponses avant l action apr s l action C court terme au d cours de l action pr cisez aeoecseeerere C moyen terme pr ciser 1 mois 1 an C long terme pr ciser eeessssinsiseserrsesronrenerarrrirnrreirerresrrsre 9 Niveau x d valuation cocher la les r ponses Pertinence lien entre les objectifs de l action et les besoins identifi s Coh rence lien entre les diff rentes composantes du programme mis en uvre Efficacit relation entre les objectifs de Faction et les r sultats Efficience relation entre les ressources attribu es l action et les r sultats Impact r percussions effets du programme autres que ceux observ s sur la population concern e par ex ceux observ s sur les acteurs sur l environnement 10 M thodologie de l valuation cocher la les r ponses issue de l pid miologie protocole exp rimental d essai randomis contr l enqu te de type quasi exp rimental groupe exp rimental groupe t moin enqu te d observation de type avant apr s enqu te d observation simple comparaison d effets mesur s des effets attendus th oriques issue
131. lyse des contextes et de discours Cet outil se compose de 9 fiches les 8 premi res permettent de mesurer l cart entre l attendu et l obtenu pour chaque action contributive au programme en question la derni re permet de suivre et valuer le programme au regard du r f rentiel de d part L article de Janzyk 2004 offre un exemple d valuation de campagne m diatique d information associant des spots t l vis s et radiophoniques et la diffusion de brochures d information L valuation repose sur des pr tests et post tests des spots et des brochures Elle s int resse la fois la diffusion des supports et l appr ciation par le public destinataire Diff rentes modalit s de recueil de donn es sont mobilis es le recensement de l origine des appels t l phoniques pour commander des brochures et des informations sur les destinataires des documents distribu s par des relais des enqu tes t l phoniques aupr s de la population destinataire Perreault et al 1997 1996 au long de deux articles donnent un exemple d valuation qualitative d un outil d intervention en l occurrence une grille d identification et d analyse des besoins d une population L valuation est centr e sur deux aspects la validit du contenu de la grille article 1 et le construit de la grille c est dire ses modalit s d laboration et les pr suppos s th oriques qui en d coulent article 2 Deux m thodes sont utilis es pour valu
132. mmes estim s efficaces ne l taient que pour une partie du groupe cible uniquement pour un nombre limit d objectifs ou seulement court ou moyen terme ou alors qu ils perdaient une partie ou la totalit de leur efficacit dans un contexte diff rent Cela signifie qu il reste de la place pour l am lioration de la qualit et de l efficacit des programmes Ces diverses tudes sur les effets des programmes de promotion de la sant ont sans nul doute produit quantit d informations mais leurs r sultats sont rarement appliqu s dans la pratique de la promotion de la sant Les praticiens trouvent qu il est difficile d valuer la valeur des r sultats de la recherche qui parfois sont m me contradictoires Par ailleurs les chercheurs n gligent souvent de donner des d tails sur les conditions contextuelles en terme de temps de financement et de soutien disponible et les circonstances contexte local influence sociale culturelle et conomique moment dans lesquelles les effets signal s ont t obtenus alors que ces d tails sont n cessaires pour d cider s il faut adapter l intervention pour qu elle puisse tre r pliqu e ou mise en uvre avec succ s dans une situation diff rente et la fa on de proc der Chercheurs et praticiens travaillent souvent selon des ch anciers diff rents Les tentatives d am lioration de l efficacit au moyen d ECR exigent des investissements long terme e
133. mps et mesurables 5c Les objectifs sont acceptables 5d Les objectifs sont r alisables 6 laboration de l intervention 6 1 Raison d tre de la strat gie d intervention 6 1a Adaptation des strat gies et des m thodes aux objectifs et aux groupes cibles 6 1b Exp rience ant rieure avec la ou les interventions 62 Dur e intensit et ch ancier 6 2a Dur e et intensit de l intervention Liste des crit res du formulaire de pointage de Preffi 2 0 6 2b Moment de l intervention 6 3 Adaptation au groupe cible 6 3a Participation du groupe cible 6 3b Adaptation la lt culture gt 6 4 Techniques efficaces recommand es Place pour une approche personnalis e R troaction sur les effets Utilisation de strat gies de r compense Suppression des obstacles au comportement de r dilection Mobilisation de soutien engagement social Comp tences en formation Dispositions pour le suivi tablissement d objectifs et intention de la mise en uvre Approche interactive 6 5 Faisabilit dans la pratique existante 6 5a Adaptation aux groupes cibles interm diaires 6 5b Caract ristiques de la capacit de mise en uvre de la ou des interventions 6 6 Coh rence des interventions activit s 6 7 Test pr liminaire a 2 Sie Es Mise en uvre 7 Mise en uvre 71 Choix d une strat gie de mise en uvre adapt e aux interm diaires Ta Mode de mise en uvre de
134. n la critique collective Les acteurs vont se charger de s expliquer sur les faits rencontr s dans le monde objectif l aide de la rationalit cognitive Ils vont s expliquer sur les normes du monde social en s ap puyant sur la rationalit morale Ils vont s expliquer sur les exp riences v cues dummonde subjectif l aide de la ratio nalit esth tique Ils vont s expliquer sur ce qui est acceptable cr dible parta geable sur la v rit des faits la justesse Demarteau M valuer une question d thique La sant de l homme 2000 345 36 38 e UOljEnJEA9 p S129 qo Se 21 des normes et la sinc rit des person nes L thique est alors une thique de la discussion o tout devient probl matique Mais cette thique exige en pr alable la reconnaissance r ciproque la libert gale d expression et de cri tique la participation ouverte tous ceux qui sont concern s La fonction thique de l valuation valuer est une question d thique pour tout ducateur pour la sant C est ce point de vue que nous souhaitons mettre en vidence aujourd hui m me s il reste encore affiner et d velopper Le terme valeur est inclus s man tiquement dans le terme valuation comme il est au centre de toute r flexion sur l thique L valuation ne peut se comprendre que reli e l action comme l thique ne prend son sens que dans l acte qui est pos La d finition de
135. n certain nombre de crit res de Preffi 1 0 mais aucun n a t supprim L id e de l ajout de nouveaux indicateurs d effets pr vus fond s sur la recherche r cente en promotion de la sant l analyse des pratiques ainsi que sur l exp rience acquise avec Preffi 1 0 a plut t t retenue Choix a pog 2 T Capacit Choix tape 5 Le choix des indicateurs ainsi effectu a t consign en d tail dans un document explicatif qui d crivait la nature de chaque indicateur sa relation avec l efficacit pertinence et les donn es probantes disponibles pour corroborer cette relation Un second document pr sentait une op rationnalisation suppl mentaire de chaque indicateur par rapport des questions particuli res ainsi que les normes correspondantes fond es sur le consensus auquel taient arriv s la suite de discussions le groupe de travail et le comit scientifique Ceci devait aider les praticiens d cider dans quelle mesure leur projet tient suffisamment compte de chaque indicateur tout en proposant des aspects particuliers qui pourraient tre am lior s tape 6 En sus du comit scientifique le comit de praticiens a galement t impliqu dans les diverses consultations et a t invit donner son avis sur les documents pr sentant le mode d emploi et de mise en uvre de Preffi 2 0 Les commentaires re us ont servi introduire divers ajustements notamment c
136. n de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 50 e comment value t on B EN m me une grille Bienheureuse grille nous donnant voir l valuation comme une combinaison de trois composantes l uvre dans trois domaines La premi re composante est celle d un processus de connaissance il y a donc activit cognitive heuristique r flexive et cri tique il y a de la science Mais la deuxi me composante nous en loigne c est d un jugement de valeur qu il s agit trouver de la valeur du sens du prix des raisons d agir on est dans la culture l arbitraire de chaque soci t l artifice La troisi me composante nous loigne encore de la science il convient de d cider pour agir On est dans la pra tique dans le faire les mains dans le cambouis Ces trois composantes sont l uvre dans le domaine social qui est leur champ d exercice pratique La question est ici de savoir si l on veut rendre cela explicite ou rester dans l implicite le non dit Les trois composantes sont croi ser avec une deuxi me variable d ordre strat gique o intervient la volont des op rateurs et des financeurs de mettre en place une va luation interne ou externe Le troisi me domaine est celui de la tech nique de l outillage m thodologique le probl me tant de passer d ap proches informelles des proc dures hautement formalis es la veille d entamer nos travaux nous av
137. n sujet acteur de sa sant alors que les sciences psychosociales ont des mod les proposer en ce domaine pour probl matiser les situations et les processus d action Encore faudrait il les conna tre et s attacher en tirer des crit res et des indicateurs L absence de r f rence aux acquis des travaux psychoso ciaux sur les repr sentations mentales les attitudes le rapport au risque est patente dans certaines actions reposant sur la mise en place d un dispositif ordonn la prise de parole et l expression des repr sentations de la sant On utilise l outil photolangage sans avoir lu par exemple l ouvrage d Alain Baptiste et Claire Belisle 2 qui en pro pose les fondements th oriques et en montre les avantages les limites les conditions d utilisation II nous reste donc enrichir les processus cognitifs de l activit valuative par des apports des sciences psycho logiques et sociales 3 Gagner en rigueur dans la formulation des projets et des intentions d valuation Que ce soit pour les projets d action ou pour leur valuation il est important d arriver des nonc s d objectifs et de m thodes rigou reux surtout quand l valuation est produite par les op rateurs eux m mes II convient de ne pas confondre un objectif et le processus p dagogique mis son service ainsi comme cela a t soulign dans un atelier la cr ation d un espace de parole et de cr ativit que ce soit par le
138. nditions de travail paf les acteurs qui interviennent Le centre ou le programme estil ouvert vers l ext rieur dans l h pital et en dehors de h pital Comment le centre ou le programme estii per u dans l h pital eten dehors 1 DIMENSION IDEOLOGIQUE O PHILOSOPHIQUE Quel est le mod le de sant des soi gnants e Est ce un mod le lt biom dical ou glo bal 4 e Voient ils la sant comme l absence de mala E die ou en ontils une vision plus positive 5 2 Quel est leur mod le ducatif Pr nent ls une logique d enseignement o d apprentissage a Quels types de savoirs sont pris en compte th oriques savoir savoir faire savoir tre savoir devenir e Quels acteurs sont impliqu s dans la relation nE Quels sont les grands axes organisa tionnels 7 Education int gr e dissoci e des soins Hospitalisation ambulatoire 2 Int gration dans la vie courante Dur e des cycles ducatifs Ti ducation continue ducation ponctuelle 2 Quelles actions met on en place Des actions m dico techniques ducatives d accompagnement psychosocial EA Quel est le public cible de l ducation Et quel est le mode de recrutement des ducative soignants et patients soignants patients et famille Le contenu ducatif estil g n raliste et fixe pour tous les patients ou personnalis 3 Quel mod le d duc
139. ne consultation psychiatrique Si l adolescent n tait pas dans un tat phy sique n cessitant une hospitalisation ou un tat mental requ rant une entr e en clinique psychiatrique il retournait au bout de vingt quatre heures dans son lieu de vie habituel Or plusieurs tudes ont montr qu aucun adolescent suicidant n est v ritablement indemne sur le plan psychique Les troubles de l humeur sont les plus fr quents suivis de pr s par les troubles anxieux et la d pendance l alcool ou aux drogues la tentative de suicide tant ainsi le r v lateur de troubles sous jacents Le risque majeur d une absence de prise en charge est la r cidive un adolescent qui a fait une premi re tentative de suicide est expos un risque de r p ter son geste vingt fois sup rieur celui d un adolescent qui n a jamais tent de se tuer II ne s agit donc pas d une crise passag re Avoir d j tent de se suicider et souffrir d un trouble psychique av r constituent les facteurs pr dictifs les plus fiables d un suicide fatal L autre risque li une absence de prise en charge est la marginali sation partir de 18 ans la plupart des jeunes qui ne suivent pas les Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Vic
140. ner une surcharge de l quipe ou d obliger les responsables refu ser certains jeunes II faudrait donc pr ciser le profil psychologique des jeunes qui sont le plus susceptibles de b n ficier de ce type de prise en charge D autant plus que pr s d un cinqui me des admis sions a d bouch sur une exclusion de l unit ou un transfert vers une autre unit Fonctionnement de l unit Le principal reproche que l on peut faire l unit est de proposer un cli mat trop id al et maternant qui pourrait compromettre une r insertion la sortie voire pousser certains adolescents r p ter leur menace ou leur geste pour retourner l unit C est ici la supervision voire la for mation des soignants qui est en question L impression d isolement des soignants en soir e est accentu e par la dispersion des patients sur deux tages Il faudrait renforcer la pr sence du personnel dans ces moments difficiles ou favoriser un contact en urgence avec un appui ext rieur Les sessions de th rapie de groupe sont souvent mal v cues par les patients qui peuvent rester dans le silence durant des sessions enti res L introduction de techniques d animation sp cifiques jeux de r les permettrait probablement d am liorer le rendement de ces r unions Le travail avec les familles para t actuellement insuffisant Or cer tains abandons de la th rapie semblent li s un investissement insuffi sant de la famille dans le cadre du t
141. nes ENSP 1993 286 12 Monnier E valuations de l action des pouvoirs publics du projet au bilan Paris Economica 1987 169 13 Stufflebeam D L Shinkfield A J Systematic evaluation a selfinstructional guide to theory and practice Boston Kluwer Nihoff Publishing 1985 347 14 Alkin M C Daillak R White P Using evaluations does evaluation make a difference Beverly Hills Sage 1979 15 Stufflebeam D L L valuation en ducation et la prise de d cision Ottawa NHP 1980 Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 e osAjeue p Se 1 3 s poyz u EC 47 e comment value t on B EN 16 Green L W The effectiveness of health education In Proceedings First European Conference on Effectiveness of Health Education Utrecht Dutch Health Education Centre 1989 34 17 Vial M P valuer n est pas mesurer Cahiers p dagogiques 1987 256 e osAjeue p Se 1 3 s poyz u EC Demarteau M Les pratiques d action en
142. niques de la documentation 2002 10 XVI p Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 188 p Efficacit de la promotion de la sant actes du colloque organise par l Inpes avec la collaboration de l UIPES Promotion amp Education 2004 hors s rie 1 54 En ligne http www iuhpe org adddownloads PE Supp1 04 pdf Derni re consultation 24 11 2005 Rootman I Goodstadt M Hyndman B McQueen D V Potvin L Springett J Ziglio E Evaluation in health promotion principles and perspectives Copenhagen World health organization Who Regional Publications European Series n 92 2001 533 p En ligne http www euro who int eprise main WHO InformationSources Publications Catalogue 20040130 1 Derni re consultation 24 11 2005 e pour en savoir plus Comment value t on M thodes et grilles d analyses Fondements th oriques G n ralit s Arwidson P Ramon A L valuation des programmes nationaux de communication Propositions m thodologiques Vanves CFES Dossiers techniques 1999 29 p Centers for Disease Control and Prevention Framework for program evaluation in public health MMWR 1999 48 No RR 11 58 p En l
143. niverselle il serait profitable de proposer des d mar ches des processus d analyse des exemples contingents mais trans f rables apr s adaptation de tr s larges panels de questions des sch mas organisateurs permettant une structuration g n rale de ce type d approche valuative Les acteurs et valuateurs de terrain pourraient ainsi puiser dans ces ressources s approprier ces exem ples contingents ou ces sch mas g n raux les adapter leur situation particuli re leur population sp cifique leurs moyens propres les refa onner de mani re op rationnelle Pour conclure disons qu il nous reste du pain sur la planche si nous voulons garantir la qualit de nos prestations d ducation pour la sant et en faire comprendre aux d cideurs l int r t pour la sant publique et pour la citoyennet II est bon pour la sant de savoir de temps en temps manger boire et danser tard le soir comme nous l avons fait hier II est bon pour la progression de l valuation et de l action d tre Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osA
144. nt d un service d aide au sevrage tabagique sans pr ciser les m thodes utilis es Absence d exp rience en ducation pour la sant Absence d exp rience de programme Absence d exp rience d valuation Le th me propos concernait le plus souvent la sant mentale Type 2 valuation d expertise interne et externe T2 Le processus d va luation est implicite e Focalisation des objets d valuation sur moins de trois cat gories distinctes Absence de coh rence au niveau des moyens et des fins Certains objectifs propos s ne font pas l objet d valuation L exper tise porte sur le processus Absence d exp rience en ducation pour la sant e Absence d exp rience de programme Absence d exp rience d valuation Il s agissait le plus souvent de demande de financement d enqu te ou de recherche L expertise comit de pilotage porte sur le processus Type 3 Expertise interne T2 et valuation T3 dont le processus est interne et explicite mais informel e Focalisation des objets sur trois cat gories sant comportement connaissance Absence de coh rence au niveau des moyens et des fins e Exp rience en ducation pour la sant d une partie des promo teurs Absence d exp rience de programme Absence d exp rience d valuation Il s agit souvent de projets locaux men s par des op rateurs inex p riment s ax s sur une strat gie d information portant sur un th me de sant
145. nt de pouvoir tenir leur place Cette crise am ne l invalidation de toutes les figures d autorit de celle de l ducateur celle de l tat qui perd sa fonction g n alogique ou tot mique pour reprendre la pens e et le vocabulaire de Pierre Legendre Il est alors n cessaire de prouver que l ducation pour la sant a marche c est efficace performant Le recours l valuation vise prouver la l gitimit de l action Mais l op ration valuative elle m me doit donner des gages de sa propre l gitimit II lui faut rester inattaquable et pour ce faire prendre appui sur des m thodes incontestables c est dire des m thodes partena rides et scientifiques Le premier crit re de l gitimit de l valuation est sa dimension partenariale En ces temps de d concentration d centralisation d sengagement de l tat et agitations multiples des diverses f odalit s locales les parte naires sont incontournables L valuation doit tre partenariale et ce Cycle d apprentissage par alternance Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editi
146. nt de traverser et ne pas jouer au ballon sur la route Mais cette action ducative n a de sens que si elle s accompagne d actions visant rendre l environnement plus s r Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOljEnEA9 p S129 qo Se IN 26 e pourquoi value t on C L r duire la vitesse des automobiles sensibiliser les adultes etc Elle n a de sens que si elle s inscrit dans une d marche plus globale de promo tion de la sant Choisir comme crit re d valuation de la seule action ducative la r duction du nombre d enfants renvers s au carrefour c est donner un b ton pour se faire battre 3 Troisi me et derni re remarque l ducation n est pas un m di cament que l on absorbe L ducation n est pas une vaccination com portant une premi re injection et des piq res de rappel Je suis un peu agac e par cette mani re de parler de l ducation du patient on fait une premi re s rie d interventions puis des s ances de rappel comme si l action ducative tait une entit ind pendante un produit circ
147. nterne L auto valuation est formatrice comme le propose Vial 17 Nous devons mieux tudier la contribution de l valuation interne l action valoriser cette valuation et la soutenir 3 D velopper la formalisation de toutes les composantes de l valuation Il nous faut utiliser et tester d autres paradigmes que le paradigme exp rimental Il faut diversifier et largir les mod les et les m thodes pour formaliser la production du jugement de valeur mais aussi la formali sation de ce jugement et la formalisation de son utilisation L appro priation de l valuation par les acteurs d un programme est un d fi qui demande des outils et aussi des mod les 4 D velopper la coh rence et la qualit des programmes Il n y a pas d valuation possible s il n y a pas de projet Il faut une repr sentation des fins et des moyens et en m me temps et d s le d part un projet d valuation Concevoir et mener un programme est une comp tence sp cifique qu il faut d velopper par des outils et des formations 5 D velopper les objectifs et les m thodes de l ducation pour la sant Le d veloppement de l valuation est li au d veloppement de l duca tion pour la sant II nous faut en m me temps d velopper de nouveaux modes d action et de nouveaux modes d valuation Nous devons faire preuve de cr ativit et de rigueur Nous devons nous attacher d ve lopper les comp tences permettant aux individus e
148. ntroduits dans la constitution de l chantillon inter rog Notamment on peut supposer que ce sont pr cis ment les jeunes qui n ont pas pu tre atteints apr s trois mois qui pr sentent le plus de risques On rel ve un certain nombre de tendances encourageantes chez ceux qui ont pu tre rejoints 67 des jeunes sont toujours en th rapie trois quatre mois apr s leur s jour Le risque suicidaire valu partir du Mini est consid r comme lev chez 87 des jeunes lors de leur entr e l unit alors que ce pourcentage n est plus que de 48 apr strois six mois de m me la pr sence r cente d un pisode d pressif majeur est pass e de 94 52 II existe une tendance une meilleure confiance en l avenir si l on en juge par le cumul des r ponses diverses questions touchant la perception que les jeunes ont de leur capacit poursuivre une for mation ou mener une vie affective et sentimentale harmonieuse La perception de l image corporelle s est am lior e On constate une tendance la diminution de la consommation d alcool Recommandations D s sa cr ation l unit a t investie par de nombreux adolescents le taux d occupation moyen s levant pr s de 70 en moyenne Une part importante de ces patients ont t adress s l unit titre pr ven tif ce qui tend confirmer son utilit sur ce plan Dans l ensemble les adolescents se montrent tr s satisf
149. obale apport e par les Sciences de l ducation implique aussi une approche communautaire qui place le citoyen l usager de la sant dans une position centrale de pouvoir tant pour la d finition des besoins que pour P valuation des services inclut aussi la participation et le renforcement des capacit s et du pouvoir de l usager patient ou bien portant sur sa sant et ce qui la d termine enfin a pour objet l action ducative et sociopolitique ce qui n cessite l utilisation d instruments vari s et sp cifiques pour l action et pour l valuation Aux choix id ologiques de la promotion de la sant correspondent des options th oriques une certaine vision des concepts de qualit et donc forc ment des m thodes et techniques qui peuvent diff rer de celles utilis es majoritairement jusqu ici Ainsi une d finition restreinte du processus comme throughput les sciences de l ducation ont apport une acceptation qui l largit jusqu en faire l ensemble de ce qui se passe input et throughput compris Ceci implique que les m thodes et d marches m me d analyse des besoins de d termination des objectifs et des priorit s et de conception des projets de promotion de la sant soient objets de l valuation de la qualit De m me les modes d action et d interaction entre les acteurs sont pris en compte ouvrant sur l valuation des aspects thiques et id ologiques des projets
150. ocuments relatifs des mod les des grilles et des outils d valuation d un point de vue non seulement th orique mais aussi pratique Il a fallu distinguer et carter des documents relatifs l efficacit ou la qualit d une action donn e pour se concentrer sur ceux traitant du processus d valuation La recherche de documents traitant de l valuation a t conduite en exploitant les ressources documentaires habituellement utilis es l Inpes Recherche dans les dossiers constitu s la documentation de l Inpes interrogation des base de donn es bibliographiques et Concepts internes Interrogation des bases de donn es Medline Banque de donn es sant publique BDSP Cochrane et Doctes La recherche a t limit e aux publications de langues fran aise et anglaise Consultation de sites internet identifi s pr alablement Anaes ResoDoc Office f d ral de sant publique l Evidence for policy and practice information and co ordinating centre EPPI D m lage de l cheveau bibliographique lecture attentive de la bibliographie des articles rep r s et rep rage de nouveaux documents Place toute particuli re accord e la s rendipit 1 Cabrol S Cornec C Jacob I Lavielle C Lemonnier F Guide de la documentation dans les comit s d ducation pour la sant Marseille Groupe national des documentalistes en ducation pour la sant Comit r gional d ducation pour la
151. oh rents honn tes et lucides 11 faut s en donner les moyens techniques c est dire rendre visible et for maliser ce qui est fait et produit comme nous y invitait Michel Demarteau De fait beaucoup de communications en atelier m ont frapp par leur honn te lucidit l valuation soutenant l acteur mais sans indulgence coupable L valuation joue alors un r le irrempla able de stimulant et de garant de la coh rence de l action de sa rigueur m thodologique Gemini Cricket de l acteur elle l invite toujours r fl chir sur son intention lalumi re de ce que lui renvoient ceux qui sont impliqu s dans le d roulement de l ac tion comme le disait une communication m ridionale Ce pr alable tant pos les conclusions des travaux en ateliers permettent de formuler pour l valuation quatre propositions destin es garantir la qualit de l action de l laboration de son projet son d roulement et son bilan lui donner plus d efficacit en manifester le sens et sa port e qui pourront ainsi tre mis en d bat 1 Veiller la continuit de l valuation L activit valuative doit tre int gr e l action d s son origine L laboration d un projet pertinent repose sur la mise en place d un processus de connaissance de la situation initiale Les connaissances ainsi initialement produites correspondent une valuation premi re de situation dont les r sultats fondent l
152. ologique particulier celui de la participation communautaire Ce mouvement place le public individu ou groupe dans une position d acteur avec un point de vue qui peut tre celui des Institutions sociales et politiques ou au contraire et parfois alternativement dans une situation d opposition de conflit avec ces institutions Cela est aussi valable pour l agent de promotion de la sant et donc d ducation pour la sant qui est d abord un agent de changement Et selon les situations les promoteurs de sant sont au service de la communaut et de sa sant et parfois au service d une politique ou d une institution de sant Cette vari t se refl te dans les diff rences entre les institutions existantes des d partements minist riels aux agences tatiques aux O N G et autres associations de patients ou d usagers de la sant etc Ces diff rences impliquent des visions et des approches vari es sinon oppos es de la promotion de la sant RS Promotion amp Education Vol IV 1997 2 e UOljEnJEA9 p S129 qo Se IN Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion amp ducation 1997 4 10 14 16 Elles se refl tent aussi dans les diff rences de processus d action de d termination des besoins d implication des acteurs concern s d cideurs professionnels
153. omme sous diviser les cat gories d indicateurs d effets pr vus en clarifiant les explications et en ajustant le mode op rationnel et les normes tape 7 Une version provisoire de Preffi 2 0 consistant en un formulaire de pointage un document explicatif un document mode d emploi et un manuel de l utilisateur a t mise l essai pour en valider l aspect pratique aupr s de 35 praticiens aguerris appartenant un ventail d institutions On leur a demand d utiliser la version provisoire de Preffi 2 0 pour valuer deux descriptions de projets puis de remplir un questionnaire comportant la fois des questions ouvertes et ferm es sur leur exp rience d application de l outil et sur leur avis au sujet de divers l ments de la version provisoire Des interviews suppl mentaires ont t r alis s aupr s de 10 des praticiens Les r sultats de ce pr test ont ensuite t utilis s pour ajuster certains aspects du contenu et de la pr sentation dans la version finale de Preffi 2 0 de m me que pr ciser son utilisation Contenu de Preffi 2 0 Preffi 2 0 consiste en un ensemble e osAjeue p Se 1 39 s poyz u EC Leadership d outils d valuation qui comprend Molleman et al 2003 24 IUHPE PROMOTION amp EDUCATION HORS S RIE 1 2004 Molleman Gerard R M Ploeg Machteld A Hosman Clemens M H Peters L Preffi 2 0 un outil n erlandais pour analyser l efficacit des interv
154. on Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 45 e comment value t on B EN Conclusions en forme de propositions J avance cinq propositions autour de cinq enjeux pour progresser dans l valuation en ducation pour la sant Les deux premi res proposi tions sont fondamentales les trois autres plus techniques 1 D velopper l valuation comme outil social Nous devons nous pr occuper davantage des enjeux sociaux port s par l valuation Nous devons construire des d marches des outils pour faciliter l explicitation des trois dimensions de l valuation pour aider clarifier et n gocier les enjeux m me dans le cas des projets locaux petit budget 2 D velopper l valuation comme outil ducatif Nous devons prendre davantage en compte le lien entre l action et l va luation L valuation est une r flexion sur l action Elle est un processus d apprentissage de l action Nous devons alors d velopper l valuation i
155. on dans le champ de la promotion et de l ducation pour la sant La version lectronique de ce dossier documentaire donne acc s certains articles en texte int gral soit en format pdf pour les publications dit es par l Inpes ou par l UIPES soit par un lien vers une page internet Pour les articles non disponibles en ligne le lecteur est invit se rendre vers son centre de ressources documentaires pr f r introduction D une mani re g n rale un dossier documentaire est labor partir d une s lection d articles d extraits d ouvrages de r f rences bibliographiques de toutes donn es r pondant une demande pr cise la diff rence de la compilation d articles le dossier documentaire n cessite une exploitation une analyse assez d taill e des contenus dans l objectif de les organiser et de les communiquer de fa on pertinente Une vis e th orique et pratique S inscrivant dans le cadre des journ es de la pr vention organis es par l Institut national de pr vention et d ducation pour la sant et plus particuli rement dans la session n 5 Recommandations et r f rentiels les construire et les utiliser ce dossier documentaire a pour ambition de mieux cerner la notion d valuation et de donner les moyens au lecteur de mettre en uvre un projet d valuation d action en promotion ou en ducation pour la sant M thode choisie Nous nous sommes attach es rep rer des d
156. oncern e augmenter le niveau d expertise des professionnels am liorer les relations avec le public et l associer la d marche remplir les conditions de financement et assurer la subsidiarit des programmes Dans cette perspective ce qui distingue l valuation d efficacit de l valuation de qualit c est d abord leur objectif sommatif pour l efficacit jugement qui permet un ajustement pour le futur et formatif pour la qualit qui permet des ajustements permanents imm diats et utiles au programme en couts En promotion de la sant et en ducation pour la sant l eassurance de qualit est un processus syst matique par lequel les niveaux souhaitables de qualit sont d crits le degr d atteinte de ces niveaux est tabli et des d cisions d am lioration sont prises et mises en route la qualit tant d finie comme l ensemble des l ments et caract ristiques d un service qui tablissent sa capacit satisfaire les besoins d un public Evaluer la qualit de la promotion de la sant et de l ducation pour la sant revient d s lors d cider de mettre en route un programme d assurance de qualit identifier les l ments cl s de ce programme tablir des normes de qualit et des crit res d valuation valuer fa performance des activit s prendre des d cisions d am lioration et assurer un suivi de ces d cisions Des objets m thodes et crit res ad quats pour
157. ons crit sans rapport avec l activit curative Quand on veut valuer l effet d un m dicament on le prescrit certains patients d autres on donne un placebo et on observe ce qui se passe Avec l ducation c est plus compliqu Elle est int gr e la d marche de soins elle est formelle et informelle II n existe pas qu une alternative ducation et absence d ducation C est pour cela que le principe de groupes t moins me para t un peu tranger l ducation Les professionnels des sciences de l ducation s int ressent depuis longtemps l valuation ils crivent beaucoup sur le sujet mais je n ai pas l impression qu ils parlent de groupes t moins d l ves dont on ne s occupe pas pour les comparer avec ceux dont on s occupe L ducation n est pas une potion que le m decin prescrit que l infirmi re administre et que le patient ingurgite L ducation est une aventure humaine Je voudrais d velopper cette id e l aide d un exemple personnel Il se trouve que j ai un handicap certains disent m me que c est une tare je n aime pas le vin Ni le rouge ni le blanc ni le ros ni le cham pagne En d autres lieux cela n aurait sans doute aucune importance mais quand on vit en France et quand on vient en colloque Bordeaux cela devient un r el probl me Ce probl me pourrait sans doute tre r solu par une d marche ducative bien conduite Alors tudions la situation Un premier candidat d
158. ons Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 52 e comment value t on B EN n est pas facile tant les relations entre bailleurs de fond et acteurs de terrain sont travers es d int r ts diff rents et habit es de repr senta tions parfois contradictoires de la sant de sa promotion et des priori t s donner l action pr ventive et ducative Pour exemple prenons la Quinzaine sant du Val de Marne La tr s belle valuation de la dynamique partenariale qui en a t pr sent e dans un atelier montre notamment la difficult concilier les approches de l lu local polaris sur latoxicomanie pour peu que deux seringues aient t trouv es dans une cage d escalier d immeuble HLM et celles des professionnels de l ducation pour la sant projetant une pr vention globale appuy e sur des actions visant dynamiser des jeunes et les impliquer dans la construction de projets de sant significatifs pour eux Ces divergences appellent la n gociation ce qui rend n cessaire une valuation capable comme le disait Michel Demarteau de faire sortir l action de l implicite pour la visibiliser en exprimer le sens et la port e Elle peut alors tre mise en d bat d mocratiquement L exigence d mocratique invite non seulement une mise en d bat entre d cideurs et op rateurs mais aussi des proc dures mettant en situation de prendre la parole et de d battre avec les destinat
159. ormation pour prendre des d cisions Pour com prendre les pratiques d valuation il faut envisager aussi l usage du jugement de valeur Cet usage est la conduite de l action la prise de d cision Dieu prend une d cision celle d envoyer l archange va luateur en enfer Nous d finissons donc l valuation de programmes comme un pro cessus de production d un jugement de valeur pour conduire une action par des d cisions Une valuation comporte donc trois phases ou trois composantes qui sont le processus le produit et son usage Ces trois composantes recouvrent trois enjeux de l valuation conna tre juger et d cider Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 35 e comment value t on B EN La connaissance est l enjeu de la science qu elle s inspire de l pi d miologie ou des sciences humaines Le jugement les valeurs sont l enjeu de la philosophie de la justice La d cision est l enjeu de la poli tique L valuateur
160. pid miologie qui doit se contenter d observer Elle tente de s en sortir en d veloppant une observation syst matis e de popu lations ce qui lui permet de d finir des comportements moyens et d valuer des changements d tats de sant et de comportements d in dividus moyens Philippe Lecorps lui succ da apportant en contrepoint sa petite musique du sujet singulier chaque personne donn e tant irr duc tible son corps et tout ce qui peut tre observable de son tre au monde II nous parla de l tre humain pr sence au monde lui m me et pas un autre dans la singularit de son ips it Ce point et ce contrepoint entra n rent la question angoiss e de Jean Pierre Deschamps Comment mettre en compl mentarit ou m me en opposition deux univers parall les o l on cherchera toujours en vain un point de rencontre Des propos plus rassurants se firent heureusement entendre ensuite Michel Demarteau nous parla des pratiques de l ducation pour la sant et de leurs modes d valuation Au terme de son propos il nous livra e osAjeue p Se 1 3 s poyz u Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segale
161. pl te impartiale pour de multiples raisons Parce que l observateur ne peut se situer en dehors de l objet de son observation qu il s agisse de sciences naturelles ou humaines Parce qu chaque tape du processus d information il y a des choix et des d cisions prendre sur les objets et les m thodes d valuation L valua teur se retrouve in vitablement face au jugement et la d cision aux actes qu il pose et aux cons quences qu ils entra nent Sa responsabilit thique est enga g e chaque instant L thique de l valuateur est surtout pr sente lors de la phase de production du jugement sur la valeur de l action Quelle position doit il adopter aux moments d interpr ter les informations de tirer des conclusions ou de faire des recommandations Doit il agir comme juge Comme arbitre Comme m dia teur Qui d finit la valeur de l action Qui pr cise les normes ou les crit res de comparaisons Est ce l valuateur Est ce le responsable institutionnel Est ce le commanditaire de l action de l valuation Ou est ce le r sultat d un d bat entre tous ceux qui sont concer n s par l action L thique de l valuateur est aussi pr sente face aux d cisions qui seront prises ou non partir des conclusions de l valuation C est une responsabilit moins souvent abord e mais tout aussi r elle Comment et qui ont t diffu s s les r sultats de l valuation Quel
162. pondre ces questions en effectuant des tudes centr es sur la m ta analyse de l efficacit des programmes et en recourant de pr f rence des essais contr l s randomis s ECR pour en valuer l efficacit Ils ont d couvert que les programmes de promotion de la sant ne sont pas tous fond s sur des preuves d efficacit loin s en faut Les effets significatifs de nombreux programmes ont certes t d montr s dans plusieurs pays mais en moyenne l ampleur de ces effets a jusqu pr sent t mod r e Kok Auteur principal Gerard R M Molleman Directeur du Centre du NIGZ pour la connaissance et la qualit Bo te postale 500 NL 3440 AM Woerden Pays Bas T l phone 31 348 437621 UE LOUE CUT AU Machteld Ploeg Centre du NIGZ pour la connaissance et la qualit Woerden Pays Bas Clemens M H Hosman Centre de recherche sur la pr vention D partement d ducation pour la sant et de promotion de la sant Universit de Maastricht et D partement de psychologie clinique Universit de Nim gues Pays Bas Louk Peters Centre du NIGZ pour la connaissance et la qualit Woerden Pays Bas et al 1997 Durlak et Welsh 1997 Boddy 1999 Par ailleurs alors qu il s est av r que de nombreux programmes sont efficaces ou moyennement efficaces l efficacit de nombreux autres laissait d sirer voire tait absente Il a galement t tabli que bon nombre des progra
163. processus beaucoup plus complexes de pr diction et d influence prenant en compte les croyances la confiance en soi le soutien des proches et d autres variables psychosociales L va luation s attache enregistrer l volution des croyances et le d ve loppement des capacit s adopter des comportements favorables la sant Si l action en ducation pour la sant est guid e par la rationalit existentielle de l accompagnement du sujet d sirant et contradic toire elle s efforce de m nager des situations d entretien et de groupe propices l expression la prise de parole la prise de conscience et l interrogation des repr sentations mentales des atti tudes et des conduites L valuation se donne pour t che de rep rer la progression de cette prise de conscience l ampleur des remanie ments op r s la r duction des carts entre les normes propres de sant des individus et des groupes accompagn s et les normes des Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 56 e comment value t on
164. quitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 39 e comment value t on B EN aux donn es recueillies par les diff rentes cat gories d acteurs n est pas la m me L expert vaut parfois moins par son jugement que par l id al m thodologique qu il repr sente et dont on ne sait rien d expli cite II y a une hi rarchie implicite des experts en fonction de leur proximit de l id al de v rit scientifique Un expert de l Inserm vaudra probablement mieux aux yeux d un d cideur qu un acteur de terrain Scriven cit par Stufflebeam et Shinkfield 13 identifie quatre id o logies de l valuation en fonction de la position de l valuateur comme producteur de connaissance face au jugement de valeur L valuateur ind pendant qui refuse tout jugement L valuateur objectif qui juge sur la base de la seule valeur scien tifique L valuateur d pendant qui met un jugement sur la valeur des objectifs d finis par les commanditaires d un programme L valuateur relatif pour qui tous les points de vue se valent et qui se contente de les refl ter Scriven rejette ces quatre positions Pour lui l valuate
165. quitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Sal lf z sopoujouwu EC Liekens A L valuation participative Contact sant 2003 181 12 15 En ligne http www mrps asso fr portail site upload contact sante fichiers reperes 2003 reperes CS178 pd Derni re consultation 24 11 2005 Nock F En savoir plus solliciter les destinataires du programme In Petit guide de l valuation en promotion de la sant Paris Mutualit fran aise 2000 46 64 32 e comment value t on B EN Les pratiques d action en ducation pour la sant et leurs modes d valuation R flexions critiques et questions pour la recherche Michel DEMARTEAU Apes Action recherche valuation en promotion et ducation pour la sant cole de sant publique Universit de Li ge Belgique e osAjeue p Se 1 3 s poyz u EC garanties par de bonnes pratiques d valuation Telle serait la question pos e la recherche Derri re cette question revient celle d j ancienne de l efficacit de l ducation pour la sant Elle est pr sente d s la premi re conf rence de l Union internationale d duca tion pour la sant Paris en 1949 1 et r appara
166. r cet effet impliquait l ex ploration des th mes suivants la formation et l exp rience professionnelle la nature du travail le degr de satisfaction dans le travail le degr de stress per u dans le travail les principales difficult s rencontr es avec les adolescents le r le des entretiens d quipe et l utilit per ue de ce soutien le r le des activit s de supervision le jugement port globalement sur le fonctionnement de l unit les propositions de changement dans ce fonctionnement Les entretiens ont fait l objet d une retranscription crite puis d une analyse qualitative Tous les adolescents ont t rencontr s dans le cadre d un entretien individuel semi directif Les entretiens se sont d roul s dans des lieux choisis par les jeunes eux m mes parfois dans un lieu public caf caf t ria etc mais aussi leur domicile ou l unit de recherche L entretien avec les jeunes a abord les points suivants les sentiments associ s leur s jour l unit la qualit de l accueil et du soutien qui leur a t apport sur le plan psychologique et ducatif les relations du personnel avec leur entourage les points positifs les points n gatifs ventuellement les am lio rations apporter Tout comme pour les intervenants les entretiens ont fait l objet d une retranscription crite puis d une analyse qualitative valuation d
167. r signaler les l ments devant tre am lior s ainsi que les mesures qu il faut prendre pour apporter ces am liorations Exp riences avec Preffi 2 0 Une mise l essai pouvant tre consid r e comme un pre test de Preffi 2 0 a t r alis e aupr s de 35 praticiens tape 7 et a produit une valuation favorable de la version provisoire Meurs 2002 28 r pondants sur 35 avaient travaill avec Preffi 1 0 auparavant dont 25 ont consid r Preffi 2 0 comme une am lioration particuli rement en raison de l am lioration de l information qui le sous tend et de l op rationnalisation des crit res de qualit L outil a obtenu une note g n rale moyenne de 7 7 sur 10 Il a t valu par la grande majorit comme tant valable complet clair bien organis et novateur La plupart des r pondants ont indiqu que Preffi 2 0 tait utile pour eux m mes 83 et pour leurs coll gues 89 tant sur le plan de l laboration de projets 79 que sur celui de leur valuation 85 Ils consid raient Preffi 2 0 comme tant difficile et long plut t que facile et concis Ils ont galement signal que le temps qu ils devaient consacrer l appliquer diminuait chaque application successive le premier projet exigeait en moyenne 113 minutes pour l valuation le deuxi me 85 minutes La pratique a de plus montr qu un utilisateur aguerri de Preffi 2 0 peut valuer enti rement un projet en un
168. r l valuation d actions d ducation pour la sant 4 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p e osAjeue p Se 1 3 s poyz u EC 66 e comment value t on 12 Position de l valuateur cocher la les r ponses valuation interne l valuateur est celui qui commandite ou qui met en uvre l action valuation externe valuation mixte 13 Dimension technique de l valuation cocher la les r ponses Processus Z formel l article pr sente des indicateurs m thodes et outils de recueil de l information Z informel Jugement de valeur Z formel l article pr sente les crit res normes valeurs sur lesquels porte le jugement informel Utilisation de l valuation Z formelle dans Farticle le jugement de valeur s applique imm diatement informelle le jugement de valeur s appliquera de mani re retard e e osAjeue p Se 1 3 s poyz u EC 7 d apr s Demarteau op cit Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant 5 Non publi 2004 6 p Fournier C Sizaret A Ferron C Grille d analyse d articles portant sur l valuation d actions d ducation pour la sant Non publi 2004 6 p 67 e comment value t on B EN Votre avis
169. raitement II serait bon de faire appel des professionnels ayant des comp tences sp cifiques tels que des th rapeutes syst miques Conclusions Le d roulement de l valuation et surtout ses difficult s sont int res sants rappeler dans l optique d une r flexion m thodologique sur l valuation conduite dans un cadre clinique difficult recruter une quipe dont les patients pourront consti tuer un groupe t moin crainte de la remise en question r ticence int grer les modalit s de l valuation aux activit s quotidiennes refus du surcro t de travail e rivalit s pouvant exister entre deux services clinique d une part pr vention et recherche d autre part et difficult s de recueil des donn es qui peuvent en r sulter e questions thiques li es la vuln rabilit particuli re de la popu lation concern e et retards qui en d coulent dans le recueil des donn es accord du th rapeute par exemple Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 88
170. re consultation 24 11 2005 Ferron C Michaud P A valuation de l unit de crise pour adolescents des h pitaux universitaires genevois In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 Flament M L outil Animation sant de l empirisme l valuation ducation sant 2004 186 12 15 En ligne http www educationsante be es article php id 149 Derni re consultation 24 11 2005 Janzyk V Husdens A Berghmans L valuation d une campagne m diatique et de mobilisation des relais sur le th me de l alimentation Education sant 2004 186 2 5 En ligne http www educationsante be es article php id 142 Derni re consultation 24 11 2005 Perreault M Boyer G Bouchard F L veill D Colin C valuation du contenu d une grille d intervention aupr s de femmes enceintes vivant en grande pauvret Ruptures 1997 4 1 79 93 En ligne www medsp umontreal ca ruptures pdf articles rup041 079 pdf Derni re consultation 24 11 2005 Perreault M Bouchard F L veill D Boyer G Colin C valuation qualitative du construit th orique d une grille d identification et d analyse continues des besoins de femmes enceint
171. reuses exp riences en ducation du patient afin de pouvoir rendre visibles et compr hensibles les activit s men es analyser la coh rence interne des pro grammes ducatifs en mettant en rela tion les options th oriques retenues par les professionnels avec les choix pra tiques aspects organisationnels et m thodologiques par la comparaison entre plusieurs structures ou programmes d ducation identifier divers modes de fonctionne ment possibles et les adaptations effec tives un contexte et des contraintes donn s par une br ve reconstruction histo rique montrer l volution de ces struc tures afin de mettre en vidence des tapes ou tout au moins donner des rep res de leur d veloppement Pr sentation du cadre d analyse Les objets d tude peuvent tre d cli n s en trois grands ensembles les ques tions retenues pour d crire chaque ensemble sont pos es dans les tableaux correspondants sous une forme sim plifi e 1 Il est n cessaire de conna tre tout d abord le contexte institutionnel local c est dire la place de la structure d ducation dans l h pital et dans le ser vice o elle est implant e grille D LA SANT DE L HOMME N 341 MAI JUIN 1999 RE Fournier C D crire et analyser les programmes d ducation du patient La sant de l homme 1999 341 VA HOMME PREVEI EN VAUT DEUX 15 16 uoIesIjdde p s jdw x 69
172. s Art 8 L valuation collective des pratiques vise am liorer la qualit des soins en permettant chaque praticien de confronter ses pratiques celles de ses confr res ou aux r f rentiels des pratiques labor es ou valid es par l Agence nationale d accr ditation et d valuation en sant D cret no 99 1130 du 28 d cembre 1999 relatif l valuation des pratiques professionnelles et analyse de l volution des d penses m dicales Journal Officiel 29 d cembre 1999 n 301 19594 valuer consiste fondamentalement porter un jugement de valeur sur une intervention en mettant en uvre un dispositif permettant de fournir des informations scientifiquement valides et socialement l gitimes sur une intervention ou sur n importe laquelle de ses composantes de fa on ce que les diff rents acteurs concern s qui peuvent avoir des champs de jugement diff rents soient en mesure de prendre position sur l intervention et construire un jugement qui puisse se traduire en actions Les informations produites par une valuation peuvent r sulter de la comparaison entre des observations et des normes valuation normative ou s laborer partir d une d marche scientifique recherche valuative Contandriopoulos A P Champagne F Denis J L Avargues M C L valuation dans le domaine de la sant concepts et m thodes Revue d pid miologie et de sant publique 2000 48 6 521 L valuation est un outil
173. s choix doivent tre faits conduisant des r f rents diff rents selon les cas entre des crit res historiques fond sur l exp rience normatifs bas s sur un groupe t moin ou absolus tablis partir de la situation id ale Promotion amp Education Vol IV 1997 2 13 Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et atteindre il y a place pour des crit res n goci s combinant les autres Enfin valuer la qualit n cessite que ces crit res soient op rationnalis s transform s en indicateurs que Tones appelle indicateurs interm diaires de performance parce qu ils concernent la fois le processus ef l impact Ces indicateurs doivent permettre d appr cier qualitativement et de mesurer quantitativement les crit res choisis Ces propositions placent l valuation de qualit en promotion de la sant et en ducation pour la sant mi chemin entre F External standards inspection ESD et le continuous quality improvement CQD Bien que de plus en plus largement appliqu e dans les disciplines de la sant et notamment la gestion des institutions de soins et de sant l approche par ESI semble inad quate en promotion de la sant et en ducation pour la sant L tablissement de crit res g n raux de qualit ou cat gories de crit res de mani re externe et pr alable
174. s de l homme e UOljeneA9 p S29 qo se IN Michel Demarteau Docteur en sant publique cole de sant publique de l Universit de Li ge Service sant au travail et ducation pour la sant Li ge 1 Ce texte s est enrichi et doit beaucoup des discus sions approfondies avec Omar Brixi et Bruno Larrose et la lecture attentive et critique de Chantal Van docrne 2 Demarteau M Analyse des pratiques d valuation de programmes d ducation pour la sant Li ge Ecole de sant publique de l Universit de Li ge Th se de doctorat 1998 3 Cette partie s appuie essentiellement sur un article de Paul Ladri re Ladri re P L thique soi et les autres Informations sociales 1991 9 10 8 Nous avons tent de synth tiser ce texte en utilisant los l ments qui nous paraissaient utiles pour une mise en relation avec le concept d valuation avec le risque de le simplifier et de le trahir Demarteau M valuer une question d thique La sant de l homme 2000 345 36 38 23 e pourquoi value t on C L valuer notre capacit faire uvre d ducation Dr Brigitte SANDRIN BERTHON Comit fran ais d ducation pour la sant e voudrais pr ciser d embl e que je ne suis pas une sp cialiste de l valuation Je ne suis pas non plus une sp cialiste de la synth se Je me demande d ailleurs pourquoi c est moi qui suis la tribune En ce qui concerne la restitut
175. s d valuation est interne ou externe quand il est conduit par des personnes faisant partie ou non de l quipe qui g re le programme Le jugement de valeur est interne ou externe en fonction des per sonnes qui mettent le jugement ou d finissent ses crit res Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 e osAjeue p Se 1 3 s poyz u EC 37 e comment value t on B EN Lutilisation de l valuation est interne ou externe quand les d ci sions sont prises o non par les gestionnaires du programme sur des l ments de la conduite de l action La dimension technique ou l axe informel formel La dimension technique est le troisi me axe de diff renciation des pra tiques d valuation que nous avons retenues La dimension technique m thodologique de l valuation reste centrale dans les discours et les d bats sur l valuation et m rite donc d tre prise en compte dans un mod le global d identification des pratiques La dimension m thodologique s applique le plus
176. s de conduite d une action mais aussi sur le mod le CIPP Contexte Intrant Processus Produit d valuation de Stufflebeam 15 partir de ces deux mod les nous avons construit nos cat gories d analyse de la structure d un programme Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 40 e comment value t on B EN PROGRAMME PROJET D ACTION PROJ ET D VALUATION VALUATION OBJECTS VALUATION VALUATION VALUATION DE CONTEXTE D INTRANT DE PROCESSUS DE PRODUIT Op ration Repr sentation Op ration Repr sentation Repr sentation Repr sentation Fins Moyens Moyens Fins Tableau 2 Les cat gories d analyse de la structure d un programme projet crit Le tableau s articule autour de deux grandes cat gories d objets les fins et les moyens et de deux types d action mentale qui se r pondent l op ration et la repr sentation II y a ainsi six cat gories d analyse d un programme comme pro
177. s int ress es Organisation mondiale de la sant L valuation des programmes de sant principes directeurs Gen ve OMS 1981 p 11 L valuation est la comparaison d un objet d int r t d un ensemble d informations et d une norme standard d acceptabilit d un ensemble de crit res ad quats pour prendre une d cision juger entre diverses d cisions possibles sur base de rapport d valuation Bury J A ducation pour la sant concepts enjeux planifications Bruxelles De Boeck Universit 1988 p 193 Consid rer l valuation comme une phase terminale est une erreur de jugement l valuation doit tre consid r e comme une partie int grante et continue du travail d ensemble de la planification elle est un processus d analyse pr sent chaque tape comme en fin d action Bury J A Education pour la sant concepts enjeux planifications Bruxelles De Boeck Universit 1988 p 195 valuation de l impact C est l impact imm diat du programme sur les connaissances les attitudes et les comportements du public cible Il s agit surtout de v rifier dans quelle mesure les interventions sp cifiques appliqu es sur le terrain ont abouti aux r sultats escompt s sur la population cible Les questions suivantes en sont des exemples le public cible fait il appel aux services m dicaux plus pr cocement qu avant l intervention Les comportements hygi niques sont ils plus acceptables L
178. s r gles du groupe de parole ou par le th tre forum ou par toute autre modalit n est pas poser comme un objectif g n ral mais comme une m thode d action un dispositif p dagogique l objectif valuer tant l affirmation d un sujet plus conscient de son rapport Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 57 e comment value t on B EN son corps lui m me et aux autres sa sant Cela ne pourra tre fait si l on n a pas d gag des crit res de cette affirmation du sujet et trouv des indicateurs t moignant de leur effectivit Les effets du groupe de parole ou du th tre forum sur les participants seront va luer en fonction de ces crit res en revanche la r alisation de l activit et la satisfaction des b n ficiaires r pondent une autre intention valuer le d roulement du processus p dagogique et son ad quation au public 4 Formaliser l valuation sans lui donner de pr tentions d mesur es L exigence de rigueur conduit privil gier les processus cogn
179. sant Provence Alpes C te d Azur 2004 p 32 En ligne http www cres paca org documentation gndeps guidedoc pdf Derni re consultation 24 11 2005 2 La s rendipit est le don ou la facult de trouver quelque chose d impr vu et d utile en cherchant autre chose In fr wikipedia org wiki S C3 A9rendipit C3 A9 Derni re consultation 24 11 2005 e UOIJ9NPOJJUI introduction Pour faciliter l appropriation d un tel sujet nous avons s lectionn des documents en fran ais et si possible facilement accessibles en pr f rant notamment les documents en texte int gral sur internet Nous n avons pas pour autant n glig les documents anglophones leurs r f rences sont souvent cit es par les auteurs francophones pr sent s en texte int gral et lorsque nous l avons estim n cessaire des r f rences la litt rature internationale ont t ajout es dans la rubrique Pour en savoir plus leur ultime s lection a t motiv e par leur facilit d acc s Pour guider le lecteur Nous avons structur ce document de la mani re suivante Qu est ce que l valuation Quelques d finitions Pourquoi value t on Objectifs de l valuation Comment value t on Mod les grilles et outils d valuation Evaluation d une action exemples d application Pour en savoir plus Chacun des chapitres du dossier est structur de fa on identique Des articles ou des extraits d ouvrages nous paraissant essen
180. servable Nous disposons d une grille d analyse des pratiques d valuation Appliquons cette grille au cas de l valuation d expertise l valuation de type 2 II n y a pas de processus et pas de d cision explicites Les trois dimensions sociale strat gique et technique s appliquent au seul jugement II y aura alors quatre formes d expertise L expertise explicite interne informelle peut tre r alis e au cours d une r union de l quipe de gestion du programme C est par exemple l valuation interne et informelle r alis e au terme d une formation o chacun exprime son degr de satisfaction Elle peut devenir interne formelle si les crit res internes de juge ment sont d crits au pr alable Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 38 e comment value t on B EN e L expertise explicite externe informelle peut venir des conseils d un coll gue C est l valuation par les pairs Les formateurs ont fait appel un obs
181. souvent au proces sus d valuation L valuation dite scientifique se d finit chez ses pro moteurs par cette dimension Elle est assimil e au paradigme exp ri mental Pour g n raliser cette dimension m thodologique nous la d finis sons par la formalisation ou non des composantes qui ont t pr ala blement explicit es La formalisation du processus d valuation porte sur les diff rentes tapes du processus Nous d terminons qu un processus est formel s il pr sente des indicateurs phase de d limitation une m thode et des outils de recueil de l information phase de recueil Le jugement de valeur est consid r comme formalis quand les crit res les normes les valeurs sur lesquels portent le jugement sont pr sent s La formalisation ou la nonformalisation de l utilisation de l va luation s exprime par l application imm diate ou diff r e du juge ment de valeur La grille d Analyse des pratiques d valuation de programme Apep Nous avons maintenant tous les ingr dients th oriques n cessaires pour d crire une pratique d valuation La combinaison des trois com posantes processus jugement d cision et des trois dimensions sociale strat gique et technique fournit une grille th orique qui pr voit l existence potentielle de cent vingt quatre modalit s d valuation diff rentes La cent vingt cinqui me est l valuation totalement impli cite et donc en principe inob
182. t de la terminologie subsiste une seule et m me activit d va luation de programmes dont les composantes sont ou non explicit es en fonction des enjeux sociaux strat giques et techniques Les r sultats une typologie des pratiques d valuation de programmes d ducation pour la sant L analyse du contenu de quarantesix demandes de financement pour des programmes d ducation pour la sant la totalit des demandes faites en 1992 et 1993 aupr s de la Communaut fran aise de Belgique nous a permis de d gager six types d valuation de programmes d du cation pour la sant Les relations tablies entre les variables ont t contr l es l aide du test du chi carr et de ses variantes non param triques Cependant le petit nombre et le contexte particulier du mat riel ne peuvent per mettre de g n raliser les premi res conclusions Je ne pr sente ici qu une br ve synth se Au terme du travail nous pouvons tablir une convergence entre le contexte d un programme son contenu sa structure et son projet d valuation Cette convergence s organise autour de plusieurs crit res de diff renciation L explicitation et la formalisation du projet d valuation valua tion du processus et des produits Cette pratique est largement minoritaire Le degr de focalisation ou de diversification des objets d valua tion Le projet d valuation focalis porte au maximum sur trois objets diff rents
183. t comportent de longs d lais entre l laboration d un programme et la production d information sur ses effets Ce processus est important mais extr mement lent Les d cideurs et praticiens en revanche ont souvent besoin de recevoir l information plus rapidement puisqu on leur demande de r agir des probl mes pr cis br ve ch ance sous forme de programmes et d interventions qui produisent un maximum d effet En bref ce dont ils ont besoin c est que les informations obtenues gr ce la recherche soient traduites en recommandations pratiques qui correspondent au contexte dans lequel ils doivent travailler Ceci signifie que pour stimuler une promotion de la sant efficace il faut la fois 1 laborer et diffuser des programmes dont l efficacit a t d montr e et 2 informer sur les principes d efficacit qui influencent l efficacit de la promotion de la sant dans la pratique et la fa on dont les professionnels utilisent ces informations C est sur cette toile de fond que l Institut n erlandais de promotion de la sant et de pr vention des maladies NIGZ a lanc le projet Preffi au milieu des ann es 90 Le projet est un processus long terme par lequel on tente d am liorer l efficacit de la promotion de la sant en stimulant une r flexion syst matique et critique sur les programmes et les projets e efficacit e Pays Bas e outils d valuation e programmes
184. t aux groupes sociaux de comprendre et d agir sur leur sant par des savoirs des savoir faire mais aussi des savoir tre et des savoir devenir Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 EC e osAjeue p Se 1 3 s poyz u 46 e comment value t on B EN L valuation est loin tr s loin d tre seulement une d marche scien tifique c est aussi une pratique sociale Ce qui lui importe est autant la rationalit accrue qu elle apporte que la parole qu elle lib re Intervention en assembl e pl ni re 15 septembre 1998 R f rences bibliographiques 1 Modolo M A Mamon J The contribution of the IUHE to the evolution of key areas in health education forty years in perspective Hygie 1991 X 2 7 11 2 Gatherer A Parfit J Porter E Vessey M Is health education effective Abstracts bibliography and overview of evaluated studies London The Health Education Council 1979 92 3 Liedekerken P C Jonkers R de Haes W F M Kok G J Saan
185. t on B L M thode de pointage Chaque crit re de Preffi a t op rationnalis au moyen d une ou plusieurs questions particuli res auxquelles il faut r pondre par oui ou par non Les r ponses ces questions permettent aux utilisateurs de noter comme faible mod r e ou forte la fa on dont une intervention satisfait un crit re particulier voir l exemple de l encadr 1 Cette op rationnalisation a pour objet de fournir aux utilisateurs de Preffi un outil qui leur permet d valuer un programme de la fa on la plus objective possible Cependant la nature d un crit re particulier ou des questions qui op rationnalisent ce crit re peuvent ne pas toujours permettre une valuation objective cet effet on peut tablir grosso modo une distinction selon trois types de crit res Le premier type comprend des crit res pour lesquels les questions appellent une r ponse sans quivoque par exemple Sait on dans quelle mesure le groupe cible per oit effectivement le probl me comme tel 2 3 La deuxi me cat gorie sont des crit res pour lesquels il n existe pas de r ponse directe parce qu ils exigent l valuation de certains aspects tels que l expertise du charg de projet 1 3 a ou si le groupe cible per oit l intervention comme tant compatible avec sa culture 6 3 b Dans de tels cas il est conseill aux utilisateurs de rechercher le consensus des pairs au sujet de
186. tiels ont t reprographi s quelques lignes introductives argumentent les choix op r s Les r f rence d articles ou les articles figurent par ordre alphab tique d auteurs Enfin une rubrique Pour en savoir plus conclut le dossier documentaire La recherche documentaire a t arr t e en f vrier 2005 Des ressources francophones et davantage d changes La difficult d un tel projet r side dans le fait qu il existe peu de litt rature francophone portant sur la mani re dont les actions en ducation pour la sant sont valu es par contre les articles rapportant les r sultats de ces valuations sont nombreux Fort de ce constat on pourrait imaginer que ce dossier serve de base un difice baptis Evaluation dont les fondations seraient constitu es d crits relatant la mani re dont telle ou telle action a t valu e De fa on plus pragmatique les technologies de communication et d information actuelles peuvent faciliter et dynamiser les changes sur les exp riences Il devient raisonnable d imaginer alors un espace internet d di l valuation et sa mise en uvre dans le champ de l ducation et la promotion de la sant A vos crayons donc C cile Fournier Anne Sizaret Mars 2005 1 Deschamps JP Baudier F Un d fi ditorial la publication des actions de sant publique Sant publique 1998 10 2 119 23 e UOIJ9NPOJJUI qu est ce que l valuation E L
187. tion un processus un mouvement vers l ext rieur de socialisation par la parole et par l intervention externe d un tiers Ce mouvement est la port e est du devoir de tous L objectivit de l valuation vient alors de la valeur sociale attribu e l valuation plus que de la technique utilis e L objectivit s entend comme la distance prise par rapport la subjecti vit et pas du rapport une v rit scientifique pour autant qu il y en ait une Elle reste toujours relative Un effort de formalisation plus tech nique intervient qui portera sur les trois composantes de l valuation une formalisation des m thodes de r colte de l information une formalisation des crit res utilis s pour juger une formalisation de l utilisation de l va luation dans les d cisions Ainsi l va luation s interroge aussi sur elle m me La formalisation donne valeur aux actes d valuation des diff rents acteurs Mais cette phase de formalisation est un prolongement du mouvement de socialisation de la valeur de l action entam e par nonciation et la tier cisation L thique de l valuateur La question de l thique dans le domaine de l valuation est le plus sou vent trait e du point de vue de P va luateur professionnel Cette question est alors abord e sous l angle de P thique professionnelle Nous abor derons bri vement ce point en tentant de clairer en envisageant les trois composant
188. tonomie vention Elle tente d identifier les ressources les cinq autres les ressources mobiliser 1 Les actions sociopolitiques 2 Les actions environnementales 3 Les actions communautaires 4 Les actions ducatives 5 Les actions de communication sociale 6 Les actions de formation 7 Les actions d enqu te 8 Les actions de pr vention sanitaire 9 Les ressources humaines 10 Les ressources mat rielles 11 Les ressources financi res 12 Les ressources temporelles 13 La gestion globale Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 Pour tenter de rendre compte de la diversit des fins et des moyens de l ducation pour la sant nous avons aussi cr un syst me de cat gories du contenu d un programme d ducation pour la sant Les objectifs et les objets de l valuation de contexte et de produit Nous avons identifi neuf cat gories d objectifs en nous inspirant au d part du mod le Proceed Prec ede de Green 16 Ce mod le de pla nification cr
189. tor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 121 129 uones9ijdde p s jdw x 81 e valuation d une action recommandations th rapeutiques faites l h pital d crochent sur le plan social scolaire ou professionnel et entrent dans une marginalit o leurs difficult s les maintiennent haut risque sur le plan existen tiel tandis que les chances de les voir acc der une aide efficace dimi nuent d autant L unit pour jeunes suicidants visait accro tre les chances d un engagement de ces adolescents dans un processus d accompagnement et de prise en charge Donner cette structure l organisation d une unit hospitali re avait pour objectif de lutter contre la banalisation de l acte suicidaire Cette hospitalisation devait permettre la prise en consid ration du d sir de rupture implicite dans nombre de passages l acte suicidaire une restauration des capacit s personnelles et relationnelles une mobilisation de l entourage un affinement de l valuation psychosociale initiale effectu e en urgence afin de d boucher sur une indication de traitement mieux adapt e chaque situation personnelle un travail sur la crise suicidaire qui donne un sens un projet d aide plus long terme quelles qu en soient les modalit s La mise en
190. tre et juger l action Elle permet de construire une repr sentation de l action et de sa valeur Les trois com posantes de l valuation sont intime ment li es Le r le croissant de l va luation ne peut se comprendre que dans ses rapports la connaissance au jugement et la d cision L valuation est une pratique sociale particuli re la crois e de la science de la philosophie et du politique Il faut la consid rer en tenant compte de ces trois rationalit s distinctes m me si la rationalit cognitive appara t dominante et tend masquer les deux autres L thique Paul Ladri re situe l thique dans l action et dans la constitution des valeurs Il fait ensuite une distinction entre une thique traditionnelle et une thique rationnelle qui nous permettra d introduire ce que nous appelons la fonction thique de F valuation Le point de d part de l exp rience thique se situe dans l action La libert que je crois poss der ne se concr tise que dans l acte que je pose L exp rience thique se d veloppe alors dans la prise de conscience de ce que je suis de ce que je souhaite et de ce que je fais Au del de ce rapport soi c est dans le rapport l autre que se pour suit l exp rience thique L affirmation de sa propre libert prend conscience de la libert de Fautre et des limites et difficult s de cette confrontation dans LA SANT DE L HOMME N 345 JANVIER
191. ty Assurance An Introduction for Health Care Professionals London Churchill Livingstone 1992 Alain Deccache Professeur Unit d Education pour la Sant RESO Ecole de Sant Publique Universit catholique de Louvain Avenue Mounier 50 1200 Bruxelles Belgique T l 32 0 2 764 50 70 Fax 32 0 2 764 50 74 Deccache A Evaluer la qualit et l efficacit de la promotion de la sant approches et m thodes de sant publique et de sciences humaines Promotion amp ducation 1997 4 10 14 e UOljEnEA9 p S129 qo Se IN e pourquoi value t on 12 EME valuer une question d thique Quelles sont les questions thiques qui se posent tout valuateur Quelle est la fonction thique de l valuation Avant de poser quelques jalons pour une r flexion sur les relations entre l valuation et l thique pr cisons quelles d finitions pr alables de P va luation et de l thique nous nous r f rons L valuation valuer n est pas mesurer Pourtant la repr sentation dominante de P va luation correcte est toujours celle du recueil de donn es quantitatives selon le mod le scientifique exp rimental valuer c est autre chose Si l on recherche une d finition plus compl te de l valuation d une action il est pos sible d identifier trois composantes l valuation p L valuation comporte tout d abord effectivement un processus de re cu
192. u est ce que l valuation d un programme d ducation pour la sant C est la question de la sp cificit de l valuation des actions d duca tion pour la sant Cette sp cificit pour nous n est pas de nature mais de forme Ce qui est sp cifique ce sont les objets de l valuation dus la nature de l action d ducation pour la sant L valuation s adaptera cette sp cificit par le choix des indicateurs des crit res des instruments du recueil d information des analyses Mais la nature de l valuation ne change pas Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 35 51 e osAjeue p Se 1 3 s poyz u EC 41 e comment value t on B EN rencontr s et qui correspond au terme empowerment 1 Les objectifs socio conomiques 2 Les objectifs sanitaires 3 Les objectifs environnementaux 4 Les objectifs comportementaux 5 Les objectifs cognitifs 6 Les objectifs affectifs 7 Les objectifs psychomoteurs 8 Les objectifs administratifs 9 Les objectifs d au
193. uation permet le d bat d mocratique et la n gociation Pour Monnier 12 la n gocia tion est le nouvel enjeu de l valuation Il y a ensuite l enjeu strat gique Cet enjeu est li au pr c dent Expliciter une expertise c est identifier les experts et leurs valeurs C est aussi aller au del de l explicite pour identifier ceux qui contribuent produire le jugement de valeur et ceux qui l utilisent Ce n est pas simple Les acteurs changent au cours de l action leurs id es voluent Et puis le fait d identifier d expliciter donne une position strat gique L valuateur qui entreprend ce travail devra clarifier ses propres valeurs ses propres enjeux prendre position Qu est ce qui a valeur les objectifs d sign s ou d autres Qu est ce qui a le pouvoir de d cider ce qui vaut ou ne vaut pas Enfin il y a l enjeu m thodologique Y atil un paradigme scientifique qui aurait plus de valeur qu un autre On le voit bien l id al exp rimental hante les nuits des pid miolo gistes m me s ils reconnaissent faire pour l essentiel de l observation Roger Salamon D autres paradigmes existent pourtant Ils ont t utili s s et mod lis s dans le champ de l valuation Mais la valeur attribu e Demarteau M Les pratiques d action en ducation pour la sant et leurs modes d valuation r flexions critiques et questions pour la recherche In Comit d ducation pour la sant Comit r gional d A
194. ucateur se pr sente et m interroge I1 s aper oit vite de mon ignorance je ne sais pas distinguer une bouteille de bordeaux d une bouteille de bourgogne je crois que le vin ros est un m lange de vin rouge et de vin blanc j ignore l existence du ch teau Larrose etc Il reprend donc tout z ro et me fait un cours sur les tech niques de fabrication du vin et la classification des grands crus A il fait uvre d ducation Certes non Seulement d information Je serai peut tre capable de lui r citer le cours apr s l avoir appris mais il y a peu de chances que je modifie mes habitudes de consommation Un deuxi me candidat arrive II me fait parler essaye de com prendre l origine du probl me pose un diagnostic ducatif II se pro pose de m entra ner progressivement boire du vin Je dois tenir un car net de bord de ma consommation journali re et quand je le rencontre nous analysons ce carnet de bord Nous fixons des objectifs pr cis et r alistes un demi verre les soirs ordinaires et un verre les soirs de f te Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002
195. udemment que c est un pro bl me d outils que l on ne dispose sans doute pas des bons outils d va luation qu il faut en fabriquer d autres ou peut tre aller en chercher ailleurs que du c t de la sant publique Hier soir arriv s ce stade de la conversation nous avons soudain pris conscience ce fut une r v lation que les participants aux ateliers n attribuaient pas tous le m me sens aux deux mots le plus fr quem ment utilis s depuis le d but de ce colloque valuation et ducation Il semble qu il y ait un peu de confusion entre valuation recherche analyse objectivation II semble qu il y ait aussi un peu de confusion entre ducation instruction information formation Nous nous sommes quitt s sur ce constat en nous disant qu il faudrait l avenir pr ciser de quoi nous parlons nous r f rer un glossaire commun Certains se sont alors dirig s vers le fleuve et ont embarqu bord d un navire antillais sur lequel ils ont bu mang et dans avec des fleurs Sandrin Berthon B valuer notre capacit faire uvre d ducation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 Evaluer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 165 171 e UOHENIEA9 8P SJ29
196. uliers dont la subjectivit se construit dans une confrontation continuelle aux contradictions inh rentes l exp rience de la vie sociale Quatre propositions Nos travaux me sugg rent quelques pistes gr ce auxquelles je vais don ner un tour plus constructif mon propos D abord nous ne serons pas perdants si nous r habilitons le doute l incertitude l importance de la confrontation au risque la n cessit de prendre le risque d agir de cr er d innover au risque de nous tromper Ensuite veillons bien accompagner la prise de risque de vigi lance critique de rigueur dans l analyse de la situation de ce qu on Le bateau qui nous emmena visiter le port de Bordeaux est ainsi nomm en souvenir d Ali nor d Aquitaine ma tresse femme qui n avait pas besoin d valuation pour prendre ses d cisions Goudet B Quatre propositions pour garantir la qualit de l valuation In Comit d ducation pour la sant Comit r gional d Aquitaine d ducation pour la sant Ecole nationale de la sant publique Universit Victor Segalen Bordeaux 2 valuer l ducation pour la sant concepts et m thodes Universit Victor Segalen de Bordeaux 15 16 et 17 septembre 1998 Vanves Editions Inpes 2002 172 182 e osAjeue p Se 1 3 s poyz u EC 54 e comment value t on B EN attend de l action de son d roulement et de ce qu elle para t pro duire Il s agit d tre s rieux c
197. ur l acteur mais aussi l valuateur fixent des objectifs d veloppent des activit s mettent en uvre des techniques beaucoup moins raisonnables videntes ou rationnelles qu ils ne le croient Chacun fonctionne selon des principes li s sa position ses int r ts sa formation ses facilit s Si l on veut intro duire de la coh rence entre d cision action et valuation des r sul tats il importe de faire sortir de l implicite ce non dit Cela implique un travail de pens e d explicitation des pr tendues vidences de conceptualisation du rapport la sant et au changement et de leurs facteurs d terminants Les pr suppos s ne s expliciteront qu avec un tayage th orique identifiable Si l action en ducation pour la sant reste guid e par la rationalit positiviste na ve de ce qu on appelle le mod le biom dical elle s ap puie essentiellement sur la d livrance d informations qui doivent tre fiables scientifiquement et administr es selon les techniques de com munication les plus efficaces L valuation vise alors enregistrer des acquisitions cognitives et v rifier si des modifications comporte mentales observables de l ext rieur se sont produites Le questionnaire et le constat de fait sont de bons outils Le chiffre est roi Si l action en ducation pour la sant est guid e par la rationalit conomique et strat gique des th ories de l action raisonn e elle met en uvre des
198. ur doit porter un jugement mais ind pendant des buts assign s un programme le mod le goal free evaluation en fonction des besoins de la population recueillis par lui L enjeu m thodologique porte donc sur le mode de production du jugement de valeur sur le rapport entre la connaissance et le jugement mais aussi sur l utilisation de ce jugement Favoriser l utilisation des r sultats d une valuation est un enjeu technique Les recherches sur l utilisation de l valuation 14 offrent des pistes de travail La description de la structure et du contenu des programmes d ducation pour la sant Qu est ce qu une valuation de programme Qu est ce qu un pro gramme Qu est ce qu un programme d ducation pour la sant La structure d un programme Pr cisons que pour des raisons th oriques et pratiques nous utilisons la d nomination programme plut t que celle de projet Le projet selon Barbier est une repr sentation une image antici patrice Le programme est un document projet Le programme crit est aussi une production sociale un acte d lib r socialement orga nis qui dit quelque chose sur son auteur et son environnement C tait pour nous un support ad quat pour identifier des pratiques d valua tion explicit es L valuation est intimement li e aux concepts de projet et de pro gramme C est le lien que nous allons pr senter en nous appuyant sur le mod le de Barbier du proc
199. uvre du projet Le projet pr voyait que les patients seraient accueillis l unit apr s une valuation initiale en urgence par des membres de l quipe La dur e du s jour des adolescents l unit devait tre d une dizaine de jours en moyenne Les objectifs poursuivis devaient tre atteints par des entretiens individuels r guliers vis e th rapeutique des activit s vocation ducative des groupes th rapeutiques la prescription ventuelle de m dicaments Dans la mesure o l unit ne devait pas tre un simple lieu d h ber gement les patients devaient tre tenus de participer aux activit s Compte tenu de l investissement relationnel tr s important des soi gnants confront s de jeunes suicidants des r unions d quipe r gu li res et des supervisions devaient tre mises en place de fa on four nir aux soignants les supports indispensables la r alisation du programme Objectifs et m thode de l valuation L valuation a t commandit e par les h pitaux universitaires de Gen ve avec des enjeux tr s importants puisqu il s agissait principale ment de mesurer l utilit de l unit en vue d une d cision quant son maintien Cette premi re valuation trois mois devait tre suivie d une valuation plus long terme soit deux ann es apr s la mise en place du dispositif L valuation a t confi e au Groupe de recherche sur l ado lescence de l Institut univ

Download Pdf Manuals

Related Search

Related Contents

Toshiba Satellite C55-A-1TG  User Guide V1.31  Smeg LBST70M User's Manual  Fronius IG Plus    GREC 1  Samsung 713N Benutzerhandbuch  なぜ「掲載否」と判定されるのか    Cortex-M0+ Devices Generic User Guide  

Copyright © All rights reserved. Failed to retrieve file