Home

couv Coopérer aujourd`hui 72_couv Coopérer aujourd`hui 67.qxd

1. des moments tr s distincts par des personnes tr s diff rentes qui sont elles m mes dans des positions tr s dissemblables vis vis d un projet particulier Ces d cisions ont toutes besoin d tre clair es par la relecture et la mise en d bat d informations objectives de natures tr s diverses Gret Coop rer aujourd hui n 72 15 Le suivi valuation pour piloter apprendre et rendre compte Nous d finissons les dispositifs de suivi et d valuation comme des panoplies d outils destin s produire ces informations et les mettre en d bat qui sont con ues et activ es par le dispositif projet et majoritairement financ es sur le budget de ce dernier qui contribuent d abord clairer les d cisions prises durant la mise en uvre du projet qui concourent galement documenter des campagnes d information et de communication et des processus d apprentissage et de capitalisation qui peuvent se d rouler en dehors du cycle du projet Cette d finition repose sur une distinction entre les outils et les pratiques mobilis s par le dispositif projet et ceux ou celles con us et activ s en dehors de lui Elle n a ni fondement th orique ni pr tention universelle Elle prend acte de la fa on dont ces dispositifs de suivi valuation sont le plus souvent con us et mis en place du moins au sein des organisations qui ressemblent au Gret et celles auxquelles il propose ces servic
2. mesure de la progression du projet 2 2 Une conception partag e pour mieux pr voir l utilisation des donn es et contribuer aux apprentissages attendus Une conception partag e avec les futurs utilisateurs des donn es L laboration d un dispositif de suivi valuation ne devrait jamais tre un exercice solitaire Les DSE ne sont utiles que s ils r pondent aux besoins de leurs diff rents utilisateurs Plus ces utilisateurs sont associ s leur conception plus il y a de chance que ces besoins soient satisfaits et mieux les informations collect es r pondront leurs attentes et leur seront accessibles Les projets de d veloppement sont souvent des objets complexes et originaux L laboration de leur DSE n est jamais un exercice m canique Elle exige presque toujours de prendre du recul de r interroger une premi re conception de r couter les diff rentes lectures possibles de l action Difficile de prendre du recul tout seul surtout quand on est tr s directement impliqu dans l action I5 La remarque n est pas une critique du cadre logique qui d sormais doit presque obligatoirement figurer dans les documents projets pr sent s par les ONG leurs partenaires financiers institutionnels Certaines associations regimbent face cette obligation Cet outil n a pourtant pas que des d fauts Sa g n ralisation a plut t contri bu am liorer la lisibilit et la qualit des documents projets
3. hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Les outils et les proc dures qualit ne devraient pas tre pens s ind pendamment des syst mes de gouvernance L mergence de telles instances de ma trise d ouvrage a videmment plus voir avec l volution des institutions publiques qu avec les dispositifs de suivi valuation Mais ces dispositifs peuvent influencer les pratiques de ces instances et contribuer leur volution Les crit res retenus la nature et la lisibilit des informations produites la fa on dont elles sont mises en d bat r v lent et marquent les rapports entre ces instances et les parties prenantes d une action Ils favorisent ou limitent la participation des b n ficiaires usagers ou citoyens sa conduite facilitent ou contrecarrent son inscription dans des d bats politiques plus vastes Les outils qualit des acteurs de la coop ration au d veloppement devraient aussi tre pens s pour contribuer l mergence ou au renforcement de tels ma tres d ouvrage 1 2 Qualit au sein des ONG Les ONG sont de plus en plus interpell es sur des probl matiques de qualit Les ONG ne fabriquent pas des biens marchands destin s des clients Mais elles sont de plus en plus en concurrence vis vis des bailleurs publics ou des donateurs priv s dont elles d pendent pour financer leurs actions Ces soutiens financiers d cid s sur des crit res p
4. monsieur Jourdain Ils diss quent et d crivent avec des mots compliqu s des savoir faire d j bien acquis et tr s partag s Ils embrouillent parfois des d marches qui au fond mobilisent plus de bon sens que de technique Mieux vaut tre intelligent avant d tre syst matique Les m thodes qui pr tendent s appliquer une grande diversit de situations sont forc ment tr s syst matiques Elles ne facilitent pas toujours la lecture des sp cificit s d un contexte ou celle des enjeux particuliers d un projet Or cette lecture est bien souvent la cl d un bon dispositif de suivi et d valuation Les d marches trop normatives aboutissent g n ralement des dispositifs trop exhaustifs difficiles mettre en uvre et utiliser Il est plus facile d identifier une longue s rie d indicateurs en remplissant l ensemble des cases d un fameux cadre logique que d en choisir un petit nombre susceptibles d tre effectivement renseign s et utilis s au bon moment par les bonnes personnes sur un projet aux moyens limit s En mati re de suivi valuation pr f rer toujours le sur mesure au pr t porter 26 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Des r f rences sp cifiques valent mieux que des conseils g n riques Des r f rences en mati re de suivi valuation ont t labor es dans la plupart des domaines th mat
5. tre ponctuelles ou syst matiques ou d clench es en fonction des al as de la mise en uvre de l action confi es aux quipes charg es de la mise en uvre du projet une cellule suivi valuation enqu te interne ou des partenaires ext rieurs enqu te externe selon les comp tences et l ext riorit n cessaires Des syst mes de veille sur les donn es produites par d autres Prendre des d cisions rendre compte ou r fl chir ex post ne n cessitent pas seulement de documenter les activit s les r sultats et les effets du projet Cela demande aussi de suivre les volutions de son environnement social politique conomique climatique Les informations n cessaires ce suivi ne sont pas forc ment produites par les projets eux m mes mais plus souvent collect es aupr s des sources d informations ext rieures Des valuations externes Les valuations externes compl tent les donn es collect es par les trois premiers outils et en proposent une synth se Elles apportent en th orie un point de vue neutre et objectif et permettent l ensemble des acteurs de prendre du recul par Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte rapport l action Elles interviennent donc des moments cl s mi parcours la fin d un projet entre deux phases d un programme gt Des tudes d impact Les valuations externes prennent
6. es du contr le ex post de la conformit de leur produit au suivi de leur processus de production Elles ont ensuite volu vers des politiques de management global qui portent sur la totalit des fonctions de leur organisation et s efforcent de r pondre aux exigences de l ensemble de leurs parties prenantes internes et externes L analogie ne doit cependant pas tre pouss e trop loin Gret Coop rer aujourd hui n 72 11 Le suivi valuation pour piloter apprendre et rendre compte Au sein des ONG ces politiques qualit plus globales int grent forc ment les dispositifs de suivi valuation des projets Elles encadrent leur conception et leur mise en place Elles les utilisent pour produire des indicateurs destin s rendre compte non seulement de la qualit de projets en particuliers mais aussi de la qualit de l action de l ONG en g n ral La plupart des agences de d veloppement mettent galement en uvre de telles politiques Les dispositifs de suivi valuation ne peuvent plus tre con us ind pendamment des outils qualit mis en place au sein des institutions qui les soutiennent Cette contrainte ne va for c ment sans tensions entre les besoins originaux de chaque action des acteurs de terrain et les d marches forc ment normatives de ces institutions 2 Qualit et projets de d veloppement d finition des dispositifs de suivi et d valuation 2 1 Le cycle de projet rappel
7. il est trop t t pour mettre en place un outil de suivi Apr s il est trop tard si on attend trop il est vite trop tard Les responsables ont pris l habitude de travailler au doigt mouill Le travail r trospectif n cessaire pour reconstituer des s ries de donn es partir d enregistrements pars appara t hors de port e Les acteurs pensent d j la phase suivante qui va h las souvent se jouer sur des consid rations peu objectives Ils renvoient les questions de redevabilit l valuation finale g n ralement pr vue et budg tis es dans le document de projet Des ajustements successifs une volution anticip e Un DSE doit voluer en fonction de la progression du projet et parfois des changements intervenus dans son contexte Cette volution n cessite des prises de recul et un minimum de concertation entre parties prenantes du projet Elle intervient rarement de fa on continue et spontan e mais proc de plut t par v nements successifs l ajustement de l outil de suivi le d clenchement de nouvelles enqu tes ou consultations la pr paration d une valuation externe etc Ces v nements interviennent en g n ral la suite de bilans interm diaires Mieux vaut pr voir assez t t le rythme et les modalit s de ces bilans interm diaires ce rythme devrait faire partie de l architecture du DSE Faute de quoi dans des fonctionnements g n ralement flux tendu ils interviennent
8. me qualit doit non seulement pouvoir appr cier ces apprentissages mais il doit aussi tre con u pour les favoriser Cette exigence p dagogique et le caract re it ratif des projets impliquent souvent que ces dispositifs soient con us avec la participation des apprenants gt Le d veloppement rime souvent avec l volution de l organisation sociale et des institutions locales voire souvent avec la cr ation d institutions ou d arrangements institutionnels nouveaux La qualit de ces institutions au sens large nouvelles ou transform es est souvent un l ment majeur pour appr cier la qualit d un projet de d veloppement La qualit de ces projets it ratifs forte composante d apprentissage et de construction institutionnelle inscrits dans des programmes de longue dur e ne peut pas toujours s appr cier avec les outils classiques de suivi et d valuation Ces outils privil gient en g n ral la comparaison r alisation pr vision les indicateurs quantitatifs simples fix s l avance ou les d marches normatives ind pendantes de l environnement sp cifique des projets 2 3 Les dispositifs de suivi valuation un levier parmi d autres au service de la qualit des projets Une d finition op rationnelle des outils destin s contribuer la qualit d un projet et mobilis s durant sa mise en uvre La qualit des projets d pend donc de multiples d cisions prises
9. pondre ces enjeux et ces questions baucher un calendrier d installation ou de mobilisation de ces outils coh rent avec les principales ch ances du projet 5 Relire et pr ciser si n cessaire l organisation pr vue de la gouvernance du projet quelles instances auront besoin de quelles informations pour prendre quelles d cisions Pr voir l organisation sommaire de ce dispositif n cessite t il du personnel d di et l estimation approximative des moyens qui lui seront n cessaires 7 Proposer ventuellement la d finition d un petit nombre d indicateurs dits d terminants cf ci apr s Habituellement l laboration d une telle architecture proc de de deux d marches parall les la premi re tente de r pondre la question Quelles seront les informations n cessaires la seconde s efforce de pr voir Qui seront les utilisateurs de ces informations Quand Et pour quel usage La premi re suit le cheminement assez classique des d marches valuatives appliqu es aux projets cf ci apr s La seconde est moins norm e et d pend plus fortement de la nature du projet et de l organisation de sa gouvernance 28 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Deuxi me tape la mise en place des premiers outils apr s le d marrage du projet Plusieurs mois peuvent s parer l criture d un
10. puis la cr ation de l institution capable de l assurer durablement et enfin l autonomisation de cette institution Chaque phase n cessite un ajustement radical du dispositif DSE du programme Cet ajustement doit lui aussi tre anticip 2 l ments de m thode 2 1 Poser les bonnes questions avant d identifier les outils et de raisonner trop vite et trop exclusivement en termes d indicateurs La d marche valuative comme rep re L laboration d un dispositif de suivi valuation suit peu pr s le m me cheminement que la pr paration de la plupart des d marches valuatives Ce cheminement d j voqu ci dessus cf Tableau 2 page 28 peut tre repr sent par le sch ma ci dessous Il se d roule en cinq tapes 1 Les promoteurs de la d marche valuative clarifient leurs enjeux et pr cisent leurs objectifs 2 En fonction de leurs objectifs ils choisissent les crit res qu ils entendent privil gier et lorsque la d marche concerne un ensemble complexe les objets sur lesquels l valuation doit plus particuli rement porter 3 L application de ces crit res ces objets est ensuite traduite en questions valuatives de plus en plus pr cises 4 Les valuateurs identifient et caract risent sommairement les outils de collecte de donn es qui vont permettre de r pondre ces questions Eventuellement ils choisissent et d finissent sommairement les indicateurs qu ils vont utiliser 5 Ils
11. Au fur et mesure de l appropriation du projet par sa gouvernance Les personnes associ es la gouvernance d un projet ne sont pas spontan ment des demandeurs ou des utilisateurs exigeants d informations ni des contributeurs pertinents soucieux de participer la conception de son DSE En g n ral elles ne le deviennent que progressivement au fur et mesure qu elles ma ftrisent le projet mesurent ses enjeux et se positionnent par rapport lui Cette progression ne va pas toujours d elle m me et doit souvent tre accompagn e Elle n cessite une conception initiale de l organisation de la gouvernance du projet souvent partag e entre plusieurs instances ou lieux de d cision op rationnels ou politiques selon des montages parfois complexes lorsqu il s agit de projet multi acteurs Chaque lieu ou chaque instance est un utilisateur potentiel d informations Le r le la composition le rythme de fonctionnement de chacun doivent donc tre pr d finis pour que l architecture du DSE puisse en tenir compte en anticipant qui sera particuli rement sensible quel crit re Quels devront tre les premiers utilisateurs des informations produites par quels outils et quel rythme Cette organisation initiale peut voluer au fur et mesure que des acteurs peu associ s la pr paration du projet y prennent plus de pouvoir Mais elle permet de structurer les premi res d marches d appropriation et d apprent
12. Cinq tapes Les cha nes de fabrication des projets de d veloppement sont g n ralement d crites sous la forme de cycles de projet La plupart des agences se sont dot es d un mod le de cycle qui leur est propre Mais en simplifiant la majorit de ces mod les peut se d crier en cinq temps ou cinq tapes 1 une tape pr alable elle se conclut par la d cision d tudier ou de pr parer un projet sommairement identifi 2 un temps d tude et de pr paration il aboutit un premier document projet qui d crit une logique d intervention propose une strat gie esquisse une organisation et une programmation estime les moyens n cessaires l action 3 un temps de n gociation il se termine par une contractualisation entre les principaux partenaires du projet ma tres d ouvrage bailleurs de fonds ma tre d uvre co op rateurs 4 la mise en uvre 5 un temps de bilan qui conclut bilan final ou qui suit bilan ex post la mise en uvre 5 Cette repr sentation est cependant souvent critiqu e Elle est adapt e des projets tr s programm s et peu connect s des d marches d ensemble Elle rend moins bien compte des projets processus qui se construisent au fur et mesure de leur progression ou de ceux dont le d roulement d pend de celui de programmes plus vastes dans lesquels ils s ins rent 12 Gret Coop rer aujourd hui n 72 Le suivi valuation pour pil
13. Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Avant propos Cette note s adresse aux acteurs concern s par l laboration et par l am lioration des dispositifs de suivi et d valuation DSE des projets ou programmes de d veloppement En contribuant leur r flexion elle esp re participer tr s modestement l am lioration de l efficacit et la qualit de ces op rations Efficacit de l aide ou qualit de la coop ration les enjeux sont d abord politiques et institutionnels Efficacit qualit Au del de leurs d finitions exactes l h sitation entre ces deux termes refl te une tension entre deux points de vue En caricaturant l efficacit qui r sulterait de proc dures bien con ues et correctement maf tris es se mesurerait quelques indicateurs La qualit fruit d une approche globale affaire de m tier et d attitude plus que de principes et de r gles s appr cierait de fa on plus complexe Cette opposition recoupe les termes d un autre d bat entre aide ou coop ration Toujours en for ant le trait l aide serait un transfert de fonds et de capacit s des pays riches vers les pays pauvres Son efficacit se mesurerait au regard des objectifs du mill naire pour le d veloppement OMD La coop ration pour le d veloppement serait une action partag e et r ciproque pour accompagner et orienter des processus de changeme
14. Des choix de repr sentants du ma tre dope An es gt suscite l action des informations sur les v nements ext rieurs et d cisi m thodes d uvre et de ses partenaires j i ecisions imm di ts les volutions du contexte Des informations disponibles en temps voulu ch ances plus espac es 6 12 mois ou moins si probl me Les instances politiques des principales institutions Analyses effets impacts et contexte apr s phase d 1 ou 2 ans concern es Des choix strat giques Gret Coop rer aujourd hui n 72 19 Le suivi valuation pour piloter apprendre et rendre compte 1 2 Trois familles d outils Les dispositifs de suivi valuation doivent donc produire des informations tr s diverses pour des acteurs et des utilisations tr s diff rents Ils ne peuvent y parvenir qu en utilisant une panoplie d outils eux m mes tr s diff rents les uns des autres Ces ensembles d outils sont con us sur mesure pour un projet ou une famille de projets donn Compte tenu de la diversit des projets une description g n rique des dispositifs de suivi valuation n aurait gu re de sens Les projets de recherche action ont logiquement des dispositifs de suivi valuation hypertrophi s la production le traitement et la mise en d bat de donn es font partie de leurs missions Dans certains domaines en sant publique en microfinance notamment les outils d
15. Elle a oblig leurs auteurs expliciter leurs lo giques d intervention Par contre l impression laiss e par l valuation d un bon nombre de projets am ne s interroger sur les longues listes d indicateurs qui figurent la deuxi me colonne de ces cadres logiques Ces IOV ne sont pas toujours ni bien d finis ni bien coh rents Ils semblent souvent avoir t mis l plus pour s duire un bailleur de fonds ou un comit de direction que pour tre effectivement mis en uvre Ils sont finale ment assez rarement renseign s tel que pr vu Au final les projets dont les cadres logiques font figurer le plus grand nombre d indicateurs ne sont pas toujours les plus transparents ni les mieux pilot s L outil est moins en cause que les conditions de son emploi un bon cadre logique devrait conclure un travail de conception d taill plut t que structurer la r daction de documents de projet crits trop rapidement Mais une telle concep tion constitue un investissement assez lourd et de plus en plus risqu compte tenu des al as des proc dures de financement actuelles 16 Le mot r sultat est ambigu il correspond la fois aux termes anglais result output outcome Il est ici utilis dans toute son ambigu t V Ici dans le sens d output et non de result 18 ee eux seuls ces indicateurs d terminants ne suffisent pas pour guider le pilotage du projet assurer sa trans parenc
16. attention particuli re 6 Tel que nous le concevons au Gret 14 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte On peut en retenir quatre gt Ces projets visent des volutions sur de longues p riodes alors qu ils sont eux m mes le plus souvent con us et ex cut s selon des cycles de trois cinq ans Ils ne trouvent leur pertinence qu au sein de strat gies de politiques globales ou de programmes qui les d passent Ils ne sont donc pas autonomes du point de vue de leur qualit Cette derni re d pend de la coh rence et de la pertinence des politiques ou des programmes dans lesquels ils s ins rent et avec lesquels ils interagissent La capacit de ces projets contribuer l volution de ces politiques ou de ces programmes constitue l une de leurs qualit s particuli res gt Les changements sociaux qu ils accompagnent progressent des rythmes difficilement pr visibles Ils fonctionnent donc sur un mode it ratif leur strat gie d intervention volue dans le temps Elle tire les le ons de leurs effets au fur et mesure qu ils progressent L appr ciation de leur qualit ne peut donc proc der de seules comparaisons du type pr visions initiales r alisations effectives d autant qu ils interviennent souvent dans des contextes instables gt Ils comportent toujours des dimensions d apprentissage collectif Leur syst
17. d s de mise en d bat de ces informations Ces attentes voluent avec la progression de l action Dans des contextes instables et sur des projets processus elles ne sont pas toujours pr visibles Les DSE doivent tre volutifs et r actifs Des ensembles d outils labor s progressivement avec leurs usagers Pour r pondre cette diversit d utilisateurs et d usages aux diff rentes tapes d un projet mieux vaut concevoir ces dispositifs comme des ensembles d outils plut t que sous la forme de bases de donn es rigides con ues une fois pour toutes en d but de projet Ces ensembles associent g n ralement des outils de suivi proprement dits renseign s en continu et des outils plus ponctuels La production et la mise en d bat d informations de qualit en cours de projet sont indispensables pour que des valuations externes relativement courtes produisent les analyses objectives et les prises de recul que l on attend d elles Pour tre efficients ces ensembles doivent assembler des outils compl mentaires Pour tre appropri s ils devraient tre labor s avec leurs usagers au fur et mesure que ceux ci ma trisent leur projet Une construction progressive partir d une architecture con ue d s l criture du projet permet de concilier ces deux exigences Cette d marche invite raisonner outils avant de penser indicateurs sans exclure l identification ex ante de quelques indicate
18. donc pas essentiellement du perfectionnement d outils ou de m thodes qualit Elle r sultera aussi de la mise en place de m canismes de r gulation En la mati re la valorisation ou la sanction de cette qualit sont un enjeu majeur dans un domaine o il faut bien l avouer les erreurs et les dysfonctionnements ne portent gu re aujourd hui cons quence L une des premi res conditions l existence de tels m canismes de r gulation est sans doute celle de syst mes de ma trise d ouvrage qui aient la fois les moyens de leur politique le sens de l int r t g n ral et des comptes rendre aux populations directement concern es par ces politiques et ces projets L aide au d veloppement n est pas le seul domaine o la qualit est peu sanctionn e La plupart des services et politiques publiques qui s adressent des populations marginales minoritaires pauvres et d pourvues de moyens d expression partagent cette caract ristique La non r gulation d un service par ses usagers b n ficiaires n exclut pas la d finition de normes de qualit et de bonnes pratiques Mais l application de ces derni res d pend alors de l thique des prestataires parfois de contr les publics ventuellement de l action de tierces personnes Les capacit s d influence de ces derni res d pendent alors en partie de l int r t que l opinion publique accorde ces services 10 Gret Coop rer aujourd
19. l organisation op rationnelle du projet Les modalit s de collecte de donn es par les agents du projet doivent tre efficientes compatibles avec leurs autres t ches et garantir la fiabilit des informations collect es Le suivi valuation doit tre coh rent avec le style de management du projet lui m me souvent d termin par ses objectifs ses contraintes essentielles la nature de ses r sultats Par exemple Des r sultats attendus en termes de r alisations physiques nombreuses ou de grande ampleur impliquent souvent une organisation hi rarchis e et un outil de suivi cycle tr s court des r alisations physiques des d lais d ex cution des d penses et des co ts Des objectifs en termes de renforcement de capacit s ou de cr ation institutionnelle demandent un management participatif ou participant et le suivi d volutions immat rielles cycle lent Des indicateurs quantitatifs objectifs sont indispensables aux premiers leurs DSE incluent des fonctions de contr le et de motivation par les r sultats Des appr ciations qualitatives et leur mise en d bat sont essentielles aux seconds Leurs DSE sont aussi des outils d apprentissage Dans les deux cas la restitution des donn es trait es par les DSE ceux qui les ont produites est une cl de l efficacit et de la p rennit du dispositif avec videmment des rythmes et des modalit s profond ment diff rents Des dispositifs qui co
20. trop tard ou sont insuffisamment pr par s et partag s La mobilisation des outils cycle long destin e nourrir des bilans et des r flexions strat giques doit galement tre anticip e assez t t La pr paration d une valuation externe ou d une tude d impact peut demander une ventuelle recherche de financements compl mentaires une pr paration participative ou participante des termes de r f rences Et en la mati re les projets de recherche action diff rent des autres Leur dispositif de suivi valuation fait en quelque sorte partie de leurs activit s Ils ne peuvent donc pas attendre le d marrage de ces derni res 1 En dehors des programmes importants qui disposent d une quipe sp cialement d di e au suivi valuation et de ceux finalement assez rares qui ont t pr c d s d tudes de faisabilit approfondies Gret Coop rer aujourd hui n 72 29 Le suivi valuation pour piloter apprendre et rendre compte l identification et la s lection de prestataires externes par mise en concurrence Elle peut donc demander plusieurs trimestres Leurs conclusions ne valent que si elles sont disponibles en temps voulu Ces d marches doivent donc tre programm es en temps voulu La remarque vaut particuli rement pour les programmes pr vus sur des longues dur es par phases successives bien tranch es par exemple la cr ation de nouveaux services via la mise au point d un prototype
21. Les documents de travail de la Direction scientifique f vrier 2011 ele 2 aujourd hui n 72 gt Daniel Neu Le suivi valuation pour piloter apprendre et rendre compte Quelques rep res pour concevoir et am liorer les dispositifs de suivi valuation des actions de d veloppement Cette note propose une approche pragmatique du suivi valuation de projets ou program mes de d veloppement Elle prend quelques distances avec les conceptions fond es sur la mise en place en d but de projet de bases de donn es de grandes dimensions cen s es traiter un grand nombre d indicateurs objectivement v rifiables Celles ci se r v lent g n ralement difficiles mettre en place et utiliser L auteur recommande des dispo sitifs con us avec leurs diff rents utilisateurs pour r pondre leurs diff rentes attentes Constitu s d une panoplie d outils compl mentaires ils doivent pouvoir voluer au fur et mesure de l avanc e du projet et pr voir la fa on dont les informations collect es seront restitu es et appropri es par les parties prenantes La conception de ces dispositifs doit donc inclure les outils et les proc d s de mise en d bat de ces informations Professionnels du d veloppement solidaire L auteur gt Ing nieur agronome d une soixantaine d ann es Daniel Neu travaille au Gret depuis pr s de quinze ans Il a d j capitalis son exp rience en supervision et en valuati
22. and celle ci poursuit des objectifs de renforcement de capacit ou tre trait s tr s distinctement ou tr s secondairement quand ces objectifs ne sont pas pr pond rants Ils font toujours appel des m thodes et des outils sp cifiques mais doivent toujours pouvoir s appuyer sur des informations objectives relatives la mise en uvre aux r sultats et aux impacts des projets dans lesquels ils s ins rent Ces processus ont g n ralement recours des outils participatifs Ils associent largement les parties prenantes des projets aux choix des sujets d apprentissage et de capitalisation puis la formulation d hypoth ses et la collecte et au traitement des informations qui vont permettre d tayer ces hypoth ses Ces processus peuvent tre amorc s assez t t dans le d roulement du projet ils se concr tisent alors par une laboration tr s participative du dispositif de suivi valuation et des mises en d bat fr quentes des donn es produites par ce dernier Ils peuvent intervenir en fin de projet sous la forme par exemple d auto valuations assist es 2 Les qualit s attendues des dispositifs de suivi et d valuation 2 1 Des dispositifs sur mesure con us pour leurs utilisateurs coh rents avec l organisation du management et de la gouvernance des projets La conception des dispositifs de suivi valuation DSE suit souvent une d marche normative fond e sur le cadre logique Cette d marc
23. apes Elles sont franchies successivement apr s d bat entre les acteurs associ s la mise en uvre de l action et entre les techniciens charg du suivi valuation du projet Commencer par l outil ou par l indicateur Une fois les questions valuatives clarifi es faut il commencer par identifier les outils et d finir ensuite les indicateurs lors de la conception et de la mise au point des outils Ou bien faut il d abord d finir les indicateurs et concevoir ensuite les outils qui vont permettre de les mesurer Ce d bat entre m thodologues tient un peu de la controverse de la poule et de l uf vrai dire dans la r alit le contexte les enjeux et le type de l exercice valuatif en pr paration et la nature des questions valuatives d terminent plus souvent ce choix de m thode que des consid rations th oriques Lors de l laboration de l architecture d un dispositif de suivi valuation les usages attendus de ce dispositif cf sch ma page 18 et ses enjeux guident souvent les choix de m thodes gt Rendre compte au ma tre d ouvrage ou au bailleur de fonds d un projet implique souvent de s accorder avec eux sur des indicateurs de r sultats et d effets d s avant la contractualisation d s l criture du document projet gt Faciliter les d cisions prises pour conduire ou orienter un projet demande de produire des informations diff rentes selon la nature des d cisions et la position
24. arfois contestables sont de plus en plus exigeants Collectivement elles entendent influencer les politiques publiques d terminantes en mati re de d veloppement Leur capacit d influence d pend entre autres de leur image Celle ci est en partie li e aux gages de qualit qu elles peuvent donner ONG n est pas une marque d pos e N importe quelle structure ou presque peut s autoproclamer comme telle Les collectifs d ONG cherchent donc se d marquer et s efforcent de traduire les valeurs communes qui les fondent par des l ments communs de politique qualit partag e entre leurs membres Enfin les ONG comme la plupart des acteurs de l aide au d veloppement donateurs op rateurs b n ficiaires s interrogent sur la faiblesse des impacts de cette aide Leur posture morale suffisait satisfaire les exigences thiques de leurs membres il y a quelques ann es Aujourd hui elles se soucient de plus en plus de l efficacit et des effets de leurs actions Vers des politiques de qualit plus globales Ainsi la fois par int r t et par thique les ONG sont de plus en plus nombreuses raisonner qualit sans forc ment utiliser ce vocable Leurs d marches fond es sur leur propre vision et adapt es leur propre syst me de gouvernance ne sont pas sans analogie avec l volution suivie par les entreprises du secteur concurrentiel Pour le dire vite celles ci sont d abord pass
25. choisir parmi d autres Qui appr cie en dernier ressort cette qualit Cela d pend de la nature de l objet les clients jugent de la qualit des biens marchands les citoyens sanctionnent celle des politiques publiques les usagers tentent de peser sur celle des services publics les clubs et les communaut s fixent les r gles qui d terminent la qualit de leurs biens communs On fr le l le hors sujet diront les op rationnels press s Ils n ont pas tort ils sont press s Rendez vous page 7 Gret Coop rer aujourd hui n 72 9 Le suivi valuation pour piloter apprendre et rendre compte Les entreprises s efforcent donc d am liorer la qualit de leurs produits pour gagner des march s Dans les r gimes d mocratiques la qualit des politiques et des services publics doit convaincre les lecteurs et entra ner leur vote Le respect des r gles de qualit dict es par une communaut ou un club est une obligation pour en rester membre Les politiques de qualit publiques ou priv es implicites ou explicites ne fonctionnent donc que parce qu elles sont adoss es un syst me de r gulation le march l lection l acceptation au sein d un club ou d une communaut Elles sont con ues pour viter ou orienter les sanctions de ce syst me de r gulation L aide au d veloppement est une politique sans r elle r gulation Quel syst me de r gulation sanct
26. cr er et consolider institutionnellement et juridiquement La l gitimit d actions de solidarit internationale est d y contribuer aux c t s des acteurs lo caux engag s dans de telles d marches Mais le syst me d aide favorise trop souvent des modes des probl matiques impos es des solutions toutes faites Coop rer aujourd hui im plique de travailler en phase avec les dynamiques sociales politiques et institutionnelles loca les avec une exigence accrue en termes de qualit et d efficacit long terme L ambition de cette collection est de contribuer au renouvellement conceptuel et m thodolo gique de l intervention de d veloppement et de la coop ration internationale Principalement issue des actions et des travaux men s au Gret elle accueille volontiers des textes externes Elle accueille aussi bien des textes de capitalisation issus d exp riences de terrain que des travaux m thodologiques sur les outils du d veloppement international La collection Coop rer aujourd hui est anim e par la Direction scientifique du Gret et dirig e par Christian Castellanet gt Derniers titres parus n 67 Pour des syst mes irrigu s autog r s et durables fa onner les institutions Elinor Ostrom traduction et synth se de Philippe Lavigne Delville Gret Direction scientifique no vembre 2009 33 pages n 68 Services d eau potable dans les pays du Sud promouvoir et accompagner l innova tio
27. d bat de ses projets au del de leurs parties prenantes directes la socialisation des le ons op rationnelles et m thodologiques issues des projets des processus de capitalisation ou d exp rimentation transversaux USAGES ALLURE ET PRINCIPALES QUALITES DES DISPOSITIFS DE SUIVI EVALUATION 1 1 Usages et allure des dispositifs de suivi et d valuation Trois usages deux fonctions Les dispositifs de suivi et d valuation sont con us pour produire des informations durant la mise en uvre du projet et pour les mettre en d bat Trois usages Ces informations et ces d bats sont donc destin s trois usages diff rents 1 Faciliter la prise de d cision durant la mise en uvre d un projet Ces d cisions sont de diff rentes natures En simplifiant on peut distinguer des d cisions cycle court prises par des instances de direction ou de coordination op rationnelle des d cisions cycle long adopt es par des instances de pilotage ou d orientation strat gique 2 Rendre compte de l ex cution des r sultats et des effets du projet au del de ses parties prenantes directes Cette obligation ou exigence peut avoir deux dimensions Une dimension contractuelle les op rateurs ou les ma tres d ouvrage d un projet peuvent tre tenus de rendre compte r guli rement aux institutions qui le soutiennent sans interf rer avec sa mise en uvre NN Une dimension t
28. de plaidoyer Elles doivent elles aussi s appuyer sur des donn es objectives L importance relative de ces trois usages diff re d un projet l autre et varie aux diff rentes tapes d un projet Ils ne n cessitent pas forc ment les m mes informations Beaucoup croient que les donn es n cessaires aux prises de d cision suffisent ensuite pour rendre compte et documenter des processus d apprentissage Ce n est pas toujours exact Les projets pilot s par des collectifs tr s proches de l action ne font pas toujours l effort de formaliser leurs connaissances implicites du terrain pour rendre compte des instances plus loign es La redevabilit implique une synth se et une mise en forme de donn es en fonction des attentes et des grilles de lecture de l institution et du public auxquels elles s adressent Les processus d apprentissage impliquent des modalit s de production et de restitution des donn es particuli res es processus Des actions de d apprentissage communication g de 9 etde plaidoyer capitalisation D t ocumenter D instances de pilotage et d orientation Au nom du principe de redevabilit Rendre Faciliter compte Un ensemble des De directions Selon des d outils qui d cisions ou de obligations produisent et mettent coordinations contractuelles en d bat des op rationnelles informations pour 18 Gret Coop rer aujourd hui n 72 Le suivi valuation
29. des d cideurs Ce sont g n ralement des informations la fois quantitatives et qualitatives qui ne peuvent pas toutes tre d finies l avance gt Documenter des processus de capitalisation ou d apprentissage suppose de pouvoir r agir en cours de projet au fur et mesure de l identification des th mes structurant ces d marches Tirer les le ons d une action collective demande en g n ral de construire un point de vue objectif sur les r sultats de cette action et les m canismes qui les ont produits Mais cet effort d objectivation ne passe pas forc ment par la production d indicateurs quantitatifs La conception de l architecture d un DSE en amont du d marrage du projet n cessite donc toujours de raisonner en terme d outils et d utilisation des outils Qui va utiliser quoi Pourquoi Quand 14 Par exemple lors d valuations externes courtes l valuateur est souvent tr s d pendant des outils de suivi valuation mis en place par le projet Il ne les conna t pas au moment o il r dige sa note m thodologique Il ne peut donc pas toujours raisonner indicateurs ce stade Il ne pourra le faire que dans les premiers jours de sa mission apr s avoir pris connaissance plus en d tail du projet Par contre r fl chir indicateurs avec les parties prenantes d une valuation participative partir des questions valuatives qu elles ont elles m mes formul es est souvent p dagogiqu
30. e suivi et d valuation sont tr s normalis s Dans d autres d veloppement local ils d pendent plus largement des sp cificit s des projets Logiquement la taille et la complexit de ces dispositifs d pendent des dimensions des projets o ils s appliquent Mais en r gle g n rale du moins sur les projets les plus cons quents ces dispositifs sont compos s de trois familles d outils dont voici la pr sentation rapide Des outils pour collecter ou produire des informations et les traiter gt 20 Des outils de suivi Nous les d finissons ici comme des syst mes d information mis en uvre par les personnes directement impliqu es dans l action charg es de collecter des donn es dans le courant de leurs activit s op rationnelles Sauf exception ces informations ne peuvent g n ralement porter que sur le d roulement des activit s du projet et sur leurs r sultats imm diats Des tudes et des enqu tes ad hoc La port e de ces outils de suivi tels que nous les d finissons ici est donc limit e Ils ne peuvent pas collecter des informations qui exigent un minium de prise de recul et de neutralit par rapport l action G n ralement ils ne peuvent pas non plus mobiliser des m thodes d investigations trop exigeantes ou trop complexes Ils doivent donc g n ralement tre compl t s par des tudes ou des enqu tes ad hoc Celles ci peuvent tre pr vues lavance elles peuvent alors
31. e ou documenter sa capitalisation Mais leur mesure r guli re permettra de suivre l tat de sant du projet Si les chiffres de ces indicateurs sont mauvais ils r v lent des difficult s de mise en uvre ou des er reurs de conception S ils sont bons ils invitent se poser d autres questions et regarder d autres indica teurs 32 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Cette recommandation vaut tout au long du projet de la conception initiale de l architecture du DSE la mise en place des diff rents outils qui le composent la pr paration des tudes importantes et notamment des valuations chaque tape l enjeu rappelons le n est pas seulement d identifier des informations collecter et traiter mais aussi de pr voir la fa on dont ces informations seront restitu es mises en d bat et appropri es par les personnes auxquelles elles sont destin es collaborateurs ou cadres d une quipe op rationnelle membre d un comit de pilotage ou d orientation parties prenantes associ es la d finition et la mise en uvre de l action puis sa capitalisation Un principe d cliner progressivement avec les diff rents utilisateurs Ce principe de conception partag e s applique souvent de fa on progressive au fur et mesure de l avanc e du projet et de son appropriation par ses parties prenantes gt
32. e par les caract ristiques propres de notre organisation une association professionnelle de d veloppement de taille moyenne un budget de 18 millions d euros en 2009 une grande diversit de th mes et de pays d intervention un soutien public pour une mission de production de r f rences mais des projets financ s par montages successifs sans soutiens financiers permanents ni ressources propres cons quentes Les r flexions issues de cette exp rience n ont donc rien d universel et ne pr tendent pas r pondre directement aux pr occupations de toutes les ONG Les plus petites d entre celles ci d veloppent des pratiques adapt es la taille de leurs projets et aux valeurs qui les fondent sans forc ment parler explicitement de qualit Toutes ont leur propre conception de l action d terminante pour en appr cier la qualit selon qu elles privil gient l am lioration imm diate Cette note reprend galement quelques l ments d un document d j publi par le Gret Des outils pour pro grammer suivre valuer et pr senter ses projets Collection Coop rer aujourd hui n 47 6 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte des conditions de vie des populations le renforcement des capacit s de leurs partenaires homologues du Sud leur mise en r seau pour influencer les politiques publiques Les ONG et les bureaux d tudes sp ciali
33. ement bien utile L exercice leur permet de s approprier la d marche valua tive laquelle elles participent M me si cette r flexion n aboutit pas toujours trouver des l ments ais ment mesurables pour toutes les questions valuatives qu elles ont pos es Gret Coop rer aujourd hui n 72 31 Le suivi valuation pour piloter apprendre et rendre compte Le choix des indicateurs objectivement v rifiables les IOV et l annonce de leurs sources de v rification qui doivent figurer au fameux cadre logique ne remplacent pas cette architecture Parfois au contraire une liste trop exhaustive d indicateurs mal d finis par un cadre logique mal fait peut g ner la mise en place ult rieure d un DSE efficace La conception initiale des DSE ne peut pas pour autant faire l impasse sur le choix d un petit nombre d indicateurs les indicateurs qui vont servir de r f rences contractuelles s ils n ont pas t d j d finis et qui permettront au projet de satisfaire ses obligations de transparence et de redevabilit ce sont g n ralement des indicateurs de r sultat ceux qui vont constituer son premier tableau de bord un nombre limit d indicateurs d terminants disponibles en temps r el et significatifs de l avanc e du projet Dans les premi res phases de l action ce sont des indicateurs d activit et de r sultat imm diat Ils se diversifient au fur et
34. es Le cycle laboration Le dispositif de suivi valuatio Le dispositif de suivi valuation un l ment parmi d autres au sein de politiques qualit plus globales Il n existe probablement pas une seule mais de multiples d finitions des dispositifs de suivi valuation Aucune n est universelle Chacune convient un type d institution donn parce qu elle s inscrit de fa on coh rente dans une politique qualit particuli re Pour une ONG la d finition propos e ci dessus n est satisfaisante que si ces dispositifs de suivi et d valuation s ins rent dans une d marche d ensemble qui vise la fois l institutionnel le fonctionnement et le renouvellement des instances de gouvernance le fonctionnel les grandes fonctions gestion administrative et financi re gestion des ressources humaines information communication etc et l op rationnel les op rations conduites ici en l occurrence par l institution ses projets 16 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte La qualit des projets ne d pend pas seulement de celle de leur propre dispositif de suivi et d valuation Elle d pend aussi d un ensemble de pratiques au sein de l ONG qui concernent notamment les premi res phases du cycle des projets la supervision par l ONG de l ensemble de ses projets tout au long de leurs cycles la transparence et la mise en
35. es du projet pr voir les moyens n cessaires au dispositif Premi re tape laborer l architecture du DSE avant le lancement du projet Ce cadre doit identifier les diff rents outils qui composeront le dispositif baucher son organisation pr voir les moyens n cessaires et esquisser son calendrier de mise en place L laboration de cette architecture n cessite une premi re vision des enjeux du projet et de l organisation de sa future gouvernance Elle passe par la formulation des principales questions auxquelles le dispositif devra apporter des l ments de r ponses Il n est pas forc ment indispensable ce stade de pr ciser l ensemble des indicateurs du futur dispositif sauf si les proc dures du bailleur l exigent Mais il est recommand de d finir assez t t le petit nombre d indicateurs d terminants qui figureront au tableau de bord du projet Chronologiquement l laboration de l architecture du DSE peut suivre la d marche pr sent e dans le tableau ci dessous Tableau 2 L laboration de l architecture d un dispositif de suivi valuation chronologie 1 Repr ciser les principaux enjeux les principales cl s de r ussite externes et internes et les principales ch ances du projet 2 Formuler les principales questions valuatives auxquelles le DSE devra apporter des r ponses Identifier les diff rents outils de collecte et de mise en d bat n cessaires pour r
36. esseeeesesseeeeseeseesersesrseerersersesrereerees 17 1 1 Tr is sages deux fonctions sus n a ts E RAA OSEE EMSAN AEO AEEA RAEN ENES Redon 17 1 2 Trois familles d outils n zacrni E AR O TO A AN A A A T 20 2 Les qualit s attendues des dispositifs de suivi et d valuation 22 2 1 Des dispositifs sur mesure con us pour leurs utilisateurs coh rents avec l organisation du management et de la gouvernance des projets 22 2 2 Des dispositifs volutifs et r actifs qui s int ressent aussi l environnement du projet 01s0s10 24 2 3 Des dispositifs efficients cibl s et compos s d outils compl mentaires 25 II CONCEVOIR ET METTRE EN PLACE DES DISPOSITIFS DE SUIVI EVALUATION 26 T Conseils S N TAUX 5 nt ne hr tt Ne bre ardt Aa Ea nn le on AOE ets tee tend 26 1 1 M fiez vous des conseils trop g n raux ss 26 1 2 Une laboration par tapes pour des dispositifs volutifs et ma tris s sssseseeeeeeseeeeererererererese 27 2 El ments de m thode sn Se Rent ne nn ci Sn ee nn 30 2 1 Poser les bonnes questions avant d identifier les outils et de raisonner trop vite et trop exclusivement en termes d indicateurs ss 30 2 2 Une conception partag e pour mieux pr voir l utilisation des donn es et contribuer aux apprentissages attendus 54 ere tunis ria
37. evoir et am liorer les dispositifs de suivi valuation des actions de d veloppement Daniel Neu l QUALITE ET DISPOSITIFS DE SUIVI EVALUATION Cette note a donc pour objectif de proposer quelques rep res pour la conception et am lioration des dispositifs de suivi valuation Avant d entrer dans le vif du sujet cette premi re partie tente de prendre un peu de recul pour viter une approche trop m caniste puis de mieux cerner ces dispositifs 1 Qualit et coop ration au d veloppement Les conseils m thodologiques aident parfois bien faire mais pas toujours bien penser Ils focalisent l attention sur la mise au point des instruments sans toujours aider r fl chir l utilit de ces derniers et aux contextes dans lesquels ils s utilisent Ici le danger serait de laisser croire que le dispositif suffit la qualit que la bo te outils du plombier suffit assurer la qualit des services de l entreprise de plomberie Pour viter ce risque il faut faire un petit d tour par la notion de qualit appliqu e l aide au d veloppement en g n ral et l action des ONG en particulier ce que propose ce premier chapitre 1 1 Aide et qualit Les politiques qualit anticipent les sanctions de syst mes de r gulation Qu est ce qui fonde la qualit d un objet L ensemble des caract ristiques prises en compte pour estimer sa valeur pour appr cier s il convient pour le comparer et le
38. font valider cette premi re bauche avant de mettre au point ces outils et ce faisant d finissent pr cis ment les indicateurs qu ils vont utiliser et les modalit s de mesure de ces derniers Figure 1 Les cinq tapes de la d marche valuative 1 2 3 4 5 Identifier En fonction Traduire Identifier et caract riser Mettre au point les enjeux de ces l application de ces les outils qui vont ces outils objectifs crit res ces permettre de r pondre Pr ciser choisir les objets en questions ces questions Compl ter et les crit res et valuatives de plus d finir objectifs les objets en plus d taill es Choisir ventuellement pr cis ment observer les premiers indicateurs les indicateurs 30 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Lors de la pr paration d une valuation externe la r daction des termes de r f rence par les commanditaires correspond aux deux premi res et au d but de la troisi me tape de ce cheminement elle n aboutit pas toujours des questions valuatives tr s d taill es La note m thodologique des valuateurs la compl te sur ce point Sa validation cl t la quatri me tape La cinqui me qui demande une connaissance assez fine du projet intervient g n ralement en d but d valuation La finalisation de l architecture d un dispositif de suivi valuation correspond elle aux quatre premi res t
39. fs de suivi valuation doivent donc tenir compte de l organisation et de l volution de la gouvernance des projets Celle ci devrait donc tre troitement associ e l laboration de ces dispositifs Ce n est pas toujours possible notamment quand la gouvernance d finitive n est pas en place au d but du projet et qu elle se construit progressivement au fur et mesure de sa mise en uvre La conception du DSE invite alors s interroger sur le th me Qui devra prendre tel type de d cision et quel moment Avec quelles informations Apr s quelles consultations ou concertations Ce 22 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte questionnement ne vaut pas seulement pour la conception du DSE Elle invite parfois r interroger l organisation de la gouvernance initialement pr vue Des dispositifs coh rents avec le management et l organisation op rationnelle des projets La conception des DSE des projets grandes tailles multi volets ou associant de nombreux acteurs peut devenir un exercice complexe Elle ne peut se limiter l identification des multiples indicateurs objectivement v rifiables la mise au point de l outil informatique qui permettra de collecter et de traiter l information et l criture du mode d emploi de cet outil L outil de suivi proprement dit tel que nous l avons d fini ci dessus doit tre coh rent avec
40. genie eiela eee e Sere aE e el peter 32 DLNTAESESCONCRUSIONE Te See de qi ee to nt ne nee 35 Gret Coop rer aujourd hui n 72 1 Le suivi valuation pour piloter apprendre et rendre compte R sum Les projets de d veloppement sont extr mement divers ils peuvent viser des objectifs multiples prendre des formes vari es atteindre des dimensions tr s diff rentes se d rouler dans des contextes tr s contrast s Ils peuvent rassembler une grande vari t des m tiers et tous types d acteurs selon une gamme tendue de montages ou d assemblages Or paradoxalement cette extraordinaire diversit suscite un discours m thodologique extr mement normatif Ainsi en mati re de suivi valuation de projets une seule conception est mise en avant celle fond e sur des bases de donn es de grande dimension mises en place d s le d marrage des projets et de fa on invariante pour toute la dur e de l action Ces outils sont cens s collecter et traiter un grand nombre d indicateurs objectivement mesurables identifi s d s la cr ation des projets partir de leur cadre logique Cette conception est sans doute adapt e des projets de grandes dimensions strictement programm s pilot s par des instances loign es du terrain et redevables l gard de bailleurs capables de valoriser les donn es ainsi produites Dans la r alit on constate cependant que m me ces projets dot s de moyens cons quent
41. h sion ou finalement bien peu sollicit es Les dispositifs de suivi valuation ne doivent donc pas seulement collecter traiter et mettre en forme des donn es mais aussi et surtout les rendre accessibles aux bonnes personnes et les mettre en discussion au bon moment Pour concevoir ces dispositifs il ne suffit donc pas de se demander Comment appr cier l atteinte d un objectif ou d un r sultat Il faut aussi pr voir Qui va utiliser cette appr ciation quand et pourquoi Diff rentes informations ne servent pas aux m mes personnes aux m mes moments pour prendre les m mes d cisions Par exemple le tableau ci dessous illustre la corr lation entre types de d cisions d cideurs nature des informations n cessaires Tableau 1 Diff rents usages diff rents usagers informations diff rentes L usage Les principaux usagers La qualit et la nature des informations n cessaires Des informations qui portent essentiellement sur les activit s et les r sultats sur une p riode assez courte Des informations assez d taill es et imm diatement disponibles Des d cisions Les responsables des quipes op rationnelles op rationnelles sur le terrain Des informations activit s r sultats plus synth tiques qui portent sur des p riodes plus longues Des instances de pilotage les Faciliter k galement des l ments sur les effets et les r actions que d
42. he s efforce d aboutir tr s t t et tr s syst matiquement la d finition d un grand nombre d indicateurs Ces indicateurs sont destin s mesurer l atteinte des objectifs et des r sultats attendus et suivre l ensemble des activit s pr vues Cette d marche conduit souvent l laboration de syst mes d information complexes et rigides sans que l on ne se pr occupe de leurs utilisateurs potentiels ni de leur mise en uvre op rationnelle Or pour tre efficaces ces syst mes doivent tre con us sur mesure et tenir compte de l organisation du projet et pas seulement de sa logique d intervention Ils doivent r pondre aux besoins et aux contraintes de ses instances de pilotage tenir compte de son mode de management tre coh rents avec son organisation op rationnelle Des dispositifs pens s en fonction de la gouvernance des projets Les instances de gouvernance des projets peuvent r unir des personnes de cultures et de points de vue diff rents qui n utilisent pas toutes les m mes types d information pour construire leur jugement Elles peuvent tre organis es diff rent niveaux comit de pilotage restreint proche de l action assembl e de parties prenantes au rythme de r union moins fr quent Il arrive parfois qu elles voluent dans leur composition et dans leur capacit de pilotage au fur et mesure de la progression du projet La conception et l am lioration des dispositi
43. hique propre toute action financ e par des fonds publics Les projets financ s par l aide au d veloppement ne doivent pas rendre compte seulement aux institutions publiques qui les initient les financent ou tentent de les coordonner Ils doivent aussi le faire vis vis des populations les plus imm diatement concern es par leur action et vis vis des organisations de la soci t civile qui participent au d bat et la gestion des affaires publiques Gret Coop rer aujourd hui n 72 17 Le suivi valuation pour piloter apprendre et rendre compte 3 Documenter des processus d apprentissage et de capitalisation ainsi que des campagnes d information de communication ou de plaidoyer Traditionnellement on distingue des processus d apprentissage qui concernent les acteurs directement impliqu s des titres divers dans la mise en uvre du projet des processus de capitalisation qui s efforcent d en tirer les le ons et de les rendre accessibles des tiers Ces processus passent par l analyse et la mise en d bat r troactives de l histoire et des effets d un projet Ces exercices doivent pouvoir s appuyer sur des donn es objectives m moris es ou archiv es durant l action notamment lorsqu il s agit de capitalisation Des op rations de communication et de valorisation des r sultats d un projet destin es convaincre des partenaires financiers ou contribuer des campagnes
44. ionne la qualit de l aide au d veloppement Qui r compense ou qui tient rigueur aux promoteurs des projets selon les r sultats et les impacts de leurs actions selon qu elles contribuent ou non amplifier une dynamique sociale de d veloppement ou participer la r duction de la pauvret et des in galit s vrai dire pas grand monde aucun client consommateur ne sanctionne cette qualit Les citoyens contribuables et lecteurs des pays riches ne s y int ressent gu re ils ont d autres priorit s Quant aux usagers b n ficiaires de ces projets ils ont rarement voix au chapitre ils ont tr s rarement les moyens de peser sur les institutions publiques ou priv es du Nord et du Sud qui financent d cident ou pilotent ces projets Cette qualit n est donc pas soumise aux m canismes de r gulation qui pr valent dans le secteur priv ou dans le secteur public Elle n est pas sanctionn e ni par le march ni par les urnes Elle ne sert pas anticiper les r actions moyen terme de clients d usagers de pairs ou d lecteurs Les contre pouvoirs qui s exercent l encontre des d cideurs de l aide se fondent rarement sur les r sultats de ces derniers L am lioration de la qualit de l aide d pend surtout de l volution des syst mes de gouvernance des politiques et des projets L am lioration de la qualit des politiques et des projets d aide au d veloppement ne d pend
45. iques couverts par les projets de d veloppement notamment en mati re de sant publique de microfinance d acc s l eau potable Elles ne suffisent fabriquer du sur mesure mais sont souvent plus utiles que des conseils m thodologiques trop g n raux Il en est de m me un degr moindre pour des approches particuli res les d marches participatives ou participantes les postures d appui ma trise d ouvrage et notamment ma trise d ouvrage public D s lors premier conseil si vous devez contribuer l laboration du DSE d un projet ne vous contentez pas de lire quelques notes qui comme celle ci traitent du sujet en g n ral Recherchez des r f rences bibliographiques sp cifiques son domaine d intervention et son approche sp cifique de ce projet Ceci dit quelques conseils tr s g n raux peuvent malgr tout tre utiles 1 2 Une laboration par tapes pour des dispositifs volutifs et ma tris s Une conception initiale d taill e est souvent hors de port e et peu souhaitable Les dispositifs de suivi valuation notamment les outils de suivi proprement dits doivent tre con us en tenant compte de l organisation op rationnelle de leur projet pour tre efficients Ils doivent r pondre aux besoins des ses diff rentes parties prenantes et s adapter son syst me de gouvernance pour tre effectivement utilis Ces diff rents l ments sont rarement d finis
46. issage et de pr voir les premiers d bats autour des outils du dispositif de suivi et d valuation gt Au fur et mesure des d marches d apprentissage et de capitalisation collective Tous les projets n accordent pas la m me importance aux d marches collectives de capitalisation ou d apprentissage Ces d marches peuvent r pondre des logiques tr s diff rentes et suivre en cons quence des itin raires tr s divers La plupart du temps elles sont initi es apr s l accumulation d un minimum d exp riences collectives et au vu des premiers changements induits par l action ou des premi res difficult s rencontr es L expression et la mise en d bat de ces premiers constats suscitent des hypoth ses sur les m canismes l origine de ces r sultats L approfondissement de ces hypoth ses suscite une d marche de recherche collective qui se poursuit durant le projet et permet in fine d en tirer quelques le ons Le dispositif de suivi valuation nourrit cette d marche et pour une part volue avec elle en contribuant apporter des r ponses aux questions qu elle soul ve Gret Coop rer aujourd hui n 72 33 34 Le suivi valuation pour piloter apprendre et rendre compte Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Synth se Conclusion Si les enjeux de l efficacit de l aide sont avant tout politiques la ma trise de la qual
47. it des projets reste un sujet d actualit Depuis 2005 et la d claration de Paris l ensemble des parties prenantes de l aide au d veloppement s est engag dans un effort sans pr c dent pour accro tre l efficacit de cette aide La ma trise des politiques nationales de d veloppement par les pays b n ficiaires le d veloppement de la part budg taire de l aide l harmonisation de l intervention au sein de programmes coh rents sont dans la ligne de mire de cette coordination Ce vaste mouvement programme annonce la d su tude de l aide par projet critiqu e depuis de longues ann es Mais le projet reste encore une forme courante d engagement des fonds des donneurs et de d clinaison des politiques de d veloppement et par la force des choses le mode d intervention le plus fr quent des ONG de d veloppement d pendantes de leurs bailleurs La ma trise des d marches projets reste un des enjeux certes mineur mais n anmoins r el de l efficacit de l aide NS Il ya quelques ann es l essentiel des efforts destin s am liorer la qualit des projets de d veloppement portaient sur la g n ralisation de l valuation externe et du cadre logique Ils portent aujourd hui dans l inscription de ces projets au sein de politiques de qualit plus globales d velopp es par les institutions qui en assurent le financement et la ma trise d ouvrage et d uvre et sur la mise en uvre de dispositifs de s
48. jectives collect es et trait es par le projet lui m me selon un dispositif dont l objectivit a t pr alablement valid e par un monitoring galement externe Cette compl mentarit entre outils implique une pr conception de l ensemble du dispositif cf ci apr s la notion d architecture page 24 Des dispositifs cibl s Les constructions de DSE qui suivent des d marches trop syst matiques aboutissent souvent des constructions th oriques peu r alistes D cliner indistinctement les principaux crit res de l valuation pertinence coh rence efficience etc et les appliquer tous les l ments Un projet ou un ensemble de projets peuvent aussi tre objets de recherches qui mobilisent alors leurs propres m thodes En dehors de la recherche action celles ci ont peu voir avec celles con ues pour clairer imm dia tement l action 10 Un peu comme un expert comptable valide une organisation comptable v rifie ex post par sondage les proc dures mises en place et analyse les documents de synth se produits par cette organisation Gret Coop rer aujourd hui n 72 25 Le suivi valuation pour piloter apprendre et rendre compte possibles d un projet aboutit vouloir renseigner une longue liste d indicateurs par un tr s grand nombre d outils L ensemble se r v le ensuite la plupart du temps difficile mettre en place puis exploiter La mise en place d un dispositif de s
49. jet outil privil gi de l accompagnement du changement reste un instrument important dans le champ du d veloppement La ma trise de cette d marche demeure un des l ments de l efficacit ou de la qualit de l aide ou de la coop ration Qu est ce qui d termine la qualit de ces programmes et de ces projets particuliers Cette vaste question est donc toujours une question d actualit Elle renvoie deux interrogations majeures qu il faudrait traiter ensemble qu est ce qui fonde un processus de d veloppement Quels sont les outils qui permettent de ma triser ce type de projet Cette note n a pas cette pr tention Elle ne traite que d une partie des outils pratiques susceptibles de contribuer la qualit de ces projets ceux qui mobilis s durant leur mise en uvre et essentiellement financ s sur leur budget constituent ce que nous appelons leur dispositif de suivi valuation Elle s efforce de d crire les usages l allure et les qualit s de ces dispositifs et d expliquer comment les concevoir les mettre en place et les faire voluer Une note fond e sur l exp rience du Gret Cette note est r dig e partir de la double exp rience du Gret la fois co op rateur de projets de d veloppement et prestataire de service pour des ma tres d ouvrage ou ma tres d uvre de tels projets Cette exp rience porte sur une assez grande diversit de situations mais elle est videmment marqu
50. la pression des parties prenantes les plus loign es du terrain ils commencent se pr occuper de suivi valuation 1 Certains experts ne partagent pas cette conception d un dispositif de suivi et d valuation volutif et constitu de plusieurs outils compl mentaires Ils pr f rent concevoir un syst me d information unique fond sur une seule base de donn es qui collecte et traite des indicateurs de natures tr s diff rentes et qui peut tre con ue a priori Sur ce qui nous a t donn de voir cette solution informatiquement s duisante ne donne pas toujours des r sultats satisfaisants Pour le moins elle n est pas adapt e tous les types de projets Gret Coop rer aujourd hui n 72 27 Le suivi valuation pour piloter apprendre et rendre compte Ind pendamment de ces questions de timing un dispositif de suivi valuation requiert un minimum de moyens difficiles mobiliser s ils n ont pas t budg tis s La conception initiale des projets doit donc trouver un juste milieu entre une improbable description trop d taill e des DSE et une impasse presque totale sur le sujet Les documents projets devraient proposer un cadre pour pr parer et faciliter le travail des futurs responsables op rationnels charg s de la mise en place de ce dispositif fixer des rep res et un niveau d exigence qui encadrera leur travail et les invitera tenir compte des besoins en information des parties prenant
51. n institutionnelle Enseignements issus d exp riences au Cambodge et en Ha ti Emilie Barrau et Cl ment Frenoux Gret Gret Direction scientifique septembre 2010 62 pages n 69 Le Business social pour lutter contre la malnutrition infantile L laboration d un ser vice de vente d aliments pour jeunes enfants Madagascar Emilie Pleuvret Olivier Bruyeron Luc Arnaud Serge Tr che Gret Direction scientifique octobre 2010 68 pages n 70 La concertation comme outil d insertion d une institution de microfinance dans l espace local L exp rience de Mahavotse en Androy Madagascar Laetitia Morlat Gret Direction scientifique octobre 2010 71 pages n 71 Prendre en compte la dimension culturelle dans les pratiques de d l gation des respon sabilit s Sylvie Chevrier et Micha l Viegas Pires Gret Direction scientifique f vrier 2011 28 pages ISSN 1962 8447 f ISBN 978 2 86844 271 0 Campus du Jardin tropical GRET 45 bis avenue de la Belle Gabrielle I 94736 Nogent sur Marne Cedex France l 33 0 1 70 91 92 00 Fax 33 0 1 70 91 92 01 ol7828681442710 gret gret org http www gret org
52. nces d efficience Leurs diff rents outils de collecte de donn es doivent donc tre aussi compl mentaires que possible et cibl s sur les questionnements cl s d terminants pour la r ussite des projets Un ensemble coh rent d outils compl mentaires Les diff rents outils pr sent s ci dessus n ont pas les m mes usages Les outils de suivi sont plut t destin s clairer des d cisions op rationnelles cycle court les valuations et les tudes d impacts des d cisions strat giques cycle long Les dispositifs de suivi valuation associent donc plusieurs outils diff rents et compl mentaires entre eux Pour former un ensemble coh rent et efficient ces outils interd pendants ne doivent pas tre con us ind pendamment les uns des autres Ainsi par exemple gt Les tudes d impact ex post doivent pouvoir se fonder sur une appr ciation pr alable assez fine des r sultats Cette appr ciation est g n ralement issue des outils de suivi ou des tudes ad hoc conduites durant la mise en uvre du projet pour clairer des d cisions plus op rationnelles Les cahiers des charges de ces outils et tudes doivent donc dans la mesure du possible anticiper les besoins de l tude d impact G n ralement ils ne peuvent pas satisfaire ces exigences sans tudes pr alables et caract risation minimum du milieu gt L valuation externe gagne en efficience quand elle peut utiliser des donn es ob
53. nt social porteurs de d veloppement durable Les intellectuels insistent avec raison sur cette distinction Mais la coop ration a encore besoin de l aide et le concept un peu abstrait de changement social se nourrit aussi de changements concrets des conditions de vie et en produit Aujourd hui les acteurs de l aide ou de la coop ration s interrogent de plus en plus sur l efficacit ou la qualit de leurs actions Trois grands mouvements sont l uvre La d claration de Paris en 2005 a marqu le point de d part d un processus pour l am lioration de l efficacit de l aide qui mobilise l ensemble des tats donateurs des grandes agences internationales et les tats b n ficiaires en vue Ce processus redonne un r le majeur ces derniers Il s inscrit dans une perspective de red ploiement de la part budg taire de l aide et privil gie la coh rence des politiques de d veloppement et leur appropriation et leur harmonisation Depuis une dizaine d ann es en France depuis plus longtemps dans les pays anglo saxons les administrations et institutions publiques et les agences de coop ration en particulier adoptent ou tentent d adopter des principes de management et de gestion de la performance ou de la qualit issus du secteur concurrentiel Par ailleurs par thique ou sous la pression de leurs partenaires et notamment de leurs bailleurs certaines ONG de d veloppement commencent elle
54. ntification et de leur tude de faisabilit durant leur mise en uvre dans le courant de leur conduite op rationnelle et lors d ajustements apport s leur strat gie d intervention pendant et apr s cette mise en uvre via des processus de capitalisation qui permettent de tirer des enseignements et de partager des apprentissages issus de leurs actions puis de r investir ces acquis dans des projets futurs gt Elle se joue en dehors de leur cycle lors de d bats et de campagnes aliment s par les enseignements issus de l action qui contribuent orienter les politiques d aide publique au d veloppement et celle des donateurs priv s dans l volution des concepts et des m thodes d action qui elles aussi se fondent sur des bilans d ensemble de programmes capitalisation transversale tudes d impact th matique par le renforcement des capacit s des acteurs associ s leur conception leur pilotage et leur ex cution La qualit des projets de d veloppement des enjeux sp cifiques Ce qui pr c de vaut pour peu pr s tous les types de projets Mais le d veloppement n est pas seulement le produit d une somme d infrastructures et de services Il r sulte de processus de changements sociaux et les projets qui entendent accompagner ces changements ne sont pas tout fait des projets comme les autres Leur qualit d pend d l ments sp cifiques qui demandent une
55. ntion de ce dernier Or ils doivent r pondre des questions diff rentes au fur et mesure que le projet progresse Cette progression n est pas toujours pr visible notamment dans des contextes instables Ces dispositifs doivent donc au contraire tre volutifs r actifs et s int resser aussi l environnement de l action Des dispositifs volutifs Les dispositifs de suivi et d valuation doivent voluer au fur et mesure de la progression des projets et des programmes pour tenir compte de leurs r ussites et de leurs difficult s Les enjeux d un projet voluent toujours au fur et mesure de son d roulement Leurs responsables ne se posent pas les m mes questions ses diff rentes tapes Ils n ont pas besoin des m mes informations du d but la fin de l action Classiquement dans les premiers mois ces responsables s int ressent l efficacit de l quipe et de l organisation mise en place Rassur s sur ces premiers points ils sont ensuite attentifs aux r sultats obtenus en se r f rant alors aux r sultats attendus D s que ces r sultats deviennent effectifs ils se pr occupent de leurs effets Ils n ont donc pas besoin de suivre avec la m me attention les m mes indicateurs de suivi du d but la fin du projet La remarque vaut particuli rement pour les programmes plus ambitieux con us sur plusieurs ann es en phases successives De la mise au point d un prototype sa diffu
56. ntribuent aussi l ouverture des projets Concevoir les dispositifs de suivi valuation sur mesure pour leurs seuls utilisateurs directs peut avoir des inconv nients Les projets sont trop souvent des entit s closes sur elles m mes Ils r unissent des quipes des partenaires des instances de gouvernance voire des repr sentants de b n ficiaires qui d battent rarement au del du cercle qu ils finissent par former Leurs ma tres d uvre ou leurs op rateurs rechignent souvent convoquer une autre expertise que celle qu ils poss dent en interne ou qui leur est proche en dehors des valuations externes finales Ils r pugnent parfois s exposer aux points de vue de tiers et cherchent contr ler assez troitement les informations qu ils sont tenus de diffuser au nom de la redevabilit et du caract re public de leur action Les dispositifs de suivi valuation dans leur fonction mise en d bat devraient aussi contribuer largir l horizon des projets et les amener se confronter avec des points de vue ext rieurs au cercle de leurs parties prenantes Gret Coop rer aujourd hui n 72 23 Le suivi valuation pour piloter apprendre et rendre compte 2 2 Des dispositifs volutifs et r actifs qui s int ressent aussi l environnement du projet Les dispositifs de suivi valuation sont souvent con us une fois pour toutes en d but de projet partir de la seule logique d interve
57. on de projet sous la forme de plusieurs notes m thodologiques publi es dans la collection Coop rer aujourd hui valuer appr cier la qualit pour faciliter la d cision n 21 Repr senter la logique d un projet pour mieux en d battre n 48 Des outils pour programmer suivre valuer et pr senter ses projets n 47 Les relecteurs Christian Castellanet Philippe Lavigne Marc Tottet Annick Huyghe Mauro Le suivi valuation pour piloter apprendre et rendre compte Sommaire RESUME oa aAA ET OT O E E E TO A E S A R A RE EREE E N E S 3 AVANT PROPOS ai E E ETOT OE AAA R O A R A EEEE EEEE RRE 5 I QUALITE ET DISPOSITIFS DE SUIVI EVALUATION seesessessessesseresecsscereereoresreseoreeresrereoresresreseos 9 1 Qualit et coop ration au d veloppement ss 9 EI A de et Qualit s nn den me an E nn O en eine nt EO er ee 9 1 2 Qualit au s in d s ONG ias niinn EE ENEE ne nn ne Nero 11 2 Qualit et projets de d veloppement d finition des dispositifs de suivi et d valuation 12 2 11Lecy l de projet rappel rss ner nine tienne es Met Ode se ete lre svt 12 2 2 Projet de d veloppement et qualit ss 14 2 3 Les dispositifs de suivi valuation un levier parmi d autres au service de la qualit des projets 15 I USAGES ALLURE ET PRINCIPALES QUALITES DES DISPOSITIFS DE SUIVI EVALUATION 17 1 Usages et allure des dispositifs de suivi et d valuation es
58. oter apprendre et rendre compte Le cycle Pr paration tudes N gociation Mise on uvre Deux grandes phases En termes fonctionnels ce cycle se divise en deux grandes phases selon que le dispositif projet est en place durant la mise en uvre ou qu il ne l est pas durant les premiers temps du cycle et parfois les derni res tapes du bilan gt Quand ce dispositif n est pas encore ou n est plus en place une ou plusieurs structures supportent le projet selon leur propre organisation elles mobilisent leurs propres moyens financiers leurs propres ressources humaines selon leurs propres r gles pour faire avancer la pr paration du projet ou en tirer les le ons ex post gt Durant la phase o le dispositif projet est install une ma trise d ouvrage sp cifique assure le pilotage politique du projet une structure de ma trise d uvre dirige ou coordonne des quipes op rationnelles les moyens du projet sont d termin s par son budget Ils sont mobilis s selon des proc dures qui lui sont propres un document de r f rence d finit une logique d intervention et fixe les grandes lignes d une programmation op rationnelle des parties prenantes sont des titres divers associ es la mise en uvre Hors dispositif projet Cl ture financi re du projet Pr paration tudes N gociation Mise en muvre Dispositif projet en place G
59. pement de l OCDE sont la pertinence l efficacit l efficience l impact et la durabilit Gret Coop rer aujourd hui n 72 35 Le suivi valuation pour piloter apprendre et rendre compte La remarque invite les m thodologues grands pourvoyeurs de conseils g n riques partir de leur exp rience particuli re faire preuve de beaucoup d humilit Car au fond ce qui caract rise le plus les projets de d veloppement c est peut tre leur extr me diversit Pour des dispositifs sur mesure volutifs et r actifs qui pr voient la mise en d bat des informations produites Face cette diversit les dispositifs de suivi et d valuation doivent tre con us sur mesure pour leurs diff rents utilisateurs d autant plus divers et nombreux que les projets sont d sormais de plus en plus souvent multi acteurs Ces utilisateurs peuvent avoir des attentes tr s vari es pour clairer la conduite et la strat gie de l action en rendre compte et documenter des processus d apprentissage de capitalisation ou de plaidoyer La production de bonnes informations ne suffit pas r pondre leurs besoins notamment en mati re de pilotage Encore faut il que celles ci soient effectivement accessibles tous discut es en d bat en temps voulu et cibl es sur les enjeux majeurs du projet La conception des DSE ne devrait donc pas se limiter au syst me d information mais inclure les outils et les proc
60. pour les valuations et les tudes d impact par son ma tre d ouvrage ou par une instance de ma trise d ouvrage d l gu e Mais de plus en plus souvent les ma tres d ouvrage ou les agences de d veloppe ment pr f rent externaliser les tudes d impact et les confier directement sur budget sp cifique des bureaux ou des institutions de recherche qui ne sont pas directement impliqu s dans la mise en uvre du projet Ils largissent le champ de ces tudes au del d un seul projet pour clairer des choix politiques qui vont au del du p rim tre imm diat d un projet Dans ce cas l tude d impact n est plus stricto sensu un des l ments du dispositif de sui vi valuation du projet tel que nous le d finissons Elle fait partie du syst me qualit du ma tre d ouvrage ou de l agence Ne serait ce que pour maintenir des outils de suivi en tat Des op rationnels auxquels on demande de collecter des donn es sur lesquelles ils n ont aucun retour et qui ne leur servent rien se lassent assez vite Et la qualit des donn es r colt es s en ressent aussit t Gret Coop rer aujourd hui n 72 21 Le suivi valuation pour piloter apprendre et rendre compte Des outils au service des apprentissages collectifs Les processus d apprentissage et les exercices de capitalisation occupent des places tr s diff rentes d un projet l autre Ils peuvent tre int gr s l action qu
61. pour piloter apprendre et rendre compte Deux fonctions indissociables produire des informations les mettre en d bat Dans une vision technocratique un bon syst me d information conduit automatiquement de bonnes d cisions et un niveau lev de redevabilit Dans la r alit sur un projet les d cisions importantes ne r sultent pas seulement de bons choix techniques mais aussi de bons compromis politiques La production d informations ne suffit pas produire ces compromis Encore faut il que ces informations soient accessibles aux parties prenantes clair es et mises en d bat Les dispositifs de suivi valuation sont aussi des enjeux de pouvoir Un chef de projet ou un op rateur tr s pr sent sur le terrain n a pas toujours besoin de donn es formelles pour ajuster l organisation et la strat gie de son projet Et objectivement moins il partage les informations dont il dispose et plus il pr serve son autonomie Par ailleurs proc der des ajustements m thodologiques r orienter une strat gie ou d cider d une campagne d information capitaliser n cessitent aussi de prendre du recul par rapport l action Cette prise de recul va rarement d elle m me sur des projets ou des programmes scand s par des phases relativement courtes mis en uvre par des quipes op rationnelles press es par le temps et pilot s par des structures souvent trop lointaines sans grande co
62. projet de son d marrage effectif sur le terrain Ce d marrage est souvent assur par une quipe qui n a pas t troitement associ e cette criture et doit s approprier la conception de l action tout en initiant sa mise en uvre Elle commence donc en g n ral par valider et ventuellement amender ou compl ter l architecture initiale du DSE pour que celle ci lui convienne Elle con oit ensuite et met en place les premiers outils du dispositif syst matiquement l outil de suivi proprement dit souvent des tudes destin es compl ter ou actualiser le diagnostic initial Quand faut il proc der cette mise en place Aucun projet ne se ressemble vraiment Mais d exp rience la bonne p riode pour finaliser et mettre en place un dispositif de suivi et d valuation est assez troite Trop t t c est trop t t les premiers mois d un projet sont consacr s la mise au point de leur organisation op rationnelle le recrutement des quipes leur agencement fonctionnel la mise au point des proc dures le calage des partenariats op rationnels l organisation des diff rents acteurs entre eux le lancement des appels prestataires ou partenaires etc Ces t ches accaparent les responsables et les comit s de pilotage des projets qui n ont alors pas d oreilles pour le suivi valuation Et comme soulign ci dessus tant que l organisation op rationnelle d un projet n est pas d finie
63. ret Coop rer aujourd hui n 72 13 Le suivi valuation pour piloter apprendre et rendre compte Selon la nature et les moyens de ces structures et selon des caract ristiques propres chaque projet la continuit fonctionnelle entre les deux phases du cycle de projet n est pas identique Elle est plus t nue lorsque les organisations porteuses sont exclusivement financ es par projet et interviennent sur un grand nombre de terrains et de th matiques Elle est plus forte au sein des institutions qui disposent des ressources ind pendantes de leurs projets et ou qui concentrent leur activit sur un territoire ou une seule th matique Les syst mes qualit des premi res reposent plus sur des outils et des m thodes retransmises d un projet l autre Ceux des secondes s appuient sur la permanence des quipes qui assurent le suivi et la supervision des projets d un cycle l autre Cette continuit est d autant plus forte que son maitre d ouvrage est en place et stable du d but la fin du cycle et qu il inscrit son projet dans un ensemble coh rent qu il a les moyens de g rer en continu un programme ou une politique 2 2 Projet de d veloppement et qualit La qualit des projets se joue pendant et en dehors de leur cycle Quand la qualit des projets se joue t elle gt Elle se joue durant leur cycle avant qu ils ne d marrent au moment de leur conception lors de leur ide
64. s peinent ma triser de tels outils Rares sont ceux qui r ussissent les renseigner temps r guli rement et correctement Plus rares encore sont ceux dont les comit s de pilotages utilisent r ellement les donn es issues de tels dispositifs pour clairer leur d cision fortiori cette conception se r v le souvent inadapt e pour des projets plus petits Les outils propos s apparaissent trop rigides pour des interventions difficilement programmables parce que plus soucieuses d innovations d apprentissages et de constructions institutionnelles nouvelles Ils sont trop monolithiques et insuffisamment r actifs pour les besoins d instances de pilotage multiculturelles proches du terrain et plus impliqu es dans la conduite de l action Ils ne sont pas assez volutifs pour s adapter la progression des projets processus ou pour r pondre aux exigences de d marches d apprentissage et de capitalisation D une fa on plus g n rale ils sont inappropri s aux situations qui demandent plus d interactions entre questionnements d acteurs et production d informations objectives Cette note propose donc une autre approche fond e sur quatre principes Penser les dispositifs de suivi valuation en fonction de leurs diff rents usages clairer la conduite et le pilotage des projets donc des d cisions prises des rythmes diff rents par des acteurs diff rents rendre compte des bailleurs mais au
65. s s ont recours des outils qualit sp cifiques leur m tier particuli rement dans certains secteurs la microfinance la sant publique l acc s l eau potable M me si cette note proc de parfois par affirmations trop normatives ou par descriptions d taill es de fa ons de faire elle n a pas d autre ambition que de contribuer modestement aux r flexions de ses lecteurs suppos s ma triser l essentiel des connaissances de base sur les d marches valuatives appliqu es aux projets de d veloppement Elle est organis e en trois parties la premi re tente de replacer les dispositifs de suivi valuation dans la probl matique plus vaste de la qualit dans le domaine de la coop ration au d veloppement Elle propose une d finition de ces dispositifs la deuxi me d crit leurs usages leur allure et liste leurs qualit s essentielles la troisi me pr sente quelques conseils pour les concevoir et les mettre en place Cette derni re partie s adresse plut t des professionnels susceptibles d tre associ s la conception ou au pilotage d un projet de d veloppement Les deux pr c dentes peuvent int resser tout acteur impliqu dans la pr paration ou l ex cution d un tel projet Gret Coop rer aujourd hui n 72 7 Le suivi valuation pour piloter apprendre et rendre compte Le suivi valuation pour piloter apprendre et rendre compte Quelques rep res pour conc
66. s aussi se doter de politiques de qualit plus globales plus explicites et progressivement mieux maf tris es qu auparavant Gret Coop rer aujourd hui n 72 5 Le suivi valuation pour piloter apprendre et rendre compte Ces trois mouvements diff rents sont li s entre eux les dispositifs de suivi de l application du processus de Paris incitent les agences publiques mieux rendre compte de leurs actions et se doter d une politique qualit Ces politiques se r percutent dans la gestion des aides publiques accord es aux ONG Les organisations non gouvernementales qui d pendent de ces aides doivent s adapter ces nouvelles exigences Ces trois mouvements s inscrivent dans une volution plus vaste qui privil gie d sormais les dimensions politiques et institutionnelles du d veloppement r habilite le r le de l tat insiste sur la n cessaire coh rence des politiques publiques nationales et internationales et accorde une importance majeure la gouvernance des institutions et des organisations La d marche projet reste cependant un outil privil gi de l aide au d veloppement Cette volution se r percute sur les projets de d veloppement Ils ne constituent plus le mode h g monique de mobilisation des fonds de l aide internationale Leur nature change Ils int grent de plus en plus une dimension programme et visent plus souvent des objectifs politiques et institutionnels Mais la d marche pro
67. sion de la cr ation d un nouveau service son autonomisation leurs objectifs interm diaires se succ dent et requi rent des volutions radicales de leurs DSE Souvent la gouvernance de ces programmes volue aussi d une phase l autre les institutions qui les portent s largissent des organisations locales succ dent des structures projets Les enjeux changent aussi de l ex cution d un projet au pilotage strat gique d une institution Les outils de pilotage doivent galement suivre cette volution Des dispositifs r actifs Les projets de d veloppement progressent rarement comme de longs fleuves tranquilles Leurs instances de pilotage doivent pouvoir r agir aux impr vus analyser des r ussites et des checs inattendus anticiper les cons quences des volutions de leur environnement Ils ont donc besoin d un syst me d information r actif Ces syst mes ne peuvent pas tre totalement pr vus et programm s l avance La remarque vaut particuli rement pour les projets processus leur d roulement ne peut pas tre enti rement programm l avance ils se construisent sur un mode it ratif partir de leurs objectifs initiaux et de quelques points d tapes d termin s l avance Les projets qui entendent accompagner des dynamiques sociales construire des institutions nouvelles interagir avec leur environnement politique sont presque toujours des projets processus Ce
68. souvent la forme de missions courtes et sont en g n ral confi es des valuateurs exp riment s Elles se pr tent mal la r alisation d enqu tes longues et pouss es focalis es sur une question particuli re Elles ne peuvent donc que tr s partiellement contribuer la mesure d impact et l analyse des effets d un projet L appr ciation de l impact demande g n ralement des investigations plus longues et plus pouss es Elle exige donc des outils diff rents des trois pr c dents souvent des tudes initiales qui d crivent la situation au d part des projets et des tudes ex post qui tentent de mesurer les changements pouvant tre attribu s l action du projet Des outils pour faciliter le d bat et la prise de recul Le tout n est pas de produire des informations il faut surtout s en servir Souvent cela ne n cessite que de s arr ter de valoriser des informations d j produites de prendre du recul par rapport l action et de d battre Quand on r fl chit ex post aux effets d une valuation mi parcours ou de fin de phase d un projet on est souvent surpris Ces valuations marquent rarement les quipes ou les parties prenantes des projets valu es par les nouvelles informations qu elles produisent Plus souvent elles influencent des points de vue et des d cisions parce qu elles obligent ces acteurs d battre de faits ou de questions qu ils avaien
69. ssi d autres parties prenantes documenter des processus d apprentissage et de capitalisation etc Concevoir ces dispositifs comme des ensembles d outils compl mentaires susceptibles d voluer dans le temps non seulement des outils de collecte et de traitement de donn es mais aussi des outils de diffusion et de mise en d bat de ces derni res pour en faciliter l utilisation Gret Coop rer aujourd hui n 72 3 Le suivi valuation pour piloter apprendre et rendre compte D s lors associer autant que possible leurs usagers potentiels leur conception Cela implique de les construire et de les mettre au point par tapes successives au fur et mesure que les projets progressent et que la demande des usagers volue Enfin pour mieux ma triser ce processus par tape esquisser assez t t l architecture probable de ces dispositifs Elle est bien utile pour pr voir les moyens n cessaires et les ch ances respecter pour leur construction progressive Toutefois le cadre logique reste un outil incontournable pour laborer cette architecture et pour d finir a priori quelques indicateurs objectivement v rifiables Ceux ci pas forc ment tr s nombreux insuffisants pour valuer un projet dans toutes ses dimensions demeurent les accessoires indispensables d un tableau de bord et des outils obligatoires pour rendre compte pr ciser et respecter des obligations contractuelles 4 Gret
70. t pour la plupart d j identifi s Ces prises de recul et mises en d bat sont toujours facilit es par des regards ext rieurs et mieux vaut les pr voir et les organiser en diff renciant des cycles longs r serv s au r examen des orientations strat giques et des cycles courts qui permettent une quipe ou une coordination op rationnelle de faire le point sur la mise en uvre gt Les revues outils de cycle long Certains projets organisent ce qu ils appellent des revues pour valoriser les donn es qu ils ont accumul es r interroger leurs choix m thodologiques et leurs orientations strat giques Au tiers ou mi parcours ils effectuent ou font effectuer une synth se des informations collect es et la mettent en d bat sur deux ou trois jours avec l ensemble de leurs parties prenantes et d ventuelles personnes ressources externes gt Les missions de monitoring ou de supervision outils de cycle court Les quipes op rationnelles peinent parfois lever la t te du guidon et prendre du recul par rapport l action Des missions de monitoring externe ou de supervision interne peuvent leur permettre de le faire r guli rement Elles interviennent des rythmes diff rents d un projet l autre et selon l avanc e d un projet Ces cinq outils sont g n ralement financ s sur le budget du projet et mis en uvre ou commandit s par son ma tre d uvre et
71. tr s en d tail dans les documents projets Ceux ci d abord crits pour convaincre des partenaires financiers parfois tr s loign s de l action renvoient plus tard la mise au point d taill e de l organisation du projet et celle de ses instances de gouvernance Les parties prenantes concern es sont rarement toutes autour de la table lorsque le projet est crit La conception d taill e et d finitive des DSE d s l criture des documents projets est donc rarement possible et pas toujours souhaitable Une conception en cours de route est malais e quand elle n a pas t pr par e Mais en m me temps l exp rience montre que les DSE sont rarement con us et initi s dans les d lais voulus Les responsables des projets ont souvent d autres priorit s dans les premiers mois qui suivent le d marrage de l activit alors que c est au cours de leurs premiers mois d activit que la conception et la mise en place de ces dispositifs demandent un assez gros travail quand elles n ont pas t pr par es De plus sur des projets de petites dimensions ces responsables n ont alors pas besoin d un syst me formalis pour compl ter les informations qu ils recueillent eux m mes sur le terrain Ils n ont pas toujours int r t tre transparents trop t t Dans le feu de l action ils peinent prendre le recul n cessaire et il est parfois bien tard et le projet est parfois bien avanc quand sous
72. uivi valuation efficace et volutif implique au contraire de faire des choix pour cibler la collecte et la mise en d bat des donn es sur les l ments les plus d terminants pour la r ussite ou l chec du projet ou sur ses enjeux majeurs en termes d apprentissage et de capitalisation Ces choix doivent tre fond s sur l analyse pr alable de ces risques et enjeux lll CONCEVOIR ET METTRE EN PLACE DES DISPOSITIFS DE SUIVI EVALUATION La r ussite des projets n est pas d termin e par les seules qualit s de leur dispositif de suivi et d valuation Elle se joue aussi tr s t t lors de leur identification et de leur conception Elle d pend peut tre essentiellement de la consistance de leurs ma tres d ouvrage Ces dispositifs constituent cependant un enjeu important Ils focalisent de plus en plus l attention des bailleurs de fonds jusque l tr s polaris e sur l valuation externe Leur conception leur mise en place puis leur am lioration font d sormais clairement partie des missions des charg s de projets La troisi me partie de cette note s adresse ces derniers Elle leur propose d abord des conseils tr s g n raux puis des l ments de m thode pour concevoir et mettre en place des DSE 1 Conseils g n raux 1 1 M fiez vous des conseils trop g n raux En mati re de suivi valuation les conseils m thodologiques trop g n raux ressemblent parfois aux le ons de prose donn es
73. uivi et d valuation DSE plus complets plus coh rents et mieux utilis s Les limites d une conception trop norm e des dispositifs de suivi et d valuation La n cessaire mise en coh rence des multiples acteurs de l aide conduit les principaux d entre eux vouloir dicter des r f rences d finir des approches produire des outils et des m thodes identifier des bonnes pratiques vocation universelle La mise en d bat de ces r f rences outils et pratiques n est pas la moindre des cons quences positives de cette tendance Mais vue du terrain cette aspiration l universel laisse parfois sceptique Elle contribue l mergence d une pens e unique qui n est pas toujours gage de pertinence et d efficacit L intelligence des situations particuli res reste une des cl s de la r ussite des actions de d veloppement La pens e unique n aide pas toujours cette intelligence La remarque vaut pour la conception des dispositifs de suivi valuation trop souvent pens e partir d une d marche syst matique fond e sur les cinq crit res universels du CAD et sur le cadre logique Elles aboutissent l identification d un tr s grand nombre d indicateurs et la conception de bases de donn es ambitieuses Ces derni res sont finalement tr s in galement ma tris es et rarement utilis es bon escient dans les d lais prescrits Les cinq crit res du Comit de l aide au d velop
74. urs peu nombreux susceptibles de servir de r f rences contractuelles entre bailleurs de fonds ma tres d ouvrage et d uvre Cette conception des dispositifs de suivi et d valuation attentifs leurs diff rents usagers et volutifs n est probablement pas galement pertinente pour tous les projets Elle ne s impose probablement pas aux actions strictement programmables dans un environnement stable qui sont pilot es par des instances culturellement homog nes et qui ne visent aucun objectif apprentissage et de renforcement de capacit s Mais vrai dire ce type d action est assez minoritaire parmi les projets de d veloppement du moins parmi ceux conduits par des ONG comme le Gret 36 Gret Coop rer aujourd hui n 72 CM uioun est disponible sur le site du Gret www gret org ressources en ligne Le monde change les fa ons de travailler en coop ration aussi Au Sud comme au Nord effervescence associative lib ralisation conomique et d centralisations administratives renouvellent le paysage institutionnel Les revendications l gitimes des citoyens plus de pri ses sur leurs conditions de vie am nent inventer des articulations originales entre d mocra tie participative et d mocratie lective Pour rompre les logiques d exclusion pour assurer un acc s quitable aux services et aux opportunit s conomiques de nouvelles articulations entre tat march et soci t civile sont
75. ux qui interviennent sur des r alit s complexes qui n cessitent des tudes pr alables co teuses et qui adoptent des d marches de type recherche action se d roulent galement sur un mode it ratif L action produit des connaissances qui permettent de mieux conduire l action 24 Gret Coop rer aujourd hui n 72 Le suivi valuation pour piloter apprendre et rendre compte Des dispositifs qui s int ressent aussi l environnement du projet Le pilotage d un projet n cessite non seulement d analyser ses activit s ses r sultats et ses premiers effets mais aussi d anticiper et suivre les volutions de son contexte et parfois d approfondir ou compl ter l analyse initiale de son milieu L appr ciation de ses impacts suppose de distinguer les changements qu il a produits et ceux induits par son environnement Cela implique donc de pouvoir identifier et appr cier Les dispositifs de suivi et d valuation doivent donc aussi s int resser cet environnement Cela ne demande pas forc ment la mise en place d outils sp cifiques mais toujours un minimum de veille et un questionnement pr alable sur la sensibilit du projet son contexte 2 3 Des dispositifs efficients cibl s et compos s d outils compl mentaires Au service de l action les dispositifs de suivi valuation la diff rence des processus de production de connaissances scientifiques ou universitaires sont soumis des exige

couv Coopérer aujourd`hui 72_couv Coopérer aujourd`hui 67.qxd

Contents

Download Pdf Manuals

Related Search

Related Contents

couv Coop&eacute;rer aujourd`hui 72_couv Coop&eacute;rer aujourd`hui 67.qxd

Contents

Download Pdf Manuals

Related Search

Related Contents

couv Coopérer aujourd`hui 72_couv Coopérer aujourd`hui 67.qxd