Home

Besoins d`information

1. R fl chissez sur les r sultats avec des coll gues des membres de l quipe de S amp E ou des utilisateurs de l information Obtenir diff rentes perspectives peut aider clarifier des questions inexplicables ou renforcer des conclusions Cela peut permettre galement de produire des solutions et des recommendations qui sont plausibles et utiles Comme nous l avons indiqu au chapitre 2 Etape num ro 5 les utilisateurs de l information ont des Consid rer toute limite pr occupations communes sur la qualit la qualit des informations Exactitude et validit les informations sont elles vraies ou justes Pertinence les informations vont elles dans les sens des int r ts des utilisateurs Exactitude les informations sont elles disponibles en temps voulu pour prendre les d cisions n cessaires Cr dibilit les informations sont elles cr dibles Proposer des conclusions et des Etape num ro 6 Faire recommendations aussi sp cifiques que des recommendations possible augmentera leur utilit Clarifiez sp cifiques qui sera la personne responsable de l analyse le moment o une action doit tre achev e et comment il sera vident pour la direction du projet ou pour d autres utilisateurs de l information qu une r ponse a eu lieu CARE S amp E 101 Chapitre 9 Analyse des donn es Types sp cifiques d analyse de donn es Il existe deux principales m thodes d
2. Une fois que la carte est termin e demandez aux participants d interpr ter l ensemble Sugg rez qu ils identifient les probl mes principaux r v l s par la carte et demandez leur des solutions possibles avec les ressources locales disponibles qui ont d j t dessin es ou peuvent tre maintenant trac es sur la carte Rappelez vous que la carte appartient la communaut Laissez en une copie en bon tat pouvant tre utilis e par tous Avantages et inconv nients Les cartes et les discussions qu elles entra nent offrent une vue d ensemble rapide de la situation Favorise une communication dans les deux sens Aide les participants distinguer les liens les mod les et les corr lations l int rieur de leur territoire Les personnes ne sachant ni lire ni crire peuvent participer M thode subjective et superficielle les exercices de cartographie doivent tre compl ment s par des informations obtenues gr ce d autres outils d valuation Cetaines personnes du fait de leur culture peuvent avoir du mal comprendre des repr sentations graphiques CARE S amp E 142 e Fiche A 4 CARTOGRAPHIE HISTORIQUE La cartographie historique utilise une s rie d exercices pour d crire la situation d mographique ou les ressources naturelles de la communaut diff rentes poques Trois cartes sont trac es et montrent la situation telle qu elle tait une g n ration auparava
3. D s que les activit s du projet ont d but il devient alors possible de mesurer les indicateurs de r sultat par exemple le nombre d agriculteurs form s Les indicateurs de r sultat permettent au responsable de savoir si le projet est proche des objectifs fix s En m me temps ils aident les responsables et le personnel du bureau du programme suivre les tendances et d tecter des difficult s indiquant l existence de probl mes Les indicateurs de r sultat doivent provenir de la collecte routini re d informations c est dire les activit s de surveillance n cessaire tous les projets A l inverse les indicateurs d effets montrant les interactions entre les produits du projet et les r ponses de la communaut n cessitent des moyens autres que la surveillance routini re des activit s quotidiennes pour la collecte de donn es Ils n cessitent des m thodes plus CARE S amp E 60 Chapitre 6 Indicateurs approfondies telles que des enqu tes d valuation et des approches qualitatives ou impliquant les b n ficiaires Les donn es relatives aux effets sont utiles aux responsables de projet aux directeurs nationaux aux responsables r gionaux et au si ge social international Finalement les indicateurs sont n cessaires pour analyser l impact du projet sur les m nages et ses membres ainsi qu au niveau institutionnel Cette dimension n est g n ralement pas assez claire pour une valuation fia
4. comprendre et suivre Deuxi mement un lecteur une lectrice attentionn e aura besoin de revenir en arri re et relire des parties se trouvant au d but du rapport alors qu il elle l tudie Des r f rences des passages ant rieurs sont facilit s si le rapport suit un ordre logique et coh rent Pour Suivez une s quence logique CARE S amp E 113 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E faciliter les renvois dans un rapport tablissez un syst me logique de num rotation et de titres pour les sections les paragraphes les tableaux et les diagrammes Toutes les conclusions doivent tre appuy es par des donn es actuelles Des lecteurs avertis ne seront pas convaincus par des nonc s recommendation sans motionnels ou subjectifs Des nonc s non preuve a l appui soutenus peuvent amener le lecteur questionner la fiabilit du chercheur au point de rejetter ou ignorer le rapport dans son ensemble Reportez vous aux objectifs r fl chissez sur la fa on dont les r sultats obtenus sont li s aux objectifs Rappelez vous qu il peut tre utile de comprendre les probl mes en incluant des opinions inverses lorsqu elles existent Evitez tout nonc ou toute Un bon rapport d valuation sera pratique dans son orientation ses conclusions et ses et constructif ve recommendations De cette fa on les lecteurs peuvent facilement utiliser les r sultats de l
5. tude de base se r f rer au sc nario avant et apr s Evaluation post facto C est une valuation effectu e apr s un intervalle relativement important c est dire de 5 10 ans apr s la fin des interventions du projet Une valuation post facto a comme but principal l examen de la durabilit et de la nature des impacts long terme du projet En fait ces valuations sont tr s rares en raison du manque de financement Fiabilit Le degr selon lequel une tude ou une valuation peut tre r p t e c est dire le degr selon lequel les donn es collect es sont coh rentes parmi les diff rents observateurs divers moments Par exemple si dix personnes form es pour recueillir des informations utilisant la m me liste de contr le observent la m me pratique agricole elles doivent rendre compte de r sultats identiques Hypoth se En terme de conception de projet l hypoth se se rapporte aux corr lations pr sum es entres les r sultats les causes et les effets et entre les effets et les impacts Par exemple une hypoth se courante est que l approvisionnement en eau propre permet de faire diminuer les maladies caus es par l eau non potable Si une hypoth se n est pas accept e en citant les recherches ou les valuations de projets o l hypoth se a t prouv e sous des conditions semblables elle peut tre test e en tant que partie de la conception de l valuation du pro
6. fond CARE S amp E CHAPITRE1 Importance des informations recueil analyse et utilisation pour les projets Les personnes impliqu es dans un projet ont besoin d informations correctes et opportunes afin d valuer leurs actions La liste suivante pr sente quelques unes des raisons principales pour lesquelles de telles informations sont n cessaires Besoins d information Accomplissement quelles actions ont elles t accomplies Comment savons nous que le projet a provoqu ces r sultats Evaluation du progr s le projet est il bien g r Avantages et inconv nients dans quels domaines le projet a t il besoin d tre am lior Comment cela peut il tre men bien Les objectifs du d part sont ils toujours appropri s Efficacit quelle diff rence le projet a t il apport L impact peut il tre am lior Rentabilit les co ts taient ils raisonnables Partage de l exp rience pouvons nous aider viter que les m mes fautes se reproduisent Pouvons nous aider encourager des approches positives Adapt de Feuerstein 1986 Les activit s de recueil d analyse et d utilisation d informations dans le cadre de projets sont d sign es sous le terme de surveillance et valuation S amp E d un projet CARE S amp E Chapitre 1 Pourquoi le S amp E Lorsque l on consid re le syst me de S amp E il est important de consid rer le b
7. Chapitre 10 Pr sentation et utilisation des r sultats de S amp E diagrammes Elles deviennent ainsi plus faciles comprendre et provoquent une r flexion Les cartes sont galement utiles pour pr senter des donn es telles que des bassins hydrographiques la densit de la population ou des syst mes de cultures Utilisez des citations partir de diff rentes perspectives populations vis es responsables communautaires personnes fournissant des services etc Ces citations illustrent un texte et le rendent plus r asliste Autant que possible les citations doivent respecter les mots et expressions utilis es par les personnes interrog es Le rapport sera ainsi plus facile lire De plus les membres de la communaut se reconnaitront dans le document et pourront penser que le rapport adresse vraiment leurs probl mes et pr occupations Assurez vous d identifier d une certaine fa on les personnes interrog es par exemple un groupe de femmes dans le secteur de Arua Ceci aide le lecteur identifier des mod les sans toutefois r v ler l identit des personnes Le tableau suivant comprend quelques directives g n rales sur la taille des documents en fonction de l audience anticip e Pr sentation des r sultats en fonction des diff rents utilisateurs Format Public Utilisateurs Longueur Court Public g n ral communiqu de presse 1 4 pages r sum pour hommes politiques Moyen Personnes respons
8. Crit res de s lection d indicateurs appropri s Bien que le choix d indicateurs repose sur le bon sens ou l exp rience et la connaissance des sources de donn es statistiques certains crit res de base peuvent tre appliqu s Durant l atelier de Kabale en 1996 les participants ont donn la priorit aux crit res suivants CARE S amp E 62 Chapitre 6 Indicateurs Crit res prioritaires pour les indicateurs Pertinence Praticabilit Fiabilit Utilit Permet la participation des b n ficiaires Les indicateurs doivent tre directement li s aux objectifs du projet et aux niveaux appropri s dans la hi rarchie Les indicateurs doivent pouvoir tre valu s ou mesur s s il s agit de chiffres Les indicateurs doivent pouvoir tre v rifiables et relativement objectifs c est dire les conclusions qu ils entra nent doivent tre les m mes que si elles sont apport es par d autres personnes un autre moment et selon d autres circonstances Les personnes travaillant pour le projet doivent pouvoir comprendre et utiliser les informations fournies par les indicateurs afin de prendre des d cisions et am liorer leur travail et les performances du projet Les diff rentes tapes de travail collecte analyse et utilisation des donn es doivent inclure les b n ficiaires et les autres personnes ayant un int r t dans le projet Les crit res suivants peuvent galem
9. Projet communautaire de planning familiale Chapitre 8 M thodes de collecte de donn es BI Augmenter le nombre de personnes utilisant les services de sant maternelle dans un tablissement m dical Sources d information M thodes de collecte de donn es Aupr s de qui Quand Fr quence Nbre de femmes r fer es t t durant leur grossesse afin d viter toute complication obst trique Registres du SIG Registres du APF Femmes appartenant a la communaut SFT Personnes fournissant les services m dicaux Personnes ou services ayant r f rer les patientes Donn es secondaires Revue des registres de service de sant y compris les registres des SFT Collecte routini re des statistiques de services de sant Donn es primaires Interviews avec des informants cl s Questionnaires structur s Projet d innovations agricoles de Bushenyi Ntung Personnes fournissant les services m dicaux APF SFT Personnel du projet Personnel collaborant au projet Membres de la communaut Consultants pour I valuation Donn es routini res quotidiennement l o les services sont procur s Revue mensuelle des registres des services Sondages en cours de projet sondages finaux Sondages annuels BI 7 000 m nages ruraux participant dans les secteurs de Bushenyi et Ntungamo augmentent de fa on importante la production agricole d ici 1999 tout en prot geant l environnement So
10. Une m thode d valuation pour d terminer si les changements observ s sur une certaine p riode de temps sont en fait des effets et des impacts dus aux interventions du projet Cette technique n cessite l identification d une communaut ne participant pas au projet ce groupe est ensuite p riodiquement valu pour tablir une comparaison avec les populations vis es par le projet Cette communaut de contr le doit tre aussi identique que possible avec les communaut s vis es de fa on ce que les comparaisons entre les deux groupes puissent montrer que les changements sont attribuables au projet se r f rer au sc nario avec ou sans Diffusion La diss mination de connaissances ou de pratiques au del du contact du projet ph nom ne parfois d sign comme adoption secondaire Par exemple la diffusion de cultures de bananes de meilleure qualit parmi des agriculteurs qui n ont pas t directement contact s par le projet La diffusion repr sente habituellement un des effets d sirables du projet Ce CARE S amp E 125 Annexe l Glossaire ph nom ne cependant n cessite des m thodes sp ciales d chantillonnage et d valuation de fa on tre identifi et valu Discussion concentrer avec groupe Une discussion semi structur e avec un petit groupe de personnes s lectionn es selon certains crit res et qui les rendent relativement homog nes La discussion est guid e afin d
11. observateur vit avec les personnes qu il elle observe et prend part aux activit s journali res Participation La participation active des b n ficiaires durant les activit s d valuation des besoins de la conception de la mise en application de la surveillance de l valuation et des prise de d cisions Le principal but de la participation est d encourager l auto d termination et le maintien du processus de d veloppement Population cible ou vis e Certains projets visent des groupes particuliers qui d s lors deviennent des groupes d int r t sp cial c est dire les groupes vis s Des exemples comprennent des agricultrices des soldats d mobilis s des personnes vivant dans la for t des adolescents actifs sexuellement etc Parfois les projets visent des communaut s dans leur ensemble les communaut s vis es Pr cod questionnaire Avec un questionnaire pr cod les questions se trouvent structur es et les r ponses limit es Cette technique facilite la collecte de donn es mais n cessite une conception attentive et un CARE S amp E 130 Annexe 1 Glossaire test pr liminaire pour s assurer que le questionnaire permet d obtenir les informations d sir es Proc d s ou processus Les interventions ou un ensemble d activit s grace auxquels les apports sont utilis s pour obtenir les r sultats voulus Les proc d s se situent au niveau de l activit pour
12. obtenir des id es des r actions des opinions des perceptions et des solutions individuelles ou de groupe La discussion suit une courte liste de sujets importants Donn es Des faits des chiffres des opinions et des observations qui deviennent des informations une fois qu ils sont analys s et interpr t s Donn es primaires Donn es recueillies sp cifiquement pour r pondre aux besoins d informations d un projet par exemple un sondage de base ou un ensemble de groupes de contr le pour une valuation Ces informations diff rent des donn es secondaires d j existantes qui proviennent de sources ext rieures au projet Donn es ou m thodes qualitatives Les donn es qualitatives sont descriptives exprim es avec des mots ou gr ce des images et donnent une repr sentation plus holistique de la situation que celle obtenue gr ce aux donn es quantitatives Les approches qualitatives sont particuli rement utiles pour d crire l tendue et la nature des probl mes dans une situation donn e pour obtenir des perceptions des croyances et des explications Elles permettent galement de d couvrir spontan ment des probl mes apparaissant sur le terrain Donn es ou m thodes quantitatives Les donn es quantitatives sont num riques elles sont pr sent es sous forme de chiffres et sont manipul es math matiquement l aide de statistiques Les appproches quantitatives sont sp cialement utiles pour valu
13. une technologie sp cifique utilisation prolong e effets au niveau de l agriculteur individuel e Un syst me logistique permettant aux agriculteurs d identifier de nouvelles technologies praticabilit capacit et effets du d veloppement institutionnel maintenus e La productivit du syst me agricole effets prolong s e Impact sur le maintien des moyens de subsistance domestiques Beaucoup de projets portent l accent sur les deux premiers niveaux de cette liste Cependant d autres experts en RAN pensent que au long terme ces questions sont en fait moins importantes que les niveaux suivants CARE S amp E 51 Chapitre 4 Concepts cl s Enfin une derni re strat gie pour valuer la durabilit consiste effectuer une valuation post facto aupr s des b n ficiaires quelques ann es apr s que le projet ait pris fin Les impacts qui continuent tre visibles apr s un intervalle aussi long montrent que les changements dans la communaut sont fondamentaux et durables Deux principaux inconv nients de cette strat gie r sident dans le d lai n cessaire avant d obtenir des informations portant sur la durabilit et dans la difficult de financer une telle valuation CARE S amp E 52 Chapitre 5 Plannifier pour obtenir des informations utilisables Quels sont les l ments qui doivent tre inclus dans une planification d taill e de projet afin d avoir les informations n ce
14. valuation dans leur propre situation de travail Le fait que les rapports d valuation du projet et les rapports de surveillance ne soient pas du tout des documents scientifiques mais plut t des outils d am lioration des strat gies et des r sultats des projets peut constituer une autre justification pour une approche pragmatique Soyez pragmatique Il convient galement de faire preuve de tact et de rester constructif et d viter d tre critique de fa on n gative Si l auteur ne respecte pas ces qualit s le rapport manque alors d quilibre et les lecteurs les plus assidus perdront leur int r t et concentration Au lieu d tre lu par un nombre important de personnes le rapport restera au mieux dans un cercle restreint de sp cialistes Ces personnes ne sont pas toujours celles qui influencent ou fournissent les ressources n cessaires pour mettre en place les recommendations du rapport Assurez vous que le rapport soit agr able lire j gt et voir Commencez avec une couverture pr sentation du attrayante Montrez que vous tes fier e s de rapport votre travail en soignant l apparence de votre document S parez le texte l aide de graphiques correspondants Quelques informations telles que des discussions et des conclusions sont plus convaincantes avec des mots D autes par contre sont mieux comprises grace a des repr sentations telles que des tableaux ou des Soignez la CARE S amp E 114
15. Contexte Que savons nous sur les facteurs ext rieurs affectant le probleme normes sociales religion facteurs conomiques R ponses institutionnelles Quelles sont les politiques qui aggravent ou r solvent certains probl mes Quels programmes et services tentent actuellement de r soudre les probl mes Combien de personnes utilisent ces services et quel est leur degr d efficacit Qui finance ces activit s et services et qui les met en uvre Quelles sont les activit s envisag es pour le futur Une fois la r vision des documents termin e il convient de se poser deux questions importantes a Quelles informations suppl mentaires au sujet de la population et de l environnement sont n cessaires mais ne sont pas disponibles b Pour qui ces informations peuvent elles tre utiles et pourquoi CARE S amp E 141 e Fiche A 3 CARTOGRAPHIE SOCIALE L exercice de cartographie commence avec des discussions collectives parmi les membres des groupes communautaires Il consiste ensuite dessiner des cartes de leurs perceptions sur la distribution g ographique de l environnement de la d mographie des aspects sociaux et conomiques de leur territoire En g n ral les participants dessinent eux m mes des cartes sur un chevaler feuillets mobiles ou sur le sol Ils y placent des carat ristiques l aide de symboles compris et accept s par tous lettr s ou non Dans certains cas des car
16. Les exercices de classement peuvent tre effectu s avec des groupes ou des personnes et constituent un moyen pour les participants d exprimer leurs pr f rences et leurs priorit s au sujet d un probl me pr cis La technique peut permettre d obtenir un aper u sur les crit res gr ce auxquels diff rentes personnes groupes ou acteurs sociaux prennent des d cisions au sujet des probl mes tudi s But L exercice de classement peut tre utilis pour diff rents buts sp cifiques tels que Identification de besoins des priorit s et des pr f rences Mesure de l opinion et des pr f rences telles quelles ont t obtenues gr ce aux interviews et au brainstorming Comparaison des pr f rences et des opinions telles qu elles ont t exprim es par diff rents acteurs sociaux Etapes pour utiliser cette technique Etablissez une liste d l ments prioritaires ces derniers peuvent provenir d un exercice de brainstorming Recrutez des participants appropri s pour cet exercice D finissez un m chanisme simple de classement Celui ci peut tre bas sur une comparaison par groupe de deux d l ments se trouvant sur la liste sur un classement par ordre de pr f rence des fiches repr sentant les l ments ou bien sur l attribution d un score diff rents l ments Pr parez une matrice o les pr f rences identifi es par les participants peuvent tre inscrites sur le sol sur un chev
17. constitue un acte inconscient plut t que d lib r Une liste de contr le peut comprendre les questions suivantes e La personne interrog e essayait elle de d crire la situation seulement de fa on positive e ssayait elle de rationnaliser un fait d sagr able e Insistait elle de fa on excessive sur des probl mes et des difficult s de fa on obtenir de la sympathie Obstacles la spontan it Le contexte social de l interview affecte galement l expression des id es et des opinions Par exemple lorsqu un agriculteur est interview en pr sence d officiels gouvernementaux ou de personnes travaillant pour le projet il ne dira peut tre pas la v rit par peur d veiller toute hostilit son gard Une liste de contr le peut comprendre les questions suivantes e Y avait il des personnes dont la pr sence peut avoir influenc les r ponses des personnes interrog es e Cette personne tait elle inqui te que quelqu un puisse entendre ses r ponses e L endroit tait il suffisamment priv pour assurer le caract re confidentiel de l interview D sir de faire plaisir Les personnes interrog es ont tendance donner des r ponses qui leur avis feront plaisir l intervieweur Elles agissent ainsi soit par politesse soit en esp rant obtenir un quelconque b n fice soit pour raccourcir les questions Dans de tels cas 1l est tr s important pour l intervieweur d viter de r v ler son
18. etc voir chapitre 8 recueil de donn es M thodes Comment les informations recueillies sont elles d analyse de consolid es d crites et interpr t es de fa on les donnes rendre utiles voir chapitre 9 M thodes de Comment les informations sont elles pr par es diss mination pour une application utilisation et une circulation vers les utilisateurs voir chapitre 10 Principales sources d information Les sources d information peuvent tre primaires ou secondaires La premi re cat gorie se rapporte des personnes ou des endroits aupr s desquels on peut obtenir des informations qui ne sont pas d ja disponibles La seconde cat gorie comporte des informations qui ont d ja t compil es si possible pour des raisons autres que celles de l valuation actuelle Informations d ja existantes donn es secondaires Le terme donn es secondaires se rapporte aux informations d ja existantes c est dire auparavant recueillies par d autres personnes ou organisations Ces donn es comprennent plusieurs sortes de documents crits et visuels tels que des rapports ant rieurs de sondages des cartes des archives organisationnelles et des photographies a riennes Les donn es quantitatives chiffr es peuvent tre obtenues partir de registres d agences gouvernementales et autres institutions Les bureaux statistiques de secteur ou nationaux peuvent disposer de donn es archiv es qui p
19. par exemple de conversations avec les personnes rencontr es dans la rue ou dans les champs Dans ce cadre une question en entra ne une autre selon les r ponses pr c dentes A oppos les interviews hautement structur s d pendent souvent de questionnaires comportant des questions pr cod es permettant seulement des r ponses de port e limit e Entre ces deux extr mes se trouvent les interviews approfondis qui peuvent tre effectu s avec un theme servant de guide une liste de sujets qui peuvent tre demand s dans tout ordre d sir partir desquels l intervieweur cr e les questions n cessaires ou bien un questionnaire comprenant des questions ouvertes De telles questions sont con ues pour explorer plus fond les r ponses et pour stimuler le r pondant penser plut t que de se contenter de r pondre rapidement Les questionnaires structur s sont plus faciles compl ter que ceux qui sont plus informels et n cessitent moins de comp tences de la part des personnes collectant les donn es Parall lement les questionnaires hautement structur s apportent moins de renseignements sur ce que les personnes ressentent Avec des outils plus ouverts la personne recueillant les donn es doit tre plus comp tente afin d viter de ne pas tre distraite par la conversation et de ne pas oublier le but original de collecte d informations Les m thodes ouvertes peuvent galement entra ner des quantit s cons quentes
20. produits depuis les r unions de discussion jusqu aux documents pour informer les gouvernements en passant par des brochures et des analyses d taill es CARE S amp E 109 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E La validit et l utilit des analyses des informations du projet peuvent tre renforc es par des discussions consultatives avec consultatives diff rentes personnes ayant un int r t dans le projet et les utilisateurs des informations avant que le rapport ne soit finalis Au moins deux diff rentes sortes d ateliers peuvent avoir lieu afin de pr senter les r sultats pr liminaires du syst me d information Le premier niveau est une session tr s pratique avec des repr sentants des communaut s et populations concern es Le second niveau est un atelier plus technique avec des directeurs des professionnels des repr sentants d organismes d aide et des donateurs R unions Le but principal des ces ateliers consultatifs est de permettre aux utilisateurs des informations et aux personnes ayant un int r t dans le projet d obtenir un aper u des donn es avant que le rapport final ne soit r dig De cette fa on l interpr tation devient une partie de leur responsabilit et n est plus seulement celle de l quipe ayant produit les informations Un second objectif important d atelier est d obtenir un accord sur les implications des donn es sur le projet En
21. responsable des activit s de S amp E Animateur Responsable sur le terrain responsable des activit s de S amp E Animateur Mensuelle Mensuelle 2 fois par an 2 fois par an Suivre les r alisations R valuer la strat gie Modifier les inter ventions si n cessaire Personnel travaillant sur le projet Officiels du secteur CARE Comm unaut R cits Tableaux Histo grammes Cartes Photo graphies et sh mas Exemple de documents provenant des agriculteurs scann s ou photocopi s 58 CHAPITRE 6 Indicateurs ce que nous ou les utilisateurs voulons pr cis ment savoir au sujet des projets Indicateurs Les indicateurs sont des crit res qualitatifs ou quantitatifs servant v rifier si les changements propos s ont vraiment eu lieu Dans le diagramme les indicateurs seconde colonne sont d finis comme des crit res sp cifiques explicites et v rifiables de fa on objective pouvant tre utilis s afin d valuer si les objectifs premi re colonne ont t atteints En d autres termes les indicateurs servent fournir une norme contre laquelle il est possible de mesurer ou d valuer ou bien de montrer le succ s ou le progr s d un projet par rapport aux objectifs fix s Bien que les indicateurs puissent tre utilis s pour valuer le progr s ils diff rent des objectifs Les objectifs sp cifient les r sultats d sir s dans u
22. thodes d analyse comment comprendre et analyser des donn es informations brutes ccsscccssccsssccssscsssscssscssccssscssssssssssesscsssssssssses JS 10 Et ensuite pr sentation des conclusions et mise en application 103 11 Questions relatives la plannification interne de projets et aux op rations D S ARS RE Rent ee amr nement nsc LL ANNEXES 1 Glossaire diisshssssssndsadessiasaitisns sans is sees sedsessocecdsesssdcavasedesoeseoccdsessseccoe LLD Abbr viations ACrONYMES ccscscsssccssscssscsssscsssccsscsssssscsssssssssscsssssssssssers 128 El ments de documents cl s dans le syst me S amp E ses 131 2 3 4 M thodes outils esoossosoossssoossssoooessoooossosoossssoosessoosessosoossosoosessoosessssssssssesss 133 5 Terminologie alternative pour les diagrammes Log Frames 151 6 s R f r nces iso satses snp seduce loasadelassedces decesesesssdsucdelsacedsscesceo 193 CARE S amp E Approbation Notre objectif est de permettre au personnel de CARE travers le monde de mieux concevoir des projets d tablir des syst mes de surveillance plus efficaces et de mener et coordoner des valuations de meilleure qualit De fa on atteindre ce but nous recherchons des moyens pour aider les personnes responsables de la conception de la surveillance et de l valuation C S amp E continuer se former sur ces sujets Nous fournissons ainsi des docume
23. CARE S amp E 132 Annexe 2 Abbr vations acronymes les termes en caract re gras sont li s a CARE ACDsee Directeur Adjoint Assistant Country Director AD sandrine Analyse des d penses Abe Approche logique de la planification ARNsissnie Agriculture et ressources naturelles ANR PA nr Accoucheuse traditionnelle TBA Dies But final FG Blaise But interm diaire 1G CDs Directeur national Country Director CP ns Chef de Projet PM CSE nement Conception surveillance et valuation DME DN yessicvsdihsdened esniscits Directeur national PDP Directeur du projet DV mate Dur e de vie du projet EDP RS rena Evaluation et d veloppement de programmes fait partie de la division des programmes de CARE USA PAD CPA SSSR Evaluation en cours de projet EME Se Evaluation mi parcours MTE EDP A Fin du projet FFOM squint sees Analyse des forces des faiblesses des opportunit s et des menaces SWOL WAP eaters iced Informations annuelles de portefeuille API Greene Informant cl NOM se Indicateur v rifiable de fa on objective OVI OP uns Dur e de vie du projet Life of Project MARP tue Methode accelere de recherche participative PRA MMSD sccsssceeee Maintien des moyens de subsistance domestiques MV sa Moyens de v rification MOV OBC Sais ne Organisation 4 base communautaire CBO OER num Rapport financier de I tranger Overseas Financial Report ONG O
24. CARE sont les suivants Ressources agricoles et naturelles ANR Agriculture and NaturalResources D veloppement d activit s conomiques de petite taille SEAD Small Economic Activity Development Services de sant de base et population PHC Primary Health Care and Population Education et alphab tisation des filles Girls Basic Education and Literacy Dans ces domaines CARE soutient des proc d s qui cr ent des comp tences et deviennent par la suite autosuffisants De plus CARE pr conise des politiques et des programmes publics qui vont dans ce sens Depuis la signature de l accord conclu en 1979 entre CARE International en Ouganda et le gouvernement de ce pays notre organisation a aid l Ouganda mettre profit ses vastes ressources afin d adresser les besoins humains l aide de projets dans la production agricole la protection de l environnement la sant reproductive l eau et le syst me sanitaire et le d veloppement d activit s conomiques de petite taille Comme nous travaillons principalement au niveau local l envergure de ce travail est plus r gional que national Les activit s de CARE sont concentr es dans les secteurs de Arua Nebbi et Moyon dans la r gion du Nil occidental les secteurs de Bushenyi Ntungamo Kasese Rukungiri Kabale et Kisoro dans la r gion Sud Ouest et les secteurs de Mbale Kapchorwa Pallisa et Kumi dans la r gion Est L objectif de CARE Ouganda est d am
25. Les participants peuvent avoir des opinions diff rentes sur un probl me et des avis contradictoires peuvent tre exprim s Dans ces cas le facilitateur uvre de fa on obtenir un consensus ce qui peut provoquer l explication approfondie d un point pr cis Chaque case de la matrice est remplie seulement apr s avoir obtenu un accord g n ral Avantages et inconv nients La technique souligne les aspects positifs et n gatifs d une question Elle peut donc aider plus tard pour des n gociations ou des changes L analyse FFOM est un moyen efficace d arriver un accord g n ral dans le groupe et de pr parer les membres discuter avec des personnes ext rieures Cet outil peut encourager la cr ativit d un groupe Des sujets d licats et des diff rences d opinion peuvent surgir durant la discussion Certains membres peuvent dominer la discussion Le facilitateur doit avoir de bonnes aptitudes de r capitulation afin de pouvoir r sumer de longues discussions en nonc s brefs CARE S amp E 155 Annex 5 Log Frame Terms Annexe 5 Terminologie alternative pour les concepts du diagramme en francais Organisation Agence Terminologie de CARE Termes utilis s dans le diagramme de CARE CIDA DANIDA Union europ enne FAO GTZ NORAD ODA PC LogFrame Agences de l ONU USAID Banque Mondiale 1 2 3 4 5 6 ZOPP in steps 1989 7 8 9 r Citation 1 8 9 10 11
26. colter des informations et ne pas activement impliquer les b n ficiaires dans la pr paration et la mise en place de l valuation Ceci est le plus fr quent lorsque l enqu te est complexe et de caract re quantitatif Collecter des donn es li es a un seul rep re dans le temps la saison et l ann e durant lesquelles l valuation a t effectu e Ceci signifie que des tudes comparatives ult rieures auront besoin d tre plannifi es au m me moment Echantillonnage non repr sentatif les participants peuvent g cher la valeur de l analyse par exemple retenir seulement des agriculteurs propri taires de leur terrain ou qui ont re u une ducation et peuvent donc facilement r pondre un questionnaire r agiront certainement au projet CARE S amp E 43 Chapitre 4 Concepts cl s R vision annuelle La r vision annuelle est une valuation interne effectu e par l quipe de direction du projet C est une forme d valuation continue car elle a lieu chaque ann e durant la phase de mise en place du projet Les donn es utilis es comprennent la plupart des informations de surveillance informations financi res physiques sur les effets et les hypoth ses L objectif de cette valuation est d estimer les progr s et les performances du projet et de le maintenir dans la bonne voie Un autre objectif est de revoir les strat gies et le cadre logique du projet et si n cessaire de modifier le ca
27. comptes e Budgets et projections e Exactitude ponctualit e Evaluer adh sion la politique e Rapports de d penses contrats CARE S amp E 20 Chapitre 3 Avantages Inconv nients duS amp E Quels sont les avantages et les invonv nients les plus courants de la collecte l analyse et l utilisation d informations dans le cadre de projets de d veloppement Pourquoi Conception de faible qualit Certains projets sont pr par s trop rapidement au vu uniquement des fonds disponibles Cette pr paration h tive ne prend pas en compte une analyse approfondie des besoins et de l tat actuel de la communaut Les donateurs sont rarement inform s au sujet du S amp E soit parce qu ils ne s int ressent pas la gestion des informations soit parce qu ils s y int ressent seulement en tant qu outil de v rification de la responsabilit financi re et non pas en tant que partie int grante de la conception d un projet Besoins en ressources humaines Le personnel n est pas toujours suffisamment qualifi pour assumer les taches de gestion des informations en partie parce qu il y a relativement peu d opportunit s locales de formation pratique sur ce sujet De plus le personnel appr hende souvent la difficult de la surveillance et de l valuation La difficult se trouve galement accentu e par le manque d accord entre professionnels au sujet de normes et m thodes communes Ces facteurs impli
28. d velopp s avec autant de d tails Cherchez soigneusement pour tout effet provoqu par le chercheur sur les personnes interrog es et notez toute influence dans l interpr tation L attrait social de certains r sultats peut alt rer les informations obtenues et leur interpr tation L age le sexe l appartenance ethnique la personnalit et d autres aspects influenceront ce qui lui est dit ou permis de voir et comment il elle per oit CARE S amp E 100 Chapitre 9 Analyse des donn es les informations re ues Par exemple lors d une tude r cente sur les m dicaments utilis s dans les foyers une personne a interview 12 familles et a conclu qu aucune d entre elles ne gardait de m dicaments la maison Dans le m me village un autre intervieweur a touv au moins une et souvent plusieurs sortes de m dicaments dans chacune des 12 familles interrog es L analyse est un proc d continu qui Etape num ro 4 commence d s l essai pr liminaire et Discuter des r sultats et continue tre raffin e tout au long de l exercice Ce n est pas seulement un v nement isol la fin de la collecte de donn es Les personnes responsables doivent se sentir confortables pour poser de nouvelles questions leurs coll gues d autres utilisateurs de l information et aux personnes interrog es tout stage du proc d de fa on aider clarifier l analyse en cours de l analyse qui merge
29. de donn es et entra ner une surcharge d informations de la part d enqu teurs moins prudents ou trop enthousiastes Les interviews moins structur s approfondis libres sont plus flexibles et permettent de r viser et d ajuster des interviews individuels ou m me le proc d global de l tude Les interviews structur s l inverse ne peuvent tre chang s en cours d utilisation La diff rence entre les deux peut tre compar e celle existant entre la conduite sur une autoroute et sur un chemin dans un village Poser des questions et couter les personnes dans un Groupes petits groupe comprend l utilisation de m thodes et d outils et grands plus ou moins formels tels que e Des groupes communautaires formels plus efficaces pour de larges groupes e Des groupes de contr le quasi formels plus efficaces avec 6 10 personnes CARE S amp E 89 Chapitre 8 M thodes de collecte de donn es e Des groupes naturels ou de conversation informels plus efficaces avec de petits groupes par exemple discussion avec les femmes dans la file d attente pour puiser l eau Avec les groupes les informations provenant d une personne peuvent tre v rifi es avec d autres et diff rents avis peuvent tre rassembl s Les personnes recueillant les donn es l aide de techniques moins structur es cependant doivent avoir diff rentes aptitudes Elles doivent pouvoir par exemple animer une discussi
30. de maintien des moyens de subsistance domestiques Household livelihood security n est pas encore clarifi ou mis en application CARE Ouganda peut aider le d velopper Lien obligatoire avec le syst me gouvernemental peut conduire des difficult s avec un acc s difficile des donn es dans le syst me d j en place d pendance envers les fonctionnaires et le syst me gouvernemental d information Attribution des effets et impacts peut tre difficile tablir dans un environnement socio conomique fluide sp cialement lorsque d autres groupes sont impliqu s dans des domaines se chevauchant Les activit s de S amp E consomment beaucoup de temps et d nergie n cessitent une pr paration d taill e afin d quilibrer les demandes de S amp E avec ceux de l intervention De nombreuses demandes de la part des personnes ayant un int r t dans le projet n cessitent une grand vari t d informations Adapt de la r union du groupe de r flexion sur le M amp E de CARE le 19 06 96 et d atelier sur le S amp E de Kabale 1996 23 Chapitre 3 Avantages Inconv nients duS amp E Les principales raisons des faiblesses des syst mes d information de CARE Ouganda sont ci dessous pr sent es d apr s I atelier de Kabale en 1996 e Comp tences analytiques inad quates et gestion des donn es de faible qualit au niveau du projet Le personnel n a souvent pas les comp tences n cessaires
31. de syst mes d information y compris le travail de terrain et l analyse qui suit Un bon plan de tavail contiendra un emploi du temps d taill pour chaque activit budget liste d quipement et de fournitures et un plan de supervision y compris les responsables et les taches Les buts de toute tude ou de toute activit de collecte d informations li e un projet doit comprendre l int gration d informations obtenues durant les phases de pr paration et de prise de d cision Il est donc galement tr s important de pr parer un budget en fonction des phases ult rieures de travail sur le terrain et comprenant I analyse la r daction l impression du document sa diss mination et les plans ult rieurs d action Problemes logistiques courants D passement des co ts par exemple le budget de S amp E a t utilis lors de 1 tude de base La direction du projet assume un r le de contr le par exemple manque de participation du personnel du projet et des b n ficiaires aux activit s de S amp E Insistance du donateur ou des responsables de projet sur emploi de consultants internationaux sans les comp tences n cessaires ni la connaissance locale Les donateurs sont exigeants et ne consultent pas le personnel du projet Le syst me d information ignore les valeurs socio culturelles de la population vis e CARE S amp E 120 Chapitre 11 Plannification des activit
32. en place les projets Le bureau au le personnel de CARE Ouganda au niveau du niveau du pays programme tel que le directeur et les directeurs adjoints les conseillers de secteur et les responsables de projet CARE le personnel au niveau du si ge social Atlanta tel que International l unit de direction r gionale RMU le groupe de coordination de secteur PAD les personnes charg es de recueillir des fonds Relations ext rieures les services de finances et de relations avec les gouvernements Les donateurs les personnes ou organismes finan ant l organisation les organismes d aide CARE S amp E 13 Chapitre 2 Utilisateurs d informations Les cat gories de personnes ou d organisations suivantes peuvent galement tre consid r e dans certains projets e D autres membres de CARE International toute personne charg e de recueillir des fonds pour certains projets et des collegues partageant les m mes int r ts e Des universitaires chercheurs et consultants m mes int r ts professionels possibilit d une analyse plus approfondie ou d applications diff rentes des informations recueillies e Les m dias et les journalistes diss mination de r sultats importants transparence et responsabilit financi re vis vis du public Quelles sortes d informations sont elles n cessaires Contenu des informations Les populations concern es par le projet le personnel responsable de l
33. et leurs suggestions de mise en page Enfin un grand merci Jim Rugh CARE International et tous les membres de CARE qui ont particip l atelier de Kabale en 1996 pour toutes leurs id es et leur feedback au sujet de la surveillance et de l valuation de projets CARE Tom Barton ler janvier 1997 CARE S amp E 5 Introduction Contexte Durant quelque temps les membres de CARE Ouganda ont cherch am liorer leurs syst mes de surveillance et d valuation Chaque projet a progress individuellement et un atelier g n ral sur le S amp E a eu lieu en 1994 Cette session a abouti l laboration de directives Ces derni res cependant ne r pondaient pas a nos besoins et taient peine utilis es par le personnel du programme Une tude des syst mes de S amp E de projets en cours et des discussions avec le personnel ont r v l que nous n avions pas une perception commune de ce que CARE esp rait d un syst me de surveillance et d valuation Nous n avions pas non plus les m mes id es sur la fa on de cr er ou d utiliser un tel syst me Les comp tences du personnel la fois national et international taient extr mement vari es de m me que les syst mes utilis s Des difficult s dans des exercices communs d valuation c est dire le d veloppement d un plan de S amp E un questionnaire de base pour un nouveau projet ou pour une valuation externe d un projet arrivant terme ont
34. ext rieures telles que les recensements les statistiques officielles les La triangulation externe CARE S amp E 94 Chapitre 8 M thodes de collecte de donn es photographies a riennes ou bien les tudes locales de recherche et techniques La triangulation externe est fond e sur une revue des donn es secondaires c est a dire les informations d ja existantes et disponibles a partir d agences nationales et locales d institutions acad miques ou bien publi es dans divers ouvrages Cette m thode consiste a renforcer la validit au sein m me du proc d de S amp E en utilisant principalement des m thodes et des techniques multiples pour explorer un m me sujet Il peut s agir par exemple d une description de la fa on dont une communaut utilise ses ressources naturelles a partir d une combination de promenades d observation d interviews avec des groupes et d un exercice de cartographie avec la participation des membres de la communaut La triangulation interne Pour r pondre aux besoins de repr sentation dans le cadre des activit s de surveillance et d valuation trois solutions simples sont le plus souvent utilis es Strat gies pour am liorer la repr sentation e M langer des m thodes qualitatives et quantitatives Ceci peut tre s quentiel par exemple des interviews ouverts tout d abord afin d valuer la port e et la nature des r ponses puis des questionna
35. flexion valuation D apr s J Pfohl Participatory Evaluation A user s guide PACT Impact Cit dans D Narayan Participatory Evaluation Banque mondiale 1993 Chaque trimestre le personnel des projets CARE compare les progr s accomplis aux plans et pr pare un rapport de mise en application du projet PIR Chaque responsable de projet revoit galement les performances annuelles la fin de chaque ann e et identifie les le ons tirer Ce proc d annuel est int gr une revue des plans sur plusieurs ann es vie du projet Ces documents sont ensuite utilis s pour pr parer un plan annuel de mise en application AIP 1 2 pour l ann e suivante Etapes du projet et besoins d informations Dans le cadre de ces directives nous nous r f rerons principalement aux tapes suivantes d un projet Quels sont les probl mes Quelles sont les ressources Avant le DA Quelles sont les demandes non satisfaites projet Durant cette tape les probl mes sont identifi s les facteurs contribuant ce probl me sont clarifi s les besoins sont estim s et ensuite le projet est con u CARE S amp E 26 Chapitre 4 Concepts cl s Mise en route du Quelle est la situation actuelle projet Cette phase se situe juste avant que les services et activit s du projet ne soient mis en place Lorsque les fonds sont disponibles le projet commence par une tude de base Le proje
36. galement leur support au syst me de S amp E et permettra l utilisation des r sultats CARE S amp E 12 Chapitre 2 Utilisateurs d informations Les cat gories principales de personnes et organisations qui peuvent d sirer obtenir des informations au sujet de projets CARE sont les suivantes Les galement appel es clients ou b n ficiaires ou communaut s populations concern es peuvent comprendre des locales membre individuels d une communaut des groupes locaux ou des villages entiers Les dirigeants des communaut s locales les groupes concern s dans la communaut et la communaut dans son ensemble repr sentent des groupes particuli rement importants pour CARE Les comprennent les organisations bas es sur la organisations communaut OBC et les organisations non locales gouvernementales ONG Les OBC sont de potentiels collaborateurs Les ONG soit locales ou internationales partagent des int r ts communs Elles sont galement des collaborateurs potentiels en tant que fournisseurs de ressources suppl mentaires Le les homologues locaux collaborant et coordonant les gouvernement activit s les d cideurs et plannificateurs y compris les officiels de secteur les officiels gouvernementaux et les hommes politiques tels que les membres du parlement Le personnel travaillant sur le projet les responsables de projets de CARE Ouganda et le personnel sur le terrain qui met
37. groupe de SFT sera fort diff rent de celui attendu pour un organisme de charit Des informations de bonne qualit ne seront pas utilis es si elles ne sont pas correctement pr sent es Les id es suivantes peuvent guider dans la pr sentation des informations Conseils de pr sentation des informations Connaissez votre public utilisateurs de l information Sachez ce qu il doit savoir et pourquoi applications Sachez pourquoi les informations sont n cessaires emploi du temps fr quence Reliez les informations pr sent es aux applications anticip es utilisations Choisissez des m thodes de pr sentation selon le public ne pas utiliser des documents crits s ils sont destin s des personnes ne sachant ni lire ni crire ou de longs rapports pour des hommes politiques qui n ont pas le temps de les lire Choisissez des moyens de pr sentation vari s des sh mas des chiffres des photos etc Les utilisateurs assimilent mieux des informations nouvelles si elles sont pr sent es de diverses fa ons et offrent diff rentes m thodes permettant d tre accessibles par tous Le tableau suivant montre les liens entre les types d audience et les formats de pr sentation pour CARE CARE S amp E 107 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E Comparaison des diff rents formats de pr sentation des informations au sein de CARE Outil PRAY Evaluation du projet Program
38. l effet et du r sultat e M thodologie Sources d informations sp cifiques quels renseignements se trouvent o quelles personnes doivent tre interview es quelles m thodes de collecte de donn es quels outils qui collecte les donn es et quand moyens d analyse des informations qui et quand e Types d activit s de S amp E Surveillance r guli re ou valuation p riodique ou bien une tude de diagnostique unique e Fr quence Combien de fois les informations au sujet d un indicateur seront elles collect es e Application Quels sont les usages anticip s pour les informations Quelles d cisions seront influenc es par les r sultats e Circulation Utilisateurs de l information diss mination Qui doit obtenir les informations et les analyses Sous quelle forme CARE S amp E 56 Chapitre 5 Plannifier pour obtenir des informations utilisables Vous trouverez ci dessous deux exemples de matrices de S amp E de projets CARE tablies durant l atelier de Kabale en 1996 Les extraits montrent seulement un indicateur au niveau du BI pour chaque projet Projet communautaire de planning familiale PCPF BI Accroitre le nombre de femmes utilisant les services de sant maternelle quoi Pourcent age du nombre d accouch ements ayant eu lieu avec l aide de personnel m dical qualifi CARE S amp E Sources originales SIG Documents enregistr s par les APF Clinique
39. m thodes sert un but particulier de collecte et d analyse de donn es 1 Echantillonnage d un cas extr me est r serv plus particuli rement pour des cas riches en informations car ils sont inhabituels ou sp ciaux d une certaine fa on Par exemple P unique communaut dans un secteur qui a d cid d interdire les pesticides Echantillonnage variation extr me cherche capturer et d crire les th mes centraux ou les principaux r sultats qui vont au del des variations observ es parmi les participants ou dans le programme Par exemple des personnes d age de sexe de religion et de statut marital diff rents qui envisagent l utilisation des services de planning familial Echantillonnage homog ne choisit un chantillon de petite taille comportant des caract ristiques semblables pour d crire en profondeur des sous proupes particuliers Par exemple les b cherons ou les fabricants de charbon dans une r gion sp cifique Echantillonnage de cas typique utilise au moins un cas typique pour obtenir un profil local Ces cas individuels familials communautaires etc sont s lectionn s en coop ration avec les participants principaux tels que le personnel du projet ou d autres personnes pouvant aider identifier les l ments typiques Echantillonnage de cas critique cherche des cas critiques qui peuvent souligner de fa on dramatique un l ment sp cifique Par exemple la vie d un bra
40. malgr tout une strat gie couramment utilis e pour des valuations de fin de projet car elle est relativement peu co teuse e Le sc nario groupe de contr le Si une strat gie avant et apr s est utilis e et que deux groupes sont contr l s l ensemble sans repr sente le groupe de contr le L avantage de cette m thode par rapport d autres est que l attribution des changements dus au projet est plus facile d montrer Les changements ayant lieu dans la communaut avec durant la dur e du projet sont contr l s en identifiant et ensuite extrayant les changements observ s dans les deux groupes Tout changement restant dans le groupe avec peut alors tre attribu l influence du projet En r alit bien que la m thode de groupe de contr le soit plus proche d un id al scientifique elle est co teuse et difficile x cuter d un point de vue logistique Elle peut tre plus appropri e des projets pilotes ou lorsque la demande provient d un donateur d sirant d terminer l attribution e Le sc nario avant et apr s Cette m thode consiste en une comparaison entre deux p riodes distinctes Un ensemble sp cifique d informations indicateurs s lectionn s est recueilli partir d un groupe repr sentatif de potentiels b n ficiaires population vis e avant que le projet soit mis en place une tude de base est donc n cessaire pour une telle approc
41. n ficiaires Il est important de reconna tre les perceptions diff rentes de la r alit Finalement la s lection et la nature des indicateurs pour un projet doivent tre guid es par la nature des objectifs et des effets et impacts projet s La premi re tape est donc un nonc clair et sans ambigu t de la hi rarchie des objectifs buts court moyen et long terme Ces derniers peuvent faire r f rence aux r alisations court terme telle que la construction de puits r sultats ou un changements d attitude parmi la population vis e but interm diaire tels que la cr ation d une petite entreprise Ils peuvent galement se rapporter aux impacts long terme tels que l radication de la pauvret rurale ou une meilleure sant de la population vis e but final Il existe peu de probl me conceptuel avec les r sultats et les effets car ils sont g n ralement directs et facilement mesurables Cependant des concepts tels que la pauvret et la sant sont plus difficiles estimer Par exemple avec la sant il est tout d abord n cessaire de sp cifier les buts exacts d un projet donn une meilleure sant de la population en g n ral ou de groupes plus sp cifiques comme les femmes ou les enfants la pr vention de maladies sp cifiques ou l am lioration des services de sant ou bien tout ces l ments la fois Des indicateurs appropri s peuvent tre s lectionn s selon les sp cifications
42. opinion Une liste de contr le peut comprendre les questions suivantes e La personne interrog e a t elle fait preuve d une d f rence exag r e e A t elle cherch conna tre l opinion de l intervieweur avant de r pondre e _L intervieweur a t il dit quoique ce soit qui a fait taire l interview ou lui a fait chang le ton de ses r ponses Autres facteurs Finalement il ne faut pas oublier que des v nements r cents peuvent avoir influenc les vues exprim es par la personne interrog e Le statut mental et physique de l interview peut galement affecter ses r ponses Quand il elle est fatigu e il elle peut devenir irritable et r agir de fa on n gative une question Casley et Kumar 1988 CARE S amp E 150 Annexe 4 M thodes outils Fiche A 9 SONDAGES RAPIDES Notes m thodologiques 20 questions ou moins inscrites sur une a trois pages de papier en laissant de l espace pour les r ponses Environ 2 3 des questions sont pr tablies La communaut contribue le reste en fonction des pr occupations Ces questions peuvent tre pos es par des membres de la communaut locale volontaires locaux supervis s par du personnel qualifi personnel du secteur Le sondage doit pouvoir tre analys rapidement sur le terrain et les r sultats bruts transmis la communaut durant la phase de travail de terrain Le sondage doit permettre d obtenir des donn es pertinentes pou
43. ou de tout effet secondaire involontaire cons quences n gatives du projet Cette forme d valuation est le plus souvent effectu e durant les valuations interm diaires et finales mais peut galement tre inclue dans le proc d de r vision annuelle CARE S amp E 40 Chapitre 4 Concepts cl s EVALUATION Cette activit comprend l valuation analyse et l utilisation continues des donn es concernant le projet Les principaux l ments de cette phase sont les suivants Etude de base R vision annuelle Evaluation en mis cours de projet Evaluation finale Evaluation post facto L valuation d un ensemble s lectionn d indicateurs au sujet de conditions relatives aux b n ficiaires Cette tude a lieu apr s la mise en route du projet et avant le commencement des interventions Une valuation interne de la performance et des progr s d un projet ann e apr s ann e Elle comprend en g n ral une valuation des effets r action de la population aux interventions et des strat gies Une valuation normalement externe et donc objective du projet qui se concentre sur les performances la capacit organisationnelle et les corrections effectu es en cours de projet pour am liorer les r alisations durant la p riode restante Une valuation externe ou interne des effets des impacts et de la rentabilit du projet ainsi qu une analyse co ts avan
44. plus des documents crits les communaut s et ou les secteurs concern s o les donn es ont t collect es peuvent galement participer des r unions semi sectorielles pour cr er des strat gies locales pour les probl mes identifi s Un atelier sur la cr ation de consensus permet de r unir une vari t de personnes Beaucoup d entre elles ne peuvent acc der les rapports formels ou bien n ont pas le temps de les lire L atelier peut galement occasionner un change d id es et d exp riences entre les personnes qui ont men l tude les chercheurs et le personnel les personnes d cidant des politiques les fonctionnaires au niveau du secteur les repr sentants d autres secteurs et les responsables des communaut s locales Un format interactif peut permettre un change d id es et offrir un aper u important sur les strat gies alternatives afin de faire face certains des probl mes soulev s durant les valuations Les repr sentants des m dias peuvent galement participer ces r unions car ils peuvent diss miner les r sultats aupr s d une audience plus large R unions de diss mination Le projet devrait consid rer diff rentes m thodes de diss mination pour assurer une utilisation maximum des r sultats Ceci comprend diff rentes moyens afin d atteindre les hommes politiques les professionnels dans diff rentes sp cialit s des volontaires et des activistes dans le Autre di
45. que d autres personnes en ont besoin ou pour prouver un fait d j bien compris e Savoir analyser et interpr ter Actuellement le personnel de projets fait souvent appel des services ext rieurs pour l analyse et l interpr tation des donn es Des strat gies collectives ou coop ratives d analyse au sein du projet et du programme au niveau du pays n ont g n ralement pas t entreprises On a jusqu ici trop expliqu des analyses insuffisantes par un manque d ordinateurs ou de comp tences statistiques e Importance de la pr paration de budgets pour l analyse Bien que l importance et le besoin en ressources pour la collecte de donn es soient reconnus l analyse en g n ral n est pas allou e suffisamment de temps ni de ressources en personnel durant la pr paration budg taire des projets Conclusion Presque tous les projets de S amp E peuvent tre entrepris avec l aide de statistiques descriptives et de sommaires quantitatifs En d autres termes des m thodes statistiques complexes ne sont pas utiles dans la plupart des cas Exemple d une logique d analyse PCPF BI Augmenter le nombre de femmes utilisant les services de sant maternelles dans un tablissement m dical Indicateurs Sources M thodes de M thodes Personnes d information collecte de d analyse des effectuant donn es donn es l analyse Nbre de Registres du Collecte Disponibles la Statistiques APF femmes SIG routi
46. tences et les budgets CARE S amp E 74 Chapitre 7 Sources et chantillons Exemples de questions sur les sources et la s lection projets de CARE du nombre de femmes ayant r cemment donn naissance et qui ont utilis les services postnataux Projet communautaire de sant maternelle Indicateur Sources Avantages Inconv nients Sources secondaires Registres SIG DMO Registres de la clinique du PCPF Registres du APF Registres des SFT Sources secondaires Femmes appartenant la communaut et ayant donn naissance durant l ann e pr c dente Femmes apportant leurs b b s au PEV Sage femmes SET Avantage Inconv nient SIG Syst me d information de gestion APF Animateur planning familial Nbre de groupes de marketing actifs form s par les m nages participants CARE S amp E Sources secondaires Registres existent comportant des informations sur les visites postnatales Fiabilit exactitude et accessibilit des registres est questionner Les registres de la clinique peuvent gonfler le nombre de patients afin d assurer l apport de ressources Sources secondaires Informations primaires sont importantes au projet Il existe des divisions au sein de la communaut elle n est pas homog ne Les sources peuvent d terminer les facteurs sur la nature des r sultats que les informations montreront AT Accoucheu
47. tout au long de la phase de mise en application du projet selon le niveau des activit s et des r sultats du projet Les membres responsables de la surveillance financi re et physique comprennent le responsable du projet le comptable ou un employ administratif CARE S amp E 38 Chapitre 4 Concepts cl s La surveillance du contexte Les hypoth ses et les risques identifi s dans le cadre du diagramme du projet d pendent de l environnement Bien qu ils soient en dehors du contr le du projet ils peuvent en affecter les activit s et les r alisations Il est important que ces facteurs soient valu s r guli rement de fa on modifier la strat gie ou les interventions avant que ces probl mes ne s intensifient En g n ral les indicateurs pour les hypoth ses sont li s l environnement du projet physique socio conomique institutionnel et politique La surveillance des r sultats Les r sultats du projet sont surveill s en valuant les perceptions opinions et r actions et les r ponses changement d attitude des b n ficiaires Un tel suivi aide comprendre le niveau d acceptation ou d adoption des r sultats ou des interventions du projet parmi la population vis e Les indicateurs mesurant les effets se concentrent sur les changements d apportment par exemple les changements de pratiques agricoles et l acceptation de m thodes de planning familial L impact est difficile surveille
48. 12 Impact But final BI But g n ral Objectif de d veloppement Objectifs g n raux Objectif de d veloppement But g n ral Objectif de d veloppement But But Impact But final But Effets Buts interm diaires BD But du projet Objectif imm diat But du projet Objectifs imm diats But du projet Objectifs interm diaires But But Effet But objectif strat gique But du projet Cause and effect levels of indicators Groupe de travail de gestion de programmes CARE 1996 Logical Framework Approach a flexible tool for participatory development DANIDA 1996 The Logical Framework Approach LFA handbook for objectives oriented project planning Nd A guide to Appraisal Design Monitoring and Impact Assessment of Health and Population Projects ODA 1995 PC Logframe TEAM Technologies Inc 1988 1992 Monitoring and Evaluation Guiding Principles for the design and use in rural development projects and programmes in developing countries UN ACC Task Force on Rural Development 1985 R sultats R sultats R sultats R sultats R sultats R sultats R sultats R sultats R sultats R sultats R sultats R sultats interm diaires R sultats Guide for the use of the Logical Framework Approach in the Management and Evaluation of CIDA s International Projects Evaluation Division nd 11 The Logical Framework Approach to Portfolio Design Review and Evaluation in AID Genesis imp
49. BSERVATION Observation des participants INTERVIEWS INDIVIDUELS Interviews libres CARE S amp E Moyens Observer l environnement les attitudes les interactions les v nements les l ments physiques mat riels Les conclusions d pendent de l observateur sauf si des interviews et des discussions ont galement lieu Peut tre am lior e avec plus d un observateur ou plus d une observation Travail en collaboration avec les b n ficiaires du projet permet des discussions l observation des interactions et une exp rience directe Consiste demander une autre personne ses perceptions sur au moins un sujet Peuvent tre structur s questionnaire sondage ou semi structur s interviews approfondis Utilise une s rie de questions th mes n cessitant des r ponses libres et d taill es l inverse d un simple oui ou non ou d un nombre N cessite une prise de notes d taill e Comprend un interview approfondi et un interview d un r pondant cl IC Les IC sont effectu s avec des personnes ayant des connaissances sp cifiques sur un sujet Donn es Principalement qualitatives Peuvent tre quantitatives sp cialement si l observateur utilise une liste de contr le structur e Bonne compr hension des limites des difficult s des d cisions et des choix Donn es qualitatives ou quantitatives Connaissances attitudes croyances et attitu
50. CARE Ouganda Directives de surveillance et d valuation Ou en sommes nous R dig par Tom Barton CRC Contacts Nick Ritchie Directeur Geoffrey Chege Directeur ad joint CARE International en Ouganda Ces directives ont t mises en avant par le groupe de r flexion sur la surveillance et l valuation de projets CARE International en Ouganda 17 Mackinnon Road Nakasero P O Box 7280 Kampala Ouganda Contacts Nick Ritchie Directeur CARE Ouganda Geoffrey Chege Directeur adjoint CARE Ouganda R dig par Tom Barton Consultant Creative Research amp Evaluation Centre P O Box 21175 Kampala Ouganda Courrier lectronique lt crc crc uu imul com gt English version Janvier 1997 Version fran ais Brillion de juin 1997 Reproduit pour une plus grande diss mination par Jim Rugh Coordinateur de la conception la surveillance et l valuation de programmes Evaluation et d veloppement de programmes PAD Program Assessment and Development Division des programmes CARE USA 151 Ellis Street NE Atlanta GA 30303 USA Courrier lectronique lt rugh care org gt TABLE DES MATIERES Tabl d s mati res nn en dsl reste APO AUION seosscsncasnceesscasctanzecaccesndsanceaaataccekadseoseddeoossesapennsaneesondesasosecenesbnscesadeoncsbeasncaebadcsacten f Pr face ist ccssdlocectsdeSeccesdoccesaddesecossscdcosesdesesdessecccsadieveccdscccecbeedaveccesdedvosesdevecos
51. CARE Ces activit s comprennent la gestion et la supervision la formation d homologues la logistique et les services l assistance technique et les syst me d information de la surveillance et de P valuation Propri taires personnes ayant un int r t dans le projet Propri taires actuels ou potentiels d un projet par exemple des personnes qui ont un int r t direct dans le projet Cela signifie souvent des personnes ou des organismes qui sont en mesure d influencer les d cisions concernant la conception et la mise en application du projet Typiquement ceci comprend la population les participants vis s le personnel du projet et du bureau au niveau du pays les homologues les donateurs et tout organisme int ress Qualit des services La qualit est valu e au moyen de l tendue des choix de l tat complet des informations donn es aux clients de la comp tence technique de la qualit des relations interpersonnelles et de l propos des services offerts Question port e limit e Questions dont les r ponses sont obtenues partir d un ensemble de choix pr d termin s dans un questionnaire Question ouverte Une question qui permet une r ponse compl te et libre La personne interrog e peut r pondre en utilisant ses propres termes l inverse d une question de port e limit e qui restraint les r ponses selon des cat gories pr d termin es Questionnaire Un outil de collect
52. D Participatory Evaluation Tools for managing change in water and sanitation World Bank Technical Paper Number 207 World Bank 1993 NGO Unit ODA Project Evaluation a guide for NGOs ODA The Joint Funding Scheme 1993 Panel on monitoring and Evaluation ACC CARE S amp E 159 Annexe 6 R f rences Monitoring and Evaluation Guiding Principles for the design and use in rural development projects and programmes in developing countries UN ACC Task Force on Rural Development IFAD 1985 Popular Participation Programme Development Studies Unit Guidelines for consultations and popular participation in development processes and projects Department of Social Anthropology Stockholm University 1991 RITCHIE A Evaluation of the economics and social benefits of income generation projects Small Economic Activity Development Sector SEAD workshop report CARE Bangladesh 1994 RITCHIE A USAID Uganda PRESTO project concept paper technical annex monitoring and evaluation USAID 1995 RUGH J Self Evaluation Ideas for participatory Evaluation of Rural Community Development Projects World Neighbours 1984 1992 SCRIVEN M Evalaution Thesaurus Fourth Edition Sage Publications 1991 SEBSTAD J NEILL C BARNES C CHEN G A framework for assessing the impact of micro enterprise interventions at the level of the household the enterprise the individual and the community USAID PRISM 1995 Technical A
53. PCPF Donn es provenant des APF Nouvelles sources Femmes appartenant a la communaut et ayant accouch durant l ann e pr c dente Comit s sur la sant du CM 3 Femmes amenant leurs b b s au PEV SFT R vision des documents projections de recensement Enqu te R unions de groupe Informants cl s Groupes cibles Personne responsable des activit s de S amp E du projet Equipe du projet Partenaires Homologues ONG Travailleurs de la communaut Analyse des donn es V rifications et tendances quantitatives Correlation quantitative Trianguler Mod les qualitatifs demander et se demander pourquoi Personne respons able des activit s de S amp E du projet Evalua tion Equipe du projet et partenaires pour Pinter pr tation Mensuelle tri mestrielle semi annuelle annuelle Etude de base Eval en cours de projet Eval finale Evaluer les tendances sommes nous sur la bonne voie Si non pourquoi Rectifier valuation comparative Etablir une fondation pour mesurer le changement Evaluer efficacit de la strat gie Evaluer les effets du projet Partenaires directs Bureaux de CARE Ouganda CARE USA Donateur USAID Partenaires CARE donateurs groupes interess s Rapports PIR API R union pr sentation a l aide de graphiques tableaux cartes discussion R unions informelle
54. RE S amp E 68 Types courants d indicateur Montre si quelque chose Types d indicateur Indicateurs de disponibilit Indicateurs de pertinence Indicateurs d accessibilit Indicateurs d utilisation Indicateurs du degr de couverture Indicateurs de qualit Indicateurs de l effort Indicateurs de l efficacit Indicateurs de Vimpact Conclusion existe et s il est la disposition des personnes Montre si un l ment est pertinent ou appropri Les facilit s d ja en place sont elles accessibles aux personnes qui en ont besoin 9 Dans quelle mesure des services ou des facilit s mis a la disposition des b n ficiaires sont ils utilis s selon le but initial Dans quelle proportion les personnes ayant besoin d une aide la re oivent elles Qualit d une norme ou autre Quels l ments sont investis pour atteindre les objectifs En quelle quantit Les ressources et les activit s sont elles utilis es au mieux afin d atteindre les objectifs Ce que nous faisons apporte t il vraiment une diff rence Chapitre 6 Indicateurs Exemples Y a t il un employ local qualifi pour dix maisons Les nouveaux r chauds br lent ils moins de carburant que les anciens Un centre de soins dans un village peut se trouver hors d atteinte pour les autres villages cause de montagnes et rivi res ou du manque de transports ou du fait
55. RE peuvent galement trouver ces directives int ressantes Il s agit par exemple d autres agences de d veloppement d organisations collaboratrices et de consultants travaillant avec CARE Mode d emploi Se basant sur l organisation des projets de d veloppement de CARE les chapitres sont arrang s en s ries allant de la plannification a la mise en place l analyse et l application Les lecteurs ayant peu d exp rience dans le domaine de la plannification la recherche ou I information peuvent trouver ces chapitres extr mement utiles Les lecteurs plus exp riment s sont galement encourag s survoler ces chapitres afin de comprendre les liens avec tout sujet sp cifique qu ils tudient plus fond La partie principale de ce document commence avec l importance des informations dans le cadre des projets CARE Le chapitre 2 identifie les utilisateurs de l information et leurs besoins La troisi me partie aborde les principaux avantages et inconv nients rencontr s lors de la collection l analyse et l utilisation d informations dans le cadre de projets de d veloppement y compris les projets CARE Les l ments de plannification de projets et les concepts cl s de la surveillance et de l valuation sont discut s dans le chapitre 4 Le chapitre 5 pr pare la voie pour la cr ation de plans sp cifiques de surveillance et d valuation pour des projets en cours La partie suivante se concentre sur la
56. Recherche Recherche Personnes responsables Directeur du Directeur du Directeur du projet Directeur national adjoint de la mise en projet Personnel du projet projet Personnel du BP coordinateur au niveau du secteur des activit s BP coordinateur des activit s application SIG projet SIG de S amp E de S amp E PHLS Personnes responsables Directeur national Directeur national Directeur national Directeur national Dircteur national adjoint Directeur national Directeur national adjoint Global Direction r gionale adjoint PAD PHLS From PMTF IAP Framework 1 97 CARE S amp E 108 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E Flux d information Les syst mes de S amp E sont g n ralement d sign s par le terme syst mes de pr sentation des informations Ces derniers ont tendance servir seulement les demandes d information de l quipe de direction du projet les chelons sup rieurs du gouvernement au niveau des prises de d cision politiques et les donateurs Malheureusement les informations ne s acheminent qu sens unique des b n ficiaires vers les niveaux sup rieurs Voici quelques unes des raisons de ce flot d information sens unique e Les utilisateurs aux niveaux sup rieurs demandent fr quemment ces rapports Par cons quent le personnel du projet n a pas le temps d utiliser un rapport avant que le suivant soit tabli e Les informations courantes cont
57. Un manque de feedback contribue un faible moral La collecte de donn es est ainsi per ue comme une activit peu importante par rapport d autres taches par exemple par rapport des interventions qui sont plus r guli rement supervis es et ou valu es Un manque de feedback au niveau de la communaut peut galement convaincre les participants qu ils ont perdu leur temps et peut m me provoquer une r ticence pour de futures actions de ce genre Qu en est il de CARE O en sommes nous au niveau du S amp E Les sources d information au sujet des avantages et des inconv nients du S amp E dans le cadre des projets CARE manent de deux sources principales e Les contributions du groupe de r flexion sur le M amp E 19 6 96 e L atelier sur le S amp E de Kabale en 1996 9 13 9 96 Les r sultats de ces discussions sont pr sent es dans le tableau suivant Ce dernier montre les avantages les inconv nients les opportunit s et les limites du S amp E au sein de CARE Un des principaux avantages du S amp E de CARE r side dans la collecte de donn es et est d aux l ments suivants e Le personnel est conscient de l importance de ces activit s e L existence de formats standards et de programmes r guliers de collecte et d analyse d informations En tant qu organisation CARE veille ce que les ressources pour les activit s de S amp E soient comprises dans les propositions de projets La diss min
58. a collecte et de la gestion des donn es informations financi res et r sultats les quipes internes et externes responsables d valuations p riodiques valuation des performances et progr s du projet font galement partie des personnes int ress es et impliqu es dans le S amp E La diff rence entre ces groupes r side dans leurs e perceptions sur le but du S amp E e raisons pour collecter des donn es e int r ts au sujet des informations r sultant des op rations de S amp E Les diff rents sp cialistes impliqu s dans un projet les conomistes les cologistes les agronomes les sociologues le personnel m dical et para m dical etc influencent galement le syst me de S amp E Leurs besoins en information et le genre d informations qu ils recherchent seront d termin s en grande partie par leur formation professionnelle un conomiste par exemple recherchera plut t des informations au sujet des revenus Bien que leur exp rience et formation apportent une perspective utile au syst me de S amp E ces groupes peuvent galement introduire un l ment de biais professionnel Il faut donc faire attention ce que les vues de ces professionnels n influencent pas outre mesure la conception du syst me de S amp E CARE S amp E 14 Chapitre 2 Utilisateurs d informations Qualit des informations Les utilisateurs sont int ress s par la qualit des informations qu ils recherchent Voici
59. ables de la mise en 5 10 pages application du programme Long Biblioth ques organisation et Nombre de pages programmes int ress s chercheurs illimit Vue d ensemble du rapport final Le rapport final doit comprendre une discussion sur les donn es qualitatives et quantitatives recueillies durant l tude organis es et anlys es de fa on fournir des informations sur 1 L importance des probl mes actuels 2 Les r sultats et les limites du projet en ce qui concerne les impacts attendus sur ces probl mes Les r sultats et les recommendations seront plus utiles s ils sont class s par ordre de priorit afin d adresser les probl mes les plus importants Le rapport final doit CARE S amp E 115 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E fournir des informations ad quates selon lesquelles il est possible de prendre des d cisions techniques et politiques de fa on am liorer le projet y compris id alement un plan d action pour l ann e venir Suivi Nous recommendons le suivi des deux aspects suivants a Mise en place de la strat gie et valuation Une fois que des plans sp cifiques ont t con us et que des strat gies ont t mises en place en r ponse aux r sultats des indicateurs peuvent tre s lectionn s pour la surveillance Il peut s agir d indicateurs de r sultat les r visions propos es ont elles commenc ainsi que des indicateurs d e
60. ach a flexible tool for participatory development DANIDA 1996 The Logical Framework Approach LFA handbook for objectives oriented project planning nd Effects Intermediate Goals IG Project purpose Immediate Objective Project purpose Immediate objectives Project purpose Intermediate objectives Purpose Purpose Effect Strategic goal objective Project purpose A guide to Appraisal Design Monitoring and Management and Impact Assessment of Health and Population Projects ODA 1995 PC LogFrame TEAM technologies inc 1988 1992 Outputs Outputs Results outputs Outputs Results Outputs Results outputs Outputs Outputs Outputs Outputs Annex 5 Log Frame Terms Processes Inputs Activities Inputs Activities Inputs Activities Inputs Activities Activities Inputs Activities Inputs Activities Inputs Activities Activities Processes Inputs Intermediate results Activities 202E Outputs Guide for the use of the Logical Framework Approach in the Management and Evaluation of CIDA s International Projects Evaluation Division nd Inputs Project Cycle Management integrated approach and logical framework Commission of the European Communities Evaluation Unit Methods and Instruments for Project Cycle Management No 1 1993 Project Appraisal and Use of Project Document Formats for FAO Technical Co operation Projects Pre course review activity Staff Development Group Personnel Division 1992 10 Monitoring a
61. act problems and opportunities CDIE 1987 Proc d s Activit s Activit s Activit s Activit s Activit s Activit s Activit s Activit s Activit s Activit s Activit s Apports Apports Apports Apports Apports Apports Apports Apports 202E Apports Project Appraisal and Use of Project Document Formats for FAO Technical Co operation Projects Pre course review activity Staff Development Group Personnel Division 1992 12 VALADEZ J et BAMBERGER M Monitoring and evaluating social programs in developing countries a handbook for policy makers managers and researchers Banque Mondiale 1994 Alternative terms for log frame concepts in English CARE S amp E Project Cycle Management integrated approach and logical framework Commission of the European Communities Evaluation Unit Methods an Intruments for Project Cycle Management No 1 1993 156 Organisation Agency CARE terminology CARE LogFrame terms CIDA DANIDA European Union FAO GTZ NORAD ODA PC LogFrame UN Agencies USAID World Bank ZOPP in steps 1989 OA ON OR OT Citation 1 A Un R amp D 11 12 Impact Final Goal FG Overall goal Development Objective Overall objectives Development objective Overall goal Development objective Goal Goal Impact Final goal Goal Cause and effect levels of indicators proposed by the Programme Management Task Force CARE 1996 Logical Framework Appro
62. afin d analyser les donn es Les informations parfois ne sont donc pas analys es ou utilis es Sans la formation n cessaire les employ s vitent les activit s de surveillance Celles ci sont consid r es comme tant plut t mystiques A cause d un manque de comp tences ad quates de gestion de donn es des probl mes de qualit de contenu de diss mination et d utilisation des informations sont in vitables Il appara t donc un besoin pour des outils de travail pouvant tre appris et utilis s par le personnel e Manque de feedback Le flot d informations au sein de CARE est sens unique de bas en haut Le feedback est rarement re u de la part des chelons sup rieurs du syst me Lorsqu il y a un feedback c est normalement en r ponse un probl me sp cifique et il d pend plus d une personne particuli re que du syst me Les employ s des niveaux inf rieurs pensent que le syst me d information serait plus efficace s ils recevaient syst matiquement un feedback sur la qualit des rapports les le ons acquises et les performances du projet e Pas de syst me standard Actuellement il n y a pas de syst me uniforme d information pour guider les activit s de S amp E dans le cadre de CARE Ouganda Diff rents projets ont donc des syst mes inconsistents de pr sentation des informations des syst mes diff rents de gestion des donn es et des approches tr s vari es sur la diss mination Parc
63. aires L tude de base aide galement valuer si les indicateurs choisis sont mesurables et peut tre utilis e pour les raffiner pour un suivi futur Les tudes de base sont donc effectu es apr s que le projet soit con u et financ mais avant le d but des interventions Si l tude de base peut tre plannifi e con ue mise en place et analys e avec la participation des interess s l engagement des partenaires y compris les b n ficiaires aux interventions peut tre accru Par exemple lors d un projet r cent concernant la sant une tude de base utilisant la cartographie sociale un outil MARP voir annexe 4 une communaut au sud de Malawi a trouv que les deux tiers Ouest d un village n utilisaient pas de latrines alors que celles ci existaient dans la plupart des m nages du tiers Est Dans les trois mois qui ont suivi l tude plus de la moiti des foyers qui auparavant n avaient pas de latines en ont construit spontan ment une cons quence directe d une prise de conscience suite a tude de base Des objectifs tr s sp cifiques et clairs doivent tre tablis cause de l importance de cette tude pour le reste du projet Se r f rer au cadre ci dessous pour les potentielles limites aux tudes de base Limites potentielles des tudes de base Recueillir des informations trop importantes et non sp cifiques qui sont trop accablantes pour tre jamais analys es et utilis es R
64. alet feuillets mobiles ou sur un tableau noir Expliquez chaque participant les m chanismes de classement et demandez leur de pratiquer l exercice donnez leur par exemple trois pierres qu ils placent sur toute cat gorie qu ils choisisssent en r ponse une question quelle culture est la plus difficile quel type de service m dical est le plus efficace etc Demandez aux participants d expliquer les crit res selon lesquels ils ont effectu leur choix Pratiquez une analyse quantitative des diff rents classements et interpr tez les r sultats selon les nonc s qualitatifs sur les crit res de choix Avantages et inconv nients Le classement est une technique flexible qui peut tre utilis e dans une vari t de situation et de lieux Lorsque des jugements cat goriques sont n cessaires le classement est une alternative possible aux interviews structur s En g n ral les participants trouvent ces exercices amusants et interessants Le classement peut ainsi aider augmenter l engagement des participants vers la recherche active Des informations sont fournies la fois sur les choix et sur les raisons de ces choix Un essai pr liminaire est n cessaire pour tester le m chanisme de classement ainsi que les outils utiliser Les choix peuvent se trouver influenc s par une s rie de facteurs tr s subjectifs De fa on g n raliser les r sultats un chantillonnage ad quat est n ce
65. analyse de donn es quantitative et qualitative Ces m thodes visent toutes les deux T objectivit en essayant de minimiser les points de vue subjectifs ou individuels Les m thodes quantitatives sont utilis es l aide de donn es num riques et l analyse est effectu e gr ce a une manipulation statistique Les m thodes qualitatives utilisent des informations narratives ou visuelles pour analyser le contenu et la signification Ces m thodes ne r futent pas des points de vue divergeants L analyse doit tre syst matique et v rifiable m me si les donn es qualitatives semblent souples par rapport aux donn es quantitatives dures A la fin du proc d un autre chercheur doit pouvoir arriver des conclusions semblables partir des m mes donn es Techniques quantitatives Les donn es provenant de sondages structur s ou la plupart des questions de surveillance peuvent tre facilement quantifi es Une fois que ces donn es sont exprim es en chiffres elles peuvent tre utilis es avec des techniques math matiques ou statistiques Aucune des techniques statistiques mentionn es ci dessous ne n cessitent un dipl me universitaire elles peuvent tre utilis es avec une simple calculatrice de poche Statistique descriptive Ce type de statistique est un moyen assez direct de r capituler un ensemble de points ou de r sultats num riques par exemple le mod le num rique des r sultats si chaque particip
66. ant a pass un examen sur les connaissances acquises lors d un atelier Il repr sente des concepts relativement simples utilis s dans la vie de chaque jour Les comptes les totaux les fr quences les sous totaux les moyennes les proportions et les distributions figurent parmi les l ments descriptifs les plus courants Deux autres concepts descriptifs sont galement importants la pr dominance et la fr quence Le concept de pr dominance se rapporte aux nombres de personnes pr sentant une condition sp cifique ou montrant une attitude sp cifique un moment donn Par exemple la proportion des agriculteurs dans un sous comt qui paillent les bananes indique la pr dominance des pratiques de paillis Le concept de fr quence se rapporte au nombre de nouveaux cas ayant lieu durant une p riode donn e ou combien de personnes ont r cemment montr une condition ou une attitude sp cifique Par exemple combien d agriculteurs ont nouvellement adopt la culture de haricots dans l intervalle d une ann e CARE S amp E 102 Chapitre 9 Analyse des donn es Statistique d ductive Ces techniques sont un peu plus compliqu es mais des analyses utiles peuvent encore tre effectu es avec pour comp tence principale la connaissance d une calculatrice de poche Les deux cat gories principales sont a L examen des diff rences entre groupes qu ils soient ind pendants ou non par exemple valuer les diff r
67. apport s sont identifiables ces informations peuvent tre utiles dans les relations de l organisation avec les gouvernements e Respect des normes et responsabilit financi re Respecter les conditions requises par les donateurs Buts besoins et crit res selon les six utilisateurs principaux de l information Les tableaux dans les deux pages qui suivent r sument les buts besoins et crit res selon les six utilisateurs principaux de l information dans le cadre de projets de CARE Ouganda Ces principaux utilisateurs ont t d finis de la fa on suivante au cours d atelier de Kabale en 1996 Communaut s locales Organisations locales OBC ONG Gouvernement Personnel travaillant pour le projet Bureaux de CARE Ouganda CARE International CARE S amp E 18 Chapitre 2 Utilisateurs d informations Buts besoins et crit res selon les six utilisateurs principaux de l information UTILISATEURS BUTS INFORMATIONS CRITERES Communaut s locales Leaders CM leaders culturels et religieux Groupe concern femmes agriculteurs anciens combattants etc Communaut dans son ensemble Organisations locales Gouvernement Homologues officiels du secteur et sur le terrain Central minist res CARE S amp E Clarifier toute suspicion D cider ou non de soutenir certaines activit s Pr parer et mobiliser les habitants Int grer les activit s du projet dans celles de la paroisse ou du villag
68. ation des informations est galement encourag e en tant qu outil de promotion du d veloppement institutionnel et de la participation active de la communaut CARE S amp E 22 Chapitre 3 Avantages Inconv nients duS amp E CARE Statut du syst me actuel de S amp E dans le cadre de CARE International en Ouganda Forces Faiblesses Opportunit s Limites menaces ou contraintes ext rieures R gularit informations sont collect es r guli rement gr ce des syst mes bien tablis Formats standardis s par projet uniformit des formats pour chaque projet aide la collecte de donn es Ressources disponibilit des ressources pour le S amp E Diss mination de l information les informations sont habituellement diss min es vers la communaut ou tout autre personne ou groupe ayant un int r t dans le projet Engagement le personnel a conscience de l importance de la collecte de donn es de bonne qualit Utilit les informations recueillies sont en g n ral utilis es bon escient Capacit la plupart des projets comportent des diagrammes quelques uns avec des cadre S amp E d autres avec un responsable de S amp E CARE S amp E Faible qualit de la pr paration et de la gestion des informations due un manque de comp tences techniques chantillonnage inad quat trop de donn es collect es et incapacit d analyser les informations Flux d informations sens unique de bas
69. ational Service for National Agricultural Research La Hague Pays Bas OFCOR Comparative Research Paper No 3 Tel qu il est cit dans BIGGS S et FARRINGTON J Agricultural Research and the Rural Poor A review of social science analysis IDRC 1991 CASLEY D J KUMAR K CARE S amp E 158 Annexe 6 R f rences The collection analysis and use of monitoring ansd evaluation data The World Bank International Fund for Agricultural Development FAO John Hopkins University Press 1988 Evaluation Office UNICEF A UNICEF guide for monitoring and evaluation Making a difference UNICEF 1991 Evaluative Studies Branch and Centre for Development Information and Evaluation Selecting data collection methods and preparing contractor scopes of work AID Program Design and Evaluation Methods Report No 3 USAID 1985 FEUERSTEIN M T Partners in evaluation evaluating development and community programmes with participants TALC 1986 GOSLING L EDWARDS M Toolkits A practical guide to assessment monitoring and evaluation Development Manuel 5 Save the Children 1995 GREELEY M KABEER N DAVIES S HUSSEIN K Measuring the poverty reduction impact of development interventions research proposal IDS Univ of Sussex 1992 HAGEBOECK M Manager s guide to data collection USAID Practical Concepts Inc 1997 HERMAN J L MORRIS L L FITZ GIBBON C T Evaluator s Handbook Sage Publications 1987 NARAYAN
70. ations Documents concernant le projet et m morandums Ponctualit pertinence Etat complet exactitude Responsabilit validit Ponctualit cr dibilit UTILISATEURS BUTS INFORMATIONS CRITERES 19 Chapitre 2 Utilisateurs d informations Personnel travaillant sur le projet Responsables de Surveiller les budgets et les d penses Etats financiers e Exactitude objectivit terrain Autres l ments mat riel personnel Quantit Praticabilit ponctualit Evaluation du personnel Quantit et qualit des r sultats Validit pertinence Identification des limites obstacles diff rences pour Qualit besoins et perceptions des personnes Info repr sentatives le planning b n ficiaires Personnel sur le Comparer les activit s accomplies avec les objectifs Quantit et qualit des r sultats compar s aux dates et Qualit efficacit Co t terrain Evaluer l efficacit des m thodes et des strat gies plan temps validit Rendre compte des activit s de la communaut R ponse des personnes b n ficiaires utilisation Pertinence adoption Bureau de CARE nn Directeur national Pr paration d informations annuelles sur le projet Portfolio Informations sur le projet annuels AIP 1 1 Respect des formats PIR Importance attribution Programme ACD Compiler les RMAP pr parer les PAMA les valuations Plans annuels de mise en application API 1 1 1 2 1 3 e Pertinence PM conseillers du personnel le
71. ats Proc d s activit s Apports ACTIVITES DE SURVEILLANCE COLLECTE DE DONNEES Surveillance de l impact sur les populations concern es Surveillance des effets Surveillance des hypoth ses et des risques Surveillance physique Surveillance physique et financi re Surveillance financi re CARE S amp E Moment de la collecte tape du cycle de vie du projet Durant la mise en application Durant la mise en application Durant la mise en application Durant la mise en application Durant la mise en application Durant la mise en application Fr quence de la collecte AP Ann e du projet Rare peut commencer apr s AP2 Une fois par an partir de AP2 Une fois par an partir de AP1 Une fois par mois partir de AP1 Une fois par mois partir de AP1 Une fois par mois partir de AP1 PIR API PIR API PIR EARs ACTIVITES D EVALUATION UTILISATION DES INFORMATIONS Etude de base Evaluation finale Evaluation post facto comprend une nouvelle tude de base R vision annuelle Evaluation en cours de projet et finale R vision annuelle Evaluation en cours de projet R vision annuelle Evaluation en cours de projet et finale R vision annuelle Evaluation en cours de projet et finale R vision annuelle Eval en cours de projet et finale A quel moment Etape du cycle de vie du projet 5 ans apr s le projet A la
72. avec l valuation y compris les mesurements p riodiques ou les indicateurs de r sultats et d effet lorsque c est possible Un syst me de surveillance efficace est crucial pour toute gestion ad quate d un projet Taille de l chantillon Le nombre de personnes interrog es dans l chantillon La taille d pend du degr de pr cison n cessaire aux donn es ainsi que de la praticabilit et des ressources disponibles Validit Le degr selon lequel les r sultats de la collecte de donn es repr sentent de fa on exacte la situation actuelle ou vraie On distingue trois diff rentes sortes de validit La validit de la conception signifie que la structure d une collection de donn es peut permettre d obtenir les informations n cessaires par exemple un sc nario avant et apr s permet d valuer les r alisations La validit technique signifie que les m thodes de collecte de donn es permettront d obtenir les informations n cessaires par exemple l observation de fermes pour voir l adoption de r coltes plut t que de d pendre de rapports de fonctionnaires non agricoles La validit de l instrument signifie que l instrument utilis mesurera ce qu il est suppos mesurer par exemple dans le cadre d une tude sur l eau potable les questions sur l eau bouillie permettront de conna tre si l eau a t trait e ou non pour tre bue et ne sera pas confondue avec de l eau pour le bain
73. bien tre menant aux impacts du projet Les effets peuvent tre positifs b n fiques ou n gatifs nuisibles par exemple l adoption de cultures CARE S amp E 127 Annexe 1 Glossaire commer antes augmente le travail des femmes sans augmenter leur acc s aux fonds Les personnes qui agissent suite au r sultat des interventions du projet se rendent compte ou non de son effet par exemple la diffusion de pratiques agricoles par des agriculteurs qui n ont pas t directement contact s par le projet ou les b n ficiaires secondaires Effectif Le degr selon lequel un projet atteint ses objectifs gr ce aux interventions apports de biens et services Efficacit Le degr selon lequel un projet utilise ses ressources effectivement et selon lequel les activit s sont compl t es dans les temps voulus Enum rateur Terme g n ral pour la personne qui collecte des donn es afin de compl ter un questionnaire structur donn es quantitatives par contraste avec intervieweur Equit Le degr selon lequel les ressources et les opportunit s engendr es par le projet sont distribu es quitablement parmi les m nages Cette notion est li e l allocation de ressources selon le sexe l appartenance ethnique le statut social et la classe socio conomique Essai pr liminaire Pour s assurer de l efficacit de l exactitude et de la praticabilit il est essentiel d effectuer un essai pilote des qu
74. ble quelques ann es apr s l intervention 5 ou 10 ans apr s la mise en route du projet Ces informations sont critiques pour le gouvernement les donateurs et le conseil d administration de CARE afin d tablir des plans strat giques au long terme Questions relatives la s lection des indicateurs Bien que ce ne soit pas leur seul besoin en information les donateurs demandent toujours des donn es chiffr es des informations quantitatives Les diagrammes de projet tablis pour r pondre aux besoins des donateurs ont tendance refl ter cette orientation num rique Les changements fondamentaux et durables dans la vie des personnes sont des buts finaux rarement mesur s Il est plus facile de fournir des renseignements sur le nombre de personnes atteintes ou le nombre de sessions de formation que d valuer des changements plus profonds dans la vie des b n ficiaires Pour cette raison les donateurs et les ONG sont plus l aise avec les mesures des effets du projet qu avec celles quantifiant les impacts Ces derniers sont plus faciles illustrer l aide de mots ou de photos des informations qualitatives Les indicateurs d apports et de r sultats sont plus faciles valuer que les indicateurs d effet ou d impact mais ils ne fournissent qu une mesure indirecte du succ s du projet Pour les utiliser il faut assumer que les accomplissements de certaines activit s r sulteront automatique
75. cadre d un projet CARE Projet de sant familiale en Ouganda Une fois que l tude de base compl t e les trois secteurs vis s ont t largement couverts par un sondage al atoire Cependant d apr s l exp rience locale une valuation qualitative pr c dente et les r sultats pr liminaires de l tude de base les responsables du projet ont reconnu que certaines sections formant l aire du projet taient tr s diff rentes Un chantillon intentionnel suppl mentaire a donc t mis en place pour obtenir des informations repr sentatives sur les quatre r gions culturelles distinctes ainsi que sur les variations dues au paysage et la g ographie Ceci s est av r tr s important car si l chantillonnage n avait pas t effectu de cette fa on intentionnelle des informations importantes sur la fa on dont la r gion montagneuse influence les attitudes vis vis de la sant auraient chapper au projet Une liste des diff rentes strat gies de l chantillonnage intentionnel pouvant tre utilis es lors d tudes qualitatives pour les personnes ou les groupes est pr sent e la page suivante CARE S amp E 80 Chapitre 7 Sources et chantillons Choix d un chantillon Echantillonnage intentionnel dans le cadre d valuations et de recherche qualitatives Il existe diff rentes strat gies pour s lectionner a dessein des cas riches en informations La logique de chacune de ces
76. cessaires une telle tude n existent pas Cependant cette analyse n a pas besoin d tre complexe ni d impliquer l usage de programmes informatiques sophistiqu s et les services de techniciens La pr paration d un syst me d information doit comprendre des dispositions pour l analyse et l interpr tation de toutes les donn es recueillies De cette fa on le projet peut assurer que les donn es brutes soient transform es en informations utiles pour faciliter la prise de d cision et autres applications Ceci peut appara tre comme un nonc de bon sens il existe cependant des exemples innombrables o des donn es pr cieuses sont devenues inutiles car elles n ont pas t analys es Etapes g n rale de l analyse de donn es Les six tapes suivantes pour organiser et analyser les donn es peuvent tre appliqu es aux r sultats la fois qualitatifs et quantitatifs Des commentaires suppl mentaires au sujet de strat gies sp cifiques pour les analyses qualitatives et quantitatives suivent cette section g n rale Les six tapes suivantes sont sugg r es pour l analyse et l organisation des donn es Le probl me original doit mener l analyse De la m me fa on que le projet est bas sur un cadre logique les conclusions de l exercice d information d un projet ont besoin d tre logiques Les conclusions sur des probl mes sp cifiques de contenu doivent tre clairement li es au projet en
77. cherche qualitative sont n cessaires Des quantit s importantes d informations sont facilement obtenues et n cessitent des comp tences pour extraire et r capituler les informations pour l analyse CARE S amp E 147 e Fiche A 7 INTERVIEWS SEMI STRUCTURES Les interviews semi structur s consistent en une liste de questions g n rales et ouvertes Ces questions sont pos es de mani re d contract e et informelle sous forme de conversation des personnes ayant des connaissances sp cifiques L intervieweur est libre de formuler ou d approfondir les questions afin d obtenir plus de d tails par exemple Qui O Quand et Comment en fonction des r ponses des participants et du flot de la conversation Cette forme d interview permet d obtenir plus facilement des opinions et des perceptions plus d taill es qu un questionnaire rigide et structur Buts Les interviews semi structur s peuvent tre utilis s pour obtenir des informations quantitatives et qualitatives Les caract ristiques des m nages les probl mes li s au genre f minin ou masculin utilisation des ressources naturelles l conomie des m nages et beaucoup d autres sujets peuvent tre tudi s avec succ s Etapes pour utiliser cette technique Cr ez un guide d interview et un formulaire de r capitulation des r sultats D cidez qui va tre interview chantillonnage intentionnel et s lect
78. ciers et physiques La structure et la conception organisationnelle Les progr s physiques et financiers Les effets Analyse des risques et des hypoth se Comme la case sup rieure plus les impacts la rentabilit et la relation co ts b n fices Etude d taill e des impacts conomiques sociaux environnementaux et institutionnels POURQUOI est ce valu Banc d essai pour des valuations ult rieures des effets et des impacts Pour valuer les progr s et les strat gies Pour suivre les progr s accomplis Pour rectifier le cadre logique Pour valuer les performances identifier des am liorations possibles des strat gies et des interventions Tirer des le ons afin d am liorer la conception de projets en cours ou venir Pour valuer la possibilit du maintien des b n fices pour la population le gouvernement COMMENT est ce valu Enqu te descriptive souvent quantitative avant intervention En utilisant les informations de surveillance d ja existantes Enqu te annuelle Analyse comparative entre les r alisations et les projections peut comprendre des interviews Nouvelle enqu te utilisant les m mes indicateurs que I tude de base Analyse co ts b n fices r els versus projet s Analyse avant et apr s le projet Investigation des impacts involontaires OU est ce valu source des informations Primaire population concer
79. condaire statistiques r gionales autres institutions Primaire unit s de formation au sein du projet Au bureau du projet Au bureau du projet et siege nationale Chapitre 4 Concepts cl s QUAND est ce surveill Evaluations annuelles et apr s que le projet soit termin Evaluations annuelles Evaluations mensuelles et selon le niveau des r sultats Evaluations mensuelles et selon le niveau de l activit Evaluations mensuelles Quel format de pr sentation des informations CARE Rapports d valuation PIR API valuations EARs API PIR 37 Chapitre 4 Concepts cl s Surveillance institutionnelle Les apports au projet les ressources n cessaires pour mettre en place les activit s sont valu es en surveillant les informations financi res Ceci aide a maintenir la direction du projet inform e sur le degr d efficacit financi re des op rations Les apports comprennent les ressources physiques et humaines les moyens et les ressources financi res les co ts Ces donn es sont g r es selon des cat gories sp cifiques de d penses appel es aussi centres de co ts et sont rapport es dans des tats financiers r guliers EAR La surveillance physique permet d estimer les progr s effectu s par les activit s interventions aupr s des groupes concern s Cette forme de suivi permet la direction du projet de se maintenir inform e sur la progra
80. connier Echantillonnage en boule de neige ou en cha ne commence par demander aux personnes dans le projet Qui poss de beaucoup de connaissances au sujet de ___ A qui devrais je parler En demandant un certain nombre de personnes qui d autre parler l chantillon s agrandit petit petit Utile pour identifier des cas critiques typiques extr mes etc Echantillonnage bas sur un crit re permet de revoir et tudier tous les cas qui remplissent un ensemble pr tabli de crit res importants Par exemples les stat gies conomiques des m nages dont le chef de famille est une femme D apr s M Q Patton 1987 How to Use Quantitative Methods in Evaluation Newbury Park SAGE Publications pages 51 56 Taille de l chantillon Dans le cadre d un projet les activit s de S amp E et les tailles des chantillons en r sultant se trouvent limit s par les co ts et le temps La d cision de collecter des donn es quantitatives ou qualitatives dans un cas particulier influence galement CARE S amp E 81 Chapitre 7 Sources et chantillons l ampleur du sondage et les proc dures de s lection des participants De fa on r aliste les chantillons de 75 a 125 r pondants sont appropri s pour les activit s de surveillance pour la plupart des projets L chantillonnage par segments est particuli rement efficace pour sauvegarder des ressources pr cieuses Une autre approche es
81. cutif et r sum de la base de donn es description br ve du projet y compris le but final et interm diaire le but de l valuation l valuation et les conclusions g n rales les r sultats et les recommendations principales ainsi que les le ons acquises adress es d autres professionnels qui cr ent et valuent des projets similaires Table des mati res Arri re plan du projet date de d but et de fin origine du concept buts et objectifs description des interventions participants contexte plus large selon lequel le projet a pris place y compris les v nements cl s qui ont certainement influenc le projet Description de l valuation but conception m thodologie mesure des r sultats de l effet mesures de la mise en application R sultats identification et valuation mise en application et surveillance effet et impact r alisations et distribution des b n fices b n ficiaires cr ations institutionnelle liens organisationnels probl mes durabilit Discussion attribution analyse co ts b n fices potentiel pour une duplication R sum des conclusions et des le ons acquises Recommendations de la direction du projet CARE aux donateurs pour les activit s ult rieures de S amp E Annexes ToR itin raire et liste de personnes consult es r f rences m thodes de collecte de donn es statistiques 2 Termes de r f rence pour une valuation ou une rech
82. de fa on assurer qu un projet soit utile et efficace selon les objectifs nonc s au d part S1 des informations ne peuvent tre recueillies ou bien ne sont pas rassembl es en temps voulu le projet peut tre retard Il peut alors devenir inefficace ou inutile CARE S amp E 10 Chapitre 1 Pourquoi le S amp E localement Si des informations sont recueillies afin de r pondre a certaines attentes mais ne sont pas par la suite analys es elles s av rent galement inutiles Finalement si les informations sont recueillies et analys es mais ne sont pas mises a la disposition des personnes qui en ont besoin des d cisions importantes au sujet du projet ne peuvent tre prises ou peuvent tre prises a la hate Conclusion Un syst me logique d informations est n cessaire afin de maintenir et d am liorer un projet Un tel systeme permet galement de r pondre aux attentes des nombreuses personnes utilisant ces informations y compris les populations concern es CARE S amp E 11 Chapitre 2 Utilisateurs d informations Qui a besoin d informations au sujet de projets CARE l int rieur ou a l ext rieur du projet Utilisateurs d informations Une des tapes les plus importantes dans le d veloppement d un syst me d information consiste en identifier les utilisateurs Il est alors possible et n cessaire de r pondre aux questions suivantes quelles sortes d informations ont ils besoi
83. de la pauvret Combien de villageois analphab tes participent r guli rement aux cours d alphab tisation Parmi le nombre de personnes estim es tre atteintes de tuberculose dans une certaine r gion quel re oit un traitement r gulier Est ce que l eau est potable Combien de temps et combien de personnes faut il pour planter un certain nombre de palmiers en une semaine Le nombre la fr quence et la qualit des visites de supervision apr s avoir introduit des bicyclettes pour remplacer les poids lourds Apr s une campagne contre la rougeole la fr quence de cette maladie a t elle diminu durant les ann es qui ont suivi 9 Feuerstein 1986 Serait il bon de savoir ou bien avons nous besoin de savoir Les donn es ne doivent pas tre recueillies juste pour l int r t port cette tache ou parce que cela peut tre utile un jour S il existe des doutes au sujet de la collecte d un certain l ment la r gle g n rale est de ne pas s en occupper CARE S amp E 69 Chapitre 7 Sources et chantillons Moyens de v rification Ou pouvons nous trouver les informations dont nous avons besoin sources Comment pouvons nous tre s r e s que l chantillon est repr sentatif Ce chapitre et les deux suivants est consacr la troisi me colonne du diagramme les moyens de v rification MdV Cette colonne est tr s importante pour l
84. des Donn es qualitatives Efficace pour un chantillon d exploration Efficace pour l tendue et la nature d un probl me Permet d obtenir des r ponses mot mot citations Conditions n cessaires Beaucoup de comp tences n cessaires pour une observation appropri e Peut tre rapide R flexion s rieuse n cessaire au sujet de l thique Comp tences n cessaires pour la cr ation d un guide d interview ou d un questionnaire N cessite une grande sensibilit et des connaissances approfondies de la part de l interviweur Peut n cessiter des rendez vous Avantages C est une bonne fa on de commencer un projet Peut constituer un bon proc d d exploration Peut valider les observations sur le champs Permet de demander les informations d sir es Permet d observer les r actions des participants Moyen de comprendre le point de vue des participants locaux Permet d obtenir rapidement des informations locales Permet de rectifier les questions si besoin est Inconv nients R alit peut tre d form e par les personnes observ es changeant d attitudes L observation est tr s subjective doit tre v rifi e par d autre m thodes Prend beaucoup de temps Observateur individuel seulement L intervieweur peut facilement influencer le r pondant L intervieweur peut facilement influencer la qualit et le contenu
85. des informations L intervieweur peut tre facilement distrait par la conversation 91 Techniques Interviews structur s sondage INTERVIEWS DE GROUPE DISCUSSIONS Discussions l aide de groupes de contr le DGC Se r f rer a la fiche A 6 R unions communaut aires CARE S amp E Moyens Utilise des questionnaires structur s questions organis es avec soin et qui permettent seulement des r ponses limit es telles que oui ou non des choix de cat gories homme ou femme etc ou bien des chiffres dur e distance surperficie de la terre etc Si le groupe est limit la participation de la communaut est possible enqu te de surveillance Consiste 4 demander des questions et couter des personnes en situation de groupe dans un cadre formel ou informel Peut comprendre des travaux de groupe tels que cartographie classement notation graphiques etc EVP Peut comprendre des groupes informels tels que des groupes naturels ou de conversation par ex conversations avec des femmes en attendant pour puiser l eau Discussions quasi formelles bas es sur des sujets limit s avec un facilitateur et une personne prenant des notes Habituellement de 6 12 personnes environ de pr f rence avec des ant c dents similaires Discussions formelles R unions peuvent tre men es partir de questions quasi structur es Donn es Donn es quantitatives Efficace pou
86. des de planning familial y compris les pr servatifs Ils peuvent galement tre indirects par procuration tels que le nombre de pr servatifs vendus ou distribu s dans une communaut Les indicateurs indirects sont utiles lorsque les autres formes de mesures ne sont ni pratiques ni rentables Un bon exemple est l estimation des revenus en fonction de la nature et de la taille des biens du type de construction de la maison ou des mod les de d penses car peu de personnes veulent ou peuvent rendre compte de leurs revenus exacts Pr cision Les indicateurs et les informations li es doivent tre revus r guli rement de fa on prendre en compte les besoins changeants ou les moyens d am liorer la qualit des donn es Pour chaque indicateur nous devons consid rer le degr de pr cision n cessaire pour la mesure et si nous pouvons atteindre cet objectif Par exemple cela ne nous donne pas grand chose de mesurer les performances si nos mesures sont si grossi res que nous ne pouvons pas savoir si les normes ont t atteintes Dans cet ordre d id e il est bon de revoir les indicateurs d j existants ou utilis s dans d autres projets avant d en consid rer de nouveaux Nature de l information n cessaire Outre les consid rations pr c dentes il peut aussi tre galement utile de consid rer le contenu des informations Le tableau suivant pr sente neuf sortes d indicateurs class s d apr s leur contenu CA
87. discussion Efficacit Gnist effectiveness et efficiency Population cibles target population Pratiques 42254585 behaviors Proc d s suisse process Propri taires personnes ayant un int r t dans le projets stakeholders Responsible de terrain Field supervisor R sultats sn outputs Suppositions assumptions Abbr vations unique l Ouganda APP Animateur planning familial D avieecieteanied Bureau nationale de CARE CO CAP sin tante Connaissance attitude pratique KAP EM Conseil municipal CPN in Cliniqu pr natal ANC CRS ss ous Commissaires r sidants de secteur DPE uiitenseenn Projet de d veloppement et de protection de l environnement EMS ments Equipe m dicale de secteur GORE Gouvernement de l Ouganda PACE cance Plan Annuelle d Op ration AOP POPE is Projet communautaire de planning familial PHIS tains Partnership and Household Livelihood Security fait partie de la division des programmes de CARE USA PIB sonne Projet d innovations agricoles de Bushenyi Ntungamo PSEO sise Projet de sant familiale en Ouganda nee Si ge social HQ CARE S amp E 135 Annexe 3 Grandes lignes des documents principaux Annexe 3 Suggestions de contenu pour quelques documents principaux des activit s deS amp E 1 Rapport d valuation Page de couverture auteur date du rapport et p riode Sommaire x
88. donn es l inverse de l observation et des m thodes non verbales Cependant elles peuvent tre sujettes des erreurs ou des partis pris provenant de la conception Un tel probl me peut se poser lorsque le chercheur ou l valuateur assume qu il elle appr hende certains concepts de la m me fa on que la communaut vis e Par exemple une personne d sirant en savoir plus au sujet du revenu total des m nages ne conna tra les cadeaux les allocations et les op rations de troc que si elles posent des questions sp cifiques Les personnes interrog es ne consid rent en effet pas forc ment ces l ments comme un revenu Un autre parti pris provenant de la conception peut r sider dans le manque de flexibilit Si la personne collectant les donn es est trop pr occupp e par sa liste de contr le des probl mes ou des observations n apparaissant pas sur cette liste peuvent ne pas tre enregistr s Si un projet utilise des registres maintenus par les b n ficiaires tels que des registres tenus par des agriculteurs ou des SFT les donn es peuvent se trouver influenc es par les membres alphab tis s du groupe vis Il existe bien s r des moyens pour rem dier ce prob me Par exemple une conception impliquant la participation de la population l aide de documents illustr s par des images plut t qu crits Outils visuels Les m thodes non verbales ont tendance tre plus efficaces pour obtenir la part
89. dre d une recherche traditionnelle la validit signifie dans la plupart des cas des r sultats proches de la r alit et la fiabilit quivaut la r gularit des r sultats En ce qui concerne les activit s de surveillance et d valuation impliquant la participation des b n ficiaires le concept de validit est interpr t diff remment En essayant d obtenir un d veloppement durable les r sultats de S amp E peuvent tre consid r s valables et fiables lorsque leur utilisation peut tre li e une am lioration actuelle des conditions de vie humaine apportant galement un changement durable et pouvant tre r pliqu Pour permettre de r pondre ces questions de qualit des r sultats et des d cisions le S amp E peut utiliser une m thode de validation connue sous le terme de triangulation Au sens strict ceci signifie utiliser au moins trois diff rents points de vue pour analyser une situation ou un v nement donn De fa on plus g n rale la triangulation est bas e sur l id e que l utilisation de sources et de m thodes multiples est la meilleure fa on d assurer la validit la fiabilit et l tat complet des informations Deux modes principaux de triangulation sont utilis s dans les activit s participatives de S amp E externe et interne Ceci consiste principalement en une comparaison entre les informations obtenues par une activit de S amp E et les donn es provenant de sources
90. dre logique De telles modifications sont g n ralement limit es au niveau des activit s et de certains apports Cette connection entre la conception la surveillance et l valuation est appel e le cycle de CSE et est un processus annuel Dans le contexte de CARE cela signifie que la r vision annuelle a lieu habituellement en janvier ou au d but f vrier avant l laboration du plan annuel de mise en application AIP pour l ann e fiscale venir Chaque projet CARE est responsable pour une r vision annuelle qui aboutit la pr paration des AIP 1 1 budget 1 2 plan op rationnel 1 3 demandes d achats pour chaque exercice comptable Le bureau de CARE Ouganda esp re que ces r visions et leur pr paration seront effectu es avec la participation de toute l quipe de chaque projet permettant ainsi de progresser et de tirer des le ons utilisant les donn es internes de surveillance et toute donn e disponible au sujet des r actions des b n ficiaires Sur ce point actuellement il n y a pas de proc d routinier obligatoire au sein de l organisation pour collecter des donn es nouvelles sur les b n ficiaires dans le cadre des r visions annuelles Au cours des premiers stages de la mise en application du projet les deux premi res ann es le CSE le plus souvent portera l accent sur l utilisation des donn es mesurant les moyens et les co ts relatifs aux apports aux activit s et aux r sultats du proj
91. dvisory Service DANIDA LFA Logical Framwork Approach A flexible tool for participatory development DANIDA 1996 VALADEZ J BAMBERGER M eds Monitoring and evaluating social programs in developing countries a handbook for policy makers managers and researchers EDI Development Studies The World Bank 1994 CARE S amp E 160
92. e Comprendre le projet selon les normes culturelles sociales et religieuses Connaitre les avantages d un projet Savoir quelles contributions ont t apport es Obtenir un feedback sur le projet Conna tre l aide attendue des participants Pourquoi pas moi Clarifier toute suspicion Conna tre les b n fices et les contributions attendus Obtenir un feedback Pr parer et mobiliser ensemble les membres de la communaut Int grer les activit s du projet dans celles du groupe Pr parer ensemble et collaborer En apprendre plus partir des activit s et des exp riences du projet Plannification coordination Allocation du temps du personnel et des ressources Savoir qu esp rer du projet et ce qui est attendu Approbation du projet Approbation du budget responsabilit financi re Coordination planning Simplicit coh rence Exactitude ponctualit Objectifs personnes concern es activit s Ressources et aide dur e Effet sur la communaut Objectifs personnes concern es activit s Ressources et aide dur e Effet sur la communaut Simplicit coh rence Exactitude ponctualit Simplicit coh rence Exactitude ponctualit Objectifs personnes concern es activit s Ressources et aide dur e Effet sur la communaut Plans annuels Rapports sur la solvabilit valuations RMAP Informations g n rales financi res et de e qualit Rapports sur la solvabilit valu
93. e que c est int ressant savoir Les donn es doivent tre am lior es ou leur acc s facilit gr ce une approche de sondage possible en session de groupe Les informations recueillir au niveau de la communaut peuvent tre d j disponibles sur une chelle plus importante mais pas pour le micro environnement de la communaut Par exemple les tendances de l emploi les raisons pour l chec scolaire la nature des infirmit s la sant des adolescents sexuelle et reproductive la qualit et l utilisation des latrines etc 151 Fiche A 10 CREATION DE QUESTIONS POUR SONDAGES ET INTERVIEWS Eviter des questions d plac es Afin de s assurer que les questions soient appropri es il convient de conna tre les groupes interrog s leur connaissance de certaines r gions les termes qu ils utilisent et leurs perceptions et sensibilit s Ce qui peut paraitre comme un fardeau pour une communaut ne Vest peut tre pas pour une autre Ce qui peut tre une question juste pour certains ne l est peut tre pas pour d autres Par exemple lors d un sondage sur les handicap s les personnes qui apparemment ne souffraient pas d un handicap taient tr s sensibles la fa on de r pondre tandis que la situation tait invers e pour les personnes handicap es Les questions sont d plac es si e Elles ne peuvent tre r pondues de fa on exacte e Elles ne sont pas orient es vers les informatio
94. e terrain les familles risque les types de services les points d eau les mod le de r gime foncier etc e Des dessins des posters des photos et des diapositives ainsi que des histoires ouvertes des pi ces de th tre et des vid os prises par les membres de la communaut e sont des moyens largement employ s pour d buter des discussions de groupe e Des matrices analytiques c est dire des diagrammes avec des colonnes et des lignes ou du type Venn chapati Se r f rer aux chapitres 3 et 4 peuvent tre utilis s pour organiser et analyser les r sultats y compris les compte rendus qualitatifs Ils peuvent tre galement utilis s au moyen de chevalet feuillet mobile ou de tableaux noirs pour rassembler les id es d velopp es durant les sessions de brainstorming en groupe Barton et al 1996 CARE S amp E 140 e Fiche A 2 REVISION ET ANALYSE DES DONNEES SECONDAIRES Une revue des donn es existantes comportent plusieurs avantages elle permet de red finir les objectifs sp cifiques d identifier des personnes povant tre sond es de pr ciser les groupes vis s dans la population et de r capituler ce qui est connu et ce qui reste tudier sur le terrain Les co ts sont tr s bas les informations peuvent tre recueillies rapidement et cette tude entraine relativement peu de d placements En fonction de leur qualit les donn es existantes permettent galement une analyse plus approf
95. e de donn es comprenant un ensemble de questions organis es de fa on syst matique ainsi que des explications pour l num rateur l intervieweur sur la fa on de poser ces questions R sultats outputs Les r sultats sont les produits cr s par le projet Ils repr sentent les r sultats directs des activit s du projet c est dire qu ils ont t produits par le projet et dans les limites de ce dernier Ils sont en g n ral exprim s l aide de chiffres donn es quantitatives et sont limit s dans le temps Les r sultats sont r alis s durant la dur e de vie du projet et sont valu s au cours des activit s routini res de surveillance Les indicateurs et les r sultats permettent de suivre l efficacit du projet ils permettent de comparer ce qui a t accompli avec les objectifs Les r sultats du projet peuvent comprendre a Les r sultats d une formation tels que le nombre d agriculteurs form s des techniques agricoles am lior es remarquez que cela peut inclure une valuation des changements de connaissances de comp tences et des pratiques b La cr ation de capacit s telle que le nombre d animateurs et animatrices les syst mes d approvisionnement en eau construits et les comit s tablis c Les service tels que l augmentation des locations du projet CARE S amp E 131 Annexe 1 Glossaire d L utilisation des services telle que le nombre de personnes nourries
96. e de l exp rience et des comp tences Il demande une compr hension approfondie des besoins en information des responsables du projet et des utilisateurs d information diff rents niveaux La s lection des indicateurs n cessite galement une connaissance de l obtention et l analyse des donn es relatives aux indicateurs et des limites impos es par les co ts et les techniques Par cons quent le taux de mortalit infantile ou maternelle peut constituer un indicateur appropri pour surveiller la sant dans des pays o des syst mes compr hensifs de statistiques d mographiques naissances et d c s sont d j en place Il n est par contre peut tre pas appropri pour la surveillance d un projet l o la population est relativement faible et ou les donn es doivent tre obtenues gr ce des sondages aupr s des m nages De m me la production agricole peut tre relativement facile mesurer dans un pays comme le Malawi o le personnel du Minist re de l agriculture enregistrent des donn es sur les r coltes Ce pays galement d pend d une nourriture de base le ma s A l inverse il peut tre tr s difficile en Ouganda d assurer un personnel suffisant pour contr ler un nombre de cultures aussi lev et de r coltes des moments tr s diff rents La seule option et elle n est pas fiable consiste esp rer que les agriculteurs enregistrent leurs propres r coltes Comment am liorer l
97. e lecture les principaux r sultats et conclusions sans avoir se r f rer aux annexes Soyez bref concis et pr cis Un quilibre entre le texte les tableaux et les diagrammes facilite la lecture du rapport le clarifie et le rend plus int ressant Cela conomise galement de l espace car un texte sans tableaux ni diagrammes tendance a devenir trop long et trop verbeux Evitez les r p titions elles alourdissent inutilement le document et ennuient le lecteur Si possible utilisez des mots simples et vitez tout terme obscur et trop technique Une difficult courante r side dans la diversit des formations des lecteurs Evitez un style trop lourd De longues phrases comportant plusieurs id es peuvent tre difficiles 4 comprendre Il est pratiquement toujours possible de couper des phrases trop longues en plusieurs phrases courtes plus claires Utilisez un langage simple et clair Divisez le texte en paragraphes courts se concentrant sur un aspect ou une id e unique Liez les paragraphes entre eux en utilisant soigneusement la premi re et derni re phrase La continuit du texte se trouve am lior e lorsque la premi re phrase du paragraphe suivant reprend le sujet mentionn dans la phrase pr c dente Un ordre clair consistant et logique dans lequel les sujets sont discut s aide norm ment le 5 j lecteur pour deux raisons Premi rement une de pr sentation s quence logique est bien plus facile
98. e plantation en Ouganda L influence due l chantillon se rapporte aux erreurs de jugement durant la s lection de personnes ou d endroits pour le recueil d informations Par exemple un chantillon comprenant seulement des communaut s se trouvant a proximit de routes goudronn es ne refl tera pas les problemes des participants au projet ou des populations vis es n habitant pas dans ces endroits En tant que strat gie g n rale il est plus raisonnable d obtenir des informations partir de sources multiples de fa on ce que plusieurs perspectives soient envisag es afin d obtenir une image plus repr sentative de la r alit Se r f rer la section suivante sur l chantillonnage Pr cision au sujet des sources Lors de la pr paration de la matrice d information et si possible lors de la pr paration du projet original de diagramme il est souhaitable que les sources mentionn es soient aussi sp cifiques que possible Il est trop facile de remplir rapports de projet dans la colonne des MdV du diagramme ou la colonne sources de la matrice de planification de S amp E Ceci peut r sulter en des informations sur un indicateur qui peuvent plus tard s av rer peu pratiques Conclusion La collecte de donn es pour les activit s de S amp E doit demeurer limit e dans son tendue et tre extr mement pr cise Les principales raisons pour cela comprennent des limites dans le temps les comp
99. e que nous ne savons pas vraiment ce que nous savons nous n utilisons pas toujours au mieux les consultants en S amp E De plus les informations sont souvent recueillies et les rapports r dig s en r ponse des besoins isol s plut t que comme partie int grante d activit s quotidiennes du projet e Accent port sur les informations quantitatives Beaucoup de donateurs demandent avant tout des informations chiffr es sur les projets car elles sont plus faciles comparer et r sumer que les informations qualitatives Cependant une telle importance signifie que peu d informations sont recueillies au sujet des effets qualitatifs des projets CARE sur la vie des b n ficiaires e Influence des donateurs Beaucoup d employ s ont tendance consid rer les activit s de S amp E n cessaires afin de faire plaisir aux donateurs plut t qu utiles au projet et leur travail Les demandes des donateurs peuvent signifier que le travail de S amp E soit entrepris la h te et sans y apporter le soin n cessaire Sans une tude de base les d monstrations ult rieures sur les effets du projet et les changements observ s sont g n ralement tr s difficiles et peu convaincantes CARE S amp E 24 CHAPITRE 4 Quels concepts cl s sont fondamentaux pour la compr hension et la plannification de la gestion des informations D finition du terme projet Un projet est habituellement d fini comme une activit limit e dans
100. echniques et obscurs Trier ce qui est utile et n cessaire pour un programme complexe comprenant plusieurs secteurs ou m me pour un projet unique peut tre une tache intimidante La plupart des employ s du programme CARE ont une formation technique mais leur ducation comprend rarement la surveillance et l valuation ou bien la formation en S amp E est rarement orient e vers les besoins d un projet d une organisation non gouvernementale Le plus souvent la surveillance et l valuation demeurent myst rieuses Ces activit s consomment trop de temps et de ressources apportent peu de r sultats visibles malgr un effort consid rable Ayant tudi les questions de S amp E nous nous sommes mis d accord sur le fait que notre premier objectif tait de d mystifier la surveillance et l valuation et de mettre dans les mains de ceux qui en ont besoin des directives pratiques Nous avons d cid d entreprendre ensemble cette recherche nous donnant ainsi les pouvoirs et de produire des directives pouvant tre comprises et utilis es par pratiquement toute personne travaillant sur un projet Pour nous aider a atteindre cet objectif nous avons pris quelques d cisions importantes e Dene pas inclure les questions de conception dans cette initiative Bien que la conception de projet influence le type de syst me de S amp E requis nous avons d cid que les questions de S amp E taient un d fi suffisant sans avoir a abord
101. ectifs des indicateurs pour valuer la r alisation de ces objectifs les sources d information et les suppositions principales en dehors du contr le du projet et qui peuvent en influencer le succ s Un cadre logique est construit de fa on syst matique et logique en fonction d une analyse des informations recueillies sur les limites et les opportunit s pour des interventions portant sur un probl me sp cifique Le personnel consulte le cadre logique de fa on continue tout au long de la dur e de vie d un projet C est le document le plus important d taillant ce que le projet ach vera et par quels moyens Une expression num rique des accomplissemnts anticip s Ceci peut tre crit en termes absolus par exemple 10 000 agriculteurs remplaceront les cultures de tabac avec des cultures marchandes alternatives ou en terme de proportions ou de pourcentages par exemple la proportion des hommes adultes c libataires qui ont dit avoir utilis un pr servatif durant leur derni re relation sexuelle est pass e de 5 50 Ces objectifs sont int gr s aux objectifs globaux du projet qui sp cifient la p riode durant laquelle le changement doit avoir lieu Cons quences outcomes ou results Les cons quences se rapportent souvent tout ce qui fait suite aux interventions du projet Ce concept est habituellement divis par les termes plus sp cifiques d effet et d impact Contr le groupe de contr le
102. en application du projet Id alement une r flexion au sujet du syst me de S amp E devrait commencer au stade de la conception du projet et non pas lorsque celui ci a d j t approuv ou lorsqu il a commenc tre mis en application Comme le montre le tableau suivant il y a quatre raisons importantes pour expliquer cela Raisons pour une planification Une description du syst me de S amp E encourage une r flexion plus claire et un nonc plus d taill du projet Une provision ad quate peut tre tablie d s le d but pour faire face aux co ts de S amp E Le syst me de S amp E peut tre inclu d s le d part dans les diff rents l ments du projet Les utilisateurs de l information y compris les membres des populations vis es peuvent participer la cr ation d un sys me de S amp E ad quat et r pondant leurs besoins ce syst me n est donc plus seulement limit pour l utilisation du projet et des donateurs Lorsque la conception du syst me de S amp E n est pas inclue tr s t t dans la pr paration du projet le syst me peut se trouver limit par la conception des valuations pr liminaires Un manque de sp cificit dans le diagramme du projet par exemple les objectifs et les r sultats sont vagues ou bien les indicateurs et les moyens de v rification ne sont pas clairs peut limit le syst me De m me un proc d de gestion des informations se limitant l extraction de don
103. en haut et manque de feedback Manque de syst me standard d information entre projets Manque de coh rence entre projets Biais quantitatif trop d importance plac e sur les informations chiffr es Pertinence limit e du fait de l influence exerc e par les donateurs valuation des effets institutionnels n a pas t tablie Partenaires ne sont pas impliqu s relations inad quates avec les partenaires ou les personnes groupes ayant un int r t dans le projet demandes de donn es collaboration la pr paration d activit s de S amp E Faible lien entre les cadres logiques et les plans de S amp E les m thodes de collecte de donn es ne sont pas toujours sp cifi es manque d attention aux hypoth se nonc es dans le cadre logique Projets avec des objectifs et ou des activit s similaires partag s Participation de la communaut dans les activit s de S amp E pourrait tre renforc e S amp E de la communaut pour a CARE b les projets de la communaut pourraient tre am lior s La s lection d indicateurs appropri s pourrait tre am lior e Un lien de soutien existe avec CARE USA et l unit de DME Une surveillance est un outil possible pour une valuation rapide de la communaut participante Une meilleure transcription des objectifs du projet dans les descriptions de travail gr ce aux PIO pourrait aider souligner l importance de la gestion des informations Le concept
104. ences des indicateurs d impact entre groupes qui ont particip aux interventions du projet et desgroupes de contr le en dehors de l aire du projet pour une valuation post facto b L examen des relations entre des variables telles que les relations de cause effet par exemple l valuation des diff rences dans le nombre de personnes qui font part d un changement d attitude en ce qui concerne le planning familial apr s avoir vu un programme vid o versus apr s avoir re u des conseils individuels Techniques qualitatives L analyse quantitative ou de donn es num riques peut tre tr s s ductive Le chercheur peut manipuler un ensemble de faits et chaque fois peut avoir le sentiment d avoir accompli quelque chose et que ce doit tre juste Cependant si la question et ou la r ponse est ambigu le chercheur ne peut pas tre s r que son interpr tation soit fiable sauf si les donn es et les m thodes qualitatives permettent galement de v rifier les r sultats par recoupement Donn es brutes non trait es Parfois il est possible d utiliser le contenu direct provenant des personnes interrog es car elles parlent loquemment des probl mes affectant directement leur vie Des exemples peuvent comprendre des textes non corrig s des cartes images ou des films pr sent s sans explication sauf celles donn es par les participants Le plus souvent des extraits sont utilis s comme citations typi
105. enseignements sur ce que les b n ficiaires ressentent Apporte peu d informations personnelles Une personne peut dominer la discussion Peu efficace lorsqu il s agit de donn es d licates ou personnelles Une personne peut facilement dominer la discussion Peu de discussion 92 Chapitre 8 M thodes de collecte de donn es QUESTION num ro 4 une approche verbale ou non Parmi les personnes fournissant les informations y en a t elles qui ne savent ni lire ni crire des enfants ou bien des adultes qui ne sont jamais all s l cole Une partie des informations peut elle tre obtenue de fa on plus efficace gr ce des cartes des sh mas des photographies des dessins des satires ou des jeux de r les D pendre totalement de m thodes verbales par exemples des questionnaires peut tre probl matique sp cialement si la population est faiblement alphab tis e ou si elle utilise diff rents dialectes ou bien dans des situations o les informations d sir es ne sont pas facilement exprim es par des mots ou des chiffres M thodes verbales Les techniques verbales et celles devant tre lues ou crites comprennent des questionnaires des listes de contr le des enregistrements sur bande et des journeaux ou registres tenus par les participants par exemple les registres des fermiers du PIAB Ces m thodes sont moins susceptibles d tre influenc es par les personnes collectant les
106. ent tre utiles dans la s lection d indicateurs e Compr hension les indicateurs doivent tre nonc s simplement et clairement de fa on ce que les personnes impliqu es dans le projet soient capables de les comprendre e Validit les indicateurs doivent mesurer ce qu ils sont suppos s mesurer les effets dus aux interventions du projet plut t qu aux influences ext rieures e Sensibilit ils doivent permettre de d montrer les changements dans la situation observ e mesurer le PIB de l Ouganda n apporte pas grand chose sur les m nages individuels d un secteur particulier e Rentabilit les r sultats doivent tre la mesure du temps et de l argent investi pour recueillir analyser et appliquer CARE S amp E 63 Chapitre 6 Indicateurs e Ponctualit il doit tre possible de recueillir et analyser les donn es assez rapidement en temps voulu et de fa on contribuer toute d cisison e Respect des b n ficiaires la collecte et l utilisation des indicateurs doit tre acceptable pour les communaut s populations vis es fournissant les informations Peu d indicateurs remplissent tous ces crit res Ils peuvent toutefois indiquer une direction et une importance g n rale pouvant ainsi aider pour des comparaisons sur une certaine p riode et entre diff rents secteurs ou groupes de personnes un certain moment Le choix des indicateurs appropri s est un art qui n cessit
107. ent leur capacit trouver des solutions dans le futur CARE S amp E D apr s Narayan 1993 87 Chapitre 8 M thodes de collecte de donn es Principales techniques de recueil d informations nouvelles Une matrice par donn es esp r es et strat gie approche qualitatives quantitatives versus participative non participative Donn es Strat gie A pproche Participative Non participative Qualitatives Interviews libres discussions avec groupes Observation directe sans de contr le observation des participants discussion photos prises quelques outils de MARP cartographie par une personne non classement graphiques etc participante donn es spontan es lettres un journal Quantitatives Quelques outils de MARP notation Sondages structur s sondages de surveillance questionnaires mesures par exemple remplis par les participants ou registres poids a la naissance tenus par les participants par exemple par des agriculteurs sachant lire et crire ou par des SFT M thodes de collecte de donn es primaires Les principales m thodes de collecte de donn es comprennent l observation des interviews individuels et des discussions de groupe Chacune de ces m thodes peut tre utilis e selon diff rentes structures et de fa on plus ou moins formelle La forme utilis e d termine l obtention de donn es quantitatives ou qualitatives et permet la participation ou non Ces m t
108. enues dans les rapports ne permettent pas aux utilisateurs des chelons sup rieurs de faire des commentaires par exemple les rapports de progr s indiquent seulement si les objectifs ont t atteints ou non e Les diff rents utilisateurs de l information ne pensent pas qu ils ont renvoyer un feedback aux personnes qui ont fourni les informations y compris les b n ficiaires Suivre le feedback depuis les utilisateurs jusqu aux personnes qui ont fourni les donn es est un facteur important afin de v rifier si les informations de S amp E sont bien utilis es Si les b n ficiaires re oivent des informations sous une forme utilisable ils se trouvent plus impliqu s dans la pr paration du projet et les activit s du projet li es leurs probl mes et besoins Une meilleure communication dans les deux sens peut galement aider motiver la communaut continuer tre impliqu e dans le projet Le tableau pr c dent illustrant les formats de pr sentation des informations au sein de CARE est fondamentalement orient vers le haut Les id es de flux d informations vers le bas sont pr sent es dans la partie suivante Formats de diss mination Les informations sur le projet qu elles proviennent du sondage pratiqu lors de l tude de base des tudes de surveillance d valuation ou de diagnostique peuvent aussi tre diss min es au del de l organisation gr ce une gamme de r sultats
109. er galement cette question e De centrer notre effort initial sur les effets but interm diaire et d adresser plus largement les impacts but final dans la seconde phase Explorer les impacts et les moyens pratiques d valuation font partie de notre tache suivante e De cr er un groupe de r flexion sur le S amp E au sein de CARE pour travailler de fa on collective sur ce sujet et les phases ult rieures Rassembler des talents travers l organisation a b n fici de mani re consid rable la qualit de notre apprentissage et continuera de le faire e De rechercher l aide d une personne bas e en Ouganda poss dant une grande vari t de connaissances et pouvant travailler avec nous pour quelque temps Nous avons trouv ce que nous cherchions en la personne de Tom Barton qui a r dig ces directives Gr ce en grande partie aux efforts de notre consultant auteur je crois que ces directives ont atteint les objectifs que nous nous tions fix s J esp re d sormais que CARE Ouganda et nos partenaires trouveront ces directives utiles dans le d veloppement et l usage de syst mes de surveillance et d valuation J esp re galement que ces syst mes offriront chaque personne impliqu e dans notre travail des informations de meilleure qualit et plus opportunes Ce document sera fourni l unit de conception surveillance et valuation de programmes de CARE pour une plus grande distribution Il e
110. er la pr valence et la distribution d un ph nom ne Il est plus simple de regrouper les informations num riques mais elles peuvent tre susceptibles de fausses interpr tations c est dire qu il est facile de r pondre c t Les approches quantitatives peuvent tre utiles pour tester des hypoth ses mais sont moins satisfaisantes que les m thodes qualitatives lorsqu il s agit d identifier les probl mes principaux inclure au d part dans une hypoth se Donn es secondaires Donn es recueillies par une personne ext rieure au projet dans un but autre que celui du projet Par exemple il peut s agir de donn es obtenues par un rescencement Durabilit Le concept de durabilit en ce qui concerne les projets comprend diff rents aspects dont les principaux sont les suivants a Maintien des impacts du projet apr s que les interventions de CARE aient pris fin b Capacit de la population vis e continuer une pratique innovatrice ou une technique sans le soutien du projet c Capacit des institutions locales poursuivre les activit s apr s que le projet ait pris fin Ceci comprend l auto financement des activit s gr ce des contributions des utilisateurs CARE S amp E 126 Annexe 1 Glossaire de biens et services pourvus un financement compl mentaire locale et une d pendance moins importante envers les financements ext rieurs d La durabilit se rapporte galement la protect
111. erche CARE S amp E Arri re plan et but de l tude Questions adresser Approche de l tude m thodes de collecte et d analyse des donn es Chercheur s comp tences n cessaires et principales caract ristiques D lai et niveau de l effort Conditions d information plan de travail final rapports pr liminaires et finaux revue avec la participation des b n ficiaires autres Documents livrer 136 Annexe 3 Grandes lignes des documents principaux 3 Contrat accord final sur les services et les responsabilit s dans le cadre d une valuation CARE S amp E Parties et date de l accord Point central de l valuation questions principales r sultats effets mise en application co ts autres Outils essais questionnaires interviews observations Plans de collecte de donn es sites m thodes chantillonnage participants et leurs r les emploi du temps M thodologie utiliser pour l analyse Participation du personnel r les dans la collecte et l analyse des donn es participation aux r unions d information et de r vision donn es disponibles Information r unions de r vision avec participation des b n ficiaires date du premier essai de rapport p riode de revue rapport final diss mination public Budget 137 Annexe 4 M thodes S lection de techniques pour les activit s de collecte et d analyse de donn es de S amp E Fiche A 1 Introduct
112. es Donn es secondaires Si la r ponse la question num ro 1 est OUI les questions suivantes peuvent tre utilis es afin de d cider si les informations secondaires disponibles sont suffisantes et utiles C Quel est le contenu disponible en fonction des informations Pin n cessaires Est ce seulement au sujet du contexte local histoire politique d mographie g n rale etc ou est ce sp cifique selon la nature et les demandes du projet Les informations sont elles suffisamment segment es Segmentation i pour tre utiles par groupes d ge sexe ou emplacements sp cifiques Si elles ne le sont pas les donn es originales sont elles accessibles Des donn es segment es ont elles t recueillies durant l tude originale Quelle est la qualit des informations secondaires disponibles Proviennent elles d une source fiable Les m thode de collecte des donn es sont elles expliqu es Des informations particuli res sont elles confirm es par une autre source ind pendante Les informations sont elles actuelles Qualit des donn es Quel est le degr d accessibilit des informations Est il facile d obtenir des copies ou de lire les informations L acc s est il limit de quelque fa on que ce soit Accessibilit Obtenir des informations utiles pour les donn es secondaires peut tre facilit en cr ant et utilisant une liste de contr le comprenant un ensemble de
113. es activit s de surveillance et d valuation mais n a peut tre pas t reconnue en tant que telle jusqu ce que le planning de S amp E commence vraiment Les moyens de v rification sont souvent interpr t s par les personnes pr parant les diagrammes comme les sources d information En fait ce terme se rapporte un ensemble d id es bien plus vaste et li es l valuation des indicateurs du projet IVO qui ont besoin d tre largis au cours de la pr paration des activit s de S amp E Les l ments les plus importants sont les suivants D o proviennent les informations personnes institutions documents etc Comme il n est en g n ral d information pas possible de parler avec toutes les personnes impliqu es dans un projet tous les m nages toutes les personnes ayant un int r t dans le projet etc des strat gies sont g n ralement n cessaires afin d obtenir des informations partir d un chantillon repr sentatif de l ensemble complet de sources potentielles d information Se r f rer la section suivante dans ce chapitre Sources CARE S amp E 70 Chapitre 7 Sources et chantillons M thodes de M thode d obtention des informations au sujet des indicateurs r vision de documents interviews sessions de cartographie sociale avec la participation de la communaut discussions avec des groupes cibles registres maintenus par les agriculteurs
114. es indicateurs Le personnel du projet responsable du d veloppement d un plan de S amp E peut avoir besoin d am liorer les indicateurs utilis s dans le diagramme ou de les r assigner diff rents niveaux dans la hi rarchie des objectifs Le tableau de la page suivante donne quelques exemples de la fa on de rectifier des indicateurs peu appropri s CARE S amp E 64 Chapitre 6 Indicateurs Quelques exemples sur la facon de trouver et de rectifier des indicateurs peu appropri s L indicateur adresse t il l essentiel d une question refl t e dans le but interm diaire BI L indicateur est il valide Mesure t il ou value t il ce qu il est suppos mesurer BI L tablissement d ici d cembre 2005 d un programme efficace et durable de partage de b n fices entre le Parc National de Bwindi et les communaut s environnantes et entre les fermes d Etat et les communaut s environnantes Indicateur 20 des m nages compris dans l chantillon participeront des activit s pay es Probl me l indicateur n est pas clairement li au but ni exprim en tant qu objectif Meilleur indicateur de communaut s dans une aire de X km de la zone limitrophe entourant le parc de Bwindi ayant en place des programmes auto financ s de ressources naturelles pour au moins XX dur e L nonc de l indicateur au niveau du BI effet est il une activit ou un r sultat BI 60 des familles dans
115. es manquantes pas de r ponses omises ou si des pages sont perdues ou Etape num ro 3 Suivre une voie syst matique et logique dans l analyse CARE S amp E 98 Chapitre 9 Analyse des donn es s par es du document auxquelles elles appartiennent CARE S amp E 99 Chapitre 9 Analyse des donn es Etapes logiques lors d une analyse syst matique Organisation des donn es Pr paration des descriptions Interpr tation Le proc d de description est une fa on d extraire des faits partir des donn es et de g n raliser partir de l chantillon Les tapes suivantes aideront dans cette activit a Etablir une liste des questions th mes et indicateurs y compris les id es principales pour chaque sous cat gorie b Noter les questions qui ressortent par exemple des id es qui se r p tent ou qui sont importantes mais ne sont pas comprises dans le plan original de l tude c Lorsque c est possible mettre sous forme de tableau c est dire compter les r ponses ou les v nements observ s Le niveau final l interpr tation est le plus complexe Il quivaut plus la pr sentation des significations plut t qu une simple description Durant cette tape il est important de v rifier avec soin si les donn es sont repr sentatives et fiables Il convient galement de particuli rement rechercher les contrastes et de s assurer que tous les cas sont
116. es membres d une communaut voisine similaire Dans les commuanut s de petite taille cela permet d emp cher que les personnes ne viennent avec des r ponses pr tablies Avant de commencer expliquez le but de la r union Apr s avoir propos les sujets de conversation v rifiez que chaque personne a au moins une chance d exprimer ses id es Les personnes qui parlent trop ont besoin d tre contr l es et celles plus silencieuses doivent tre encourag es Comme avec les interviews semi structur s voir fiche A 7 le facilitateur est libre d utiliser une vari t de questions pour aider obtenir des id es et pour viter trop de digressions Limitez la longueur de la session environ une heure y compris l introduction Les notes et les enregistrements doivent tre revus soigneusement juste apr s la r union et les enregistrements transcrits d s que possible L analyse consiste extraire les nonc s importants Ces compte rendus doivent tre report s dans la matrice en utilisant les termes exacts des participants Avantages et inconv nients Les interactions de groupe enrichissent les informations la fois en termes de qualit et de quantit Les discussions partir de groupes cibles sont en g n ral assez efficaces pour d voiler l tendue et la nature des probl mes ainsi que pour obtenir des id es pr liminaires sur les solutions La pratique et l exp rience en techniques de re
117. est disponible pour penser syst matiquement et logiquement au sujet de ces donn es des organnigrammes des graphiques d volution des diagrammes de croissance ou des cartes Des matrices peuvent tre labor es et permettent de visualiser les tendances et les mod les Les listes de contr le et diff rentes fa on de regrouper les donn es sont galement des approches utiles Consid rez l utilisation de diff rentes matrices d analyse qualitative voir par exemple dans I annexe 4 l analyse FFOM V rifiez si les donn es sont plausibles et repr sentatives par exemple lorsque plusieurs personnes sont consult es au sujet du m me probl me donnent elles plusieurs opinions diff rentes ou une opinion identique a chaque fois V rifiez si le chercheur n a pas influenc les personnes interrog es par exemple est ce qu un m me enqu teur obtient des r ponses tr s similaires ou tr s diff rentes de la part d agricultrices Le plus important cependant est de v rifier avec les personnes qui ont t sond es l analyse rend elle compte de leurs perceptions Noter l importance des r sultats consiste donner une priorit aux r sultats les plus importants qui seront inclus dans le rapport final Ce classement par ordre d importance peut tre effectu en fonction des r ponses des personnes interrog es r ponses telles que d accord pas d accord ou fort faible les r ponses typiques les
118. estionnaires et d autres instruments de collecte de donn es aupr s d un petit groupe de personnes avant de commencer la collecte r elle d informations Un test pr liminaire de grande envergure peut galement permettre un essai des m thodes de s lection des personnes interroger de la gestion et de l analyse des donn es Etude de base Dans le cadre des projets CARE tude de base est une valuation pr liminaire des populations cibles Cette tude est men e juste avant la mise en application du projet Elle est effectu e d s le d but d un projet ou d une activit afin d identifier les conditions pr c dant les interventions en fonction desquelles les changements futurs seront mesur s Les informations recueillies et analys es consistent en indicateurs sp cialement choisis pour leur usage anticip afin d tudier les effets et les impacts du projet Cette recherche est effectu e au moyen d valuations successives utilisant un ensemble identique d indicateurs apr s que la mise en place des interventions se r f rer au sc nario avant et apr s Les indicateurs et les m thodes de collecte et d analyse de donn es utilis s durant les tudes de base peuvent tre qualitatifs ou quantitatifs Evaluation Une valuation est un examen et une analyse d taill e d un projet en cours ou termin se r f rer aux valuations en cours de projet finale et post facto Les valuations comprenne
119. et Les hypoth ses et les pr conditions concernant les interventions y compris le d veloppement institutionnel peuvent galement tre surveill es L valuation des informations li es aux effets et impacts du projet est habituellement pr mature ce stage Au fur et mesure que le projet se d veloppe le cycle complet de CSE est tabli Les donn es de la r vision annuelle sont analys es en comparant les informations provenant des activit s de surveillance avec les objectifs nonc s dans le cadre logique Ce type de comparaison facilite l analyse des diff rences entre les d penses et les activit s actuelles et plannifi es Une trop grande d pendance CARE S amp E 44 Chapitre 4 Concepts cl s envers les informations financi res et physiques par exemple atteindre les objectifs physiques sans d passer les d penses allou es ne d montre rien sur les effets de ces interventions r sultats sur la population vis e Etude de diagnostic De temps autre une investigation plus d taill e d une contrainte ou d une opportunit particuli re est n cessaire pour la bonne marche du projet Dans ce cas une tude de diagnostic peut tre men e dans un temps limit afin de fournir des informations suppl mentaires Bien que ce ne soit pas un activit r guli re p riodique du syst me de surveillance et d valuation cette tude contribue de fa on rapide et importante la plannification et la gest
120. et de l opinion des b n ficiaires Les r sultats de l valuation sont d crits dans le rapport final d valuation du projet rapport d ach vement du projet Evaluation post facto Cette valuation est effectu e environ 5 10 ans apr s la conclusion du projet par une quipe d valuation ext rieure au projet En r alit elle a rarement lieu car il est difficiele de financer une telle tude L valuation post facto sert valuer le maintien des b n fices apport s par le projet la fois aupr s des communaut s m nages ruraux du gouvernement et des institutions collaborant au projet Les informations n cessaires pour cette analyse comprennent des interviews des observations des documents relatifs au projet plus sp cialement l tude de base et l valuation finale ainsi que des rapports sur les activit s en cours de suivi des b n ficiaires par des homologues gouvernementaux ou des organismes au sein de la communaut L analyse post facto comprend une tude d taill e du projet en ce qui concerne a L impact conomique b L impact social c L impact sur l environnement CARE S amp E 46 d L impact institutionnel CARE S amp E Chapitre 4 Concepts cl s 47 Liens entre les activit s de surveillance et d valuation Type d informations Impacts sur les populations concern es Effets r actions des b n ficiaires Hypoth ses et risques R sult
121. euvent ensuite tre utilis es pour des tudes de diagnostique et des valuations d impact Les informations qualitatives descriptives peuvent tre disponibles aupr s d universit s ou autres institutions de recherche Les sources secondaires comprennent galement des rapports et documents relatifs au projet et qui ont t CARE S amp E 71 Chapitre 7 Sources et chantillons r dig s d autres fins rapports d ateliers de formation ou rapports mensuels de personnel de terrain Il est bien s r moins on reux et plus facile d obtenir de donn es secondaires car il n est pas n cessaire d aller sur le terrain pour recueillir les informations Par cons quent lorsque c est possible le recueil et l analyse de donn es secondaires doit tre consid r comme une premi re option Cependant toutes ces donn es doivent tre utilis es avec soin car elles comportent plusieurs inconv nients in vitables voir le tableau ci dessous Limites potentielles des donn es secondaires Insuffisance Si les donn es n cessaires ne se trouvent pas dans les rapports d j existants 1l est g n ralement impossible de revenir aux m mes sources pour retrouver les informations manquantes Mauvaise qualit Les donn es secondaires sont collect es par des tierce personnes Cela signifie parfois que les moyens et les circonstances de la collecte n ont pas t enregistr s Les personnes utilisant ces informations po
122. facilement reconnues par les membres de la communaut comme un outil de discussion et d analyse permettant la participation des b n ficiaires Utilisez un chevalet feuillets mobiles avec un groupe de travail de la communaut pour faciliter le travail en commun Les cat gories comprises dans la liste suivante se r f rer galement la matrice de la page 139 sont habituellement tr s utiles Cependant des colonnes suppl mentaires peuvent tre ajout es par la communaut par exemple la date de mise en route du groupe le lieu etc Ces additions sont tout fait acceptables si elles ne sont pas trop nombreuses et si les membres de la communaut peuvent exprimer la fa on dont selon leur avis les informations suppl mentaires seront utilis es Nom du groupe le nom du groupe tel qu il est prononc Taille du groupe nombre de personnes S il existe des degr d appartenance ou si les membres sont des individus ou des familles il peut tre galement utile de pr ciser ces informations Sexe des membres si le groupe est compos d hommes et de femmes donner les proportions Age des membres peut figurer sous forme d intervalle avec quelques indications si cela repr sente une tendance particuli re de la plupart des membres d un groupe d ge Conditions d admission comment les personnes deviennent elles membres Sont elles nomm es Paient elles une cotisation si oui combien Habitent ils dans u
123. ffet quels ont t les perceptions et les attitudes en r ponse aux nouvelles activit s b Analyses ult rieures Bien que les syst mes d information du projet aient t pr sent s comme une strat gie de recherche relativement rapide et orient e vers l action la richesse des donn es qu ils peuvent entra ner n cessite des analyses ult rieures suppl mentaires Les donn es peuvent ainsi tre rendues accessibles pour une analyse secondaire par d autres chercheurs tudiants dipl m s personnes en charge de la plannifications dans diff rents secteurs etc Une seconde application est de comparer les r sultats de l tude avec les tudes d autres chercheurs Enfin il existe certainement un nombre de sujets potentiels de recherche op rationnelle qui peuvent tre extraits de l tude et partir desquels peuvent tre d velopp es des propositions de financement CARE S amp E 116 Chapitre 11 Plannification des activit s de S amp E CHAPITRE 11 Comment organisons nous le projet Questions relatives a la plannification interne du projet et aux op rations li es au S amp E Strat gies pour d velopper un plan de S amp E Apr s avoir explor les diff rents l ments du syst me d information du projet il est maintenant temps d assembler ces l ments pour laborer un plan global de S amp E Les tapes d velopp es dans les chapitres suivants peuvent tre utilis es comme une voie lo
124. fin du projet Mise en application Fin du projet Mise en application Mise en application Fin du projet Mise en application Fin du projet Mise en application Fin du projet Chapitre 4 Concepts cl s Fr quence Une seule fois si effectu e Une seule fois Une fois par an a partir de AP2 Une fois par an a partir de API Une fois par an a partir de API Une fois par an a partir de API Une fois par an a partir de API Rapport Post facto rarement tabli REF rapport d valuation finale API MTER REF API MTER RE RE API MTER RE API MTER REF gt gt F API MTER F F 48 Chapitre 4 Concepts cl s Questions relatives a la conception de syst mes d information Comme nous l avons remarqu plus haut voir chapitre 2 l exp rience a montr que les utilisateurs d information ont g n ralement un certain nombre de demandes quant la qualit des informations qu ils recherchent Nous avons expliqu les crit res d exactitude de pertinence de ponctualit et de cr dibilit dans le chapitre 2 Quatre autres probl mes n cessitant une gestion sp cifique sont expliqu s ci apr s Comment pouvons nous peuvent ils tre s r e s que des r sultats effets et impacts attribu s au projet sont actuellement dus aux interventions et non pas des influences ext rieures Attribution Comment pouvons nous peuvent i
125. g n ral et aux objectifs de l tude valuation r vision et tude de diagnostique Les connections doivent pouvoir tre trac es tavers les m thodes d analyse de Etape num ro 1 Revenir aux objectifs et intentions de d part de l tude CARE S amp E 97 Chapitre 9 Analyse des donn es donn es de recueil de donn es les sources d information et les indicateurs se r f rer aux chapitres 1 et 5 Il convient de toujours revenir aux raisons de tude et ensuite de r fl chir aux ressources disponibles et la valeur des nouvelles informations Il est facile d tre accabl e et de se trouver enseveli e par les donn es Chaque nouvelle d couverte ou chaque nouveau point semblent n cessiter une consid ration D un autre c t il est galement possible de trop examiner un point relativement trivial avec une approche trop complexe Au lieu d attacher trop d importance un d tail mineur mais pr sent le r sultat significatif peut se trouver dans des donn es plus importantes mais absentes Les donn es brutes qui ont t recueillies ont besoin d tre valid es c est dire confirm es par diff rentes sources et ou m thodes se r f rer au chapitre 8 sur la Etape num ro 2 Se souvenir de penser aux faits et leur interpr tation triangulation Les donn es qui peuvent tre valid es par des observations multiples par exemple plusie
126. gique pour pr parer un plan de S amp E dans le cadre de projets comme il l a t fait lors d atelier de Kabale en 1996 Un plan de surveillance et d valuation tape par tape Enoncez les buts finaux et interm diaires du projet se r f rer Objectifs au chapitre 4 Plannifiez afin d valuer ces buts Ceci est principalement effectu gr ce l tude de base l valuation en cours de projet et finale Pr cisez les aspects de conception consid rer 29 66 l utilisation ou non de sc narios avant apr s avec ou sans ou de groupes de contr le se r f rer aux chapitres 5 et 7 x Faites une liste d indicateurs pour chaque objectif ceci indiquera de fa on la plus juste les r sultats Pr cisez les donn es qui doivent tre recueillies pour chaque indicateur se r f rer au chapitre 6 Enoncez les m thodes de collecte de donn es les outils les sources les personnes recueillant les informations et les dates Pr cisez quelles sont celles pour la surveillance routini re et celles pour valuation se r f rer au chapitre 8 Collecte de donn es Analyse des Expliquez comment les donn es seront analys es description donn es et interpr tation se r f rer au chapitre 9 CARE S amp E 117 Chapitre 11 Plannification des activit s de S amp E D crivez les m thodes utilis es pour diss miner les informations vers le personnel du projet et comment el
127. gramme saisonnier Diagramme des opportunit s et ressources Notation et classement Fiche A 12 Conclusion Comprendre la distribution des activit s et des ressources Comprendre la dynamique entre l ann e la saison et les activit s les v nements Identifier les relations sociales et ou conomiques entre individus groupes et institutions Identifier et appliquer des crit res locaux pour classer diff rents l ments Les participants utilisent le sol ou du papier pour tracer des cartes illustrant les questions sanitaires les ressources naturelles les fermes ou les entreprises Les participants utilisent le sol ou du papier pour cr er des matrices montrant les tendances des activit s v nements selon le mois ou la saison Les participants tracent des cartes illustrant les liens ou utilisent des cercles pour d crire les points de contacts et les chevauchements diagrammes de Chapati Ven Les participants utilisent des objets ou des images pour symboliser diverses questions et arrangent ensuite les symboles qui ont une valeur similaire classement par pile ou les rangent par ordre de valeur Les num ros de fiche se r f rent l annexe 4 Une question qu il convient de garder l esprit durant une valuation participative Ce proc d aide t il les utilisateurs g n rer des informations qui r soudent les probl mes identifi s utilisant des m thodes qui augment
128. hantillon probabiliste pour une analyse quantitative Il permet de mesurer les erreurs d chantillonnage la probabilit que les r sultats soient dus simplement l chantillon choisi Il permet de v rifier l importance statistique des tendances observ es la probabilit que les r sultats soient dus purement la chance Il r duit les risques d une s lection partiale des l ments de l chantillon Les sh mas et le tableau suivants illustrent les types principaux de m thodes d chantillonnage probabiliste M thodes principales d chantillonnage probabiliste a Echantillon al atoire simple b Echantillon al atoire syst matique c Echantillon al atoire par tranches d Echantillon par segments D apr s East Africa CSE Workshop 1996 CARE S amp E 78 Chapitre 7 Sources et chantillons Comparaison des m thodes d chantillonnnage probabiliste METHODE Echantillon al atoire simple Par exemple nombre de m nages tir s au sort Echantillon al atoire syst matique Par exemple tous les trois m nages dans une communaut Echantillon al atoire par tranche Par exemple un chantillon al atoire parmi les m nages dont le chef de famille est une femme ou parmi les m nages cultivant au moins 30 bananiers Echantillon par segments Par exemple une s lection au hasard de 30 villages sur 100 et ensuite une s lection au hasard de 7 m nages par village CARE S a
129. he et est ensuite compar avec une collection semblable d informations la fin du projet apr s la mise en place durant l valuation finale L analyse avant et apr s n aborde pas le probl me d attribution Elle ne permet pas non plus de d terminer si la population concern e aurait pu obtenir de meilleurs r sultats sans le projet Efficacit La question principale de l valuation de l efficacit est la rentabilit Au sein de CARE ceci est en g n ral effectu seulement au niveau des r sultats et quivaut donc a une valuation de la rentabilit des produits r sultats durant la dur e de vie du projet Une analyse co ts b n fices c est dire une comparaison entre les apports en ressources et les effets et les impacts sur la population concern e repr sente une tude plus approfondie de la rentabilit Un inconv nient principal de cette m thode est une tendance a se concentrer seulement sur les chiffres sans aborder CARE S amp E 50 Chapitre 4 Concepts cl s les aspects qualitatifs par exemple les perceptions des b n ficiaires quant a l importance des indicateurs utilis s Importance La pr paration et la gestion ainsi qu une valuation avec la participation des b n ficiaires est une des principales strat gies abordant cette question Cependant les efforts logistiques n cessaires pour obtenir et maintenir une participation active peuvent rendre cette approche plus d
130. hodes poss dent galement diff rents avantages et inconv nients li s aux comp tences et aux ressources n cessaires pour leur mise en place Les d tails sur les m thodes et les outils s lectionn s sont pr sent s dans le tableau suivant et dans les fiches de l annexe 4 L observation peut tre men e de fa on informelle par Observation exemple en payant attention l tat des cultures tout en conduisant sur une route de campagne Elle peut tre men e de fa on plus formelle avec une liste de contr le structur e par exemple en valuant syst matiquement la structure et l hygi ne des latrines dans une communaut donn e Bien que l observation d pende de ph nom nes observ s physiquement cette m thode est subjective et peut entra ner de fausses conclusions en fonction de l interpr tation de l observateur Par exemple une personne observa que les femmes dans un village faisaient bouillir l eau et a donc conclu que les villageois taient soucieux de l hygi ne et faisaient bouillir l eau pour la boire Lorsque des questions ont t pos es pour v rifier ce fait il s est av r que l eau tait bouillie pour le bains des maris CARE S amp E 88 Chapitre 8 M thodes de collecte de donn es Les interviews consistent principalement poser des Interviews questions et couter les personnes qui y r pondent Ces interviews peuvent tre men s de fa on tr s informelle sous forme
131. icipation des communaut s et des populations vis es Il est bon de m langer les m thodes verbales et visuelles afin de diminuer les risques de malentendus et de CARE S amp E 93 Chapitre 8 M thodes de collecte de donn es mauvaise communication Les techniques non verbales peuvent galement tre tr s efficaces pour d buter une discussion Ces m thodes comprennent les outils suivants e Des cartes e Des diagrammes et des graphiques e Des photographies des vid o et des dessins e Des jeux de roles et des satires Le fait de visualiser des informations peut constituer un stimulant puissant Par exemple lorsque les r sultats d une m thode visuelle pour recueillir les donn es sont galement utilis s pour diss miner les informations Dans le cadre du projet PSFO de CARE Ouganda les informations bas es en fonction du sexe f minin masculin ont t recueillies en m me temps que des calendriers montrant comment les femmes et les hommes passaient leurs journ es Apr s avoir tudi ces calendriers le personnel m dical a alors r alis que leurs cliniques taient ferm es trop t t pour accomoder les emplois du temps des femmes de la communaut M langer les strat gies comment am liorer la qualit des donn es de S amp E Comme nous l avons indiqu plus haut les utilisateurs de l information sont concern s par la validit et la fiabilit des r sultats provenant des activit s de S amp E Dans le ca
132. ier de chaque projet afin de se familiariser avec les activit s les syst mes de S amp E et les comp tences de notre personnel Un groupe de r flexion sur le S amp E comprenant des membres qualifi s venant de chaque projet a t form et des r unions ont eu lieu avec le consultant afin de mettre en place les taches et les approches Suite ces r unions un atelier a t organis pour environ 25 membres de la direction Le rapport sur l atelier Kabale 1996 offre un compte rendu session par session Par la suite les participants ont tent d laborer des directives Les membres du groupe de r flexion ont revu chaque essai et leurs commentaires ont t int gr s dans les documents suivants CARE S amp E 6 Introduction Objectifs des directives e Am liorer la surveillance et l valuation de projets CARE e Fournir une ressource technique utile pour les syst mes de surveillance et d valuation de projets e Renforcer les comp tences du personnel sur les syst mes d information Audience anticip e Cet ensemble de directives a t con u principalement pour les employ s les chefs d quipe et les directeurs de projets CARE Chacune de ces personnes utilise des informations li es aux projets qui les concernent La plupart d entre elles contribuent galement d une fa on ou d une autre au recueil et l analyse d informations D autres organismes impliqu s ou interess s dans les projets CA
133. ifficile D autres consid rations importantes comprennent l tendue combien de personnes sont atteintes et la possibilit de reproduire le mod le utilis pour d autres projets ou communaut s Durabilit Le concept de durabilit correspond la continuation des activit s du projet apr s que celui ci soit termin Cette id e comprend galement l auto financement et ou un support continu de la part des institutions locales maintien op rationnel Si une institution sp cifique est am lior e pour continuer les b n fices du projet les crit res pour valuer le maintien institutionnel peuvent alors inclure des facteurs de maturit d efficacit de mise en place r ussie de consolidation et de viabilit de l organisation La question de durabilit est galement li e l environnement Les pratiques promues par le projet sont elles en harmonie avec les consid rations cologiques ou bien d truisent ells les ressources naturelles Il est important de distinguer clairement les l ments de durabilit valuer ainsi que leurs indicateurs Par exemple dans le cadre d un projet de RAN les aspects de durabilit pouvant tre valu s sont les suivants e Le maintien d une certaine activit du projet refl tant une demande prolong e pour un service ainsi qu un auto financement et un service maintenu par exemple les effets sur les agriculteurs et le syst me e L adoption par les agriculteurs d
134. ils sont les suivantes LA COMMUNAUTE LOCALE COMME POINT CENTRAL Un lien troit avec les initiatives de d veloppement locales et bas es dans la communaut Le but de la recherche active est d obtenir des informations et de soutenir des prises de d cision utiles a la plannification la mise en application la surveillance et l valuation de projets Participation des acteurs locaux et des professionnels de d veloppement dans un processus commun d apprentissage Par d finition la recherche active implique la participation Elle encourage les discussions collectives et la n gociation sur les sujets examin s en fonction de faits entre les acteurs locaux et les professionnels de d veloppement Une concentration sur les besoins ressentis comme tels par les membres de la communaut et les institutions locales La recherche active s int resse aux probl mes concernant les participants ou reconnus de fa on explicite par ces derniers ORIENTATION VERS L ACTION Intervalle de temps minimal entre la collection de donn es et le feedback La ponctualit de l analyse et la rapidit du feedback permettent d accroitre la rentabilit de la recherche et renforce usage pratique des r sultats Transformation des r sultats en plans d action La recherche active ne se contente pas de recommander des changements en fonction des r sultats comme c est souvent le cas avec la recherche conventionnelle Cette m thodol
135. ion Pourcentage de jeunes s lectionn s au hasard capables d installer correctement un pr servatif sur une maquette en bois Le tableau de la page suivante montre comment les participants l atelier sur le S amp E de Kabale en 1996 ont modifi les indicateurs existants de deux projets CARE les raisons de cette modification en fonction des crit res de s lection des indicateurs ci dessus d finis CARE S amp E 65 Modification des indicateurs pour le PIAB et le PCPF PCPF BI Augmenter le nombre de femmes utilisant les services de sant maternelle Indicateurs du d part Indicateurs modifi s Changements et raisons pour ces modifications Les femmes accouchant avec l aide d un personnel m dical qualifi repr sentent entre 24 et 45 de toutes les femmes enceintes dans I aire du projet Nbre de femmes ayant utilis des services pr nataux au moins une fois lors d une grossesse Nbre de femmes r fer es t t durant leur grossesse et ayant utilis des services m dicaux de fa on pr venir toute complication obst trique du nombre total d accouchements dans l aire du projet pratiqu s pratiqu s avec l aide de personnel m dical form Taux de changement dans le nombre de femmes ayant utilis des SP au moins une fois durant une grossesse Nbre de femmes r fer es t t durant leur grossesse afin de pr venir toute complication obst trique Nbre de femmes r fer es qui ont utilis de
136. ion outils pour une participation Fiche A 2 R vision et analyse des donn es secondaires Fiche A 3 Cartographie sociale ERP Fiche A 4 Cartographie historique ERP Fiche A 5 Profil rapide d organisation sociale ERP Fiche A 6 Discussions avec groupes cible Fiche A 7 Interviews semi structur s Fiche A 8 Interviews qualitatifs Fiche A 9 Sondages rapides Fiche A 10 Cr ation de questionnaires pour des sondages et des interviews Fiche A 11 Brainstorming de groupe ERP Fiche A 12 Exercices de classement ERP Fiche A 13 Analyse des forces des faiblesses des opportunit s et des limites des menaces FFOM CARE S amp E e Fiche A 1 INTRODUCTION OUTILS RAPIDES DE PARTICIPATION Cet ensemble d instruments met l accent sur les m thodes qualitatives y compris les interviews et les outils de l ERP Evaluation rapide avec la participation des b n ficiaires car le personnel de projets aura besoin de les utiliser pour une tude limit e et non al atoire dans la plupart des activit s de surveillance et d valuation Plusieurs outils de collecte d informations de communication d ducation et de gestion de projet impliquant les b n ficiaires ont t d velopp s Nous pouvons nous r f rer a ces outils de plus en plus courants comme des m thodologies d apprentissage et d action avec la participation des b n ficiaires ou de recherche active Les principales caract ristiques de ces out
137. ion d un selon certaines syst me Lee d approvisionnement en eau courante dans la communaut et d veloppement d une capacit pour le g rer et le maintenir les a Pr conditions le service des eaux Apports a un statut l gal et Conduites d eau autonome tuyaux pompes selon certaines main d uvre ing nieurs et un conseiller en gestion d approvisionnement de l eau nouveaux imp ts locaux approuv e seront suffisants pour permettre D apr s DANIDA LFA 1996 CARE S amp E Le syst me de S amp E Le syst me de surveillance et d valuation est un autre outil de plannification et de gestion C est en fait le syst me d information utilis pour valuer les progr s les performances et l impact du projet La surveillance quivaut un recueil r gulier ainsi qu une analyse et une utilisation des informations pour v rifier les progr s d un projet L valuation d signe les revues p riodiques des projets et de leurs performances Le syst me de S amp E est tr s important car c est un moyen pour le personnel les populations concern es et les autres personnes ayant un int r t dans le projet de le d velopper tout au long de sa dur e de vie Tout comme les cadres logiques la structure du syst me de S amp E est caract ris e par diff rents niveaux Chaque niveau est similaire la hi rarchie des objectifs dans le diagramme Le tableau suivant d crit pour chaque
138. ion de l environnement et plus particuli rement au maintien et l am lioration au long terme de la productivit des ressources r duisant l puisement de ressources non renouvelables et permettant aux communaut s de prendre soin de leur environnement Echantillon Une partie d une population s lectionn e pour la collecte de donn es de fa on r duir le temps la main d uvre et les frais Id alement l chantillon devrait repr senter la population plus importante sur le plan qualitatif et quantitatif Echantillon intentionnel Une m thode qui s lectionne les personnes interroger ou autres sources d information en fonction de crit res sp cifiques Ces crit res ne sont pas bas s sur des probalit s math matiques statistiques mais sur des choix intentionnels Ce peut tre par exemple des cas extr mes pour une tude approfondie illustrant l envergure possible d une situation donn e Echantillon par tranches Une m thode qui combine l chantillonnage intentionnel et al atoire L chantillonnage intentionnel est utilis pour identifier des sous groupes ou couches de la population par exemple les m nages dont le chef de famille est une femme Les membres potentiels de chaque sous groupe sont ensuite num r s en pr parant des cadres d chantillonnage et un chantillon al atoire est utilis pour s lectionner les participants partir de chaque sous groupe Echanti
139. ion du projet Evaluation en cours de projet Une valuation en cours de projet EECP est une activit externe qui a lieu approximativement au milieu de la phase de mise en application Les donn es analys es et utilis es dans le cadre de l EECP proviennent des activit s routini res de surveillance financi re physique ainsi que du suivi des effets et des hypoth ses Ces informations apparaissent dans un certains nombres de documents relatifs au projet y compris les rapports annuels les diagrammes et les tudes de diagnostic L quipe de l EECP cherche identifier les am liorations possibles des r sultats interventions du projet Ces recommandations reposent sur la compr hension par l quipe d EECP du proc d par lequel le projet a atteint cette phase voir sh ma ci dessous Evaluation en cours de projet Crit re d valuation des performances du projet e La structure organisationnelle le d veloppement institutionnel et la cr ation de capacit s du projet La conception du projet y compris les liens entre strat gies et la collaboration avec d autres institutions Les achats Les progr s physiques et financiers La r action des b n ficiaires aux r sultats interventions du projet Une analyse des risques et des hypoth ses CARE S amp E 45 Chapitre 4 Concepts cl s Evaluation finale Alors que le projet approche de sa conclusion l quipe interne de direction du projet ou plus sou
140. ion et ont ensuite essay tort de tirer des conclusions sur les effets et les impacts au sein d une population plus large d agriculteurs vivant dans la r gion CARE S amp E 76 Chapitre 7 Sources et chantillons Quel degr de pr cision est n cessaire aux r sultats Si des Quel degre comparaisons doivent tre faites par sous groupes ou par de pr cision f th mes quelle marge est consid r e comme importante ou est pr vue Est il essentiel de savoir que 10 des personnes se comportent d une certaine fa on ou est il important de savoir que 10 personnes sur 10 000 ont un tel comportement Exemple d chantillonnage dans un projet CARE Projet de d veloppement et de protection de l environnement Lors de la surveillance du taux d adoption d activit s promues par le projet de DPE trois m thodes d chantillonnage ont t utilis es et trois diff rentes sortes de r sultats ont ainsi t obtenus 1 Les personnes travaillant directement avec le projet ont t les premi res s lectionn es 2 Ensuite on leur a demand si elles connaissaint d autres agriculteurs ayant copi leurs m thodes En fonction de ces informations un facteur moyen du taux de diffusion a t calcul Apr s cela on a demand un chantillon al atoire de personnes dans la r gion vis e si elles avaient entrepris de nouvelles activit s agricoles durant les 5 derni res ann es de quelles acti
141. ionnel Il est parfois souhaitable de choisir expr s les personnes interrog es dans une tude pour une raison sp cifique par exemple les adolescentes utilisant les services d une clinique de planning familial Le personnel du projet choisit qui doit tre interview ou sond C est un choix qui doit tre fait avec beaucoup de soin et de r flexion Autrement dit si cette strat gie est utilis e il convient de clarifier avec soin les proc dures de s lection L chantillonnage intentionnel peut tre utilis pour des tudes quantitatives ou qualitatives Un tel chantillonnage s lectif diff re d un chantillonnage bas sur les probabilit s statistiques utilis es dans les tudes quantitatives L chantillonnage al atoire d pend du choix au hasard afin de pouvoir g n raliser les r sultats partir d un chantillon de la population L avantage de l chantillonnage intentionnel r side dans la possibilit de s lectionner des cas riches en information pour une analyse approfondie li es aux probl mes centraux en cours d tude Avant de s lectionner une m thode il est important d valuer le degr de variation au sein de l aire du projet et comment la distribution des m nages inclus dans l chantillon peut repr senter cette variation Les exemples comprennent diff rentes zones agro cologiques la proximit de r gions bois es etc Exemple d un chantillonnage intentionnel dans le
142. ionnez les intervieweurs appropri s ceci peut signifier de faire correspondre l intervieweur et l interview en fonction de l ge ou du sexe Cela peut d pendre du sujet et des valeurs culturelles locales Testez l avance les questionnaires avec plusieurs personnes qui repr sentent les types de personnes interviewer dans l tude r elle assurez vous que les questions soient compr hensibles que les r ponses soient pertinentes etc Formez les intervieweurs Assurez vous que la formation comprennent un nombre de sessions pratiques d interviews avec d autres intervieweurs ou des membres de la communaut Revoyez et aidez am liorer ces performances Enseignez aux intervieweurs comment prendre des notes relativement br ves et comment remplir le formulaire de r capitulation apr s l interview Ceci n cessite une certaine pratique afin de trouver les mots exacts pour les citations Organisez la correction routini re de tous les formulaires Organisez des discussions quotidiennes au sujet des probl mes rencontr s durant les interviews et pour revoir les r sultats pr liminaires avec d autres membres de l quipe Avantages et inconv nients Technique plus discr te que les questionnaires Peut tre organis e de fa on r pondre aux besoins de la personne interrog e Favorise la communication dans les deux sens L atmosph re d contract e permet de mettre l interview l ai
143. ipation des b n ficiaires ainsi que l impact en fonction du sexe et d autres groupes cl s vis s Les directeurs sur le terrain et au si ge social doivent tre responsables pour une gestion solide du projet Ne doit pas tre encombr de conditions excessives de collecte de donn es SS ou projet Un volume trop important de donn es entraine une qualit m diocre et une surcharge d informations et donc n est pas utilis A besoin de se concentrer sur les indicateurs d impacts et de r sultats les plus importants D apr s PMTF API framework CARE 1996 Conclusion Un bon syst me de S amp E est utile son public utilisateurs d informations facile a mettre en place r alisable dans le cadre du projet opportun men avec d ontologie et techniquement solide CARE S amp E 123 Annexe 1 Glossaire Activit Une tache sp cifique du projet qui n cessite des ressources personnel financement temps etc et les transforme en r sultats par exemple des sessions de formation des ateliers etc Adoption L accueil favorable et l application d interventions du projet par la population cible qu il s agisse de gouvernements ou des m nages ruraux L adoption peut tre un niveau primaire les sujets sont des personnes qui ont t en contact direct avec le projet ou secondaire les personnes ont pris connaissance d une partie des interventions de la part de
144. ique aux groupes d agriculteurs C est le niveau le plus bas dans le sens o il prend place en premier et il d pend compl tement des apports en ressources du projet e e 2 Activit s Ressources n cessaires pour performer les activit s du projet par exemple papier lettre pour les ateliers et les sessions de formation Ces ressources ne sont habituellement pas d crites dans le cadre logique m me bien qu elles soient importantes dans la production des r sultats Les apports ont lieu seulement durant la p riode d assistance au projet Apports Afin de d terminer quels r sultats sont inclus dans la hi rarchie la matrice de la page 31 peut tre utile La premi re colonne montre les niveaux de hi rarchie des objectifs comme ils apparaissent dans le diagramme La seconde colonne d crit les termes pr f r s de CARE pour les r sultats envisag s chaque niveau Une explication de chaque concept est pr sent e sous la colonne Description Les deux colonnes suivantes Origine et Attribution aident galement d finir quelles interventions et quels r sultats ont lieu chaque niveau La colonne P riode d crit le moment o l on peut esp rer mesurer les progr s et les r sultats pour chaque niveau Enfin la derni re colonne donne des exemples d objectifs r alis s par des projets CARE Les apports fonds assistance technique marchandises virements en nature so
145. ires plus structur s pour v rifier la pr valence et la distribution des r ponses Il est galement possible d int grer les deux m thodes par exemple des interviews semi structur s utilisant la fois des questions ouvertes et de port e plus limit e ou bien des sondages de type de surveillance rapide cr s avec la collaboration de la population voir annexe 4 fiche A 9 Techniques de notation et de classement Les m thodes semi quantitatives et participatives de classement peuvent aider les personnes ou les groupes participant a exprimer leurs valeurs leurs opinions et leurs pr f rences au sujet de diff rents l ments d couverts grace aux interviews et ou au moyen de V observation d une fa on d mocratique et visible voir annexe 4 fiche A 12 Analyse et discussions ouvertes au sujet des r sultats obtenus durant la collecte de donn es Les discussions permettant I analyse des r sultats peuvent avoir lieu avec des groupes repr sentatifs compos s de personnes ayant un int r t dans le projet des utilisateurs d information et ou de la communaut en g n ral Ces discussions peuvent porter sur la pr valence l interpr tation et la validit des r sultats Les r unions peuvent galement explorer l importance des probl mes mergeant et provoquer des recommendations pour les probl mes identifi s ou les limites au projet CARE S amp E 95 EXEMPLES DE METHODES DE COLLECTE DE DONNEES Projets CARE
146. jet Impacts Selon la terminologie de CARE T impact se rapporte aux changements fondamentaux et durables des conditions de vie ou du bien tre des populations vis es refl tant la satisfaction de besoins de base Ces derniers comprennent la nourriture les services de sant des conditions favorables d environnement eau potable abri hygi ne une ducation primaire et une participation communautaire Afin d obtenir les ressources essentielles n cessaires pour satisfaire les besoins de base les m nages doivent disposer de ressources de comp tences de temps et de positions sociales ad quates Pour tre qualifi s d impact les changements doivent tre visibles au niveau des m nages et doivent pouvoir tre attribu s aux interventions du projet A cause de la p riode de temps n cessaire pour obtenir des impacts au niveau des m nages ils peuvent tre difficiles identifier durant la dur e de vie du projet Les indicateurs d impact sont habituellement associ s avec le niveau du but final dans le cadre CARE S amp E 129 Annexe 1 Glossaire logique du projet Comme avec les effets les impacts peuvent tre volontaires ou non b n fiques ou nuisibles Indicateur Un l ment qui offre une base pour d montrer le changement en tant que r sultat de l activit du projet pour une population vis e c est dire pour mesurer le progr s vers la r alisation des objectifs Il peut exprimer des l ments
147. l aire du projet auront adopt des techniques agricoles ad quates Indicateur des familles qui ont re u une formation en m thodes agricoles Probl mes niveau des r sultats nonc non sp cifique Meilleur indicateur du nombre de familles vis es ayant adopt une technique de paillis utilisant les tiges de bananes pour contr ler les charan ons une m thode agricole sp cifique BI Am liorer l acc s l eau pour la population en r parant les vieilles pompes en en installant de nouvelles et en promouvant l hygi ne Indicateur r valuation d un syst me d eau d j existant Probl me niveau de l activit Meilleur indicateur du nombre de vieilles pompes r par es par les comit s locaux de services d eau suite une formation organis e par le projet L indicateur est il utile au projet BI Accro tre la proportion de jeunes Kabale Arua Mbale Kampala capable de pratiquer des activit s de pr vention et de contr le de maladies sexuellement transmissibles SIDA d ici 1999 Indicateur Pourcentage de participants capables d identifier un virus comme la cause du SIDA Probl mes la connaissance n quivaut pas aux comp tences Cette connaissance n est peut tre pas essentielle Meilleurs indicateurs e Pourcentage de jeunes 15 20 ans s lectionn s au hasard capables de reconna tre un pr servatif et un paquet de pr servatifs et de d crire son utilisat
148. le temps comportant un ensemble bien d fini de r sultats d sir s Un projet id al comportera les l ments suivants El ments d un projet e Un d but un milieu et une fin dur e de vie d un projet Un ensemble d objectifs clairement d finis et li s aux effets anticip s d sir s sur une population cible parfois aussi appel e b n ficiaires Diff rentes activit s comportant des apports en ressources et des r sultats Les diff rentes tapes de la vie d un projet peuvent tre d coup es en plusieurs petites pi ces chacune avec une tiquette sp cifique Malheureusement chaque agence semble utiliser un ensemble diff rent de termes pour des exemples voir annexe 5 Un projet traverse diff rentes phases depuis l id e originale jusqu une plus grande clarification de la mise en place des probl mes des objectifs des choix et de l action Lorsque les fonds sont disponibles il est alors mis en application revu et ventuellement valu Ces tapes progressives de la vie d un projet sont CARE S amp E 25 Chapitre 4 Concepts cl s parfois d sign es par le terme cycle d un projet Utilis dans ce sens le concept se rapporte au cycle de vie du projet Certains l ments cependant sont cycliques ils se r p tent r guli rement voir le sh ma ci dessous Cycle d valuation participatif Plan Estimatio Analyse Auto valuation Auto R
149. les seront utils es pour am liorer le projet se r f rer au chapitre 10 Diss mination et utilisation Plan d ensemble de S amp E Table des mati res Sommaire Contexte g n ral objectifs du projet strat gies mod le conceptuel statut actuel Contexte des activit s de S amp E conception du plan de S amp E terminologie op rationnelle Le plan de S amp E Explications Matrice de S amp E objectifs du diagramme du projet indicateurs sources m thodes de collecte et d analyse des donn es fr quence de la collecte circulation des r sultats cat gories de la matrice de pr paration des activit s de surveillance et d valuation pr sent e dans le chapitre 5 de ce livre Risques Hypoth ses du projet y compris les indicateurs et les moyens de v rification Direction du projet indicateurs et moyens de v rification Lignes de communication et m chanismes de feedback Diagramme de surveillance activit fr quence responsable emploi du temps et DVP Diagramme d valuation activit responsable emploi du temps Annexes utiles Formulaires de surveillance trimestrielle et annuelle questions cl s pour les valuations etc Diagramme GANTT pour l emploi du temps des activit s de S amp E R f rences utilis es y compris des documents sp cifiques au projet Exemple bas sur le plan de S amp E du PSFO Distribution des ressources temps personnel et budgets De fa
150. liorer la capacit des ougandais a g rer leurs ressources naturelles financi res et humaines de facon durable Cet objectif sera atteint grace a des programmes dont la qualit a t prouv e et qui tiennent comptent d approches innovatrices de la participation de la population f minine de projets rentables de strat gies de projet int gr es d une expansion pouvant tre g r e et d une participation l gitime Pour soutenir cet objectif CARE Ouganda vise am liorer la collaboration avec ses partenaires son proc d de surveillance et d valuation et le d veloppement de ressources humaines Afin de maximiser son efficacit et son bon fonctionnement CARE revoit p riodiquement ses activit s en collaboration avec ses homologues et collaborateurs gouvernementaux et modifie son programme et le secteur g ographique vis si n cessaire Source CARE International en Ouganda Dossier Projet 1996 CARE S amp E 3 Avant propos Le personnel de chaque bureau de CARE au niveau d un pays doit valuer les progres parcourus dans ses projets et comprendre les moyens qui apportent une diff rence b n fique ou autre dans les vies des personnes et des institutions qui les servent Ainsi pouvons nous utiliser les le ons apprises pour am liorer de fa on continue la conception et la mise en place de notre programme Les ouvrages sur la surveillance et l evaluation font foison Malheureusement beaucoup sont tr s t
151. llon probabiliste Une fa on de s lectionner les personnes interrog es ou autres sources d information o tous les membres du groupe d origine par exemple les m nages dans une aire vis e du projet ont une chance gale d tre s lectionn s Egalement connu sous le terme chantillon al atoire Peut tre combin avec un chantillon intentionnel par exemple un chantillon al atoire de femmes qui sont chefs de famille Echantillonnage syst matique Effets Une m thode d chantillonnage o la premi re personne interrog e est s lectionn e puis suivie d un autre membre selon une fr quence donn e par exemple tous les troisi me m nages situ s sur la ligne nord sud traversant le village Ces s lections p riodiques forment alors un chantillon Selon la terminologie de CARE les effets se rapportent aux r ponses de la population cible par exemple les changements en pratiques ou les am liorations des conditions du syst me acc s aux ressources ou qualit de ces derni res qui r sultent de l utilisation de biens et de services pourvus par le projet Les effets du projet d crivent les r sultats au sein des populations vis es et qui ont lieu au niveau du but interm diaire BI comme une cons quence du contact plus ou moins important aux interventions du projet Ces changements au niveau interm diaire offrent aux b n ficiaires les outils n cessaires pour am liorer de fa on durable leur
152. ls savoir si les ressources allou es au projet ont t utilis es a bon escient obtention d un maximum de b n fices pour des co ts minimums Efficacit Comment savons nous savent ils si les probl mes adress s sont importants et si tout effet ou impact est fondamental Importance Comment pouvons nous peuvent ils savoir si aucun impact effet positif peut se perp tuer sans une assistance directe du projet financi re ou autre Durabilit Nous allons maintenant tudier chacune de ces questions plus en d tail Attribution Afin d valuer et de prouver les influences du projet une pr paration et une collecte de donn es sp cifiques sont n cessaires d s le d but d un projet Plusieurs strat gies aident d montrer I attribution Les plus importantes sont les suivantes Le sc nario avec ou sans Cette approche est bas e sur une comparaison entre deux groupes sp cifiques de personnes un ayant b n fici des interventions du projet et un autre qui n en a pas b n fici L inconv nient de cette m thode est qu il est difficile de s assurer que les deux communaut s CARE S amp E 49 Chapitre 4 Concepts cl s soient vraiment gales ou similaires Si elles ne sont pas tout a fait semblables ce qui est souvent le cas il est alors difficile de s assurer que tout effet ou impact observ dans la communaut avec est vraiment d aux interventions du projet C est
153. me du HHLS MMSD Type d indicateur Apports R sultats Effets Impacts Proc d Effets Impacts potentiels R sultats But principal Gestion au jour le jour au Analyse du sous En cours de projet valuer les changements Evaluer les am liorations dans niveau du pays secteur pour le BN et n cessaires dans la mise en application du projet a MMSD une id e g n rale du Finale valuer les changements de syst mes et b la capacit institutionnelle secteur d attitudes accomplis Utilisateurs principaux Directeur du projet DP Direction r gionale Directeur national Directeur national Bureaux nationaux BN PAD Marketing Donateurs PAD Direction r gionale Autres utilisateurs PAD Marketing Programme SVP Directeur du projet Si ge social Donateurs DP BN Direction r gionale Pr sident Donateurs PAD Conseil d administration Fr quence Trimestrielle Annuelle Etude de base Evaluation en cours de projet et finale Etude de base Evaluation post facto Tous les 5 10 ans Format Narratif Questionnaires Rapport narratif Rapport Tableaux donn es quantitatives Recherche accomplissements Sources des donn es Personnel de terrain Documents relatifs au projet Etude de base MMSD PIR AOP Evaluation du projet Evaluation externe peut comprendre un sondage Sondages partir d chantillons M thode de collecte des Surveillance continue Aggr gats de PIR R vision du document Evaluation du projet informations trimestriels
154. ment en changements positifs effets et impacts d sir s mais que les indicateurs au niveau inf rieur ne peuvent pas d montrer la r alit d un tel changement D un autre c t il faut des ann es pour pouvoir mesurer les impacts lorsque l on consid re la population vis e dans son ensemble Pour cette raison il est parfois appropri de faire des valuations qualitatives pr liminaires sur la direction et la nature des impacts en menant des tudes de cas de m nages s lectionn s durant la dur e de vie du projet Mesurer une utilisation rentable des apports et du projet dans son ensemble sera toujours important Les donateurs veulent savoir o leur argent a t utilis et s assurer que les activit s sont bien celles d crites dans le contrat de projet Cependant c est un fait de plus en plus reconnu qu il est galement important de mesurer l impact Cela est toutefois difficile parce que n cessairement subjectif et parce qu il faut attendre si longtemps avant de pouvoir identifier les changements qui CARE S amp E 61 Chapitre 6 Indicateurs peuvent tre d sign s comme impacts changements fondamentaux durables et attribuables au projet Les informations quantitatives seules ne peuvent valuer de fa on ad quate les changements au niveau de l impact dans la vie des personnes De plus les changements d sir s par le personnel des organismes de d veloppement ne sont peut tre pas ceux esp r s par les b
155. mmation la distribution quit et l efficacit des apports et des activit s Les indicateurs pour les apports et les activit s permettent de d terminer les montants les b n ficiaires et la dur e Les sources d information pour la surveillance physique comprennent diff rents documents concernant le projet par exemple les rapports mensuels r dig s par le personnel de terrain et des informations indirectes provenant de rapports routiniers ou manant d autres institutions collaborant au projet Les r sultats de la surveillance physique apparaissent dans les rapports semestriels de mise en application du projet PIR Beaucoup d utilisateurs d information s accordent sur le fait que m me si la mise en application a eu lieu selon les plans beaucoup de projets ne produisent pas les b n fices esp r s ou bien ces r sultats ne sont pas perp tu s durant ou apr s le projet Pour rem dier ce probl me les aspects suivants pourraient tre surveill s la capacit humaine recrutement formation et rotation du personnel les liens organisationels coop ration coordination au sein de l organisation relations avec d autres institutions publiques et priv es y compris celles se trouvant dans les communaut s vis es l organisation interne du projet les syst mes de surveillance et de suivi Les donn es pour la surveillance financi re et physiques sont recueillies de fa on r guli re et fr quente
156. mp E AVANTAGES R duit les risque d une s lection partiale Assez simple mettre en place Plus facile s lectionner Plus apte repr senter des sous groupes selon la taille de l chantillon Assure la repr sentation de sous groupes Peut permettre de fixer la taille de P chantillon pour chaque sous groupe afin d obtenir un chantillon repr sentatif Economie de frais de voyage et de temps Besoin d un mod le de l chantillon seulement pour les segments s lectionn s INCONVENIENTS e N cessite un mod le d chantillonnage pour l ensemble de la population e Les chantillons peuvent se trouver tr s dispers s e Ne repr sente peut tre pas des sous groupes importants e Ne prend pas compte des diff rences entre sous groupes e N cessite un mod le d chantillonnage pour l ensemble de la population e Les chantillons peuvent se trouver tr s dispers s e N cessite une connaissance de la population totale avant de pouvoir diviser en sous groupes en fonction des int r ts de l tude e N cessite l utilisation de techniques analytiques sp ciales lorsque les r sultats sont combin s pour diff rents sous groupes sp cialement lorsqu ils sont de diff rentes tailles e Peut exclure des sous groupes importants e Les communaut s s lectionn es ne sont peut tre pas repr sentatives 79 Chapitre 7 Sources et chantillons Echantillonnage intent
157. n e Donn es des activit s de surveillance Rapports annuels et semestriels Rapport sur les tudes de diagnostic Rapports annuels cadres logique rapports d enqu tes Population concern e personnel organisations collaboratrices R vision du document Enqu te domestique Interviews avec le personnel de CARE et d autres institutions R visions des documents sur le contexte g n ral Enqu te renouvel e autres interviews Chapitre 4 Concepts cl s QUAND est ce valu Avant le d but des interventions Une fois par an Au mis cours de la mise en application A la fin de la mise en application Habituellement de 5 a 10 ans apr s la fin d un projet Format de pr sentation des informations CARE Rapport de l tude de base Rapport d valuation au cours du projet Rapport d valuation final Rapport d valuation post facto 42 Chapitre 4 Concepts cl s Etude de base Le principal but d une tude de base consiste a collecter et analyser avant l intervention des donn es li es aux indicateurs IVO pour les buts interm diaires et finaux BI BF Ces tudes sont men es afin d tablir des bancs d essais pour les indicateurs choisis c est a dire pour fournir des donn es sur leur statut initial afin que les activit s ult rieures de surveillance et d valuation puissent estimer les effets et les impacts d un projet sur les b n fici
158. n es sans CARE S amp E 54 Chapitre 5 Plannifier pour obtenir des informations utilisables impliquer activement les b n ficiaires dans le planning et la mise en application peut galement tre incomplet Planification d un syst me de S amp E dans un projet d j existant La p riode optimale pour la cr ation d un plan complet de S amp E d un projet se situe apr s le financement mais avant tude de base et le d but de l intervention Trop souvent cependant un syst me de S amp E est cr lorsque le personnel r alise que bien que la mise en application ait commenc les informations ne circulent pas Les documents relatifs au projet et les diagrammes constituent un outil important pour la gestion du projet mais ils ne sont pas toujours suffisamment d taill s en ce qui concerne les syst mes d information Les diagrammes d crivent des l ments essentiels pour plannifier la gestion des informations les informations d sir es les indicateurs v rifiables de fa on objective et les sources d information les moyens de v rification Ces deux cat gories toutefois ne comprennent pas de r ponses aux questions suivantes Informations importantes non comprises dans les cadres logiques Comment les informations seront elles recueillies Qui les collectera Quand seront elles obtenues Comment les informations seront elles analys es Qui les analysera Quand seront elles anal
159. n comparative tablir USAID informelles les bases pour mesurer le Autres donateurs Rapports PIR API changement Organisations int ress es Pr sentation rapport graphiques Evaluer I efficacit de la strat gie et la revoir Evaluer les effets du projet Projet d innovation agricole de Bushenyi Ntungamo BI 700 familles rurales participantes Bushenyi et Ntungamo augmentent de fa on importante leur production agricole d ici 1999 tout en prot geant l environnement Nbre de groupes de marketing form s DP Suivre les progr s r diger des Donateurs Rapports par les m nages participants rapports Officiels de district R unions et discussions avec la Responsable de terrain Pr paration Communaut communaut Service de marketing Suivre GPS et Programme AID Rapports API r sum s et graphiques la pr paration Directeur national CARE Groupes de marketing Information CARE S amp E 112 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E R daction et style La ou les personnes r digeant le rapport doit faire preuve de discernement et de mod ration Il n est pas n cessaire de rapporter chaque fait v nement ou d tail mineur Commentez seulement les donn es vraiment importantes r sumez celles qui le sont moins et reconnaissez que certains faits n ont pas besoin d tre mentionn s Dans un rapport bien r dig le lecteur devrait pouvoir comprendre d s la premi r
160. n et dans quel but Quelles questions ou attentes peuvent ils avoir au sujet de ces informations En quoi consistent des informations de qualit De nombreuses personnes et organisations sont interess es par les projets CARE Toutes ces personnes peuvent tre appel es les utilisateurs d informations Des organismes non gouvernementaux travaillant avec des populations semblables dans un autre secteur seront interess s par les r alisations et les le ons acquises lors d un projet D autres personnes peuvent vouloir ces informations afin de participer aux diff rentes d cisions li es au projet Ce dernier groupe est galement d sign comme les personnes ayant un int r t dans le projet ou comme de potentiels propri taires Ceux ci peuvent tre des personnes ou des groupes qui ont la capacit de d cider ou d influencer des d cisions qui ont un impact sur la conception ou la mise en place du projet Enfin toutes ces personnes ayant un int r t dans le projet peuvent tre impliqu es dans sa mise en place Elles doivent donc tre consult es et inform es r guli rement au sujet de la plannification et des d veloppements Il est important d impliquer les utilisateurs potentiels sp cialement les responsables le personnel et les populations concern es dans la conception et les activit s de S amp E Cela les aidera non seulement clarifier leurs besoins en mati re d informations mais facilitera
161. nalyse S lectionner attentivement les informations recueillies les chantillons les m thodes etc D velopper des directives et standardiser les moyens de collecte et d analyse des informations 15 Chapitre 2 Utilisateurs d informations Trianguler les sources d information et les m thodes de collection lorsque c est possible c est dire utiliser plus d une m thode ou source pour les m mes donn es Encourager le recueil d informations exactes S1 possible obtenir et utiliser un quipement moderne ordinateurs Pertinence Comment pouvons nous tre s r e s que les informations r pondent aux attentes des utilisateurs La pertinence varie selon les utilisateurs Obtenir la participation des populations concern es par le projet en encourageant leur participation dans la collecte et l analyse des informations Eviter d tre motiv par les demandes des donateurs S lectionner et donner un ordre de priorit aux demandes Savoir l avance qui a besoin de ces informations et comment elles seront utilis es S assurer que les informations puissent tre analys es Pr senter les r sultats sous une forme accessible par les diff rents utilisateurs c est dire ne pas utiliser un rapport crit pour une population analphab te ou un rapport de 200 pages pour un officiel gouvernemental Ponctualit Comment pouvons nous nous assurer que les informations soient diponibles en temps v
162. nce de chaque groupe dans la communaut Apr s avoir rempli la matrice une discussion peut mener l tude des groupes et des ressources qu ils ont offrir y compris leur int r t potentiel pour le projet d veloppement ducation sanitaire sensibilisation sur les diff rences entre les hommes et les femmes recherche sociale etc Rechercher les commentaires et les opinions des membres de la communaut et du personnel du CARE S amp E 144 Annexe 4 M thodes outils projet au sujet du rapport possible de chaque groupe peut aider d courager la d pendance envers DP aide ext rieure CARE S amp E 145 Annexe 4 M thodes outils PROFILE D ORGANISATION DE LA COMMUNAUTE Communaut Date Personne remplissant le formulaire Nom du Taille Sexe des Conditions Activit s Date de i Personne Personne Int r t groupe membres d admissio niveau formation contacter contacter potentiel point du groupe dans le au sein du central g e j j CARE S amp E 146 Annexe 4 M thodes outils Fiche A 6 DISCUSSIONS AVEC DES GROUPES CIBLES Les discussions avec des groupes cibles consistent en des r unions semi structur es avec un petit groupe de personnes partageant un m me caract ristiques des femmes en age de procr er des actionnaires dans un syst me d irrigation les utilisateurs d un certain service etc Une courte liste de sujets ouverts pr sent s sous forme de
163. ncer le projet pr somptions D autres agences ou des donateurs peuvent utiliser des termes diff rents pour d crire des l ments semblables voir annexe 5 Pour plus de coh rence dans ces directives nous utiliserons la terminologie de CARE International Vous trouverez ci dessous les elements d un cadre logique typique Diagramme typique de CARE Hi rarchie des Indicateurs Moyens de Pr somptions objectifs v rifiables de v rification fa on objective MoV IVO But final BF But interm diaire BD Rendements Activit s Par ordre d importance les principaux niveaux des objectifs sont les suivants CARE S amp E 28 Chapitre 4 Concepts cl s Contribution du projet au long terme en tant que r sultat des But final objectifs interm diaires par exemple am liorer le niveau de vie rural C est le but fondamental Il ne peut tre atteint que si la communaut est capable de perp tuer les b n fices sans interventions du projet But R sultat envisag au sein des groupes concern s par exemple augmenter la production et les ventes de bananes de haute qualit pour les exploitations agricoles de petites tailles interm diaire R sultats obtenus dans le court terme suite aux activit s du projet par exemple 100 agriculteurs sont form s pour am liorer la culture de bananes Rendements Activit s de CARE aupr s de la population concern e par exemple fournir un support techn
164. nd Evaluation Guiding Principles for the design and use in rural development projects and programmes in developing countries UN ACC Task Force on Rural Development 1985 11 The Logical Framework Approach to Portfolio Design Review and Evaluation in AID Genesis impact problems and opportunities CDIE 1987 12 Valadez J and Bamberger M eds Monitoring and evaluating social programs in developing countries a handbook for policy makers managers and researchers World Bank 1994 CARE S amp E 157 Annexe 6 REFERENCES A Documents publi s par CARE CARE Guidelines to M amp E framework design CARE Bangladesh nd CARE Ouganda Report on Monitoring and Evaluation Workshop 9 13 September 1996 CARE Ouganda 1996 LEYLAND S Ouganda Family Health Project Monitoring and Evaluation Plan Draft 3 CARE Ouganda 1996 DME CARE Program Design Monitoring amp Evaluation Resource Packet Version 1 1 CARE USA 1996 DME Report of the East Anglophone Africa CSE Workshop CARE USA 1996 B Documents externes BARTON T Project ownership idea paper HNI 1996 BARTON T BORRINI FEYERABEND G DE SHERBINI A et WARRENN P Our People Our Resources supporting rural communities in participatory action research on population dynamics and the local environment IUCN 1996 BIGGS S D Resource poor farmer participation in research a synthesis of experience from nine national agricultural research systems Intern
165. ne certain endroit Y a t il des frais r p t s pour maintenir l appartenance cotisations mensuelles ou annuelles Activit niveau acivit principale quelle est la nature du groupe et quelles en sont les activit s principales culture cr dit rotatif aide aux orphelins production de revenus groupe religieux ou politique etc Date de formation du groupe quand le groupe a t il t form Ceci permet d obtenir une id e sur la stabilit du groupe Lieu o les activit s ont elles lieu Parfois il peut tre utile d obtenir l adresse ou le lieu exact du groupe Personne contacter dans le groupe en g n ral un habitant de la communaut et souvent le responsable du groupe Une personne peut tre contact e au sujet des activit s du groupe ou pour partager des informations Personne contacter au sein du projet si les donn es sont collect es pour une activit du projet par exemple la pr paration de l intervention 1l peut y avoir plusieurs personnes li es au projet en contact avec la communaut Normalement une personne qui poss de ou peut avoir un lien plus solide avec le groupe particulier afin de partager les informations Int r t potentiel pour le projet les projets ont diff rents objectifs d veloppement ducation sanitaire sensibilisation sur les diff rences entre les hommes et les femmes recherche sociale etc Cette colonne peut encourager la r flexion sur l importa
166. ne dur e de temps sp cifique par exemple 700 agriculteurs form s aux techniques de paillis de compost en 3ans ou bien 50 para m dicaux form s dans les 4 secteurs durant la premi re ann e du projet Il existe galement des objectifs pouvant s appliquer aux apports aux r sultats aux effets et impacts Lorsqu utilis s dans les diagrammes de CARE les indicateurs servent valuer le progr s en direction des changements d sir s parmi la population vis e c est dire atteindre les objectifs interm diaires et long terme Les indicateurs ne sont g n ralement pas pr sent s en tant qu objectifs chiffr s Quelques donateurs cependant varient dans leur fa on de s parer ou unifier les indicateurs et objectifs voir annexe 5 Les cinq types principaux d indicateurs utilis s pour les activit s de surveillance et d valuation du projet correspondent aux principaux niveaux de la hi rarchie des objectifs Les indicateurs correspondants sont d crits selon le niveau des objectifs dans le tableau suivant CARE S amp E 59 Chapitre 6 Indicateurs Type d indicateurs selon le niveau des objectifs Hi rarchie Type Description de l indicateur Exemples des objectifs d indicateur But final Impact Evalue le changement survenu e Niveaux de maintien des moyens dans les conditions du de subsistance domestiques probl me de base identifi comme le montrent les mesures Montre les changements de sant de n
167. nel de CARE en fait pour toute personne travaillant pour une agence de d veloppement Il y a beaucoup de manuels sur ce sujet mais celui ci est le plus pratique et le plus clair En outre il s adresse aux conditions et besoins sp cifiques des projets CARE La philosophie les concepts et la terminologie de ces directives sont coh rents avec d autres documents CARE actuels y compris la structure PMTF IAP les directives pour les formateurs d ateliers sur la conception de projets Project Design Workshop Trainers Guidelines et les documents d velopp s dans le cadre de initiative MER T approuve donc ce document pour servir de directives de S amp E pour chacun d entre nous au sein de CARE Je le recommende vivement a toute personne concern e par la surveillance et l valuation de projets de d veloppement Jim Rugh Coordinateur de la conception de la surveillance et de l valuation de programmes CARE USA Atlanta CARE S amp E 2 Pr face CARE International repr sente l organisation d aide non gouvernementale la plus importante au monde Cet organisme priv fournit une aide aux personnes les plus d sh rit es et assiste les habitants des pays en voie de d veloppement dans leurs efforts pour atteindre a long terme un bien tre conomique et social CARE apporte galement un secours en temps de crise et de souffrances intenses et lorsque la vie de personnes se trouve en danger Les secteurs actuels de
168. ni re des plupart du fr quences SFT r fer es t t statistiques du temps proportions et Responsables durant leur service de Donn es ne comparaisons Personnel du grossesse afin sant sont peut tre projet d viter toute Registres du pas exactes Partenaires complication APF Etude des Le personnel et EMS H U obst trique registres du les partenaires responsables service de sont en mesure sant d analyser les informations Femmes Co t des Personnel du CARE S amp E 105 CARE S amp E appartenant a la communaut Personnel m dical SFT questionnaire sondages structur Interviews Envergure plus avec des importante informants cl s Flexible avec le temps Chapitre 9 Analyse des donn es synth se projet et quantitative et consultants qualitative IC sommaires Personnel du qualitatifs projet et partenaires 106 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E CHAPITRE 10 Et ensuite Comment pouvons nous faire circuler et utiliser efficacement les informations Format de pr sentation des informations Les informations ont besoin d tre pr sent es correctement afin de pouvoir tre utilis es Les format de pr sentation d pendent des utilisateurs anticip s Chaque pr sentation n est pas forc ment appropri e pour tous les utilisateurs Par exemple le format de pr sentation des r sultats du projet de sant maternelle avec un
169. niveau le lien entre les objectifs et les activit s de surveillance et d valuation voir aussi le tableau page 40 Vue d ensemble de la structure du syst me d information de S amp E Hi rarchie des Informations Activit s de Activit s objectifs surveillance d valuation But final Impacts Impacts Evaluation post changements rare ce niveau facto fondamentaux pour Evaluation finale la population vis e But interm diaire Effets Effets Revue annuelle r ponse de la plus importants Evaluation vers le population durant l valuation milieu du projet Evaluation finale Rendements R sultats Chaque semestre Evaluation annuelle intervention dus au projet surveillance interm diaire et physique finale avec des donn es de surveillance Activit s Indicateurs de Chaque semestre Evaluation annuelle proc d surveillance interm diaire et physique finale Apports Indicateurs des Chaque semestre Evaluation annuelle apports surveillance interm diaire et financi re et finale physique CARE S amp E 35 LA SURVEILLANCE La surveillance d signe la collecte et la gestion de donn es li es au valeurs cibles pr determin es pour les indicateurs IVO dans le diagramme Les informations de surveillance sont recueillies de fa on continue tout au long de la phase de mise en place du projet On distingue quatre diff rents type d activit s de surveillance Cette cat gorie correspond la su
170. non entre les personnes fournissant les donn es et les utilisateurs Si c est le cas ces informations devront tre organis es sous une forme et dans un endroit accessible par les deux groupes De fa on id ale la gestion des donn es doit tre centralis e et coordonn e parmi toutes les cat gories d utilisateurs La fa on dont les donn es sont g r es a des implications sur le maintien m me du syst me de S amp E Par exemple si les donn es sont sauvegard es uniquement sur ordinateur il peut tre difficile d impliquer des personnes qui e n ont pas d ordinateur e ne savent pas comment s en servir ou ne sont pas familiers avec le logiciel CARE S amp E 121 Chapitre 11 Plannification des activit s de S amp E e n ont pas les ressources n cessaires pour le maintenir CARE S amp E 122 Chapitre 11 Plannification des activit s de S amp E Proposition de crit res pour un systeme d information de projet Doit tre coh rent et mesurer de fa on honn te les indicateurs cl s d impacts d effets et de r sultats afin de soutenir les buts de CARE y compris le maintien des moyens de subsistance domestiques HHLS Household Livelihood Security Doit mesurer uniquement les donn es n cessaires et suffisantes pour la prise de d cision Doit permettre de mesurer les performances dans le cadre du syst me global de CARE Doit consid rer les besoins pour mesurer les prises de d cision et la partic
171. ns les connaissances et les perceptions des personnes interrog es e Elles ne sont pas utiles aux valuations e Elles ne sont pas per ues comme logiques et n cessaires e Elles n cessitent un effort consid rable pour y r pondre e Elles sont mena antes ou embarrassantes e Elles sont vagues ou ambigiies e Elles font partie d un effort conscient pour obtenir des r sultats partiaux et in gaux La meilleure fa on d viter des questions d plac es est de conna tre le groupe interrog et de ne pas se fier des st r otypes Une histoire br ve peut expliquer ce point Un chercheur effectuait un essai pr liminaire l aide d un questionnaire aupr s de personnes utilisant des services de sant mentale Durant cet essai les chercheurs ont exprim leur surprise sur le fait que les personnes interrog es pouvaient comprendre certains concepts difficiles Agac e une de ces personnes a alors r pliqu Je suis peut tre fou mais pas b te GAO 1986 CARE S amp E 152 Fiche A 11 BRAINSTORMING DE GROUPE Le brainstorming est une technique pour rassembler des id es de base et est employ e dans un grand nombre d exercices de groupe Elle se base sur une discussion libre qui commence par une question ouverte et parfois provocative pos e par le facilitateur Il faut viter des nonc s d ouverture qui peuvent sugg rer des r ponses Il faut s assurer que ces nonc s n encouragent ni n insistent
172. nt habituellement l examen de la conception du projet buts et plans de la mise en application apports et r sultats et des cons quences effets et impacts Typiquement une valuation examine l efficacit le bon fonctionnement la durabilit et la pertinence d un projet Les r sultats voulus ou non et les facteurs influen ant le niveau de tout b n fice produit et sa distribution sont particuli rement tudi s Le but principal de l valuation est de guider les CARE S amp E 128 Annexe 1 Glossaire personnes responsables des prises de d cision se r f rer aux personnes ayant un int r t dans le projet Evaluation mis cours de projet Ces valuations ont gen ralement lieu au milieu de la dur e de vie d un projet alors que les interventions sont en cours Elles sont galement d sign es par le terme valuations formatrices Elles ont pour but principal d valuer les progr s d un projet et de faire des recommendations sur l am lioration du projet durant sa seconde partie Evaluation finale C est une valuation qui a lieu a la fin ou pr s de la fin du projet quelquefois appel e valuation de r capitulation Cette tude contribue au rapport de fin de projet Afin d examiner les effets et les impacts du projet l valuation finale est habituellement li e aux conditions de la population cible avant le projet en recueillant et analysant des informations similaires celles de l
173. nt telle qu elle l heure actuelle et ce qu elle sera une g n ration plus tard But La cartographie historique peut tre extr mement utile pour introduire une dimension de temps dans P valuation de l environnement et ou les exercices de rescencement impliquant la participation des b n ficiaires Cette m thode permet d offrir une vidence visuelle des changements qui ont eu lieu et des tendances esp r es De cette fa on elle aide identifier les facteurs qui provoquent la d t rioration de l environnement et la croissance de la population Elle incite les participant consid rer des moyens plus appropri s pour quilibrer ou contr ler ces probl mes Etapes pour utiliser cette technique Une carte de la situation d mographique et environnementale actuelle est trac e avec la collaboration des participants Avec l aide des membres plus g s de la communaut cet exercice est r p t pour d crire approximativement la situation telle qu elle tait vingt ann es auparavant Les deux cartes sont alors compar es souvent par brainstorming pour identifier ensemble les changements principaux et leurs causes En fonction de la liste des changements et des causes une carte peut tre dessin e par les participants pour montrer la fa on dont ils envisagent la sitution dans 20 ou 30 ans si les tendances actuelles restent les m mes La carte future peut tre revue pour examiner les diff rences ent
174. nt utilis s pour soutenir les activit s Ces deux l ments contribuent aux r sultats CARE S amp E 29 Chapitre 4 Concepts cl s les produits d un projet Ces trois composants sont contr l s par les employ s du projet Ces derniers sont donc responsables et doivent donc rendre compte de l tendue et la qualit des r alisations Les deux derniers niveaux d pendent des r ponses au sein de la communaut vis e Ce sont les effets r ponse de la population aux r sultats apport s par le projet telle qu un changement de comportment et les impacts changements durables au niveau domestique Bien que le projet ne soit pas strictement responsable pour les deux derniers niveaux car ils d pendent de la population et autres personnes ext rieures le projet est responsable pour les strat gies suppos es produire les effets d sir s CARE S amp E 30 Hi rarchie des objectifs Hi rarchie des R sultats Description Origine Attribution P riode Exemples objectifs But final But interm diaire R sultats Apports CARE S amp E Changements durables dans les conditions de vie ou le bien tre des populations vis es au niveau domestique R actions et actions des populations concern es suite aux interventions du projet Produits r sultant du projet Interventions ou activit s du projet Ressources utilis es dans le cadre du projet Groupes vis s en font l exp rience Peut tre p
175. nts utiles pour faciliter cet apprentissage et pour guider dans la pratique Les personnes id ales pour d velopper de tels documents sont celles se trouvant sur le terrain Leur exp rience et leurs perspectives sont utiles leurs coll gues op rant dans d autres pays et sur d autres projets Le d fi est de trouver des personnes avec suffisamment d expertise et assez de temps et d nergie pour articuler cette exp rience de fa on qu elle soit utile d autres C est donc une joie de trouver et partager un document tel que les directives de S amp E mises au point par l quipe de CARE Ouganda Dans ses efforts pour am liorer ses capacit s de surveillance et d valuation le personnel de CARE Ouganda a form un groupe de r flexion sur le S amp E Les membres comprennent des repr sentants de projets et de secteurs de CARE Ouganda sous la direction de Geoffrey Chege directeur adjoint et de Nick Ritchie directeur Avec l aide de Tom Barton consultant ce groupe de r flexion a identifi les avantages et les inconv nients des capacit s de S amp E pour chaque projet Il a ensuite organis un atelier sur le S amp E pour les employ s cl s engag s dans tous les projets Finalement a partir des conclusions de ces derniers des directives ont t labor es Bien que le public vis fut au d part le personnel de CARE en Ouganda il me parait vident que ce document puisse tre retenu pour l ensemble du person
176. ogie incorpore g n ralement des techniques pour transformer les connaissances acquises en d cisions pratiques et ou des plans d action r alisables PARTICIPATION DES BENEFICIAIRES Pr occupation gale pour le proc d et les r sultats La recherche active consiste recueillir des informations rapidement et correctement Cette m thode vise galement rendre les participants conscients des implications du probl me tudi et les assiste pour agir de fa on ad quate CARE S amp E 139 Annexe 4 M thodes outils Une communication incorpor e et une strat gie ducative pour faciliter la participation des b n ficiaires Bien que les rapports crits finaux soient utiles pour des objectifs institutionnels ou de formation les ateliers intensifs sont consid r s comme les moyens les plus importants pour offrir un feedback aux institutions locales et a la communaut en g n ral Nouvelle d finition du r le des professionnels de d veloppement Les professionnels sont cens s agir plus comme des facilitateurs et moins comme des experts dans leur domaine Les m thodes de travail sont s lectionn es et valu es partir d une perspective de technologie appropri e pour la communaut La pr cision et l exactitude des r sultats sont moins importants que la ponctualit et la facilit d emploi de la recherche et des techniques de prise de d cision Avec une facilitation comp tente et discr
177. on d velopper un plan final de S amp E une des tapes interm diaires sera d assembler des informations pour la direction avec suffisamment de d tails au sujet des taches des responsables et de l emploi du temps C est une tape essentielle pour d cider de l allocation des ressources y compris la dur e le personnel et les budgets La matrice suivante est un outil qui peut aider lors de ce proc d CARE S amp E 118 Chapitre 11 Plannification des activit s de S amp E Matrice pour l laboration d un plan de travail de S amp E du temps collecte de donn es sont elles donn es diss min es Pourquoi Pour qui Quand Qui est Qui Quels Qui recueille Qui Comment les rapports emploi responsable participe moyens les donn es analyse les informations Etude de base Syst me de surveillance Evaluation en cours de projet Evaluation finale Evaluation post facto CARE S amp E 119 Chapitre 11 Plannification des activit s de S amp E Pr paration logistique La pr paration logistique du projet se rapporte principalement la pr partion de plans de travail pour le personnel et les activit s du projet et les budgets J Le personnel de projet est suppos tre familier avec la Plan de travail pr paration de plans de travail et de budgets Ceci sert juste rappeller qu un plan de travail d taill sera critique pour la rapidit et le bon fonctionnement
178. on le nombre de jeunes filles arrivant en ge de procr er ne cesse de croitre chaque ann e Par cons quent si la proportion des femmes utilisant les services reste la m me en fait le projet atteindra un plus grand nombre de femmes Il est donc important de documenter la fois les chiffres et les pourcentages de fa on pouvoir d crire les r alisations du projet ou les besoins de la poulation vis e Agr gats de donn es Le niveau de donn es collect es constitue un facteur important affectant le co t de la collecte et la m thode d analyse de tout indicateur Les indicateurs peuvent tre r unis mis en commun ou combin s au niveau national Ils peuvent galement provenir de sources nationales et seront alors applicables seulement ce niveau Le produit int rieur brut PIB par exemple provient des comptes nationaux Une seconde cat gorie d agr gats d indicateurs vient du niveau local communaut village secteur Les exemples sont la disponibilit de facilit s m dicales ou d coles dans chaque village secteur et leur condition Une troisi me cat gorie d indicateurs est bas e sur les m nages ou les personnes et sont habituellement obtenus au moyen d un recensement ou d un sondage Le taux d alphab tisation ainsi que la taille et le poids des enfants en sont des illustrations De fa on g n rale les aggr gats de donn es sont plus facile recueillir que les indicateurs individuels mai
179. on parmi un groupe de contr le et viter les digressions Certaines personnes peuvent essayer de dominer la discussion d autres peuvent avoir de bonnes id es mais sont trop timides pour les exprimer Lorsque des opinions divergentes font irruption dans une discussion de groupe il peut tre difficile de d terminer lesquelles sont justes Lorsque des discussions non structur es sont utilis es de fa on informelle pour recueillir des informations il est possible d obtenir des informations sans que les participants en attentent quelque chose Par contre avec des discussions structur es il peut parfois tre difficile de former un groupe et quand des personnes participent elles esp rent tre compens es d une certaine fa on Les interviews ouverts et les techniques de groupe sont le mieux utilis s en prenant des notes d taill es cherchant noter les expressions et les mots exacts des r pondants citations ou comptes rendus mot mot Les enregistrements peuvent galement tre utiles mais seulement si ceci est acceptable pour les r pondants Il est n cessaire d tre sensibles aux communaut s surtout si les r ponses sont enregistr es par crit et encore plus si elles le sont au moyen d un magn tophone CARE S amp E 90 Chapitre 8 M thodes de collecte de donn es PRINCIPALES TECHNIQUES POUR LA COLLECTE D INFORMATIONS NOUVELLES UN TABLEAU COMPARATIF POUR FACILITER LA SELECTION Techniques O
180. ondie de la population et de son environnement Il y existe cependant plusieurs limites potentielles Les informations peuvent tre incompletes influenc es ou ne sont peut tre pas fiables En g n ral les m thodes de collecte ne sont pas d crites L acc s aux documents varie et certains organismes peuvent demander une participation financi re pour consulter leurs informations d autres n en permettent l acc s qu avec plusieurs lettres de recommendation L extraction du contenu et l interp tation des donn es secondaires seront am lior es si un ensemble de questions ouvertes sont syst matiquement utilis es Quelques questions possibles suivent Probl mes nature tendue et distribution De quelles informations disposons nous d j au sujet de la population et de l environnement ainsi que sur les probl mes se posant aux personnes dans cette r gion Que connaissons nous au sujet de la distribution de probl mes principaux se posant aux habitants de la r gion tudi e Quelles sont les influences et les relations entre l ge le sexe appartenance ethnique adresse la structure familiale l ducation etc Attitudes Quelles attitudes posent un risque aux communaut s Quelles attitudes la prot gent Que savons nous sur les facteurs influen ant les changements d attitude parmi les habitants de cette r gion comp tences sociales attitudes supportives groupes sociaux etc
181. ons correctes e Si elle se base sur des informations indirectes ces sources sont elles cr dibles Cr dibilit Certaines personnes ont tendance a se vanter D autres ont beaucoup d imagination et exag rent inconsciemment D autres encore essaient de se donner de importance en r pondant de fa on incorrecte Une liste de contr le peut comprendre les questions suivantes e La personne interrog e s exprime t elle trop facilement de fa on autoritaire e R fl chit elle avant de r pondre et semble t elle percevoir les probl mes e Ses r ponses sont elles bas es sur des consid rations pratiques Capacit et bonne volont CARE S amp E 149 Annexe 4 M thodes outils Il est difficile pour certaines personnes d exprimer leurs sentiments leurs jugements et leurs opinions sp cialement quand elles s adressent a des inconnus Ce probl me est renforc lorsque l intervieweur est issu d un milieu socio conomique sup rieur Motifs secrets Des personnes peuvent avoir des motifs secrets pour fournir des informations inexactes Le personnel logistique peut exag rer les performances et l impact des activit s agricoles Un employ d un service m dical peut exag rer les probl mes rencontr s pour atteindre les populations vis es Le personnel d un projet poss de un int r t personnel la promotion des activit s Des imperfections peuvent galement passer sous silence Souvent ce parti pris
182. ortent Si le syst me de S amp E est jug utile durant la phase de mise en application il est fort probable qu il soit aussi durable Un syst me de S amp E impliquant les b n ficiares devrait constituer un des avantages du projet La participation ne permet pas seulement de donner une chance aux personnes d tre impliqu es dans la pr paration et les activit s de S amp E cela permet galement de leur donner le pouvoir d influencer les d cisions ou r sultats finaux en fonction des informations obtenues La case suivante contient une courte liste de contr le qui peut tre utile pour valuer le niveau de participation dans la conception d un syst me de S amp E CARE S amp E 53 Chapitre 5 Plannifier pour obtenir des informations utilisables Liste de contr le pour valuer le niveau de participation la conception d un syst me de S amp E A t il t con u avec la participation de toutes les personnes ayant un int r t dans le projet Implique t il la participation de la population vis e par le projet Peut il tre inclu dans les activit s d agences collaboratrices Est ce que le personnel et les membres de la communaut responsable pour les activit s de S amp E ont les comp tences n cessaires Ce syst me peut il tre maintenu tout au long du projet Peut il tre maintenu par d autres groupes apr s que le projet soit termin Planification du syst me de S amp E avant la mise
183. ou le nombre d enfants mesur s Sources de donn es L origine des informations y compris les personnes les registres les documents le sol l eau etc Suppositions Circonstances ou conditions d terminant le succ s d un projet mais qui se trouvent hors de contr le du personnel du projet Celles ci peuvent comprendre des croyances par les personnes ayant con u le projet au sujet de l environnement Il peut s agir d hypoth ses sur des influences ext rieures par exemple des conditions m t orologiques des tendances conomiques ou bien le r le du gouvernement ou d autres institutions ainsi que des suppositions sur les participants par exemple les femmes dans le groupe vis qui contr lent les revenus du m nage ou bien les agriculteurs qui contr lent le p turage dans des champs bois s M me si le personnel du projet n exerce pas de contr le sur la plupart de ces facteurs il est important de les conna tre de les noncer dans un cadre logique et de les surveiller durant la dur e de vie d un projet de fa on ce que la plan du projet puisse tre modifi e si n cessaire Surveillance La surveillance se rapporte au processus continu de collecte d analyse et de l utilisation de donn es afin de guider la mise en application du projet Les activit s de surveillance se concentrent sur les apports les performances et les progr s Un plan de S amp E bien con u lie les informations de surveillance
184. oulu Utiliser des outils de collecte et d analyse simples Pr parer l avance consulter les personnes fournissant les informations rechercher la participation active des partenaires homologues communaut s Cr er un emploi du temps avec des dates limites D l guer et partager les responsabilit s en ce qui concerne la collecte l analyse et la pr sentation des informations Sensibiliser les participants au sujet de la ponctualit Cr dibilit Comment pouvons nous promouvoir la cr dibilit CARE S amp E des informations Cr er soigneusement des m thodes de collecte de donn es Veiller rester conh rent en utilisant des m thodes qui peuvent tre r p t es et qui montrent des tendances Veiller rester objectif lors de la collecte l analyse et l interpr tation des informations Chapitre 2 Utilisateurs d informations Expliquer les m thodes utilis es pour obtenir des donn es et tirer des conclusions hypoth ses liens statistiques entre les sources m thode de recueil de donn es analyse et r sultats Discuter les questions d attribution les r sultats sont ils dus au projet Maintenir votre r putation et celle de l organisation Pourquoi les informations sont elles n cessaires Dans quels buts Quelles d cisions ou actions seront affect es Buts des informations Les deux principaux usages des informations produites par ou au sujet des projets sont les suivant
185. plus fr quentes ou bien extr mes du genre assez indiff rent e tr s s r e etc Cela peut galement tre fait en remarquant combien de fois le probl me a t mentionn selon quel degr les personnes interrog es ont elles ressenti cette question quel risque tait li au sujet etc Notez qu il est possible voire d sirable d inclure des opinions et des nonc s diff rents ou oppos s Questions d analyse de donn es sp cifiques CARE Les probl mes suivants ont t soulev s lors d atelier sur le S amp E de Kabale en 1996 en ce qui concerne l analyse de donn es dans le cadre de CARE Ouganda e Limites de temps Les responsables de projet ont pens que l quilibre entre le recueil de donn es l analyse et le compte rendu des r sultats avait tendance tre d form Il faut beaucoup de temps pour organiser les donn es et rendre CARE S amp E 104 Chapitre 9 Analyse des donn es compte des r sultats Il n en reste alors plus beaucoup pour analyser de fa on critique les informations et arriver des conclusions ad quates e Attentes vis vis des donn es Bien que le volume des informations soit un probl me pour les projets ce n est peut tre pas une obstruction plus importante que le manque de compr hension au sujet de l utilisation des donn es Souvent le personnel et les homologues en arrivent penser que les informations sont recueillies seulement parce
186. probl mes les plus importants et en utilisant des concepts directs Des exemples de sources de donn es primaires comprennent e Les populations vis es leur exp rience sur les questions affectant leurs vies leurs observations et opinions au sujet de la stat gie du projet e Le personnel du projet les observations sur les population qu ils servent leurs exp riences sur l organisation du projet e Autres parties int ress es telles que les agences travaillant galement avec les b n ficiaires ou avec des populations semblables Biais et sources de donn es questions affectant la s lection des sources d information Il y a plusieurs erreurs potentielles dans la s lection des sources d information relatives aux indicateurs Les deux risques importants ne pas oublier dans la CARE S amp E 73 Chapitre 7 Sources et chantillons conception d un syst me d information de S amp E d un projet comprennent I aspect saisonnier et l chantillonnage L influence saisonni re se rapporte la collecte d informations durant une saison sp cifique Les indicateurs influenc s par les saisons ou le temps sont plus m me d tre affect s revenus li s aux cultures marchandes L aspect saisonnier peut galement influencer la volont de participer Par exemple il n est pas raisonnable d esp rer que les adultes soient chez eux le matin pr ts participer un interview durant la saison d
187. pulation aux r alisations du projet c d changement d attitude Changements politiques et institutionnels Les indicateurs de rendements r alisations du projet par ex agriculteurs form s pour une certaine activit agricole Distribution et r alisations actuelles versus plannifi es Ressources pour les activit s du projet personnes mat riel fonds POURQUOI est ce surveill Pour valuer les contibutions durables du BI au BF succ s Pour valuer les risques les contraintes et les r sultats n gatifs Pour valuer la contribution des rendements au BI succ s Pour valuer les risques les limites et les r sultats n gatifs Pour valuer les progr s r alis s Pour valuer les questions de d veloppement institutionnel Programmation de l allocation des ressources Programmation et contr le budg taire COMMENT est ce surveill Evaluations sp ciales par le personnel du projet et les b n ficiaires par exemple tude de cas Evaluations r guli res par le personnel du projet et la population Utilisation de donn es recueillies par les animateurs et groupes cibles dans rapports mensuels Rapports mensuels par le personnel de terrain Rapports de d penses par cat gorie de d penses OU est ce surveill source des informations Primaire M nages Secondaire statistiques r gionales autres institutions Primaire M nages Se
188. quantitatifs des chiffres ou des aspects qualitatifs des mots Un indicateur est comme un jalon qui montre quels progr s ont t accomplis les objectifs montrent quels progr s il reste accomplir Les indicateurs peuvent galement repr senter des mesures r capitulatives Par exemple quand ils sont un indice compos de plusieurs indicateurs de niveau inf rieur tel que l index de d veloppement humain Human Development Index utilis par le PNUD Interventions Les biens et services distribu s aupr s des populations cibles durant le projet Interview avec informant cl Un interview avec une personne qui dispose d informations sp ciales sur un sujet particulier Par exemple une personne avec une exp rience directe sur une certaine condition une personne offrant une formation ou autres services directs aux personnes ou une communaut en particulier etc Ces interviews sont g n ralement conduits de fa on ouverte ou semi structur e permettant ainsi l intervieweur de questionner plus fond et de suivre des sujets importants Mise en application Cette phase du projet a lieu lorsque les interventions vers les populations vis es prennent place Le personnel utilise les ressources pr cis es dans le document du projet et dans le cadre logique pour mettre en uvre des activit s afin d atteindre les objectifs auparavant d crits Observation des participants Une m thode de collecte de donn es o l
189. quent parfois trop souvent en fait que les organisations comptent trop sur des consultants pour concevoir des syst mes ou sur des personnes ext rieures pour valuer les projets Biais quantitatif Les personnes travaillant sur un projet et celles utilisant les informations se plaignent souvent du biais quantitatif Une tendance organisationnelle utiliser presque exclusivement des diagrammes log frames voir chapitre 4 renforce cette faiblesse Les informations n cessaires sont typiquement sous forme num rique Une trop grande d pendance dans les diagrammes peut donc r sulter en un usage trop important CARE S amp E 21 Chapitre 3 Avantages Inconv nients duS amp E d informations chiffr es qui ne prennent pas en compte les explications les voix humaines et la nature exacte de la situation Syst mes d information ne sont pas prioritaires Dans de nombreux cas la collecte les donn es demeure un travail suppl mentaire effectu durant ou apr s des taches plus importantes li es aux interventions du projet Participation limit e a la collecte de donn es Beaucoup d employ s ne comprennent pas l importance de la collecte de donn es Ils ne savent pas de quelle fa on ces informations contribuent leur travail Ce probl me est d autant plus courant lorsque les employ s ne participent pas la pr paration de la collecte de donn es ou l analyse de ces informations Faible feedback
190. ques ou servent d illustration Il est parfois difficile de d cider quelle citation utiliser La s lection peut se trouver facilit e cependant en effectuant un retour en arri re sur le but principal de l tude Description simple Lisez le texte complet de toutes les sessions de donn es interviews groupes de contr le observations etc depuis le d but jusqu la fin Etudiez d abord les passages paragraphes ou phrases qui parlent des sujets originaux s lectionn s durant l tude Utilisez la marge de droite pour marquer les passages en relation avec chacun des th mes plannifi s et mergeant Regroupez les passages par th mes principaux Ceci peut tre effectu par exemple en photocopiant ou en recopiant les passages sur des fiches et en regroupant physiquement les id es Revoyez les diff rents sous groupes contenus dans chaque th me D cidez si la liste est compl te CARE S amp E 103 Chapitre 9 Analyse des donn es Obtenir une signification c est dire l interpr tation Les l ments cl s ce point produisent une cha ne logique d vidences cherchant la plausibilit cela a t il un sens ou non et valuant l importance des r sultats Il faut avoir de bonnes aptitudes de r capitulation et de la perspicacit pour travailler avec des donn es qualitatives Il faut pouvoir obtenir un contenu significatif partir d nonc s souvent longs et incoh rents Une gamme d outils utiles
191. question critique d valuation du progr s et du succ s du projet soit les indicateurs Les sources d information et les moyens de s lectionner des chantillons plus petits tout en tant repr sentatifs sont discut s dans le chapitre 7 La partie suivante passe en revue les m thodes de recueil d information CARE S amp E 7 Introduction Les tapes importantes d analyse des informations sont abord es dans le chapitre 9 les conclusions et la mise en application dans le chapitre 10 Finalement le chapitre 11 aborde les moyens d institutionnaliser les plans de gestion des informations surveillance et valuation dans le cadre des projets CARE Les annexes comprennent galement du mat riel de r f rence utile L annexe 1 pr sente tout d abord un glossaire de termes et concepts cl s Les abbr vations couramment utilis es par CARE sont ensuite d crites dans l annexe 2 L annexe 3 comporte un ensemble de suggestions pour quelques documents cl s de S amp E L annexe 4 comprend de br ves pr sentations de techniques de recueil et d analyse de donn es L annexe 5 pr sente un tableau de comparaison des termes utilis s pour des concepts similaires de plannification par une grande vari t de donateurs et d organismes d aide Enfin la derni re annexe pr sente les r f rences utilis es lors de la pr paration de ces directives et peut servir de guide pour toute personne d sirant tudier ces sujets plus
192. questions ouvertes qui peuvent tre syst matiquement pos es au sujet des donn es rapports etc Se r f rer l annexe 4 fiche A 2 pour des suggestions au sujet d une telle strat gie Donn es primaires Si la r ponse la question num ro 1 est NON ou bien si les donn es secondaires disponibles ne r pondent pas compl tement aux besoins d information du projet il est alors n cessaire de rassembler de nouvelles informations Cela nous am ne la question suivante CARE S amp E 84 Chapitre 8 M thodes de collecte de donn es QUESTION num ro 2 Donn es qualitatives et ou quantitatives Quels types de donn es sont n cessaires qualitatives images ou mots ou quantitatives chiffres Quel degr de pr cision est n cessaire Donn es qualitatives et quantitatives On distingue deux sortes principales d informations produites durant la collecte de donn es qualitatives et quantitatives La diff rence la plus vidente entre ces deux cat gories r side dans leur forme Les informations quantitatives apparaissent sous une forme num rique montants ou proportions tandis que les informations qualitatives sont d crites gr ce des mots des diagrammes ou des images descriptions d v nements attitudes observ es citations directes ou cartes Les donn es quantitatives sont videmment n cessaires lorsque des nombres des taux ou des proportions au sujet de la population vis e doivent
193. questions se r f rer aux exemples des tableaux 3 14 3 15 est utilis e pour guider la discussion Buts Les groupes cibles sont de plus en plus utilis s come outil des m thodes participatives de recherche afin d identifier et de d crire les perceptions les attitudes et les besoins des b n ficiaires Etapes pour utiliser cette technique Cr ez un guide pour guider la discussion structure de l interview se r f rer aux tableaux 3 14 3 15 D cidez du nombre de groupes Dans une communaut de petite taille deux groupes de 6 a 12 personnes chacun et repr sentant des cat gories oppos es hommes et femmes agriculteurs et bergers pauvres et riches etc suffisent Soyez pr t e organiser des sessions suppl mentaires si la discussion n aboutit pas les personnes ne viennent pas le facilitateur ne peut viter les digressions etc S lectionnez des facilitateurs appropri s Ceci quivaut rechercher des personnes du m me ge du m me sexe ou utilisant la m me langue les groupes cibles fonctionnent mieux lorsque le dialecte local est utilis L intervieweur sert de facilitateur du groupe et une seconde personne prend des notes Cette derni re doit tre capable d crire rapidement afin de saisir les expressions des participants aussi fid lement que possible Il peut tre utile d enregistrer la session mais seulement si les participants donnent leur permission Animez des groupes cibles avec d
194. r e du projet 31 Chapitre 4 Concepts cl s po de storks E CARE S amp E 32 Chapitre 4 Concepts cl s Le sh ma suivant montre une autre fa on de comprendre les niveaux de l approche logique lire le sh ma progressivement de bas en haut Objectifs accompliront ou contribueront aux Pa Hypotheses au sujet du contexte selon certaines Rendements seront suffisants pour permettre les Ns Hypoth ses au sujet du contexte selon certaines Activit s seront suffisantes pour permettre les Ze Pr conditions selon certaines D apr s DANIDA LFA 1996 Par exemple imaginez un projet cherchant r duire le nombre de cas d enfants atteints de diarrh e gr ce l usage d eau potable Si ce projet fore et quipe des trous de sonde qui ne sont pas utilis s le planning logiques du projet ont alors CARE S amp E Chapitre 4 Concepts cl s besoin d tre revus Les strat gies doivent galement changer de fa on a accomplir les effets d sir s Objectifs R duire les maladies provoqu es par l eau accompliront ou contribueront Hypoth ses au sujet aux ra du contexte employ s des services d hygi ne x conduisent des Apports selon certaines campagne de Un ee sensibilisation approvisionnement en eau potable durable seront suffisantes pour permettre les Hypoth ses au sujet du contexte proposition de Activit s Cr ation et installat
195. r mesurer la pr dominance et la distribution d un probl me Donn es qualitatives Efficace pour mesurer la port e et la nature d un probl me Donn es qualitatives Peut tre efficace pour conna tre les perceptions et les attitudes Donn es qualitatives Conditions n cessaires Compt tences n cessaires dans la cr ation de questionnaires Demande du temps pour un sondage pr liminaire N cessite une formation Comp tences et sensibilit n cessaires pour maintenir l attention et pour obtenir l opinion de toutes les personnes pr sentes Comp tences n cessaires pour pr parer les sujets et faciliter la discussion N cessite un endroit sp cifique pour les r unions Comp tences n cessaires pour mobiliser les participants et faciliter les discussions Chapitre 8 M thodes de collecte de donn es Avantages Peut tre effectu rapidement sur le terrain Comp tences n cessaires moins importantes pour l intervieweur Efficace pour obtenir des informations aupr s d un grand nombre de personnes Le partage des taches avec les membres du groupe peut apporter des informations plus profondes Avantageux Plusieurs opinions Montre les diff rences et les similarit s Efficace pour des activit s de brainstorming c est dire pour chercher des solutions Inconv nients Habituellement effectu aupr s et non avec la population vis e Apporte peu de r
196. r durant la dur e de vie d un projet car il faut du temps pour qu ils puissent se manisfester et donc tre mesur s Un contr le partiel peut avoir lieu lorsque des tudes de cas de sous groupes s lectionn s par exemple des agriculteurs qui ont particip activement aux formations et activit s du projet d s le d but La surveillance des impacts aide comprendre si les strat gies sont r ellement efficaces et si elles contribuent ou non au but final Les indicateurs ce niveau ont tendance se concentrer sur le d veloppement influence sur le revenu ou sur les mod les de consommation auto suffisance et capacit de faire face aux fluctuations saisonni res Les donn es au sujet des effets et des impacts du projet sont recueillies durant la p riode d valuations de la surveillance et peuvent tre d ordre soit qualitatif soit quantitatif Bien que la source principale d informations demeure les interviews directs et les observations des membres de la population concern e cette forme de surveillance peut galement comprendre des donn es provenant de rapports routiniers ou manant d institutions collaborant au projet CARE S amp E 39 Chapitre 4 Concepts cl s La surveillance des objectifs Cette forme de suivi permet de v rifier si les objectifs du projet ont t atteints ou vont l tre selon les circonstances existantes Cela permet galement de v rifier la pr sence de tout effet impact inattendu
197. r la communaut bas es sur les visites dans chaque m nage ou sur un chantillon de familles identifi es et compt es sur la carte de ressources sociales Strat gies alternatives pour identifier les informations 4 recueillir Informations obtenues aupr s de la communaut que veulent les responsables de la communaut De quoi ont ils besoin pour les aider mieux servir les besoins des habitants Commencez avec des techniques qualitatives groupe cible interviews avec un informant cl etc pour obtenir des renseignements de la part des habitants sur ce qui doit tre inclus dans le questionnaire du sondage Informations pr liminaires obtenues gr ce au projet quelle gamme d activit s peuvent tre entreprises par le projet dans cette r gion ou le programme pour le projet Quels indicateurs aideront d cider o concentrer les efforts Informations sp cifiques obtenues gr ce au projet en fonction de quelques activit s envisag es quels indicateurs pourront tre mesur s durant l tape des r sultats et devront donc tre recueillis durant l tude de base pour une comparaison ult rieure Informations li es au service combien de fois les m nages ont ils utilis les services actuellement disponibles dans la r gion Si oui quelles sortes de services Autres consid rations sur les donn es CARE S amp E Les donn es recueillies doivent tre utiles ne doivent pas tre collect es juste parc
198. re sugg rer des r ponses que le r pondant pense que l enqu teur esp re En commen ant avec ce qui est connu localement et en impliquant les r pondants les approches participatives portent un d fi aux tendances conventionnelles plut t bas es sur une connaissance scientifique et une forte autorit centrale En acceptant ce d fi cependant le personnel du projet aura besoin de faire preuve d autocritique et de se poser les questions suivantes e Comment pouvons nous nous assurer que la classification locale des sols utilise vraiment au mieux les ressources e Sur quelle base pouvons nous assumer que les moyens traditionnels de contraception sont vraiment efficaces et ne comportent pas de risques e Jusqu a quel point les perceptions de l histoire communautaire dans la r gion produisent une base pour les prises de d cisions e De quelle fa on pouvons nous valuer ou mesurer le degr d unanimit obtenu durant une r union de pr paration et d valuation o les b n ficiaires taient pr sents e Comment pouvons nous tre s r e s que les institutions locales utiliseront vraiment l aide externe pour en faire b n ficier au maximum la communaut CARE S amp E 86 Chapitre 8 M thodes de collecte de donn es Techniques de collecte de donn es impliquant les b n ficiaires Quelques exemples bien connus Technique Outil Objectif Utilisation Cartographie participative Fiche A 3 Dia
199. re ce qui est projet et ce qui est d sirable La discussion peut ensuite progresser de fa on identifier les moyens possibles pour rem dier aux d t riorations de environnement et pour pr venir la croissance de la population Avantages et inconv nients Cette technique peut tre tout fait appropri e pour r capituler les r sultats d une valuation plus approfondie sur l environnement et la d mographie Cette m thode aide les participants r aliser que les changements les plus positifs et les plus n gatifs au niveau de l environnement et de la population sont provoqu s par des actions humaines travers le temps La cartographie historique permet d identifier des solutions moyen ou long terme pour r soudre les probl mes d mographiques et environnementaux L exercice est long et complexe Au moins trois sessions avec le groupe sont n cessaires pour compl ter le trac des cartes et les discussions Des probl mes d licats appartenant au pass peuvent ressurgir y compris des conflits au sein de la communaut ainsi qu entre la communaut et des personnes ext rieures L analyse identifiera certainement des effets et des causes qui sont hors du contr le de la communaut Les participants peuvent alors devenir d courag s et frustr s CARE S amp E 143 e Fiche A 5 METHODE ACCELERE DE RECHRCHE PARTICIPATIVE MARP Les informations propos des groupes sociaux peuvent tre
200. rganisation non gouvernementale NGO BAD rennes Program Assessment and Development fait partie de la division des programmes de CARE USA PA MA encens Plan annuel de mise en application PEV ma Programme largi de vaccinations EPT Ponte Planning familial PIB sun Produit int rieur brut PIB made nn Produit int rieur brut GNP TS PER Ne Plan individuel d op ration IOP POA nantes Plan d op ration annuel AIP CARE S amp E 133 CARE S amp E Annexe 2 Abbr vations Plan d op ration individuel Rapport de mise en application du projet APT Ressources agricoles et naturelles Rapport d execution de projet PIR Rapport financier de l tranger Rapport de mise en application du projet PIR Regional Management Unit fait partie de la division des programmes de CARE USA Responsable de terrain Suivi et valuation M amp E Securit de conditions de vie de menage HHLS Sage femme traditionnelle Syst me d information de gestion MIS Unit de direction r gionale fait partie de la division des programmes de CARE USA 134 Annexe 2 Abbr vations Outres termes traduit Analyse de budget EAR Expense Analysis Report Animatuer animatrice field extension worker Ateet se workshop Cadre logique Logframe Cibl ss nement targets Consequences outcomes Discussion avec groupe des invit es focus group
201. rojet L chantillonnage est une strat gie pour s lectionner des sous groupes de petite taille qui repr senteront correctement les tendances de la population vis e dans son ensemble L chantillonnage consiste principalement e conomiser des ressources n cessaires pour recueillir et superviser les donn es d sir es e am liorer la qualit des donn es Il est bon de se poser les questions suivantes au sujet de l chantillonnage Pourquoi les informations sont elles recueillies aupr s de ces sources Quel est l objectif de l tude du sondage Par exemple cette tude est men e afin de recueillir des informations pour la pr paration la surveillance pour les relations avec les gouvernements pour identifier les populations vuln rables etc Pour quels sous groupes de la population les r sultats sont ils n cessaires Par exemple ce sondage s adresse t 1l s adresse sp cifiquement aux agricultrices cultivant des bananes sur au l tude moins 1 4 d hectare de terre ou bien s adresse t il plus g n ralement a tout agriculteur cultivant des bananes pour les revendre A qui Quel groupe de personnes ou quel type de m nage ou de Qui ferme feront partie de l chantillon Quel groupe plus large participe au f j chantillon est il cens repr senter Par exemple certains sondage f projets de RAN ont uniquement inclu dans leur chantillon des agriculteurs ayant une format
202. rovoqu par les groupes ou institutions locales concern s Groupes vis s en font l exp rience Peut tre provoqu en r ponse aux interventions du projet Le personnel du projet en est a l origine et en porte la responsbilit Le personnel du projet l accomplit Le personnel du projet les utilisent et en sont responsables L attribution est difficile 4 cause d influences ext rieures importantes et in vitables Devrait tre attribu en grande partie au projet avec quelques influences ext rieures assez faibles Attribution a 100 au projet Attribution a 100 au projet Attribution a 100 au projet Chapitre 4 Concepts cl s La mortalit infantile dans le sous comt de Nyarusiza dans le secteur de Kisoro a diminu de 20 Parfois mesurable dans les limites du projet par exemple par l interm diaire d tudes de cas mais le plus souvent l est post facto Dans les limites de la dur e du projet La demande et l utilisation pour des services de planning familial a augment Formation de 75 distributeurs de PF bas s sur la communaut Dans les limites de la dur e du projet 8 sessions de formation pour le personnel m dical du secteur sur les m thodes de PF Fournitures de PF disponibles tout au long de l ann e dans les unit s de soins sans rupture Dans les limites de la dur e du projet Dans les limites de la du
203. rveillance interne des La surveillance questions financi res physiques et organisationnelles institutionnelle affectant le projet Le contr le financier consiste v rifier les apports et les co ts par activit selon les cat gories pr d termin es de d pense La surveillance physique d signe le suivi de la distribution et de la r alisation des activit s et des r sultats interventions La surveillance organisationnelle permet de contr ler la durabilit du projet le d veloppement institutionnel et la cr ation de capacit s La surveillance du contexte quivant au suivi de l environnement dans lequel un projet op re ainsi que du contexte de l influence des pr somptions et des risques sur le d roulement du projet Ceci comprend la surveillance des questions institutionnelles et politiques pouvant influencer la capacit d agir ou la capacit de la population a r agir au projet Ces questions sont quelques peu abord es durant la surveillance et surtout durant les valuations La surveillance Cette cat gorie correspond 4 la surveillance des effets du projet r action de la population aux rendements interventions du projet et des impacts contribution a un changement fondamental et durable pour la population Les effets sont abord s d une certaine fa on durant la surveillance mais le plus souvent durant l valuation Les impacts sont rarement valu s durant la surveillance La surveillance des r
204. s a Informer les personnes qui doivent prendre des d cisions soit dans le cadre du projet soit l ext rieur b Apporter des explications aux personnes qui d sirent en apprendre plus partir du projet r alisations limites et checs Voici quelques exemples de ces deux usages CARE S amp E Suivre les progr s physiques et financiers de fa on ce que des d cisions puissent tre prises ou revues au sujet des d penses et de la distribution de ressources Ces d cisions permettront au projet de continuer fonctionner et ceci dans les limites budg taires Suivre la distribution des ressources Certaines personnes peuvent profiter du projet plus que d autres Ces informations sont utiles aux groupes voulant surveiller l quit et la responsabilit financi re du projet Etudier la r action des populations concern es suite aux services pourvus par le projet De telles informations peuvent faciliter l acceptabilit et l utilit des activit s du projet Etudier tout probl me sp cifique d implantation d un projet de fa on a ce que les causes puissent tre identifi es et des solutions pratiques recommand es 17 Chapitre 2 Utilisateurs d informations e D terminer l impact sur la population concern e notamment sur la qualit et le niveau de vie revenu sant participation relations avec l environnement etc Evaluer l impact direct du projet Lorsque les b n fices
205. s programmes radio 57 Projet d innovations agricoles de Bushenyi Ntungamo Chapitre 5 Plannifier pour obtenir des informations utilisables BI 700 m nages ruraux participant au projet Bushenyi et Ntungamo atteignent une augmentation importante de la production agricole d ici 1999 tout en utilisant des pratiques prot geant l environnement donn es E Porcentage de m nages ruraux pauvres pratiquant une ou plusieurs pratiques du projet prot geant l environnement CARE S amp E Agriculteurs contact s Agriculteurs participant au projet Agriculteurs participant au projet Communaut ensemble des agriculteurs Interviews d un chantillon d agriculteurs Mise jour des documents relatifs aux m nages participant Observation avec liste de contr le d un chantillon d agriculteurs Mise jour d une carte sociale avec les agriculteurs et la communaut Responsables sur le terrain Animateur Animateur Responsables sur le terrain Animatuer Responsables sur le terrain Animateur Qualitative avantages et inconv nients limites Quantitative comptes proportions R sultats qualitatifs et quantitatifs Quantitative comptes distribution Qualitative explications Responsable sur le terrain responsable des activit s de S amp E Responsable sur le terrain responsable des activit s de S amp E Responsable sur le terrain
206. s Distorsion des donn es informations provenant soit des activit s de surveillance d valuation ou de recherche cause de diff rentes erreurs lors de la planification erreur de conception lors de la s lection des personnes interrog es erreur d chantillonnage lors de la collecte erreur lors de l interview dues l attrait social erreur des personnes interrog es ou lors de l analyse erreur du chercheur But final Selon la terminologie du cadre logique ce terme se rapporte ce que le projet est cens achever dans le long terme au del de la dur e de vie du projet Habituellement nonc en CARE S amp E 124 Annexe 1 Glossaire tant qu am liorations r elles impacts qui devront avoir lieu dans certains aspects de la vie des participants au projet But interm diaire Un terme du cadre logique qui nonce les changements projet s par le projet dans le syst me ou les pratiques voir effects afin d atteindre le but final Cadre d chantillonnage La liste de tous les participants possibles par exemple une liste de tous les villages et de tous les m nages dans la r gion vis e partir desquels I chantillon sera s lectionn Cadre logique Log Frame Cibles Une cadre logique un diagramme est un outil de pr paration con u avant la mise en route des activit s du projet Les l ments principaux contenus dans ce cadre logique illustrent la hi rachie des obj
207. s premiers b n ficiaires Apport Les apports sont les ressources n cessaires pour mettre en place les activit s Ils comprennent des ressources humaines et financi res des b timents de l quipement du mat riel et des contributions en nature Les apports interviennent seulement durant la dur e de vie d un projet Ils font partie des l ments suivis de fa on r guli re au cours des activit s de surveillance sp cialement au niveau de la rentabilit et de la responsabilit financi re Avant et apr s plan d evaluation Une m thode d valuation qui utilise les donn es obtenues dans l tude de base pour tablir une comparaison avec une tude semblable apr s que les interventions du projet aient pris place pour quelque temps Typiquement cela signifie qu une collecte de donn es similaire celle de l tude de base aura lieu la fin du projet Le sondage de suivi peut galement avoir lieu quelques ann es apr s le projet lorsque se posent des questions concernant la durabilit des impacts c est dire une valuation post facto B n ficiaire Les b n ficiaires directs sont des personnes qui re oivent des services ou des ressources directement de CARE ou d un organisme participant la mise en place Les b n ficiaires sont galement parfois appel s participants clients ou destinataires Des b n ficiaires indirects sont des personnes qui b n ficient indirectement du projet Biai
208. s aupr s de m nages s lectionn s au hasard par des num rateurs et du personnel de terrain ainsi que des tudes de cas approfondies effectu es par des quipes qualifi es voir chapitre 8 L utilisation de donn es primaires permet au personnel du projet de contr ler le recueil de donn es ainsi que les m thodes employ es De cette fa on il est plus facile de surveiller la qualit des informations et d assurer le suivi de tout r sultat significatif ou de toute information manquante Cet usage comporte cependant galement des inconv nients surtout au niveau des comp tences n cessaires et des co ts Plannifier et mettre en place avec succ s une collecte de donn es primaires n cessite des connaissances plus approfondies que pour travailler avec les donn es secondaires Les co ts de collecte de donn es primaires peuvent tre lev s sp cialement si les personnes effectuant ces activit s n ont pas assez d exp rience entra nant une perte de ressources une collecte trop importante de donn es ou bien si l tude est trop complexe Il est donc important de ne pas oublier de chercher minimiser la collecte de donn es La prudence est n cessaire lorsqu il s agit de la s lection d indicateurs qui peuvent tre aussit t valu s facilement valu s et analys s Les conditions n cessaires aux informations et les co ts de collecte doivent tre maintenus au minimum en se concentrant uniquement sur les
209. s de S amp E D tail plannification pour une tude sp cifique Consid rations logistiques pour une tude de terrain ou une valuation courte liste seulement Personnel e Traitements et honoraires pour tout personnel ext rieur au projet e Frais de transports et dispositions e Formation et pr paration pour le travail de terrain e R servations d h tel et d h bergement galement pr voir un lieu d accueil pour des r unions de grand groupe communautaires e Equipement et fournitures pour le travail de terrain formulaires magn tophones papiers manuels etc Flot de donn es et de communication e Personnel administratif pour la saisie des donn es e Dispositions pour la saisie des donn es photocopieuse si du mat riel informatique est utilis ordinateurs logiciels imprimantes disquettes etc e Stockage des donn es brutes e Communications t l phones t l copieurs Administration e Support administratif e Bureaux e Notifications aux facilit s et communaut s au sujet des visites Gestion des donn es Les donn es obtenues lors du proc d de S amp E apparaissent sous de nombreuses formes des cartes des diagrammes des notes prises sur le terrain des tableurs informatiques etc A l int rieur d un m me projet il convient d avoir un syst me commun de gestion et de stockage des donn es Il convient de d cider l avance si les informations sont partag es ou
210. s parce qu ils ne sont pas s par s par sexe ge ou communaut sp cifique les donn es de distribution ne peuvent tre obtenues et leur utilit se trouve donc limit e Par cons quent PIB n est pas utile pour mesurer la production brute d un secteur ou des m nages les plus pauvres D un autre c t les donn es individuelles peuvent tre s par es mais en g n ral leur CARE S amp E 67 Chapitre 6 Indicateurs collecte est co teuse Autant que possible les indicateurs s lectionn s doivent pouvoir tre s par s par sexe groupe de revenus etc en suivant les objectifs du projet Les groupes les plus d favoris s tels que les m nages pauvres dans les campagnes ou les femmes ne peuvent recevoir de b n fices quitables de la part de projets de d veloppement que s ils sont sp cialement vis s par des strat gies au moyen desquelles leur statut d favoris peut tre r solu et leurs conditions surveill es Un aggr gat d indicateurs ne peut obtenir un tel r sultat Les indicateurs bas s sur les m nages ou sur les personnes sont n cessaires afin de fournir des donn es s par ment pour les hommes et les femmes ou pour des cat gories soci conomiques telles que les m nages pauvres ou ne d tenant pas de terre Indicateurs directs versus indicateurs par procuration Les indicateurs peuvent tre directs tels que les dossiers individuels des femmes en ge de procr er documentant l utilisation des m tho
211. s plans d action PIR API e Anglais de bonne Gestion g n rale des secteurs budget des op rations de Rapports annuels de performance du projet qualit surveillance Relations avec les gouvernements recherche de fonds Identifier les domaines o le projet peut tre aid Support du Compiler les budgets Rapports financiers mensuels des activit s l tranger e Pertinence exactitude programme Pr parer les rapports financiers des activit s I tranger OFR personnel du Plannifier les besoins en ressources humaines AIP1 1 service financier e Rapports de progression du projet Si ge social de CARE International Atlanta RMU e Mesurer la performance du projet en fonction des plans e Performances actuelles compar es aux plans e Importance e API repr sentation viabilit Secteur PAD Identifier les endroits o le projet a besoin d aide e Faiblesses et limites e Pertinence cr dibilit Comparer le projet globalement Tirer des le ons R sultats Progr s API importance exactitude Evaluer la performance en fonction des normes Conclusions de l valuation attribution viabilit Relations Convaincre les donateurs du besoin d intervention Histoires humaines principaux accomplissements e Cr dibilit attribution ext rieures Convaincre le gouvernement am ricain d apporter son Rapport entre les besoins du projet et les int r ts importance aide aux projets am ricains API PIR Service financier e Rendre des
212. s services m dicaux Chapitre 6 Indicateurs Objectif limin Enonc plus simple plus clair Utilisation de au lieu de nbre rend l indicateur plus facile 4 mesurer Enonc plus simple R fer es t t et ayant utilis des services sont s par s Le premier indicateur se trouve au niveau des r sultats et dans la limite du projet le second est au niveau de I effet et se trouve moins dans la limite du projet PIAB BI 7 000 m nages ruraux dans les secteurs de Bushenyi et Ntungamo ont ont augment leur production agricole de fa on significative d ici 1999 tout en utilisant des pratiques prot geant l environnement Au moins 60 du nombre des m nages agricoles pauvres participant ont accru leur production n gociable d au moins 20 d ici 1990 Au moins 25 des m nages participant ont accru leur production n gociable d au moins 20 d ici 1999 Au moins un groupe fonctionnel de marketing est form dans chaque sous comt atteint par le projet CARE S amp E du nombre de m nages pauvres participant et pratiquant au moins une pratique agricole pr conis e par le projet et prot geant galement l environnement du nombre de m nages ruraux pauvres ayant accru d au moins 20 la production d un des produits suivants lait bananes etc Nbre de groupes de marketing actifs form s par les m nages participant Objectif 60 et ann e 1999 Indicateur plus
213. scoscdas esess 1 2 3 PUVATIE DPODOS anses omernnsaniininesinnerteiin nitrate REM T MENTS ne in nn en sieste rer ESTEOS ae TN D Intro ner vss cuss canes esedas coasts sceassoued ossee os eei seios i asee osses iO 1 Importance des informations pour les projets ses D 2 Qui a besoin d informations au sujet de projets CARE ss 12 Quelles informations sont n cessaires et pourquoi 3 Quels sont les avantages et les inconv nients les plus courants de la collection l analyse et l utilisation d informations dans le cadre de projets de d veloppement scssscsssscsesscesscssscsssscssccsssccssssssssssssssesscesscess ZL 4 Quels concepts cl s sont fondamentaux pour la compr hension et la plannification de la gestion des informations esse 25 5 Quels sont les l ments qui doivent tre inclus dans la plannification de projet afin d avoir les informations n cessaires disponibles en temps voulu et sous une forme utilisable essences DL 6 Indicateurs ce que nous ou les utilisateurs voulons savoir au Sujet d s DO CES 2 insister tienne needs D 7 7 Sources o pouvons nous trouver les informations n cessaires ss 67 Echantillonnage comment pouvons nous tre s r e s que l chantillon est repr sentatif 8 M thodes de recueil d informations comment obtenir les informations d sir es Ziccs ecsd ecscedscccerceccesccedesececodcedeccdescesedsctecescbevdasecseesecdseccdscece OL 9 M
214. se Selon le sujet cette technique peut permettre plus d intimit et donner un caract re plus confidentiel l interview Permet d obtenir des informations plus d taill es et des citations plus riches De la pratique et de l exp rience sont n cessaires pour utiliser correctement cet outil L intervieweur doit pouvoir tre capable d tre sensible et de ne pas influencer les r sultats Les intervieweurs doivent savoir correctement lire et crire doivent pouvoir communiquer avec aisance et tre capable de r capituler les r sultats Les intervieweurs doivent tre au courant des sujets discut s L aide du facilitateur est essentielle pour l analyse des donn es CARE S amp E 148 e Fiche A 8 INTERVIEWS QUALITATIFS Les interviews qualitatifs repr sentent une des sources d informations les plus importantes pour surveiller et valuer les projets de d veloppement agricole et rural Ces interviews avec les participants et autres informants cl s aident comprendre des situations complexes au niveau cologique sociologique et culturel auxquelles le projet doit faire face Ils peuvent galement fournir un clairage approfondi sur les perspectives les attitudes et les comportements de la population vis e ce qui n est pas toujours possible avec d autres modes de collecte de donn es De plus les interviews qualitatifs peuvent tre utilis s pour obtenir des hypoth se et des propositions qui pe
215. se traditionnelle PEV Programme largi de vaccinations Projet agricole de Bushenyi Ntungamo Indicateur Sources Avantages Inconv nients Sources secondaires Registres des employ s et des responsables de terrain Registres des bureaux logistiques agricole de secteur Registres de groupes de marketing Sources primaires Personnel du projet Membres du groupe de marketing Responsable du service de marketing du secteur Chefs de familles des m nages participants et leurs pouses Sources secondaires Les registres existent et leur acc s n est pas on reux Registres inad quats Les informations ne sont peut tre pas fiables ni pertinentes Qualit variable des documents relatifs au projet Les bureaux de secteur ne disposent peut tre pas d informations actuelles Sources primaires Recueillir des informations aupr s de groupes est plus facile et moins on reux que de visiter des familles Des responsables de secteurs consciencieux existent et sont stables Appartenance instable aux groupes form s D pendance sur la m moire des agriculteurs 75 Chapitre 7 Sources et chantillons Echantillonnage Comment pouvons nous savoir si l chantillon est repr sentatif L objectif d un syst me de S amp E consiste recueillir des indicateurs partir de diff rentes sources y compris les b n ficiaires afin de surveiller les progr s du p
216. soulign le besoin d un ensemble commun d attentes et de conditions Nous avons donc commenc un proc d syst matique pour renforcer nos comp tences afin de concevoir et utiliser des syst mes de S amp E CARE International a galement travaill durant de nombreuses ann es afin de d velopper la capacit des bureaux au niveau d un pays Des quipes sectorielles d assistance technique ont produit une vari t de documents qui sont maintenant utilis s Suite la cr ation d une unit internationale de conception de surveillance et d valuation CSE DME de CARE International des ateliers ont eu lieu en Afrique de l Ouest et de l Est ainsi qu en Asie Ces sessions ont eu pour but d augmenter les liaisons entre pays et programmes de d velopper un cadre international de conception de surveillance et d valuation et de construire une capacit Un d veloppement parall le de CARE International est le concept de maintien des moyens de subsistance domestiques Household Livelihood Security ayant pour but d unifier le travail de CARE travers les secteurs et de passer des actions de secours un d veloppement continu Cet effort a maintenant progress au stage de m thodes de v rification pour valuer les impacts sur les m nages L initiative de CARE Ouganda a commenc par un nombre de sessions de planification par l quipe de direction le choix d un consultant et les visites ult rieures de ce dern
217. sp cifique au moins une pratique prot geant l environnement Objectif limin Indicateur plus sp cifique pour tre mesurable les produits sont d finis et seuls les plus importants sont s lectionn s au lieu de toutes les r coltes y compris les moins importantes n gociable est effac car le BI vise la production dans son ensemble pas seulement les r coltes n gociables Objectif d un groupe est enlev Indicateur plus sp cifique identifie les groupes Le terme vague fonctionnel est remplac par actifs pour tre plus facilement mesurable 66 Chapitre 6 Indicateurs Consid rations techniques Nombres versus pourcentages Les buts qui comprennent galement des objectifs et les indicateurs correspondants doivent tre conh rents dans leur utilisation des nombres ou des pourcentages Par exemple dans un projet concernant la sant des femmes dans une r gion rurale de l Ouganda le nombre total de femmes enceintes peut tre difficile 4 estimer Illustrer les objectifs et les indicateurs en terme de proportion des femmes utilisant les services de sant pr natale peut donc tre plus facile a g rer Cependant il peut aussi tre important de consid rer l utilisation la fois des nombres et des pourcentages Continuant avec l exemple pr c dent du projet de sant maternelle il est important de se rappeler que du fait de la croissance naturelle de la populati
218. ss mination importante CARE S amp E 110 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E secteur communautaire et les b n ficiaires Les ateliers sont importants tout comme le sont les interviews dans les m dias la radio par exemple est largement cout e parmi les populations utilisant des dialectes locaux en Ouganda et des communiqu s de presse De plus les r sultats peuvent tre diss min s dans des milieux acad miques au moyen de livres d articles de journeaux de bulletins et autres documents imprim s s adressant des personnes travaillant avec des populations semblables CARE S amp E 111 Chapitre 10 Pr sentation et utilisation des r sultats de S amp E Exemples provenant de projets CARE Les tableaux suivants montrent des exemples de flots d informations de bas en haut et de haut en bas tels qu ils ont t e pr par s lors du s mianire de Kabale Projet communautaire de planning familiale BI Augmenter le nombre de femmes utilisant les services de sant maternelle dans un tablissemetn m dical Application Le pourcentage de femmes dans I aire Evaluer les tendances Sommes Partenaires directs Discussion pr sentation avec du projet qui ont particip CPN au nous sur la bonne voie Si non Bureaux de CARE Ouganda des graphiques moins une fois durant une grossesse pourquoi Ajuster CARE USA R unions et discussions durant une certaine p riode Evaluatio
219. ssaire CARE S amp E 154 Fiche A 13 ANALYSE CSE DES FORCES DES FAIBLESSES DES OPPORTUNITES ET DES LIMITES L analyse CSE repr sente un outil puissant pour une valuation de groupe de certaines questions importantes notemment les interventions ou diff rentes actions possibles Cette analyse est fond e sur une session structur e de brainstorming visant a obtenir les perceptions du groupe sur les facteurs positifs les forces les facteurs n gatifs les faiblesses les am liorations possibles les opportunit s et les limites de cet aspect But L analyse CSE est sp cialement utile pour mener des valuation dans la communaut Elle peut tre centr e sur des services pourvus par des organismes ext rieurs Elle peut galement tre utilis e pour une auto valuation des performances du groupe Etapes pour utiliser cet outil Une matrice avec quatre colonnes est dessin e sur le tableau noir ou le chevalet feuillets mobiles et les quatre l ments de analyse sont expliqu s aux participants Il sera utile d noncer les quatre cat gories en tant que questions cl s auxquelles les participants peuvent r pondre Le facilitateur commence le brainstorming en demandant au groupe une question cl sur les forces Les r ponses sont inscrites dans la colonne appropri e de la matrice Pour chaque force il convient galement d identifier les faiblesses les opportunit s et les limites correspondantes
220. ssaires en temps voulu et sous une forme utilisable Responsabilit pour les activit s de S amp E Les personnes travaillant sur un projet doivent identifier un proc d de conception du syst me de S amp E qui soit la fois appropri et durable pour ses utilisateurs et les personnes fournissant les informations Lorsque nous valuons les ressources n cessaires pour op rer un syst me de S amp E nous devons analyser les moyens et les co ts pour recueillir g rer et analyser les donn es par rapport la valeur du produit fini soit l utilit des informations produites Un syst me de S amp E doit tre durable c est dire que le personnel d institutions collaboratrices et les b n ficiaires doivent pouvoir tre en mesure de l op rer et le g rer La durabilit du syst me a des implications qui remontent aussi loin que la phase de pr paration du projet lorsque les IVO sont tout d abord identifi s et d crits Ce proc d implique la participation active de toutes les personnes s int ressant aux informations contenues dans le cadre du syst me Les personnes fournissant les donn es et celles resonsables des apports dans le syst me par l interm diaires des activit s de surveillance du projet sont galement le plus souvent les utilisateurs des informations qui en r sultent Il y a une relation vidente de cause effet entre la qualit des donn es apport es et des informations qui en ress
221. st accompagn d un rapport d atelier Si vous obtenez et utilisez l un de ces documents veuillez faire part de vos commentaires CARE Ouganda Nick Ritchie Directeur CARE Ouganda CARE S amp E 4 Acknowledgements Remerciements Nick Ritchie Directeur de CARE Ouganda et Geoffrey Chege Directeur adjoint sont les personnes l origine de ces directives Leurs id es de d part et leur enthousiasme ont norm ment contribu la conception et l volution de ce projet Par la suite j ai eu le privil ge de travaill en troite collaboration avec Geoffrey un vrai ma tre facilitateur ainsi qu avec le groupe de r flexion sur le S amp E lors d un atelier ce qui m a aid consid rablement dans l laboration de ces directives Mary Babirye responsable de programme CARE Ouganda a apport son soutien de fa on consid rable y compris en largissant les horizons de sa mise en page Mary en compagnie de Polly Dolan de l universit du Michigan a r dig un merveilleux rapport sur l atelier qui a t une mine d exemples pour ces directives Tous mes remerciements sinc res tout le groupe de r flexion de CARE pour leur lecture consciencieuse et leurs critiques constructives des inombrables essais Caroline Abeja Geoffrey Chege Polly Dolan Sandra Erickson Philip Franks Fred Mukholi David Mwesigwa et Nick Ritchie Tous mes remerciements galement Gimono Wamai et Rose Asera pour leur lecture supportive
222. sultats Cette activit d crit la surveillance des objectifs et des strat gies afin de maintenir la population int ress e au projet bien que ses besoins changent La surveillance des objectifs Ces activit s de surveillance varient suivant les sources et la fr quence de la collecte de donn es ainsi que selon les m thodes utilis es pour recueillir et analyser les donn es CARE S amp E 36 Activit s de surveillance Hi rarchie des objectifs But final BF But inter m diaire BD Activit s Surveillance De l impact du contexte et des hypoth ses des objectifs Des effets du contexte et des hypoth ses des objectifs Institutionnell e y compris les questions organisationne lles et physiques Physique Financi re physique CARE S amp E QUI est responsable Le personnel travaillant sur le projet les b n ficiaires et autres personnes ayant un int r t dans le projet Le personnel travaillant sur le projet les b n ficiaires et autres personnes ayant un int r t dans le projet Le personnel et les responsables de projet Le personnel et les responsables du projet Le personnel du projet le contr leur financier le comptable pour le projet QU est ce qui est surveill Les indicateurs d impact changements fondamentaux pour la population tels qu une am lioration du niveau de vie Les indicateurs d effets r action de la po
223. sur un point de vue particulier qui pourrait alors influencer les id es des participants But Le brainstorming peut provoquer des perceptions multiples sur un probl me donn et la discussion de groupe qui suit peut aider a trouver un certain consensus parmi les membres du groupe Etapes pour utiliser cette technique Le probl me qui va tre discut est pr sent par le facilitateur La question cl est inscrite sur le tableau noir ou le chevalet a feuillets mobiles Les participants doivent r pondre rapidement c est dire pas de discours durant cette tape Tl est important de souligner d s le d but que toutes les id es sont bonnes Si quelqu un n est pas d accord avec une autre personne il doit exprimer son id e N acceptez que des contributions la session pas de d saccords ou de discussions Ceux ci peuvent tre abord s apr s la r union Encouragez les id es nouvelles plut t que les r p titions de ce qui a t dit auparavant Chaque participant peut exprimer son point de vue Demandez aux personnes qui parlent beaucoup de laisser les autres s exprimer Posez des questions explicites aux personnes qui parlent moins Le facilitateur choisit les id es principales partir des nonc s des participants et assure qu elles soient inscrites ou repr sent es l aide d images sur de larges fiches punais es sur un tableau d affichage ou sur le mur Le facilitateur et les par
224. t d utiliser des tudes de cas approfondies pour le groupe vis Les m thodes qualitatives sont plus efficaces avec un nombre limit de personnes ou de groupes ce qui peut tre tout fait suffisant pour comprendre les perceptions et les attitudes humaines qui sont apr s tout la principale raison d une approche qualitative Exemple d une approche par tude de cas Le projet de DPE de CARE dans le Sud Ouest de l Ouganda a commenc utiliser des tudes de cas sp cialement afin d essayer de montrer les impacts au niveau des m nages durant la dur e de vie du projet Dans cette situation l chantillon de base comprend des m nages qui ont adopt des interventions sp cifiques Les employ s du projet ont pu ainsi valuer l impact sur une p riode plus courte que s ils avaient sond la population toute enti re Par la suite partir des taux d adoption de la population dans son ensemble ils ont pu estim de fa on indirecte l impact global sur la population vis e Conclusion Loi de Larry La taille d un chantillon est d termin e par l argent et la politique et non par les statistiques Dr Lawrence Grummer Strawn Centre pour le contr le et la pr vention des maladies CDC Center for Disease Control and Prevention CARE S amp E 82 Chapitre 8 M thodes de collecte de donn es M thodes de collecte de donn es comment pouvons nous recueillir les informations dont nous a
225. t se poursuit il selon les plans Mise en application Cette p riode est une tape continue durant laquelle les interventions du projet services et activit s sont mises en application Diff rentes valuations r guli res sont galement mises en place pour assurer que le projet soit sur la bonne voie Les strat gies du projet fonctionnent elles correctement Moyen terme Cette phase a lieu approximativement au milieu du cycle de financement du projet C est un temps pour r valuer les strat gies du projet les syst mes de gestion les liens avec les partenaires et pour rechercher les vidences pr liminaires des effets du projet Fin du projet Quels effets le projet a t il eu Les interventions et le financement du projet arrivent leur fin et les r sultats du projet sont valu s Quel impact le projet a t il eu sur la vie des personnes Apres le concern es projet Id alement apr s le retrait de l aide apport e par le projet les b n fices se perp tuent Ces r sultats peuvent tre visibles au sein de la communaut concern e Comme nous l avons remarqu dans cette description des tapes de la vie d un projet diff rentes informations sont recueillies chaque phase Approche logique de la planification cadre logique CARE S amp E 27 Chapitre 4 Concepts cl s Le cadre logique d un projet est un outil pour plannifier et g rer les proc d s de d veloppement Pl
226. tages Ces tudes sont g n ralement effectu es avant ou juste apr s la fin du projet Une tude externe approfondie de l impact d un projet sur la population cible L intervalle pr f r entre la conclusion d un projet et l valuation post facto varie entre 5 et 10 ann es Cette tude est rarement pratiqu e cause du manque de financement pour une telle tude Les tudes de base d pendent de la collecte de donn es nouvelles Par la suite toutes les activit s d valuation reposent sur diff rentes combinations d informations provenant des activit s de surveillance de donn es manant d autres organisations et des donn es nouvellement collect es sur le terrain CARE S amp E 41 Activit s d valuation Phase de la dur e de vie d un projet Mise en applicati on Mise en applicati on Activit d valua tion Etude de base R vision annuelle Evalua tion en mis cours de projet Evaluatio n finale Evaluatio n post facto CARE S amp E QUI est responsable Le personnel travaillant sur le projet les b n ficiaires L quipe de direction du projet L quipe responsable de l valuation en cours de projet La direction du projet ou l quipe responsable de l valuation externe L quipe responsable de l valuation externe QU est ce qui est valu Les indicateurs IVO au niveau du BF et du BI Les effets finan
227. te l usage cr atif de supports visuels constitue une strat gie importante pour des exercices de groupe dans la recherche active Quelques exemples des techniques visuelles qui peuvent tre utilis es pour la collecte de donn es l analyse la diss mination et la planification suivent e Des repr sentations graphiques tels que des diagrammes circulaires ou des graphiques en barres ou mieux encore des pictogrammes des graphiques cr s partir d images permettent de communiquer des informations quantitatives m me aupr s de participants ne sachant ni lire ni crire Les pictogrammes dont les formes sont souvent inspir es d objets quotidiens tels que des arbres des animaux de la poterie ou de la nourriture peuvent tre utilis s pour analyser et d crire des tendances dans le temps des mod les de relations entre diff rents participants ou bien des causes des probl mes et des solutions e Des exercices de tri de comptage et de classement peuvent tre effectu s sous forme crite Toutefois si les personnes sont peu alphab tis es des objets courants tels que des graines des pierres ou de simples sh mas sur des petits bouts de papier peuvent tre employ s e Des cartes et des repr sentations transversales peuvent tre utilis es efficacement en groupe pour d crire et analyser la distribution dans l espace des caract ristiques sp ciales de la communaut par exemple les ressources naturelles les types d
228. tes commerciales ou des photographies a riennes peuvent galement tre utilis es Buts La cartographie avec participation des b n ficiaires est particuli rement utile pour fournir une vue d ensemble ou une photo instantann e de la situation locale Cet exercice peut galement servir comme point de d part pour une valuation de l environnement et des conditions sociales Une utilisation r p t e de cette m thode s av re tr s utile pour surveiller et valuer les changements survenus dans la communaut vis e par exemple l adoption de pratiques agricoles am lior es ou la r partition de ressources sociales telles que des unit s scolaires ou m dicales et l utilisation des ressources naturelles Les exercices de cartographie historique et future une s rie de cartes se rapportant diff rentes poques sont galement utiles pour d crire et analyser des tendances sur une certaine p riode de temps Etape pour utiliser cette technique Expliquez le but de l exercice au groupe participant S accorder d s le d part sur le sujet tudi et sur les symboles graphiques utilis s Laissez les participants choisir leurs propres symboles Demandez un participant de dessiner et de placer les symboles selon les suggestions du groupe Encouragez la participation de tous les membres en posant des questions individuelles Permettez aux participants d offrir leurs opinions et leurs perceptions
229. ticipants v rifient ensemble si la r capitulation est correcte Maintenez la dur e du brainstorming sur une courte p riode de 15 a 30 minutes Cela est suffisant pour obtenir la plupart des id es sur un sujet sp cifique sans fatiguer les participants Revoyez les r sultats avec le groupe Eliminez les r p titions et regroupez les id es semblables Il est plus facile de r organiser les id es si elles sont inscrites sur des fiches Soulignez les diff rences d opinion et discutez jusqu a ce qu un consensus soit obtenu Les r sultats de la session de brainstorming peuvent tre r capitul s et conserv s pour des r f rences futures Avantages et inconv nients Une session de brainstorming men e correctement facilite la participation de tous les membres du groupe dans un proc d de recherche d id es Cette technique aide comprendre et si n cessaire consolider l accord g n ral et l homog n it du groupe C est une bonne introduction des exercices plus structur s et plus centralis s Le facilitateur doit avoir une exp rience solide sur la dynamique de groupe afin d viter trop de digressions Il doit galement pouvoir servir de m diateur et savoir r capituler Des conflits existant au sein du groupe peuvent ne pas tre visibles lors de la session et peuvent diminuer la fiabilit des r sultats de brainstorming CARE S amp E 153 Fiche A 12 EXERCICES DE CLASSEMENT
230. tivit s de S amp E Cependant les donateurs et le personnel de projet portent une attention croissante aux m thodes participatives au nombre desquelles figurent des discussions ou des observations de groupe Les interviews comportant des questionnaires structur s sont largement utilis s pour la collecte de donn es quantitatives c est dire des donn es pouvant tre trait es au moyen de formules arithm tiques ou statistiques Beaucoup de personnes utilisant les m thodes participatives de S amp E sont cependant de plus en plus critiques propos des sondages bas s uniquement sur des questionnaires Les deux principaux inconv nients de ces derniers r sident dans le manque d humanit et le besoin d expertise technique Les questionnaires structur s sont souvent mal accept s par les r pondants et ne sont pas toujours fiables en ce qui concerne les informations recueillies Mener bien des sondages quantitatifs n cessite des comp tences sp cialis es dans la conception de questionnaires Si un questionnaire n est pas correctement labor les informations recueillies seront de qualit m diocre L utilisation excessive de questions cod es qui entra nent des r ponses limit es est un des probl mes li s aux sondages quantitatifs De telles questions peuvent tre pos es rapidement et facilement enregistr es l aide d un ordinateur pour une analyse ult rieure Elle peuvent toutefois aussi tre pos es de mani
231. tre estim s ou bien lorsqu une variable telle qu une r colte doit tre mesur e Les donn es qualitatives sont n cessaires lorsque les attitudes les croyances et les perceptions d une population vis e doivent tre connues de fa on comprendre les r actions et les r ponses aux services rendus par le projet La plupart des syst mes d information l int rieur de projets n cessitent la collecte de donn es la fois quantitatives et qualitatives Les projets ont besoin de donn es qualitatives au sujet de la nature des r sultats effets b n fiques ou nuisants impact volontaires ou involontaires Les projets ont galement besoin d informations quantitatives au sujet de la distribution ou de l intensit des r sultats afin d assurer que l analyse soit correcte et repr sentative QUESTION num ro 3 Avec ou sans la participation des b n ficiaires Quelle orientation approche est d sir e n cessaire Comment le proc d de collecte d informations sera utilis par le projet ou ses partenaires Approches avec ou sans participation Des interviews individuels des discussions et des observations de groupe repr sentent les m thodes principalement utilis es lors de la collecte de donn es primaires Les interviews ont constitu jusqu maintenant la strat gie la plus CARE S amp E 85 Chapitre 8 M thodes de collecte de donn es courante de collecte de donn es dans le cadre d ac
232. une liste de quelques crit res importants Qualit des informations Exactitude validit les informations d crivent elles la situation telle qu elle est Pertinence les informations servent t elles les int r ts de l utilisateur Ponctualit les informations sont elles disponibles en temps voulu afin de pouvoir prendre les d cisions n cessaires Cr dibilit les informations sont elles cr dibles Attribution les r sultats sont ils dus au projet ou autre chose Voir chapitre 4 Importance les informations sont elles importantes Voir chapitre 4 Repr sentation les informations repr sentent elles le groupe concern ou une population plus importante Voir chapitre 4 Questions li es la qualit Lors d un atelier le personnel de CARE Ouganda a donn la priorit aux quatre premiers crit res de qualit ci dessus d crits Ils ont ensuite sugg r des strat gies afin d assurer la qualit des donn es Compte rendu d atelier sur le S amp E CARE Ouganda 1996 Vous trouverez ci dessous une liste des strat gies identifi es pour chacun de ces quatre crit res Exactitude Comment pouvons nous nous assurer que les informations soient exactes et fiables e Pr parer l avance Etre sp cifique en ce qui concerne les informations CARE S amp E n cessaires et les proc d s de collecte Simplifier les besoins d information et les syst mes de collection et d a
233. ur le projet ne sont donc pas toujours certaines de la fa on dont elles ont t recueillies et ne sont pas en mesure d en contr ler la qualit Diff rents concepts Les d finitions des indicateurs peuvent varier d une tude l autre Par exemple certaines tudes d finissent l adolescence comme la tranche d ge comprise entre 10 et 19 ans d autres entre 13 et 24 ans ou bien 1l peut y avoir une d finition pour un agriculteur commer ant ou une culture commerciale Les informations ne sont pas jour Les informations existent mais elles sont peut tre trop anciennes Inacessibilit Certaines agences ou organisations gouvernementales ou des personnes ne permettent pas l acc s leurs donn es Nouvelles informations donn es primaires Les donn es primaires sont obtenues en collectant de nouvelles informations sur le terrain Cette activit n cessite une tude sp cifique afin d tre plannifi e et mise en place Typiquement les donn es primaires sont n cessaires pour la surveillance ainsi que pour l tude de base les valuations finales et post facto La collecte de donn es peut tre effectu e de diff rentes fa ons une observation rapide par une quipe d observateurs qualifi s cette quipe peut comprendre le CARE S amp E 72 Chapitre 7 Sources et chantillons personnel les b n ficiaires et autres personnes ayant un int r t dans le projet des sondage
234. urces d information Nbre de m nages Chefs de famille et leurs participant qui pouses participant au ont rendu compte projet d une Registres des agriculteurs augmentation de Membres des groupes de leur production marketing n gociable Certains m nages de la m me r gion ne participant pas au projet CARE S amp E Classement qualitatif ERP afin d assigner une valeur aux niveaux d augmentation Groupes de contr le compos s de m nages participants s lectionn s Cartographie partir de MARP et des registres Sondage des m nages participants Responsable sur le terrain responsable du projet cause de leur contact Groupes de marketing et autres agriculteurs participants Consultants et personnel du projet pour former le personnel et pour minimiser toute influence sur les r sulats M thodes de collecte de donn es Aupr s de qui Quand Fr quence Etude de base Evaluation en cours de projet Saisonni re apr s les r coltes FDP 96 Chapitre 9 Analyse des donn es M thodes analytiques comment comprendre et interpr ter les donn es informations brutes L expression analyse des donn es provoque souvent des sentiments de peur et d appr hension pour beaucoup d employ s travaillant sur un projet Sans aucun doute l analyse peut tre accablante sp cialement si le montant de donn es est norme ou si les comp tences et les techniques n
235. urs personnes font part de la m me exp rience ou de nombreux observateurs voient le m me probl me peuvent tre consid r es comme un fait dans le cadre de cet exercice particulier de l analyse Cependant si l analyse s arr te avec seulement un ensemble de faits isol s il n est pas s r qu ils aient beaucoup de valeur dans la pr paration du projet et la prise de d cision Les faits doivent tre mis en contexte et tre valu s en relation les uns aux autres de m me qu en relation avec les objectifs de l tude et du projet Le processus analytique de l extraction et de la pr sentation de la 4 66 signification de ces faits isol s est appel interpr tation Il est bon de commencer l analyse en assemblant toutes les donn es Une liste de contr le pour les donn es plannifi es sera tr s utile pour v rifier les donn es pr sentes Cette liste peut comporter les points suivants combien de groupes de contr le et partir de quels endroits combien de IC combien d autres m thodes utilis es etc Les donn es originales questionnaires notes prises durant un interview cartes sociales etc ont besoin d tre v rifi es avec soin afin de s assurer que toutes les pi ces sont identifi es de fa on ad quate endroit heure date responsable personnes interrog es etc Il est important de v rifier si les informations sont compl tes c est dire s il n y a pas de pag
236. us qu une bauche statique d un projet c est une structure composant des l ments dynamiques En d autres termes le cadre logique peut changer au fur et mesure que le projet se d veloppe Gr ce des informations p riodiques de surveillance un projet peut corriger un plan annuel et m me modifier les niveaux inf rieurs d un diagramme afin de refl ter ce qui peut tre achev de fa on r aliste dans l ann e venir La cr ation d un cadre logique commence partir du principe suivant si nous connaissons le probl me ou la situation que nous voulons changer nous pouvons alors envisager une solution ou un futur meilleur c est dire les objectifs ou buts d un projet Ensuite la th orie de structures logiques LFA Logical Framework Approach raisonne que si nous connaissons nos objectifs nous pouvons alors identifier un ensemble de rendements outposts qui permettront d atteindre ces buts Par la suite nous pouvons identifier les activit s et les apports essentiels pour engendrer les r sultats n cessaires afin d atteindre les objectifs Le format d une telle structure est habituellement une grille quatre colonnes montrant les liens entre les intentions du projet buts objectifs les valuations de r sultats indicateurs les moyens de surveiller le progr s moyens de v rification et les v nements ou situations non contr l s par le projet et pouvant influe
237. ut de la surveillance et de l valuation comme Le recueil et la gestion de donn es Ces informations sont ensuite analys es et utilis es pour une valuation r guli re et p riodique de la pertinence la performance l efficacit et l impact d un projet au vu des objectifs auparavant nonc s Le syst me de S amp E est une sorte de syst me d information Ceci est un terme g n ral d signant la s lection le recueil l analyse et l utilisation d informations Il peut tre d crit comme un enchainement logique d id es li es entre elles et commen ant et continuant par les utilisateurs de ces informations Syst me d information d un projet un encha nement logique Qui les personnes utilisant les informations ee Pourquoi dans quel but ee Quelles informations informations sp cifiques ee Quand n cessit d un emploi du temps a O sources des donn es SE eee Comment recueil analyse nS Te Ensuite mise en application Les utilisateurs de information comprennent des personnes qui sont influenc es par les projets aussi bien que celles influen ant le projet c est dire les communaut s cibl es le personnel employ pour un projet les donateurs Le principal usage de ces informations consiste a faire part des d cisions et a partager les r sultats avec d autres personnes ou organisations Des informations sp cifiques sont n cessaires
238. utrition fondamentaux et durables sans d ducation de participation de le soutien continu du projet la communaut et de la s curit conomique D crit les r actions des e Pourcentage du nombre des DEEE b n ficiaires aux r sultats du m nages utilisant des r chauds projet changement d attitude consommant moins de de r actions et de perceptions combustible changement syst mique dans e Nombre d unit s de soins avec les institutions un syst me de partage des co ts Rendements R sultat D crit les produits du projet e Nombre de para m dicaux avec r sultat direct des activit s et une formation en planning des apports du projet familial e Nombre d agriculteurs form s lusage de pesticides eee Activit D crit les activit s du projet Nombre de sessions de ou proc d s formation ee Apport D crit les ressources e Nombre de kits SFT fournis contribuant au projet e Nombre d employ s aid s par le projet Indicateurs et utilisateurs de l information Les donn es au sujet des apports et des informations sont essentielles pour le travail routinier du responsable de projet Le projet peut suivre ces niveaux travers les indicateurs de proc d Par exemple le responsable du projet a besoin de savoir le nombre et les sortes de cours de formation dans une p riode de temps sp cifique afin de pr parer un budget pour les activit s n cessaires pr parer le mat riel de formation etc
239. uvent ensuite tre test es aupr s d une population plus large l aide d un questionnaire structur Les interviews qualitatifs sont en g n ral class s selon trois formes a Informel comme une conversation b Selon un sujet principal c Semi structur ouvert Fiabilit et validit de l interview Comment la fiabilit des informations obtenues partir d un interview qualitatif peut elle tre valu e Comment s assurer que les personnes interrog es ont fourni des informations correctes Ce probl me bien s r n est pas seulement li aux interviews qualitatif il est fr quent tous les types d interviews Cependant cause de la subjectivit des notes r capitulatives le probl me de validit se pose particuli rement dans ce contexte Parce que par d finition il n existe pas de test totalement objectif pouvant tre appliqu aux interviews qualitatifs les jugements sur l exactitude doivent se baser sur l valuation des facteurs li s aux personnes interrog es Connaissances Evidemment la premi re consid ration portera sur ce que les personnes interrog es connaissent Il convient galement de se rappeler que ces personnes peuvent poss der des connaissances approfondies sur certains sujets mais en ignorer d autres L intervieweur doit donc se poser les questions suivantes e La personne interrog e connait elle ce fait directement e Est elle en mesure de fournir des informati
240. vent une quipe comprenant des personnes ext rieures effectue une valuation finale L objectif est de tirer des conclusions partir des exp riences encourues afin d am liorer la conception de projets actuels ou venir Les donn es utilis es pour cette analyse sont identiques celles de l valuation en cours de projet mais comprennent galement une valuation de la rentabilit et parfois une analyse co ts b n fices Les soures d information pour valuation finale comprennent les documents du projet et des discussions avec tous les groupes impliqu s dans le projet depuis sa conception y compris les b n ficiaires le personnel du projet les responsables gouvernementaux au niveau r gional et national ainsi que les donateurs Deux principales m thodes analytiques utilis es ce stage sont a La comparaison avant et apr s il s agit d une nouvelle collecte des indicateurs s lectionn s et document s au d part pour l tude de base et des comparaison des valeurs au d but et la fin du projet b La comparaison avec ou sans cette tude consiste en une valuation des indicateurs s lectionn s parmi des groupes de personnes ayant b n fici ou non des interventions Les analyses comparatives entre les r sultats actuels et projet s sont moins satisfaisantes lorsque il s agit de l tude des donn es de surveillance des effets sp cialement pour les IVO plus qualitatifs au suj
241. vit s s agissait il et d o leur est venu cette id e La comparaison des r sultats des trois approches a r v l les points suivants 1 Le personnel logistique a distribu des haricots 572 m nages 2 Une fois que le taux de diffusion a t pris en compte le nombre d agriculteurs adoptant cette culture a atteint 744 3 Cependant lorsque l chantillon al atoire a t analys on a estim que 5 700 agriculteurs environ ont adopt les vari t s am lior es de haricots Cet exemple montre l importance d une d finition pr cise de la population vis e et d un chantillon repr sentatif de l ensemble Echantillonnage probabiliste pour des tudes quantitatives Parfois il est n cessaire d valuer de fa on quantitative les changements effets impacts qui affectent l ensemble de la r gion Dans de telles circonstances la conception de l chantillon de S amp E doit si possible utiliser un chantillon probabiliste voir sh ma suivant Cela signifie que toute unit d valuation tout m nage dans la r gion concern e poss de une chance gale et positive d tre s lectionn e L chantillonnage probabiliste se base sur un proc d de r partition CARE S amp E 77 Chapitre 7 Sources et chantillons al atoire des candidats possibles par exemple en assignant des nombres aux m nages et ensuite en tirant au sort quelques uns de ces chiffres Avantages d un c
242. vons besoin S lection de m thodes et d outils de collecte de donn es S lectionner les m thodes de collecte de donn es peut constituer une tache difficile voire accablante sauf si elle est envisag e de fa on logique Ces directives essaient de clarifier quelques unes des consid rations principales lors de la recherche de m thodes ad quates D s le d part il est bon de souligner qu il est rare de trouver une m thode id ale pour une situation donn e de collecte de donn es A l inverse l utilisation de plusieurs m thodes aide valider les r sultats de surveillance et d valuation et assurer que diff rents aspects pr sents dans les communaut s et les projets de d veloppement soient repr sent s se r f rer la discussion sur la validit et la fiabilit plus loin dans cette section La premi re question concernant la s lection a t mentionn e plus haut dans ces directives donn es secondaires versus donn es primaires c est dire informations d j existantes versus nouvelles informations QUESTION num ro 1 Donn es d j existantes ou nouvelles informations En fonction des informations sp cifiques n cessaires au projet indicateurs et variables une partie ou la totalit des informations n cessaires existent elles d j sous forme de donn es secondaires rapports cartes photographies ou diagrammes CARE S amp E 83 Chapitre 8 M thodes de collecte de donn
243. ys es Qui recevra les r sultats Sous quelle forme seront ils distribu s Quelles d cisions du projet ou propos du projet d pendent de l obtention des informations analys es Reconnaissant que le diagramme ne fournit pas assez de d tails pour cr er un plan de S amp E il est alors n cessaire de d velopper une strat gie pour obtenir les l ments manquants Un moyen utile consiste pr parer et remplir une matrice de planning des activit s de surveillance et d valuation Ceci permet d largir le diagramme et d inclure les l ments importants du plan de S amp E voir tableau suivant CARE S amp E 55 Chapitre 5 Plannifier pour obtenir des informations utilisables Matrice de pr paration des activit s de surveillance et d valuation permettant d largir le cadre logique Moyens de v rification MDV Hi rarchie Indicateurs Sources M thode de M thode Type Fr quence Application Circulation des objectifs d information collecte de d analyse des d activit usages utilisateurs donn es donn es surveillance attendus attendus valuation D finitions des termes contenus dans le tableau e Objectifs Hi rachie des objectifs tels qu ils apparaissent dans le diagramme But final But interm diaire R sultat Activit e Indicateurs D tails au sujet des informations exactement d sir es clarification du sens de termes vagues lien avec les niveaux de l impact

Besoins d`information

Contents

Download Pdf Manuals

Related Search

Related Contents