Home

Evaluer l`utilité sociale de son activité

1. et Promotion KEKE kiA er T ii g Le Directeur de la publication Coordination Patrick GEZE Florent DUCLOS Tarik GHEZALI Auteur H l ne DUCLOS Suivi r alisation Culture et Promotion Virginie HERAIL 19 rue d Hauteville Anne Sophie ATTIA 75010 PARIS D Tel 01 40 09 68 10 Fax 01 40 09 76 38 Gr auon ei R alisation E mail culture promotion wanadoo fr Baton Rouge Avise 2007 tous droits r serv s Edition d l gu e Baton Rouge Polyprint dition 20 22 rue Labrouste 75015 Paris N d diteur 010 2006 ISBN 978 2 908334 5 1 7 d p t l gal novembre 2007 Impression sur papier sans chlore par l Imprimerie Robert 3 rue de la Procession 75015 Paris Toute reproduction ou repr sentation Int grale ou partielle par quelque proc d que ce soit des pages publi es dans le pr sent document fait sans l autorisation de l diteur est illicite et constitue une contrefa on Seules sont autoris es d une part les reproductions strictement r serv es l usage priv du copiste et non destin es une utilisation collective et d autre part les analyses et courtes citations justifi es par le caract re scientifique ou d information de l uvre dans laquelle elles sont Incorpor es Loi du I juillet 992 Art L 122 4 et L 122 5 Code p nal art 425 valuer l utilit sociale de son activit Conduire une d marche d auto valuation Sommaire RS A E 5 Dod 64 110
2. Cette approche pr sente l avantage de former l valuation de responsabiliser chaque structure et de sortir compl tement du risque de contr le L valuation demande un temps de pr paration initial et requiert l appui d un accompagnateur ce temps peut tre limit si la pr paration s effectue de mani re collective avec plusieurs structures L valuation est ainsi moins lourde g rer sur le long terme pour la t te de r seau Elle permet enfin de retrouver le sens profond justifiant l existence m me du r seau travers la proximit des d finitions et crit res d utilit sociale des diff rents membres M thode N 5 Choisir un accompagnateur Quel sens donner l action d accompagner Les fonctions de l accompagnateur Les missions de l accompagnateur L tymologie du mot compagnon celui qui mange le pain avec claire sur le sens habituellement admis du terme accompagner se joindre quelqu un pour aller o il va en m me temps que lui D autres verbes d action peuvent tre associ s cette premi re d finition e Conduire suppose une autorit pour accompagner dans une direction d sign e e Guider introduit une notion de proposition Celui qui guide veille ce que le bon chemin soit pris m me si cela fait suite une p riode d errance e Faciliter indique une notion d aide notamment faciliter le recul sur une situation reformuler des probl ma
3. peut prendre la forme d un tableau dans lequel sont indiqu s les crit res et indicateurs pour chaque dimension de l utilit sociale Les diff rentes dimensions de l utilit sociale seront d clin es en crit res Par exemple valuer le lien social est en l tat impossible Il est n cessaire de pr ciser clairement les caract ristiques du lien social Ces derni res constitueront les crit res d valuation Lorsque les dimensions de l utilit sociale sont suffisamment pr cises et explicites elles constituent en elles m mes les crit res d valuation C est souvent le cas Les crit res d valuation mergent assez facilement au cours des changes sur l utilit sociale L accompagnateur veillera les rep rer au fur et mesure des d bats Fiche N a Les crit res m thode et les indicateurs Les participants d finiront ensuite des indicateurs pour chacun des crit res Un bon indicateur r pond certaines caract ristiques Il doit tre e significatif du crit re qu il mesure e en lien avec la question d valuation e compris de la m me mani re par toutes les personnes charg es de recueillir l information e accessible inutile de pr voir des indicateurs qu il ne sera pas possible de collecter Cet aspect est particuli rement important dans l auto valuation o le temps et les moyens affect s l valuation sont limit s e simple il doit notamment permettre un
4. e Qu est ce que l utilit sociale e Un club de p tanque et une entreprise d insertion sont ils tout aussi utiles e Le statut associatif induit il forc ment une utilit sociale e Comment rendre visible l utilit sociale Pour r pondre ce type de questions et bien d autres le plus simple serait de donner une d finition Chacun pourrait s y r f rer pour valuer les actions financ es et r alis es Mais cette distinction reste impr cise et ce bien qu on y ait souvent recours Ce chapitre d faut de donner une d finition fig e de l utilit sociale vise en pr ciser les contours qui font aujourd hui l objet d un relatif consensus Il y aurait ce qui rel ve de l utilit sociale et ce qui n en rel ve pas 000000000000 00000000000000000000000000000000e SOMMAIRE 1 Un effet positif sur la soci t e Un effet positif sur le collectif et les personnes e Un r sultat attendu ou un effet induit e Une d finition qui d pend des valeurs et du contexte e Une distinction entre l utilit sociale et les finalit s de la structure Les dimensions de l utilit sociale e Dimension conomique e Dimension sociale e Dimension soci tale e Dimension politique e Dimension environnementale e Dimension d panouissement Les diff rentes formes de production de l utilit sociale e La nature des actions ou des activit s r alis es e Les processus de mise en uvre des actions e L ut
5. ere TE 6 Histongue de POUR Sociale da ad a en a ie 6 Les exp riences de Culture et Promotion et de l Avise 8 Partis pris MED OIOOIORS e 10 Quelques points de vigilance 12 Mode d emploi sssssisisisisissrsrsrsisisrsrrersrsrsrsisesererersrsrsrserernrernrsrrrerernrsrstnttrererararatnerernrararatattrararatatatrtrnrarara tatanane rarat nr aranana ra tattare raratanana ranana tr araara 14 ED Comprendre avant d agir secsec a 16 Les enjeux soci taux de l valuation de Putilit sociale 18 Qu est ce que l utilit sociale 7 be a a dans 30 Pourquoi se lancer dans une d marche d valuation de l utilit sociale 7 44 ED Conduire une d marche d valuation de l utilit sociale 1 11111s191s1sisisisrrsirsrererererererrrsrsrerersrsrererenens 54 Phase 1 Pourquoi valuer 7 eee 56 Phase 2 Qui associer et comment 2 nee 58 Phase 3 Poser le cadre de l valuation nee 64 Phase 4 Construire lutilit sociale ae annees 74 Phase 5 Elaborer les crit res et indicateurs nee 82 Phase 6 Collecter les donnees a nenmbnnanme pastis smnnen 90 Phase 7 Analyser les DONN SS EE 94 Phase 8 Construire un point de vue collectif 98 Rep res et M thodes Fiches Rep res 102 Fiches M thodes nn 107 COCO a E Ra 117 ao T E E E E EE E E E 119 Pour approfondir la d marche propos e dans ce guide retrouvez sur les sites de l Avise et de Culture et Promotion des espaces e
6. tat des lieux des r flexions et travaux existants sur cette probl matique L exp rimentation a t ensuite anim e par un comit de pilotage pr sid par Dominique Thierry membre du Conseil scientifique de l Avise et compos de repr sentants de la DIES la FONDA la CPCA le CNIAE le CJD la Caisse des D p ts et de plusieurs personnalit s qualifi es voir p 118 Compte tenu des axes prioritaires d intervention de l Avise trois champs d activit ont t privil gi s pour la s lection des structures participantes les structures d insertion par l activit conomique les associations ayant p rennis de nouveaux services des entreprises ayant d velopp des actions explicites d utilit sociale en plus de leur finalit conomique insertion de publics en difficult participation la vie de leur territoire Pour identifier les structures candidates le comit de pilotage s est appuy prioritairement sur des r seaux capables de rep rer des projets innovants le CJD le R seau Entreprendre la Fondation Face la CPCA le CNIAE le CELAVAR France Active Culture et Promotion les Caisses d pargne projets PELS les r seaux de l insertion par l conomique etc Suite cet appel projets quinze structures r parties sur tout le territoire et s lectionn es parmi 65 candidatures ont t retenues douze associations une coop rative Scop et deux entreprises classiques voi
7. valuation un nombre limit de crit re 3 5 maximum traduisant les sp cificit s de la structure La priorisation des dimensions de l utilit sociale des crit res puis des indicateurs devra se faire tout au long de la d marche de mani re ne pas travailler sur des indicateurs et des crit res qui ne seraient pas retenus terme Le choix des indicateurs se fera en veillant particuli rement ce qu ils soient significatifs et accessibles Au moment du choix des indicateurs on rep rera donc la source d information avec laquelle il sera possible de les renseigner Cette source peut d ailleurs tre indiqu e dans le r f rentiel d valuation Un autre l ment entre galement en ligne de compte dans le choix des indicateurs c est leur compl mentarit Les diff rents indicateurs sur un m me crit re doivent pouvoir se compl ter proposant plusieurs angles de vue sur un m me sujet ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Combiner indicateurs quantitatifs et donn es qualitatives Le r f rentiel pourra comprendre des indicateurs quantitatifs et des donn es qualitatives Concernant l utilit sociale les informations qualitatives sont essentielles Issues d entretiens ou d observations elles viendront compl ter les indicateurs Le terme d indicateur s applique habituellement des donn es strictement quantitatives La distinction entre qualitatif et quantitatif n
8. valuative Pour ce faire elle croise et pond re les donn es collect es Croiser les sources d information l valuation de l utilit sociale gagnera en efficacit et en cr dibilit si elle croise des sources d information diff rentes Du d claratif et des statistiques e Le d claratif r sulte des propos des acteurs Il traduit la perception et la connaissance qu ils ont d une situation Les indicateurs caract re statistique fournissent des informations plus objectives Ces deux sources d information se compl tent donc bien Une diversit de points de vue e Diff rentes perceptions de la r alit provenant de plusieurs points de vue enrichissent l valuation Dans cette perspective il peut tre int ressant par exemple de sonder sur un chantier d insertion le point de vue des encadrants et celui des salari s en insertion Plus g n ralement il para t pertinent de recueillir syst matiquement la perception des usagers d une structure en compl ment de celle des salari s administrateurs b n voles Analyser les donn es chiffr es Les chiffres ne parlent pas d eux m mes lls prennent leur sens dans un contexte particulier Leur analyse devra faire appel d autres l ments issus de la situation observ e L utilisation de la moyenne a l avantage de synth tiser une s rie de donn es mais crase la diversit La variance et l cart type permettent d appr hender cette v
9. 1 Renforcer la coh rence du projet e Clarifier le projet de la structure e Mieux articuler les finalit s les objectifs et les actions de la structure e Se doter d outils de pilotage et de suivi e Dynamiser le fonctionnement interne Am liorer ses activit s et ses pratiques e Renforcer l efficacit de son action de mani re continue e Outiller la mise en uvre des activit s e Professionnaliser les acteurs de la structure Communiquer e Rendre visibles les articulations entre les actions complexes e Rendre compte e Am liorer la communication interne et externe e Valoriser des avantages concurrentiels 4 Construire de nouvelles relations avec ses partenaires e tre plus cr dible e Affirmer son positionnement e Co construire pour une vision globale de la structure e Aller vers des projets n goci s Pourquoi se lancer dans une d marche d valuation de l utilit sociale Renforcer la coh rence du projet valuer l utilit sociale suppose de se questionner sur ce que repr sente l utilit sociale de la structure et ce faisant sur son projet e Quelles sont ses finalit s e Quels sont ses objectifs e Quelles sont ses valeurs Clarifier le projet de la structure Cette r flexion passe par un change entre les membres de l association Le d bat occasionn met plat les ventuelles divergences de points de vue souvent occult es mais qui peuvent cr er des tensions dans la mise en uvre
10. 1997 CULTURE ET PROMOTION Comment valuer son utilit sociale Bilan d une sur le site de l Avise www avise org us exp rimentation associative Dossier pour Notre Temps n 98 et n 98 bis 2001 CULTURE ET PROMOTION clairages sur l utilit sociale Dossier pour Notre Temps n 99 2001 e DECOOL Jean Pierre Des associations en g n ral Vers une thique soci tale Minist re de la Jeunesse des Sports et de la Vie associative Rapport 2005 e ENGELS Xavier HELY Matthieu PERRIN Aur lie et TROUVE H l ne dir De l int r t g n ral l utilit sociale L Harmattan 2006 e FREMEAUX Philippe r dacteur en chef L utilit sociale Alternatives conomiques Hors S rie Pratique n 11 2008 z GADREY Jean dir L utilit sociale des organisations de l conomie sociale et solidaire une mise en perspective sur la base de travaux r cents Rapport de synth se pour la DIES et la MIRE septembre 2003 e LIPIETZ Alain Pour le tiers secteur L conomie sociale et solidaire pourquoi et comment La D couverte La Documentation fran aise Paris 2001 THIERRY Dominique et GEZE Patrick dir L valuation de l utilit sociale bibliographie raisonn e Avise avril 2003 Deuxi me tape Conduire une d marche d valuation de l utilit sociale e BION Jean Yves et MOQUAY Patrick Balisage d une d marche d valuation de politique p
11. Caen 14 e Belleville Insolite Paris 75 Espaces Meudon 92 GAD la Plaine Saint Denis 93 e Les Jardins d Am lie Gardanne 13 _e Ligue de l enseignement des Ardennes Charleville M zi res 08 e M dias Cit Saint M dard en Jalles 33 e Ouvre Bo tes 44 Saint Herblain 44 R gie de quartier Villeneuve Village olympique Grenoble 38 e RIF Rockin F ches Lille 59 lt e Scutum SA Custos Rungis 93 e Services 18 Paris 75 Triselec Lille Hallun 59 Les experts accompagnateurs e Acteas amp MDS Didier Chr tien e Ariane D veloppement Local Pierre Petitbout Contrechamp Jean Baptiste Ch mery e Reactif Consultant Jean Claude Gosset Les structures accompagn es par Culture et Promotion l est impossible de citer toutes les structures qui par leurs travaux ont contribu ce guide Onze d entre elles sont cit es travers des encadr s mais plus de 70 structures e y ont indirectement concouru en exp rimentant diff rentes d marches et outils Ce guide a galement b n fici de l exp rience de trois associations qui mutualisent leurs lt pratiques d valuation avec Culture et Promotion e Le CEAS de la Sarthe Le Mans 72 Le CEAS de la Mayenne Laval 53 e Culture et Promotion Pays de la Loire La Roche sur Yon 85 Avec le regard d experts en valuation Bernard Perret Ing nieur
12. apport compl mentaire sur un aspect m thodologique ou sur une notion D finition de termes rencontr s au fil de la lecture et surlign s dans le texte Point d alerte retenir R capitulatif des points importants abord s au cours des phases concern es D finition asembla crit res et inaic teurs qui serviront de r f rence l valuation RETENIR p Cat ten en f m Phase 5 Elaborer lesfcrit res et indicateurs b j EN Un premier travail consiste identifier les parties prenantes Chacune n ayant pas la m me relation avec la structure il peut tre utile de les qualifier plus pr cis ment Plusieurs approches sont possibles 3 a une analyse des parties prenantes par domaines d intervention 3 une typologie des partenariats les op rationnels les financeurs et les institutionnels une analyse du partenariat Herua nias utes selon leur degr Un exemple Le r f rentiel Tr les syst mes d information existants 4 Fo Ues structures ont d j des outils fournissant des informations sur l activit fiche d accueil fiche d inscription liste de pr sence compte rendu de r union Il est int ressant de faire un bilan de l information d j disponible qui pourrait tre utilis comme indicateur et les outils qu il serait possible de compl ter peu de frais La construction de l utilit social
13. association elle avait le m me pr sident depuis 12 ans L accompagnatrice a pu faire ressortir cette incoh rence par rapport l utilit sociale d finie II s agit d un cas r el avec un nom fictif Ce questionnement de l accompagnateur peut aussi tre plus syst matique travers l utilisation de grilles o sont pr sent es diff rentes dimensions de l utilit sociale L accompagnateur veillera ce que son questionnement ne cr e pas de biais il ne doit pas induire des dimensions de l utilit sociale dans lesquelles les participants ne se reconnaitraient pas vraiment Formaliser l utilit sociale Regrouper les l ments relevant d une m me dimension de l utilit sociale Retenir les sp cificit s de la structure en termes d utilit sociale Un premier travail de structuration de l utilit sociale consiste regrouper les diff rents l ments qui sont li s la m me th matique d utilit sociale Cette synth se permet de mettre en vidence les principales dimensions de l utilit sociale Le regroupement peut se mat rialiser dans un tableau pr tabli qui reprend les diff rentes dimensions de l utilit sociale Qu est ce que l utilit sociale 30 p La plupart des structures ont une utilit sociale aux dimensions multiples Elles cr ent de l emploi produisent des richesses contribuent la cr ation de lien social la protection de l environnement ou o
14. d utilit sociale Renforcement et diversification des r seaux relationnels Partenariat pour les structures Participation D mocratie interne Exemples d indicateurs de r alisation Exemples d indicateurs de r sultat Lien social e Degr de mixit des acteurs et publics participant une action e Niveau d change entre participants un projet e Nombre et diversit des partenaires un projet taux d volution e Participation quilibr e de l ensemble des partenaires e Nouveaux modes de coop ration et mutualisation avec les partenaires nombre nature e Degr de participation aux instances du territoire taux d volution e Cr ation de relations d interactions de synergies entre les participants nombre nature e Maintien des relations entre les participants au del de l action nombre nature e D veloppement de r seau nombre d adh rents nombre de contacts pris e Co construction de projets e Nombre et diversit des conventionnements e largissement des r seaux des partenaires e Augmentation des interactions au sein du syst me d acteurs internes nombre de rencontres projets communs e Niveau de partenariat avec les acteurs du territoire nombre nature intensit e Participation aux projets d int r t local nombre nature intensit Citoyennet et d mocratie e Degr de participation des d marches de concertation e Parole donn
15. e ceux ne l ayant pas d habitude nombre proportion e Possibilit d acc s la prise de d cision pour les diff rentes cat gories d acteurs e Fonctionnement d mocratique interne mode de d signation mode de prise de d cision nombre de r unions CA bureaux e Nombre et typologie des adh rents montrant une participation de diff rents types de personnes e Taux de participation des adh rents et usagers au fonctionnement AG r unions internes e Degr de connaissance du projet de la structure par les adh rents e Niveau d implication des diff rents types d acteurs dans le diagnostic l laboration la mise en uvre l valuation d une action e Niveau d implication des diff rents types d acteurs dans la prise de d cision e Constat de l expression de personnes o groupes habituellement exclus nombre proportion e Renouvellement r gulier dans les fonctions lectives e Repr sentation de l ensemble des parties prenantes au conseil d administration e Appropriation du projet de la structure par les adh rents Exemples d indicateurs d impact e Am lioration de la qualit de vie chelle de notation e Nombre de personnes orient es vers les partenaires e Niveau d int gration de l activit la structure dans le territoire e D veloppement de la dynamique territoriale nombre de nouveaux projets de participants taux de satisfaction e Participation accrue des
16. es e de disposer de crit res d une valuation correspondant son approche de l utilit sociale et ses propres objectifs e de disposer d une grille de crit res de s lection de projets transparente et n goci e Les crit res de s lection sont connus et accept s par les structures elles m me Au niveau plus global les collectivit s et les r seaux de l ESS peuvent d finir ensemble une d marche d valuation de l utilit sociale La mise en uvre de ce type de d marche donnera la collectivit la possibilit e d avoir une visibilit sur l utilit sociale des actions financ es e de rendre des comptes aux citoyens sur l emploi des ressources de la collectivit e de se doter d une d marche de progr s dans le cadre de relations suivies entre les deux parties prenantes e d optimiser les moyens mis en uvre en les orientant sur des actions dont l utilit sociale est importante La mise en uvre de ce type de d marche par le niveau de dialogue et de partage de questions de fond qu elle suppose fait le plus souvent franchir une tape d cisive dans le partenariat entre collectivit s et acteurs de l conomie sociale et solidaire chacune des parties ayant une meilleure perception des enjeux de l autre et de la n cessit d avancer vers un consensus M thode N 1 Les tapes cl s de l valuation L valuation de l utilit sociale s appuie sur une trame m thodologique que l on ret
17. le 26 avril 2006 une communication sur les services sociaux d int r t g n ral sous la banni re desquels devrait pouvoir se ranger un grand nombre d activit s associatives Il convient donc d assurer une coh rence et une s curit juridiques aux services exclus de la proposition de directive SMI en coordonnant le champ d application avec celui de la Communication sur les SSIG Le collectif SSIG France qui rassemble quatorze grandes associations ou mutuelles 2 Paru la Documentation fran aise en mars 2007 dans le Bilan de la vie associative 2004 2007 Les enjeux soci taux de l valuation de l utilit sociale et qui fait un travail remarquable de mobilisation Cette clarification des r gles du jeu doit permettre et d action sur ces textes soutient la proposition de de reconna tre la primaut des missions d int r t la Commission d envisager une initiative l gislative g n ral sur les r gles de la concurrence et du sur les SSIG qui leur reconnaisse des droits et des march int rieur pour mieux garantir les services moyens Toutefois il souhaite qu il n y ait pas rendus par les associations lever l ins curit dissociation des dossiers de la sant d une part juridique qui p se sur l exercice de leurs activit s et des SSIG d autre part telle que la Commission et par voie de cons quence sur la r alisation envisage ce qui lui semble artificiel et dommageable et la p rennit de leur projet associatif 0
18. r ponse une obligation impos e par des financeurs r vision des missions de la structure motiv e par des retours d usagers e Pr ciser la nature de la prestation attendue Il est n cessaire d tablir ce qui rel ve de l valuation interne et ce qui sera confi au consultant e Demander un descriptif d taill de la mission la m thodologie employ e l agenda envisag les moyens la formalisation pr vue nature et planification de documents e Demander des r f rences pour des accompagnements similaires e Proposer un cadre budg taire Pour en savoir plus MAELA Paul L accompagnement une posture professionnelle sp cifique L Harmattan 2004 Conclusion travers ce guide l Avise et Culture et Promotion ont cherch fournir aux acteurs de l conomie sociale et solidaire des l ments de rep re et de m thode pour conduire une d marche d auto valuation de leur utilit sociale s agissait par l de contribuer en compl ment d autres travaux la mont e en comp tence des acteurs et au del l appropriation des d marches valuatives et de la notion m me d utilit sociale Le fait de retenir comme principe l auto valuation n est pas un choix neutre dans un contexte o le champ de l valuation est fortement marqu par celle des politiques publiques il importe de reconna tre aux acteurs de la soci t civile la capacit d en tre eux m mes moteurs et re
19. res entre marchand et non marchand lucratif et non lucratif Dans ce contexte les acteurs mettent en avant la sp cificit de leur mode d agjir et d entreprendre et non plus leur seul statut cf travaux du CNVA en 1995 et 1996 et cette sp cificit du mode d entreprendre est revendiqu e y compris par des structures sous statut d entreprise classique notamment dans le champ de l insertion par l activit conomique et plus r cemment avec la cr ation des soci t s coop ratives d int r t collectif SCIC Le concept d utilit sociale est apparu dans ce cadre permet justement de prendre en compte l apport la soci t et la mani re sp cifique d y parvenir diff rente de celle que pourrait mettre en uvre tant les acteurs du secteur public que ceux du secteur marchand L mergence du concept d utilit sociale peut ainsi tre appr hend e comme une des cons quences du d veloppement des activit s conomiques des associations et ce n est pas un hasard si cette notion est d abord intervenue dans le champ fiscal Peu peu la notion d utilit sociale a t accapar e par l ensemble du champ associatif et ses partenaires notamment publics 3 D l gation interminist rielle l innovation l exp rimentation sociale et l conomie sociale 4 Voir notamment Les dynamiques de l conomie sociale et solidaire sous la direction de Jean No l Chopart Guy Neyret et Daniel Raul
20. s aux d marches d valuation de l utilit sociale L valuation de l utilit sociale est aujourd hui principalement initi e par les structures de l conomie sociale et solidaire mais cette probl matique commence aussi mobiliser les collectivit s L angle d approche des collectivit s n est pas n cessairement l utilit sociale mais une r flexion se d veloppe autour de crit res d valuation plus pertinents pour le secteur de l conomie sociale et solidaire Plusieurs r gions ont initi un travail sur l laboration de crit res et d indicateurs dans ce sens Ce travail est effectu en partenariat avec les acteurs du secteur Sans en prendre directement l initiative les collectivit s peuvent galement tre associ es des d marches d valuation de l utilit sociale mises en uvre par des structures de l conomie sociale et solidaire Dans la plupart des cas il s agit d initiatives individuelles mais parfois comme dans le Gard c est le secteur de l ESS qui associe l ensemble des partenaires publics Conseil r gional Conseil g n ral DDTEFP DDASS DDJS Dans les d marches men es avec les structures de l ESS les collectivit s locales sont invit es d finir avec elles des crit res et indicateurs d valuation de l utilit sociale ce qui leur permet de partager une perception de l utilit sociale e d avoir un accord avec les structures sur l utilit sociale des actions men
21. sion plus juste plus accueillante une conomie plus sociale la qualit de l environnement qui constituent saine un secteur quaternaire d utilit sociale de production de capital soci tal Celui ci n est il pas de mani re C est une d monstration qui se heurte un diff rente du capital financier un gage de prosp rit scepticisme empreint d id ologie lib rale qui d valorise et marginalise ces initiatives Deux faut admettre toutefois que si les prestations de arguments sont mis en avant Le premier est leur services marchands se mesurent sur une unit de co t pour les finances publiques elles exigeraient compte il n existe pas de mode commun et une aide trop lourde pour tre g n ralis e Argument g n ralisable d appr ciation de l utilit sociale infond les tudes r alis es la demande du Probl me s rieux difficile parce que sans CNIAE dans plusieurs r gions montrent qu apr s valuation l utilit sociale perd en cr dibilit et d duction des recettes fiscales et sociales tir es des l conomie solidaire en l gitimit entreprises d insertion et retrait des indemnit s de ch mage vit es le solde net est positif pour l tat Une valuation indispensable et pour les collectivit s territoriales Encore faut il Vigilant en raison de ses contraintes budg taires d duire aussi de la charge publique ces externalit s l tat exige de justifier les aides fiscales ou sociales qu
22. association ne peut en aucun cas d finir elle seule son utilit pour la collectivit Comme base de n gociation avec les partenaires sur les outils d valuation comme sur le processus d valuation cette r flexion peut participer la transformation des politiques publiques elles m mes et une meilleure prise en compte des processus moyen et long terme Mais il ne peut s agir d une simple autol gitimation Autant il est indispensable que les diff rents acteurs de l association et non seulement ses dirigeants participent cette auto valuation collective autant il est l gitime que des acteurs ext rieurs participent au choix des crit res qui d finissent l utilit pour la collectivit Pourquoi faudrait il attendre l mergence de difficult s pour s emparer de cette opportunit Pourquoi faudrait il attendre une injonction administrative pour entrer dans cette d marche Moyen d valuation du projet et des activit s mais aussi de pr vention des tensions et des difficult s l approche de l utilit sociale associative peut tre un important levier d animation de la d mocratie interne comme des partenariats externes si elle est con ue davantage comme un processus collectif que comme la bo te outils qui en r sulte 000000000000 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 ETAPE 1 COMPRENDRE AVANT D AGIR Un enjeu d terminant pour le mo
23. au long des projets d finition r alisation suivi et valuation constitue un gage d efficacit et facilite la reconstitution du lien social dans le quartier explique un responsable ETAPE 1 COMPRENDRE AVANT D AGIR 4 Une utilit sociale construire collectivement Construire une d finition Une co construction n existe pas de d finition de l utilt sociale a priori c est pourquoi cette question n cessite un accord sur le sens de cette expression Les acteurs devront donc construire une d finition propre la structure I ne s agit pas de trouver LA d finition de lutilit sociale mais plut t de pr ciser celle qui sera pertinente au regard de l objet concern qu il s agisse de l utilit sociale d une action d une structure ou de l utilit sociale au niveau d un territoire Focus Les crit res du CNVA Le Conseil national de la vie associative a labor en 1994 1995 dix crit res pour circonscrire l utilit sociale Ils ont t ramen s cinq en 1996 e la primaut du projet sur l activit e la non lucrativit et la gestion d sint ress e e apport social des associations e le fonctionnement d mocratique e l existence d agr ments Ces crit res ne sont ni exhaustifs ni exclusifs ni cumulatifs travers ces crit res le CNVA souhaitait diff rencier les associations ayant des missions d int r t g n ral d autres structures ayant adop
24. aujourd hui mais galement pour les g n rations futures Les pollutions ou l utilisation massive des nergies fossiles au d triment des nergies renouvelables contribuent une d gradation rapide de la plan te L utilit environnementalef est donc une dimension part enti re de l utilit sociale Elle peut r sulter de trois formes d actions e Actions de protection de l environnement Il s agit d actions sp cifiques concernant l environnement comme la gestion des d chets la mise en place de syst mes utilisant des nergies renouvelables Elles sont men es par des associations uvrant dans le secteur de l environnement e Education l environnement Ce sont les d marches de sensibilisation par exemple dans les coles ou plus largement aupr s des citoyens Par exemple Association intervenant dans les coles pour pr senter des jeux sur la th matique des d chets e Pratiques transversales respectueuses de l environnement s agit de pratiques que toute structure peut mettre en place Elles contribuent prot ger l environnement travers les gestes quotidiens Par exemple Tri s lectif recyclage du papier covoiturage utilisation d ampoules faible consommation recharge des cartouches d imprimante 6 Terme emprunt Alain Lipietz in Pour le tiers secteur La D couverte 2001 ETAPE 1 COMPRENDRE AVANT D AGIR Une dimension d panouissement favoriser le
25. b n voles leurs r les les modalit s de travail les relations partenariales les relations avec les usagers b n ficiaires D finition Tiers secteur compl mentaire des deux secteurs conomiques bien identifi s public et priv le tiers secteur est un secteur hybride la crois e du public et du priv dot le plus souvent d un cadre r glementaire sp cifique Qu est ce que l utilit sociale Parall lement aux modes d action les peuvent avoir une utilit sociale Il peut s agir de modes de fonctionnement internes c est dire au sein de l association ou externes c est dire dans les relations de l association avec ses partenaires Par exemple Une association qui met en place la parit au sein de son conseil d administration peut contribuer la r duction des in galit s entre les femmes et les hommes Par exemple Une association qui met en place un important partenariat local et qui d veloppe avec ses partenaires des relations de confiance des pratiques de mutualisation et d changes contribue renforcer les dynamiques locales de territoire On peut mettre ici accent sur les modes de fonctionnement sp cifiques l conomie sociale Il existe en effet des r gles de fonctionnement dans ce secteur qui si elles sont effectivement respect es g n rent de l utilit sociale Par exemple e Le fonctionnement d mocratique une personne une voix contribue
26. b n voles et les salari s les partenaires financiers et techniques ainsi que les usagers b n ficiaires La d finition de l utilit sociale et les r sultats de l valuation auront d autant plus de cr dit qu un large consensus aura t cr Elle aura alors plus de chances de perdurer les partenaires et les usagers porteront plus d int r t aux r sultats d une d marche laquelle ils auront t d embl e associ s La structure l initiative de l valuation choisit g n ralement qui elle associe la d marche Elle le fera notamment en fonction de ses propres enjeux Ainsi elle mobilisera plus particuli rement ses b n voles administrateurs et salari s si son objectif est de repr ciser son projet associatif Si elle souhaite renforcer son partenariat elle associera logiquement ses partenaires la r flexion Dans ce dernier cas chacun des partenaires pr sentera ses attentes au titre de sa structure et pourquoi pas titre personnel car la motivation des personnes est importante pour g n rer une dynamique dans le processus d valuation l issue d un change les participants rep reront les objectifs de chacun et d finiront des objectifs communs l valuation L animation de ce temps de d bat est importante l coute mutuelle parfois la r gulation ou la n gociation sont n cessaires Certains outils peuvent venir en appui au d bat mais ils ne sont pas indispensables abaque de R gnier et
27. cas c est plus difficile comment estimer les r sultats attendus en termes de diversification des r seaux relationnels sur une th matique comme le lien social Le r f rentiel pr sentera alors les indicateurs sans niveau attendu Et ce sont les r sultats d une premi re valuation de l utilit sociale qui constitueront une base pour le r f rentiel des valuations ult rieures W OUTILS N 3 amp N 8 Exemples de grilles de crit res et d indicateurs Penser aux indicateurs de contexte peut tre int ressant d ajouter au r f rentiel des indicateurs de contexte Ils permettent de mettre en relation l action de la structure et la situation du territoire sur lequel elle intervient Par exemple Une structure d insertion par l activit conomique qui a pour objectif de permettre un retour l emploi des personnes qu elle accompagne n obtiendra pas les m mes r sultats dans un contexte o le ch mage est faible et en r gression que dans un contexte o il est fort et en augmentation Phase 5 laborer les crit res et indicateurs Les indicateurs de contexte permettent notamment de e mieux appr cier la part des impacts attribuer la structure dans le changement constat e percevoir les volutions du contexte et donc la pertinence de l action e relativiser les r sultats atteints ou non atteints e relativiser les objectifs qui avaient t fix s ils peuvent avoir t tr
28. cessaire de proposer aux structures de l conomie sociale et solidaire et notamment aux associations des outils op rationnels qui les appuient dans leur d marche d valuation de l utilit sociale C est bien dans cette perspective que ce guide a t labor Comment ces structures peuvent elles valuer l utilit sociale dont elles se r clament c t des indicateurs conomiques classiques chiffre d affaires emplois cr s comment peuvent elles tre force de proposition sur de nouveaux crit res d valuation valorisant mieux leur plus value sociale Comment peuvent elles s associer avec les autres parties prenantes tat collectivit s locales notamment pour co construire une valuation qui r ponde aux objectifs de chaque partie Cet ouvrage capitalise les r sultats d une exp rimentation men e par l Avise en 2004 2006 ainsi que les travaux du r seau associatif Culture et Promotion qui accompagne depuis sept ans des structures dans des d marches d valuation de leur utilit sociale Ce guide sort un moment opportun D abord les travaux sur l valuation des politiques publiques irriguent progressivement tous les champs de la soci t y compris la sph re publique exemple de la loi organique relative aux lois de finances dite LOLF Par ailleurs qu il s agisse de l volution des relations contractuelles march s publics ou subvention entre pouvoirs publics et associations de la d
29. cette dimension soci tale peuvent r pondre des objectifs formul s des structures association de loisirs syst me d changes local mais ils sont aussi souvent des effets induits dont la structure n est pas n cessairement consciente Une dimension politique faire voluer la soci t I y a une utilit sociale faire voluer la soci t L conomie sociale et solidaire y contribue diff rents niveaux On peut qualifier cette dimension de politique en se r f rant au sens tymologique du mot savoir vie de la cit Lorsque la structure n affiche pas d lib r ment cet objectif elle per oit rarement la dimension politique de son action et cet apport tombe dans l oubli n est pas valoris Cette dimension n est pas prise en compte par les pouvoirs publics Quatre axes peuvent tre regroup s dans cette dimension politique e L innovation Le secteur de l conomie sociale et solidaire exp rimente de nouvelles pratiques de nouveaux modes d action repris par la suite par le secteur conomique classique notamment dans le secteur social permet la soci t d voluer en lui proposant des innovations exp riment es et qui ont fait leur preuve Pour avoir une utilit sociale l action exp riment e devra tre analys e et les conclusions de ce travail devront tre diffus es Qu est ce que l utilit sociale e La fonction d aiguillon Faire voluer la soci t peu
30. chaque valeur Des indicateurs ont ensuite t d termin s pour chaque crit re J OUTIL N 17 Exemple de grille de crit res et d indicateurs Le r f rentiel peut prendre la forme simple d un tableau avec une premi re colonne reprenant les crit res et une seconde pour les indicateurs La fiche m thode N 3 pr sente un exemple de tableau regroupant les crit res et indicateurs que l on peut qualifier de r f rentiel Fiche N 3 Un exemple 1 1 3 m thode de r f rentiel p La logique de projet d finit trois niveaux d objectifs avec pour chacun un niveau de r sultat qu il est possible d observer les r alisations les r sultats les impacts L valuation des politiques publiques s appuie sur cette diff renciation en trois niveaux d objectifs L utilit sociale ne r pond pas toujours des objectifs explicites de la structure mais les trois niveaux d indicateurs peuvent tre identifi s et chacun d eux correspond un niveau d indicateur Ces trois niveaux peuvent tre recherch s pour chaque crit re Exemple de grille de crit res et d indicateurs OUTIL N 18 Exemple de r f rentiel ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Les trois niveaux d indicateurs Niveau d objectif Niveau de r sultat Mise en uvre de l action correspondant L action est r alis e travers des activit s P T Les activit s donnent lieu des r alisation
31. crit res et d indicateurs R alis par Jardins d Am lie avec l appui de Contrechamp Exemple de r f rentiel R alis par Loisirs Pluriel avec l appui de Culture et Promotion Exemple de r f rentiel R alis par Jardin Moderne avec l appui de Culture et Promotion Exemple de grille d valuation de r unions R alis par CEAS de l Essonne avec l appui de Culture et Promotion Exemple de grille de suivi d un salari R alis par Jardins et Vergers de la Solidarit avec l appui de Culture et Promotion Extrait de grille d entretien exploratoire R alis par Services 18 avec l appui d Acteas amp MDS Soci t Custos SAS association Espaces r gie de quartier Villeneuve Village Olympique f d ration Loisirs Pluriel association Le Jardin Moderne www avise org us www culture et promotion org 1 Les outils propos s au lecteur sont destin s lui donner un aper u des approches m thodologiques vari es qui peuvent tre utilis es dans le cadre d une d marche d auto valuation Ces quelques exemples n ayant bien s r pas vocation repr senter la palette exhaustive des outils existants R f rences bibliographiques Les documents pr c d s de l ic ne H sont t l chargeables Premi re tape Comprendre avant d agir e CONSEIL NATIONAL DE LA VIE ASSOCIATIVE Reconnaissance de l utilit sociale des associations Rapport Paris
32. de l conomie sociale la reconnaissent L valuation de l utilit sociale implique la participation de diff rentes cat gories d acteurs Une cat gorie d acteurs ne peut d finir elle seule ce qui est utile la soci t L valuation de l utilit sociale suppose donc d associer diff rents types d acteurs la d marche notamment les partenaires et usagers Elle prend son sens et sa force par la participation du plus grand nombre L valuation de l utilit sociale est avant tout une valuation En effet l valuation de l utilit sociale pose toutes les questions classiques de l valuation auxquelles il est n cessaire de r pondre au pr alable e Pourquoi valuer e Qui value e Qu est ce qu on value e Comment valuer Elle suppose galement de d finir l objet de l valuation utilit sociale le champ d observation Le choix de la d marche d valuation d pend des enjeux de l valuation Les objectifs de l valuation de l utilit sociale peuvent tre tr s vari s valorisation o recentrage du projet associatif meilleur suivi des activit s am lioration du fonctionnement interne renforcement des partenariats Selon les objectifs la d marche d valuation pourra tre diff rente Elle associera o non tout ou partie des diff rents partenaires les salari s les usagers Elle pourra aboutir la red finition de l utilit sociale la constitution de tableau de bord
33. de l outil d valuation a permis de rep rer imm diatement les manques de certains chantiers d insertion absence de travailleurs handicap s absence des partenaires sensibilisation existant sur certains chantiers et pas d autres Suite ce premier constat l association a men un travail avec l AGEFIPH pour int grer des travailleurs handicap s dans les chantiers B n fices L outil labor par Espaces permet l association de rep rer les marges de progr s sur ces chantiers et d orienter le d veloppement de ses activit s en fonction de ses objectifs transversaux La d marche d valuation de l utilit sociale peut constituer un outil permettant d am liorer la mise en uvre des activit s Elle peut par exemple servir des actions de formation la conduite de projet ou d accompagnement de porteurs de projet en offrant des outils de questionnement sur le sens du projet et de suivi de sa mise en uvre Elle peut aussi constituer un outil de mobilisation et d accompagnement des publics en insertion en les rendant acteurs dans une d marche d valuation qui les concerne Pour ces publics elle devient alors un moyen de conscientisation et d appropriation de leur parcours L exp rience des autres ESEESE SEESES EFEFEF EFESS EFEFEF EFFSEFESEF FESSES ESESEESEEEEE Les r sultats du questionnaire pass par Services 18 aupr s de ses usagers lui ont permis de confirmer la n cessit de modifier le f
34. de suivi de l activit ou quelques crit res cl s De mani re g n rale l valuation doit fournir des informations mais galement permettre l expression et la confrontation des diff rents points de vue L valuation de l utilit sociale se diff rencie en principe de l valuation du projet associatif Les associations se constituent en d finissant un objet leur action Cet objet traduit g n ralement l objectif et les finalit s de l association Lorsqu une association d finit seule son utilit sociale celle ci risque de se confondre avec ses finalit s associatives Son utilit sociale peut pourtant tre diff rente des finalit s associatives Les partenaires et usagers de l association peuvent t moigner d une utilit sociale que la structure ne per oit pas ou infirmer une utilit sociale que l association revendique De plus l utilit sociale est li e un contexte Elle se situe la rencontre des finalit s de l association et du terrain sur lequel elle intervient une p riode donn e Elle est en principe plus conjoncturelle alors que les finalit s associatives peuvent tre plus permanentes Entr e m thodologique e L utilit sociale est d finie par les acteurs concern s La d marche d valuation s appuie sur la construction sp cifique de l utilit sociale par les acteurs concern s L utilit sociale n est pas pr d termin e Chaque structure d finit avec ses partenaires
35. dizaine de champs de l ESS du commerce quitable aux finances solidaires en passant par la lutte contre les exclusions ou les services de proximit Dans le domaine des services la personne le Conseil r gional s est dot de crit res d utilit sociale pour se distinguer des services publics ou priv s existants l activit doit apporter une plus value dans la gestion du personnel dans les relations structure usagers Dans le secteur de l environnement les acteurs rassembl s au sein du RREGE R seau R gional Emploi Gestionnaire Environnement travaillent la co construction porteurs de projets financeurs partenaires de crit res et indicateurs de mesure de l utilit sociale et exp rimentent leur mise en pratique Au travers de ces diff rents travaux trois types d utilit sociale ont pu tre mis en vidence e dans la structure et pour ses b n ficiaires ce que l on peut appeler l utilit sociale endog ne C est l int rieur m me de la structure que les effets sont constat s C est le cas par exemple lorsque les structures participent l insertion de personnes en difficult o emploient des travailleurs handicap s par ses actions et l on parle d utilt sociale exog ne locale C est le produit m me de l action qui g n re des b n fices sociaux o environnementaux C est notamment le cas de structures qui participent au reboisement de massifs victimes d incendies
36. effet l utilit sociale de la structure en fonction de son propre positionnement Les salari s les partenaires ou les usagers peuvent avoir des attentes tr s diff rentes l gard de la structure ou ne percevoir qu une des dimensions de son utilit sociale souvent en lien direct avec ses propres pr occupations La d marche consiste prendre en consid ration dans un premier temps tous les points de vue Ensuite des priorit s seront donn es telle ou telle dimension lorsqu il s agira de choisir les aspects de l utilit sociale valuer Par exemple L utilit sociale d une structure pratiquant la danse dans des quartiers difficiles ne sera pas forc ment per ue de la m me mani re par un assistant social ou par un pratiquant des activit s de l association Certaines perceptions se recoupent d autres non Il existe de nombreuses m thodes pour aborder l utilit sociale De mani re g n rale notons que e Toutes les m thodes questionnent le sens Elles interrogent les raisons profondes pour lesquelles les actions sont men es et le projet politique de la structure Ce travail renvoie aux valeurs port es par celle ci Le questionnement sur le sens est au c ur de l valuation de l utilit sociale e Elles visent objectiver et formaliser l utilit sociale Elles identifient les principales dimensions de l utilit sociale ou formalisent une d finition de l utilit sociale de la structure Elles abo
37. juste r mun ration du travail le respect de la personne au travail la d mocratie dans l entreprise la recherche de la qualit dans le travail l attention certains publics les conditions d acc s la d mocratie dans la gouvernance Cependant m fions nous de tout ce qui peut ressembler dans ces tentatives une nouvelle technocratie Si l on veut que des outils soient l gitimes qu ils soient efficaces suscitent du d bat public il faut les construire ensemble Ce qui compte souvent ce n est pas tant le r sultat que la m thode utilis e pour y parvenir Car c est travers la m thode que l on peut travailler sur les repr sentations Ainsi la r flexion sur les crit res d valuation constitue un temps indispensable de l laboration des dispositifs r gionaux pour partager les points de vue entre acteurs concern s et institutions Ce temps de partage permet souvent d viter des erreurs manifestes de construire une vision partag e d anticiper et surtout de faire ressortir l intelligence collective car il para t que l on est plus intelligent plusieurs Le Conseil r gional travaille sur les crit res d valuation de l utilit sociale avec des partenaires depuis plusieurs ann es D s 2002 le rapport Action de mobilisation et de d veloppement de l conomie sociale et solidaire dans la r gion Provence Alpes C te d Azur permettait de mettre en lumi re l utilit sociale d une
38. l change Une coanimation se r v le utile pour faciliter la prise de note L entretien ne doit pas exc der deux heures OUTIL N 22 Extrait de grille d entretien exploratoire Cette technique consiste pour une personne en charge de l valuation observer et analyser les interactions entre les acteurs en pr sence Elle vient en compl ment d autres formes de collecte L observation ne doit pas perturber le comportement des acteurs L observateur prend discr tement des notes sur les faits et les comportements Ces notes doivent tre les plus fid les possibles la r alit Les tudes de cas On ne d taillera pas ici la d marche d tude de cas qui demande un travail sp cifique que les structures ont rarement le temps de r aliser dans une d marche d auto valuation Elle consiste tudier de mani re approfondie quelques cas partir de toutes sortes de donn es statistiques entretiens tude documentaire Elle donne lieu la r daction de monographies L analyse de plusieurs cas permet de comprendre le d tail des m canismes l uvre ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Analyser les donn es CROISER LES SOURCES D INFORMATION ANALYSER ET OBJECTIVER LES DONN ES RECUEILLIES L analyse des donn es consiste questionner les informations recueillies lors de la phase de collecte afin d en retirer des l ments permettant de r pondre la question
39. l Abaque de R gnier R alis par Services 18 avec l appui d Acteas amp MDS Exemple de cartographie de partenariats R alis par Services 18 avec l appui d Acteas amp MDS Exemple de typologie des parties prenantes par domaine d action R alis par Belleville Insolite avec l appui d Ariane D veloppement Local Exemple de grille de crit res et d indicateurs R alis par Agate Paysages avec l appui de Contrechamp Exemple de calendrier d une d marche d valuation R alis par Bretagne Initiatives D veloppement avec l appui de Culture et Promotion La m thode des cartons R alis par Contrechamp Exemple d utilisation de la m thode du blason R alis par Les Petits D brouillards Bretagne avec l appui de Culture et Promotion Exemple de regroupement par id es cl s R alis par La Maison de la Jeunesse et de la Culture de la Plaine du Ronceray avec l appui de CEAS Mayenne L outil projet d inspiration syst mique R alis par Ariane D veloppement Local Exemple de grille de crit res et d indicateurs R alis par Vieillir Autrement avec l appui de Culture et Promotion Exemple de grille d auto valuation R alis par Culture et Promotion dans le cadre du projet Dow Jane Extrait de grille de crit res et d indicateurs R alis par Services 18 avec l appui d Acteas amp MDS Exemple de grille de
40. l instar de la loi Nouveaux services emplois jeunes 16 10 1997 la notion d utilit sociale a t reprise dans quelques d crets et lois avec n anmoins des d finitions variables ou impr cises loi relative la lutte contre les exclusions 29 07 1998 loi relative la solidarit et au renouvellement urbain 13 12 2000 loi sur la cr ation des SCIC 17 07 2001 loi concernant l action m dico sociale 02 01 2002 etc partir de la fin des ann es 1990 cette notion d utilit sociale est tudi e dans diff rents travaux de recherche et au travers d exp rimentations En 2000 le rapport d Alain Lipietz sur le tiers secteur proposait trois dimensions de l utilit sociale e l utilit cologique les actions en direction de l environnement bien collectif e l utilit sociale comme action en faveur des pauvres e l utilit sociale relevant du halo soci tal Le halo soci tal comprend la production de liens sociaux de proximit le capital social le patrimoine collectif En 2008 para t le rapport coordonn par Jean Gadreyf qui propose une synth se s appuyant sur 23 travaux de recherche dont une grande partie a t commandlit e par la D l gation Interminist rielle l conomie sociale II pr sente notamment une approche de l utilit sociale se d clinant en cinq dimensions e l utilit sociale forte composante conomique e l galit le d veloppement humain et le d velo
41. le plan social et cologique Par exemple les co ts des accidents de la route sont comptabilis s et augmentent le PIB alors que le b n volat des associations n est pas pris en compte La richesse calcul e partir du produit int rieur brut refl te les flux financiers mais ne prend pas en compte l esp rance de vie le niveau d instruction Il reste trouver une valeur qui permette de construire une autre approche de la richesse plus repr sentative des r alit s sociales L utilit sociale est l opportunit de prendre en compte de nouvelles formes de richesse induites par la conduite de projets Les pouvoirs publics ont int r t construire de tels indicateurs afin de mesurer l impact de leur politique Encore faut il que ces indicateurs aient du sens par rapport aux territoires aux porteurs de projets et que l on se soit mis d accord avant sur ce que l on met derri re le terme d utilit sociale l heure actuelle les crit res sont en construction Certains indicateurs tels que l indicateur de d veloppement humain les calculs de l empreinte cologique proposent une s rie d indicateurs diff rents Les crit res de l utilit sociale devront r pondre la question suivante comment prendre en compte la pr servation de l environnement une production socialement utile la qualit des mat riaux la qualit du service la qualit des relations producteurs consommateurs le respect des droits sociaux la
42. lequel se m ne le d bat influeront sur la nature de la d finition D finition Convention sociopolitique ensemble de valeurs et de normes sociales partag es se r f rant un mod le de soci t D finition Processus suite ordonn e d op rations ou de t ches aboutissant un r sultat Qu est ce que l utilit sociale Ce travail men au niveau d une structure d un ensemble de structures voire d un territoire contribue l mergence d un accord plus large sur la nature de l utilit sociale et ce faisant participe l laboration d une ee Eee ereeeleRE qui pose des r f rences collectives sur l utilit sociale La d finition de l utilit sociale sur laquelle un certain nombre d acteurs peuvent s entendre ne doit pas tre consid r e comme objective d finitive et unique Elle est pertinente un moment donn pour certains acteurs dans un certain contexte faudra donc accepter de la remettre en cause de la faire voluer et d entendre des avis divergents RETENIR gt L utilit sociale est une notion contingente Elle n a pas de d finition universelle Sa d finition d pend des valeurs port es par ceux qui la d finissent et du contexte gt Chaque structure doit co construire la d finition de sa propre utilit sociale gt L utilit sociale d une structure est li e la nature de l action qu elle r alise mais galement ses p
43. lucratif de l association L avis du CNVA de 1996 sur la reconnaissance de l utilit sociale des associations situe justement le sujet de conomie associative et de la prise en compte de ses sp cificit s dans le contexte de l application du droit de la concurrence Dix ans plus tard le sujet est d actualit mais cette fois plus particuli rement au regard de l application du droit communautaire Les associations r clament aujourd hui un cadre l gislatif sp cifique pour les services sociaux d int r t g n ral Il s agit ni plus ni moins que de rendre possible la prise en compte dans le march int rieur de la sp cificit organisationnelle de certaines structures comme les associations acteurs conomiques non lucratifs par le fait d un mandatement d int r t g n ral par l tat Du fait de l absence de crit res partag s utilit sociale n appara t pas a priori pertinente pour tre un d terminant des modalit s de mandatement d un prestataire associatif Si le d bat conceptuel est ouvert force est de constater que l valuation de l utilit sociale a d j le m rite de requestionner toutes les associations au sujet de l valuation de leur projet associatif sur un plan concret Modestement mais non d nu d ambitions pour le monde associatif ce guide apporte des clairages nouveaux pour montrer notre diff rence 000000000000000000000000000000000000000000000000000000000000000000000
44. mani re tr s libre e d pouillement des id es e La m thode des cartons Cette technique s inspire de la d marche M taplan Autour d un th me ou d une question propos e par l animateur chacun indique ses id es sur des cartons OUTIL N 10 une id e par carton Ces cartons sont ensuite affich s sur un mur et regroup s La m thode des cartons par unit s de sens th matiques e Le blason Cet outil permet chacun de repr senter la structure telle qu il la per oit Un d bat peu ensuite s amorcer 9 OUTIL N 11 Exemple d utilisation de la m thode du blason Une autre approche consiste identifier les diff rents types d acteurs concern s par l activit de la structure puis pr ciser quels peuvent tre pour eux son int r t et ses apports Ces apports sont ensuite regroup s autour de diff rentes th matiques qui caract risent son utilit sociale Recueillir les diff rentes perceptions de l utilit sociale Cette m thode permet d entrer dans la d marche d valuation de mani re concr te en se r f rant aux r sultats et impacts estim s de l action vus par les diff rents acteurs la diff rence des autres approches celle ci s int resse directement aux impacts en termes d utilit sociale de la structure sans se r f rer son projet associatif ou aux actions Les repr sentations sur les impacts potentiels pour telle ou telle partie prenante demandent ensuite tre
45. me m thode consiste r aliser des entretiens individuels sur l utilit sociale aupr s des diff rentes parties prenantes Ce travail est g n ralement r alis par laccompagnateur Celui ci labore ensuite une synth se de ces entretiens qui est finalement mise en d bat au cours d une r union avec l ensemble des parties prenantes La d finition de l utilit sociale propre la structure sortira de ces changes Cette m thode est adapt e des situations o la construction collective de l utilit sociale s av re difficile difficult d expression des participants lors de r unions collectives tensions avec certaines cat gories de participants R aliser des entretiens qualitatifs n cessite beaucoup de temps Par ailleurs l appropriation de la d finition de l utilit sociale et la mobilisation sont moindres avec cette m thode Cette approche s appuie sur des grilles de questionnement qui constituent des prismes de lecture pour explorer les facettes de la structure autour de deux axes le sens et l action e L exploration du sens passe par trois registres e les valeurs e la finalit e les buts terme e L exploration de l action passe par quatre registres e l histoire du projet de la structure et de son contexte e son fonctionnement interne et partenarial e son action e ses objectifs op rationnels et ses r sultats La confrontation de ces deux axes aboutit la contribut
46. multiplication des interlocuteurs du fait de la d centralisation ou de la pression europ enne sur la d finition des Services sociaux d int r t g n ral SSIG nombre d volutions am nent les acteurs de l conomie sociale et solidaire faire reconna tre la sp cificit de leur apport la collectivit et pour cela devoir mesurer plus clairement ce qu est leur impact Enfin l valuation commence aussi mobiliser les collectivit s territoriales Plusieurs r gions ont initi en partenariat avec ces acteurs un travail dans ce sens Ce guide comble un manque Mais il n est pas une fin en soi il s agit d une tape d autant qu il s attache proposer une d marche d auto valuation et que reste ouvert le chantier d une valuation partag e C est une tape enfin car ce sont vos pratiques vos exp riences et vos retours qui enrichiront ces travaux et contribueront une vraie reconnaissance de l utilit sociale de l conomie sociale et solidaire lui Hugues Sibille Pr sident de l Avise Introduction Historique de l utilit sociale Une mergence progressive du concept marqu e par la dimension fiscale Depuis de nombreuses ann es la notion d utilit sociale fait l objet d un d bat port aussi bien par les acteurs du champ de l conomie sociale et solidaire que par des chercheurs des repr sentants des pouvoirs publics des collectivit s locales et des milieux conomiq
47. mystifiera les notions d valuation et d utilit sociale Ensuite lorsque chacun aura per u l int r t de la d marche il sera possible d en engager la mise en uvre op rationnelle 4 Situer la d marche d valuation dans son contexte Analyser le contexte Au del des objectifs fix s la d marche doit tre adapt e au contexte dans lequel elle va tre mise en uvre et aux contraintes mat rielles de la structure Les l ments de contexte consid rer sont g n ralement en lien avec les objectifs de l valuation Aussi est il int ressant d analyser tout la fois la situation dans laquelle se trouve la structure et les relations qu elle entretient avec les autres parties prenantes La d marche intervient en effet souvent des p riodes de changement pour la structure Il s agira notamment d examiner e La situation dans laquelle se trouve la structure quelles sont ses ressources ses difficult s Comment est organis e l quipe Y a t il eu un renouvellement r cent de l quipe salari e du conseil d administration e Son histoire quels ont t les temps forts de l histoire de la structure les points de tension e Ses relations avec ses partenaires et usagers comment se caract risent elles Comment ont elles volu r cemment Les usagers b n ficiaires sont ils acteurs consommateurs Sont ils impliqu s dans les instances de la structure Phase 3 Poser le cadre d
48. peuvent tre appr hend s comme des valeurs au niveau collectif travers une d marche de construction sociale des valeurs dont on ne peut prendre conscience qu travers un processus de d lib ration collective Il convient de diff rencier l utilit sociale de la structure et ses finalit s L utilit sociale est une notion contingente Elle n a pas de d finition unique valable en tout lieu et en tout temps Pour tre reconnue elle doit tre d finie par diff rentes cat gories d acteurs Les finalit s de la structure sont d finies par ses membres Elles traduisent g n ralement une volont de contribuer la soci t parfois ind pendamment du contexte La contribution effective de la structure peut tre diff rente de celle envisag e dans ses finalit s Son apport peut galement toucher des registres qu elle n avait pas envisag s initialement Par exemple La structure peut tre l origine d innovations sociales alors que celles ci ne rentrent pas dans ses finalit s Son fonctionnement ses m thodes de travail peuvent galement contribuer son utilit sociale sans tre formalis s dans les finalit s Elle peut ainsi avoir une fonction d cole de la d mocratie aupr s de ses adh rents sans que cet aspect ne soit mentionn Certaines dimensions d utilit sociale sont per ues par les partenaires sans tre explicit es par l association dans ses finalit s Si la d finition
49. que valuer c est identifier et mesurer les effets d une politique Pour Patrick Viveret valuer une politique publique c est former un jugement sur sa valeur et ce jugement doit se construire dans le cadre d un d bat d mocratique 200000000000 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 e Le p rim tre de ce guide le champ de l conomie sociale et solidaire Cette publication s adresse l ensemble des structures de l conomie sociale et solidaire dans la diversit de leurs statuts et projets associations SCOP SCIC autres coop ratives structures d insertion par l activit conomique structures du commerce quitable Elle vise n anmoins plus particuli rement les structures associatives pour qui cet enjeu est particuli rement sensible aujourd hui dans un contexte de relations complexes avec les pouvoirs publics chartes de relation sign es en 2001 in galement appliqu es multiplication des appels d offres versus convention cadre pluriannuelles Mode d emploi ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Phase 5 Faborer les crit res et indicateurs CONSTRUIRE LE CADRE DE R F RENCE DE L VALUATION Pour tre valu e elle a besoin d tre d clin e en crit res observables qui traduisent au mieux ses diff rentes dimensions et les valeurs au
50. se construit entre des personnes et se tisse souvent au niveau d un territoire Il pourra se traduire par un renforcement et une diversification des r seaux relationnels Il participe au renforcement du felel leeEll des personnes ETAPE 1 COMPRENDRE AVANT D AGIR Le r seau relationnel contribue la cr ation d une identit d une dynamique partenariale au niveau local et un sentiment d appartenance Cette notion peut galement se d cliner au niveau des structures il existe des modes de fonctionnement partenariaux fond s sur la coop ration qui renforcent la coh sion au sein du territoire D finition Partie prenante structure personne participant d une mani re ou d une autre une action La citoyennet et la d mocratie locale Cette dimension concerne la capacit tre acteur de la soci t dans la vie locale ou au sein d une structure On y trouve des actions ou pratiques qui renforcent l implication citoyenne des habitants ou des membres de la structure concern e Les modes de gouvernance interne l association des et les pratiques participatives dans la mise en uvre des actions sont l origine de cette dimension de l utilit sociale Les partenaires techniques financiers les structures charg es de la mise en uvre les b n ficiaires les usagers sont des parties prenantes L exp rience des autres EEEE ZZEEZEEZZ EFEZ EEEEES EFFEEF EEEF FEF FEEFEE FEEEEEE
51. sentative des activit s de la structure L valuation de l ensemble de l activit de la structure et de son fonctionnement permet d aborder l utilit sociale dans sa globalit Elle mettra galement en vidence des dimensions de l utilit sociale r sultant de l articulation de diff rents champs Elle int grera le fonctionnement interne et externe qui peut produire de l utilit sociale au del des seules activit s L objet de l valuation est bien l utilit sociale et non par exemple une action L action constitue le champ de l valuation Organiser la d marche Constituer l quipe en charge de la d marche l quipe d valuation d finira la m thodologie adopter Elle animera les phases de travail collectif de construction de l utilit sociale et des crit res Elle formalisera les indicateurs et construira les outils d valuation avec les salari s Elle animera ensuite les phases d observation d analyse et d enseignement L exp rience des autres essences lt L association Vieillir Autrement comprenait une quipe de cinq m diateurs La taille r duite e de l quipe a permis d associer l valuation l ensemble des m diateurs ainsi que la pr sidente e et une administratrice Le collectif Jardin Moderne s est appuy dans un premier temps sur un noyau restreint pour r aliser l valuation le directeur et deux stagiaires en charge de l valuation Le r le de
52. techniques construction des outils peuvent tre r alis s par un groupe plus restreint Ce dispositif correspond g n ralement une demande d valuation de l utilit sociale provenant de diff rentes parties ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE D finir la dur e et les tapes de la d marche Pr voir les productions interm diaires e Un bin me ou une personne r f rent de l valuation L quipe d valuation a besoin d tre anim e a fortiori si elle est de taille importante Elle peut l tre par un salari o un bin me salari responsable politique Le bin me est pr f rable notamment sur la phase de construction de la d marche mais un r f rent salari est souvent plus op rationnel notamment pour une mise en uvre de l valuation sur la dur e La ou les personnes r f rentes assurent les fonctions suivantes e Entretenir la dynamique sur l valuation La ou les personnes r f rentes de l valuation peuvent relancer les diff rents acteurs qui y participent Elles se portent notamment garantes du respect du calendrier e Constituer un il talon Lorsque l valuation est r alis e par plusieurs personnes chacune responsable d une action des distorsions peuvent appara tre du fait des diff rences de subjectivit La personne r f rente peut alors assurer une r gulation e Dissocier l valuation de la fonction de direction Le choix d un r
53. une valuation Appr cier les conditions mat rielles Cette mise plat permet de pr ciser les enjeux de l valuation et les possibilit s de la r aliser notamment en impliquant les autres parties prenantes Une d marche d valuation suppose une mobilisation importante des moyens humains et mat riels de la structure e valuer les moyens humains et financiers l vidence le travail que peuvent mener dix personnes ne saurait se comparer l activit entreprise par une seule De m me on ne peut pas viser des objectifs identiques avec un budget de 5 000 ou de 20 000 euros Bref la d marche d valuation d pendra des ressources humaines et financi res disponibles Les ressources financi res d termineront les possibilit s de faire appel une personne ext rieure et l importance de la mission qui pourra lui tre confi e appui m thodologique l ger en d but de projet suivi sur la dur e r alisation de certains travaux enqu tes Le temps n cessaire pour entreprendre une d marche d valuation varie d une exp rience l autre mais il faut compter un minimum d une dizaine de jours pour la personne qui l anime voire beaucoup plus Il est donc n cessaire de pr ciser qui pourra effectivement accorder ce temps l valuation et de construire une d marche compatible avec le temps allou e Rep rer lagenda en cours l valuation va s inscrire dans un agenda pr existant interne ou exte
54. usagers etc son utilit sociale propre L utilit sociale est l objet de l valuation On ne cherche pas valuer les activit s de la structure dans toutes leurs dimensions mais plut t en quoi les activit s de cette derni re ont bien une utilit sociale Les activit s et ou le fonctionnement peuvent constituer le champ d valuation de lutilit sociale L utilit sociale se r f re une structure ou une activit L approche pr sent e dans ce guide concerne l valuation de l utilit sociale d une structure ou d une activit Elle est r alis e par la structure sa demande l utilit sociale est d finie partir de son projet et de ses activit s Une autre d marche pourrait par exemple consister d finir l utilit sociale de mani re g n rale ou sectorielle sur un territoire et d valuer dans quelle mesure l association y contribue Ce n est pas celle qui est pr sent e dans ce guide Il n existe pas une seule d marche d valuation de l utilit sociale De nombreuses exp riences ont d j t r alis es dans ce domaine avec des d marches diff rentes dans la plupart des cas Nous ne pr senterons pas une m thode d valuation de l utilit sociale mais des tapes cl s partir desquelles chacun pourra construire une d marche adapt e sa situation et ses objectifs en requ rant les m thodes et les outils qui lui conviennent le mieux Ces tapes seront illustr es par des exe
55. vont suivre ne feront pas pour autant un lien entre l valuation et l utilit sociale des associations Apr s des ann es d tudes et de pratiques de l valuation et de l utilit sociale le sujet prend donc une nouvelle signification Quels sont les enjeux de l valuation de l utilit sociale pour les associations Sortir de l invisibilit l apport conomique et social des activit s associatives Avec plus d un million d associations estim es actives dans notre pays 12 millions de b n voles et 1 6 million de salari s l conomie associative dans son ensemble est particuli rement dynamique Elle anticipe d ailleurs de profondes volutions sociales comme la tertiarisation de l conomie les services la personne les loisirs et la culture Sa sp cificit tient d ailleurs la mixit des ressources qu elle met en uvre b n volat volontariat salariat cotisations dons prestations etc Elle soutient enfin des politiques publiques conomiques et sociales de grande envergure emplois aid s sant social etc Conna t on pour autant sa contribution la richesse conomique et sociale du pays Cette conception plus humaine de la richesse que reconna t la charte des engagements r ciproques du 1 juillet 2001 contribue tr s significativement la coh sion sociale de notre pays Doit on rappeler les v nements de novembre 2005 et les contre exemples des villes o le tissu ass
56. vraiment viter des jugements h tifs sur une situation r server son opinion pour favoriser d abord la compr hension d une situation constituent des comp tences qui enrichiront l coute active et compr hensive Son questionnement peut aussi tre plus syst matique travers l utilisation de grilles pr sentant diff rentes dimensions de l utilit sociale e Favoriser l expression quit et respect des personnes La construction du jugement de valeur partag doit permettre l expression de tous les participants et garantir une gale prise en consid ration de chaque avis ind pendamment des personnalit s fortes ou discr tes de chacun L animation de cette phase est donc particuli rement importante Construire un point de vue collectif O8 p noncer une demande claire d intervention un consultant contribue l instauration de relations de confiance et de bonne coop ration L laboration d un cahier des charges s av re une tape importante pour choisir l accompagnateur adapt la situation et la structure Elle peut galement constituer un bon support pour engager en interne une r flexion valuative On veillera int grer dans le cahier des charges un certain nombre de rubriques e Situer et pr ciser le contexte dans lequel s inscrira l valuation e D crire les attentes en mati re d valuation en tant vigilant la distinction selon les personnes qui en sont l origine
57. 00000000000 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000e Le regard des instances et des pouvoirs publics Claude Alphand ry Pr sident du CNIAE Pr sident du Conseil National de l Insertion par l Activit Economique Claude Alphand ry plaide pour une reconnaissance de la production de capital soci tal des entreprises solidaires Il insiste sur la condition principale de cette reconnaissance savoir l valuation et trace des pistes d laboration et de prise en compte de ses crit res Faire mieux conna tre et l gitimer l conomie solidaire C est d abord rep rer et diffuser plus largement Pourtant apr s avoir longtemps h sit inclure les les entreprises solidaires mettre en lumi re leurs services dans le produit national les conomistes r sultats sur le double registre conomique et reconnaissent que la production agricole et industrielle social montrer comment en prenant en charge les secteurs primaire et secondaire incorpore les des personnes en situation ou risque d exclusion services l entreprise et aux personnes secteur en r pondant des besoins de services insatisfaits tertiaire Pourquoi en serait il autrement des services elles parviennent r duire sur un territoire les immat riels des gratuit s telles que le savoir faire facteurs de d s auilibre construire une soci t la culture le bien tre la confiance la coh
58. 0000000000000000000000000000000000000e ETAPE 1 COMPRENDRE AVANT D AGIR Anne David Pr sidente du CEDAG F d rant de nombreux mouvements associatifs europ ens le CEDAG Comit europ en des associations d int r t g n ral pointe la n cessit de la reconnaissance des missions d int r t g n ral port es par les associations face aux r gles du march int rieur et en particulier celles qui touchent la libre concurrence Elle souligne ici l importance de cette reconnaissance dans les discussions en cours sur les services sociaux d int r t g n ral SSIG L utilit sociale des associations au regard de l ach vement du march int rieur europ en Les sp cificit s associatives caract risant l utilit sociale de leurs acteurs font de longue date d bat en France On se rappellera les travaux de la DAP D l gation aux Arts Plastiques 1979 la tentative du ministre Henry de cr er une reconnaissance d utilit sociale 1983 les avis du CNVA et la r gle des 4P qui permet l administration fiscale d appr cier si une association rel ve ou non des imp ts commerciaux 1998 Au niveau europ en l utilit sociale est un concept qui n est pas employ On parle de services sociaux d int r t g n ral SSIG Un travail conduit au sein du CNVA a permis d identifier partir d exemples pris dans six champs sectoriels diff rents solidarit tourisme social insertion par l activit conomiq
59. CIALE UNE VISION PARTAG E Il n y a pas de d finition unique valable en tout lieu et en tout temps L valuation n cessitera de consacrer un temps sp cifique pour identifier et formaliser l utilit sociale Les l ments cl s de la construction de l utilit sociale L utilit sociale le r f rentiel de l valuation D finition La d finition de l utilit sociale de la structure labor e au cours de cette tape est d une grande importance car elle constituera la r f rence pour l valuation les actions valu es le seront au regard de cette d finition Chacun a sa repr sentation de ce qui est utile la soci t Une m me chose peut avoir beaucoup de valeur pour certains et peu pour d autres L utilit sociale retenue par la structure d pendra des syst mes de valeurs des personnes qui ont particip cette d finition La r f rence de l valuation portera donc les de ceux qui l ont d finie Valeur attribuer de la valeur c est accorder un int r t attribut positif et subjectif Dans un registre conomique la valeur d un bien ou d un service na t de besoins contraints par la raret Prendre en consid ration les diff rentes perceptions de l utilit sociale Les l ments communs aux diff rentes mani res d aborder l utilit sociale D finir l utilit sociale suppose de prendre en consid ration diff rents points de vue Chaque acteur percevra en
60. DUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Construire un point de vue collectif TIRER DES ENSEIGNEMENTS ET CONSTRUIRE UN POINT DE VUE valuer revient porter un jugement de valeur Concernant l valuation de l utilit sociale le jugement n est pas un contr le mais un point de vue sur la valeur de ce qui a t r alis Il peut porter sur les enseignements tirer et ou avancer un jugement de l action Cette derni re tape de l valuation va donc consister construire un point de vue collectif Qui dit point de vue collectif ne dit pas n cessairement consensus L objectif est plut t de cr er du d bat et de l change sur les r sultats de l valuation Le d bat pourra se construire sur la base d une analyse claire diffus e aux parties prenantes Il aboutira des enseignements et un jugement de valeur partag Fournir une information claire sur les r sultats de l analyse Les principaux r sultats de l analyse devront tre diffus s aux parties prenantes associ es la construction du point de vue collectif La forme selon laquelle ils seront diffus s est importante les rapports trop longs ne sont pas lus Si les r sultats doivent prendre cette forme il est alors n cessaire d en fournir une synth se peut aussi tre int ressant de mettre en avant sur chaque th matique les trois cinq points cl s positifs ou n gatifs Les sch mas tableaux cartes ou tout au
61. E 1 COMPRENDRE AVANT D AGIR Par exemple Les associations qui facilitent le retour emploi de ch meurs contribuent la r duction des d penses d indemnisation de ce public les associations qui prennent en charge en urgence des enfants malades ne pouvant pas aller l cole r duisent l chec scolaire les associations de sensibilisation au tri s lectif des d chets limitent les co ts de traitement des d chets L exp rience des autres E EEEE EESEZESSSESEFEEFEFEFEEFES FEEFEE FEES FEEFEE FEFEFE SEESESEEE association Parole et Justice regroupe des victimes d abus et leurs parents Elle met en place des groupes de paroles pour exprimer l exp rience douloureuse v cue et les difficult s rencontr es la d passer Ces groupes de paroles vitent aux personnes de sombrer dans la d pression ou bien les aident en sortir La prise en charge d une personne d pressive constitue un co t pour la soci t L activit de l association contribue donc entre autres r duire les d penses de la S curit sociale L association de sports et loisirs vasion pyr n enne a constat qu elle contribuait la venue et au maintien du nombre d habitants dans le territoire o elle rayonne Elle en est la principale structure de loisirs De nombreux nouveaux habitants du territoire viennent s inscrire ces activit s leur arriv e Une dimension sociale lutter contre les in galit s sociales On regroupe der
62. EE ESEFEEEFEFEFE FEEFEE FEFEFEEFSEEEFEEEEEEEEEE Le CEAS de l Essonne a labor une grille de satisfaction pour appr cier les conduites de r unions Cette grille est transmise lors de r unions r guli res entre personnes s occupant domicile d un parent d pendant Les objectifs de la grille sont de e conna tre la perception des participants sur leur int r t pour l information fournie e savoir si les participants per oivent les r unions comme des lieux o ils peuvent s exprimer e savoir si les r unions aident les participants dans leur prise de d cision effet induit Le document est distribu lors de chaque r union et rempli de mani re anonyme L association fait le bilan de cette grille e Les participants ne font aucune difficult pour la 7 OUTIL N 20 remplir 1 Exemple de grille e Elle est facile utiliser d valuation de r unions re ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Mettre en place des outils de collecte sp cifiques Les questionnaires Les outils li s la mise en uvre fournissent des informations pr cieuses mais ils ne permettent pas toujours d observer les changements Il est donc n cessaire de faire appel d autres outils plus sp cifiques l valuation notamment l valuation qualitative Le choix des outils d pendra de l objet tudier et des moyens disponibles Il faudra les concevoir les mettre en uvre et en ana
63. ESEEEEEEEE Le Centre d tude et d action sociale de Essonne sp cialis dans l aide aux aidants et les questions g rontologiques a permis une grande partie de ses administrateurs d occuper des postes responsabilit dans d autres associations Le Centre sans en tre conscient a une fonction d cole de la d mocratie aupr s de ses membres e La diversit culturelle L UNESCO d finit la diversit culturelle comme le fait d encourager le dialogue entre les cultures afin d assurer des changes culturels plus intenses et quilibr s dans le monde en faveur du respect interculturel et d une culture de la paix de promouvoir le respect de la diversit des expressions culturelles Le d veloppement de la diversit culturelle est aussi pertinent au niveau de la plan te qu celui d un quartier Il s agira par exemple d organiser le dialogue entre les cultures sur un territoire donn Le renforcement de l interculturel contribue mieux faire soci t L exp rience des autres e a a a a a a a a a E a a a a a a a a a a a a E R Le Jardin moderne association culturelle rennaise regroupant un collectif d acteurs a pour objectif de r pondre aux besoins des musiciens en termes d espace de cr ation d outils de diffusion et de centre de ressources Il permet l expression de tous les types de musique et favorise les rencontres En cela il contribue la diversit culturelle Les diff rents l ments de
64. ESES l Exp rimentation Sociale et l conomie Sociale DRAC LOLF MIRE PELS SCIC Soci t Coop rative d Int r t Collectif SCOP SMI SSIG Index des sigles Association pour le D veloppement de la Documentation sur l conomie Sociale Produit Prix Public et Publicit Associations pour le Maintien d une Agriculture Paysanne Comit Europ en Des Associations d int r t G n ral Comit d Etude et de Liaison des Associations Vocation Agricole et Rurale Conf rence Europ enne Permanente des Coop ratives Mutualit s Centre des Jeunes Dirigeants Centre des Jeunes Dirigeants et des acteurs de l conomie Sociale Centre National de la Fonction Publique Territoriale Conseil National de l Insertion par l Activit conomique Conseil National de la Vie Associative Conf rence Permanente des Coordinations Associatives Convention Pluriannuelle d Objectifs Association pour le D veloppement des Associations de Progr s Direction D partementale des Affaires Sanitaires et Sociales Direction D partementale de la Jeunesse et des Sports Direction D partementale du Travail de l Emploi et de la Formation Professionnelle D l gation Interminist rielle l Innovation Direction R gionale des Affaires Culturelles Loi Organique relative aux Lois de Finances Mission Recherche Exp rimentation Projets d Economie Locale et Sociale Soci t Coop rative de Production Services dans le
65. IIESESS s est engag e de longue date sur le chantier de l valuation de l utilit sociale Mettant en perspective les volutions des pouvoirs publics et de l conomie sociale et solidaire qui ont contribu l mergence de la notion d utilit sociale Marie Christine Vergiat retrace l intervention de la D l gation interminist rielle dans la direction d une d marche partag e d valuation Utilit sociale int r t g n ral et projet associatif pour une valuation partag e La notion d utilit sociale est une notion relativement r cente mais dont les acteurs de l conomie sociale et solidaire et notamment les acteurs associatifs se sont aujourd hui largement empar s Elle constitue un l ment de d finition et d identification essentiel pour les acteurs de l conomie sociale et solidaire notamment parce qu elle permet clairement d identifier pour un projet conomique une autre finalit que celle du seul profit Elle fait d sormais l objet de nombreuses recherches La notion d utilit sociale telle qu elle se pr sente aujourd hui est d une certaine fa on le fruit d une double volution celle des associations et celle des pouvoirs publics et notamment de l tat Le r le de l tat a profond ment volu au cours des trente derni res ann es il a chang de nature Plut t que d intervenir lui m me l tat agit aujourd hui plus comme r gulateur ou de fa on plus incitat
66. M THODES Rep re N 1 L valuation pourquoi comment Petite histoire de l valuation 1960 aux tats Unis 1970 mergence en France 1980 d veloppement des politiques publiques 1990 un premier cadre d valuation des politiques publiques L valuation se d veloppe et se diversifie L valuation est n e aux tats Unis dans les ann es 1960 avec une inspiration scientifique comprendre les variables sur lesquelles intervenir pour obtenir les r sultats attendus lors des programmes sociaux de la War on poverty Great Society Elle s est d velopp e dans les ann es 1970 1980 dans une logique plus manag riale aider la d cision En France l valuation a fait ses premiers pas avec le mouvement de Rationalisation des choix budg taires RCB dans les ann es 1970 dans une logique d valuation ex ante Elle s est surtout d velopp e dans les ann es 1980 sous l angle quasi exclusif de l valuation des politiques publiques Les diff rentes d finitions propos es alors montrent la diversit des approches Le rapport Deleau pr cise que valuer c est identifier et mesurer les effets d une politique Pour Patrick Viveret valuer une politique publique c est former un jugement sur sa valeur et ce jugement doit se construire dans le cadre d un d bat d mocratique Il appara t que l valuation peut tre un outil technique au service de la mise en uvre des po
67. March Int rieur Services Sociaux d Int r t G n ral Cette publication a t rendue possible gr ce au soutien de la Caisse des D p ts de la D l gation interminist rielle l innovation l exp rimentation sociale et l conomie sociale DIIESES et du Fonds social europ en A g EM Libert galit e Fraternit Caisse R PUBLIQUE FRAN AISE desD p ts MINIST RE DE L CONOMIE DES FINANCES ET DE L EMPLOI MINIST RE DU TRAVAIL DES RELATIONS SOCIALES UNION EUROP ENNE ET DE LA SOLIDARIT Fonds sociol europ en valuer l utilit sociale de son activit Conduire une d marche d auto valuation Ce guide s adresse aux organisations de l conomie sociale et solidaire qui souhaitent se lancer dans une d marche d valuation de leur utilit sociale Issue des r sultats d une exp rimentation men e avec une douzaine de structures et des travaux de Culture et Promotion cette publication est compl t e par un nouvel espace internet d di au sujet sur les sites de l Avise et de Culture et Promotion www avise org us www culture et promotion org Indispensables ces ressources permettent non seulement d appr hender les enjeux propres l valuation de l utilit sociale mais aussi de disposer d un ensemble de rep res et d une m thodologie ouverte La d marche pr sent e se structure autour de huit phases cl s partir desquelles chacun pourra constr
68. UTIL N 16 Au c ur du tableau se trouvent les crit res et les indicateurs correspondants Phase 5 laborer les crit res et indicateurs S appuyer sur les syst mes d information existants La plupart des structures ont d j des outils fournissant des informations sur l activit fiche d accueil fiche d inscription liste de pr sence compte rendu de r union Il est int ressant de faire un bilan de l information d j disponible qui pourrait tre utilis comme indicateur et les outils qu il serait possible de compl ter peu de frais Le choix des indicateurs est important car si l outil de mesure n est pas adapt ce que l on souhaite mesurer les r sultats de l valuation n auront pas de sens De mauvais indicateurs sont dangereux car ils fournissent des l ments qui peuvent tre mal interpr t s Attention galement ne pas faire dire des indicateurs plus que ce qu ils signifient Extrait de grille de crit res et d indicateurs Si un ensemble d indicateurs s av re n cessaire pour aborder l utilit sociale il faut cependant veiller en limiter le nombre pour que l valuation ne soit pas trop lourde Dans un premier temps la r flexion sur les indicateurs peut tre assez ouverte Les crit res et a fortiori les indicateurs seront ensuite s lectionn s afin de rendre l valuation r alisable De mani re g n rale il serait pertinent de restreindre l
69. Une fois le r f rentiel tabli la d marche consiste collecter les donn es n cessaires pour renseigner les indicateurs retenus L information ne vient pas l valuation Il faut aller la chercher cette fin il faudra rep rer les sources d information et au besoin construire des outils de collecte Rep rer les diff rentes sources d information Les donn es de suivi Les donn es sp cifiques Les donn es externes Les donn es peuvent avoir diff rentes origines Il s agit de donn es collect es au fur et mesure du d roulement de l action Elles s appuient sur des outils d j existants au besoin compl t s par des demandes d information compl mentaires ou sur des outils simples construits sp cifiquement pour l valuation ayant vocation recueillir information sur la dur e Il peut s agjir par exemple des feuilles de pr sence aux r unions du planning de mise en uvre des activit s Il ne faut pas n gliger ces sources d information qui demandent peu d nergie suppl mentaire Fiche N 2 Les crit res 1 09 m thode et les indicateurs Celles ci sont collect es au moment de l valuation et exclusivement dans cet objectif Il s agira par exemple d entretiens d enqu tes par questionnaire Elles ne sont pas produites par la structure Il s agit g n ralement de statistiques disponibles dans l environnement de la structure INSEE observatoire de l emploi di
70. __ l accompagnatrice tait important Les travaux se sont largis au sous directeur puis l ensemble de l quipe cuisini re et comptable comprises au fur et mesure que la d marche gagnait en op rationnalit Le suivi est aujourd hui assur par le directeur Phase 3 Poser le cadre d une valuation La d marche d valuation de l utilit sociale peut tre men e par une quipe plus o moins importante e Un noyau restreint La d marche peut tre anim e par un petit noyau de personnes 3 5 personnes Il comprendra si possible des responsables salari s et des responsables politiques Une petite quipe a l avantage d tre plus efficace dans la construction de la d marche et plus facile mobiliser Par contre la mise en uvre peut tre plus difficile si les salari s n ont pas t largement associ s Ce sont eux qui seront souvent charg s de collecter l information et ils le feront plus volontiers s ils adh rent la d marche et s ils ne craignent pas une forme de contr le Mais les quipes restreintes sont aussi plus fragiles en cas de d mobilisation d une ou deux personnes La solution peut tre d initier un travail en petit groupe pour apporter des l ments concrets sur l valuation de l utilit sociale Il sera ensuite plus facile de mobiliser les autres acteurs de la structure e l quipe salari e et des administrateurs Lorsque l quipe salari e n est pas tr s
71. abellisation n a finalement abouti des questions fondamentales sur l objet du label utilit sociale ou conomie sociale et solidaire ou sa nature normative et r glement e ou ouverte et relative restant en suspens La question de la d finition de l utilit sociale reste donc l ordre du jour avec des enjeux importants tant pour les pouvoirs publics que pour les acteurs de l conomie sociale et solidaire meilleure lisibilit relations am lior es objectivation des crit res d attribution de subventions ou d octroi d exon rations fiscales affirmation d une identit sp cifique Les exp riences de Culture et Promotion et de l Avise L exp rience de Culture et Promotion L exp rimentation men e par l Avise 000000000000 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 D s 1999 Culture et Promotion s est empar e de la question de l utilit sociale A l aube du centenaire de la loi 1901 cette association s est questionn e sur les apports r els des associations la soci t et aux territoires et sur la mani re de les mesurer Elle a initi en 2000 une exp rimentation sur l valuation de l utilit sociale aupr s de dix associations Apr s en avoir analys les r sultats Culture et Promotion a formalis une d marche d accompagnement des acteurs de l conomie sociale et solidaire sur l valuation de leur utilit social
72. aboration de la d marche et du cadre de r f rence e l observation e l analyse e la construction d un point de vue collectif La d marche d valuation s organise autour d tapes dans la dur e avec une quipe d di e D La m thode pr sent e ici s inscrit dans une approche d auto valuation accompagn e Les indicateurs doivent tre accessibles fiables compl mentaires et n cessaires Un seul indicateur n est pas signifiant L analyse portera sur un faisceau d indicateurs Les informations qualitatives sont primordiales pour analyser l utilit sociale Les donn es objectives viendront pond rer une certaine subjectivit Diff rencier les indicateurs de r alisation de r sultat et d impact permet de clarifier utilit sociale mais il n est pas n cessaire d avoir des indicateurs chaque niveau D Prendre en compte le contexte dans lequel une action se d roule Des indicateurs de contexte seront utiles pour appr cier les r sultats constat s La priorisation des crit res et indicateurs est faire au fur et mesure de leur conception Le r f rentiel est un document de structuration des crit res et indicateurs D Pr voir un dispositif d valuation r aliste adapt son activit et ses moyens humains ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Collecter les donn es REP RER LES SOURCES METTRE EN PLACE DES OUTILS DE COLLECTE
73. acteurs dans d autres projets d autres structures d autres sph res e Prise en compte dans les lieux de d cision de l avis de personnes ou groupes habituellement exclus e Degr de satisfaction des parties prenantes sur la gouvernance e Investissement des membres de la structure dans d autres fonctions lectives territoire syndicat M thode N 3 Un exemple de r f rentiel Dimension de l utilit sociale et crit res Lien social et mixit sociale R seau relationnel Insertion professionnelle Citoyennet Indicateurs de contexte Tensions accrues entre communaut s sur les territoires Rapport personnel au travail motivation absent isme Taux de ch mage sur le territoire et volution Degr d autonomie dans la r alisation des t ches Participation au fonctionnement de la structure Indicateurs de r alisation Diversit d origine culturelle des salari s Espace et temps de convivialit organis s durant les activit s Travail en quipe Rencontres entre familles des salari s dans le cadre des activit s de la structure Nombre de personnes embauch es et accompagn es Nombre de formations engag es Indicateurs de r sultat Mixit effective des salari s dans l ensemble des activit s changes fr quents et conviviaux entre les salari s Nombre de salari s ayant labor un projet professionnel r aliste l issue d
74. agnostic de territoire Elles viennent notamment renseigner les indicateurs de contexte Plus ces statistiques seront sp cifiques aux territoires plus elles auront d int r t Les diff rentes sources d information VALUATION Donn es sp cifiques Entretien questionnaire Informations collect es tout au long de la mise en uvre de l action travers des outils de suivi Donn es g n rales Donn es de suivi externes Compte rendu Statistiques feuille de pr sence fiche d inscription planning Informations de contexte Informations collect es disponible dans l environnement sur les temps d valuation de la structure Phase 6 Collecter les donn es S appuyer sur les outils li s la mise en uvre et au suivi de l action Les donn es de suivi sont les plus faciles d acc s pour les d marches d auto valuation Des outils de suivi des actions existent souvent dans la plupart des structures mais ils ne sont pas toujours per us comme pouvant servir l valuation Il est donc int ressant d identifier dans un premier temps les outils de suivi existant dans la structure Comme indiqu pr c demment ce rep rage peut tre men de mani re concomitante la recherche d indicateurs afin de privil gier des indicateurs facilement accessibles Les outils li s la mise en uvre ou au suivi de l action peuvent tre de natures tr s diverses car ils d pendent des
75. aires et budg taires Depuis 2001 et 2005 la Loi organique relative aux lois de finances LOLF et les lois de d centralisation ont structurellement chang la donne 1 Reconsid rer la richesse ditions de l Aube r alis en janvier 2002 la demande du Secr taire d tat l conomie solidaire Les enjeux soci taux de l valuation de l utilit sociale De surcro t ni les pouvoirs publics ni les associations n ont eu quelques exceptions pr s les moyens de mettre en uvre une valuation de leurs actions partenariales Le mod le conomique de l valuation n est donc pas clairement tabli aujourd hui d autant que les cr dits de fonctionnement et ou d investissement n apparaissent plus justifiables au regard des crit res de performance quantitatifs des nouvelles r gles des finances publiques Dans ce contexte l association doit avoir la main sur ce processus valuatif de son utilit sociale sans qu elle ne soit strictement subordonn e l valuation des politiques publiques En ce sens elle ne saurait constituer une r ponse une demande unilat rale des pouvoirs publics m me s ils sont susceptibles de soutenir la d marche L valuation de l utilit sociale est d abord un sujet interne l association orient tr s largement comme un outil visant renforcer le pilotage strat gique de l association L ancrage associatif doit tre r affirm sans cesse face l accroissement de
76. al peut tre per u comme r ducteur en lien avec l aide sociale et le service aux personnes en situation pr caire Le terme de plus value soci tale est parfois retenu Les enjeux soci taux de l valuation de l utilit sociale p L utilit sociale rep r e peut tre consid r e soit comme un objectif central de la structure soit comme un objectif secondaire ou un effet induit Toutes les dimensions de l utilit sociale n ont d ailleurs pas la m me importance pour chaque structure Par exemple L insertion sociale va tre centrale pour une structure d insertion par l activit conomique mais secondaire pour une association de quartier m me si elle peut y contribuer travers ses activit s Elle peut tre un objectif secondaire pour la structure mais un objectif principal pour l un de ses partenaires financiers La d finition de l utilit sociale d pend des valeurs port es par ceux qui la d finissent Tout le monde ne partage pas le m me mod le de soci t et donc la m me conception de ce qui peut tre utile ou pas la soci t Par exemple Les campagnes pour les pr servatifs ont une utilit vidente pour ceux qui luttent contre le sida mais peuvent tre condamn es par certains catholiques dans la ligne des pr ceptes sur le droit la vie L utilit sociale d pend galement du contexte e ce qui est utile ici ne l est peut tre pas ailleurs e ce q
77. ale peut se r aliser travers des activit s en direction du public en difficult action d insertion par l activit conomique suivi sp cifique Elle peut aussi avoir lieu travers une prise en consid ration des publics en difficult dans des actions qui ne leur sont pas particuli rement destin es participation une association de quartier invitation des activit s culturelles Par exemple Pour favoriser l galit entre les femmes et les hommes en mati re d emploi des actions de formation sp cifiques en direction des femmes peuvent tre mises en place Une autre approche l avproche de genre consiste prendre en consid ration dans chaque action les cons quences sp cifiques qui peuvent en r sulter pour les hommes et les femmes Qu est ce que l utilit sociale Les actions men es peuvent concerner les personnes qui souffrent d in galit s mais galement l environnement La communaut peut g n rer et entretenir des situations d in galit s Des actions peuvent tre men es pour inciter l insertion de personnes les plus discrimin es Par exemple Mise en place d acc s handicap s sensibilisation des secteurs traditionnellement masculins b timent en faveur de l emploi des femmes L exp rience des autres a a a SE a a a a a a a La f d ration Loisirs pluriel accueille dans ses centres de loisirs des enfants valides et handicap s Avec cette approche transversale l assoc
78. ariabilit L tendue diff rence entre valeur maxi et valeur mini rend compte de l cart entre les extr mes Ces outils d analyse peuvent tre facilement mis en uvre dans des d marches d auto valuation m me si cette pratique n est pas r pandue Les analyses multifactorielles sont plus difficiles utiliser mais elles permettent de prendre en compte les interrelations entre un ensemble d l ments et donc d tudier l volution de plusieurs param tres la fois Elles pointent des s ries de donn es qualitatives et quantitatives Elles font appara tre les facteurs qui agissent ensemble et expliquent un ph nom ne Elles sont ainsi exploit es pour tudier des ph nom nes issus de plusieurs causes et r aliser des typologies Phase 7 Analyser les donn es Analyser les donn es qualitatives Les donn es qualitatives peuvent tre analys es de deux fa ons e en tant qu indicateurs si elles sont objectiv es e comme moyen de comprendre des processus et liens de causalit L objectivation des donn es passe par l laboration d indicateurs communs permettant une analyse partag e entre les diff rents acteurs Comment faire l analyse des discours de personnes en insertion pour montrer qu elles ont repris confiance en elles sans une grille de lecture commune Ce type de grille va permettre par exemple d objectiver les points cl s de la confiance en soi et de se prononcer sur la r ponse fourni
79. at effet imm diat d une action D finition Impact cons quence sociale conomique environnementale imputable une action L exp rience des autres E EEEE EEEESEESEFSEFESE FEEFEE EEFE EFEFEF SEFEESEEEEEEEESEFEEEEEEE L association de quartier Vieillir autrement fait de la m diation sociale dans des quartiers difficiles de la m tropole lilloise Elle met en place des ateliers de lecture au pied des tours d immeubles Elle y accueille les enfants de diff rentes cultures et favorise la rencontre entre les parents Son activit des ateliers de lecture Ses modes d action favoriser les changes discussions entre les habitants du quartier Ses r sultats l existence de nouvelles relations entre les r sidents Son impact elle renforce le lien social dans le quartier La nature des actions ou des activit s r alis es L utilit sociale d une structure peut tre li e e aux actions ou activit s r alis es e la mani re de r aliser l action son processus de production e l articulation entre plusieurs actions o plusieurs champs e au mode de fonctionnement de la structure On emploie dans ce chapitre les vocables activit et action dans le m me sens Comment se produit l utilit sociale Ce qu on Ce qu on Ce quoi fait produit on contribue 5 o e Processus modes d action modes de lt oo fonctionnement Comment on le fait L utilit sociale
80. c L exp rience des autres se A I nirienetees EPEETAN R Le Jardin moderne collectif d associations culturelles et lieu de cr ation musicale souhaite avoir une vue d d ensemble de son utilit sociale pour proposer un bilan plus qualitatif de son activit culturelle II a donc associ la d marche d valuation e ses partenaires financiers le Conseil r gional la Ville de Rennes et la DRAC et plus particuli rement les techniciens connaissant bien son action e des partenaires qui le sollicitent sur certains projets comme le d partement d Arts plastiques de l Universit la Maison d arr t un foyer pour des demandeurs d asile e les usagers des diff rentes activit s du Jardin en diff renciant les groupes de musique venant r p ter les utilisateurs du centre de ressources et les participants des projets mont s en partenariat avec une autre structure e l quipe de salari s e le conseil d administration L exp rience des autres EEEE EZEZESE SESSE EFFEF ESEE EES EFEFEF FEE FESSES EFEEESEEESEEEEEE Les membres des structures L exp rience des autres EEEE EEZEEEEEEEZE EFFEEF FEFEFFEFE EFEFEF FEFFEFEFEFSEFEEEEEEEEE L accompagnateur de la d marche men e par Services 18 a utilis l Abaque de R gnier pour permettre aux participants de se positionner sur les enjeux Cette m thode utilise le principe du vote color L accompagnateur a formul diff rents
81. ciation n cessaire et garder le cap quant l objectif et au niveau de l valuation mais il devra aussi s approprier la r alit de la structure pour que ses apports soient adapt s la situation et aux besoins de celle ci L accompagnateur peut galement r aliser des t ches compl mentaires l accompagnement participer la collecte de certaines donn es difficilement accessibles pour la structure par exemple entretiens aupr s des partenaires tudes de cas Ces l ments viendront compl ter les donn es recueillies par la structure Enfin l accompagnement suppose une relation de confiance entre la structure et l accompagnateur Organiser le travail avec l accompagnateur Lorsque la d marche d valuation est accompagn e par une personne ext rieure il convient de bien d finir le travail qui sera r alis avec et sans son appui En tout tat de cause la structure doit pr voir du temps pour effectuer diff rents travaux entre les sessions accompagn es De mani re g n rale trois sc narii sont envisageables e Les sessions accompagn es sont des temps de production Le travail en intersession permet de finaliser ce qui a t initi lors des sessions e Les sessions accompagn es et les intersessions constituent des temps de production sp cifiques e Les sessions accompagn es constituent des temps de mise de commun et de cadrage Les intersessions sont des temps de production d outils et de mise
82. collectifs pour que les r ponses des personnes interrog es soient int gr es au d bat Les questionnaires et entretiens devront proposer dans la mesure du possible des questions ouvertes avec un langage adapt l interlocuteur L exp rience des autres 0000000000000000000000000000000000000000000000000000000000000e La MJC Plaine du Ronceray a travaill par brainstorming Tous les participants ont expos ce qu tait pour eux l utilit sociale de la MJC Avec l aide de l accompagnatrice ils ont ensuite regroup les diff rents l ments autour de plusieurs th matiques cr ation et culture construction 7 OUTIL N 12 citoyenne rencontre association et ouverture un regard diff rent Phase 4 Construire l utilit sociale Exemple de regroupement par id es cl s D battre sur la base d une synth se issue d entretiens L exp rience des autres E EEES EEE SEESE FEFEFEEFEEFEF FEEFEE FEFEFESEFEFEEEEESEEEEEEEE Questionner la structure travers deux axes le sens et l action L association Danse tous les tages n a pas r ussi dans un premier temps associer ses partenaires une r union sur l utilit sociale Elle a donc d cid de les contacter individuellement par un entretien t l phonique sur la base de deux questions e Selon vous quels sont les principaux apports de l association utilit sociale e quoi voyez vous ces apports Une troisi
83. crit res et de l activit de la structure Par exemple Sur un crit re de mixit sociale on pourra analyser les plannings de r p tition des groupes de musique La diversit des musiques traduit souvent une diversit de publics qui peuvent se c toyer et changer entre les r p titions Par exemple Sur un crit re de participation l analyse des feuilles de pr sence peut tre utile Par exemple Sur un crit re de socialisation l analyse des feuilles de pointage pour v rifier les horaires d arriv e peut tre int ressante Ces outils peuvent fournir une information pertinente en l tat D autres n cessitent d tre compl t s on ajoutera une question sur une fiche d inscription on notera avec pr cision telle o telle caract ristique des participants etc Dans d autres cas certains outils devront tre cr s I s agira d outils l gers qui ne viennent pas alourdir la mise en uvre de l action Cela peut tre par exemple une grille d valuation des r unions qui s appuie sur trois questions br ves auxquelles les participants r pondent syst matiquement Ces outils reposent sur une information que la structure peut r guli rement collecter peu de frais Ces informations seront g n ralement capitalis es par les salari s en charge de l action d o l importance qu ils soient mobilis s en amont sur l valuation de l utilit sociale L exp rience des autres E EEEE EEEEEESE SE
84. d action d 9 OUTIL N 8 0 Exemple de grille de crit res et d indicateurs Il n est pas n cessaire d associer tout le monde toutes les tapes de l valuation La d marche comprend deux tapes cl s pour lesquelles la question de la participation est strat gique e La construction de l utilit sociale A cette tape la d finition sera la base du sur lequel l valuation s appuiera Le choix des structures et des personnes participant cette d finition est donc strat gique La d finition acquerra d autant plus de l gitimit qu elle sera reconnue par les diff rentes cat gories d acteurs li es l association e La construction d un point de vue partag Cette tape est celle des conclusions de l valuation Les participants font une analyse commune et tirent des enseignements Il est logique d y d inviter ceux qui ont particip la construction de l utilit sociale Partager les r sultats de l valuation suppose videmment un minimum de confiance entre la structure ses partenaires et ses usagers b n ficiaires Les participants pourront tre associ s la d marche de diff rentes mani res en fonction des besoins et du contexte e R unions avec l ensemble des parties prenantes Elles favorisent une v ritable construction collective de l utilit sociale et la constitution d une culture commune sur le sujet Elles permettent notamment certains partenaires de prendre consc
85. d une action peut tre li e son objet m me et ce qu elle r alise Par exemple Une cr che parentale qui accueille les enfants dans un village o aucun syst me de garde n existe r pond un besoin social Par exemple Une association d insertion par l activit conomique redonne aux ch meurs des r gles de vie en soci t des comp tences qui faciliteront aussi leur r insertion sociale L tude des actions laisse souvent entrevoir de quelle fa on la structure contribuera l utilit sociale Ces actions ciblent parfois un public particulier notamment dans la lutte contre les in galit s La mise en place d actions en direction de publics en difficult leur conf re souvent une utilit sociale ETAPE 1 COMPRENDRE AVANT D AGIR er L exp rience des autres a RE PR RER ER RER PRO RER RES Les processus de mise en uvre des actions L exp rience des autres EEEE EEEEEEEFEEFEESEFFEFEEFEEEEESE FEFEFE FEFEEESEFEEEEEEEEEEEEE Le Centre d tudes et d action sociale de la Sarthe a sp cifi son utilit sociale renforcer la d mocratie participative Elle se traduit principalement dans la mani re de r aliser les diff rentes actions Ainsi lorsque sont men es des tudes l association veille donner la parole tous les publics y compris les plus d munis Elle met en place des groupes de discussion avec des m thodes d animation permettant chacun de s exprimer Aus
86. de conscience Les usagers b n ficiaires Les usagers ou b n ficiaires sont souvent la cat gorie la plus difficile associer a fortiori lorsqu il s il s agit d usagers consommateurs d un service sans tre acteurs de la structure Selon le type d activit et de public les outils employ s devront donc tre diff rents Difficile d inviter une r union les usagers d une salle de spectacles associative mais rien n emp che la diffusion d un questionnaire ou des entretiens rapides en sortie de salle Parfois il est possible de solliciter des repr sentants des usagers lorsque des associations les regroupant existent Associer le public en insertion para t parfois difficile Pourtant plusieurs exp riences ont d montr l int r t de le consulter L valuation de l utilit sociale peut tre abord e sans l exigence de niveau de conceptualisation que ce public n aurait pas L associer la d marche permet de le reconna tre comme partie prenante de la structure comme acteur et non pas comme simple objet de l insertion Sa participation contribue donc l objectif d insertion et son absence pourrait y nuire Phase 2 Qui associer et comment Quand et comment associer les parties prenantes Rep rer et qualifier les parties prenantes L exp rience des autres E EEEE EEZEEEEEFEEFEFFEFE FEFEFE EFFE FEFEFE FESEEFJEFEFEFEESESEESE Les deux tapes cl s de la participation D finition R
87. de for t la valorisation de d chets ou de r sidus ligneux ou qui assurent des formations la pr servation de l environnement pour la soci t dans son ensemble par les externalit s positives co ts vit s il s agit de l utilt exog ne globale L action conduite n a pas d effets directs mais participe la r duction globale des nuisances environnementales C est par exemple le cas d actions visant remplacer l usage exclusif de la voiture particuli re par des modes collectifs nergie propre Pour autant de nombreuses questions demeurent comment faire voluer les repr sentations de la richesse A t on besoin d uniformiser des crit res d utilit sociale D uniformiser des pratiques reconnues Au contraire doit on promouvoir la diversit d approches de l auto valuation Pour que les pratiques voluent la construction des crit res doit impliquer le plus largement possible les acteurs des territoires en s appuyant sur ceux qui ont une exp rience en la mati re 000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000e ETAPE 1 COMPRENDRE AVANT D AGIR Marie Christine Vergiat Charg e de mission aupr s du D l gu interminist riel l innovation l exp rimentation sociale et l conomie sociale Lieu d terminant de l interminist rialit sur les sujets relevant de l conomie sociale et solidaire la D
88. de l utilit sociale est assimil e aux finalit s l valuation de l utilit sociale devient une valuation du projet de la structure et non plus de l utilit sociale L valuation de l utilit sociale diff rera de celle des si e l utilit sociale n est pas d finie uniquement par les membres de la structure Les partenaires les b n ficiaires et potentiellement la population sont concern s par cette d finition et peuvent donc y contribuer e la contribution la soci t est au c ur de la d marche d valuation Qu est ce que l utilit sociale Les dimensions de l utilit sociale D finition Effets ensemble des v nements li s cons cutifs et r actionnels une action Une dimension conomique cr er des richesses D finition conomie sociale et solidaire ce secteur regroupe les associations mutuelles et coop ratives conomie sociale et les structures qui d veloppent un projet et des pratiques solidaires dans le cadre de leur activit conomique Malgr l absence officielle de d finition de l utilit sociale certaines th matiques reviennent r guli rement II s agit d QAY largement reconnus comme positifs pour la soci t par exemple l insertion sociale le renforcement du lien social ou de la citoyennet En effet l utilit sociale ne se r duit pas un seul et unique domaine Elle est multidimensionnelle existe diff rentes classifica
89. de proposer un diagnostic avant la r alisation de l action e Au milieu du projet c est l valuation mi parcours Elle a pour objectif de r orienter l action si besoin e la fin du projet c est l valuation ex post Elle a pour objectif de faire un bilan du projet e Apr s un certain temps une fois le projet abouti c est l valuation des impacts Elle a pour objectif d analyser les impacts moyen et long terme de l action Parall lement un suivi valuation peut tre r alis tout au long du projet Il a pour objectif de faciliter son pilotage et de permettre d am liorer l action chemin faisant Le suivi valuation est directement li l action alors que l valuation proprement parler est un temps de prise de distance avec l action D but ACTION Fin du projet S RESULTATS EFFETS DL Auto valuation M A A UN GUN OU UN A ON ON OU OUR E EN E un valuation valuation valuation valuation ex ante mi parcours ex post des impacts Le r le de laccompagnateur Le choix de la personne qui accompagnera la structure n est pas anodin car elle viendra avec sa m thode ses outils et parfois son point de vue sur l utilit sociale Fiche N 5 Choisir 1 1 h m thode un accompagnateur p L accompagnateur a une quadruple fonction e Ma euticien et r v lateur il aide les participants accoucher de leur analyse par e un jeu de questions et une fonction de mi
90. des activit s et du fonctionnement de la structure sans que l ensemble des activit s ne soit n cessairement analys dans le d tail ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE e L exp rience des autres EZEREZ EZEEZESEEZEFESEFEFEEEEESFEEFEESEFEESEFEEEFEEEESESESEEEEE La f d ration Loisirs pluriel centres de loisirs pour enfants valides et handicap s a d fini un r f rentiel qui s applique de mani re transversale Les OUTIL N 18 informations n cessaires pour renseigner les indicateurs g Exemple de r f rentiel sont collect es indistinctement dans les diff rentes activit s Deux modes d utilisation du r f rentiel N questionne questionne _ Activit 1 Activit 2 On questionne chaque activit de la structure et les modes de fonctionnement pour voir s ils r pondent bien tous aux crit res du r f rentiel Les crit res concernent toutes les activit s et modes de fonctionnement de la structure Activit 1 Activit 2 N V4 renseigne renseigne __ R F RENTIEL On recherche dans les activit s r alis es et dans les modes de fonctionnement des l ments qui viennent renseigner le r f rentiel Les crit res peuvent ne concerner que quelques activit s de la structure L analyse de l utilit sociale se fait globalement TOLO D La d marche d valuation comprend quatre phases qui peuvent se croiser dans une approche it rative e l l
91. des activit s La d marche donne l occasion de repr ciser le projet associatif Parfois elle peut aboutir la red finition du projet de la structure ou la r vision de ses statuts Enfin le d bat permet chacun de se r approprier les finalit s et les objectifs de la structure et de redonner tous un cap commun L exp rience des autres EEEE EZEEEFEFZEF EEFE FEEFEE F EFEFEF EFEFFEFFEFEEFEFFEFEEEEEEEEE La soci t de t l assistance Custos est une filiale du groupe Scutum mais elle a d abord t une association employant des personnes handicap es et en a gard la culture et les processus en termes de fonctionnement M me si ses sp cificit s taient visibles l entreprise m re n en comprenait pas v ritablement la logique et les ressorts propres B n fices La d marche d valuation de lutilit sociale a permis l entreprise Scutum de red couvrir le projet initial de Custos La d marche d valuation nous a permis de comprendre que les indicateurs d utilit sociale sont constitutifs de notre dynamique de croissance estime le directeur L Association r unionnaise d ducation populaire a men une d marche d valuation de son utilit sociale La r flexion men e avec une vingtaine de salari s a abouti une nouvelle d finition de l utilit sociale de la structure Celle ci a fait l objet d un d bat au sein du Conseil d administration B n fices La d finition de l utili
92. des ponts et chauss es responsable de la Mission valuation des politiques publiques au Conseil G n ral des Ponts et Chauss es lt e Nadine Richez Battesti Economiste Directrice du Master Economie Sociale et Solidaire RH Management des projets et des comp tences Universit de la M diterran e Annexes Sommaire des outils R f rences bibliographiques Index des sigles OUTIL N 1 OUTIL N 2 OUTIL N 3 OUTIL N 4 OUTIL N 5 OUTIL N 6 OUTIL N 7 OUTIL N 8 OUTIL N 9 OUTIL N 10 OUTIL N 11 OUTIL N 12 OUTIL N 13 OUTIL N 14 OUTIL N 15 OUTIL N 16 OUTIL N 17 OUTIL N 18 OUTIL N 19 010 a EE 210 OUTIL N 21 OUTIL N 22 TUDES DE CAS 2 Fiches p dagogiques Sommaire des outils dy Pour approfondir la d marche propos e dans ce guide retrouvez sur les sites de l Avise D et de Culture et Promotion des exemples d outils ainsi qu une s rie d tudes de cas Exemple de grille de crit res et d indicateurs R alis par M dias Cit avec l appui d Ariane D veloppement Local Exemple d arbre strat gique R alis par Espaces avec l appui d Ariane D veloppement Local Exemple de grille de crit res et d indicateurs R alis par la R gie de quartier Villeneuve Village Olympique avec l appui de Contrechamp L arbre d objectifs R alis par Contrechamp Exemple d utilisation de
93. diff rents acteurs en pr sence les valeurs de la structure etc sera alors d terminant pour orienter l accompagnateur dans son r le de lui pr ciser les fonctions les plus marquantes attendues Une d marche valuative qui int gre l intervention d un tiers doit sp cifier les missions attendues dans le cadre d un cahier des charges sp cifiant la commande Parmi les missions confi es on pourra trouver notamment e Identifier les enjeux et les finalit s de l valuation e Proposer un dispositif d valuation qui prend son syst me de r f rence principalement l int rieur du projet e Assurer le bon d roulement de la d marche e Animer une dynamique en s appuyant sur les partenaires e Garantir la circulation des informations aux personnes r f rentes d sign es pour en favoriser l appropriation e Rechercher la participation des acteurs concern s e Faciliter la production de r sultats L accompagnateur peut galement r aliser des missions compl mentaires et par exemple participer la collecte de certaines donn es difficilement accessibles pour la structure entretiens aupr s des partenaires tudes de cas Ces l ments viendront compl ter les autres donn es recueillies en interne REP RES ET M THODES Les comp tences de l accompagnateur Comment tablir un cahier des charges peut galement remplir une fonction sp cifique questionner l utilit sociale mergent
94. ducation ducatives centr es sur les li s l environnement centr e sur les contenus contenus environnementaux environnementaux et par type de public Pratiques e Niveau de pratique du recyclage e R duction des d penses e Impact sur l empreinte cologique transversales tri s lectif utilisation de papier nerg tiques r duction de la production recycl de mat riel consign e Nombre de kilom tres conomis s de CO de la consommation e Mise en uvre de modes de travail d nergie protecteurs de l environnement e Utilisation d nergies renouvelables respectueuses de l environnement Les crit res et les indicateurs Dimension sociale Crit res d utilit sociale galit des chances Exemples d indicateurs de r alisation e Prise en consid ration des publics exclus dans des actions sp cifiques adaptation de l action leurs r alit s conditions d acc s privil gi es place et r le effectivement propos s nombre de b n ficiaires e Prise en consid ration des publics exclus dans les actions de mani re transversale adaptation de l action tout public conditions d acc s ouvertes nombre de b n ficiaires Exemples d indicateurs de r sultat e Taux de participation des publics exclus e Acc s possible aux services et aux droits pour les publics exclus e Mixit des publics proportion de chaque cat gorie Exemples d indicateurs d i
95. e Elle a ainsi accompagn depuis 7 ans plus de 70 structures sur cette th matique La d marche s est structur e diversifi e et enrichie au fur et mesure des exp riences Dans une logique de recherche action permanente Culture et Promotion capitalise les enseignements de chaque accompagnement et continue exp rimenter de nouvelles approches Diff rents types de d marches ont contribu ce guide e des accompagnements de structures sur site e des accompagnements collectifs regroupant plusieurs associations avec des temps de travail par structure e l accompagnement d un collectif compos d associations mutuelles coop ratives de services d Etat des Conseils R gionaux et G n raux sur un outil de mesure de l utilt sociale des acteurs l Economie Sociale et Solidaire du Gard e l valuation de l utilit sociale des dispositifs de m diation sociale e des actions de sensibilisation aupr s d associations conseils de d veloppement charg s de mission de collectivit s Culture et Promotion anime galement un groupe d associations form es la d marche qui interviennent et accompagnent diff rentes structures sur l valuation de l utilit sociale Ce groupe mutualise ses pratiques et leurs enseignements ont galement nourri ce guide Dans ce contexte l Avise a d cid en 2004 sur proposition de son Conseil scientifique de lancer une exp rimentation sous la forme d un appel projets au
96. e En effet les participants la construction de l utilit sociale ne per oivent pas forc ment toutes les dimensions de l utilit sociale a fortiori si toutes les parties prenantes ne sont pas associ es L intervention d un tiers ext rieur peut favoriser le rep rage de ce qui spontan ment serait occult ou objectiver des th matiques marqu es par trop d affectif Outre des comp tences techniques relatives la m thodologie de l valuation et l utilit sociale l accompagnateur doit faire preuve de comp tences ou qualit s plus transversales e Pragmatisme rigueur et souplesse Si la d marche d valuation de l utilit sociale s inscrit dans une r flexion de fond pour la structure le pragmatisme et la souplesse sont n cessaires pour l adapter ses besoins conjoncturels En revanche une certaine rigueur sera n cessaire pour assurer les exigences en termes de respect d tapes m thodologiques de planning e Savoir pr server une distanciation L accompagnement n cessite un positionnement la fois ext rieur aux enjeux de la structure pour garder le cap sur l objectif et pr server une certaine neutralit et impliqu afin que la d marche d valuation soit men e son terme e Animer un questionnement coute active et empathie L accompagnateur veillera ce que son questionnement ne cr e pas de biais en ne g n rant pas des dimensions dans lesquelles les participants ne se reconna traient pas
97. e clarifier les enjeux Une id e g n rale Utilit sociale valeur ajout e sociale plus value sociale o soci tale utilit sociale et cologique Les notions sont multiples l id e est semblable Les acteurs des organisations de l conomie sociale et solidaire mais d autres organisations peuvent tre concern es dans une certaine mesure sont convaincus qu ils apportent la collectivit et leurs territoires d intervention un b n fice collectif au del des services qu ils rendent des individus des biens qu ils peuvent produire des emplois qu ils peuvent cr er Ces b n fices attendus ou revendiqu s sont d ordre divers du lien social de la solidarit une r duction de l exclusion une contribution une d mocratie plus vivante la mise en uvre de droits fondamentaux la qualit de vie o l environnement sur des territoires etc qui peut d boucher sur de premi res exigences d valuation Une soci t qui attribue de la valeur ces b n fices collectifs doit donc aussi accepter d y consacrer des ressources publiques ce qui est le cas qu il s agisse de subventions d exon rations d imp ts divers de possibilit s de recours des emplois aid s etc tout en demandant videmment aux structures qui b n ficient de ces ressources de rendre des comptes non seulement sur le plan financier mais aussi sur celui de la production d utilit socia
98. e A cette tape la d finition sera la base du EME sur lequel l valuation s appuiera Le choix des structures et des personnes participant cette d finition est donc strat gique La COR poguera d atarit ENS HORS ataie saa EC per En CHIENS aldandes d acteurs li es l association tjes indicateurs est important car si l outil de mesure n est pas adapt ef on souhaite mesurer les r sultats de l valuation n auront pas de sens vais indicateurs sont dangereux car ils fournissent des l ments qui F interpr t s Attention galement ne pas faire dire des indicateurs 000000000000000000000000000 04 R unions avec l ensemble des parties prenantes Elles favorisent une v ritable construction collective de l utilit sociale et la constitution d une culture commune sur le sujet Elles permettent notamment certains partenaires de prendre conscience de l apport de la structure sur des dimensions qu ils ne percevaient pas Ces r unions peuvent tre parfois d licates r aliser lorsqu elles rassemblent des parties prenantes trop diff rentes les unes des autres par exemple des lus et des personnes en insertion ou trop nombreuses ME ETES Q outils simples de collecte des donn es et r diger leurs modalit s de mise en ULVTre b Analyser des donn es provenant de diff rentes sources b imaginer des modes de rendu des r sultats attractifs et p dagogiques Objectif de la phase Renv
99. e partenaires publics s int ressent ces valuations qui peuvent tre men es avec eux Les usagers b n ficiaires ont toute l gitimit pour tre l origine de l valuation mais cela n cessite une organisation en amont des usagers pour qu merge et se structure une telle d marche quel moment Le moment pertinent pour l valuation d pend des enjeux auxquels la d marche cherchera apporter des l ments d analyse et de compr hension Il est souvent li des tapes particuli res de la vie de la structure Diff rents facteurs peuvent d clencher une demande d valuation L histoire de la structure Dans des p riodes de questionnement sur les finalit s de la structure et le sens de ses actions renouvellement important de l quipe salari e et ou du conseil d administration l issue d une p riode de crise interne L avancement d un projet L valuation permet de mieux d finir l action d une structure au d marrage au regard de l utilit sociale mi parcours de la r orienter si besoin la fin de l action d en faire le bilan et savoir si des suites doivent tre donn es enfin plusieurs mois apr s la fin de l action d en mesurer les impacts long terme L volution de relations partenariales L volution des relations partenariales peut tre l origine de l valuation renouvellement de conventions perte de confiance d un financeur besoin de d
100. e communication entre les diff rentes parties prenantes e pr cis un indicateur doit tre pr cis sinon il peut traduire des r alit s tr s diff rentes Par exemple un retour l emploi temps partiel via un contrat d int rim d un mois est diff rent d un contrat plein temps en CDI L indicateur du retour l emploi doit donc tre pr cis pour recouvrir une r alit ayant le m me sens pour tous e fiable les informations recueillies constitueront la base de l analyse Elles doivent donc tre solides Pour chaque crit re les participants d finiront les indicateurs qui leur semblent les plus pertinents et les plus r alistes collecter pour traduire le crit re retenu Ils veilleront ce que les indicateurs soient compl mentaires pour bien traduire le crit re et qu ils soient n cessaires c est dire qu ils ne fassent pas doublon entre eux Un faisceau d indicateurs est n cessaire pour clairer l utilit sociale Collecter les donn es 90 L exp rience des autres E EEES ESEEZE SEESE SFEFEFS EFEFEF FEEFEE FESSES FEEFEE FESESEEEEEEEE Prioriser les crit res et indicateurs L association Services 18 qui accompagne des porteurs de projets a d fini des crit res d valuation qui sont l articulation de ses buts terme et de ses objectifs op rationnels Son r f rentiel d valuation reprend les buts terme et les objectifs op rationnels aux deux extr mit s du tableau 9 O
101. e d analyse de ses chantiers d insertion travers un syst me de cases cocher elle passe en revue des l ments d valuation sur trois champs la dimension cologique la dimension conomique et sociale et la dimension participative B n fices Cette grille permet de situer les forces et les faiblesses de chaque chantier en termes d utilit sociale La d marche d valuation de l utilit sociale permet d laborer des outils de pilotage et de suivi des activit s adapt s la structure lls pourront notamment se r f rer aux objectifs transversaux En effet les outils ou les dispositifs d valuation existants sont souvent issus des demandes des partenaires techniques ou financiers L approche est alors sectorielle emploi environnement ne prenant pas en compte les objectifs g n raux de la structure qui risque de les perdre de vue La d marche constitue une opportunit pour construire des outils de pilotage s appuyant sur les de la structure lls pourront tre utiles aux salari s pour la mise en uvre des actions et aux administrateurs pour suivre les orientations qu ils ont donn es Is deviennent ainsi une base d changes dans le suivi des projets pour les salari s et administrateurs Les outils cr s peuvent tre de natures diverses e grille des points questionner lors du montage d un projet e tableau de bord pour suivre en continu l ensemble des activit s de la structure o pour suivre quel
102. e de r seau puisque la collecte et le traitement des informations reposent sur elle Comme dans le premier cas l utilit sociale et ses crit res d valuation sont d finis collectivement au niveau du r seau La t te de r seau propose ensuite des outils communs de collecte des informations Chaque structure collecte l information la concernant en r ponse aux indicateurs et fait remonter ces donn es la t te de r seau Celle ci en r alise l analyse qu elle propose ensuite aux membres du r seau pour un change sur ses conclusions Cette d marche permet de mobiliser et de responsabiliser chaque membre dans la mise en uvre de l action Ceux ci peuvent d ailleurs ajouter aux crit res retenus collectivement des crit res compl mentaires qui leur sont propres Elle a galement le grand avantage d all ger le travail de collecte pour la t te de r seau Dans ce cas de figure la d marche d valuation est commune pour tous les membres qui r alisent l valuation en interne Chaque association d finit elle m me son utilit sociale l aide d une grille de questionnement commune l ensemble du r seau partir d outils communs chaque association d finit ses propres crit res et indicateurs d valuation collecte ses donn es et en fait l analyse Les approches de l utilit sociale crit res et indicateurs des diff rents membres du r seau font ensuite l objet d un change et d un enrichissement mutuels
103. e leur passage dans la structure nombre total de salari s Nombre de salari s participant aux instances et la prise de d cision Un r f rentiel est un ensemble de crit res et d indicateurs pr cisant l utilit sociale de la structure Les actions valu es seront confront es ce r f rentiel Construire l utilit sociale 4 p Cet exemple de r f rentiel issu d une structure d insertion par l conomique illustre les diff rents niveaux d indicateurs Il propose e des dimensions de l utilit sociale d taill es ou non en un o deux crit res e un classement des indicateurs aux trois niveaux de r sultats e des indicateurs chiffr s e des indicateurs non chiffr s p rennit des relations par exemple Ces indicateurs n cessiteront la mise en place de grilles d valuation pour tre estim s voir phase 4 p 74 et phase 5 p 82 e des indicateurs de contexte sp cifiques au territoire lorsqu ils sont pertinents et facilement accessibles Indicateurs d impact changes en dehors du cadre de la structure entre personnes de cultures diff rentes P rennit des relations entre salari s en dehors des temps de travail Nombre de salari s en insertion ayant retrouv un emploi avec un contrat de plus de 3 mois dans les 6 mois suivant leur sortie Nombre de salari s en insertion entr s en formation qualifiante la sortie de la structure Taux de salari s
104. e par les salari s par les consommateurs o Usagers par les entreprises susceptibles de coop rer en cotraitant un march en recrutant un salari Dans la plupart de ces cas les indicateurs ne s expriment pas en mesures quantitatives mais par des notes de r ussite ou de satisfaction L laboration des indicateurs ne saurait tre normalis e ni impos e dans le cadre d une r glementation nationale globale rigide C est un travail progressif amorc par des organisations professionnelles ou des r seaux associatifs en qu te de labellisation donc de l gitimation de leur activit C est ainsi que les chantiers coles les R gies de quartier les AMAP les Jardins de Cocagne les artisans de France pour ne citer que ces r seaux d finissent des objectifs et des crit res d valuation L analyse de cette d marche la comparaison avec d autres exp riences permettent de retenir certaines pratiques de les approfondir de les diffuser de les contractualiser ETAPE 1 COMPRENDRE AVANT D AGIR Il est alors possible au niveau d une fili re d activit comme au niveau d une r gion de valider les crit res d valuation les plus appropri s Un observatoire r gional faciliterait le rep rage des initiatives d conomie solidaire permettrait de comparer les crit res d valuation et de valider les plus probants L tat en tirera le plus grand profit mais aussi les collectivit s territoriales une val
105. e permet aussi aux partenaires de percevoir la structure dans sa globalit et non plus par le biais d une seule action o du champ sur lequel ils interviennent En y participant les partenaires prennent connaissance des autres dimensions de l utilit sociale de la structure Les crit res indicateurs et outils qui en proviendront constitueront une base partag e pour des changes entre la structure et ses partenaires L exp rience des autres sssssseseeeeececeececcceocococcccccooccsoeeeceeeeeceeeeee Ja suite de l dition 2005 des Journ es de l conomie sociale et solidaire ESS dans le Gard plusieurs acteurs locaux ont exprim le souhait de voir se poursuivre la d marche ainsi entreprise de r flexion et de communication autour de l ESS Une th matique a plus particuli rement suscit l int r t de ces acteurs celle de la mesure de l utilit sociale produite dans le cadre des actions qu ils r alisent et de la prise en compte de celle ci par les institutions publiques avec lesquelles ils sont amen s passer des conventions de partenariat Ces acteurs de l ESS ont en effet le sentiment que les proc dures d valuation auxquelles ils sont soumis de la part des partenaires publics se fondent essentiellement sur des crit res quantitatifs ou mon taires et qu elles n gligent les aspects qualitatifs Les trois organisations qui portaient les Journ es de PESS dans le Gard savoir la Chambre r gionale de
106. ective sur les SSIG Il revient l ensemble des acteurs publics ou priv s concern s par l int r t g n ral de faire valoir ses atouts dans un d bat dont les r sultats seront d terminants pour la poursuite de l activit de l conomie sociale et solidaire Non pour en faire une particularit fran aise mais bien plut t pour contribuer enrichir une vision europ enne qui ne saurait se imiter une approche concurrentielle de l int r t g n ral Remerciements Nous remercions l ensemble des personnes et structures ayant contribu nourrir le contenu de cette publication Les acteurs de l exp rimentation Avise Le comit de pilotage Pr sid par Dominique Thierry membre du conseil scientifique de l Avise et compos de e Bretagne Ateliers Jean Michel Queguiner e la Caisse des D p ts Emmanuelle Gros et Adelphe de Taxis le Centre des Jeunes Dirigeants Alain Gavand la Conf rence Permanente des Coordinations Associatives Julien Adda e le Conseil National de l Insertion par l Activit Economique Claude Alphand r lt e la D l gation interminist rielle l innovation l exp rimentation sociale et l conomie sociale Marie Christine Vergjiat e la FONDA Jacqueline Mengin l Universit de Lille 1 Jean Gadrey e Fran ois Rousseau Les structures participantes e Agate Paysages Ounans 39 e AMAJ Reims 51 ARDES
107. ement ouvrir la r flexion sur de nouveaux champs Par exemple Certaines associations qui uvrent aupr s d un public ou d un secteur sp cifique voient les apports dans leur secteur d activit mais elles n identifient pas forc ment ce qu elles apportent plus largement par exemple en termes de dynamique locale L accompagnateur peut alors orienter la r flexion sur la dimension territoriale de leur activit De m me un certain nombre de structures de l conomie sociale et solidaire d veloppe des d marches novatrices ou de nouveaux modes d intervention sans pr ter attention au caract re innovant de leur action L innovation a pourtant une utilit sociale Ainsi de nombreux dispositifs dans le domaine des services la personne ou de l environnement ont d abord t initi s dans le secteur associatif Phase 4 Construire l utilit sociale L exp rience des autres E EEEE SE SEESE ESEE FEFFE FES FEFEFE EFESE SE FEFFE FEESESEEEEEE L association Anonyme d finit son utilit sociale de la fa on suivante promouvoir la d mocratie participative En effet dans toutes ses actions l association veille donner la parole tous et toutes y compris aux personnes les plus d munies Par ailleurs elle a souvent une position de m diatrice entre diff rentes parties position qui facilite le dialogue entre la population et certaines instances Personne n osait cependant aborder une autre r alit de l
108. en uvre de ce qui s est construit en session accompagn e Cette m thode n cessite que les structures soient particuli rement mobilis es et d j accoutum es aux d marches d valuation pour r aliser ce travail seules L accompagnateur doit pouvoir venir en appui la structure distance t l phone e mail durant les intersessions Parmi les r sultats constat s des d marches d valuation de l utilit sociale une grande partie est due au processus m me de l valuation Par exemple de nombreuses structures attendent de la d marche qu elle leur permette de construire de nouvelles relations avec les partenaires Ce sont rarement les r sultats de l valuation qui aboutissent cette cons quence mais bien la fa on de proc der d associer ces partenaires la d marche Les apports du processus d valuation sont li s e La distanciation r sultant de l accompagnement La d marche propose une r flexion distanci e sur la structure anim e par un accompagnateur ext rieur La distanciation permet une r flexion critique sur les activit s ou sur les pratiques de la structure et peut avoir des effets sur l organisation et la mise en uvre des activit s le fonctionnement les partenariats Phase 3 Poser le cadre d une valuation e La r flexion sur l utilit sociale La r flexion sp cifique sur l utilit sociale pose la question du sens La th matique m me de l utilit sociale interroge l
109. enjeux sur lesquels les participants ont donn leur avis La f d ration Loisirs pluriel regroupe des associations qui g rent des centres de loisirs accueillant des enfants valides et handicap s Elle souhaite initier une r flexion sur l utilit sociale au sein de son r seau et en faire sa th matique annuelle en 2007 Pour cela elle a mis en place une d marche qui r unit progressivement les membres de la f d ration Le conseil d administration a d abord t associ puis l ensemble des directrices d associations Ensuite un travail sera r alis au sein de chacune des associations L association Agate Paysages a r alis une valuation portant sur un p le d accueil et de services en milieu rural II regroupe 50 structures partenaires qui y interviennent diff rents niveaux permanence informations collectives contacts ponctuels Les structures n avaient qu une vision partielle du p le L valuation a donc associ en priorit les structures partenaires afin qu elles acqui rent travers la d marche une vue d ensemble du projet Phase 2 Qui associer et comment OUTIL N 5 Exemple d utilisation de l Abaque de R gnier Associer les membres de la structure savoir les salari s les b n voles et les administrateurs ne pose g n ralement pas de difficult sinon celle de r ussir mobiliser les int ress s sur une th matique qui peut para tre complexe Une d marche ex
110. ent galement l tre des partenaires sous une autre forme Par exemple Qu apporte la structure sur le territoire Pos es au cours d une r union ces questions donnent lieu des changes sur la perception par les uns et les autres de l utilit sociale de la structure Apr s un temps d ouverture la d marche doit se refermer Les participants d termineront alors les principales dimensions de l utilit sociale de la structure partir desquelles ils pr ciseront les crit res d valuation Si besoin l animateur relancera la discussion pour faire merger les sp cificit s de la structure et pr ciser le contenu des notions utilis es par les participants Cette approche permet une large r flexion sur l utilit sociale tout en tant adapt e tout type de public La phase de recentrage sur les principales dimensions de l utilit sociale est essentielle pour ne pas se perdre dans une multitude de crit res et d indicateurs par la suite ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE re Techniques d animation Ind pendamment des modes d approches de l utilit sociale plusieurs techniques d animation peuvent tre utilis es Par exemple e Le brainstorming ou remue m ninges Il comprend classiquement trois phases e expos de la th matique par l animateur e assaut d id es chacun pr sente ses id es les mots qui lui viennent l esprit sur la th matique de
111. entes parties prenantes du projet pour r aliser l auto valuation Ce sont ces acteurs qui collectent les donn es les analysent et en tirent des conclusions Cela tant dit il faut galement bien souligner le caract re n cessairement assist de la d marche Il para t en effet essentiel qu un tiers joue le r le d observateur ext rieur et vienne apporter une expertise m thodologique voire intervienne plus directement sur certains aspects par exemple la construction du r f rentiel En ce sens la d marche pr sent e se rapproche d une d marche d valuation interne Ce tiers accompagnateur peut tre une personne appartenant la structure une personne ressource d un r seau de l conomie sociale et solidaire ou tout simplement un consultant ext rieur Fiche N 1 L valuation 1 02 rep re pourquoi comment p Fiche N 5 Choisir 1 1 D m thode un accompagnateur p e La d marche d valuation d utilit sociale n est ni un contr le ni un audit En France la notion d valuation s est surtout d velopp e dans les ann es 1980 sous langle quasi exclusif de l valuation des politiques publiques mais avec une diversit d approches faisant appara tre deux tendances l valuation per ue comme un outil technique au service de la mise en uvre des politiques ou comme un outil visant cr er le dialogue et porter collectivement un jugement C est bien dans la seconde optique que
112. ermettre de d terminer des crit res et indicateurs pertinents En effet lorsqu on a r pondu la question Que recherche t on il est plus facile de r pondre la question suivante De quelles informations avons nous besoin pour r pondre cette question De cette seconde interrogation mergeront les crit res et indicateurs Par exemple En quoi le chantier d insertion renforce t il l autonomie des personnes En quoi la structure favorise t elle l implication citoyenne Dans quelle mesure la structure contribue t elle la socialisation des personnes en difficult et leur retour l emploi FA Focus Les angles d valuation L utilit sociale reste l objet de l valuation mais plusieurs angles d valuation peuvent tre retenus utilit ou impact efficacit pertinence coh rence interne et efficience Concernant l utilit sociale les questions d valuation se r f rent g n ralement l impact de l action parfois son efficacit lorsque des objectifs ont t d finis Les autres angles peuvent cependant enrichir cette valuation et questionner l action de la structure Par exemple e Utilit Impact En quoi notre action a t elle renforc le lien social sur le quartier e Efficacit Dans quelle mesure le chantier d insertion a t il permis aux salari s d acqu rir de nouvelles comp tences adapt es au march du travail local e Pertinence En quoi le re
113. es acteurs Une prise de risque d couvert L valuation de l utilit sociale peut faire appara tre des dissensions internes sur les finalit s un manque de clart sur les objectifs un d calage entre les finalit s et les activit s mises en place On peut comprendre que les dirigeants ne souhaitent pas prendre le risque de faire appara tre ces faiblesses notamment aupr s des partenaires financiers qui pourraient tre d favorablement impressionn s Le contr le L valuation voque encore le contr le dans certains esprits Dans cette logique le fait d associer des usagers ou des partenaires peut les mettre en position de contr le vis vis de la structure La complexit L valuation de l utilit sociale associe deux notions complexes valuation et utilit sociale avec un vocabulaire difficile d acc s Cette d marche appara t souvent tr s th orique et il peut sembler difficile d associer le public les usagers ou des partenaires sur des concepts Pour att nuer ces craintes plusieurs pistes peuvent tre envisag es La d mystification de l valuation Il est n cessaire de pr senter ce qu est l valuation de la diff rencier du contr le et de montrer diff rentes approches possibles de l valuation Une ouverture progressive vers l ext rieur La d marche d valuation doit dans un premier temps permettre aux membres de la structure de se rassurer sur ce qu ils vont trouver avant d assoc
114. es actions men es par la structure et ses pratiques Elle vient renforcer les effets engendr s par la prise de distance e La cr ation d un espace d change et de dialogue entre les diff rentes parties prenantes La d marche d valuation cr e un espace d change privil gi qui se distingue des relations quotidiennes Elle permet une parole et un d bat sur une th matique de fond commune aux parties prenantes sur laquelle elles n ont g n ralement pas l occasion d changer L exp rience des autres EE EEEE EEEESSE SEESE FE FEEFEE FE EFESE EFFEEF EFEESEFEFEEFEESEEEEEEEE L association Services 18 a connu de nombreux changements au sein de son quipe salari e et de son conseil d administration et a v cu des p riodes difficiles Aussi a t elle d cid de commencer l valuation par un bilan sur l histoire de la structure L objectif tait double permettre chacun de s approprier l histoire collective de la structure et mettre plat des non dits La d marche mise en uvre s est inspir e des histoires de vie chacun racontant l histoire de la structure de la mani re dont il l avait v cue Cet change a abouti l laboration d un graphe repr sentant l histoire de la structure avec ses temps forts et ses moments difficiles Ce travail a facilit par la suite la d marche car il a permis de d passer certaines tensions il a renforc les liens entre les participants et permis la personne qui accom
115. est pas toujours pertinente car il est possible de chiffrer des appr ciations qualitatives Il existe des outils de mesure qui permettent d objectiver une information qualitative comme les descripteurs ou les chelles de notation Ils s appuient sur des grilles d observation partir desquelles il est possible de d terminer une r ponse pour l indicateur retenu Par exemple L acquisition de comp tences peut tre v rifi e par des tests la mise en confiance peut tre observ e travers des propos des comportements pponee _K W OUTIL N 14 Exemple de grille de crit res et d indicateurs y OUTIL N 15 y Exemple de grille d auto valuation Le r f rentiel pr sente en quelque sorte un id al indiquant un niveau de r sultats attendus au regard duquel on comparera le r sultat atteint Indiquer le niveau de r sultats attendus Par exemple Pour un indicateur pr cisant le taux de participation des hommes et des femmes aux instances de d cision le r f rentiel pourrait indiquer un taux de participation quilibr des hommes et des femmes sur une base situ e entre 40 et 60 pour chaque genre Formaliser le niveau de r sultats attendus permet de constituer une base de r f rence qui facilite l analyse des r sultats constat s C est possible dans certains cas notamment pour les indicateurs de r alisation qui r pondent des objectifs op rationnels souvent mieux d finis Dans d autres
116. et de la fa on de d crire et parfois de mesurer indicateurs ses dimensions selon des crit res multiples Ce guide fournit dans ce domaine des pistes solides l oppos de toute recette et de toute grille pr te l emploi 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 Les enjeux soci taux de l valuation de l utilit sociale Dani le Demoustier Equipe de socio conomie associative et coop rative Institut d tudes politique de Grenoble Travaillant depuis de nombreuses ann es au niveau national et europ en sur le monde associatif et plus largement sur l conomie sociale et solidaire Dani le Demoustier revient ici sur les raisons de l mergence de l valuation de l utilit sociale et surtout sur les enjeux de ses deux dimensions interne et externe L utilit sociale un enjeu pour les associations Depuis les ann es 1980 les associations sont questionn es sur leur l gitimit r pondre de fa on sp cifique et pertinente des besoins collectifs et ou des missions d int r t g n ral Quelques scandales certes peu nombreux ont entach de fait la r putation associative les r gles de concurrence europ enne privil gient l op ration en consid rant op rateur comme indiff rent l application unilat rale de la r gle des 4 P produit public prix publicit par l administration fiscale
117. et des services que de la population Les bilans d activit s et financiers r alis s pour les partenaires ne suffisent pas assurer cette lisibilit B n fices L arbre d objectifs r alis dans le cadre de la d marche W OUTIL N 4 a permis de mettre en vidence les liens entre les diff rentes actions D et leur contribution l utilit sociale L entreprise Triselec r alise annuellement un bilan soci tal de son activit Sp cialis e dans le tri s lectif elle avait de nombreux indicateurs dans le champ environnemental mais elle manquait de donn es sur la dimension sociale B n fices La d marche d valuation lui a permis d enrichir le volet social du bilan soci tal avec de nouveaux indicateurs L arbre d objectifs Rendre compte B n ficiant de l argent public les structures doivent rendre compte aux pouvoirs publics et aux citoyens de l emploi des ressources qui leur ont t attribu es L int r t est bien s r de ne pas se limiter aux r alisations mais de pr senter l apport d une structure donn e sur le territoire aupr s de publics L valuation de l utilit sociale permet aux structures de rendre compte sur la base de crit res r pondant vraiment leur plus value sociale Les donn es issues de l valuation de l utilit sociale viennent ainsi enrichir les rapports d activit et les bilans communiqu s aux membres et aux partenaires Elles offrent la possibilit de porter un nouveau
118. f rent peut aussi se r v ler strat gique En effet port e par le responsable de la structure l valuation peut tre per ue comme proche du contr le si des tensions pr existent au sein de l quipe Par ailleurs elle demande du temps dont ne dispose pas toujours le responsable La personne r f rente devra b n ficier d un soutien cons quent des responsables pour effectuer sa t che La structure qui se lance dans la d marche devra pr ciser un calendrier de mise en uvre avec des tapes pr cises Celui ci restera souple et pourra voluer mais il est n cessaire pour cadrer le travail La pratique montre qu il est tr s facile de prendre du retard dans les d marches d valuation Pour anticiper ce risque il est utile de pr voir des productions interm diaires formalis es r daction de l utilit sociale de la structure de la grille de crit res et indicateurs Elles permettent d entretenir la motivation des participants gr ce des avanc es visibles Ces productions peuvent de plus tre valoris es avant que la d marche ne soit termin e mise jour de la plaquette de communication grille de crit res constituant une base pour des changes avec les partenaires Sensibiliser avant de pr senter une d marche compl te Si la d marche appara t trop lourde pour la structure mieux vaut pr voir une approche en deux temps Un premier temps pr sentera les bases et les apports de ce type de d marche Il d
119. f rentiel ensemble de crit res et indicateurs qui serviront de r f rence l valuation Diff rentes formes de participation L association Agate Paysages a hi rarchis ses partenaires financiers en fonction de leurs domaines d activit et de leur degr d implication dans l activit de l association Elle a proc d un croisement e des champs social emploi formation sant vie quotidienne repr sent s sous forme de camemberts e et des niveaux d implication comit de pilotage permanences r guli res ou sur demande interventions dans l animation territoriale contact t l phonique informations sous forme de cercles concentriques les partenaires les plus proches de la structure tant pr s du centre Un premier travail consiste identifier les parties prenantes Chacune n ayant pas la m me relation avec la structure il peut tre utile de les qualifier plus pr cis ment Plusieurs approches sont possibles e une analyse des parties prenantes par domaines d intervention e une typologie des partenariats les op rationnels les financeurs et les institutionnels e une analyse du partenariat distinguant les partenaires selon leur degr d implication proximit avec l association selon les projets leur registre d implication d 9 OUTIL N 6 y Exemple de cartographie de partenariats f 9 OUTIL N 7 1 Exemple de typologie des parties prenantes par domaine
120. globalement une soci t plus d mocratique par son existence m me et par la formation induite de ses membres la pratique de la d mocratie e La gestion d sint ress e oriente les associations vers une finalit autre que le profit e Le mode organisationnel des coop ratives g n re une d mocratie conomique Ces r gles de l conomie sociale et solidaire sont parfois consid r es comme tant une forme d utilit sociale interne Les tenants de cette approche cherchent notamment d marquer le de l conomie classique par une notion d utilit sociale qui lui est sp cifique L exp rience des autres La R gie de quartier de Villeneuve Village Olympique articule une double d marche d entreprise et de d veloppement social et citoyen Son intervention territorialis e vise am liorer les modes de gestion de l espace urbain et de l habitat par la participation directe des habitants comme salari s ou acteurs b n voles La cr ation du lien social et une bonne gestion de l espace urbain sont directement li es l une ne pouvant exister sans l autre La participation est une condition et un moyen pour am liorer la gestion de l espace urbain et de l habitat garantir l efficacit du service rendu et enfin cr er du lien social Pour une partie de ses activit s la R gie est une structure d insertion par l activit conomique au sens de la loi de 1998 La participation effective des habitants tout
121. i b n ficient la soci t et constituent les plus et les subventions qu il accorde au nom de l utilit values sociales venir Ce n est donc pas un co t sociale C est ainsi que la nouvelle loi de Finances mais un investissement fixe des indicateurs de performance gages des aides venir Sa tentation est de r f rer ceux ci Mais deuxi me argument comment valuer le retour des objectifs simples et pr cis mais qui risquent sur investissement L utilit sociale et immat rielle par l m me d tre r ducteurs Par exemple difficilement mesurable elle ne cr erait pas de vraies l utilit sociale d une structure de l insertion par richesses au sens o l entendait Adam Smith l activit conomique se r f re aux emplois cr s C est n gliger plusieurs facteurs le contexte plus ou moins favorable qui entoure l action d insertion la pr carit des publics recrut s l effort d accompagnement la nature des emplois pendant et l issue du parcours d insertion Au del des emplois secs ce sont donc des objectifs beaucoup plus complexes qui devront faire l objet d indicateurs appropri s Certains visent par exemple appr cier la situation des personnes en insertion celle des quartiers o ils habitent d autres la qualit de la formation ou de l accompagnement o encore travers des entretiens o la parole leur est donn e le jugement port sur leur entreprise solidair
122. ialement Pour les acteurs du tiers secteur l valuation permet de suivre et piloter les projets de rendre compte de son travail Elle peut tre au service de la dynamique associative La ma trise du processus valuatif garantit une participation la d finition du r f rentiel d valuation qui fixe les crit res sur la base desquels l analyse et le jugement seront effectu s Les enjeux soci taux de l valuation de l utilit sociale Regards crois s sur les enjeux de l valuation de l utilit sociale Face ces enjeux d terminants pour la reconnaissance et le d veloppement de la dimension solidarit dans notre soci t les principales parties prenantes concern es prennent position sur la question de l valuation de l utilit sociale On trouvera ici de fa on non exhaustive le regard port par des repr sentants de trois cat gories d acteurs e des chercheurs e des repr sentants du monde associatif e les instances et les pouvoirs publics L approche des chercheurs Le point de vue de Jean Gadrey Professeur d conomie l Universit de Lille 1 Reconnu pour ses nombreux travaux sur l utilit sociale et en particulier l important travail de synth se des exp rimentations et recherches men es l instigation de la DIES et de la MIRE Jean Gadrey pr sente ici les principaux points cl s de l approche de l utilit sociale et de son valuation En amont de l valuation de l utilit social
123. iation permet l int gration des enfants handicap s dans des activit s classiques avec d autres enfants et modifie le regard que les enfants valides portent sur le handicap D finition Capabilit capacit agir de mani re autonome ensemble de vecteurs de fonctionnement qui refl tent la libert dont dispose actuellement la personne pour mener un type de vie ou un autre Amartya Sen Repenser l in galit 2000 L exp rience des autres E EEEE SEEEEEEE FEEFFE FFEFEFE EFEFEF EEFE FEFESEE FESSES EFESESEEEEEE L association Vieillir autrement fait de la m diation dans les quartiers de la m tropole lilloise Elle a d fini son utilit sociale comme tant de cr er des liens sociaux entre des personnes d ge et de culture diff rents Pour pr parer le travail d valuation elle a d fini le lien social comme un ensemble de relations entre des personnes fond es sur des changes r ciproques multiples et dans lesquels les personnes s impliquent Les relations contribuent la vie sociale e Le d veloppement de la capabilit et de l autonomie La traduit l id e que chaque personne devrait pouvoir tre en capacit d agjir et de choisir librement le type de vie qu elle souhaite cette fin l octroi de droits est n cessaire mais ne suffit pas le plus souvent Cette libert suppose par exemple une certaine autonomie financi re et une capacit se projeter anticiper Cet
124. ichesses et de services Cette dimension de l utilit englobe des richesses cr es sur un territoire et notamment des services rendus la population Ces services r pondent un besoin peu ou mal satisfait ou bien ils sont r alis s moindre co t pour la soci t Certaines richesses ne se traduisent pas par des flux financiers Le travail b n vole ou domestique par exemple cr e de la richesse et apporte un service Par exemple Aide domicile soutien scolaire association de diffusion culturelle en milieu rural e D veloppement d une dynamique conomique sur un territoire La dynamique conomique d un territoire d pend notamment des interactions et compl mentarit s des acteurs de ce territoire En termes de d veloppement local tous les secteurs sont tr s li s Un cadre de vie agr able attirera la population qui pourra d velopper l activit du territoire des services de garde d enfants faciliteront l installation de jeunes couples la pr sence d une cole de musique pourra emporter la d cision finale d installation en milieu rural d un cadre avec ses enfants Co ts vit s la soci t Les activit s de certaines associations permettent d pargner des co ts que la soci t devrait supporter en leur absence Cette utilit sociale s appuie sur la comparaison de situation r elle ou fictive avec et sans l activit Elle est souvent difficile mesurer sans moyen important ETAP
125. ience de l apport de la structure sur des dimensions qu ils ne percevaient pas Ces r unions peuvent tre parfois d licates r aliser lorsqu elles rassemblent des parties prenantes trop diff rentes les unes des autres par exemple des lus et des personnes en insertion ou trop nombreuses ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Lever les freins la participation R unions regroupant une cat gorie particuli re de participants Elles ont l avantage de faciliter la prise de parole par chacun a fortiori si elles sont organis es en petits groupes Elles facilitent l emploi d un vocabulaire adapt tous les participants et vitent certains d tre impressionn s Elles supposent une mise en commun des travaux issus des diff rentes r unions et une restitution tous du bilan r alis Entretiens Lorsque les r unions s av rent compliqu es organiser public ne venant pas aux r unions difficult trouver une date commune des entretiens ouverts voire des questionnaires permettent d associer indirectement les acteurs existe quatre risques majeurs qui freinent une large participation la d marche Une possible remise en cause L valuation de l utilit sociale touche au c ur de la structure puisqu elle questionne son sens puis potentiellement l ensemble de ses activit s et de ses pratiques Elle est donc susceptible de remettre en question la structure et s
126. ier d autres acteurs Les participants peuvent ainsi s exprimer librement sans l exigence d une parole collective devant des personnes ext rieures Ce travail permet la structure d tre au clair sur sa perception collective de l utilit sociale avant d changer avec d autres L implication des partenaires dans la r flexion La d marche ne livrera pas en p ture la perception de l utilit par la structure Celle des partenaires sera d abord recueillie puis la structure pr sentera la sienne et l change pourra s engager Cette technique vite de mettre l association en position d tre jug e Phase 2 Qui associer et comment e Adapter le vocabulaire Il est n cessaire d adapter le vocabulaire de l valuation et de l utilit sociale aux participants De mani re g n rale l accompagnateur doit tre en mesure de donner des d finitions et explications pr cises du vocabulaire qu il utilise et de les illustrer d exemples concrets Cela suppose une ma trise des concepts concernant l valuation et le projet ainsi que des acquis sur l utilit sociale a2 L exp rience des autres EEEE EEEEEFEEEFEEFEFEEFEEEFE FEFEFE FEFEFE EFSEFEFEFSEFEFEEEEEESEE Aux salari s de Triselec ex salari s en insertion devenus permanents ou en voie de le devenir il a t demand Vous tes des sp cialistes du tri s lectif nous allons ensemble faire un tri s lectif des motifs des raisons d utilit de
127. ilit sociale l articulation de diff rents champs diff rentes pratiques e Des modes de fonctionnement sp cifiques l conomie sociale 4 Une utilit sociale construire collectivement e Construire une d finition e Une co construction Qu est ce que l utilit sociale Un effet positif sur la soci t Un effet positif sur le collectif et les personnes Un r sultat attendu ou un effet induit Une d finition qui d pend des valeurs et du contexte L utilit sociale a trait un service rendu un b n fice un effet positif pour la soci t dans son ensemble Elle s int resse aux effets d une action sur un territoire aupr s d un groupe de population ou plus globalement de la soci t L utilt sociale r f re donc au collectif mais aussi aux personnes qui constituent ce collectif En r alit les deux sont souvent tr s li s Par exemple Renforcer l autonomie d une personne contribue son mieux tre dans la soci t et donc son insertion sociale une participation plus active la vie citoyenne Utilit sociale soci tale plus value soci tale le choix des mots Le terme d utilit sociale est le plus usit dans les travaux et textes de lois D autres termes auraient pu tre tout aussi appropri s notamment celui d utilit soci tale qui renvoie directement la soci t et constitue bien l objet de l utilit sociale Le terme soci
128. ion quilibr e prenant en compte les enjeux des pouvoirs publics autant que les leurs Nombreuses sont les collectivit s locales ouvertes cette d marche Encore faut il s accorder sur des m thodes et outils ad quats ce qui ouvre la perspective de nouveaux travaux Il en est de m me pour la mesure des co ts vit s comment d terminer les co ts humains sociaux conomiques que telle ou telle activit d utilit sociale a permis d viter Si certaines pistes ont avanc en particulier dans le champ de l insertion par l conomique force est de constater que beaucoup reste faire en la mati re Mais plus largement il faut aujourd hui s interroger sur l articulation entre la vision fran aise de l utilit sociale et l approche europ enne des Services d int r t g n ral SIG Et plut t que d opposer ces deux notions il convient probablement de rechercher comment les avanc es sur l utilit sociale peuvent de fa on assez concr te apporter des l ments de distinction par rapport l offre du march en particulier en ce qui concerne les Services sociaux d int r t g n ral SSIG Quoi qu il en soit la poursuite de la r flexion sur l utilit sociale devra n cessairement se situer en r f rence au d bat europ en sur les SIG faute de quoi elle courrait un risque majeur de disqualification par rapport aux prochaines retomb es au niveau national qu il y ait ou non une Dir
129. ion culturelle mettront en avant des apports diff rents terme cette d marche peut aboutir la co construction de crit res et indicateurs par les partenaires o la reconnaissance de ceux labor s par la structure Associer les partenaires peut cependant susciter quelques r ticences bien compr hensibles Fiche N 1 L valuation 1 02 rep re pourquoi comment P3 ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Leur participation n est en effet pas une chose facile car le travail sur lutilit sociale demande la structure de se mettre un peu nu aupr s d acteurs dont d pend parfois sa survie conomique Il y a donc des conditions cr er pour faciliter un travail partenarial voir Lever les freins la participation p 62 L exp rience des autres A a a a a a a T Les Jardins d Am lie ont men une d marche d valuation associant l ensemble des parties prenantes du jardin et notamment les publics en insertion Ils ont rep r diff rentes conditions qui favorisent la participation du public en insertion aux diff rentes tapes de la d marche 1 tape La formation et l information de la d marche d valuation pour les intervieweurs 2 tape Des personnes volontaires pour mener cette d marche et des interview s volontaires 3 tape Des explications claires au premier jour du chantier une fois collectivement puis individuellement pendant
130. ion de l association la soci t La recherche de crit res et d indicateurs d utilit sociale se centre ensuite sur la confrontation des deux registres les plus sp cifiques le but terme pour le sens et les objectifs op rationnels pour les actions ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Cette m thode permet d int grer dans la r flexion tout ce qui constitue la structure son histoire son environnement ses activit s son organisation interne sa gestion des ressources humaines Elle est adapt e aux participants qui connaissent bien la structure notamment les administrateurs et salari s mais elle reste assez longue mettre en uvre L exp rience des autres E EEEE EEZESE EEFE EEEEEFEEEEEESE FEFEFE EFE EEEF EFEEEEESEEESEEEEE strat giques op rationnels Favoriser l int gration D velopper Permettre aux Groupes de femmes sociale et conomique le lien social personnes de mieux des individus se conna tre aux sur le territoire travers d changes Favoriser Favoriser l acc s Accueil information la citoyennet aux droits et orientation du public L arbre d objectifs d Agate Paysages extrait L association Agate Paysages a r fl chi son utilit sociale partir de l analyse de ses activit s et de ses diff rents niveaux d objectifs X OUTIL N 4 lls ont t pr sent s sous forme d un arbre d objectifs partiellement i L arbre d ob
131. ions l absent isme la fr quence d v nements conviviaux la fr quence d entretiens t l phoniques formels et informels etc lis donnent des indices quantitatifs et qualitatifs pour mesurer un crit re On compte souvent plusieurs indicateurs pour un crit re e Les indicateurs sont des instruments de mesure pour valuer une ressource une opinion un changement une action On distingue notamment les indicateurs de r alisation de r sultats et d impact Les indicateurs choisis tr s en amont de l action permettent de clarifier les buts et les objectifs du projet Ils peuvent indiquer des r sultats attendus de l action Deux types d indicateurs se compl tent les indicateurs quantitatifs et qualitatifs Les donn es qualitatives sont issues d entretiens ou d observations et pourront venir compl ter les donn es quantitatives clairant le crit re Analyser les donn es 04 Les indicateurs quantitatifs peuvent tre de deux types e Les indicateurs l mentaires Il s agit d une information de base partir de laquelle il sera possible de construire des indicateurs compos s ou d riv s Exemple Nombre de participants e Les indicateurs d riv s Il s agit d un indicateur issu d un calcul r alis partir d indicateurs l mentaires Exemple Taux de participation int grant le nombre de participants mais aussi la dur e moyenne de pr sence Ces exemples sont issus de diff rente
132. ios e Si l objectif principal est de comprendre comment est produite l utilit sociale l accent sera mis sur l analyse des liens de causalit entre ce que fait la structure et l utilit sociale produite e Si l objectif est de cr er une dynamique autour de l utilit sociale de la structure une large participation des parties prenantes la d marche sera privil gi e Il est bien s r possible de r pondre plusieurs objectifs au cours de la d marche mais _il est important de bien les rep rer pour que la m thode d valuation retenue soit la mieux adapt e Fiche N 0 Les tapes cl s m thode de l valuation L exp rience des autreS sssccccccceccooooocscececececcoosooscececececcosoossseeeo La MJC Plaine du Ronceray diffuse des spectacles culturels et anime des ateliers autour de cinq th matiques musique danse forme cr ation et expression Son principal partenaire est la ville du Mans l association a initi une d marche d valuation de l utilit sociale en amont du renouvellement de la convention avec la ville afin de proposer de nouveaux indicateurs d valuation de cette convention lt Le Groupe Alterna D veloppement GAD conna t depuis sa naissance une forte croissance de ses activit s et souhaitait ne pas perdre de vue ses propres objectifs Une d marche d valuation de l utilit sociale a permis de r identifier le projet politique M me si tr s peu de
133. ipent la d marche elles s int grent beaucoup plus rapidement dans la structure AL L exp rience des autres RE e E E T E E ENE a La R gie de quartier Villeneuve Village olympique a labor un tableau de bord de suivi du dispositif Correspondantes de coursives Dans le quartier les correspondantes en insertion ont la fois une mission de propret et de m diation Le tableau de bord propose des crit res et indicateurs de suivi sur quatre champs 1 propret nettoyage et entretien 2 m diation proximit et veille sociale et technique 3 responsabilisation et citoyennet des habitants 4 insertion emploi W OUTIL N 3 B n fices Le dispositif vise galement responsabi D Exemple de grille liser les habitants de crit res et d indicateurs e Des effets sur l organisation L valuation de l utilit sociale peut galement avoir des effets en termes d organisation La r flexion sur les finalit s am ne s interroger sur le fonctionnement Par exemple Comment le fonctionnement m me de la structure contribue t il l insertion sociale des publics en difficult Il serait par exemple logique de leur faire une place au conseil d administration Par exemple L objectif d galit entre les hommes et les femmes devrait se traduire dans la politique de ressources humaines de la structure Salaires acc s effectif aux postes responsabilit Par exemple Dans une logique d aut
134. is prendre le temps de l expliquer en mettant en avant son int r t pour les autres parties exp rience des autres 00000000000000000000000000000000000000000000000000000000000 00e Les changes sur l utilit sociale de la R gie de quartier de Villeneuve Village olympique de Grenoble avec la ville de Grenoble a permis l association de mettre en avant sa plus value concernant la m diation mal per ue par ce partenaire et de montrer la compl mentarit des objectifs de l association propret m diation responsabilisation des citoyens insertion et de ses actions ces deux dimensions ne pouvant tre disjointes l occasion de la d marche la R gie a labor un tableau de synth se des r sultats de l valuation Cet outil est pr sent lors des r unions avec les partenaires portant sur le projet valu B n fices Une meilleure perception par le partenaire 7 OUTIL N 3 institutionnel des actions de m diation et de la coh rence Y Exemple de grille des missions de crit res et d indicateurs Les apports de l valuation de l utilit sociale pour les structures Renforcement de la cr dibilit A Conception partag e de l utilit sociale Outils d change avec les partenaires avec les partenaires Concepts et outils pour des actions i Affirmation du m positionnement Communication externe pertinente Rapports d activit Op rationnel H m m e e e e a eme SUR m D Politique Am
135. ive Il s est profond ment d concentr a transf r nombre de ses comp tences aux collectivit s territoriales et confie de plus en plus de missions d int r t g n ral des acteurs priv s mieux m me d agjir ou de r agir Cette volution a conduit non pas une diminution mais une profonde volution des financements publics directs ou indirects qui doit tenir compte de la croissance incessante du nombre d associations 60 70 000 cr ations chaque ann e En parall le le r le des associations a lui aussi profond ment volu Les associations sont de plus en plus amen es engager des actions indispensables la coh sion sociale l o tant les pouvoirs publics que le march ne peuvent pas ne savent pas ou ne veulent pas ou plus intervenir Elles sont ainsi de plus en plus conduites e d velopper des activit s conomiques mais aussi d autres actions sociales en dehors de leur champ d intervention traditionnelle e se professionnaliser pour r pondre tant des besoins nouveaux exprim s par la population qu aux normes mises en place par les pouvoirs publics notamment pour prot ger les publics les plus fragiles jeunes personnes g es malades handicap s en situation d exclusion e recourir des emplois de plus en plus qualifi s Les cons quences de cette volution du r le des uns et des autres ont conduit rendre de plus en plus perm ables les fronti
136. iversification du partenariat Des volutions de l environnement La fin d une politique publique la suppression d aides le d veloppement d une nouvelle pr occupation dans le champ social et politique sont autant de faits qui font voluer un environnement et poussent les structures s interroger sur elles m mes De mani re g n rale il est inutile de se lancer dans une d marche d valuation de l utilit sociale dans une p riode de crise car elle n aboutirait pas Elle peut en revanche tre pertinente apr s pour permettre une reconstruction sur des bases solides 1 Le terme de commanditaire est impropre quand on parle d auto valuation puisqu il n y a pas de commande un prestataire Il s agit de celui ou ceux qui demandent ou prennent l initiative de l valuation ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Qui associer et comment ASSOCIER LES PARTIES PRENANTES ET CONSTRUIRE UNE D MARCHE COLLECTIVE Diff rentes parties concern es par l utilit sociale de la structure peuvent tre associ es la d marche qu elles soient ou non l origine de l valuation Le choix des participants est essentiel car il va influer sur la conduite et les r sultats de l valuation Associer les parties prenantes la d marche Dans l id al l valuation de l utilit sociale supposerait d associer la d marche toutes les parties concern es notamment les
137. jectifs reproduit ci dessus titre d exemple Analyser les activit s objectifs et finalit s de la structure Cette approche consiste mettre en relation activit s objectifs et finalit s d une action ou de la structure et organiser les diff rents niveaux de lecture de l activit Elle peut donner lieu la construction d un arbre d objectifs qui permet de visualiser la logique du projet Ce travail permet d aborder la coh rence entre objectifs activit s et finalit s et leur lien avec l utilit sociale Il propose une entr e op rationnelle notamment pour l quipe salari e Centr sur l action ou le projet le risque est d valuer le projet et non l utilit sociale Le regard utilit sociale doit rester permanent II ne facilite pas la prise en consid ration des modes de fonctionnement interne ou externe puisqu ils n apparaissent pas n cessairement dans le descriptif des activit s W OUTIL N 13 L outil projet d inspiration syst mique Questionner l utilit sociale mergente Ce point concerne toutes les d marches abord es pr c demment Les participants la construction de l utilit sociale n en percevront pas forc ment toutes les dimensions a fortiori si toutes les parties prenantes ne sont pas associ es L accompagnateur doit alors jouer un r le d aiguillon interrogeant les participants sur des entr es qu ils ne voient pas ou dont ils n osent pas parler Il peut gal
138. jectifs sp cifiques de la structure appel s parfois ses buts L indicateur de r sultat mesure ce niveau Par exemple Pour une formation les r sultats sont l acqauisition de nouvelles comp tences par les stagiaires ou bien encore l acquisition d une capacit au travail d quipe L indicateur de r sultat peut provenir des valuations ou tests de capacit pass s par les stagiaires e Les impacts ce sont les cons quences imputables l action mais sur lesquels des facteurs ext rieurs peuvent intervenir La structure contribue des changements mais elle n en est pas forc ment seule responsable L indicateur d impact mesure la contribution de l action ce changement Les impacts peuvent tre souhait s par la structure et correspondent alors ses finalit s Mais ils peuvent galement tre un effet induit c est dire non souhait initialement Ce niveau de r sultat se situe en aval de l action valu e Par exemple Un organisme de formation va contribuer au retour l emploi des personnes form es mais le retour l emploi ne peut pas lui tre enti rement imput car d autres facteurs peuvent intervenir installation d une entreprise qui recrute sur le territoire Phase 5 laborer les crit res et indicateurs Par exemple Sur un crit re concernant l implication citoyenne des femmes appliqu au fonctionnement de l association les indicateurs pourraient t
139. l conomie sociale du Languedoc Roussillon Cres LR le Plan local pour l insertion et l emploi Plie C venol et la Maison des initiatives MDI de N mes ont d cid de s associer sur la conception d un outil op rationnel d identification et de mesure de l utilit sociale g n r e par les structures de l conomie sociale et solidaire Comit de pilotage de l op ration Aller vers des projets n goci s Les associations sont parfois dans une position d op rateurs pour le compte de donneurs d ordre que sont les pouvoirs publics Ce qui se traduit par exemple par des crit res d valuation d finis unilat ralement par les partenaires publics L valuation de l utilit sociale peut contribuer modifier cette relation En tant clair sur leurs objectifs et ce qu elles apportent la soci t les associations peuvent tre plus facilement force de proposition Elles se positionnent alors en partenaires et non plus en op rateurs ETAPE 1 COMPRENDRE AVANT D AGIR La structure et ses partenaires peuvent alors entrer dans une relation d changes plus quilibr e Les deux parties peuvent construire un projet n goci pour lequel chacun a expos et d fendu ses objectifs propres La construction de nouvelles relations entre les structures et leurs partenaires suppose que les diff rentes parties soient dispos es entrer dans une relation plus partenariale La structure moteur de la d marche devra parfo
140. le D o l exigence d valuation des actions sous l angle de leur utilit sociale Mais ce guide le montre fort bien voir p 44 d autres raisons peuvent justifier une d marche d valuation Il ne s agit pas seulement de pouvoir justifier son action aupr s de partenaires et de financeurs divers Cela peut dans certains cas participer de la r activation du projet de la structure concern e et de son sens pour les acteurs internes Et de bien d autres motifs Commencer par r fl chir aux enjeux Rien ne serait moins socialement utile que de c der des effets de mode pour l instant le risque est faible en se pr cipitant sur des valuations ou des mesures de l utilit sociale sur la base d un kit m thodologique Ce serait aller l chec Il faut d abord clarifier nombre de questions en amont pourquoi et quoi valuer Avec qui Quels aspects de l utilit sociale C est alors et alors seulement que se posera la question du comment des m thodes des processus des tapes de l organisation concr te de l valuation des r sultats vis s des usages ult rieurs etc Ce guide contient une mine d apports sur ce vaste ensemble de questions pr alables la mise en uvre voquons les en quelques mots Pourquoi valuer et quoi Il n y a aucune obligation pour une association ou une structure de l ESS d tre obs d e par l valuation de son utilit s
141. le contribue la construction d un mod le de d veloppement solidaire Notre soci t repose sur un fonctionnement dominante conomique et de surcro t sur une vision conomique mod le unique comme le traduisent des indicateurs tels que le taux de croissance L utilit sociale se r f re un autre syst me de valeurs o sont mises en avant des notions comme le lien social la citoyennet L valuation propose les bases d un autre mod le de soci t travers l laboration de crit res et indicateurs r f rant des valeurs sociales et solidaires Ce cadre de r flexion rencontre l int r t d une partie grandissante de l opinion publique sensibilis e aux questions sociales et environnementales Les acteurs de l conomie sociale et solidaire ESS ne se retrouvent pas n cessairement dans les crit res d valuation classiques comme le chiffre d affaires la valeur ajout e ou m me le nombre d emplois cr s car ils ne traduisent pas o mal leur apport la soci t Avec l valuation de l utilit sociale ces acteurs peuvent affirmer et justifier leur plus value aupr s des partenaires que sont l tat et les collectivit s locales ainsi qu en direction des usagers des b n ficiaires et plus largement des citoyens Ces r sultats objectivent les apports de ce secteur et permettent de le positionner au regard de l conomie classique La notion d utilit sociale est de plus en plus utilis e De
142. les deux ou trois entretiens d valuation 4 tape L valuation elle m me e La dur e entre une demi heure et une heure et demie selon l expression de chacun e Les modalit s valuation individuelle en bin me salari et intervieweur changement d intervieweur pour la deuxi me valuation e Les conditions de l entretien facilit par la bonne volont de chacun et par louverture de l intervieweur au cours du deuxi me entretien en cas d volution c est dire de changement d chelle d un entretien sur l autre 5 tape L valuation de ce travail qui a conduit une am lioration de l outil sur le vocabulaire une proposition de questions directes et une r duction de l chelle de graduation 6 tape Evaluation de l outil final et adaptation avec un groupe de 12 personnes nouveau chantier La plus value de ce travail s appr cie trois niveaux e Pour l association s auto valuer et am liorer sa capacit accompagner e Pour les intervieweurs et les interview s constater leurs forces faiblesses et leur capacit voluer apprendre L interview est galement un temps privil gi de relation e Pour les institutions et partenaires mieux r aliser la valeur du travail effectu au jardin Ce qui permet aussi d obtenir des subventions pour assurer la qualit d accueil et d accompagnement Le multipartenariat a apport une base de r flexion et de prise
143. leur vision des apports soci taux et humains de telles actions Bien entendu une valuation peut la fois retenir des objectifs internes et externes Encore faut il alors s entendre sur leur tendue et leur ambition Quels acteurs de l valuation La r ponse cette question d pend des choix pr c dents pourquoi et quoi valuer Une valuation dont l objectif est principalement interne n aura pas n cessairement les m mes protagonistes qu une valuation effectu e en r ponse des attentes de partenaires externes Mais dans tous les cas sa r ussite et son appropriation passent par une approche participative Pourquoi Principalement parce que dans toute valuation on trouve des jugements de valeur On ne peut donc avancer que si l on construit des valeurs partag es des conventions sur la nature de ces b n fices collectifs qui composeront la notion d utilit sociale d finie conjointement C est plus facile dire qu faire mais c est une condition d efficacit de pertinence et d utilit de l valuation Et bien entendu la possibilit de se faire accompagner dans ce processus constitue un atout ne pas n gliger Quelle utilit sociale On dispose ce stade d une vague id e de l utilit sociale comme contribution l int r t g n ral ou production de b n fices collectifs Le c ur de l valuation va consister d battre de son contenu concret dans chaque cas
144. lioration des pratiques l Outils de pilotage de l utilit sociale Dynamisation de l quipe l Renforcement des objectifs et du projet l Renforcement de l organisation interne Y Appropriation L analyse de diff rentes exp riences d accompagnement a permis de rep rer les apports d une valuation de utilit sociale les plus souvent cit s Ce sch ma les positionne selon deux logiques interne externe et op rationnel politique Pourquoi se lancer dans une d marche d valuation de l utilit sociale RETENIR L valuation de l utilit sociale Elle est un outil au service de la structure et de ses partenaires et peut r pondre des objectifs tr s diff rents Parce qu elle interroge les valeurs les finalit s et les objectifs elle peut constituer un outil pour am liorer le projet et le fonctionnement de la structure Elle est une d marche d affirmation de son identit et de sa singularit b Men e dans une logique de co construction elle am liore la relation entre les structures et leurs partenaires Elle participe la construction d un projet n goci Conduire une d marche d valuation de l utilit sociale Phase Phase 6 Phase 7 Phase 8 Pourquoi valuer D terminer les objectifs de l valuation Qui associer et comment Associer les parties prenantes et construire une d marche collective Poser le cadre de valuation C
145. litiques ou bien un outil visant cr er le dialogue et porter collectivement un jugement En janvier 1990 le d cret Rocard pose le cadre de l valuation des politiques publiques et des dispositifs d valuation de politiques publiques se mettent en place dans les ann es qui suivent comme pour le RMI ou la politique de la ville Ce d cret a t revu en 1998 pr cise que valuation d une politique publique a pour objet d appr cier son efficacit en comparant ses r sultats aux objectifs assign s et aux moyens mis en uvre l valuation s institutionnalise progressivement m me si elle ne fait pas partie de la culture de l administration et d ailleurs elle prend une place significative avec la LOLF Loi organique relative aux lois de finances Les programmes europ ens y contribuent fortement rendant obligatoire l valuation de tous les programmes financ s Fortement marqu e par les d marches d valuation des politiques publiques l valuation se diversifie aujourd hui pour devenir un outil au service de diff rents objectifs et acteurs Certaines collectivit s locales notamment les r gions s en sont empar es Les m thodes voluent galement en lien avec la diversification des objectifs c t de l valuation externe o un ma tre d ouvrage passe commande des valuateurs externes par exemple des d marches d auto valuation commencent merger Certaines d marches cherchent gale
146. ller Dans le cadre de programmes exp rimentaux sociaux ou d une valuation de l utilit sociale de ces dits programmes l valuation peut tendre un suivi orient vers le conseil et accompagnement le suivi valuation Dans ce cas la d marche valuative apporte un regard ext rieur une pause r flexive pour v rifier la coh rence et la pertinence des objectifs initiaux et comprendre les processus engag s dans la mise en uvre des actions 4 CHEMERY Jean Baptiste Plus value environnementale du programme Nouveaux services emplois jeunes Contrechamp avril 2002 REP RES ET M THODES Diff rentes d marches d valuation de l valuation externe l auto valuation L valuation externe L valuation interne L auto valuation Il existe plusieurs types d valuation utilisant diff rentes m thodes Entre les valuations externe et interne et l auto valuation de nombreuses variantes sont possibles L valuation externe consiste faire appel un prestataire Le commanditaire labore un cahier des charges et missionne un valuateur Sur la base d une m thodologie qui peut tre d finie avec le commanditaire il collectera l information l analysera et rendra un rapport d valuation comprenant des pr conisations Un comit d valuation peut tre mis en place suivre l valuation et participer au jugement Dans une approche participative ce comit peut tre pluraliste c e
147. luation l issue de ce temps d change les conclusions de l valuation pourront tre pos es Elles proposeront des points de vue argument s en r ponse aux questions valuatives des enseignements et des pr conisations L animation de cette phase est particuli rement importante Il peut tre fait appel diff rentes techniques et outils pour faciliter ce travail comme l abaque de R gnier la m thode des cartons ou le vote color Celui ci fait appara tre de mani re visuelle l ensemble des avis les points de consensus et de divergence OUTIL N 16 OUTIL N 5 N 5 Extrait de grille Exemple d utilisation de crit res et d indicateurs de l Abaque de R gnier v 4 Formaliser les r sultats de l valuation Phase Accepter les divergences de points de vue au cours des d bats La formalisation des r sultats d pendra en partie des objectifs de l valuation Il en sera videmment de m me pour leur utilisation La premi re partie Pourquoi se lancer dans une d marche d valuation de l utilit sociale pr sente diff rentes utilisations et retomb es possibles de ce travail Quelle que soit la forme retenue pour la pr sentation des r sultats il est int ressant de proposer la fois des l ments donnant une vue d ensemble analyse globale donn es chiffr es et des l ments de d tail permettant de percevoir la r alit de la situation analys e t moignages photos Le rappo
148. lyse des r sultats Les entretiens de groupe L observation ARS L exp rience des autres EEEE EEEEEEEEEEEEESEFFEF EFEFEF E EFEFEF EFE EFEFEF EFEESESEEEEEE Le Jardin moderne collectif d associations culturelles et lieu de cr ation musicale accueille des groupes de diff rents styles de musique pour des r p titions dans plusieurs salles Lors des pauses ou bien en d but ou fin de r p tition les groupes se croisent au bar La d marche d valuation de l utilit sociale engag e pr voit que deux tudiantes en sociologie observent dans la salle les relations effectives entre les diff rents groupes L objectif sera de voir quelles sont les interactions entre des groupes pratiquant des styles de musique diff rents Ce travail viendra enrichir une analyse de la mixit sociale au sein du Jardin moderne L entretien de groupe r unit diff rentes personnes en visant g n ralement une certaine homog n it Les changes de points de vue entre les participants consolident information recueillie Ces entretiens ont galement l avantage de fournir de nombreuses informations qualitatives sur un temps relativement court Les groupes sont constitu s de 6 8 personnes pour permettre l expression de chacun Il peut tre int ressant de former plusieurs groupes avec un m me type de composition sur une m me question pour valider les informations recueillies Le guide d entretien sera court avec des questions ouvertes pour permettre
149. lyser les r sultats l analyse des r sultats s effectue travers une grille con ue lors de l laboration de l outil dont l objectif est in fine d apporter des l ments de r ponse aux questions de l valuation Ces outils de collecte sont principalement de cinq types Les questionnaires peuvent comprendre des questions ouvertes ou ferm es Les questions ouvertes apportent plus de mati re et permettent de recueillir des faits et des points de vue mais elles sont plus difficiles traiter si le nombre de questionnaires est important Le renseignement des questionnaires peut tre r alis de diff rentes mani res les personnes peuvent tre seules pour r pondre aux questions ou b n ficier de l appui d un enqu teur Celui ci peut tre pr sent seulement pour expliquer certains points ou bien remplir le questionnaire pour la personne De mani re g n rale on recherchera la simplicit dans la r daction des questionnaires peu de questions des mots simples et ayant le m me sens pour tous Les coordonn es des personnes ne sont pas syst matiquement n cessaires Si cela rev t un int r t elles seront demand es en fin de questionnaire Le questionnaire peut aussi utiliser des outils tels que les chelles de notation o il est demand la personne un positionnement sur une chelle ou des l ments descripteurs que la personne valide ou non Ces outils sont pr sent s dans la phase 7 consacr e l analyse des d
150. ment associer les citoyens au processus d valuation M me si l valuation reste encore souvent confondue avec le contr le elle se d veloppe et se d mocratise 1 valuer les politiques publiques m thodes d ontologie organisations sous la direction de M Deleau Commissariat g n ral du Plan Paris La Documentation fran aise 1986 2 VIVERET Patrick L valuation des politiques publiques et des actions publiques proposition en vue de l valuation du RMI La Documentation fran aise 1989 3 D cret du 18 novembre 1998 cr ant le Conseil national de l valuation L valuation pourquoi comment valuer pour quoi faire Dans le cadre des politiques publiques initiant des programmes d action valuer est un verbe autant employ que r aliser ou agir Aujourd hui aucun op rateur ne peut pr tendre une dotation publique s il ne se soumet pas l valuation Mais qu est ce qu valuer Le contr le audit le suivi l valuation sont ils du m me registre Ces actes rel vent ils d une m me intention Pour mieux dessiner les contours de chacun on s appuiera sur un sch ma issu des travaux de J B Chemery Porter un jugement A VALUATION CONTR LE Contr ler Champ du contenu avec r f rence une norme Comprendre Champ de l innovation avec r f rences aux objectifs SUIVI VALUATION A l l l Mre S l l l Y Consei
151. ment et un troisi me l insertion Or l utilit sociale d pend souvent de l articulation entre plusieurs champs plusieurs activit s La r flexion sur l utilit sociale tendra donc parfois faire appara tre ces liens entre diff rentes actions ou diff rentes approches Ainsi c est la convergence de plusieurs domaines de plusieurs approches qui produit l utilit sociale Que cette convergence vienne manquer c est l utilit sociale qui en p tira Par exemple L insertion sociale fonctionnera d autant mieux si une association dont l objet est le retour l emploi m ne conjointement des actions dans les domaines du logement de la culture Une des difficult s rencontr es par les associations est de devoir faire appel diff rents financeurs pour mener des actions dans diff rents champs Or ceux ci n ont pas toujours une vision d ensemble des actions de la structure Aussi ne per oivent ils pas toujours la d marche globale et ignorent que la r ussite d une action d pend des autres actions mises en uvre Les structures doivent veiller faire preuve de p dagogie dans leur communication pour d montrer que leur utilit sociale tient l articulation de l ensemble des actions Des modes de fonctionnement sp cifiques l conomie sociale D finition Mode de fonctionnement pratiques en vigueur au sein d une structure concernant les relations entre les personnes salari s
152. mieux tre et le d veloppement de chacun Cette dimension comprend des actions et des pratiques qui favorisent le mieux tre et le d veloppement des personnes Elle cible terme les individus mais peut se traduire par des actions collectives Elle pourra rejoindre une dimension sociale si elle est men e aupr s de personnes en difficult L panouissement touche des domaines tr s diff rents notamment e Cadre et conditions de vie Le cadre et les conditions de vie contribuent l panouissement de chacun et chacune Il s applique la vie domestique au travail aux espaces publics Une qualit de vie un syst me de transport collectif performant un rythme de travail adapt limiteront par exemple le stress Par exemple Garder des lieux propres et agr ables vivre limiter les nuisances sonores mettre en place un syst me de transport la demande r duisant les temps de trajet e Capacit s et comp tences L panouissement peut passer par le renforcement des capacit s l acquisition de comp tences la d couverte de nouveaux domaines tant que cela est souhait par la personne Cela suppose galement qu il y ait une appropriation des apprentissages Est vis plus globalement ce qui permet de renforcer la capacit de la personne tre actrice de sa vie Par exemple Universit populaire ducation populaire e Expression L existence de lieux d expression contribue galement l panouis
153. miques par les acteurs de l Economie Sociale et Solidaire Philippe Chesneau en pr sentant quelques enseignements des travaux men s dans cette r gion insiste sur l importance d une d marche partag e entre collectivit s et acteurs de l ESS d laboration des crit res d utilit sociale Construire un regard partag sur les richesses soci tales Au niveau des repr sentations lorsque l on parle de richesse cela voque pour la majorit la richesse conomique Comme le progr s et le d veloppement la richesse est connot e Et renvoie une certaine conception du monde une vision selon laquelle plus la richesse conomique d un pays augmente plus sa population est heureuse Nous avons oubli que la richesse peut se d cliner avec d autres adjectifs que conomique Nous l ignorons tel point qu il n est plus n cessaire de le rajouter pour qu il soit vident sous jacent pour tous Mais la richesse peut s accompagner de qualificatifs tels que sociale environnementale culturelle Le rapport Viveret sur la richesse montre que les indicateurs de la richesse renseignent sur une certaine conception du d veloppement et sur des choix de soci t Il n existe pas une forme de richesse Les enjeux soci taux de l valuation de l utilit sociale Comme l ont montr les travaux de Dominique M da et de Patrick Viveret les indicateurs usuels aboutissent des impasses sur
154. mpact e Nombre et nature des personnes en difficult ayant trouv un emploi Caract risation des emplois nature contrat dur e et pertinence au regard du parcours de la personne e Nombre et nature des personnes en difficult acc dant de nouveaux services et droits e Acc s des publics exclus des postes responsabilit e Fonctionnement interne donnant la parole aux publics en difficult nombre ou pourcentage de participants aux r unions internes e Utilisation de produits r alis s par des personnes en difficult pourcentage e Niveau de prise d initiative dans la mise en uvre d un projet e Degr de prise de confiance en soi e Diversification et stabilit des sources de revenus contractualisation avec diff rents partenaires contractualisation pluriannuelle CDI Pour des personnes indicateurs de type chelle de notation e Niveau de prise d initiatives en dehors du projet e Capacit d finir ses propres projets e Capacit d analyse critique personnelle nouvelle cl de lecture de la r alit e Mise en uvre de nouveaux projets choisis par la personne Pour des personnes e Inclusion dans des r seaux d acteurs e Diversification du r seau partenarial o relationnel taux d volution e Nombre et nature des personnes en difficult pouvant exercer pleinement leur capacit Capabilit autonomie Pour des groupes e Capacit trouver ses propre
155. mples concrets de mise en uvre La d marche repose sur une auto valuation assist e Un accompagnateur vient en appui la mise en uvre de la d marche d valuation mais la d finition de l utilit sociale le choix des crit res et indicateurs l analyse et la construction d un point de vue partag demeurent du ressort de la structure Une d marche qui se veut participative L approche propos e vise favoriser une large participation la d marche d valuation de l utilit sociale M me si cette participation semble parfois difficile mettre en uvre il est important d y aspirer Les tapes d une d marche d valuation sont it ratives Ce guide est organis autour de grandes tapes Dans la pratique la d marche n est pas lin aire Les tapes se croisent se recoupent et se compl tent L approche s inscrit dans une logique de suivi valuation L valuation peut concerner un projet sp cifique et tre ponctuelle Cependant de nombreuses associations souhaitent b n ficier d outils pour valuer leur action sur la dur e et dans sa globalit Aussi l approche pr sent e ici entre dans une logique de suivi valuation qui permet l association de disposer d outils de suivi de ses activit s s inscrivant dans une d marche p renne Quelques points de vigilance e Le r le cl de l accompagnateur La d marche propos e est participative et favorise l implication et l autonomie des diff r
156. n guide m thodologique offrant un appui la mise en uvre d une d marche d auto valuation assist e de l utilit sociale 12 Document disponible sur www avise org rubrique biblioth que Partis pris m thodologiques Partis pris sur l valuation de l utilit sociale 000000000000 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 Comme dans toute d marche exp rimentale ce guide repose sur un certain nombre de partis pris que ce soit sur le fond utilit sociale valuation ou sur l approche m thodologique Il n existe pas une d finition a priori de l utilit sociale Bien que certains textes l gislatifs ou r glementaires abordent cette notion emplois jeunes SCIC et que le terme soit de plus en plus employ par les pouvoirs publics et les associations il n existe pas de d finition largement reconnue de l utilit sociale L utilit sociale est une construction des acteurs associatifs et de leurs partenaires la diff rence de l int r t g n ral d fini par l tat l utilit sociale est une notion construite par les membres de la soci t civile qui se l approprient et se reconnaissent dans la d finition qu ils contribuent faire merger Cette d finition aura d autant plus de poids qu un nombre important d acteurs partenaires usagers mais aussi bien s r les structures m me
157. nde associatif Jacques Henrard Pr sident de la CPCA Conf rence Permanente des Coordinations Associatives La CPCA regroupe l essentiel des grandes coordinations associatives Au del de la n cessaire reconnaissance de l apport conomique et social des associations son Pr sident Jacques Henrard analyse ici la place que tient l valuation de l utilit sociale dans les relations entre pouvoirs publics et associations au croisement du projet associatif et des politiques publiques Pour une valuation de l utilit sociale par et pour les associations L valuation et l utilit sociale sont des sujets importants pour le monde associatif depuis de nombreuses ann es Ces deux notions situent l activit associative au c ur de la soci t et des politiques publiques qui tentent d en am liorer le fonctionnement Il faut cependant tre prudent dans leur association si l on veut en tirer le meilleur parti D s la pr paration des Assises nationales de la vie associative en 1999 l valuation tablie dans un cadre concert entre les deux partenaires pouvoirs publics et associations est pr conis e dans le conventionnement Cette dimension contractuelle du financement associatif apparaissait galement li e l utilit sociale au milieu des ann es 1980 comme en t moigne l avis du Conseil national de la vie associative de 1986 les contrats pluriannuels d utilit sociale Les textes r glementaires qui
158. nforcement du lien social r pond un besoin des personnes du quartier e Coh rence interne Est ce que la mise en place d ateliers d criture facilite bien les changes entre les personnes d ge et de culture diff rents e Efficience Est ce que le chantier vert permet d ins rer les jeunes au meilleur co t Fiche N a Les tapes cl s m thode de l valuation Plus la question sera pr cise plus l valuation sera cadr e et sa mise en uvre facilit e En effet elle orientera le choix des techniques et les outils d valuation Certaines questions renvoient une mesure un indicateur au sens large d autres appellent des r ponses plus qualitatives par exemple toutes les questions relatives la coh rence interne d une structure au regard de son utilit sociale la pertinence de l action men e Phase 4 Construire l utilit sociale Cette question sera probablement plus pr cise si elle est r dig e une fois la d finition de l utilit sociale tablie En tout tat de cause elle doit tre clarifi e avant la construction des indicateurs puisqu ils devront y r pondre Une seule question est pr f rable pour un premier travail d valuation Cependant lorsqu elles sont tr s pr cises plusieurs questions peuvent tre trait es conjointement La question valuative reste parfois tacite car la pr occupation sur l utilit sociale demeure g n rale savoir comment et dan
159. ngements observ s rel ve o pas de l action L indispensable analyse des impacts peut tre confort e si besoin est par l analyse des r alisations et des r sultats les indicateurs tant plus facilement accessibles Disposer d indicateurs de r alisation de r sultat et d impact permet aussi de reconstruire l articulation logique entre ces diff rents niveaux et de faire appara tre les liens suppos s de cause effet entre chaque niveau Comment utiliser le r f rentiel Le r f rentiel vient questionner les activit s et le fonctionnement de la structure Les activit s et le mode de fonctionnement viennent renseigner le r f rentiel Le r f rentiel peut tre utilis de deux mani res Soit le r f rentiel est appliqu chaque activit celle ci est pass e au crible des diff rents crit res et indicateurs pour v rifier si elle r pond bien l utilit sociale de la structure I en va de m me pour le mode de fonctionnement Ensuite une synth se des valuations de chaque activit est r alis e Dans cette approche il est n cessaire de veiller ce que le passage de l valuation par activit l valuation globale ne se limite pas une juxtaposition d valuations des actions de la structure On peut l inverse partir de l activit et y chercher ce qui r pond aux crit res d utilit sociale retenus L utilit sociale est valu e partir d une analyse transversale
160. nombreuse il peut tre int ressant de l associer en totalit la d marche Ce choix d pendra aussi du mode de management interne la structure La mobilisation des administrateurs garantit le lien entre l valuation de l utilit sociale et le niveau politique Cette configuration assure une continuit entre la d finition de la m thode et la collecte d informations Elle demande en revanche plus de temps temps cumul s des salari s Un dispositif pluraliste l instance d valuation L valuation des politiques publiques a d velopp un dispositif pluraliste dont pourrait s inspirer l valuation de l utilit sociale l instance d valuation Cette instance regroupe les parties prenantes de l action valu e le ma tre d ouvrage les op rateurs les partenaires et les destinataires de la politique C est un lieu de confrontation des diff rents points de vue sur l action valu e Elle pr cise les objectifs de l valuation valide le cadrage de la d marche analyse et change sur la base des travaux r alis s par le prestataire et met un jugement sur l action e Un comit de pilotage avec toutes les parties prenantes Des repr sentants des diff rentes parties prenantes peuvent former l quipe d valuation salari s administrateurs partenaires usagers Cette approche pose les bases d une valuation v ritablement pluraliste La d marche est alors appropri e par tous Les aspects plus
161. ns se trouvent donc dans le champ d application des r gles du march int rieur libre prestation de services et libert d tablissement Cette question rev t une grande actualit aujourd hui alors que pour achever le march int rieur une proposition de directive sur les services dans le march int rieur SMI pr par e par la Commission pour conforter la Strat gie de Lisbonne est en d bat devant le Parlement europ en et le Conseil On sait les pres discussions auxquelles elle a donn lieu dans opinion publique et au sein du Parlement europ en qui est arriv un compromis plus acceptable que le texte initial texte que la Commission comme le Conseil ont peu pr s repris une r serve pr s capitale pour lavenir des associations En effet si en premi re lecture le Parlement avait une d finition ouverte des SSIG en dressant la liste des services sociaux pouvant tre exclus en la pr c dant de tels que le Conseil a tabli une liste limitative de quatre services sp cifiques qui ne peut recouvrir la totalit de la r alit des services sociaux mis en uvre par les associations Un amendement sera r introduit en deuxi me lecture au Parlement pour revenir la formulation initiale du Parlement sans que l on puisse savoir ce jour s il aura une chance d tre retenu De m me la suite de son Livre blanc sur les services d int r t g n ral la Commission a soumis consultation
162. nt ress e l apport social des associations le fonctionnement d mocratique et l existence d agr ments 1 GADREY Jean L utilit sociale des organisations de l conomie sociale et solidaire rapport de synth se pour la DIIESES et la MIRE septembre 2003 2 Affaire dite de la clinique Saint Luc Un objet croissant de recherche d exp rimentation et de d bat 200000000000 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 Les instructions fiscales de 1998 et 1999 reprenant la jurisprudence du Conseil d tat ont inscrit l utilit sociale dans les crit res d exon ration fiscale pour les associations d veloppant des activit s conomiques et ce m me si elles interviennent dans un champ concurrentiel une association dont la gestion est d sint ress e et qui exerce une activit conomique dans des conditions diff rentes du secteur priv lucratif peut tre exon r e au nom de son utilit sociale Quatre crit res dits 4 P produit prix public et publicit sont alors examin s dont deux sont essentiels le produit l activit r pond un besoin peu ou mal pris en consid ration par le march et le prix l activit est r alis e au profit de personnes justifiant l octroi d avantages particuliers au vu de leur situation conomique et sociale Depuis la fin des ann es 1990
163. nt am liorer nos actions mieux nous outiller cet effet professionnaliser les acteurs sous l angle de leurs contributions des missions clarifi es mieux utiliser les ressources etc C est ici que se pose la question du quoi il nest pas quivalent d valuer l utilit sociale notion pr ciser la qualit des services rendus aux personnes le projet associatif dans son ensemble l organisation et la vie internes de la structure etc La deuxi me dimension des justifications possibles d une d marche d valuation de l utilit sociale trouve sa source dans les relations externes de la structure avec des parties prenantes diverses financeurs lus et administrations etc Ces acteurs ont parfois une vision tr s partielle de la production sociale des associations Si par exemple ils ont tendance penser que l utilit sociale d une structure d insertion s value par un taux de retour l emploi des personnes accueillies ils risquent fort de passer c t de bien d autres b n fices collectifs l am lioration du rapport au travail des conditions d existence de la sant et de l image de soi etc Et ils risquent de juger n gativement les structures qui font le choix d accueillir non pas les ch meurs les moins loign s du travail et de l emploi mais au contraire les personnes les plus cass es par des ann es de gal re Une valuation bien conduite peut enrichir
164. nt des pratiques solidaires Le risque est grand de se noyer dans toutes ces dimensions Pour y parer trois approches sont possibles e retenir les dimensions les plus pr sentes Identifier parmi toutes ces dimensions de l utilit sociale celles auxquelles la structure contribue de mani re significative Il s agit de ne retenir aux fins de l valuation que les dimensions les plus pr sentes e ou les plus sp cifiques Concentrer son attention sur les dimensions qui apparaissent comme les plus repr sentatives de l identit de la structure Cette approche permet de mettre en avant sa singularit Pourquoi se lancer dans une d marche d valuation de l utilit sociale p e _ ou les dimensions les mieux partag es Retenir les dimensions auxauelles les partenaires de la structure sont le plus sensibles Cette approche est retenir s il y a un enjeu fort de positionnement aupr s de certains partenaires Chacune de ces approches r pond des objectifs diff rents qu il convient donc de bien avoir identifi en amont ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE 4 Formuler les questions valuatives La formulation des questions valuatives est une tape cl dans la d marche car elle permet de d finir pr cis ment le contour de l valuation Comme il n est pas possible de tout valuer d finir la question laquelle l valuation doit r pondre va p
165. ociale ou d autres aspects de son fonctionnement Il existe des moments et des situations o cela peut tre un r el apport ETAPE 1 COMPRENDRE AVANT D AGIR parfois indispensable mais il faut se m fier des exc s de la technicisation du social des usines gaz et autres tableaux de bord complexes restant dans des tiroirs On n a en g n ral dans ces structures que peu de temps consacrer des d marches r flexives et il faut donc l employer bon escient Il existe toutefois de tr s nombreuses raisons qui peuvent justifier une telle d marche mais on peut les regrouper en deux grandes dimensions En simplifiant une dimension interne et une dimension externe Premi re dimension on peut souhaiter valuer diff rents aspects de la vie associative pour que les membres de l organisation et ceux qui la fr quentent ou b n ficient de ses actions fassent de l valuation un moment de r flexion collective interne sur le sens et sur les cons quences de leurs actions o sur l efficacit au regard d objectifs ou sur bien d autres choses Les questions que lon met en d bat sont alors les suivantes qu apportons nous la soci t notre territoire certaines personnes en termes de b n fices pour la collectivit au del du fait que nous rendons des services individuels Est ce que les apports collectifs que nous visions dans notre projet correspondent aux apports constatables Comme
166. ociatif a pu maintenir le vivre ensemble Parfois l utilit sociale des associations s value par d faut quand il ne reste plus qu chiffrer les d g ts humains et conomiques Bertrand Schwartz avait ainsi motiv l valuation du travail de m diation par cette question que se serait il pass si Chaque association devrait pouvoir valuer l utilit sociale de ses activit s l aune de son projet et de son contexte Ce travail est d abord interne Il rend ensuite possible le calcul des externalit s positives de l association sur son territoire Globalis e l valuation de l utilit sociale des associations repose la question des indicateurs de notre richesse nationale comme l a d montr Patrick Viveret Construire le partenariat entre les associations et les pouvoirs publics La charte des engagements r ciproques rappelle le r le de l valuation distinguer clairement dans les rapports entre l tat et les associations ce qui rel ve de l valuation des actions partenariales de ce qui rel ve du contr le de l application des lois et r glements L enjeu est de taille Les pouvoirs publics ont besoin de justifier l usage des fonds publics l aune de leur politique de leur calendrier de leurs contraintes budg taires Les associations mettent en uvre des actions publiques dans le cadre d un projet collectif qui n a pas la m me temporalit et d autres contraintes calend
167. oi vers les fiches Rep re ou M thode voir Sommaire des fiches p 101 Comprendre avant d agir Les enjeux soci taux de l valuation de l utilit sociale 1 Quatre enjeux majeurs ALTO e L approche des chercheurs e Un enjeu d terminant pour le monde associatif e Le regard des instances et des pouvoirs publics Qu est ce que l utilit sociale 1 Un effet positif sur la soci t 2 Les dimensions de l utilit sociale Les diff rentes formes de production de l utilit sociale 4 Une utilit sociale construire collectivement Pourquoi se lancer dans une d marche d valuation de l utilit sociale 1 Renforcer la coh rence du projet Am liorer ses activit s et ses pratiques Communiquer Construire de nouvelles relations avec ses partenaires Les enjeux soci taux de l valuation de l utilit sociale L valuation de l utilit sociale est un enjeu pour les structures qui se lancent dans cette d marche mais elle constitue aussi un enjeu pour la soci t dans sa globalit Quatre niveaux d enjeux peuvent tre identifi s Quatre enjeux majeurs Conforter un mod le de d veloppement solidaire Valoriser la plus value de l conomie sociale et solidaire Participer une d finition partag e de l utilit sociale Permettre une appropriation de la d marche valuative par la soci t civile S interroger sur l valuation de l utilit socia
168. ois mois les salari s dressent un bilan des donn es collect es et font une analyse rapide leur permettant de mieux piloter leur action ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE L exp rience des autres aidi i a i a E E E E E E a E E E E a a E E E a E a E a a a E a E E a a a E E E E E E E E E E E E L association d insertion par l activit conomique Espaces a construit un outil d valuation de ses chantiers Elle envisage de l appliquer l ensemble de ses chantiers deux fois par an sur une p riode de deux ans Le travail sera suivi par un charg de mission Ce projet d valuation pourrait s articuler avec le projet de mise en place d un agenda 21 e Des valuations approfondies L valuation peut tre r alis e de mani re approfondie certaines p riodes de la vie de l association une fois par an avant l assembl e g n rale ou certains moments sp cifiques de la vie de l action au d but de l action pour mieux la d finir mi parcours la fin de l action 6 mois apr s la fin de l action Par exemple Une fois par an une valuation qualitative viendra compl ter les diff rents indicateurs de base du suivi valuation Des entretiens et une analyse approfondie mettant en relation les r sultats issus du suivi valuation et ceux des entretiens permettront d valuer l action e Des valuations th matiques Ponctuellement une valuation th ma
169. omment valuer D finir la d marche d valuation Construire l utilit sociale Construire l utilit sociale une vision partag e Elaborer les crit res et indicateurs Construire le cadre de r f rence de l valuation Collecter les donn es Rep rer les sources mettre en place des outils de collecte Analyser les donn es Croiser les sources d information analyser et objectiver les donn es recueillies Construire un point de vue collectif Tirer des enseignements et construire un point de vue D oOo ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Pourquoi valuer D TERMINER LES OBJECTIFS DE L VALUATION L valuation est un outil au service d un projet et des acteurs qui y contribuent Pourquoi valuer constitue la premi re tape de questionnement avant de se lancer dans la d marche D autres questions suivront ensuite relatives par exemple l origine de la demande d valuation ou encore au moment adapt au lancement de la d marche Pourquoi valuer L valuation peut tre utilis e pour r pondre diff rents objectifs et enjeux Les pr ciser est important car ils influeront sur le choix de la d marche et des m thodes d valuation mettre en uvre e Si l objectif principal est de mesurer des r sultats et impacts en termes d utilit sociale l accent sera mis sur les indicateurs le calcul de rat
170. onn es Analyser les donn es 04 p I OUTIL N 14 Exemple de grille de crit res et d indicateurs 9 OUTIL N 15 Exemple de grille d auto valuation L exp rience des autres sssssssssssossccssccssosssossecssecssecssccsseesee L association Espaces a labor une grille d valuation compos e de trois fiches qui reprennent les objectifs transversaux de l association dimensions cologique sociale et conomique citoyenne Chaque fiche comprend une s rie d items auxquels il est propos de r pondre en cochant des cases indiquant le niveau d importance de cet item pour le chantier Les trois fiches sont remplies pour le chantier valu par l encadrant technique Les entretiens individuels Les entretiens permettent de recueillir une information qualitative sur les pratiques repr sentations et opinions des personnes rencontr es lls peuvent tre de diff rentes natures conversation informelle entretien semi directif ou entretien directif L entretien semi directif est le plus r pandu 3 l image des m decins qui utilisent ce type d outils pour que les patients indiquent leur niveau de douleur L exp rience des autres E EEEE EESEEEESEEEFEEEFE EEEF E FEEFEE SEESEE FEEFEE FEEEEEEEEEEEE L Association r gionale pour le d veloppement de l conomie solidaire en Basse Normandie ARDES a labor un questionnaire destin aux salari s administrateurs usager
171. onomisation et de renforcement des comp tences un poste de coordinateur ne serait il pas plus pertinent qu un poste de directeur Am liorer ses activit s et ses pratiques Renforcer l efficacit de son action de mani re continue L valuation de l utilit sociale peut tre le moyen d entrer dans une d marche de progr s qui conduit renforcer l utilit sociale de la structure L valuation permet de e r orienter des activit s qui fonctionneraient moins bien o ne r pondraient pas aux objectifs de la structure e de rep rer des activit s qu il est possible d am liorer e de mieux comprendre les difficult s rencontr es pour les contourner e de renforcer l efficacit de l action au regard des objectifs terme elle devrait permettre de renforcer l efficience des actions par une meilleure utilisation des ressources ETAPE 1 COMPRENDRE AVANT D AGIR Outiller la mise en uvre des activit s Professionnaliser Elle peut aussi constituer un temps de bilan et de r flexion sur la pertinence de son action au regard de l environnement dans lequel intervient la structure Ce qui tait utile socialement hier ne l est peut tre plus aujourd hui L valuation de l utilit sociale permet de poser les bases pour adapter ses actions aux nouvelles exigences de l environnement L exp rience des autres E EEES ESEESEEEFEES EFFEEF ESEEFEFEEESE FEEFEE SFFEEEEEEESEEEEE Espaces la construction
172. op ambitieux ou pas assez au regard du contexte Structurer le r f rentiel Les crit res et indicateurs d utilit sociale devront ensuite tre organis s en un r f rentiel A minima l organisation du r f rentiel met en regard les crit res et les indicateurs correspondants Il est possible d aller plus loin dans la structuration du r f rentiel en distinguant diff rents niveaux d indicateurs L exp rience des autres 0000000000000000000000000000000000000000000000000000000000000 Organiser les crit res et indicateurs Diff rencier les indicateurs de r alisation r sultat et impact Les Jardins d Am lie structure d insertion par l activit conomique ont d fini un syst me de valeurs suite des enqu tes approfondies aupr s des jardiniers en insertion Six valeurs ont t retenues comme r f rence pour l valuation louverture la responsabilit la diversit l int grit le respect et l quilibre Ces enqu tes aupr s des jardiniers ont galement permis de pr ciser sept th matiques ressortant de leur discours Ces th matiques ont t appel es les domaines du jardinier Il s agit du rapport soi de l environnement social de l environnement naturel de la citoyennet des activit s des ressources moyens de subsistance et de la culture Pour l valuation chaque domaine du jardinier est crois avec les valeurs Ainsi dans chaque domaine correspond un crit re pour
173. ormat de ses accompagnements aupr s des porteurs de projet B n fices Les r ponses ont donn des pistes concernant le nouveau format mettre en place cr ation d une couveuse dur e du suivi Plus g n ralement la d marche d valuation de l utilit sociale contribue la professionnalisation des acteurs participants notamment sur trois aspects e la logique de projet par le travail sur l articulation entre finalit s objectifs et activit s e la d marche d valuation e certaines dimensions plus techniques de leur activit qui apparaissent lors des changes sur la mise en uvre les acteurs de la structure L exp rience des autres EEEE ZEEZEEEZ EEEF EFEEEZE EFEFEF EEF FEFFE SEEFFEEF EEEF EEFEEEEEESE Triselec entreprise d insertion par l activit conomique a revu certains modes de suivi de ses publics en insertion suite la d marche d valuation de lutilit sociale B n fices l entreprise a mis en place un outil de suivi des dossiers pour s assurer qu il n y a pas de s lection des publics l entr e et une base de donn es permettant de suivre le reclassement professionnel de ses publics r pondant ainsi mieux aux attentes de ses partenaires Le service Ressources humaines de l entreprise a galement red fini ses objectifs et pris l habitude de mesurer plus pr cis ment son action Pourquoi se lancer dans une d marche d valuation de l utilit sociale Comm
174. out fait strat gique si l analyse est r alis e avec de chaque item Estimer les impacts TOLO S il est tr s difficile de mesurer les impacts il est en revanche possible de les estimer partir des donn es recueillies souvent par le biais d entretiens approfondis ou d tudes de cas Les participants chercheront alors analyser ce qui dans les changements observ s rel ve des actions engag es La comparaison avec des actions men es par une structure proche dans des conditions similaires et aupr s d un m me public peut tre envisageable pour extrapoler les impacts observ s Cela doit cependant tre fait avec beaucoup de prudence Les r ponses trois questions peuvent venir conforter la validit de cette estimation e Est ce que les indicateurs traduisent de mani re fiable et fine le crit re e Est ce que l action est bien l origine du changement observ e En l absence de l action est ce que ces changements auraient exist L analyse des donn es prendra la forme d un premier document pr sentant les r sultats de l valuation au regard de la question valuative sugg rera les enseignements qu il est possible d en tirer Construire des outils simples de collecte des donn es et r diger leurs modalit s de mise en uvre Analyser des donn es provenant de diff rentes sources Imaginer des modes de rendu des r sultats attractifs et p dagogiques ETAPE 2 CON
175. pagnait la structure de mieux la comprendre Identifier le cadre g n ral de la d marche La d marche d valuation comprendra diff rents temps Classiquement on distingue quatre phases majeures Identifier les diff rentes tapes de la d marche e L laboration de la d marche et du r f rentiel Il s agit de e cadrer l valuation en d finissant ses objectifs et le champ de l valuation e construire l utilit sociale e d finir la ou les questions auxquelles l valuation devra r pondre e laborer le r f rentiel de l valuation savoir les crit res et les indicateurs e d finir la m thode d valuation e construire les outils et les proc dures n cessaires l valuation e L observation Elle consiste r colter les donn es pour renseigner les indicateurs Cette tape n cessite de construire des proc dures et des outils pour collecter l information e L analyse des donn es Les donn es collect es sont mises en relation et analys es au regard des objectifs e L laboration d un point de vue partag Collectivement les participants la d marche tirent des enseignements de l analyse et mettent un point de vue sur l utilit sociale de l action valu e lls peuvent galement formuler des pr conisations pour la renforcer Cette derni re phase constitue une tape cl dans l valuation de l utilit sociale car elle correspond un temps de partage et de concertation en
176. personnes ont t associ es la d marche celle ci a t l occasion de formaliser des valeurs et des activit s qui sont largement partag es par les parties prenantes du groupe selon son responsable Ce travail a eu de nombreux effets sur la structure en termes de communication de management TEET Pourquoi valuer Pour qui Derri re la question de l objectif de l valuation se cache celle de son commanditaire L valuation peut tre demand e par les partenaires financiers les op rateurs plus rarement les usagers Chaque partie prenante de l action a ses objectifs propres dans l valuation Le partenaire financier souhaitera par exemple savoir si largent qu il a investi aupr s d une structure d insertion par l activit conomique a bien permis le retour emploi d un certain nombre de personnes alors que la structure voudra analyser dans quelle mesure elle a contribu rendre son public autonome notamment dans la recherche d un emploi Cependant les acteurs peuvent se retrouver sur un m me objectif d valuation Ainsi mesurer les r sultats d une action peut permettre certains de les am liorer d autres d en faire la communication o encore de prendre la d cision de poursuivre l action ou non Dans les d marches d valuation de l utilit sociale c est g n ralement la structure mettant en uvre les actions qui souhaite s engager Cependant de plus en plus d
177. plicative est parfois n cessaire Les quipes salari es voient plus facilement l int r t de la d marche conscientes de l importance de l valuation aujourd hui appara t indispensable que les dirigeants politiques de la structure soient fortement impliqu s dans la d marche pour une double raison D une part la d marche pourra questionner le projet de la structure son mode de fonctionnement ou le choix de ses activit s Les dirigeants doivent tre pr ts envisager des changements lls doivent galement prendre en consid ration le temps que ce travail demandera l quipe salari e et veiller la mobiliser D autre part la participation des salari s d s la conception favorise sa mise en uvre par la suite les salari s mobilis s sur la collecte d information le feront avec d autant plus de r gularit qu ils verront les tenants et les aboutissants de la d marche Les partenaires La participation des partenaires la d marche et notamment la construction de l utilit sociale de la structure facilitera leur appropriation de la d finition commune La structure b n ficiera galement d une perception plus compl te de son utilit sociale les partenaires ayant un regard d cal li leurs champs d intervention un lu verra l int r t de la structure de mani re transversale sur son territoire percevant par exemple des synergies locales le responsable du service social et celui de l act
178. ppement durable e le lien social et la d mocratie locale e l innovation sociale conomique institutionnelle e l utilit sociale interne avec impacts externes possibles Dans le m me temps la question d un label est revenue tr s r guli rement pour tenter de stabiliser une notion d utilit sociale davantage partag e Un groupe de travail r unissant le CNVA et les administrations les plus concern es a r fl chi d s 1996 une proc dure de reconnaissance de l utilit sociale Plusieurs rapports celui de Guillaume Goulard 1998 qui a abouti aux instructions fiscales sur les associations celui d Alain Lipietz ou plus r cemment celui de Jean Pierre Decoof ont trait de cette question avec des avis divergents 3 Instructions fiscales des 15 septembre 1998 et 19 f vrier 1999 fixant le nouveau r gime fiscal des associations r gies par la loi de 1901 Une nouvelle instruction fiscale dite r capitulative a t publi e le 18 d cembre 2006 4 SCIC Soci t Coop rative d Int r t Collectif 5 LIPIETZ Alain Le tiers secteur L conomie sociale et solidaire pourquoi et comment Paris La D couverte La Documentation fran aise 2001 6 Op cit 7 Avocat et ancien commissaire du gouvernement au Conseil d tat 8 D put auteur du rapport Des associations en g n ral vers une thique soci tale Mai 2005 000000000000 00000000000e ce jour aucune proc dure de l
179. pr s d associations et d entreprises volontaires souhaitant s engager sur un programme concret d valuation de leur utilit sociale Celui ci s inscrivait dans le prolongement des travaux de la DIES et s appuyait sur le travail de synth se r alis par Jean Gadrey L objectif tait partir d une d marche de recherche action et de capitalisation de exp rimentation de faire avancer sur le plan m thodologique les d marches d valuation de l utilit sociale et leur appropriation collective Ce cinqui me num ro de la collection Les Cahiers de l Avise concr tise cet objectif 9 Culture et Promotion est une association nationale qui regroupe une vingtaine d associations intervenant dans le champ du d veloppement local et du d veloppement social 10 conomie sociale et solidaire en r gion Trente cinq quipes ont particip ce programme de recherche coordonn par la DIES et la MIRE entre 2001 et 2008 11 Op cit Capitaliser les enseignements de l exp rimentation travers un guide 200000000000 00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 Avant le lancement de ce programme a t constitu un bilan de connaissances pour valider la pertinence et les orientations de l exp rimentation Ce bilan a notamment conduit l laboration d une bibliographie raisonn e v ritable
180. qu elle rend la structure plus cr dible parce qu elle lui permet de mieux affirmer son positionnement d aller vers des logiques plus partenariales l valuation de l utilit sociale contribue faire voluer ses relations avec ses partenaires notamment publics En effet elle peut e afficher plus clairement ses objectifs e sortir du discours et proposer des l ments concrets correspondant l utilit sociale qu elle revendique e s appuyer sur les logiques de l valuation L exp rience des autres E E EEEE EZEZE SEEFF SE FEEFEE ESEF EFEFEF ESEFEESEEESESEEEEEESEEEEE Espaces association d insertion par l activit conomique a produit des outils d valuation Ces outils ont t cit s en exemple par la DIREN aupr s d un inspecteur pour argumenter sur la pertinence de la subvention vers e l association B n fices De mani re g n rale les partenaires publics d d Espaces appr cient que l association anticipe travers ce type de d marche les questions qu eux m mes se posent et se pr pare aux exigences valuatives de la LOLF Loi organique relative aux lois de finances Pour Association r gionale de d veloppement de l conomie solidaire en Normandie travailler sur l utilit sociale permet d valuer l impact global de l conomie solidaire dans la r gion sa plus value conomique et sociale par rapport l conomie marchande de rendre vivaces et visibles les proje
181. ques indicateurs cl s e grille de suivi des chantiers W OUTIL N 1 D Exemple de grille de crit res et d indicateurs 7 OUTIL N 2 D Exemple d arbre strat gique Dynamiser e Red finir un projet en commun le fonctionnement R fl chir entre salari s et b n voles et notamment avec les administrateurs interne sur l utilit sociale de la structure cr e une dynamique interne La d marche d valuation de l utilit sociale ouvre un espace de dialogue pour les salari s espace qui existe peu dans les structures les r unions d quipe tant plut t consacr es la r solution des questions quotidiennes Pourquoi se lancer dans une d marche d valuation de l utilit sociale L valuation permet aussi de mettre jour des diff rences de perception entre les anciens et les nouveaux entre les salari s et les administrateurs Les nouveaux arrivants dans la structure s approprient ainsi ses valeurs son histoire ses r f rences Les anciens peuvent renouveler leur perception de la structure et mieux int grer ses volutions r centes Cette r flexion donne l occasion de red finir collectivement un projet partag Plus g n ralement c est une d marche qui redonne un sens commun aux activit s de la structure et un cap aux salari s Cette r appropriation permet de redynamiser les quipes salari es et b n voles Lorsque de nouvelles recrues salari es o b n voles partic
182. r l indicateur mise en confiance Ces outils sont construire avec l ensemble des participants l analyse afin d obtenir un accord sur l objet Ainsi formalis es des informations qualitatives peuvent tre compar es Deux types d outils permettent notamment d effectuer ce double travail e Les descripteurs Il s agit d un ensemble d l ments qui d crivent un crit re l valuation consistera observer s ils sont pr sents pour d terminer si l action r pond ou non au crit re e Les notations s agit d chelles sur lesquelles il est possible de positionner le niveau de r alisation d un indicateur W OUTIL N 15 Exemple de grille d auto valuation ns L exp rience des autres POS E R EEE BSa E EE E ODN DAE E E A S S ETE E G cette chelle L association Vieillir autrement accompagne des associations dans des quartiers difficiles en visant leur autonomie Elle a r alis une chelle de notation pour valuer ses d marches d accompagnement estimant le degr d autonomie allant d un niveau bas o Vieillir autrement initie les actions un niveau lev o les associations accompagn es initient elles m mes des actions Elle positionne ses accompagnements sur W OUTIL N 14 Exemple de grille de crit res et d indicateurs L analyse des donn es qualitatives ne cherche pas mesurer ou estimer l importance d un ph nom ne Elle vise le comprendre et mieu
183. r des charges Mission confi e un valuateur externe Politiques publiques ou grands projets Trois temps en d but de projet mi parcours et en fin de projet M thodologie n goci e avec valuateur valuateur responsable de cette tape Rapport avec pr conisations L valuation L valuation interne valuation pilot e par les acteurs eux m mes Possibilit d un accompagnement par un tiers Suivi valuation en appui la mise en uvre de l action Projets des structures Au cours de l action Assur e par les acteurs eux m mes o par un tiers Le jugement valuatif est co construit avec l ensemble des acteurs associ s La formalisation d un rapport peut tre d l gu un tiers pourquoi comment L auto valuation valuation assur e par les acteurs eux m mes Les partenaires usagers peuvent tre associ s Suivi valuation en appui la mise en uvre de l action Projets partenariaux Au cours de l action Assur e par les acteurs charg s de la mise en uvre de l action valu e Le jugement valuatif est co construit avec l ensemble des acteurs associ s REP RES ET M THODES Rep re N 2 De l int r t des collectivit s locales de se lancer dans une d marche d valuation de l utilit sociale Plusieurs approches de l valuation de l utilit sociale L int r t d une participation des collectivit
184. r sent es peuvent aussi se combiner L auto valuation peut par exemple s enrichir d un travail d enqu te r alis par un tiers les valuations externes peuvent prendre en consid ration des travaux d auto valuation r alis s par la structure ayant mis en uvre l action Les structures associatives ont int gr le terme d auto valuation pour toute d marche visant laisser de l autonomie aux acteurs pour r aliser leur valuation de la construction du r f rentiel jusqu l criture d un rapport final G n ralement elles ont recours un consultant o un tiers pour les accompagner dans cette d marche Ainsi la terminologie des professionnels de l valuation d finit cette approche d valuation interne puisqu on constate l appel un tiers En revanche les acteurs de terrain se retrouvent dans le terme d auto valuation un consultant ayant ou non t sollicit Cette terminologie a t reprise dans le pr sent guide tout en tant bien conscient qu elle pourra tre jug e comme impropre ou abusive dans la plupart des cas pr sent s Tableau de synth se Comit d valuation ou commanditaire Approche valuative Nature des projets valu s Temps d valuation Collecte d informations et analyse L valuation externe Cahier des charges Composition d un comit pouvant tre pluraliste dans une approche participative valuation sur la base d un cahie
185. r les milieux conomiques enfin dont les crit res d valuation habituels sont essentiellement financiers Tous cherchent objectiver autant que faire se peut cette appr ciation de l utilit sociale Cette publication vise y contribuer en proposant aux structures de l conomie sociale et solidaire une approche m thodologique pour les appuyer dans cette d marche L apparition officielle de l utilit sociale en France date d un arr t du Conseil d tat en mati re fiscale datant de 1973 qui bien que le terme n y ait pas t employ ajoutait une condition autorisant l exon ration fiscale un co t nettement inf rieur ce qui se pratique sur le march ou l absence de service quivalent fourni par le march Cette notion a donc d abord t abord e dans le champ fiscal Dans les ann es 1980 elle s est d velopp e pour justifier les aides et exon rations accord es par les pouvoirs publics aux associations pour leur service rendu la collectivit en particulier la prise en charge des ch meurs et des personnes en difficult L utilit sociale consiste alors notamment limiter les cons quences du ch mage pour la soci t Dans le milieu associatif le Conseil national de la vie associative CNVA s est empar de cette notion et a essay d en d finir les crit res dix en 1994 1995 ramen s cinq en 1996 la primaut du projet sur l activit la non lucrativit et la gestion d si
186. r p 118 Les crit res suivants ont t privil gi s pour le choix des structures la motivation et l int r t pour la d marche d exp rimentation les ressources humaines mobilisables gage d engagement la reproductibilit des r sultats et des m thodes ainsi que le caract re multipartenarial du portage du projet association entreprise association collectivit territoriale Cette quinzaine de structures a ainsi b n fici sur 12 18 mois d un accompagnement sp cifique pour exp rimenter et d velopper des m thodes d valuation d utilit sociale Le pilotage op rationnel de l exp rimentation a t r alis par Culture et Promotion Quatre experts ont accompagn les diff rentes structures dans leur d marche Voir p 118 Cette exp rimentation ancr e sur le terrain et associant les acteurs directement concern s par le sujet s est d lib r ment situ e dans un esprit de recherche action qui ne pr jugeait aucunement du r sultat final Le cadre et les d marches taient donc ouverts au d part afin de pouvoir explorer des voies diversifi es m me si le souci d aboutir terme un dispositif plus largement utilisable par des acteurs diff rents a conduit croiser les approches pour faire ressortir d ventuels points de convergence labor sur la base des enseignements issus de l exp rimentation de l Avise et des travaux men s par Culture et Promotion ce Cahier se pr sente comme u
187. r son apport dans diff rents domaines comme la solidarit entre r sidents et usagers ou la coh sion sociale Elle se questionnait galement sur son activit de restauration qu elle n abordait qu travers une approche financi re Elle se r f re aujourd hui ses finalit s pour analyser cette action B n fices La d marche a restructur la r flexion sur les activit s on entre aujourd hui par la question Quelle est l utilit de ce secteur puis quel type de demande r pond il Se doter d outils de pilotage et de suivi D finition Objectif nonc explicite clair et pr cis localis dans l espace et le temps indiquant le r sultat auquel doit aboutir l action Il est d fini pr alablement l action par un verbe d action et est MESEI CERESE des r sultats attendus L exp rience des autres ESEESE EEEE FEFEFE FEEEEEEEEFEEEEFEFFEEESEF FEFFE FEFEEEEEEEEEE L association M dias Cit a d fini 4 crit res et 71 indicateurs d valuation de son utilit sociale lls sont formalis s dans une grille que l association utilise lorsqu elle monte des projets B n fices Elle passe en revue les diff rents items de sa grille pour voir si le projet qu elle est en train d laborer r pond bien son utilit sociale L exp rience des autres E EEEE SEEESE SESSE EFEFEF E FEFEFE FEEFEE SEFESEF FEEFFE FEEFEEESEEEEE L association Espaces a labor une grill
188. re les suivants e indicateur de r alisation nombre de femmes participant au conseil d administration e indicateur de r sultat nombre de femmes prenant des responsabilit s au sein du bureau ou bien nombre de femmes participant activement la prise de d cision e indicateur d impact taux de femmes membres du conseil d administration s impliquant dans d autres instances de d cision syndicat collectivit s locales Identifier le niveau d observation pour bien valuer l action La logique de projet n cessite de bien situer le niveau d observation En effet si on observe ce que la structure produit travers l ensemble de son activit les r sultats seront au niveau de la structure et donc de l ensemble de son action Ce sera le niveau central de l observation Si on observe une action particuli re les r sultats seront au niveau de cette action Les effets au niveau de la structure o au del rel veront alors de l impact Il est important de bien clarifier le niveau d observation pour ne pas se perdre par la suite dans les niveaux d indicateurs Cherchant analyser la contribution la soci t d une action ou de la structure l valuation de l utilit sociale s int ressera particuli rement aux impacts des actions men es Cependant ces impacts sont difficiles valuer car ils n cessitent du recul sur l action des d lais des donn es externes et les moyens d analyser ce qui dans les cha
189. regard sur la structure La communication interne et externe s en trouve souvent am lior e La r flexion sur l utilit sociale et surtout les r sultats de l valuation fournissent des donn es nouvelles qui compl tent les l ments plus classiques d analyse Pour les entreprises des l ments sociaux soci taux ou environnementaux enrichissent la lecture des actions Am liorer la communication interne et externe L valuation de l utilit sociale n est pas un outil de communication mais elle permet de faire merger des points saillants qui peuvent apporter un contenu la communication Par ailleurs la d marche m me peut tre communicante lorsqu elle associe par exemple des partenaires Mais une d marche valuative qui aurait pour seul objectif de communiquer ne pourrait pas avoir le minimum d objectivit n cessaire L valuation n cessite une volont d analyse objective des faits et effets des actions ETAPE 1 COMPRENDRE AVANT D AGIR L exp rience des autres 0000000000000000000000000000000000000000000000000000000000000e Suite la d marche le Groupe Alterna D veloppement a renouvel certains de ses supports de communication La plaquette de communication du groupe n a pu tre r alis e que parce que le projet politique a t formalis suite la d marche d valuation B n fices Meilleure valorisation des plus values apport es par le groupe Valoriser des avantage
190. ri re cette dimension ce qui vise r duire les in galit s entre les personnes ou les groupes de personnes sur un territoire au niveau d un pays o au niveau de la plan te Le champ des in galit s concern es est tr s large et pas toujours partag par tous pourra viser e des particuliers in galit s en termes d acc s au logement au march du travail e des groupes sp cifiques handicap s personnes d origine trang re e des territoires in galit s d acc s aux services la culture e des pays in galit s contre lesquelles luttent les associations de solidarit internationale Ces in galit s se cumulent malheureusement bien souvent celles concernant les d s quilibres entre les hommes et les femmes traversent tous ces champs Fiche N 0 De l int r t des collectivit s locales de se lancer rep re dans une d marche d valuation de l utilit sociale e L galit des chances Concept tr s pris mais mal d fini l galit des chances vise ce que les hommes les femmes ou des groupes sp cifiques puissent avoir les m mes possibilit s effectives d acc s des droits des services ou un emploi Les actions mises en uvre peuvent tre sp cifiques en s adressant particuli rement aux publics cibl s Elles peuvent aussi tre transversales c est dire int grer un public particulier dans n importe quelle action entreprise Par exemple L insertion soci
191. rne e l agenda interne p riode ventuelle de surcharge de travail assembl e g n rale o il serait int ressant de valider les l ments cl s de l utilit sociale rythme des r unions du conseil d administration e l agenda externe disponibilit des partenaires mobiliser indicateurs finaliser pour la signature de la convention La connaissance des agendas permettra d adapter le rythme de la d marche au rythme de la structure et ainsi de lui donner toutes les chances de r ussite D finir un dispositif d valuation Identifier les types d valuation les plus pertinents Le dispositif d valuation pr voit les diff rentes tapes Il les organise dans le temps de mani re concr te Les tapes classiques de l valuation pr sent es en amont sont la d finition de la d marche et du r f rentiel l observation l analyse et la construction d un point de vue partag sur l utilit sociale valu e En fonction des objectifs et du champ de l valuation une action l ensemble des activit s de la structure celle ci peut se d rouler de diverses mani res chacune n tant pas exclusive l une de l autre e Un suivi valuation La collecte des donn es se fait tout au long de l action Des temps d analyse sont pr vus r guli rement V ritables temps de recul sur l action ces temps doivent tre clairement identifi s et diff renci s de la collecte Par exemple Une fois tous les tr
192. rocessus de mise en uvre et ses modes de fonctionnement Pourquoi se lancer dans une d marche d valuation de l utilit sociale Vous souhaitez e renforcer la coh rence de votre projet associatif e am liorer vos activit s et vos pratiques pour mieux r pondre vos objectifs e communiquer en valorisant les sp cificit s de votre structure e laborer avec vos partenaires des crit res d valuation correspondant vos objectifs r ciproques L valuation de l utilit sociale peut r pondre ces attentes existe en effet de nombreuses raisons de se lancer dans une d marche d valuation de l utilit sociale Elles peuvent tre d ordre e strat gique red finir le projet associatif d velopper de nouveaux partenariats e op rationnel mieux suivre ses actions mettre en place une d marche de progr s laborer des outils de communication Ce chapitre pr sente les avantages que peuvent tirer une structure et ses partenaires d une d marche d valuation de l utilit sociale Ces b n fices produisent parfois des effets induits par la d marche Les rep rer permet d envisager des int r ts potentiels suppl mentaires selon le contexte le d roulement de la d marche l implication des diff rents acteurs Ces effets ne sont pas forc ment recherch s en amont ils peuvent merger l issue de la d marche 000000000000 000000000000000000000000000000000000000000000000e SOMMAIRE
193. roir e Expert il apporte les l ments de m thode ainsi que les outils issus de sa pratique e Regard ext rieur et d cal il peut recadrer une discussion signaler des oublis e majeurs pr venir des analyses orient es et ouvrir de nouveaux champs de r flexion e Aiguillon il pose des questions qui peuvent d ranger la structure tant ext rieur e aux enjeux il peut mettre en d bat des l ments que les participants n osent pas aborder et les pousser au besoin dans leurs retranchements L accompagnateur devra s adapter au mode de fonctionnement la situation la culture et au langage de la structure Le niveau de r flexion th orique et de conceptualisation pourra tre diff rent selon les structures doit aussi prendre en consid ration les besoins imp ratifs et exigences des structures accompagn es plusieurs niveaux e externes besoin de construire des indicateurs pour une date pr cise afin de les int grer dans une convention de justifier certains postes e internes temps disponible strat gie de la structure calendrier de la vie interne ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Le processus d auto valuation vecteur de r sultats et de changement e Focus L accompagnement r pond un difficile quilibre entre ext riorit et int riorit En effet il devra rester ext rieur aux enjeux de la structure pour apporter la distan
194. rouve dans tout type d valuation quel qu en soit l objet On trouvera ci dessous une pr sentation de ce cadre g n ral avec en renvoi les parties du guide correspondantes Etape 1 Poser le cadre de la d marche e Cadrer l valuation en d finissant son objectif l objet valu et le champ d intervention Les enjeux soci taux de l valuation de l utilit sociale Qu est ce que l utilit sociale Pourquoi se lancer dans une d marche d valuation de l utilit sociale Pourquoi valuer D p Etape 2 Construire le processus et les outils e Analyser le contexte e D terminer et mobiliser les acteurs concern s Qui associer et comment Te p e Choisir la forme de l valuation externe interne ou auto valuation et en d terminer les modalit s et les tapes Poser le cadre de l valuation 64 p e Formaliser une ou des questions valuatives Construire l utilit sociale e D finir les crit res et les indicateurs et les organiser dans un r f rentiel Phase 5 laborer les crit res et indicateurs 8 p DO REP RES ET M THODES Etape 3 Observer et collecter e Recueillir les donn es pour renseigner les indicateurs cette tape n cessite de construire des proc dures et des outils de collecte s Collecter les donn es 90 e p Etape 4 Analyser e Analyser les donn es collect e
195. rt d valuation permet de garder une trace d taill e du travail r alis Il pr sente la d marche les r sultats observ s leur analyse et les diff rents points de vue sur le sujet I peut tre compl t par des outils plus facilement diffusables note de synth se document de communication Les r sultats de l valuation peuvent galement tre int gr s dans des documents existants rapport d activit plaquette de pr sentation etc afin d en assurer une large diffusion Pourquoi se lancer dans une d marche 4 4 d valuation de l utilit sociale p Distinguer la construction d un point de vue partag et les prises de d cisions ult rieures qui pourront d pendre d autres facteurs que des r sultats de l valuation Rep res et m thodes Pour compl ter cette s rie de fiches retrouvez en page 120 le sommaire des outils et des tudes de cas propos s sur les sites de l Avise www avise org us et de Culture et Promotion www culture et promotion org Fiches Rep res i J Fiches M thodes J JUUOE L valuation pourquoi comment De l int r t des collectivit s locales de se lancer dans une d marche d valuation de l utilit sociale Les tapes cl s de l valuation Les crit res et les indicateurs Un exemple de r f rentiel La mise en uvre de l valuation dans un r seau Choisir un accompagnateur ORE OROROORO REP RES ET
196. s impliquant dans d autres structures depuis leur entr e dans l association d insertion REP RES ET M THODES M thode N 4 La mise en uvre de l valuation dans un r seau La t te de r seau r alise l valuation La t te de r seau pilote l valuation La t te de r seau accompagne l valuation La mise en uvre de l valuation dans un r seau associatif peut s op rer de trois mani res diff rentes La d marche d valuation est men e par la structure qui anime le r seau Dans un premier temps l Utilit sociale est d finie collectivement par l ensemble des membres Des crit res d valuation pour l ensemble du r seau sont ainsi tablis Puis la t te de r seau r alise l valuation de chacun de ses membres notamment travers des entretiens Enfin elle en fait ensuite l analyse et en tire des conclusions partir desauelles elle change avec les membres pour tendre un jugement partag Cette d marche permet la t te de r seau d avoir une vue d ensemble des activit s du r seau et de garantir ainsi un sens commun Les structures membres du r seau peuvent appr cier que le travail soit ainsi pr par sur une th matique qui semble a priori compliqu e Elle peut cependant ne pas tre mobilisatrice et risquer d tre per ue comme un contr le si les membres ne per oivent pas bien la logique dans laquelle elle s inscrit Elle demande aussi beaucoup de temps la t t
197. s concurrentiels La d marche d valuation de l utilit sociale permet de valoriser des points forts qui taient mal appr hend s auparavant lls peuvent constituer des arguments commerciaux non n gligeables dans un contexte o le secteur de l conomie sociale et solidaire entre de fa on croissante dans des logiques de r ponses appels projets Plusieurs structures exploitent leurs travaux sur l valuation de l utilit sociale dans les r ponses aux appels d offres Elles sont mieux arm es pour se pr senter et afficher leur utilit sociale L exp rience des autres EEEE EZEEFEFEFF EFFEEF EFFEEF Z EFFEEF FEEFEE FEFSEEEF EFEFEF E EESE EEEET Pour Custos entreprise de t l assistance l enjeu est avoir une avance vis vis des concurrents pour dire que l on fait diff remment La d marche d valuation de l utilit sociale lui a permis de mieux se situer par rapport son environnement et de d velopper des r ponses valorisant sa sp cificit B n fices L entreprise a notamment pu tirer des arguments commerciaux de la d marche d valuation de l utilit sociale Elle emploie des arguments comme la proximit dans la r ponse ses appels d offres ou pour les demandes de renouvellement de ses homologations Ca nous a permis de nous rapprocher de nos clients explique un responsable de l entreprise 4 Construire de nouvelles relations avec ses partenaires tre plus cr dible Parce
198. s financements pourcentage e Capacit monter un projet nombre de projets Pour des groupes e Mise en uvre de projets choisie et ma tris e e Utilisation de produits locaux ou de produits venant du commerce quitable proportion e Mise en place de services ou acc s aux services dans des territoires d favoris s taux d volution carte quit territoire pays Dimension politique faire voluer la soci t Crit res d utilit sociale Exemples d indicateurs de r alisation Exemples d indicateurs de r sultat Exemples d indicateurs d impact e Rep rage de besoins mergents e R ponses originales des besoins innovation en termes de contenu m thode d marche organisation technique juridique e Production de r f rences accessibles e Essaimage diffusion des e Production de l innovation innovations nombre d utilisateurs Innovation e Nombre d actions d interpellations r alis es e Niveau de publicit de l v nement nombre d articles de presse e Niveau d coute du message rendez vous obtenus e Modification de la l gislation e Modification des pratiques Aiguillon e Nombre de participants des actions de sensibilisation des projets collectifs e Respect des espaces collectifs et quipements disposition du public Promotion de l int r t collectif REP RES ET M THODES Dimension soci tale Crit res
199. s la mise en uvre de l analyse d pendra aussi de la forme d valuation choisie elle peut tre totalement externalis e Analyser les donn es f 04 Etape 5 Construire un point de vue Phase 8 Construire un point de vue collectif O8 p M thode N 2 Les crit res et les indicateurs Crit re et indicateur quelles diff rences Combiner des indicateurs quantitatifs et qualitatifs Exemples de crit res et d indicateurs Distinguer le crit re de l indicateur n est pas toujours chose ais e e Les crit res sont des instruments d orientation qui constituent la r f rence de l valuation et traduisent les valeurs auxquelles elle se r f re Ils devront permettre de r pondre aux questions valuatives Is se construisent en consid rant les finalit s et les objectifs du projet L quit la coh rence la citoyennet la participation la coh sion sont des exemples de crit res Par exemple La communication entre partenaires d un projet repr sente un crit re pour r pondre la question valuative la coh sion du collectif est elle une r sultante d une dynamique partenariale ou une qualit pr alable la constitution d un partenariat Le crit re retenu communication entre partenaires sera d clin en indicateurs permettant d identifier de qualifier et de mesurer ventuellement la communication On peut envisager par exemple la fr quence des r un
200. s th mes Le croisement des deux approches permet de d gager une typologie sociologique Cette d marche qualitative peut constituer un pr alable une d marche quantitative questionnaire ferm 4 Croiser et pond rer les donn es L analyse globale de l utilit sociale se fera au moment o les diff rentes donn es collect es seront crois es e Les indicateurs chiffr s et les donn es qualitatives objectiv es qui donnent une vue d ensemble de l utilit sociale pr sentent les r sultats observ s et leur importance relative Un tableau de synth se s inspirant du r f rentiel pour les indicateurs pourra tre labor e Les donn es qualitatives permettent de comprendre les m canismes qui ont amen ces r sultats et de mieux en cerner la signification profonde 9 OUTIL N 3 1 Exemple de grille de crit res et d indicateurs Le croisement des donn es passe par une pond ration des indicateurs voire des crit res Tous les indicateurs recueillis n ont pas la m me importance au regard du crit re et de l action De m me que tous les crit res n ont pas la m me importance dans l utilit sociale d une structure Il sera donc n cessaire d estimer l importance de chaque indicateur et au besoin de chaque crit re ce qui peut se traduire par une notation de ceux ci diff rentes parties prenantes qui ont des points de vue diff rents sur la valeur La pond ration peut se r v ler t
201. s SE R alisation Objectif op rationnel concr tes Elles sont mises en uvre n et pratique BAD niveau aval de l action travers des processus modes d action de fonctionnement visibles dans les pratiques L action produit des r sultats Il s agit d effets Objectif sp cifique but R sultat D a imm diats directement li s l action niveau central L action contribue des changements Impact mais d autres facteurs peuvent intervenir galement dans les changements observ s Finalit objectif global niveau amont de l action e Les r alisations et les pratiques il s agit de ce que fait concr tement la structure et de la fa on dont elle le fait Ce niveau peut correspondre aux objectifs op rationnels Les r alisations concernent les activit s mises en uvre dans le cadre de l action Les pratiques concernent les processus mis en uvre L indicateur de r alisation mesure ce niveau Par exemple Dans une formation les heures de cours seront les r alisations Ces cours peuvent se d rouler de diff rentes mani res Le travail de groupe peut tre une des pratiques observ es Les indicateurs de r alisation pourront tre le nombre d heures de cours stagiaire ou le nombre de travaux de groupe organis s e Les r sultats il s agit de ce qu a produit la structure la fin de son action Les r sultats sont directement imputables l action Ce niveau correspond aux ob
202. s activit s et services existants D veloppement e Mise en place d un syst me e Niveau de partenariat avec les e Synergie avec les autres activit s d une dynamique d animation nombre et type acteurs conomiques du territoire du territoire z de participants de r unions temps nombre nature intensit e Nombre et qualit des nouvelles economique Ba a Sia a et moyens mobilis s e Initiation de projets d int r t local activit s e Nombre et type de b n ficiaires de l action sur le territoire e Degr de participation aux instances du territoire Dimension environnementale Crit res Exemples d indicateurs Exemples d indicateurs Exemples d indicateurs d utilit sociale de r alisation de r sultat d impact Gestion e Nombre de participants e Evolution du nombre de m nages e Evolution du tonnage et protection des actions de sensibilisation pratiquant le tri s lectif de d chets tri s au tri s lectif des d chets e Mesures mises en uvre e Volume de r duction e Nombre d actions de diagnostic par les b n ficiaires suite de la consommation de flux conseil sur les conomies de flux au diagnostic conseil lectricit eau fuel de l environnement Sensibilisation e Quantifier le nombre et la r gularit Evolution du nombre de participants D veloppement qualitatif l environnement des participants par type d actions lors de manifestation sur des th mes et quantitatif de l
203. s d marches d valuation de l utilit sociale accompagn es par Culture et Promotion ou r alis es dans le cadre de l exp rimentation conduite par l Avise Cette liste n est bien s r pas exhaustive et les indicateurs ne peuvent tre repris en l tat Le choix d un indicateur est li l action observ e Ainsi selon le niveau examin un indicateur peut traduire un niveau de r alisation ou de r sultat c est pourquoi la r partition entre colonnes est sujette discussion REP RES ET M THODES Dimension conomique Crit res Exemples d indicateurs Exemples d indicateurs Exemples d indicateurs d utilit sociale de r alisation de r sultat d impact D veloppement e Nombre d accompagnements e Nombre d emplois cr s e Nombre et qualit d emplois de l emploi l emploi e Qualit des emplois cr s statut induits par l activit de la structure e Niveau des moyens mobilis s niveau de salaire conditions de pour la cr ation d emploi travail p rennit e Acquisition de nouvelles comp tences Cr ation e Niveau des moyens mobilis s e Augmentation du chiffre d affaires e Nombre de b n ficiaires des de richesse e Montant des investissements de la valeur ajout e activit s et services nouveaux et de services e B n volat et travail domestique e Nombre de nouveaux services cr s Niveau des richesses distribu es valoris s e Evolution du volume et de la qualit sur le territoire de
204. s et partenaires des associations de son r seau Il s appuie sur les crit res et indicateurs d finis au pr alable par ARDES La grille d entretien ne se pr sente pas de fa on lin aire mais reprend travers un sch ma l ensemble des questions aborder Celles ci peuvent tre trait es dans un ordre diff rent selon les interlocuteurs L ARDES a valu trois associations en menant des entretiens avec 5 ou 6 personnes par structure Les entrevues ont dur d une deux heures avec deux trois heures de traitement par la suite Une semaine de travail par association a t n cessaire L ARDES consid re que l ensemble s av re trop lourd pour que la d marche soit g n ralis e La mise en place d entretiens crois s entre les structures serait moins co teuse en temps et plus dynamisante pour le r seau Phase 6 Collecter les donn es L entretien n cessite de d finir l chantillon des personnes interrog es qui devra tre repr sentatif si les r sultats sont utilis s pour des extrapolations L interview s appuie sur un guide o sont pr cis es les questions essentielles aborder L objectif le cadre dur e confidentialit et l exploitation qui sera faite des r ponses seront pr cis s en d but de s ance la personne pour la mettre en confiance L entretien pourra donner lieu un compte rendu ventuellement soumis la personne interrog e Une grille de d pouillement permettra l ana
205. s inscrit l approche de la d marche d valuation d utilit sociale dans un contexte plus global d ouverture de d mocratisation et de d veloppement des pratiques qui se diversifient au service d objectifs et d acteurs vari s loi relative aux lois de finances valuation des programmes europ ens pratique des collectivit s locales notamment les R gions e Un enjeu important dont doivent se saisir les acteurs de l conomie sociale et solidaire Aujourd hui les orientations concernant la d finition de l utilit sociale se d terminent en partie au Minist re de l conomie des Finances et de l Emploi notamment travers les instructions fiscales qui encadrent l activit des associations Les acteurs de l conomie sociale et solidaire se saisissent du sujet se l approprient et s engagent dans des d marches de construction d indicateurs en associant les acteurs publics nationaux et locaux Dans un contexte de nouvelles orientations pour les collectivit s pour l tat et pour l Europe volution des financements associatifs demande croissante de crit res d valuation des projets financ s LOLF question des SSIG chaque jour en effet s affirme davantage le besoin d outils permettant de mieux rendre compte au del de l activit conomique de l impact social environnemental et soci tal des structures de l conomie sociale et solidaire notamment associatives 13 Le rapport Deleau pr cise
206. s missions sociales et orientation manag riale des politiques publiques C est pourquoi l valuation d actions publiques entre les deux partenaires d coule d un dialogue politique pr alable sur les objectifs conventionn s et leurs conditions concr tes de mise en uvre financement du fonctionnement part consacr e l valuation attendus etc Des exp rimentations locales contr l es et accompagn es par les instances associatives pourraient d terminer une demande co construite d valuation de l utilit sociale des actions entre l association et les pouvoirs publics Peut on au del des cadres exp rimentaux imaginer une g n ralisation d un tel outil Aurait il vocation certifier voire labelliser les associations valu es Anticiper l avenir pour ne pas se tromper d objectif Les exp rimentations men es sur l valuation de l utilit sociale montrent toute la pertinence d une d marche r flexive de l association pour des r sultats concrets en termes de pilotage et d am lioration de ses r sultats socio conomiques De fait l valuation de l utilit sociale n appara t pas g n ralisable comme un nouveau r f rentiel qualitatif et quantitatif comme une nouvelle norme g n rale En effet d une mani re conceptuelle la reconnaissance de l utilit sociale n existe aujourd hui que dans un cadre fiscal elle participe l appr ciation du caract re non
207. s parties prenantes permettant de d gager ce que chacun attend de l autre reposant sur la construction d indicateurs certes quantitatifs mais surtout aptes d velopper une analyse qualitative est tr s vite apparue comme un des piliers de ce nouveau mode de partenariat C est ce qui a conduit la DIES la production du guide d valuation figurant en annexe de la circulaire du 1 d cembre 2000 relative aux conventions pluriannuelles d objectifs entre l tat et les associations Cette m thode permet notamment de d gager ce qui est commun l int r t g n ral tel que reconnu par les pouvoirs publics et aux projets associatifs tout en s parant et en respectant ce qui est propre chacun C est un outil indispensable pour permettre un bon usage des fonds publics respectueux du projet associatif Ce guide pratique n cessite aujourd hui d tre r vis pour tenir compte des travaux qui ont t publi s depuis lors y compris ceux r alis s dans le cadre de la recherche action qui a donn naissance au pr sent guide Ces outils sont donc des pierres suppl mentaires venant compl ter la construction de ce grand chantier qu est l valuation de l utilit sociale des associations La nouvelle D l gation interminist rielle l innovation l exp rimentation sociale et l conomie sociale DIIESES entend continuer y prendre toute sa place Qu est ce que l utilit sociale Vous vous demandez
208. s projets r currents de labellisation visent clarifier cette notion Elle aura d autant plus de poids qu un accord se construira sur sa d finition entre les acteurs de l ESS les pouvoirs publics et plus largement la soci t Cette co construction est une reconnaissance de la l gitimit et de la capacit de la soci t civile d finir ce qui est utile Les acteurs de l ESS peuvent tre force de proposition aupr s des pouvoirs publics pour s accorder sur une d finition commune Les travaux sur l valuation de l utilit sociale contribuent cette co construction en faisant merger des indicateurs lls participent l mergence d une convention sociopolitique sur la question l valuation s est beaucoup d velopp e depuis une vingtaine d ann es mais demeure notamment en France entre les mains des pouvoirs publics Elle reste trop souvent cantonn e l valuation de l action publique Les citoyens y sont peu associ s et les acteurs du tiers secteur Voir d finition p 41 ne se sont pas appropri ces d marches Chacun a pourtant une totale l gitimit participer la d finition de ce qui est utile la soci t puisqu il en fait partie et est en ce sens concern Une valuation qui associe les citoyens la d finition de l utilit sociale est un acte qui reconna t la citoyennet de chacun et chacune quelle que soit sa position dans la soci t Chacun peut porter un jugement sur ce qui est utile soc
209. s quelle mesure produit on de l utilit sociale Moins la formalisation sera pr cise et plus la d marche d valuation sera difficile cadrer L exp rience des autres E EEEE EESESESEFEEFE EFEFEF FEEFE FEFEFE FEE FEFFE FEFEFE ESEEESEEE association Vieillir Autrement a d fini son utilit sociale comme tant de cr er du lien social entre personnes d ge et de culture diff rents Elle a choisi d valuer une action d accompagnement sur la mise en place d un r seau d changes r ciproques de savoirs Sa question valuative tait donc En quoi l accompagnement de la mise en place d un r seau d changes r ciproques de savoirs contribue la cr ation de lien social entre personnes d ge et de culture diff rents ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Elaborer les crit res et indicateurs CONSTRUIRE LE CADRE DE R F RENCE DE L VALUATION L utilit sociale identifi e constitue la r f rence de l valuation Pour tre valu e elle a besoin d tre d clin e en crit res observables qui traduisent au mieux ses diff rentes dimensions et les valeurs auxquelles l valuation se r f re Ces crit res seront ensuite mesur s l aide d indicateurs Construire les crit res et indicateurs D finir les crit res et indicateurs d valuation Le r f rentiel comprend un ensemble de crit res et d indicateurs qui d crivent l utilit sociale de la structure
210. sation et un planning de r partition des t ches s imposent La mise en place du dispositif exp rimentation des outils de collecte l harmonisation des donn es auront besoin d un temps de rodage LECCROIOIO b Evaluer c est d abord se poser des questions e Pourquoi valuer e Pour qui e Que cherche t on L valuation peut r pondre diff rents objectifs allant de l appr ciation de l efficacit de l action au renforcement de la d mocratie interne La m thode et les outils d valuation seront choisis en fonction des objectifs La mise en place d une d marche d valuation doit tenir compte des objectifs du contexte et des conditions mat rielles L objet d valuation est l utilit sociale et non une action Les champs de l valuation d pendront des objectifs d valuation gt D finir l utilit sociale avec les parties prenantes du projet comporte une dimension strat gique Le choix des personnes des structures et des m thodes d animation du d bat n est pas anodin La participation de diff rentes parties prenantes permet d avoir une vue d ensemble de l utilit sociale de la structure La participation des partenaires et des usagers la d marche d valuation est une donn e essentielle pour l valuation de l utilit sociale ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Construire l utilit sociale CONSTRUIRE L UTILIT SO
211. sement Il pourra par exemple s agir de lieux d expression culturelle pour favoriser la cr ativit de chacun de lieux d coute pour exprimer un mal tre vacuer un stress Par exemple Ateliers d arts plastiques groupes de paroles victimes de la route violences notamment conjugales structures favorisant la pratique amateur Salle de r p tition de musique Les diff rentes dimensions de l utilit sociale Dimension conomique D veloppement Cr ation de richesses Dimension sociale de l emploi et services _ Co ts pargn s Dynamique conomique Egalit des chances la soci t territoriale z ai Dimension soci tale D veloppement de la capabilit AT et de l autonomie Lien social Citoyennet et quit sociale L utilit sociale d mocratie locale entre les territoires _ Diversit culturelle Dimension environnementale Dimension politique y Dimension Innovation Aiguillon Renforcement d panouissement de l esprit critique ducation l environnement Pratiques transversales Cadre et Expression Capacit s conditions de vie et capabilit Des dimensions non exclusives Toutes ces dimensions de l utilit sociale ne sont videmment pas exclusives les unes des autres Elles viennent souvent se compl ter ce qui accro t d autant leur efficacit Qu est ce que l utilit sociale Les diff rentes formes de production de l utilit sociale D finition R sult
212. si l objet de l tude ne constitue qu une partie des objectifs c est avec les m thodes employ es que devient effective l utilit sociale Le centre culturel l ESPAL du Mans propose une programmation culturelle classique de qualit Contrairement aux centres de cette nature il se situe dans un quartier p riph rique regroupant une population faible niveau de revenu fr quentant peu les lieux culturels classiques L ESPAL met en place des actions de sensibilisation de la population du quartier la culture et offre des facilit s d acc s aux spectacles financi res avec des tarifs r duits et organisationnelles avec des horaires adapt s aux habitudes des habitants du quartier Parfois le processus de production ou la mise en uvre des actions est d terminant pour l utilt sociale Ce n est pas l objet de l action ou les r alisations qui contribuent l utilit sociale mais la conduite de l action son processus de production L action peut devenir un support pour d velopper des pratiques cr atrices d utilit sociale Si les m thodes sont bien en phase avec l objet de l action l utilit sociale s en trouve renforc e L utilit sociale l articulation de diff rents champs diff rentes pratiques Les politiques publiques sont rarement transversales mais plut t segment es par secteurs d action ou de comp tences tel service finance l action conomique tel autre l environne
213. souligne le soup on de concurrence d loyale alors que les lus s interrogent sur la l gitimit et la repr sentativit associatives Ainsi l opinion publique comme les pouvoirs publics sont devenus plus exigeants sur le contr le de l affectation des fonds publics Il est alors apparu que le seul statut ou la seule obligation de moyens ne pouvait servir de mode d valuation des associations alors que les indicateurs d utilit conomique mesurant en termes quantitatifs les r sultats de l action associative apparaissent trop r ducteurs En effet ils gomment d une part la nature relationnelle des services associatifs donc les apprentissages li s leur construction et d autre part leurs impacts indirects en termes d externalit s ou de co ts vit s C est pourquoi les associations r ticentes dans les ann es 1980 se voir imposer par la puissance publique des mesures d valuation de leur utilit sociale doivent aujourd hui s emparer de cette d marche en la consid rant dans une perspective plus large que le seul maniement d outils Elles doivent la fois pouvoir argumenter quand l utilit sociale o l utilit collective est invoqu e par les administrations loi de coh sion sociale certains contrats aid s statut de la SCIC et surtout consid rer le travail sur cette notion comme un processus de r flexion interne et de n gociation externe En interne la r flexion collective
214. sponsables A un niveau plus directement op rationnel on a vu comment l auto valuation peut constituer un moment privil gi dans la vie d une structure tant pour la confrontation entre son projet et ses pratiques que pour ses rapports son environnement ses membres et ses partenaires Mais ce guide n a aucunement la pr tention de clore les d bats sur l utilit sociale sa d finition et les moyens de l valuer Modeste pierre l difice il s inscrit dans une dynamique plus large visant la prise en compte des apports sp cifiques de l conomie sociale et solidaire dans l animation et le d veloppement des territoires Il peut trouver en particulier des prolongements dans deux chantiers ouverts mais sur lesquels beaucoup reste faire l valuation partag e entre acteurs d utilit sociale et pouvoirs publics d une part la mesure des co ts vit s d autre part Alors que sous la pression de la LOLF en particulier montent rapidement en puissance les exigences des pouvoirs publics en mati re d indicateurs de r sultat la question de l valuation partag e prend un caract re d urgence Face une d marche d valuation sens unique privil giant les indicateurs quantitatifs plut t que qualitatifs pour laquelle les fronti res entre valuation et contr le restent pr ciser les acteurs de l conomie sociale et solidaire peuvent tre force de proposition pour aller vers une valuat
215. st dire regrouper les diff rentes parties prenantes du projet Ces valuations concernent g n ralement des politiques publiques programmes d action ou de grands projets Elles sont traditionnellement r alis es en d but de projet diagnostic initial mi parcours et en fin de projet Elles ont g n ralement pour objectif d aider les pouvoirs publics dans la prise de d cision quant aux orientations poursuite o fin des politiques L valuation interne est une d marche pilot e et conduite par la structure elle m me Les acteurs sont parfois accompagn s dans cet exercice par une personne ext rieure porteuse d une expertise m thodologique et d un regard ext rieur L valuation est r alis e partir d un r f rentiel construit par les acteurs mais qui peut aussi tre d l gu e un consultant L auto valuation est men e par la structure ou les acteurs charg s de la mise en uvre de l action valuer Ce sont ces acteurs qui collectent les donn es les analysent et en tirent des conclusions Cette approche m le g n ralement le suivi de l action et son valuation et se d roule parall lement l action Elle peut tre participative lorsqu elle cherche associer toutes les parties prenantes de l action L auto valuation s applique souvent des projets partenariaux et traduit la volont des acteurs de suivre le projet pour mieux le piloter et se former chemin faisant Les d marches p
216. sur utilit sociale de l association peut tre une formidable occasion de re d battre sur le projet associatif Comme objet de discussion elle permet de confronter les conceptions personnelles ou cat gorielles pour r examiner le compromis n cessaire la mise en uvre du projet Le d bat sur le choix des crit res d valuation et des indicateurs de mesure peut aider expliciter les repr sentations des diff rents acteurs et red finir les objectifs communs permet galement de redonner de la coh rence des activit s qui ont tendance tre d velopp es s par ment en r interrogeant les priorit s et les moyens mis en uvre Cette r flexion oblige galement distinguer ce qui rel ve des objectifs imm diats dont il convient d valuer les r sultats court terme des effets induits positifs et n gatifs tout en reconnaissant la difficult de bien distinguer les interactions et les interd pendances avec d autres intervenants Elle devrait aussi aider l association se positionner comme acteur du d veloppement local plut t que de s enfermer dans la simple prestation de service en valorisant son r le sociopolitique en termes d aspirations la citoyennet c t de ses activit s socio conomiques en termes de r ponse des besoins sociaux C est pourquoi en externe l valuation de l utilit sociale vise tre un vecteur de valorisation et de reconnaissance m me si l
217. t chapitre 7 Jean Gadrey L utilit sociale en question ditions La D couverte octobre 2006 5 Voir le rapport de Viviane Tchernonog Ressources financements publics et logiques d action des associations XVI colloque de ADDES juin 2001 Les enjeux soci taux de l valuation de l utilit sociale il n est donc pas tonnant qu elle devienne de plus en plus un des l ments centraux de la reconnaissance par les pouvoirs publics La D l gation interminist rielle l conomie sociale DIES qui a t associ e aux travaux du CNVA de 1995 et 1996 et qui a jou un r le de m diation interadministratif et interassociatif dans le cadre de la mise en uvre des nouveaux textes relatifs la fiscalit associative a compris tr s vite que le concept d utilit sociale d passait largement la question fiscale Elle en a donc fait un des axes majeurs des travaux de recherche qu elle a financ s ces derni res ann es et a mis cette notion au c ur du d veloppement des conventions pluriannuelles d objectifs CPO comme moyen d assurer un partenariat durable entre pouvoirs publics et associations Pour construire un partenariat durable il faut travailler l tablissement de relations bas es sur une confiance mutuelle et sur une connaissance des logiques et contraintes r ciproques pouvant aboutir une culture commune La mise en uvre d une valuation partag e associant les diff rente
218. t le statut associatif comme les associations para commerciales o para administratives C est le r le de crit res comme la primaut du projet sur l activit ou l existence d agr ment Mais il souhaitait galement distinguer les associations des entreprises en posant des crit res l gaux pour les associations comme la non lucrativit et la gestion d sint ress e La question pratique qui suit est donc Qui peut d finir l utilit sociale La r ponse a priori est tout le monde chacun est l gitime pour dire ce qui est utile la soci t puisqu il en fait partie Sous r serve bien s r de conna tre le territoire et les activit s de la structure concern e Par exemple Pour la d finition de l utilit sociale d une association il est pertinent d y associer les b n voles et les salari s quelle que soit leur place dans l association mais aussi les usagers les partenaires financiers et techniques La d finition de l utilit sociale d une structure requiert un temps o les diff rents acteurs associ s la d marche s entendent sur son contenu Chacun peut avoir une perception qui lui soit propre selon la position qu il occupe et ses priorit s Dans la d finition commune certaines des dimensions qui la composent peuvent para tre plus s duisantes que d autres La diversit des parties engag es dans la discussion ainsi que le contexte sociopolitique et ou interne la structure dans
219. t sociale a finalement t adopt e comme le nouvel objet de l association et les statuts qui n avaient pas t revus depuis de nombreuses ann es ont t mis jour lors de l assembl e g n rale Une fois les finalit s de la structure et ses objectifs pr cis s il devient alors possible de positionner les diff rentes actions men es en fonction de ces objectifs Cela s av re particuli rement pertinent pour des structures qui ont connu un fort d veloppement de leurs activit s et qui ont perdu le sens g n ral de leurs actions Mieux articuler les finalit s les objectifs et les actions de la structure Retrouver ce couple finalit objectif int resse galement des structures qui ont d avoir des activit s alimentaires pour des raisons conomiques et qui souhaitent se repositionner Le simple questionnement du lien entre finalit s objectifs et actions permet parfois de red finir la strat gie de la structure L utilit sociale sort renforc e par une meilleure ad quation entre les actions et les objectifs Enfin valuer peut servir faire des choix entre diff rents types d action et permettre d optimiser les moyens disponibles pour contribuer au mieux aux finalit s ETAPE 1 COMPRENDRE AVANT D AGIR L exp rience des autres A EEES ESEEE FEEFFE E FEFEFE FFES EFEFEF EFFEEFEE FEFEFE SEESESEEE L Association marnaise d aide la jeunesse Foyer de jeunes travailleurs s interrogeait su
220. t aussi passer par des actions plus revendicatives qui interrogent ou remettent en cause la soci t ou a minima certaines de ses composantes Cette fonction peut s exercer dans des actions militantes dans la participation des groupes de travail avec les pouvoirs publics des groupes d influence Par exemple Actions d associations militantes concernant le sida les OGM la lutte contre le ch mage e Le renforcement de l esprit critique Renforcer la capacit d analyse et l esprit critique de la population contribue faire voluer la soci t L objectif est de permettre chacun de se faire sa propre opinion C est par exemple l une des fonctions cl s de l ducation populaire e La promotion de valeurs d int r t g n ral La promotion de certaines valeurs contribuant l int r t g n ral est d utilit sociale La nature de ces valeurs peut faire l objet de discussions en fonction du mod le de soci t port par chacun Il s agira ici notamment de faire voluer les repr sentations Ces valeurs peuvent tre transmises par un message mais galement par des pratiques Par exemple Promotion de la logique collective travers des m thodes favorisant le travail de groupe promotion de l galit entre les femmes et les hommes promotion de l esprit d entreprise de l esprit d quipe Une dimension environnementale respecter l environnement Le respect de l environnement a une utilit sociale
221. t plus facile que dans les valuations r alis es ponctuellement Cependant comme dans les valuations externes il sera n cessaire de prendre un temps de recul sur l action pour analyser les donn es et en tirer des enseignements L auto valuation permet aux structures qui la mettent en uvre de s approprier un outil qui pourra leur tre utile diff rents niveaux en se formant l outil elles renforcent leurs capacit s de r flexion et d action Cependant c est un outil complexe mettre en uvre pour plusieurs raisons e l valuation requiert un minimum de m thode et de rigueur pour tre efficace e elle n cessite une prise de recul difficile lorsqu on est dans l action e portant sur l utilit sociale elle implique de d mystifier cette notion et de la rendre op rationnelle Pour ces diff rentes raisons il semble pr f rable de se faire accompagner dans ce type de d marche par un tiers ext rieur L ensemble des cas pr sent s comme exemples dans ce document a b n fici d un accompagnement Phase 3 Poser le cadre d une valuation Les diff rents temps de l valuation d une action L auto valuation se d roule tout au long de l action et se poursuit si possible au del de mani re prendre en consid ration ses impacts Les valuations classiques se d roulent des p riodes sp cifiques e Avant le d but de l action c est l valuation ex ante Elle a pour objectif
222. te approche peut galement valoir pour des groupes des territoires des peuples dans leur capacit choisir librement et collectivement le mode de d veloppement qu ils souhaitent L galit des habitants entre les territoires les pays l galit des habitants entre les territoires et les pays recherche un quilibre plus juste entre ceux ci On int grera ici des actions sp cifiques men es dans des zones souffrant de fortes in galit s notamment sociales quartiers difficiles zones rurales en voie de d sertification pays du Sud rencontrant de graves difficult s sociales La lutte contre les in galit s est au c ur des activit s de certaines associations secteur social solidarit internationale mais elle peut galement tre un objectif secondaire o un effet induit pour d autres structures Une dimension soci tale faire soci t Il y a une utilit sociale renforcer ce qui fait qu un ensemble d individus constitue une soci t Cette coh sion concerne les liens qui existent entre les personnes groupes de personnes et les modes de fonctionnement du collectif Cette dimension comprend trois axes D finition e Le lien social Cet axe a trait notamment la cr ation de r seaux de proximit aux m canismes d entraide aux pratiques solidaires Capital social densit et intensit des liens personnels dont les individus ou les groupes disposent en tant que ressource Le lien social
223. tions des dimensions de l utilit sociale Une parmi d autres compos e de six th matiques e la dimension conomique e la dimension sociale e la dimension soci tale e la dimension politique e la dimension environnementale e la dimension d panouissement Fiche N 2 Les crit res 1 00 m thode et les indicateurs f Cette dimension n est pas sp cifique l ESAMMEER ARETE Ces acteurs comme d autres contribuent d velopper la richesse conomique d un territoire d un pays en d veloppant l emploi en favorisant la cr ation de richesses et de services en d veloppant une dynamique conomique sur un territoire o en pargnant certains co ts la soci t e D veloppement de l emploi L conomie sociale et solidaire constitue un champ conomique part enti re Elle repr sente pr s de 2 millions d emplois en France La cr ation d emplois a une utilit sociale On veillera cependant consid rer la qualit et la p rennit des emplois cr s L conomie sociale et solidaire peut galement contribuer indirectement l acc s l emploi ou la formation L existence de certains services peut avoir des retomb es conomiques en termes d emploi la cr ation d une cr che dont les tarifs sont accessibles tous peut permettre l un des deux parents voire aux deux de chercher du travail de se former ou bien d exercer son activit professionnelle Cr ation de r
224. tique approfondie sur l une des dimensions de l utilit sociale peut tre r alis e de mani re transversale toutes les activit s de l association o sur l un de ses champs d action D finir une proc dure pour les diff rents temps de l valuation Etablir la proc dure d valuation consiste d finir l organisation g n rale chaque tape le calendrier la r partition des t ches pour la mise en uvre Que l on soit sur le suivi valuation o sur des valuations ponctuelles un certain nombre d l ments sont d finir e Concernant l identification de l utilit sociale crit res et indicateurs e Qui participe e Qui formalise e Qui valide e Concernant la collecte de l information e Qui est en charge de collecter l information tous les salari s des b n voles e quel rythme La p riodicit de la collecte d information est pr ciser pour chaque type d information e Qui fait la synth se de l information collect e Sous quelle forme e Quand e Concernant l analyse e Qui r alise l analyse e Quels sont les temps d analyse e Comment sont ils formalis s e Concernant la construction d un point de vue partag e qui sont transmis les r sultats de l analyse e Qui participe la r flexion e quelle p riode effectuer ce travail e qui est il diffus e Sous quelle forme est il diffus Pour chacune des phases un calendrier de r ali
225. tiques ou des hypoth ses clarifier des nonc s e Conseiller renvoie la notion d expertise de contenus th matiques ou m thodologiques e Animer les racines tymologiques anima animare en pr cisent le sens donner la vie o donner du mouvement Accompagner peut rev tir plusieurs couleurs selon les rapports que l on souhaite installer Il est donc important de clarifier cette notion avant le choix d un tiers pour construire une relation de confiance entre la structure et l accompagnateur relation qui demeure le ciment d un accompagnement aidant et structurant L accompagnateur a plusieurs fonctions e Ma euticien et r v lateur il aide les participants accoucher de leur analyse par un jeu de questions et une fonction de miroir e Expert il apporte les l ments de m thode ainsi que les outils issus de sa pratique e Regard ext rieur et d cal il peut recadrer une discussion signaler des oublis majeurs pr venir des analyses orient es et ouvrir de nouveaux champs de r flexion e Aiguillon il pose des questions qui peuvent d ranger la structure tant ext rieur aux enjeux il peut mettre en d bat des l ments qu elle n ose pas aborder et la pousser au besoin dans ses retranchements L ensemble de ces fonctions ne requiert pas pour le groupe technique valuation un m me niveau d int r t d implication certaines seront plus pr gnantes que d autres selon la probl matique les
226. tre l ment visuel facilitent la compr hension Is peuvent constituer une accroche qui va inciter le destinataire lire un passage d veloppant le sch ma lls peuvent galement servir de guide de lecture dans un rapport Le format r dactionnel n est pas obligatoire Des supports multim dias ou un simple diaporama permettent de pr senter des r sultats de mani re plus attrayante La pr sentation du contenu et des r sultats de l analyse laissera la porte ouverte la discussion ne s agit pas d ass ner la v rit mais de proposer des analyses qui pourront tre discut es La pr sentation peut donc comporter des questions qui inciteront les participants la r flexion Organiser le d bat Les r sultats de l analyse seront d battus lors d une r union avec les diff rentes parties prenantes Celle ci pourra d buter par un rappel des objectifs de l valuation de la question valuative et ventuellement de la m thode Les conclusions seront ensuite pr sent es et comment es Des questions pourront tre soulev es au cours de la pr sentation pour favoriser le d bat la suite de cette pr sentation un d bat sera anim sur ces conclusions Il pourra commencer par des questions r ponses afin de pr ciser certains points Il est souhaitable que le d bat porte sur un petit nombre de points cl s pour permettre un change approfondi avec une large participation L animateur veillera scrupuleusement la dis
227. tre les diff rentes parties prenantes Le jugement ne se limite pas un contr le de conformit ou de r ussite C est une v ritable concertation qui s installe ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Ces quatre temps ne se d roulent pas de mani re lin aire Les diff rentes tapes peuvent se chevaucher Ainsi la phase de cadrage de la d marche peut avoir lieu apr s o pendant la r flexion sur utilit sociale Les outils de collecte peuvent tre compl t s chemin faisant les premi res analyses peuvent faire appara tre la n cessit de nouvelles observations O OUTIL N 9 Exemple de calendrier d une d marche d valuation La d marche doit galement rester souple pour s adapter aux volutions du contexte nouvelles donn es nouveaux acteurs intervenant dans l valuation impr vus dans la conduite des activit s D terminer le champ de l valuation Le champ de l valuation constitue le p rim tre de ce qui sera observ durant la d marche Il peut tre d fini avant ou apr s la phase de construction de l utilit sociale Le choix du champ de l valuation d pend en grande partie des objectifs vis s I pourra s agir d une action d un champ d action ou de l ensemble des activit s et du fonctionnement Ainsi une action ou un champ d action pourra tre retenue parce qu elle fait l objet d enjeux particuliers ou qu elle est repr
228. tribution de la parole surtout si la r union rassemble des personnes de statuts tr s diff rents partenaires publics personnes en insertion Il peut tre int ressant pour permettre un d bat plus approfondi d organiser au sein de la r union des petits groupes de travail Par exemple Les groupes de travail changent entre eux autour de quelques questions propos es par l animateur Vingt minutes sur chacune des questions pos es suffisent De retour en pl ni re un animateur rapporteur dresse le bilan des points abord s par le groupe en cinq minutes et un d bat peut s engager Trois ou quatre groupes peuvent ainsi changer simultan ment Phase 8 Construire un point de vue collectif Construire un jugement de valeur partag et tirer des enseignements Pour parvenir un jugement de valeur partag il ne s agit pas de rechercher tout prix un consensus sur l ensemble des points valu s Il s agit plut t d mettre un avis collectif sur les jugements partag s par l ensemble de participants et de mentionner les points de vue qui ne font pas l unanimit Le jugement de valeur partag fait r f rence aux questions valuatives La construction du jugement partag passe par l expression de tous les participants et doit garantir une gale prise en consid ration de chaque avis ind pendamment des personnalit s de chacun Chacun doit pouvoir se prononcer sur diff rents points de conclusion de l va
229. ts dans ce domaine B n fices Donner une lisibilit des projets d conomie sociale et solidaire Pourquoi se lancer dans une d marche d valuation de l utilit sociale La d marche d valuation de l utilit sociale vient renforcer le discours sur le positionnement de la structure Elle l alimente avec des l ments concrets mais surtout gr ce une approche cliarifi e des finalit s et valeurs port es par la structure Affirmer son positionnement Elle limite aussi les risques d instrumentalisation ou d auto instrumentalisation des associations Sans objectif clairement affirm en termes d utilit sociale les associations peuvent parfois reprendre leur compte les objectifs de leurs partenaires financiers sans en avoir v ritablement conscience avec pour cons quence un risque de dilution de leur identit La d marche d valuation peut associer la structure et ses partenaires la phase de d finition de l utilit sociale La structure d finit ce qui lui semble tre son utilit sociale souvent au regard de ses finalit s puis elle associe ses partenaires afin d arriver une d finition partag e Co construire pour une vision globale de la structure Pour la structure il ne s agira pas d int grer dans ses finalit s les dimensions de l utilit sociale avanc es par ses partenaires mais de prendre en consid ration d autres dimensions de son apport la soci t Cette d march
230. uation rigoureuse affermira leur disposition aider les entreprises solidaires leur ouvrir au del des subventions les march s publics en utilisant les clauses sociales ou d insertion Pour les entreprises classiques la connaissance de ces pratiques l appr ciation de leurs r sultats est une source d exemple Elle est une base de recherche d veloppement pour les DRH une voie de recrutement par une vision plus claire des m thodes de formation employ es Elle n int resse pas moins les syndicats de salari s attentifs aux clauses d rogatoires du droit du travail et dont les r actions sont positives d s lors qu elles reconnaissent le r le et l effet d un accompagnement sp cifique L valuation est enfin indispensable aux entreprises solidaires elles m mes et leurs salari s pour clairer leur choix corriger de possibles d rives ou des insuffisances d cider en connaissance de cause des orientations tous ces titres l valuation met en lumi re sur des crit res incontestables un secteur de l conomie dont les effets sp cifiques ont besoin d tre reconnus 000000000000 000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 0000 Philippe Chesneau Vice pr sident du Conseil r gional Provence Alpes C te d Azur De plus en plus de collectivit s territoriales s interrogent sur la fa on de prendre en compte la cr ation de richesses autres qu cono
231. ublique CERTU Dossier 158 Minist re de l quipement des transports de l am nagement du territoire du tourisme et de la mer mai 2004 e COMMISSION EUROPEENNE valuer les programmes socio conomiques Concevoir et conduire une valuation volume 1 coll MEANS Office des publications officielles des Communaut s europ ennes Luxembourg 1999 e COMMISSION EUROPEENNE valuer les programmes socio conomiques Principales techniques et outils d valuation volume 3 coll MEANS Office des publications officielles des Communaut s europ ennes Luxembourg 1999 DELEGATION INTERMINISTERIELLE A L INNOVATION A L EXPERIMENTATION SOCIALE ET A L ECONOMIE SOCIALE Guide de l valuation Circulaire du 1 d cembre relative aux conventions pluriannuelles d objectifs entre l Etat et les associations 2002 e ESTRELLA Marisol dir L valuation et le suivi participatifs Khartala 2004 e MONNIER Eric L valuation de l action des pouvoirs publics Economica Paris 1992 e PERRET Bernard L valuation des politiques publiques La D couverte coll Rep res 2001 e VIVERET Patrick Les outils de l intelligence collective et de l valuation L valuation en d veloppement La Documentation fran aise Paris 1992 ADDES pe AMAP CEDAG CELAVAR CEP CMAF lt Associations et Fondations CJD CJDES CNFPT CNIAE CNVA CPCA CPO DAP DDASS DDJS DDTEFP DII
232. ue ducation populaire sport animation en milieu rural un faisceau de neuf indices communs permettant de d terminer la contribution d une association l int r t g n ral e principes et valeurs d finis dans un projet associatif non r mun ration du capital non recherche du profit et r investissement des exc dents dans la r alisation du projet e volont de maintenir ou de cr er du lien social projet de transformation sociale e b n volat engagement volontaire engagement ducatif promotion de la citoyennet active dans un espace de co construction avec des partenaires e dialogue avec les partenaires publics dans le respect de la l gitimit de chacun transparence financi re e fonctionnement et gestion d mocratiques Les travaux de la CEP CMAF Conf rence europ enne permanente des coop ratives mutuelles associations et fondations vont dans le m me sens pr conisant aussi cette m thode du faisceau d indices qui consiste tablir une liste de crit res dont on v rifie s ils sont remplis de mani re significative sans qu il y ait obligation de respecter leur int gralit Les associations ont d velopp des activit s de services pour la r alisation de leur objet social Ces activit s sont consid r es dans le droit communautaire comme des activit s conomiques et d ailleurs les associations les revendiquent comme telles mais avec des sp cificit s Les associatio
233. ues Si au vu de la richesse de ce d bat il ne peut tre question ici de s arr ter sur une d finition unique de l utilit sociale on citera toutefois titre d illustration celle retenue par l conomiste Jean Gadrey Est d utilit sociale l activit d une organisation de l conomie sociale qui a pour r sultat constatable et en g n ral pour objectif explicite au del d autres objectifs ventuels de production de biens et de services destin s des usagers individuels de contribuer la coh sion sociale notamment par la r duction des in galit s la solidarit nationale internationale ou locale le lien social de proximit la sociabilit et l am lioration des conditions collectives du d veloppement humain durable dont font partie l ducation la sant l environnement et la d mocratie Dans l ensemble de ces r flexions un th me en particulier merge ces derni res ann es celui de l valuation de l utilit sociale constitue en effet un enjeu majeur pour les diff rentes cat gories d acteurs impliqu es dans cette probl matique pour les porteurs d activit s d utilit sociale qui voient l une reconnaissance de leur plus value sociale mais aussi une mise en perspective de leur projet pour les pouvoirs publics tat et collectivit s territoriales qui cherchent appr cier l efficacit des moyens mis disposition voire en contr ler l usage pou
234. ui est utile aujourd hui ne le sera peut tre pas demain Par exemple L utilit sociale des ducateurs de rue ne sera pas la m me dans tous les quartiers dans les villes ou dans les campagnes La d finition de l utilit sociale d pendra donc des valeurs et du contexte propres la soci t au territoire l organisation o au groupe de personnes concern es ETAPE 1 COMPRENDRE AVANT D AGIR Focus Une distinction entre l utilit sociale et les finalit s de la structure D finition Finalit s tat id al souhait qui r f re souvent des valeurs Une action permet d y contribuer mais ne permettra pas de l atteindre pleinement Utilit et utilit sociale l origine le mot utilit est li l utilitarisme lui m me li une vision conomiciste et individualiste du fonctionnement social La valeur accord e est ce qui est utile aux individus ce quoi ils sont pr ts donner un prix soit pour l acheter directement sur un march soit sous forme d un prix fictif et d un consentement payer plus d imp ts Cette conception est souvent celle qui sous tend les valuations conduites par les conomistes cf la notion anglo saxonne de value for money Parler d utilit sociale c est d abord souligner implicitement l insuffisance de cette vision Certaines valeurs n existent pas seulement au niveau de l individu Des l ments d un bien tre social
235. uire un projet adapt son contexte et ses objectifs en exploitant Les nombreux outils et exemples mis disposition Ing nierie et services pour entreprendre autrement Avise des acteurs s engagent pour l emploi et l innovation sociale GROUPE CAISSE D EPARGNE qec L cer _ COOPERATIF L O FRANCE ACTIVE I FONDATION E fonda fil ia F4 PT MACIF pe MACIF SCOP Groupe ESFIN IDES m tri Fa ISBN 978 2 908334 51 7 UNION EUROP ENNE Prix public TTC 28 Fonds social europ en Avise 167 rue du Chevaleret 75013 Paris T l 01 53 25 02 25 Fax 01 53 25 02 20 contactfdavise org www avise org
236. uniquer valuer son utilit sociale permet de la rendre visible et donc d tre mieux en capacit de communiquer sur ses sp cificit s et plus largement sur sa contribution la soci t L objectif terme est bien videmment de la faire reconna tre et ventuellement financer Rendre visibles les articulations entre les actions complexes Cet enjeu est particuli rement important pour des structures dot es de nombreuses activit s qui se compl tent pour r aliser l utilit sociale L valuation permet de mettre jour les articulations entre les diff rentes actions de visualiser les liens entre l utilit sociale les objectifs les actions et les moyens La r alisation d arbre d objectifs qui pr sente l articulation logique entre les objectifs et actions de la structure permet par exemple de bien visualiser ces liens La mise jour des liens entre les diff rentes activit s est galement int ressante quand une structure fonctionne avec l appui de nombreux partenaires financiers Chacun a ses priorit s et ses indicateurs d valuation en fonction de ses domaines d intervention Tous ont une vue parcellaire de l utilit sociale de la structure la d marche d valuation la donne voir dans sa globalit L exp rience des autres A E E E T Le p le de services port par l association Agate Paysages rencontrait un probl me de lisibilit de son action tant au niveau des lus des partenaires financiers
237. utissent la d finition de crit res Phase 4 Construire l utilit sociale Comment aborder l utilit sociale L exp rience des autres EEEE ZEEEEEFEEZEFFEESEFFSEEEEFEFFEEFEESEEF EFEFEF SEEEESEEEE Ouvrir une r flexion sur l utilit sociale de la structure Cinq structures de m diation sociale ont labor ensemble un r f rentiel de l utilit sociale en combinant une double approche e d ductive lors d une premi re journ e de travail les structures ont r fl chi sur leur utilit sociale e inductive dans un second temps les structures ont mis plat leurs activit s et les indicateurs qu elles utilisaient d ja Les l ments issus de ces deux r flexions ont permis d laborer un r f rentiel correspondant au mieux ce qu elles sont Les m thodes de d termination de l utilit sociale peuvent tre d ductives s appuyant sur une r flexion ou inductives s appuyant plut t sur des faits Ces deux approches peuvent bien videmment tre crois es Les approches pr sent es ci dessous ne sont que des exemples d autres restent imaginer Cette approche s appuie sur des questions simples e quoi servez Vous e D apr s vous quelle est votre utilit sociale Le vocabulaire sera adapt aux participants n est pas indispensable de parler d utilit sociale si le terme risque de g n rer des r ticences Les questions pos es ci dessus aux membres de la structure peuv
238. v rifi es aupr s de celle ci Cette approche peut tre compl t e par des entretiens ou questionnaires L exp rience des autres P RE CPE EC RP ER EE G La f d ration Loisirs pluriel regroupe des associations qui g rent des centres de loisirs accueillant des enfants valides et handicap s Le responsable de la f d ration a organis un s minaire de travail avec les directrices des associations locales Apr s avoir pr sent le concept d utilit sociale il a anim une s ance de travail consistant rep rer les diff rentes parties prenantes de la structure animateur administrateurs lus locaux parents partenaires financiers Les directrices ont exprim leur avis sur les apports de Loisirs pluriel pour chaque partenaire Cette d marche a permis aux directrices de prendre conscience des effets et de l utilit sociale de Loisirs pluriel On a ensuite synth tis les diff rents types d impacts pour parvenir un tableau de l utilit sociale 2 Il existe parfois certaines parties prenantes difficiles associer aux temps de construction collective de l utilit sociale C est le cas par exemple d usagers ponctuels d une structure ou d usagers consommateurs de services Des partenaires de la structure peuvent aussi ne pas tre disponibles le jour de la r union Les donn es recueillies viendront compl ter la r flexion conduite par ailleurs Il est pr f rable d effectuer ce travail en amont des temps
239. votre entreprise Pour vous quoi sert Triselec Quelle est son utilit ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE Poser le cadre de l valuation COMMENT VALUER D FINIR LA D MARCHE D VALUATION L valuation n cessite la mise en place d un dispositif avec diff rentes tapes et une organisation sp cifique Sa construction tiendra compte des contraintes et modes de fonctionnement de la structure Un choix de m thode l auto valuation accompagn e Pertinence de l auto valuation Int r ts et difficult s de l auto valuation La d marche d valuation d velopp e dans ce guide se r f re l auto valuation Dans cette approche l valuation est men e par la structure ou les acteurs charg s de la mise en uvre de l action valuer Ce sont ces acteurs qui collectent les donn es les analysent et en tirent des conclusions Fiche N 1 L valuation 1 D rep re pourquoi comment P3 Les acteurs sont parfois accompagn s dans cet exercice par une personne ext rieure poss dant une expertise m thodologique et un regard neuf sur l activit et sur le fonctionnement de la structure L auto valuation rel ve d une approche de suivi valuation c est dire que le travail d valuation s appuie sur le suivi de l action ou du champ valu Elle est effectu e chemin faisant parall lement l action La collecte des donn es es
240. x cerner les l ments cl s dans la production de l utilit sociale en identifiant les liens de causalit Elle permettra notamment d aborder toutes les questions qui ne rel vent pas strictement d une mesure Les donn es qualitatives fournissent galement des l ments concrets et pr cieux pour cerner la nature r elle des impacts v cus par des personnes Par exemple donner un taux de pr carit ne dit rien de la fa on dont vivent les personnes dans ces situations Un t moignage compl tera ici utilement un chiffre ETAPE 2 CONDUIRE UNE D MARCHE D VALUATION DE L UTILIT SOCIALE L analyse des donn es qualitatives s appuie g n ralement sur une r flexion inductive qui cherche tirer des enseignements des informations collect es Il existe cependant des m thodes pour tirer au mieux parti des donn es qualitatives L analyse de contenu permettra par exemple de d crypter des retranscriptions d entretiens L analyse de contenu Suite une s rie d entretiens semi directifs autour de th mes 10 au maximum une grille de d pouillement permet de reclasser chacun des discours selon les 10 th mes Pour cela une photocopie des discours est d coup e par th mes et replac e dans une matrice acteur th me Une lecture horizontale permet d identifier les acteurs porteurs du m me avis et ainsi de d gager des groupes Une lecture verticale permet de caract riser les diff rents avis des acteurs pour chacun de
241. xclusivement d di s l valuation de utilit sociale r guli rement enrichis et mis jour SUR LES SITES DE L AVISE www avise org us ET DE CULTURE ET PROMOTION www culture et promotion org E mu uo 00m dc e Une s rie d tudes de cas de structures ayant particip des d marches d valuation de l utilit sociale e Des outils pour vous aider dans la conduite de votre d marche e des exemples de r f rentiel de grilles de crit res et d indicateurs d chelle de notation e des outils d animation arbre d objectifs m thode des cartons abaque de R gnier e Des ressources documentaires pour vous permettre d approfondir votre connaissance des enjeux du sujet Toutes ces ressources t l charger et ou imprimer s inscrivent en compl mentarit de ce guide et sont signal es par l ic ne Consultez le sommaire complet des documents et outils propos s p 120 Pr face S il existe beaucoup d crits sur l utilit sociale les travaux et exp riences sur son valuation sont moins abondants Pourtant cette approche d valuation de l utilit sociale ne se diffusera et ne sera v ritablement appropri e que si elle est pratiqu e par un maximum d acteurs Les acteurs associatifs ne doivent pas attendre que les pouvoirs publics d finissent seuls les crit res de mesure ils doivent anticiper et d finir leurs propres crit res d valuation Pour ce faire il est n
242. xquelles l valuation se r f re Construire les crit res et indicateurs Le r f rentiel comprend un ensemble de crit res et d indicateurs qui d crivent l utilit sociale de la structure peut prendre la formes blaz les crit res et indicateurs pour chaque dimpfis Renvoi D finir les crit res Radisson oies Pa Pem De vers une et indicateurs valuer le lien social est en l tat inpossibj ll est n cessaire de pr ciser clairement autre partie d valuation les caract ristiques du lien social Ces derni res cog z du guide Renvoi vers des outils toraja les dimensions de l utilit sociale sont suf i i ni ifes consultables Les crit res d valuation mergent assez facilement au cours des changes sur l utilit voir Sommaire mn sociale L accompagnateur veillera les rep rer au fur et mesure des d bats des outils etour au il p 120 d exp rience ce des autres T e lustre 15S0CIAUS d insertion par l activit ne AET hat un a PENRE IMUSTre la bi tiers Elle envisage de l appliquer l ensemble de ses chantiers deux fois par an sur d marche M ie l de deux ans EE IRIS AIR POUR PERS STE Ce projet d valuation travers des cas concrets Sch ma i illustre et pog Fin du projet synth tise un e ESUS aspect de la d marche Auto valuation valuation _ valuation valuation valuation ex ante _mi parcours ex post des impacts Focus

Evaluer l`utilité sociale de son activité

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluer l`utilit&eacute; sociale de son activit&eacute;

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluer l`utilité sociale de son activité