Home

télécharger gratuitement

Contents

1. AP1_ 041 justice participation des ML de l Essonne Action Pour la REinsertion Sociale et Association Entrepreneurs et D veloppement AP1_ 067 professionnelle des personnes plac es sous main de justice APRES Jeunes AP1_348 Un pas dehors jeunes sous main de justice ML Le Mans AP1_ 457 Accompagner Vers l Emploi et Construire un ML Toulouse et ML de Haute Garonne prcours personnalis AVEC Th me Orientation d crochage AP1_173 Osons l galit Chambre de Commerce et d Industrie 22 AP1_ 274 Orientation active Acad mie d Aix Marseille Association Entreprendre ensemble g rant la AP1_ 299 De l universit l entreprise ML de Dunkerque AP1_ 492 Plateformes d crocheurs DASES Conseil G n ral CG de Paris Th me Alternance AP1_037 DEPAR Dispositif exp rimental de plateforme Fondation Apprentis d Auteuil pour une alternance r ussie AP1_112 Promotion de l apprentissage CNML coordination AP1_329 Champagne Alternance Association R gionale des Pr sidents de ML Th me Logement AP1_ 079 Plateforme Logement Jeunes 94 CG 94 D veloppement d un service M diation ML d Agen ML de Villeneuve sur Lot et ML de AP1_195 logement Marmande AP1 269 Agiloje Agir pour le Logement des Jeunes CNML coordination UNHAJ UNCLLAJ F d ration des PACT FAPIL Th me Microcr dit Centre Communal d Action Sociale CCAS de AP1_088 Microcr dit Grenoble AP1 411 Microcr dit CCAS de Besan on Th me Lutte contre la discrim
2. 47 II 2 Les entretiens aupr s des partenaires pour mettre en vidence les synergies et les A E EEEE A E da E E TT 48 II 3 Les entretiens aupr s des jeunes pour recueillir des r cits de parcours et leur p r eption des diSposSitifS riwni n nent Aa de AAE E 49 PARTIE 3 REFLEXIONS SUR LES CONDITIONS DE REUSSITE DES EXPERIMENTATIONS ET DE LEUR EVALUATION 5 55 5 5 555 555534 39 95 5 985 9 3 38 59 9 9 8959 5 9 8888 5 8988 3 8 5 88 88 588 88888 88 88888 88 51 1 LES CONDITIONS DE REUSSITE D UNE EXPERIMENTATION ss 51 I 1 Une mont e en charge anticip e pour valuer les effets d s que les actions sont en 10 e 1 S A A E E A pu 51 I 2 Un public bien cibl et clairement identifi 52 1 3 Des actions qui diff rent clairement du droit commun 53 1 4 Des actions qui r pondent un besoin identifi et pr cis 54 1 5 Des financements qui co ncident avec la p riode d valuation 54 1 6 Un positionnement clair de l valuateur une distance suffisante pour porter un jug ment Valtiatifs sis anses Ra 55 11 VALIDITE DES RESULTATS ET CONDITIONS DE GENERALISATION 56 IL 1 Une
3. Dans le cadre de projets d ploy s sur plusieurs territoires un soutien au montage de projet ou au pilotage peut tre n cessaire pour assurer la coh rence globale et l homog n it de l exp rimentation sur les diff rents sites Afin que l valuateur puisse conserver une position d ext riorit il est parfois souhaitable d associer un troisi me acteur qui peut intervenir aupr s du porteur de projet pour cette phase Forces et faiblesses des diff rentes m thodes d valuation La taille critique des exp rimentations pour conduire une valuation quantitative Les exp rimentations de grande ampleur sont privil gier si l on souhaite mener une tude d impact s appuyant sur des m thodes quantitatives Il est souvent n cessaire que l action exp riment e concerne a minima plusieurs centaines de b n ficiaires pour disposer d une puissance statistique suffisante pour d tecter les effets de l exp rimentation La pr cision obtenue d pendra la fois de la taille des chantillons mais aussi de l ampleur du ph nom ne analys ou du niveau de l indicateur mesur Les modes de constitution d un chantillon t moin Le tirage al atoire pr conis par le FEJ pour constituer le groupe de b n ficiaires et un chantillon t moin est rarement ais mettre en place Des r ticences de la part des porteurs de projets des effectifs trop faibles de jeunes suivre ou des probl mes de porosit des dispositifs valu s
4. et une fois cart s les jeunes en attente de jugement les effectifs taient tr s faibles En effet les jeunes susceptibles d int grer l exp rimentation n taient pas en nombre suffisant pour construire un chantillon de b n ficiaires utilisant l ensemble des places offertes l int gration du dispositif et un chantillon t moin de m me taille La mise en place d une valuation contr l e avec groupe t moin obtenu par randomisation n tait plus possible voire mettait en danger l exp rimentation trop peu de b n ficiaires Dans d autres cas le principe m me du tirage au sort d un chantillon t moin a t rendu caduc du fait de la mont e en charge nettement plus lente que pr vue du dispositif Sur un projet qui visait promouvoir l apprentissage aupr s des jeunes loign s de l emploi les chantillons b n ficiaires et t moins devaient tre s lectionn s al atoirement selon la proc dure suivante les prescripteurs du dispositif orientaient les jeunes rep r s comme potentiellement b n ficiaires et int ress s par le dispositif vers la plate forme Les jeunes taient ensuite invit s une r union d information collective Le tirage al atoire tait mis en uvre parmi les jeunes exprimant leur motivation l issue de la r union d information collective N anmoins la lenteur de la mont e en charge du dispositif a frein la mise en uvre du protocole d valuation Les orientations par les prescri
5. des candidats qui leur taient envoy s par l organisme d insertion Dans ce cas n y aurait donc pas eu de sens de les interroger sur ce programme dont ils ignoraient l existence 48 Bien identifier les cat gories de partenaires interroger Pour s assurer que l analyse qualitative des partenaires est compl te l valuateur doit identifier les cat gories de partenaires pour chaque exp rimentation Ces cat gories sont sp cifiques aux th matiques du projet Pratiquement toujours les repr sentants de collectivit s territoriales sont rencontrer communes agglom rations conseils g n raux ou r gionaux Tous les projets ayant une dimension d insertion professionnelle supposent de comprendre comment se fait l articulation avec les services de P le Emploi Dans le cas de projets concernant les jeunes sous main de justice les juges d application des peines et les services d insertion et de probation sont des partenaires incontournables prendre en compte Pour l alternance centres de formation chambres consulaires et organismes paritaires collecteurs agr s sont interviewer Les partenaires dans le champ du logement vont des gestionnaires de foyers aux services logement de collectivit s II 3 Les entretiens aupr s des jeunes pour recueillir des r cits de parcours et leur perception des dispositifs Les projets d valuation du CR DOC pr voyaient la r alisation d enqu tes quantitatives r p t es aupr
6. Des solutions alternatives et leurs limites Une comparaison avec un autre territoire Afin d viter un ph nom ne de contagion entre b n ficiaires et t moins l chantillon t moin peut tre choisi sur un autre territoire si possible comparable au territoire b n ficiaire Cette solution avait t propos e d s le d part dans un projet qui cherchait soutenir les lyc ens dans leurs choix d orientation Fond sur le volontariat des professeurs principaux concernait des classes dans leur ensemble Il 8 donc t envisag dans un premier temps de constituer l chantillon t moin partir de classes de m me s rie S ES ou L que les classes exp rimentales dans les m mes lyc es Cependant il s est av r qu il existait un risque important de contagion changes entre les professeurs les l ves De plus certaines actions pouvaient concerner l acad mie enti re comme des journ es portes ouvertes ou la mise en place d un site Internet Le tirage al atoire a donc t abandonn et remplac par deux chantillons t moin 9 Un premier comprenant des classes de m me s rie que celle des lyc es b n ficiaires dans des lyc es de l acad mie ne b n ficiant pas directement du dispositif 9 Un second comprenant des classes de m me s rie que celle des lyc es b n ficiaires dans des lyc es hors acad mie afin de tenir compte du fait que l ensemble des lyc es de l acad mie b n ficiaient m me indirec
7. celui des acteurs institutionnels sur les effets propres des actions Les entretiens de b n ficiaires men es par un valuateur ext rieur donnent l opportunit d aborder la question de l appropriation du dispositif par son public et sa compr hension Les jeunes peuvent 49 apporter leur point de vue sur l int r t du dispositif et faire des suggestions sur des am liorations possibles en cas de p rennisation ou d essaimage 50 PARTIE 3 REFLEXIONS SUR LES CONDITIONS DE REUSSITE DES EXPERIMENTATIONS ET DE LEUR EVALUATION Du c t des valuateurs l abandon des chantillons t moins dans la majorit des dispositifs d valuation et la forte attrition ont limit la puissance d une partie des m thodologies d ploy es Du c t des porteurs de projets la plupart souhaitaient pouvoir communiquer rapidement les r sultats de l valuation et s y r f rer pour p renniser les actions exp riment es Ils avaient notamment de fortes attentes en termes de r sultats chiffr s Or nombre d exp rimentations ne se pr taient pas l emploi de m thodes quantitatives et se sont en outre heurt es diverses contraintes de terrain La fin des exp rimentations et la r daction des rapports finaux des valuations ont ainsi t accompagn es d un sentiment de frustration de la part des quipes valuatrices du CR DOC comme des porteurs de projets Par ailleurs certains des projets exp riment s ont t p rennis s du mo
8. cifi Or les acteurs se sont appropri s les tableaux Excel de fa ons diff rentes ce qui a rendu l exploitation complexe Nous recommandons aux valuateurs de sp cifier strictement la forme des tableaux par exemple en consacrant une seule ligne par jeune ou un seul onglet pr format et d finir le contenu de chaque fichier et ce toujours en lien avec les futurs utilisateurs 45 m Remplir les tableaux de fa on homog ne Quand plusieurs acteurs sont en charge de la mise jour du tableau de bord tous n ont pas la m me fa on de le remplir Par exemple pour un projet multi sites certains acteurs ont not tous les contacts avec les jeunes rendez vous en face face appels t l phoniques SMS ou mails tandis que d autres ne vont avoir inscrit dans le tableau de bord que les rendez vous en face face ou les appels t l phoniques les plus importants Le nombre moyen d actions variait alors fortement d un territoire l autre De plus les sites n ayant pas tous mis en place les m mes actions les items portant sur ces actions n ont pas t suffisamment bien d finis ni suffisamment bien arr t s Au final le tableau de bord comprenait un nombre d actions trop important pour lesquelles il tait compliqu de savoir quoi elles correspondaient Cette information n a donc pu tre pleinement utilis e Enfin il existe toujours un doute sur la qualit de remplissage du tableau de bord les porteurs ont ils toujours in
9. connaissent peu fait partie des objectifs Ce tiers apporte une plus value sensible la mise en uvre des projets quand ceux ci comportent une dimension multi sites notamment pour apporter une plus grande homog n it au contenu des actions De par son exp rience dans l accompagnement de la conduite de projet dans le champ des politiques sociales l Agence Nouvelle des Solidarit s Actives ANSA a jou ce r le dans les deux projets port s par le CNML que le CR DOC a valu s 26 III LA MISE EN UVRE DES EXPERIMENTATIONS DIFFICULT S RENCONTR ES ET RECOMMANDATIONS La mise en uvre des exp rimentations a donn lieu diverses modifications des projets et de nombreuses adaptations des dispositifs par rapport leur forme initiale Le guide m thodologique de la MAFEJ destination des porteurs n aborde que bri vement ces aspects Or des difficult s tr s diverses ont pu surgir en cours d exp rimentation Cette partie d crit les principales difficult s qui ont t rencontr es au d but et en cours d exp rimentation et illustrent la complexit de l exercice d exp rimentation Nous mettons ici en exergue les obstacles pratiques qui se sont pr sent s Un certain nombre d entre eux peuvent n anmoins tre vit s d s lors que porteurs et valuateurs partent avertis et les anticipent III 1 Une mobilisation du public parfois plus lente que pr vue la question de la mont e en charge des disp
10. de quitter le logement D autres questions sont donc inexploitables Enfin le risque utiliser des questionnaires trop complexes comportant des questions abstraites ou n cessitant d avoir un recul sur sa situation est de perdre des r pondants en cours d interrogation ou bien d tre confront au refus de r ponses certaines de ces questions 43 Nos recommandations sur les questionnaires sont par cons quent les suivantes e des questions simples et cibl es compr hensibles par tous de fa on obtenir sur des indicateurs pr cis sur la situation au moment de l enqu te et l opinion quant au dispositif int gr e pas trop de filtres qui risquent de r duire les chantillons et rendent certaines questions inexploitables 9 une dur e de 10 15 minutes maximum pour viter les risques d abandon en cours d interrogation et dans les interrogations suivantes I 3 Les tableaux de bord des outils pr cieux qui n cessitent un remplissage harmonis L objectif de ces tableaux de bord est de collecter pour chaque b n ficiaire de fa on harmonis e sa situation l entr e dans le dispositif le nombre et la nature des actions suivies la situation chaque contact avec un conseiller et la situation la fin du suivi Mis en place dans la totalit des protocoles d valuation ils ont permis de compl ter les interrogations quantitatives Deux types de tableaux de bord ont t utilis s des ex
11. impossibilit de r server l action exp riment e de fa on exclusive au public cible obligent parfois abandonner cette m thode et mettre en place d autres types d chantillons t moin Deux alternatives ont alors t mobilis es dans le cadre des projets valu s par le CR DOC et financ s par la MAFEJ chantillon t moin suivi sur un autre territoire chantillon t moin constitu sur le m me territoire une p riode ant rieure Ces m thodes galement limit es par la faiblesse des effectifs n ont pas non plus toujours permis d identifier les effets propres au dispositif valu car les chantillons obtenus n avaient pas les m mes caract ristiques ou en raison de contextes conomiques ou g ographiques diff rents Les enqu tes par questionnaire adapter au suivi des jeunes Concernant les enqu tes quantitatives aupr s des jeunes celles ci doivent tenir compte de l attrition entre les diff rentes vagues Les jeunes constituent un public avec lequel il est difficile de garder le contact Le questionnement doit tre court 15 minutes maximum et cibl sur les indicateurs attendus pour l valuation Il doit contenir des questions simples et compr hensibles par tous pour appr hender les facteurs qui influent sur les parcours Il ne doit en revanche pas chercher appr hender trop de cas particuliers nombreux au sein de la population des jeunes qui se caract rise par une grande h
12. n ficiaires ne permettant pas ensuite de corriger cette non participation Si l valuation ne conserve que les jeunes effectivement b n ficiaires l chantillon t moin est biais par le fait que les deux tiers d entre eux n auraient pas int gr le dispositif s il leur avait t propos e Il n est pas possible d op rer la s lection apr s effort de mobilisation des jeunes cette mobilisation tant tr s co teuse en temps pour les conseillers Il n est pas envisageable que dans la moiti des cas elle aboutisse ensuite un refus fait aux jeunes d int grer le dispositif Au final les d lais plus importants que pr vus dans la phase de mont e en charge ont amen une r duction du nombre de jeunes effectivement suivis par le programme un peu moins de 400 contre plus de 530 envisag s lors de la r ponse l appel d offres et ont finalement conduit l abandon du tirage al atoire et de l chantillon t moin Un risque de contagion entre les deux chantillons si le dispositif n est pas tanche M me dans le cas o les chantillons ont t constitu s al atoirement il s est av r impossible de relever des r sultats diff renci s entre b n ficiaires et t moins La contagion du dispositif d un chantillon l autre existe par exemple quand les t moins ont le m me conseiller que les b n ficiaires et ont pu acc der au m me accompagnement que ces derniers Ce ph nom ne a t l
13. ro de portable Or les jeunes ont souvent recours aux cartes pr pay es changent r guli rement de t l phone et de num ro ce dernier ph nom ne ayant tendance se r duire depuis qu il est possible de changer d op rateur tout en conservant son num ro Quand eux m mes n ont pas de t l phone ils ont souvent indiqu ceux de leurs parents ou d amis qui au moment de l enqu te ne connaissent pas toujours le moyen de contacter le jeune interroger 8 Un public qui ne se sent pas toujours concern les b n ficiaires n ont pas syst matiquement t mis au courant qu ils participaient une valuation ce qui peut expliquer une partie des refus de r pondre Parfois bien qu ils aient t identifi s comme ayant b n fici d une aide particuli re ils estiment celle ci peu ou pas utile ou faisant partie d un ensemble d aides possibles Ils se montrent alors d sint ress s et refusent de r pondre au questionnaire Par exemple sur une deuxi me interrogation d un projet sur la th matique logement bien que peu nombreux les refus pour cette raison repr sentent 3 des non r pondants Les t moins quant eux ne per oivent souvent pas l int r t de r pondre aux enqu tes Un public tr s h t rog ne entre 18 et 25 ans les jeunes connaissent des situations tr s vari es M me ge donn les niveaux de dipl me sont tr s pars Entre tude et emploi les statuts sont nombreux et changent vite en part
14. sous estimer ou surestimer les effets De telles analyses n cessitent cependant de disposer d effectifs suffisants pour pouvoir tudier des sous populations 43 Le terme d effet Hawthorne fait r f rence des exp riences en psychosociologie du travail conduites dans les ann es 1920 1930 dans l usine Hawthorne Chicago o tait fabriqu du mat riel lectrique Ces exp riences visaient faire varier les conditions de travail d un groupe d ouvriers et comparer leur productivit avec celle d un groupe t moin Quels que soient les changements op r s la productivit tait augment e L interpr tation d un effet Hawthorne attribue cette am lioration de la productivit au fait de participer une exp rimentation 59 On observe fr quemment que les effets d un dispositif ne sont pas les m mes selon le profil des b n ficiaires Ainsi les actions de formations destination des jeunes sortant de prison ont t per ues comme tr s utiles et ont contribu restaurer la confiance en soi des jeunes qui taient de faible niveau scolaire ou tr s loign s de l emploi tandis qu elles ont t jug es moins pertinentes pour ceux qui avaient d j une exp rience professionnelle Des solutions qui fonctionnent petite chelle mais pas dans un cadre g n ralis La particularit des exp rimentations pour la jeunesse est la petite taille des projets valu s souvent mis en place l chelle d une
15. sur la port e et l utilisation de ces r sultats L exp rience acquise par le CREDOC dans le cadre du FEJ permet ainsi de formuler un certain nombre de recommandations sur les conditions de r ussite des exp rimentations et de leur valuation Conditions d mergence d une exp rimentation valuable Donner du temps pour r diger les r ponses appel d offres Une des conditions respecter pour que les exp rimentations et leur valuation puissent tre men es bien est de donner un temps suffisant aux porteurs de projet pour laborer une proposition pertinente Il est essentiel de pr ciser les objectifs du projet de commencer nouer des relations avec les partenaires cl d valuer la taille de la population cible de l action et les moyens de l atteindre et de la faire entrer dans l exp rimentation Une fois tous ces l ments r unis une dur e minimale est n cessaire pour laborer un protocole d valuation qui soit pertinent par rapport aux objectifs et aux actions de l exp rimentation Un d lai de six mois parait souhaitable au minimum pour assurer la coh rence de la m thode d valuation par rapport aux caract ristiques des projets valu s dans le cadre d une concertation entre porteurs et valuateurs Identifier pr cis ment les besoins et v rifier le caract re innovant de l exp rimentation La question de la pertinence de l action est poser avant la mise en uvre du projet S il apparai
16. t rog n it de situations Des tableaux de bord renseign s par les acteurs du programme Les tableaux de bord doivent permettre de connaitre la situation des jeunes b n ficiaires et si possible galement des t moins diff rentes dates a minima au d but de l exp rimentation et la fin Ils comptabilisent aussi les actions suivies par les b n ficiaires et les t moins droit commun et actions exp riment es Ces outils de suivi sont dans le cas o les donn es d enqu te font d faut une source pr cieuse d informations sur l volution des situations des jeunes Les tableaux de bord doivent tre aussi simples d utilisation que possible pour les personnes en charge de leur remplissage cibl s sur les indicateurs essentiels et doivent galement int grer la n cessit pour l valuateur de pouvoir r aliser des analyses statistiques Id alement quand il n existe pas de logiciel de gestion les tableaux de bord construits pour l valuation doivent comporter un masque de saisie pens pour faciliter le traitement futur par l valuateur L apport incontestable des enqu tes qualitatives Les entretiens qualitatifs aupr s des acteurs du programme ont apport un regard compl mentaire aux m thodes quantitatives pour bien comprendre les processus l uvre les r ajustements et les volutions dans le partenariat Quand les effectifs du public ligible l exp rimentation sont trop faibles les entretiens qualitati
17. valuation des politiques publiques Revue Fran aise des Affaires sociales n 1 2 2010 pp 309 322 L opold GILLES Les valuations conduites dans le cadre du Fonds d exp rimentation pour la Jeunesse premier retour d exp rience Informations sociales n 174 CNAF novembre d cembre 2012 pp 66 73 Bernard GOMEL et velyne SERVERIN valuer l exp rimentation sociale Centre d tudes de l Emploi Document de travail n 143 21 pages J Pal Europe Social experimentation A methodological guide for policy makers r dig la demande de la Direction G n rale de l Emploi des Affaires sociales et de l Inclusion de la Commission europ enne septembre 2011 30 pages http ec europa eu social BlobServlet docid 7102 amp langld en Marjorie JOUEN L exp rimentation sociale prend sa place dans l Union europ enne Informations sociales n 174 CNAF novembre d cembre 2012 pp 32 40 Agn s LABROUSSE Nouvelle conomie du d veloppement et essais cliniques randomis s une mise en perspective d un outil de preuve et de gouvernement Revue de la r gulation n 7 1er semestre 2010 pp 2 30 Philippe LEMISTRE L valuation en sciences sociales est elle un mythe Le cas des politiques ducatives in Evaluation et donn es longitudinales quelles relations Actes des XVII mes journ es d tude sur les donn es longitudinales dans l analyse du march du travail Marseille 27 28 mai 2010 Re
18. La cr ation du Fonds d exp rimentation pour la Jeunesse La nomination de Martin Hirsch comme Haut Commissaire la jeunesse le 12 janvier 2009 est le signe d une volont politique d introduire l exp rimentation dans le champ des politiques sociales l ancien pr sident d Emma s tant un promoteur convaincu de ces d marches Co fondateur en 2005 de l Agence nouvelle des solidarit s actives ANSA qui a fait du d veloppement des exp rimentations son objet social il a occup le poste de Haut Commissaire aux solidarit s actives contre la pauvret de 2007 2010 A ce titre il avait pr sid en novembre 2007 Grenoble l ouverture du Grenelle de l insertion dont l invit d honneur tait Gordon Berlin le pr sident d un influent institut priv de recherches nord am ricain qui travaille sur les exp rimentations sociales depuis les ann es 1970 C est dans le cadre de sa mission aux solidarit s actives 13 All gre 2012 4 PROGRESS est un programme communautaire pour l emploi et la solidarit sociale qui vise financer des actions dans les domaines suivants pr server les emplois en cr er de nouveaux et stimuler la mobilit renforcer les comp tences et r pondre aux besoins du march du travail et am liorer l acc s l emploi cf http eur lex europa eu LexUriServ LexUriServ do uri CELEX 32010D0284 EN NOT 35 Social experimentation A methodological guide for policy makers r dig par
19. aux conditions d obtention de r sultats d valuation utiles pour la suite des exp rimentations en nous interrogeant d une part sur la nature des r sultats obtenus et d autre part sur la port e et l utilisation de ces r sultats 14 PARTIE 1 DE L ELABORATION LA MISE EN UVRE D UNE EXPERIMENTATION I LA GENESE DES PROJETS I i Un premier appel projets en avril 2009 pour am liorer l insertion des jeunes Le Fonds d exp rimentation pour la Jeunesse FEJ a lanc une premi re vague d appel projets AP1 le 6 avril 2009 avec pour axes principaux e 3 r duction des sorties pr matur es du syst me de formation initiale e L am lioration de la transition entre formation et emploi e La pr vention des ruptures exp rimentations dans le domaine du logement actions aupr s des jeunes sortants 5 3 de jeunes sous main de justice et intervention aupr s d tudiants en difficult e Le soutien des initiatives et des projets de jeunes microcr dit et mobilit internationale Le budget consacr au financement de ces projets tait de 55 millions d euros Il pouvait s agir de projets concernant la France m tropolitaine comme les territoires et d partements d outre mer Pour pouvoir pr tendre un financement par le Fonds d exp rimentation pour la Jeunesse chaque projet devait pr voir son valuation par une quipe ext rieure Cette valuation tait obligatoire aucun projet
20. cette interrogation de l chantillon t moin En effet il tait probable qu une forte majorit des t moins auraient d clin la proposition d int grer une plateforme si une telle proposition leur tait faite C est pourquoi l interrogation du groupe t moin et la deuxi me interrogation ont t abandonn es 38 Dans un projet sur le logement cette solution de comparaison avec un autre territoire a t choisie afin de pallier le refus de la part des missions locales de mettre en place un tirage al atoire Dans ce cas des diff rences de profils entre les chantillons b n ficiaire et t moin ont t constat es En effet pour pouvoir tre consid r s comme b n ficiaire les jeunes des Missions locales porteuses du projet devaient remplir un certain nombre de crit res et notamment avoir un revenu suffisant pour tre capables de financer un loyer Or la mission locale du territoire t moin n a pas appliqu ce crit re sur ses jeunes t moins Il en r sulte que ces derniers avaient des revenus plus faibles que les b n ficiaires De fa on g n rale il s av re souvent difficile d identifier un territoire jumeau pour en faire un territoire t moin En particulier pour des projets tr s ancr s localement et marqu s par le contexte La d finition de groupes t moins par comparaison g ographique pour palier l impossibilit de r aliser un tirage al atoire directement au niveau du public ligible ne doit se faire
21. chantillon doit tre augment e 36 Remarques m thodologiques La pr cision d une estimation varie selon que le ph nom ne analys est plus ou moins r pandu Le risque de se tromper diminue fortement d s que les bornes de l IC s loignent de 0 Consid rer qu un ph nom ne est rare revient consid rer que son absence est tr s r pandue et inversement consid rer qu un ph nom ne est tr s r pandu revient consid rer que son absence est rare Autrement dit c est bien la m me situation qui est analys e que l on analyse la proportion p ou la proportion 100 p Il en d coule que la pr cision d une estimation est sym trique par rapport 50 effectif donn la pr cision diminue mesure que la valeur de l indicateur analys se rapproche de 50 C est pourquoi pour atteindre un m me degr de pr cision il est n cessaire de se fonder sur des chantillons plus importants pour tudier des ph nom nes qui concernent environ la moiti d une population que pour des ph nom nes peu r pandus De petites tailles d chantillon 100 b n ficiaires et 100 t moins sont en th orie suffisantes pour mesurer des carts entre deux populations sur des ph nom nes tr s r pandus ou tr s rares Rappelons toutefois qu ici l hypoth se sous jacente est que les deux groupes B et T sont constitu s al atoirement et initialement semblables Or ce caract re al atoire n est assur qu partir d une cert
22. d velopp dans le chapitre suivant 22 Encadr 2 Les crit res de la MAFEJ pour analyser chaque protocole d valuation 1 Clart et pertinence des objectifs de l valuation par rapport aux buts poursuivis par le projet 2 Pr cision dans la pr sentation du protocole d valuation 3 Pr cision dans le mode de suivi des b n ficiaires donn es utilis es enqu tes ou entretiens pr vus 4 Pr cision des indicateurs quantitatifs pressentis par rapport au degr d atteinte des objectifs poursuivis 5 Pr cision des indicateurs qualitatifs pressentis par rapport au degr d atteinte des objectifs poursuivis 6 Mise en place d une comparaison d un groupe de b n ficiaires et d un groupe t moin 7 Rigueur du mode de d termination du groupe t moin 8 Taille des chantillons mobilis s et leur pr cision statistique pour conclure quant l efficacit du dispositif valu 9 Connaissance du contexte scientifique dans lequel s inscrit l valuation 10 Le co t de l valuation 11 Capacit du protocole fournir des r sultats conclusifs quant l efficacit et au caract re g n ralisable des dispositifs Source DJEPVA MAFEJ Appels projets mode d emploi http www experimentation jeunes gouv fr 13 appel a projets mode d emploi html I 9 Un temps tr s court pour r diger les protocoles d valuation Le d lai de moins de trois mois qui a s par l appel projets de la date de rem
23. des projets relevant de l orientation s adressaient des jeunes scolaris s pour les clairer dans leurs choix d tudes en les aidant tenir compte la fois de leurs aptitudes et motivations et en leur apportant une connaissance largie des perspectives possibles cursus et m tiers Deux autres projets s adressaient des d crocheurs scolaires ou universitaires et avaient pour objectif soit de leur permettre de r int grer un cursus d tudes sous statut scolaire ou en alternance soit de recevoir un soutien pour les aider s ins rer professionnellement Les projets sur l alternance visaient non seulement orienter davantage de jeunes vers des contrats d apprentissage ou de professionnalisation afin d am liorer leur niveau de qualification et leur offrir davantage de perspectives dans leur carri re professionnelle mais aussi s curiser les parcours en alternance en limitant les risques d abandon par un suivi apr s la signature du contrat d alternance Les b n ficiaires cibl s par ces exp rimentations taient souvent des jeunes qui avaient abandonn les tudes et cherchaient s ins rer dans la vie professionnelle alors que la grande majorit des apprentis proviennent g n ralement directement du syst me scolaire Les exp rimentations dans le domaine du logement avaient pour objectif de favoriser l acc s au logement autonome des jeunes en insertion professionnelle Elles reposaient sur l hypoth se qu un accom
24. est en d veloppement dans notre pays Ce d veloppement se r alise avec un certain retard par rapport aux d mocraties anglo saxonnes qui ont structur depuis le milieu des ann es 1960 un important r seau de porteurs de projets exp rimentaux et d organisme d valuation Ces m thodes d exp rimentations contr l es sont une transposition des essais cliniques r alis s dans le domaine de la m decine depuis les ann es 1920 pour d montrer l efficacit d un traitement en comparant l volution de la situation d un groupe de patients qui est administr ce traitement celle d un groupe t moin ne recevant aucun traitement les deux groupes tant constitu s par tirage au sort Labrousse 2010 Ces m thodes font cependant l objet de critiques qui soulignent les limites de ces d marches par exemple des effets n gatifs dus l interaction entre les traitements m dicaux peuvent appara tre apr s la p riode de mise en uvre de l exp rimentation La dur e de l observation peut tre par ailleurs insuffisante pour voir merger des effets secondaires qui peuvent se produire plus long terme Enfin la validation d un nouveau traitement peut se faire sur un r sultat interm diaire sans que les effets finaux vis s ne soient d montr s Ces critiques sont transposables aux exp rimentations r alis es dans le champ des politiques sociales Les am liorations constat es seront elles durables Les r sultats sur des
25. est probable que nombre de projets n ont pu tre pr sent s aupr s des jurys de la MAFE J faute d avoir pu trouver un valuateur pour monter un protocole d valuation dans le temps imparti Les valuateurs se sont trouv s en position de faire une premi re s lection des projets avant l intervention des jurys Finalement le CR DOC a t associ en tant qu valuateur 23 projets d exp rimentation qui ont t soumis au jury Parmi eux 16 ont t accept s I 8 Les propositions m thodologiques du CR DOC pour l valuation une mixit de m thodes Le CR DOC a g n ralement propos des m thodes mixtes combinant des tapes quantitatives et des campagnes d entretiens qualitatifs pour analyser l impact des projets sur le devenir des jeunes Ces m thodes ont t adapt es chaque projet et r pondaient aux attentes de la Mission d Animation du Fonds d exp rimentation pour la Jeunesse exprim es dans le guide m thodologique Ainsi dans la grande majorit des projets auxquels le CR DOC a t associ l valuation reposait sur e deux ou trois interrogations par questionnaire aupr s des b n ficiaires et d un groupe t moin portant sur les parcours ant rieurs sur les actions suivies sur leur devenir pendant et apr s le temps de l exp rimentation Pour les b n ficiaires les questionnaires portaient galement sur leurs attentes et leur satisfaction par rapport au programme e un table
26. faisabilit sont mener sur les territoires concern s par l exp rimentation Trois projets ont effectivement t pr c d s d une tude de faisabilit Deux de ces exp rimentations incluent parmi les porteurs le Conseil National des Missions Locales CNML l une sur l apprentissage et l autre sur l acc s au logement La troisi me exp rimentation concernait le d veloppement de l alternance Les deux projets port s par le CNML concernaient un nombre important de sites L tude de faisabilit a permis d analyser les conditions de mise en uvre de l exp rimentation sur les diff rents sites Les discussions entre les porteurs des projets des grandes f d rations de structures locales accompagnant les jeunes les responsables des missions locales charg es de l tape op rationnelle aupr s des jeunes et les valuateurs ont t l occasion e de convaincre les partenaires de l utilit de proc der un tirage au sort pour s parer les b n ficiaires des t moins e de s accorder sur les modes de rep rage des jeunes sur la forme prise par les plateformes et sur les objectifs de chaque exp rimentation L tape de faisabilit de l exp rimentation sur l alternance a connu pour limite son calendrier restreint Cette exp rimentation portait sur trois sites dans des r gions diff rentes et au moment de l tude de faisabilit une seule r gion avait commenc nouer un r seau de partenaires L tude de fai
27. grande chelle d exp rimentation contr l e en France n a finalement pas appliqu la m thode du tirage au sort des b n ficiaires Les dix d partements volontaires pour mener l exp rimentation n taient pas favorables cette m thode et ont propos une r partition des zones entre territoires exp rimentaux et territoires t moins Cependant les crit res de r partition des territoires entre l une ou l autre de ces cat gories n ont pas t clairement explicit s et n taient pas homog nes d un d partement l autre Gomel S verin 2011 33 Des effectifs parfois trop faibles pour obtenir des r sultats statistiquement significatifs Lors de la r ponse l appel projets les porteurs et l valuateur se sont fix s un effectif cible Le public devait alors tre suffisamment important pour permettre la mise en place d un tirage al atoire et la cr ation d un chantillon b n ficiaire et d un chantillon t moin Il s est av r que certains projets avaient anticip un effectif potentiel de b n ficiaires sup rieur celui r ellement mobilisable Cela s est produit dans le cas d un projet dont le but tait de favoriser l insertion des jeunes leur sortie de maison d arr t Une fois pris en compte les crit res de recevabilit d une demande d am nagement de peine par les juges absences d autres affaires en cours disponibilit de places en semi libert pas de probl mes comportementaux en d tention
28. les juges avaient connaissance du suivi assur dans le cadre des programmes exp riment s Dans l une des maisons d arr t le grand nombre de demandes d am nagement de peine accept es pour les jeunes faisant partie de l exp rimentation a par cons quent vraisemblablement retard les possibilit s d am nagement de peine pour d autres d tenus le nombre de dossiers examin s en commission tant limit Cet effet d viction non attendu est plut t positif pour les jeunes b n ficiaires du programme mais est n gatif pour les autres d tenus Il est probable que sans la contrainte de faire entrer rapidement un grand nombre de jeunes dans le dispositif en vue de l valuer ce type de situation ne se serait pas produit si les dossiers de jeunes taient pr sent s progressivement en d bat contradictoire Autre exemple l augmentation des am nagements de peine pour les jeunes a conduit en accueillir un plus grand nombre dans les quartiers de semi libert d une maison d arr t selon les juges d application des peines cette concentration a conduit des probl mes de comportements qui se sont r percut s dans les activit s propos es l ext rieur dans le cadre de l exp rimentation Les adultes plus de 25 ans en moins grand nombre n auraient pas pu jouer le r le de r gulateurs qu ils tiennent habituellement dans ces quartiers Cette situation qui ne s est produite que dans un des quatre projets de ce type ne s observ
29. montage de projet est n cessaire il serait souhaitable que deux structures diff rentes interviennent l une en soutien du porteur pour la conception du projet l autre pour l tape d valuation C est ainsi qu on peut analyser le projet d exp rimentation concernant des d crocheurs universitaires dans l agglom ration de Dunkerque De l universit l entreprise Le porteur de projet est l association Entreprendre Ensemble dont l une des fonctions est le pilotage de la mission locale Ce projet a t valu conjointement par le CR DOC et un bureau d tudes du Nord E2I Ce bureau d tudes intervient r guli rement en soutien au montage de projet aupr s d Entreprendre Ensemble E2I a conduit son valuation sur l universit alors que le CR DOC se chargeait des entretiens aupr s des salari s de la mission locale Ainsi l ext riorit de l valuateur par rapport au porteur est conserv e Il peut arriver que l valuateur participe la conception m me du projet Dans le cas d un projet concernant la mobilisation de d crocheurs scolaires en errance le r le de conseil de l valuateur tait explicitement pr vu comme le montrent les extraits suivants de la convention tripartite entre le Minist re l valuateur le CR DOC et le porteur de projet L valuation sera conduite sur l ensemble de la p riode avec une tape pr alable de construction des outils de suivi et d valuation en con
30. ne pouvant tre accept sans qu un protocole valuatif n y soit associ Tandis que l valuation pouvait tre financ e int gralement par le FEJ les projets exp rimentaux devaient toujours faire l objet d un cofinancement avec un ou plusieurs partenaires et le FEJ ne pouvait contribuer au plus qu 50 du budget global En 2009 le Fonds d exp rimentation pour la Jeunesse a re u pr s de 500 propositions et en a retenu environ un tiers I 2 Les appels projets suivants 2010 2013 Trois autres appels projets concernant les jeunes ont t lanc s entre mai 2010 et f vrier 2011 AP2 AP3 AP4 L AP2 est centr sur le th me de la lutte contre les discriminations L AP3 couvre l engagement des jeunes et l largissement des choix professionnels des filles L AP4 porte sur les pratiques culturelles Le nombre de projets pr sent s et accept s est nettement plus r duit que pour l AP1 43 pour l AP2 24 pour l AP3 et 6 pour l AP4 Le CR DOC a t associ l valuation 55 Sur 494 propositions 169 ont t retenues 15 d un projet de l AP2 sur la discrimination et d un projet de 3 sur l largissement des choix d orientation des jeunes filles Tableau 1 Exp rimentations pour la Jeunesse valu es par le CR DOC Code MAFEJ Nom du projet Porteur Th me Jeunes sous main de justice R ussir sa sortie 825 jeunes sous main de Mission locale ML des Ulis avec la
31. par une fondation Enfin une Chambre de Commerce et d Industrie CCI tait l origine d un des projets Tous les projets concernant les jeunes sous main de justice associaient troitement les services p nitentiaires d insertion et de probation SPIP Les cofinanceurs ont t des institutions vari es collectivit s territoriales associations fonds propres du porteur de projet 5 Les motivations des porteurs En 2009 un premier Cahier de recherche du CR DOC sur les exp rimentations sociales distinguait parmi les raisons qui ont motiv les acteurs r pondre l appel projets deux grandes rubriques les motivations li es un diagnostic local les objectifs strat giques et politiques long terme Pour certains des projets ces deux types de motivation coexistent En tenant compte du contenu des projets et de leur diff renciation par rapport la situation ant rieure sur le territoire les projets peuvent tre class s en deux grandes cat gories ceux qui visent cr er une innovation soit en se concentrant sur un public qui n tait pas ou peu pris en compte par les structures impliqu es dans l action soit en cr ant de 31 Rapport d activit 2009 2011 du Fonds d Exp rimentation pour la Jeunesse Les missions locales sont des structures du service public de l emploi accueillant des jeunes g s de 16 25 ans et les accompagnant sur les questions d emploi de formation d
32. qu avec les partenaires permet de compl ter la liste des actions possibles et d affiner le regard de l valuateur sur les l ments pertinents analyser dans le parcours des jeunes avant pendant et apr s l exp rimentation Les acteurs savent galement quelles sont les informations disponibles int grer dans un tableau de bord et celles qui seront difficiles renseigner Cette participation des acteurs de terrain aux outils de l valuation n est pas limit e aux exp rimentations Dans ce cas on peut parler de co construction des outils de l valuation Cette 25 tape tait explicitement pr vue dans le cas de la convention d j voqu e concernant les d crocheurs Les changes avec le CR DOC sur les outils m thodologiques d valuation ont souvent permis la cr ation d instruments de suivi de l action mobilis s par les porteurs eux m mes Les porteurs de projet ont presque toujours r alis une valuation interne pour suivre les actions mises en place et ont pu mobiliser ces outils dans ce cadre II 3 Associer un facilitateur En cas de n cessit les porteurs peuvent s appuyer sur un tiers pour le montage de leur projet ou pour le pilotage Un tiers interm diaire entre le porteur et les partenaires peut faciliter le d roulement du projet la centralisation des informations voire l organisation concr tes de rencontres Cela peut s av rer utile quand le d veloppement de partenariats entre acteurs qui se
33. res interrogations n avaient g n ralement pas t dissoci es III 2 Le d veloppement des partenariats et des actions exp riment es plus long que pr vu L int gralit des actions pr vues lors des r ponses l appel d offres n ont pas toujours pu tre men es par manque de temps de la part des porteurs de projet o encore par l insuffisante implication de certains partenaires Un exemple typique de ces difficult s monter des actions pr vues est celui du programme concernant des d crocheurs universitaires cit s ci dessus Le nombre de jeunes ligibles est moins lev que pr vu car ils n ont pas t identifi s au niveau de l universit En cons quence il n a pas t possible de cr er les ateliers sp cifiques pr vus car le nombre de jeunes de niveau d tudes sup rieur au baccalaur at tait insuffisant Dans un projet sur l alternance les entr es directes ont t moins nombreuses que pr vues car certains centres de formation ont exprim des r ticences pour faire accompagner des jeunes d j inscrits en formation dans leur structure par un partenaire ext rieur pour un suivi renforc alors qu ils proposaient d j en interne un accompagnement pour pr venir les ruptures Par ailleurs un des programmes concernant les jeunes sous main de justice pr voyait de d velopper un partenariat fort avec des entreprises Faute de temps et de moyens celui ci n a cependant pas pu tre mis en place dans
34. taire de besoin de modernisation des politiques sociales et de rationalisation des d cisions publiques l exp rimentation constitue un instrument offrant aux d cideurs publics la possibilit de fonder leurs d cisions ult rieures sur des donn es scientifiques un co t raisonnable puisqu une exp rimentation peut tre d ploy e petite chelle sans n cessairement couvrir l ensemble du territoire national L valuation en tant que telle n est pas pour autant nouvelle en France Depuis la fin des ann es 80 l imp ratif d valuation des politiques publiques est croissant et le principe de l valuation des lois merge dans l espace public fran ais L valuation commence prendre une place plus centrale dans la conduite des politiques publiques avec la loi de d cembre 1988 sur le Revenu Minimum d Insertion RMI Vot e titre exp rimental pour s appliquer jusqu en 1992 cette loi pr voyait la cr ation d une commission nationale d valuation charg e de r aliser un bilan des trois premi res ann es d application du RMI et d mettre des propositions sur les conditions de son renouvellement Le cadre de l valuation des politiques publiques avait t fourni cette occasion dans un rapport de Patrick Viveret au Premier Ministre formalis dans une circulaire portant sur le renouveau du service public pr nant l valuation comme un des axes mettre en uvre dans le cadre de la modernisation de l
35. tat Les exp rimentations contr l es avec groupe t moin Avec la r vision constitutionnelle de 2003 et les orientations politiques qui s ensuivent ce qui est relativement nouveau c est d une part la possibilit d exp rimenter des dispositifs localement et temporairement et d autre part l accent mis sur les valuations d impact incluant des comparaisons entre des groupes de b n ficiaires et des groupes t moins constitu s id alement par tirage au sort Ces exp rimentations avec groupe de contr le tir au sort qu on d signe aussi sous le terme d exp rimentations contr l es avec randomisation reposent sur la comparaison d un groupe b n ficiant d une mesure sociale avec un groupe t moin n en b n ficiant pas l affectation des personnes ligibles l un des deux groupes de population se faisant al atoirement afin de s assurer que les deux groupes sont parfaitement semblables et que les diff rences observ es sont attribuables uniquement l effet du programme exp riment Ce mod le d innovation en mati re de politiques sociales est utilis depuis plusieurs d cennies par les chercheurs des pays anglo saxons Ses r sultats ont t fortement diffus s et promus par le biais des grandes institutions internationales telles que la Banque Mondiale et des centres de recherches prestigieux comme le Massachusetts Institute of Technology MIT et son Laboratoire d action contre la pauvret ou J Pal Cr en 2003 au
36. tre imputables De plus si les jeunes b n ficiaires sont d j connus des missions locales il est difficile d identifier la plus value des dispositifs par rapport aux actions ant rieures Autrement dit dans ces cas il est difficile de distinguer dans l volution de leur situation ce qui est d l accompagnement sp cifique de ce qui serait li au suivi ant rieur Pour d celer les effets propres d un programme il est donc pr f rable que les jeunes qui entrent dans l exp rimentation en tant que b n ficiaires ou t moins n aient pas auparavant t suivis par les structures exp rimentatrices ou alors les jeunes d j connus de la structure doivent tre al atoirement r partis dans les groupes b n ficiaires ou t moins Enfin l valuateur doit avoir l esprit ce que recouvre le droit commun Dans certains territoires il englobe d j un grand nombre de mesures en place Il est alors plus difficile d identifier les effets des dispositifs exp riment s qui se distinguent peu du droit commun Par exemple dans certaines zones d actions de missions locales o il existait d j des bourses au logement faisant concorder la demande et l offre des partenariats et un accompagnement personnalis des jeunes la plus value du renforcement de ce droit commun est moindre que dans des territoires d pourvus de ces modes d actions moins d augmenter la taille des chantillons de jeunes faisant partie des exp rimentations
37. une population b n ficiaire plus large Il n est alors pas possible de conclure sur l effet du programme sur le public cibl initialement 52 I 3 Des actions qui diff rent clairement du droit commun Plusieurs projets valu s par le CR DOC consistaient en fait en un renforcement du droit commun Du c t des partenariats cela a impliqu des nouvelles modalit s de fonctionnement Dans le cadre de projets associant missions locales et services p nitentiaires de probation et d insertion SPIP cela s est par exemple traduit par la mise disposition au sein du SPIP d une permanence pour un Conseiller Justice de Mission locale qui tait ainsi plus souvent pr sent la maison d arr t renfor ant dans le m me temps les changes et la collaboration entre la Mission locale et le SPIP Pour les b n ficiaires en revanche ces innovations de fonctionnement ne se sont pas forc ment mat rialis es par une prise en charge plus intensive que pour les jeunes t moins ou encore que pour les usagers d un territoire t moin tout aussi dynamique Aussi l valuateur a t il eu des difficult s mesurer des effets propres sur les b n ficiaires Le traitement pour reprendre le vocable des conom tres du groupe b n ficiaire doit tre diff rent de celui du groupe t moin sans quoi les diff rences potentielles de trajectoires entre les deux groupes ne sont pas forc ment visibles et en outre ne peuvent en aucun cas lui
38. CAHIER a RECHERCHE BILAN M THODOLOGIQUE DES VALUATIONS CONDUITES PAR LE CR DOC DANS LE CADRE DU FONDS D EXP RIMENTATION POUR LA JEUNESSE Isa ALDEGHI Pauline JAUNEAU Lara MULLER E D CEMBRE 2012 1 i 4 N 300 SOMMAIRE SYNTHESE 55 55 555 5 555 5 5 9 955 9 595599 8999 5 89 99 3 89 9 99 58959 nn 58 89 5 5 9 88 8 89 88 88 88 8 8 8888 8 888 8 88 8 88888 4 1 8 10 555535535 55 3 55 5 555 554 4 85 95 5 85 9 3 58 59 9 89 59 5 8988 5 58 9 88 5 889 88 88 59 nn 588 88 58 5 88 8 8 8 59 8 Na 88 888 8 PARTIE 1 DE L ELABORATION LA MISE EN UVRE D UNE EXPERIMENTATION 15 I LA GENESE DES PROJETS issues naaa NE E EA EAEEREN 15 1 1 Un premier appel projets en avril 2009 pour am liorer l insertion des jeunes 15 1 2 Les appels projets suivants 2010 2013 15 1 3 Les exigences m thodologiques de la Mission d Animation du Fonds d exp rimentation pour la Jeunesse MAFE J ss 17 1 4 Les porteurs de projet une implication forte des missions locales 19 1 5 les motivations des porteurs ronson 19 1 6 l content des Projetsen ed tata 20 1 7 Une forte sollici
39. Deux exemples tir s de notre exp rience illustrent les effets indirects que peuvent induire certains dispositifs dans le cadre d une exp rimentation Saturation temporaire des dispositifs Les exp rimentations en faveur de l insertion socioprofessionnelle de jeunes sous main de justice que nous avons valu es visaient d velopper les alternatives la d tention et ont favoris les am nagements de peine En effet les demandes d am nagement ont t plus nombreuses qu habituellement dans les maisons d arr t concern es dans l un des projets l am nagement de peine tait un crit re pr alable d ligibilit En outre selon les juges d application des peines les dossiers ont t de meilleure qualit gr ce au diagnostic plus pr cis port sur les besoins et les attentes des jeunes Les dossiers pr sent s taient galement plus solides car le suivi post 4 La question de la validit interne de l valuation consiste d terminer si les effets ou l absence d effet mis en vidence par l valuation s interpr tent bien comme l impact du dispositif l int rieur de l exp rimentation 57 parcours pr vu dans le cadre de ces exp rimentations tait un facteur de s curisation des trajectoires Par ailleurs l implication des juges d application des peines notamment dans les projets o un am nagement de peine faisait partie int grante du programme a nettement favoris l obtention de ces am nagements car
40. F novembre d cembre 2012 pp 24 30 Julien DAMON La fi vre de l valuation Sciences Humaines n 208 octobre 2009 Sophie DIVAY L valuation qualitative objectiver sans compter Bref du CEREQ n 286 CEREQ mai 2011 Sophie DIVAY Sociologue valuateur un oxymore Informations sociales n 174 CNAF novembre d cembre 2012 pp 114 120 Pauline DOMINGO valuation des effets de l accompagnement sur les trajectoires des b n ficiaires quels enseignements Informations sociales n 169 CNAF 2012 pp 100 107 Fonds d exp rimentation pour la Jeunesse Guide m thodologique pour l valuation des exp rimentations sociales l intention des porteurs de projets avril 2009 22 pages Fonds d exp rimentation pour la Jeunesse Rapport d activit 2009 2011 sans date 48 pages 66 Fonds d exp rimentation pour la Jeunesse Rapport du Conseil scientifique du Fonds d exp rimentation pour la jeunesse pour l ann e 2011 19 pages Pauline GIVORD M thodes conom triques pour l valuation de politiques publiques Document de Travail N G2010 08 Insee Marc GURGAND et Mathieu VALDENAIRE Exp rimentations conception et pilotage Le Fonds d exp rimentation pour la jeunesse et les politiques ducatives premier retour d exp rience ducation amp formations n 81 mars 2012 pp 27 37 Annie FOUQUET L usage des statistiques de l aide la d cision l
41. J Pal Europe la demande de la Direction G n rale de l Emploi des Affaires sociales et de l Inclusion de la Commission europ enne septembre 2011 Cf Jouen 2012 16 Le Manpower Demonstration Research Corporation cr en 1974 par le gouvernement des Etats Unis et la fondation Ford Pour plus de d tails voir Chelle 2012 11 galement qu avait d j t lanc en 2009 un appel projet d exp rimentations sociales APES visant proposer de nouveaux outils pour r duire la pauvret La mise en place en 2009 du Fonds d exp rimentation pour la Jeunesse FEJ se situe donc dans la continuit de cette action volontariste et de par l ambition qu elle se donne marque un tournant significatif dans l utilisation des exp rimentations en France Ce fonds d appui aux exp rimentations en faveur des jeunes institu par l article 25 de la loi du 1 d cembre 2008 8 a pour objet de financer des programmes exp rimentaux visant favoriser la r ussite scolaire des l ves contribuer l galit des chances et am liorer l insertion sociale et professionnelle des jeunes de moins de vingt six ans Anim par l Etat Direction de la jeunesse de l ducation populaire et de la vie associative sa gestion est confi e la Caisse des D p ts et Consignations Un conseil scientifique compos de dix personnalit s qualifi es dans le domaine de l valuation est charg de garantir la qualit des valuations mises
42. LLE DES EXP RIMENTATIONS Le guide m thodologique pour l valuation des exp rimentations sociales du Fonds d exp rimentation pour la Jeunesse pr sente la m thode d exp rimentation contr l e et randomis e comme tant sup rieure aux autres m thodes d valuation quantitative Cette m thode consiste en la mise en place par tirage al atoire de deux groupes un groupe b n ficiaire du dispositif innovant et un groupe t moin non b n ficiaire du dispositif Ce tirage permet d obtenir des chantillons sans biais de s lection et donc en th orie un chantillon t moin ayant les m mes caract ristiques observables et inobservables que l chantillon b n ficiaire L efficacit du dispositif est alors valu e en comparant directement l volution des situations de deux chantillons l issue de l exp rimentation 32 I 1 Groupes b n ficiaire et t moin l id al de la randomisation I 1 1 Un tirage al atoire en pratique souvent difficile mettre en uvre Le refus du tirage al atoire par les porteurs de projet pour raison thique Pour des acteurs du champ social il est injuste de ne pas offrir le m me accompagnement deux jeunes ayant les m mes besoins et de ne pas proposer le dispositif exp rimental l ensemble de la population cible qui par d finition a besoin de ce dispositif La majorit des porteurs de projets se sont donc dans un premier temps montr s r ticents envers cette m thodologie
43. La question de la validit externe des r sultats d valuation est centrale dans l interpr tation des r sultats d une exp rimentation qui a vocation par nature fournir des enseignements en vue de d cider d une ventuelle g n ralisation du projet extension l chelle nationale ou d un essaimage potentiel r plication sur d autres territoires Autrement dit la question de la validit externe est celle de savoir si les m mes effets se reproduiront si le projet tait r pliqu ailleurs Ou encore les effets seraient ils les m mes si le projet tait r pliqu plus grande chelle C est une des questions les plus d licates de l valuation car il s agit de faire la part dans l interpr tation des r sultats entre ce qui est li aux caract ristiques du contexte g ographique institutionnel et conomique et ce qui rel ve d un effet propre du dispositif Les m thodes d valuation randomis es sont cens es le permettre mais comme cela a t soulign dans la plupart des cas elles sont tr s difficiles mettre en uvre rigoureusement L valuateur doit en outre tre attentif diff rents facteurs qui peuvent avoir une influence sur les r sultats de l valuation et ventuellement conduire des biais II 2 1 Effets propres au caract re exp rimental De par leur caract re exp rimental les projets valu s se d roulent parfois dans des conditions nouvelles ou un contexte temporairement modifi
44. Le premier frein la mise en place du tirage al atoire a donc t de nature thique Deux principaux arguments sont g n ralement avanc s afin de r pondre cette critique e L valuation contr l e est la m thode scientifique la plus simple et la plus efficace pour observer les effets du dispositif exp rimental par rapport au droit commun Elle permet de mettre en avant de mani re indiscutable les impacts du dispositif sur la situation des b n ficiaires De plus les t moins continuent de b n ficier du droit commun l valuation ne conduit pas abandonner leur suivi habituel e Les moyens financiers techniques ou humains d di s l exp rimentation pouvant tre limit s il s av re impossible d int grer tous les jeunes du public cible dans le dispositif Dans ce cas le tirage al atoire devient un moyen juste de s lectionner les b n ficiaires du dispositif Les porteurs de projet n ont plus porter la responsabilit du choix du public qui b n ficiera du dispositif Malgr ces arguments deux porteurs de projet ont refus le tirage al atoire des chantillons b n ficiaire et t moin Dans ces deux cas les chantillons t moins ont t constitu s sur des territoires g ographiquement proches de ceux concern s par l exp rimentation et dont les caract ristiques taient a priori similaires 36 L valuation du RSA exp rimental dispositif souvent pr sent comme le premier exemple
45. RSA dans son volet activit montre bien la difficult toucher cette population de travailleurs pauvres C est ce qui explique qu une partie de l nergie des charg s de projet a t consacr e principalement au recrutement et non l accompagnement Un autre projet qui cherchait inciter des jeunes d scolaris s et sans insertion professionnelle int grer des actions de formation en alternance a rencontr galement des difficult s pour mobiliser le public potentiel les jeunes se 27 pr sentant aux r unions collectives ne manifestant pas toujours leur int r t pour participer au programme exp rimental C est parfois la difficult impliquer un partenaire qui n tait pas associ au projet d s le d but de l exp rimentation et sur qui le porteur comptait pour identifier son public qui est l origine d une faible mont e en charge Ces situations se sont produites dans un des projets visant des d crocheurs scolaires loign s des institutions d aide l insertion tait pr vu que pendant les premiers mois du projet le Rectorat fournisse des listes de jeunes sortis sans dipl me ou au plus avec un brevet des coll ges et non r inscrits dans un tablissement scolaire Les d lais pour tablir un partenariat efficace ont t tels que le projet a surtout int gr des jeunes inscrits dans le pass la mission locale mais n ayant plus aucun contact depuis plusieurs mois D autres sources ont pu tr
46. a suivi le principe promu par le guide d valuation du FEJ d une posture externe de l valuateur Toutefois pour tre en capacit de mesurer les effets de l exp rimentation sur le devenir des jeunes b n ficiant de l action le CR DOC a parfois d pousser le porteur remodeler son projet Dans ces cas plusieurs allers retours entre porteur et valuateur ont t n cessaires pour que le projet soit suffisamment pr cis sa cible identifi e et les actions pr vues bien d velopp es et diff renci es du droit commun existant d j sur le territoire L valuateur se retrouve dans une situation ambigu et parfois contradictoire il cherche garder son ind pendance face au porteur de projet et ne pas intervenir sur le contenu du projet pour en respecter la logique interne tout en tant amen formuler des pr conisations pour que le projet soit valuable Le porteur de projet quand son action est encore impr cise est parfois amen consulter l valuateur sur la conduite m me du projet sur ses objectifs Dans ces situations le CR DOC a cherch pousser le porteur pr ciser son projet tout en vitant de se substituer lui dans les choix op r s Certains consultants positionn s sur le champ de l valuation remplissent galement des fonctions d aide l laboration de projet La combinaison des deux r les est de nature mettre en question l ext riorit de l valuation Quand une aide au
47. agglom ration Des accompagnements fortement personnalis s ont souvent permis de trouver des solutions de logement d emploi ou de stages par exemple pour les b n ficiaires entr s dans les dispositifs et pr sents en petit nombre Il est probable que les m mes solutions ne soient pas efficaces plus grande chelle s il s agissait de trouver un logement ou un emploi un plus grand nombre de jeunes Quand bien m me le dispositif est totalement pertinent les effets escompt s peuvent se heurter une offre limit e en mati re d emploi ou de logement Les effets syst miques Certains dispositifs peuvent avoir des effets syst miques dans leur g n ralisation Par exemple un acc s accru aux am nagements de peine qui avec la pr paration et l accompagnement ad quat semble favoriser l insertion des jeunes sous main de justice n cessiterait le d veloppement de quartiers de semi libert le recrutement d un plus grand nombre de gardiens avec le risque qu ils soient potentiellement moins bien form s ce qui contrebalancerait l effet positif de l am nagement de peine Autre exemple en lien avec les limites relev es dans le paragraphe pr c dent une exp rimentation pour am liorer les qualifications peut produire des effets positifs sur les parcours de jeunes cibl s mais si tous les jeunes sans qualification en acquerraient une il n est pas dit que le nombre de postes qualifi s disponibles serait suffisant pour qu ils
48. aine taille d chantillon En particulier quand les populations concern es sont tr s h t rog nes en termes de niveau de dipl me par exemple il est souhaitable que les chantillons soient suffisamment importants Un compromis entre le co t des enqu tes et le respect du caract re al atoire doit donc tre trouv lors de la d termination d une taille d chantillon optimale De plus si le tirage au sort ne porte pas sur les individus mais par exemple sur des missions locales ou des d partements il importe de s lectionner un grand nombre d unit s pour assurer la comparabilit des populations b n ficiaire et t moin Les tailles d chantillons et les mesures de pr cisions indiqu es dans le tableau ci dessus ne tiennent pas compte de l attrition Elles correspondent un taux de r ponse de 100 L attrition diminue la pr cision des indicateurs augmente l intervalle de confiance Ainsi si l on pr voit qu un tiers des individus des deux populations ne r pondront pas il faut d s le d part envisager un chantillon plus grand Quelques points de rep res 1 Part des 18 24 ans au ch mage 22 2 Part des 18 24 ans en emploi 30 3 Part des 18 29 ans en logement autonome 56 4 Part des 18 24 ans qui ont le permis de conduire 65 Sources 1 et 2 Insee enqu te Emploi 2011 3 Insee Enqu te Nationale Logement 2006 4 Insee Enqu te Nationale transport 2005 37 I 1 2
49. anmoins pu tre tir s de ces diff rences Toutefois la conception d une seule et unique exp rimentation sur plusieurs territoires tr s diff rents n est fertile que si les acteurs ont une culture commune et des pratiques harmonis es c est dire des outils partag s et connus de tous et surtout un pilotage fort Les tableaux de bord ont par exemple t facilement mobilisables et interpr tables dans un projet qui associait plusieurs missions locales car elles taient troitement coordonn es par l une d elles En revanche si les sites sont petits les contextes socio conomiques trop vari s et les pratiques de suivi des b n ficiaires h t rog nes d un site l autre une valuation m me harmonis e ne pourra pas permettre de tirer des enseignements g n raux II 2 2 La force des exp rimentations Il reste que certaines exp rimentations ont une validit externe d une intensit variable mais cela n enl ve rien leur force ni leur utilit Pour le comprendre il faut absolument renoncer un usage na f de l valuation qui livrerait des r sultats univoques et imm diatement transposables L valuation doit en effet permettre d identifier et faire conna tre les difficult s contourner et les d marches qui permettront de la d cliner ailleurs pas forc ment de mani re la reproduire l identique La trame fournie par la MAFEJ pour la r daction des rapports d valuation finaux r
50. ant la Mission locale m me si leur besoin en logement n tait pas urgent De fa on plus g n rale une dur e de deux trois ans appara t trop courte pour proc der la fois la cr ation du projet sa finalisation et son lancement sa mont e en charge et l atteinte du rythme de croisi re C est particuli rement le cas quand les effectifs des b n ficiaires ne sont pas massifs soit parce que l on tudie un territoire restreint soit parce que le ph nom ne tudi est rare ou discontinu ou encore parce que les personnes ligibles sont difficiles rep rer par exemple les d crocheurs en rupture d accompagnement qui par d finition sont difficiles identifier Dans ces 85 18 il nous semble indispensable de pr voir une p riode pilote de mont e en charge du projet avant le d marrage de l valuation quantitative Une telle phase peut en revanche faire l objet d valuation qualitative afin d analyser les conditions de mise en uvre Dans 33 Dans l un des derniers appels projets d exp rimentations de la Commission Europ enne la dur e consacr e l exp rimentation elle m me est d ailleurs pass e de deux trois ans illustration de la prise de conscience de ce point 34 On parle d errance institutionnelle gt pour qualifier ces jeunes qui d crochent des dispositifs destin s les raccrocher 28 les exp rimentations pour la jeunesse la phase de mont e en charge et les premi
51. appelle en effet qu au del de la question de la validit externe des r sultats de l valuation prise au sens strict les valuateurs seront attentifs tirer des enseignements ayant une valeur g n rique il ne s agit pas seulement de se prononcer sur la valeur ajout e du dispositif cl en main mais d identifier les m canismes l uvre et d en tirer des conclusions utiles pour la conception et la conduite des politiques publiques y compris pour d autres acteurs et d autres territoires La g n ralisation d une exp rimentation se faisant dans une p riode ult rieure celle de la mise en uvre au stade exp rimental les r sultats peuvent diff rer quand le contexte conomique change entre ces deux p riodes Cette situation s est produite dans le cas de la g n ralisation du Revenu de Solidarit Active qui s est fait dans un contexte de crise conomique nettement aggrav e par rapport au moment de son exp rimentation r duisant d autant les opportunit s d insertion professionnelle durable des allocataires 44 Gurgand Valdenaire 2012 5 Idem 46 Idem 61 III USAGES ET UTILITE DES EVALUATIONS III 1 Usage et utilit des valuations par les porteurs Si pour les valuateurs les exp rimentations ont repr sent une exp rience riche d enseignements m thodologiques et une opportunit d tendre leurs recherches dans le champ de la jeunesse les porteurs de projet ont eu quant eux
52. au de bord rempli par les professionnels suivant les jeunes afin de mesurer aussi exhaustivement que possible les actions suivies les propositions faites le rythme r el de l accompagnement 21 e deux campagnes d entretiens qualitatifs aupr s d acteurs une en d but de programme et une autre en fin de programme pour recueillir le point de vue des porteurs de projet et des partenaires et analyser l volution du partenariat pendant la dur e de l exp rimentation L analyse des questionnaires devait permettre une vision assez compl te du parcours des jeunes avant leur entr e dans le dispositif pendant l exp rimentation et r v ler le regard des jeunes sur les actions suivies et la pertinence du dispositif Le tableau de bord est un outil a priori exhaustif pour mesurer l ensemble des actions effectivement propos es et suivies dans le cadre de l exp rimentation et l intensit de l accompagnement Les entretiens qualitatifs des acteurs se pr tent bien faire merger les diff rences de point de vue et d attentes entre les partenaires les difficult s rencontr es et l volution du partenariat Au moment des r ponses l appel projets une grande majorit des valuations envisageaient de faire appel la randomisation pour distinguer groupe b n ficiaire et groupe t moin Les premiers mois de mise en place des projets feront appara tre des difficult s dans la mise en uvre de cette m thode ce point tant
53. certation avec les partenaires du projet Cette tape pr alable comprend la d finition avec l ensemble des partenaires de ce qui signifie tre en errance la d finition d indicateurs pour appr hender ceux qui sont d j en situation d errance comme ceux qui sont en 24 passe de l tre et enfin la d finition des objectifs atteindre pour les missions locales impliqu es Dans le cas d un des programmes concernant des jeunes sous main de justice s adressant des d tenus de 18 25 ans o six groupes de jeunes entraient tous les deux mois dans l action le CR DOC est intervenu aupr s du porteur pour augmenter les effectifs de jeunes concern s afin que l valuation puisse tre tablie sur au moins 70 b n ficiaires Ce seuil semblait un minimum pour qu une analyse quantitative des questionnaires puisse tre men e De par sa connaissance des travaux sociologiques et conomiques sur le public vis par une exp rimentation l valuateur peut apporter un clairage sur l tat de la question au porteur de projet plus pr s du terrain mais plus loign des crit res pertinents d analyse Un projet d accompagnement de travailleurs pauvres s est appuy sur l expertise du CR DOC pour d finir plus pr cis ment la cible de son intervention quels taient les crit res pour consid rer qu une personne tait travailleur pauvre quels taient les diff rents profils de travailleurs pauvres que l exp ri
54. de taille r duite En termes de m thodes notre bilan nous incite ne pas pr coniser une utilisation exclusive des approches randomis es L approche qualitative a en effet permis d apporter des informations pr cises et pr cieuses pour l valuation notamment sur les questions de mise en uvre des dispositifs et de fonctionnement des partenariats Nous recommandons ainsi l avenir de d velopper davantage d outils qualitatifs observations sur site entretiens approfondis de type r cits de vie De fa on plus g n rale il importe de ne pas perdre de vue les autres m thodes d valuation et ne pas oublier que l exp rimentation reste une forme d valuation parmi d autres 8 Le terme de gold standard a t mentionn en 1993 par les conomistes Rossi et Freeman au sujet de la randomisation Rossi Freeman 1993 64 D autres facteurs ont par ailleurs conditionn la nature et la port e des r sultats produits le ciblage plus ou moins pr cis des populations ligibles le caract re plus ou moins innovant des actions exp riment es ou encore la dur e de l valuation souvent amput e par une mont e en charge trop longue ce titre la r alisation d tudes de faisabilit et la mise en place de phases pilotes pr alables l exp rimentation font partie des principales pr conisations que nous formulons Aujourd hui parmi les valuateurs comme au sein de la MAFEJ le mot d ordre est la capitali
55. dur e minimale d exp rimentation pour des r sultats court et moyen terme 56 II 2 La validit externe des effets reproductibles hors du cadre exp rimental 57 II 2 1 Effets propres au caract re exp rimental 57 II 2 1 Des interrogations sur l extrapolation des r sultats 59 11 2 2 La force des exp rimentations sisi 61 III USAGES ET UTILIT DES EVALUATIONS uses rninha aia iiaa AE i a aaa Aa eee a 62 II 1 Usage et utilit des valuations par les porteurs 62 III 2 Enseignements de politiques publiques 4 4 4444 5454969569844 4 63 CONCLUSION ht letras en sind trace n tee datant loue re ni 64 BIBLIOGRAPHIE 5 555 55 55 55555 5 5 55 5 5 9 955 9 5955 5 9 8999 5 89 9 9 5 9 89 9 9 5859 5 88988 5 59 nn 5888 8 58 858 5 8888 888888 88 66 SYNTHESE Dans un contexte national de d veloppement des exp rimentations sociales le CR DOC a t amen valuer une vingtaine de dispositifs destin s aux jeunes de moins de 25 ans dans le cadre du Fonds d exp rimentation pour la Jeunesse FEJ Le FEJ a financ depuis 2009 plus de 300 projets concernant les jeunes Le pr sent Cahier de recherch
56. e 72 4 permet aux collectivit s locales d adapter les lois et r glements nationaux aux situations locales Elles peuvent donc tre l initiative d exp rimentations dans leur domaine de comp tences L existence d une tape d valuation n est pas express ment mentionn e dans la Constitution mais cette tape est inh rente la notion m me d exp rimentation En effet le principe de l exp rimentation est de tester l hypoth se de l effet d un facteur sur un ph nom ne donn et c est l valuation qui permet de conclure la validit ou non de l hypoth se Ainsi les exp rimentations sont associ es au principe d une valuation ind pendante qui permet de juger de l int r t des r sultats obtenus avant de g n raliser les politiques exp riment es En fin de compte la d marche est justifi e par ses fondements 1 Cette d finition issue du colloque sur l exp rimentation sociale de Grenoble pr sid par Martin Hirsch en novembre 2007 est reprise dans le guide m thodologique pour l exp rimentation sociale diffus par la Mission d Animation du Fonds d Exp rimentations pour le Jeunesse MAFEJ en 2009 2 Legendre 2012 3 Loi constitutionnelle n 2003 276 du 28 mars 2003 relative l organisation d centralis e de la R publique 4 Le droit de d roger est cependant subordonn une habilitation pr alable et doit avoir un objet et une dur e limit s scientifiques dans un contexte de contrainte budg
57. e de deux trois ans et ne permettent pas de tirer des conclusions sur les effets plus long terme des dispositifs mis en uvre Les retards dans la mont e en charge des dispositifs ont parfois aussi r duit la p riode d observation Il est probable que dans certains cas o aucun effet n a pu tre mesur cela soit en r alit d au fait qu on ne disposait pas d un recul suffisant pour observer des effets significatifs De m me la mise en place de partenariats est souvent longue les cons quences du rapprochement entre diff rents acteurs peuvent n tre effectives qu apr s la fin de la p riode d exp rimentation Ainsi les effets des exp rimentations valu es sont le plus souvent limit s dans le temps Cette limite elle m rite d tre soulign e car elle doit tre pr sente l esprit non seulement des valuateurs charg s de formuler les r sultats mais aussi des utilisateurs de ces r sultats Il ne 56 s agit pas de renoncer toute vell it d valuation mais simplement d attirer l attention des porteurs de projet et des valuateurs sur l importance d ajuster leurs objectifs comme leurs attentes ce que la dur e de l exp rimentation permet de conclure De la m me mani re les tests pharmaceutiques men s sur des patients ne permettent pas de pr sumer des effets long terme de l usage d un m dicament II 2 La validit externe des effets reproductibles hors du cadre exp rimental
58. e dresse un bilan m thodologique des projets valu s par le CREDOC sur la p riode 2009 2013 qui ont port sur l insertion des jeunes sous main de justice l orientation de jeunes en rupture scolaire l acc s la formation en alternance l acc s au logement et au microcr dit La premi re partie de ce Cahier de recherche retrace les tapes cl s de l laboration des exp rimentations dans le cadre du FEJ de la gen se des projets la conception de la m thodologie d valuation qui devait si possible inclure selon les pr conisations du FEJ une comparaison entre un groupe de b n ficiaires et un groupe t moin constitu al atoirement selon les principes d une valuation randomis e Cette partie aborde l implication des porteurs de projet leurs motivations ainsi que le contenu des projets suivis par le CR DOC La deuxi me partie de ce Cahier de recherche est consacr e aux aspects m thodologiques de l valuation et propose un tour d horizon des m thodes quantitatives et qualitatives mobilis es par le CR DOC Ce regard critique sur les m thodes mises en uvre et les difficult s les appliquer doit permettre de mieux d finir les protocoles exp rimentaux l avenir La troisi me partie du Cahier de recherche propose une r flexion sur les conditions d obtention de r sultats d valuation utiles pour la suite des exp rimentations en nous interrogeant d une part sur la nature des r sultats obtenus et d autre part
59. e exp rience en mati re d valuation acquise au cours d autres exp rimentations conduites r cemment Le CR DOC a notamment contribu l valuation du RSA en 2010 2011 via une enqu te qualitative aupr s de 360 allocataires ainsi que du projet des Lits d Accueil M dicalis s entre 2009 et 2012 pour la Direction G n rale de la Coh sion Sociale DGCS pour citer les principales L valuation d une exp rimentation sur le Revenu Contractualis d Autonomie 8 pour le Minist re de la Jeunesse est par ailleurs en cours actuellement Un bilan m thodologique destination des porteurs de projet et des valuateurs Le pr sent travail fait suite un pr c dent Cahier de recherche du CR DOC qui dressait en 2009 les tout premiers constats sur les conditions d laboration et de d marrage des premiers projets valu s par le d partement EPS portant sur les politiques locales en faveur de la jeunesse Il s agit ici de mettre en vidence les bonnes pratiques et les cueils li s aux difficult s pratiques et th oriques qui sont apparues tout au long des exp rimentations de la conception la mise en uvre concr te des exp rimentations et de l valuation L analyse critique des processus et m thodes propos e ici vise tirer les enseignements utiles de futures valuations Trois ans apr s le lancement des premiers projets financ s par le FEJ les retours d exp rience se multiplient 7 Dans un premi
60. e fort qui peut tre assur par un tiers La sensibilisation des porteurs aux objectifs et exigences de l valuation est un atout pour assurer leur contribution aux recueils de donn es indispensables pour la d marche valuative Au regard de ces enseignements il est important de souligner que ces exp rimentations ont cr un fort dynamisme tant chez les porteurs de projet que leurs partenaires mais aussi chez les valuateurs On peut ainsi esp rer qu elles aient un effet catalyseur pour les politiques sociales en ayant fait merger des id es et des r flexions partag es dans le cadre d une r flexion collective des diff rents acteurs locaux et nationaux Il reste encore cependant tirer et croiser tous les enseignements des exp rimentations financ es par le FEJ et les mobiliser pour optimiser les dispositifs actuels et les rendre l avenir plus efficaces et plus pertinents INTRODUCTION Le recours aux exp rimentations sociales se d veloppe depuis le d but des ann es 2000 en France comme dans d autres pays europ ens Rappelons en la d finition g n ralement retenue L exp rimentation dans le domaine des politiques sociales consiste tester une innovation sociale petite chelle et pendant une dur e limit e afin d en mesurer les avantages et les inconv nients de l am liorer avant de la g n raliser ou d y renoncer si elle ne s av re pas pertinente Un cadre l gislatif fran ais qu
61. e la population b n ficiaire soit d finie en lien avec l objectif de l exp rimentation et bien identifi e Les ajustements m thodologiques intervenus en d but ou en cours d exp rimentation ont parfois conduit l largissement du public b n ficiaire en vue d atteindre des effectifs correspondant ceux fix s avec la MAFEJ et pour r pondre aux exigences de la statistique Par exemple dans un projet en faveur des jeunes sous main de justice le public b n ficiaire initialement compos de jeunes incarc r s et candidats un am nagement de peine a t largi des jeunes en milieu ouvert c est dire b n ficiant d j d un am nagement de peine ou condamn s une peine alternative l incarc ration Dans le cas d un projet visant des d crocheurs universitaires inconnus de la mission locale la difficult mobiliser des listes provenant de l universit d tudiants en cours d abandon de leur cursus a amen int grer des jeunes d j suivis par la mission locale impliqu e Un des projets portant sur l acc s au logement a int gr pour partie des jeunes pour lesquels la question de l acc s un logement autonome n tait pas la priorit Ces largissements ont pour cons quence de brouiller les r sultats de l exp rimentation Autrement dit quand le public b n ficiaire a t largi et ne correspond plus au public cibl dans les objectifs initiaux on n observe plus qu un impact dilu sur
62. e logement ou de sant 32 Br zault Olm Angotti Simon 2009 19 nouveaux modes d intervention Il est alors possible d identifier service plus une plus value par rapport au droit commun et ceux qui consistent intensifier des actions d j existantes soit en renfor ant le rythme de suivi de l accompagnement des publics jeunes soit en cherchant augmenter le nombre des b n ficiaires de ces actions Si la lecture des projets certaines exp rimentations semblent se classer dans la premi re cat gorie le d roul du programme n a pas toujours t la hauteur des ambitions nonc es dans les projets Faute de temps de moyens humains ou suite des difficult s non envisag es au stade de l laboration du programme pour d velopper des partenariats le contenu des projets s est parfois limit un renforcement de l accompagnement existant pr alablement au financement par la MAFEJ 6 Le contenu des projets Les projets concernant les jeunes sous main de justice visaient pr venir la r cidive en favorisant l insertion professionnelle des jeunes ayant connu l incarc ration Ils s appuyaient sur le d veloppement ou le renforcement des partenariats entre les acteurs de l insertion notamment les missions locales et les services p nitentiaires Ils comportaient des actions de formation de s ances de travail en groupe ou individuellement et certains projets comportaient un stage Deux
63. e mise en uvre des actions Des entretiens ont eu lieu avec les porteurs tout au long de l valuation Les entretiens en d but d exp rimentation ont permis de connaitre les pratiques ant rieures du porteur par rapport au public concern par l valuation les conditions de d veloppement du projet les objectifs vis s et l tat du partenariat Dans les cas o les projets ont t mis en uvre directement par la structure porteuse du projet les entretiens ont t men s la fois avec les responsables des projets et avec les personnels directement op rationnels qui taient en contact direct avec les jeunes L valuateur a maintenu les contacts tout au long des exp rimentations permettant d analyser les volutions par rapport au projet initial les difficult s ventuelles rencontr es et les adaptations alors n cessaires dans les m thodes En fin d exp rimentation les entretiens avec les porteurs ont permis de recueillir le bilan fait par les acteurs sur les actions r ellement mises en uvre leur point de vue concernant les effets sur les b n ficiaires ainsi que sur les volutions des relations partenariales Il est important de croiser le point de vue des porteurs avec celui des partenaires ainsi qu avec les r sultats des enqu tes quantitatives ou qualitatives sur les b n ficiaires notamment quand les porteurs de projet parfois dans l optique de p renniser les actions quels que soient les r sultats de l
64. e mobilis es gr ce au partenariat avec des clubs de pr vention intervenant sur le territoire des missions locales Ces difficult s se sont cependant traduites par un nombre de personnes b n ficiaires des actions inf rieur celui pr vu au stade du projet Autre cas de figure lorsqu un partenariat a mis du temps ou a pein se mettre en place comme pour l accompagnement d tudiants de l universit l entreprise La mission locale devait obtenir des listes de jeunes tudiants absent istes gr ce la mise en place d un rep rage au niveau de l universit Mais la coordination n a pas t bonne et l universit n ayant pas mis en place un d pistage pr coce des tudiants absent istes les entr es dans l exp rimentation se sont faites au compte gouttes au rythme de l arriv e des jeunes la mission locale par d autres voies que l universit La contrainte de faire entrer un nombre donn de b n ficiaires dans le projet qui plus est dans un temps limit a ainsi parfois conduit un largissement du public cible jeunes en milieu ouvert dans une exp rimentation en faveur des jeunes sous main de justice pr vue au d part pour des jeunes incarc r s mobilisation de jeunes d j inscrits dans une mission locale quand le projet initial visait s adresser des jeunes qui ne connaissaient pas cette structure ou encore int gration dans le programme d accompagnement vers le logement de tous les jeunes se pr sent
65. e rend impossible la comparaison entre les situations apr s le d roulement du contrat entre b n ficiaires et t moins Une autre solution aurait t d interroger uniquement parmi les b n ficiaires ceux qui avaient int gr une formation en alternance en 2010 mais les effectifs interroger auraient t trop faibles Les limites des alternatives mieux prendre en compte d s la conception Des m thodes alternatives la randomisation ont ainsi t d ploy es dans de nombreux projets Par rapport la constitution al atoire d chantillons comparables toutes pr sentent des inconv nients qui les rendent moins performantes Dans le cas des exp rimentations pour la jeunesse les m thodes alternatives ont rarement permis de mesurer l effet propre des dispositifs car malgr tout il subsistait trop de dissemblances entre les chantillons t moins et b n ficiaires Ces constats ont souvent conduit abandonner la comparaison entre les deux publics en raison des biais de s lection doubl s de faibles effectifs qui ne permettent pas la mise en uvre de m thodes conom triques pour neutraliser les biais Remarquons que ces abandons se sont souvent faits en plusieurs tapes Dans un premier temps l chantillon randomis a t remplac par un groupe t moin constitu de fa on raisonn e jeunes ayant des caract ristiques semblables sur le m me territoire ou sur un territoire voisin Mais la faiblesse des effectif
66. en uvre En 2011 les attributions du fonds sont largies il peut en outre financer l essaimage d exp rimentations dans de nouveaux territoires Dot de pr s de 230 millions d euros le fonds vise susciter des exp rimentations en faveur de l insertion des jeunes et fonctionne principalement sur le mode d appels projets portant sur des th matiques cibl es Le fonds qui a pour ambition de cr er et de financer des politiques innovantes de la jeunesse doit ainsi permettre d impulser et de soutenir des initiatives sur diff rents territoires et selon des modalit s variables et de les valuer Cette approche vise ainsi pr parer d s la phase exp rimentale les conditions d une g n ralisation ult rieure Le fonds a conduit la mise en uvre au niveau local de plus de 500 projets Sa particularit est d insister sur la sup riorit des m thodes randomis es dont l utilisation est fortement pr conis e dans le guide m thodologique con u pour les porteurs de projets 2 17 Au total 37 projets avaient t s lectionn s Un budget de 9 millions d euros a t d gag pour financer ces projets en 2008 et en 2009 Le CREDOC en a valu trois entre 2008 et 2012 18 La loi 2008 1249 du 1 d cembre 2008 g n ralisant le Revenu de Solidarit Active et r formant les politiques d insertion 1 L appel projets est structur autour de 14 th matiques alternance jeunes sous mains de justice d cr
67. er temps nous retra ons les tapes cl s de l laboration d une exp rimentation sociale de la gen se des projets la conception d une m thodologie adapt e en nous appuyant sur l exp rience du CR DOC Nous retra ons l historique des projets lanc s par le Fonds d exp rimentation pour la Jeunesse avec ses exigences m thodologiques l implication des porteurs de projet et les interactions entre valuateur et porteurs de projet La deuxi me partie est consacr e aux aspects m thodologiques de l valuation et propose un tour d horizon des m thodes quantitatives et qualitatives mobilis es Ce regard critique sur les 23 Trois valuations ont t r alis es en collaboration avec des co valuateurs respectivement le Centre de recherche en conomie et en statistiques CREST le cabinet MB Consultants et l espace Inter Initiatives E2I 24 Trois valuations d exp rimentations pour la jeunesse taient encore en cours fin 2012 au CR DOC 55 Le CREST est co valuateur 26 Br zault Olm Angotti Simon 2009 27 Parmi ces analyses on peut mentionner Divay 2011 et 2012 Gilles 2012 Gurgand et Valdenaire 2012 ainsi que le Rapport du Conseil scientifique du Fonds d exp rimentation pour la jeunesse pour l ann e 2011 13 m thodes mises en uvre et les difficult s les appliquer est destin permettre de mieux d finir les protocoles exp rimentaux l avenir Enfin la troisi me partie est consacr e
68. erait probablement pas en rythme de croisi re o les jeunes arrivent et sont pr sents en quartier de semi libert en moins grand nombre 2 Des affectations temporaires qui peuvent pr cariser les porteurs Les financements des exp rimentations ont g n ralement servi financer des postes suppl mentaires notamment dans les Missions Locales qui ont pu embaucher par exemple des conseillers r f rents justice suppl mentaires Comme cela a t soulign dans la premi re partie l affectation de personnel sur des missions financ es uniquement durant le temps de l exp rimentation peut conduire des difficult s de recrutement Par ailleurs le caract re temporaire du financement des projets peut d courager des partenaires d orienter des personnes ligibles vers des projets qui vont s interrompre Existe aussi le risque que cela diminue la visibilit des projets Dans une des exp rimentations en faveur de l emploi une importante campagne de communication avait t d ploy e au d part pour faire conna tre le dispositif d accompagnement en faveur de demandeurs d emploi Faute de moyens la communication s est arr t e et les partenaires croyant que le dispositif n existait plus n ont plus orient de ch meurs vers ces actions ce qui a mis temporairement en p ril le projet 4 Aldeghi Jauneau Muller 2012 42 En 2011 les jeunes de 18 24 ans repr sentent 25 de la population sous crou Source minist
69. es derniers taient ils adapt s Les prescripteurs ont ils adh r la philosophie et aux modalit s du dispositif S il est l gitime de s interroger a posteriori sur la fa on dont le dispositif a t investi par le public cibl la question de la pertinence de l action au regard des crit res d ligibilit doit d apr s notre exp rience tre abord e en profondeur d s la conception de l exp rimentation 5 Des financements qui co ncident avec la p riode d valuation Les protocoles d valuation d ploy s par les valuateurs comportaient des phases d entretiens avec les partenaires ainsi que l interrogation des b n ficiaires et des t moins n cessairement programm es en fin d exp rimentation pour en saisir les effets moyen terme Il n tait ainsi pas possible que les r sultats soient disponibles au moment o les financements s arr tent fortiori 37 Dans certains cas les b n ficiaires ne sont pas conscients de b n ficier d un dispositif nouveau ou sp cifique 54 les r sultats ne pouvaient tre disponibles avant la fin de l exp rimentation En outre trois mois taient ensuite d volus la r daction du rapport d valuation De plus les r sultats des valuations taient en fait destin s la MAFEJ et devaient d abord tre valid s par la mission qui r servait un mois cette derni re tape Sans remarques de la MAFEJ dans ce d lai c est au bout d un moi
70. fs aupr s de jeunes sont alors opportuns Les entretiens approfondis aupr s des jeunes ont permis d aborder leur interpr tation des effets des programmes sur leur parcours leur ressenti du dispositif et leur compr hension des programmes Les cl s d une valuation r ussie Au final un certain nombre de grands principes peuvent tre retenus au regard de ces exp riences et du bilan r alis par le CR DOC Le d lai de mont e en charge des exp rimentations doit tre anticip afin que le d marrage de l valuation co ncide au lancement effectif des projets Le programme valu doit se distinguer clairement des actions d j en place sur le territoire le droit commun afin que l impact des actions soient substantiel et donc identifiable La validit externe des r sultats leur caract re reproductible dans le cadre d un essaimage ou d une g n ralisation peut tre limit e par les sp cificit s du contexte local mais aussi de la p riode de mise en uvre du projet valu Les objectifs de l valuation doivent tre coh rents avec la dur e de la p riode d observation L valuateur doit disposer d un recul suffisant pour mesurer l effet d un dispositif L exp rimentation doit avoir une dur e suffisante pour qu il soit possible de mesurer tous les effets pr vus Les exp rimentations sur plusieurs sites sont valuables condition de reposer sur des pratiques harmonis es gr ce un pilotag
71. ho du c t des jeunes qui n en avaient en fait pas besoin Il est apparu qu ils se sont rapidement tourn s vers leurs proches le r seau relationnel s tant montr plus direct et plus efficace En outre il semblerait que l accompagnement propos dans l acc s au ogement autonome peut tre contradictoire avec la recherche d autonomie des jeunes t aut tet tradict herche d aut d De plus malgr les r flexions men es en amont certains des projets que le CR DOC a valu s n taient pas assez pr cis ment d finis au moment o l exp rimentation s est mise en place Les effets recherch s taient diffus et les objectifs mal d finis malgr une formalisation d j pouss e dans la phase d laboration du projet pour candidater au FEJ Implicitement c est la question de l adh sion des b n ficiaires au dispositif qui se pose et doit tre anticip e Conform ment la trame de rapport labor e par la MAFE J l valuateur tait invit porter dans la mesure du possible un jugement sur le niveau d adh sion du public au dispositif et sur de possibles d calages entre le public vis initialement et celui qui a effectivement adh r au dispositif et pr ciser notamment si selon lui le dispositif a t suffisamment attractif pour les b n ficiaires ou pas L valuateur devait a posteriori donner des pr cisions sur les conditions d ligibilit des b n ficiaires et les modes de prescription c
72. i ouvre la voie aux exp rimentations En France la d marche exp rimentale est relativement r cente dans l histoire des politiques publiques soutenues par l Etat car elle se heurte la tradition centralis e de l Etat fran ais ainsi qu au principe de l galit entre les territoires Le caract re pragmatique de la m thode exp rimenter valuer puis g n raliser peut s accorder avec le mode de formation des d cisions publiques dans les pays du common law tels que les Etats Unis la Grande Bretagne ou l Irlande o la jurisprudence est une source importante du droit En France pays de droit romain o le syst me s appuie davantage sur des codes crits et o les d cisions sont prises en principe la suite d un d bat public et d une d lib ration entre les d cideurs publics les exp rimentations sont entr es relativement r cemment dans le paysage scientifique et politique et ont t rendues possibles par les volutions du contexte l gislatif et politique C est en effet la R vision constitutionnelle du 28 mars 2003 relative l organisation d centralis e de la R publique qui a inscrit le droit l exp rimentation dans la loi m me si le Conseil Constitutionnel avait ouvert la voie dans un arr t du 28 juillet 1993 L article 37 1 de la Constitution dispose que la loi et le r glement peuvent comporter pour une dur e et un objet limit s des dispositions caract re exp rimental L articl
73. iculier pour des publics qui connaissent des situations pr caires Sur la dur e d une exp rimentation un jeune a pu avoir plusieurs CDD ou missions d int rim alterner des p riodes de ch mage et d emploi des formations plus o moins 42 courtes ou interrompues Sur le plan personnel galement les situations familiales voluent rapidement surtout quand le lien avec les parents est distendu Comme cela a t mentionn plus haut c est au cours de ces premi res ann es de vie adulte que les d m nagements sont fr quents et la question du logement centrale I 2 3 Les enqu tes par questionnaire cibler les indicateurs cl s Les enqu tes par questionnaire visaient collecter des informations homog nes sur les jeunes b n ficiaires et t moins situation professionnelle leur situation de logement diff rentes dates afin de comparer l volution de leur situation Les questionnaires taient pr vus pour durer en moyenne une vingtaine de minutes afin de collecter des informations les plus pr cises possibles sur les jeunes et appr hender la vari t des situations rencontr es et approfondir des cas particuliers Sur ce plan il est probable que les questionnaires con us ont t g n ralement trop ambitieux Ils ont apparemment t per us comme trop longs par les jeunes interrog s Les questionnaires un peu longs en premi re vague d enqu te ont vraisemblablement d courag les jeunes r pondre plu
74. ien l impossible position de neutralit du sociologue dans le cadre de l exp rimentation le m tier de sociologue consiste op rer une rupture par rapport au sens commun et mettre en vidence les pr suppos s tacites de ses sujets d tude Or le guide m thodologique demandait l valuateur de rester dans la logique des projets et de ne pas questionner la probl matique de l exp rimentateur Sa t che consistant v rifier l impact des projets Il est impossible d interroger les pr notions de faire le travail de construction de l objet sp cifique la d marche du sociologue et d adopter une posture critique Comment disposer alors de la distance n cessaire la r flexion m thodologique En participant des comit s de pilotage en observateur le CR DOC a pu suivre le d roulement des exp rimentations sans intervenir sur leur contenu Il a aussi pu s assurer de la bonne mise en uvre des outils de suivi tels que les tableaux de bord 38 Les porteurs ont galement r dig des rapports destination de la MAFEJ 3 Divay 2012 55 II VALIDITE DES RESULTATS ET CONDITIONS DE GENERALISATION II 1 Une dur e minimale d exp rimentation pour des r sultats court et moyen terme Dans le cadre du Fonds d exp rimentation pour la Jeunesse deux trois ann es taient d volues au d roulement de l exp rimentation et de l valuation Concr tement cette dur e recouvrait entre autres le
75. ination AP2_086 Une chance pour tous De nouvelles approches Association R gionale des Pr sidents de ML du recrutement pour de nouveaux talents en Limousin entreprise Th me Diversification des choix d orientation scolaire et professionnelle des jeunes filles Association Lunes et l autre avec la AP3_ 048 Futures scientifiques participation du Rectorat de la r gion PACA ML Mission locale CG Conseil g n ral Entre avril 2010 et janvier 2013 trois autres appels projets ont t lanc s APDOM1 APDOM3 Consacr s aux d partements d Outre Mer ils concernent chacun entre 11 et 15 projets De plus quatre appels projets lanc s entre ao t 2011 et avril 2012 taient plus sp cifiquement li s au milieu scolaire APSCO1 APSCO4 Ils portent chacun sur une th matique pr cise les rythmes scolaires l accompagnement des bacheliers professionnels avant et apr s l examen final le 16 harc lement en milieu scolaire et le d veloppement de l esprit d entreprendre aupr s d l ves de lyc es g n raux et professionnels Dans ce cadre le CR DOC est valuateur d une exp rimentation d actions de sensibilisation l esprit d entreprendre notamment par des exercices de mise en situation des l ves sur la cr ation et la gestion d entreprises virtuelles Enfin en avril 2010 47 exp rimentations ont t lanc es pour aider les jeunes obtenir le permis de conduire appel proje
76. informations utiles pour laborer un diagnostic concernant l impact du projet sur le parcours des b n ficiaires Le porteur de projet a exprim des doutes sur la capacit de l valuateur de mener des investigations sans fragiliser le partenariat avec les principaux acteurs et la relation avec les jeunes accompagn s Le porteur de projet percevait l valuation comme une contrainte voire comme un frein la mise en uvre de son projet Le principe m me d une valuation externe n a pas t accept par le porteur Ce climat de d fiance a emp ch la transmission d informations essentielles les coordonn es des partenaires de terrain le tableau de bord r pertoriant les jeunes entr s dans le dispositif Un tr s faible nombre des questionnaires con us par le CR DOC et distribu s par le porteur ont t communiqu s Malgr l intervention de la MAFEJ et plusieurs r unions pour expliquer les objectifs et m thodes de l valuation et malgr des propositions d ajustements m thodologiques du protocole valuatif la mission d valuation a d tre interrompue 31 PARTIE 2 REGARD CRITIQUE SUR LES METHODES D EVALUATION MISES EN UVRE Treize des projets valu s par le CR DOC pr sentaient un dispositif d valuation construit suivant l ensemble des recommandations du guide m thodologique de la MAFEJ et incluaient 9 un chantillon b n ficiaire et un chantillon t moin constitu s al atoirement dans 10 des
77. ins prolong s parfois m me avant la fin de l valuation Ces constats invitent s interroger d une part sur la nature des r sultats qui peuvent tre obtenus d une exp rimentation et d autre part sur la port e et l utilisation de ces r sultats La question sous jacente abord e est en fin de compte celle des suites concr tes des exp rimentations soutenues par le FEJ c est dire celle des le ons tirer de ces valuations en termes de politiques pour la jeunesse I LES CONDITIONS DE REUSSITE D UNE EXPERIMENTATION Dans sa conclusion le guide m thodologique de la MAFEJ philosophe S il pense valuer une exp rimentation en r alit il l valuateur exp rimente une valuation C est effectivement le constat du CR DOC Nombre de projets ont rencontr des obstacles dans leur d roulement et subi des ajustements en cours d exp rimentations Malgr ces difficult s tr s diverses au final tous ont pu tre valu s Tirant de notre exp rience un certain nombre de cl s pour une valuation r ussie nous revenons ici sur les principales questions qui se sont pos es au moment d analyser les r sultats I i Une mont e en charge anticip e pour valuer les effets d s que les actions sont en place Certains projets ont connu une mont e en charge plus longue que pr vue Une cons quence a t dans certains cas le d calage de la date des premi res enqu tes quantitatives pour qu elles puissent p
78. ions mises en place Le risque d une liste incompl te de partenaires Dans un premier temps l valuateur part g n ralement d une liste de partenaires qui lui a t communiqu e par le porteur Il s agit souvent du premier cercle des partenaires de ceux dont le porteur est le plus proche Le risque existe d une s lection des partenaires partageant le point de vue du porteur sur le bilan de l exp rimentation Le CR DOC a g n ralement demand aux acteurs interview s de sugg rer une liste d autres partenaires interviewer Ainsi le champ des personnes prises en compte dans les phases qualitatives peut tre largi Dans le cas de projets visant l insertion professionnelle le plus difficile a souvent t d obtenir les contacts des employeurs chefs de petites entreprises ou responsables de personnel avec qui un partenariat s tait nou particuli rement quand ces employeurs ne rel vent pas de l insertion par l activit conomique Parfois le porteur de projet craignait que les employeurs qui sont des personnes difficiles mobiliser ne se sentent importun s par la demande d entretiens par l valuateur et se montrent moins disponibles en cas de sollicitations d autres int grations dans leur entreprise de personnes suivies par leur structure Dans le cas d un des projets concernant des jeunes sous main de justice les entreprises participent un programme d insertion d anciens d tenus sans connaitre le pass
79. iquement tre imput es au dispositif 41 Ce ph nom ne d attrition a t rencontr sur toutes les th matiques insertion des jeunes sous main de justice acc s un logement acc s la formation par alternance et d crochage scolaire La seule exception concerne un projet sur l orientation des lyc ens Il s agit d un public plus jeune en moyenne moins mobile moins fragile plus proche de ses parents donc plus facilement joignable L attrition a souvent t plus importante pour les t moins que pour les b n ficiaires Les b n ficiaires du fait de leur suivi par les porteurs ont eu plus de contacts avec leurs conseillers Leurs coordonn es ont donc t plus souvent mises jour que celles des t moins I 2 2 Les sp cificit s du public jeunes Notre exp rience nous confirme que les jeunes dans leur ensemble sont un public plus difficile joindre et suivre et ce pour plusieurs raisons Un public tr s mobile les jeunes sont plus souvent en recherche d emploi de logement ou de formation et sont donc par d finition un public tr s mobile changeant souvent d adresse et de num ro de t l phone fixe Si les jeunes ne prennent pas contact avec les porteurs et si ces derniers ne peuvent pas mettre jour leurs coordonn es il devient extr mement difficile de les contacter m Les num ros de portables invalides les num ros de t l phone disponibles correspondaient souvent un num
80. ise des propositions s est souvent r v l tr s court pour les porteurs de projet comme pour les valuateurs Certains porteurs de projet n avaient alors pas une id e tr s pr cise du public qui serait touch par l exp rimentation ni en termes de volume ni en termes de profil Les actions mettre en place n taient pas toujours tr s pr cis ment d finies Au moment o l opportunit d laborer un protocole d exp rimentation s est cr e il leur a fallu un certain temps pour consulter des partenaires trouver des cofinanceurs et d velopper des id es d actions innovantes destination des jeunes En cons quence les sollicitations des porteurs de projet pour associer le CR DOC l valuation de leur proposition d exp rimentation ont souvent eu lieu peu de temps avant la date finale d envoi des dossiers et ceci m me quand les porteurs avaient une id e d j bien labor e du contenu de l exp rimentation Il serait souhaitable d associer l valuateur au projet le plus en amont possible afin de s assurer que l exp rimentation rev t un contenu susceptible de donner lieu une valuation rigoureuse 23 II LE LIEN ENTRE PORTEUR ET EVALUATEUR STADE DE LA REDACTION DU PROJET II 1 L valuateur contribue pr ciser les objectifs du projet Le CR DOC en tant qu valuateur n a g n ralement pas t associ au montage de projet ayant t sollicit quand le projet tait d j construit Il
81. la dur e de l exp rimentation Autre exemple un projet sur le th me de l alternance pr voyait une phase d accompagnement dans l emploi en vue de s curiser le parcours de jeunes apr s l obtention de leur dipl me cependant tr s peu de jeunes ont atteint cette phase dans la dur e impartie l exp rimentation donc l accompagnement a tr s peu eu lieu ce stade du parcours III 3 Des recrutements temporaires parfois difficiles effectuer Recruter des salari s form s aux m tiers sp cifiques s av re parfois difficile Une plateforme d aide l acc s au logement souhaitait ainsi recruter en CDD des conseillers en conomie sociale et familiale pour le temps de l exp rimentation Or localement ces profils taient en position favorable sur un march de l emploi o la demande dans ces postes tait sup rieure l offre et il a t long pour les porteurs de mettre en place l quipe d di e au projet 29 III 4 Pour des tudes de faisabilit pr alables et bien cadr es L essentiel des r ajustements tant dans l exp rimentation que dans la conduite de l valuation a eu lieu apr s le d marrage du programme les difficult s apparaissant ce stade D o l int r t de proc der une tape d tude de faisabilit pour avoir une vision plus claire des rythmes de mont e en charge des dispositifs et des difficult s ventuelles aplanir pour le d veloppement de l action noter les tudes de
82. lancement du projet et sa mont e en charge comprenant parfois la mise en place des outils de suivi En pratique les valuations ont t men es sur deux ans environ Dans plusieurs cas cette dur e s est r v l e trop courte pour mener bien l valuation avec suffisamment de recul notamment quand les projets n taient pas compl tement ficel s gt au moment du d marrage Certains projets se sont en outre sans doute montr s trop ambitieux l instar d un projet d accompagnement dans l alternance Etant donn que la majorit des contrats en apprentissage se d roulent sur deux ann es le recul tait insuffisant pour valuer les taux d obtention du dipl me et l accompagnement dans l emploi en vue de s curiser le parcours des jeunes Tout en calibrant bien les phases de faisabilit et de mont e en charge il convient de s assurer d avoir un recul minimal pour valuer les effets d un dispositif Cette dur e d pend du contenu des actions exp riment es De fa on plus g n rale les r sultats des valuations sont interpr ter comme des r sultats court ou moyen terme Il ne fait aucun doute que l insertion socioprofessionnelle des jeunes se construit sur plusieurs ann es et est d autant plus longue qu ils sortent du syst me scolaire avec un faible niveau de qualification ou ont connu des p riodes de d tention Les protocoles d valuation mis en uvre ont port sur l impact des projets sur une p riod
83. le Il est important de noter que le remplissage de ces tableaux constitue en fait une contrainte suppl mentaire pour les porteurs de projet et les acteurs notamment pour les tableaux de bord ad hoc qui ne font pas partie des outils de suivi usuels En outre dans certains cas cette saisie constitue une double saisie avec le logiciel de gestion existant Ne pas alourdir la charge des acteurs est un aspect important prendre en compte par les porteurs comme par les valuateurs lors de la conception de ces outils Comme cela a t mentionn plus haut ces tableaux ont utilement compl t les informations tir es des enqu tes et apportaient des informations qu il n tait pas possible de collecter autrement sans alourdir encore le questionnement ou tre confront des probl mes de m moire fr quence et contenu des contacts avec les acteurs de l accompagnement situation de logement ou vis vis de l emploi diff rentes p riodes L exploitation des tableaux de bord a ainsi permis le calcul d indicateurs tels que le nombre de rendez vous avec les missions locales le nombre de p riodes de ch mage la dur e des formations Ces indicateurs ont permis de mesurer la mise en uvre des dispositifs et de mieux connaitre les populations suivies En particulier les tableaux de bord ont fourni une information exhaustive sur la population b n ficiaire car ils taient g n ralement remplis pour l ensemble des b n ficiaires tandis que les e
84. les effets marginaux sont alors plus difficiles d celer voir encadr 3 Il reste que quand l exp rimentation consiste en un renforcement du droit commun identifiable et mesurable et quand une population t moin a bien pu tre d finie et suivie il est alors possible d observer des effets sur les b n ficiaires comme dans le cas du projet d orientation de l universit l entreprise Les b n ficiaires ont effectivement eu plus de contacts et un suivi plus rapproch avec l association porteuse du projet Bien que les abandons d tudes n aient pu tre vit s la situation en emploi est relativement meilleure pour les b n ficiaires que pour les t moins 53 I 4 Des actions qui r pondent un besoin identifi et pr cis Une autre condition de la r ussite d une valuation tient dans le fait que les dispositifs exp riment s r pondent un besoin pr cis ment identifi S il est pertinent d aider les jeunes acc der un logement autonome il est apparu que leur proposer un accompagnement dans la dur e pour trouver un logement ne r pond pas leurs attentes r elles car les besoins en logement correspondent des demandes urgentes Par exemple dans le cas de l accompagnement vers le logement apr s un premier contact et des ventuelles visites de logement le suivi par les professionnels d di s au public b n ficiaire consistait en des rappels t l phoniques dans les mois suivants mais rest s sans c
85. lief n 30 2010 pp 111 121 Fran ois LEGENDRE Le recours croissant aux exp rimentations sociales en conomie Informations sociales n 174 CNAF novembre d cembre 2012 pp 14 22 Peter H ROSSI et Howard E FREEMAN Evaluation a Systematic Approach Newbury Park Sage 1993 Patrick VIVERET L valuation des politiques et des actions publiques Propositions en vue de l valuation du Revenu Minimum d Insertion Rapport au Premier Ministre Observatoire de la d cision publique juin 1989 57 pages 67
86. mentation cherchait accompagner II 2 L intervention des porteurs de projet sur les m thodes valuatives des raisons thiques et pratiques Le porteur peut galement avoir une influence sur les m thodes d valuation par exemple en se montrant r ticent certaines m thodes d valuation telles que la randomisation ou la mise en place d un tableau de bord ad hoc Des raisons thiques peuvent tre l origine de ces r ticences en particulier quand la s lection al atoire du public am ne priver du b n fice de l exp rimentation une partie d un public potentiel Les raisons sont parfois pratiques quand les exigences de l valuateur en mati re de constitution d outils de suivi entraineraient une mobilisation forte des professionnels accompagnant les jeunes dans le projet et qu il semble au porteur de projet impossible de faire accepter dans les d lais impartis cette charge suppl mentaire de travail l quipe de professionnels intervenant sur l action Il s ensuit des tapes de n gociations o les crit res scientifiques ne sont pas toujours les plus d terminants dans les choix op r s in fine Les porteurs de projet ont toujours t consult s par le CR DOC dans l laboration des outils de suivi de l valuation questionnaires aupr s des b n ficiaires listes d acteurs interviewer mise au point de tableaux de bord L association des acteurs en interaction avec les b n ficiaires de l action ainsi
87. moins de 5 des cas cas o 0 est une des bornes de l IC Le tableau 2 donne la valeur de 2 telle que IC gt 0 dans le cas o gt Tableau 2 Taille d chantillon th oriquement requise pour chaque sous population B et T selon le degr de pr cision souhait et l ampleur du ph nom ne analys Valeur de Degr de pr cision souhait l indicateur mesur 1 point 2 points 3 points 4 points 5 points 10 points 5 ou 95 4 000 1 100 550 350 250 100 10 ou 90 gt 8 000 2 000 900 550 350 100 15 ou 85 gt 8 000 2 700 1 200 700 450 150 20 ou 80 gt 8 000 3 200 1 500 850 550 150 25 ou 75 gt 8 000 3 700 1 700 950 650 200 30 ou 70 gt 8 000 gt 8 000 1 850 1 050 700 200 35 ou 65 gt 8 000 gt 8 000 2 000 1 150 750 200 40 ou 60 gt 8 000 gt 8 000 2 150 1 200 750 200 45 ou 55 gt 8 000 gt 8 000 2 150 1 200 800 200 50 gt 8 000 gt 8 000 2 150 1 200 800 200 Lecture on peut consid rer qu un cart de 5 points o l indicateur analys vaut 20 ou 80 dans l un des groupes et 25 ou 85 dans l autre est statistiquement significatif avec une probabilit de 95 partir d un chantillon total minimum de 550 b n ficiaires et 550 t moins r pondants En dessous de cette taille d chantillon cet cart n est pas significatif Pour qu un cart de 2 points soit significatif quand l indicateur analys prend des valeurs plus lev es la taille de l
88. mpr hension de la part de beaucoup de porteurs de projet En effet s ils d siraient prolonger leurs actions ce qui tait le souhait de la plupart d entre eux ils devaient donc se mobiliser dans la recherche de financements avant la fin de la contribution du FEJ et par cons quent bien avant l tablissement des r sultats finaux de l valuateur officiel gt Ainsi un centre communal d action sociale par exemple 8 obtenu avant la fin de l exp rimentation un financement direct pour mettre en place le dispositif de microcr dit qu il a exp riment avec le soutien financier du FEJ CCAS Besan on De m me une plate forme pour l orientation vers et l accompagnement pendant l apprentissage a t p rennis e bien avant la fin de l valuation gr ce un m c nat et des financements de la politique de la ville Fondation d Auteuil Dans d autres cas quelques actions ont t maintenues Un dispositif d insertion de jeunes sortant de prison a t prolong pour deux ans avec le soutien du Pr fet l galit des chances et de collectivit s territoriales Enfin un projet est en voie de p rennisation et pour divers autres projets des recherches de financement sont actuellement en cours Paradoxalement les porteurs de projet n ont pas pour autant rejet le principe de l valuation Anticipant le fait que les r sultats ne seraient disponibles que bien apr s la fin des financements plusieurs porteurs ont en fait mis e
89. n place leurs propres valuations en interne devan ant donc parfois celles du CR DOC Tous n ont pas eu besoin de le faire pour trouver des financements aupr s de partenaires locaux qui avaient pu constater localement des effets positifs Mais les 62 valuations men es en parall le par les valuateurs ext rieurs ont sans doute jet le discr dit sur certains r sultats qui arrivaient trop tard et ont pu nuire nos relations avec les porteurs On peut craindre qu ils ne soient pas pr ts recommencer une exp rimentation savoir que les financements sont temporaires n incitera pas forc ment des porteurs mobiliser leurs forces et monter des projets qui ont une dur e de vie d termin e Ces constats posent videmment la question de l utilit pour les porteurs des valuations financ es par le FEJ On peut se r jouir que cela favorise le d veloppement d une culture de l valuation en interne sensibilise les acteurs publics et priv s aux m thodes quantitatives et qualitatives des chercheurs et leur donnent des cl s d aide la d cision Restent toutefois en suspens la question de l utilit de ce vaste chantier de petites exp rimentations et la question du d calage entre la temporalit de l action de terrain et celle de l action politique Jusqu pr sent ces exp rimentations lanc es par le FEJ n ont pas d bouch sur des politiques nationales en faveur de la jeunesse le contexte budg taire s ta
90. nnaires Une partie de ces jeunes taient encore en d tention soit jamais lib r s soit retourn s en d tention d autres taient impossibles joindre une petite minorit d entre eux refusant explicitement d tre r interrog s Sur ces quatre projets main de justice les troisi mes interrogations pr vues en fin d exp rimentation ont par cons quent t supprim es et remplac es par des entretiens qualitatifs aupr s des jeunes b n ficiaires De fa on g n rale l attrition entraine plusieurs biais m un risque classique de biais de repr sentativit par rapport l chantillon initial les jeunes finalement interrog s en derni re vague repr sentent une proportion trop faible de la population m re pour tre repr sentatifs La validit interne de l valuation est alors remise en cause m Un risque de biais li une attrition diff rentielle une attrition diff rentielle entre les deux chantillons b n ficiaire et t moin c est dire plus importante pour un groupe que pour l autre entrainerait un biais dans la comparaison des chantillons M me si en apparence notamment dans le cas de la mise en place d un redressement sur les chantillons les deux groupes semblent identiques en comparant leurs caract ristiques observables il est impossible d en conclure qu ils le sont quant leurs caract ristiques inobservables Les diff rences observ es ne peuvent alors syst mat
91. nqu tes portaient sur un chantillon de b n ficiaires notamment dans les quelques projets de grande ampleur Pour ces exp rimentations de l AP1 sauf dans quelques cas les tableaux de bord ad hoc ne suivaient d ailleurs que les jeunes b n ficiaires Il aurait t int ressant de renseigner de la m me fa on les actions de droit commun suivies par les t moins et leur situation chaque contact avec le porteur Ceci aurait alors permis de comparer les situations des t moins celles des b n ficiaires en se fondant sur des informations provenant de la m me source et d obtenir des informations sur les t moins qui ont souvent manqu dans le recueil des donn es par questionnaire Les autres points d attention lors de la conception de tableaux de bord de suivi renvoient aux difficult s que nous avons relev es lors de la compl tion par les acteurs de terrain et lors de l exploitation m Eviter des tableaux complexes Ces derniers contiennent souvent plusieurs dimensions une entr e par b n ficiaire une entr e par date et parfois une entr e par actions actualit s et sur plusieurs fichiers ou onglets diff rents L valuateur doit participer l laboration du tableau de bord en listant les informations qu il juge n cessaire et plus encore que pour les enqu tes quantitatives anticiper au maximum la phase de traitement de ces tableaux Dans de nombreux cas aucun format particulier de fichier n avait t sp
92. nt r v l peu favorable III 2 Enseignements de politiques publiques L un des int r ts des exp rimentations n est pas d aboutir la p rennisation ou la g n ralisation de l ensemble de ces dispositifs mais de faire merger des id es des bonnes pratiques En r alit l usage qui est fait des exp rimentations implique une capacit d extrapolation La th matique du logement abord e sous des formes tr s diverses dans les projets s est r v l e tr s complexe car le logement est un l ment central du processus d autonomisation des jeunes qui d pend troitement du parcours personnel et professionnel De plus la question du logement est naturellement fortement li e au contexte local Enfin elle ne se pr te probablement pas un suivi long terme Les plateformes de lutte contre le d crochage ont t g n ralis es avant la fin des exp rimentations renfor ant les liens partenariaux tiss s en cours d exp rimentation Si les porteurs de projets ont pu se montrer impatients ou d us vis vis des r sultats de l valuation il est incontestable que les exp rimentations ont conduit de nombreux changes et de riches partages d id es en particulier lors des journ es th matiques organis es tous les 6 mois sur chaque th me par la MAFEJ D apr s l exp rience du CR DOC la MAFEJ n a pas pilot de fa on rapproch e l ensemble des projets leur nombre tr s lev emp chant sans do
93. objectifs interm diaires tels que le recours renforc des engrais par des agriculteurs permettront ils d atteindre le r sultat final dans ce cas pr cis les aider sortir de la pauvret Aux tats Unis apr s un d veloppement grande chelle dans les ann es 1960 les exp rimentations avec groupes de contr le al atoire ont produit des r sultats d cevants par manque de th orie explicative des comportements permettant d analyser les causes des r sultats obtenus La tendance est maintenant la diversification des m thodes avec des valuations davantage bas es sur des th ories d action des politiques L Ecole d Economie de Paris qui a vu le jour en 2006 a fait des exp rimentations un de ses axes p dagogiques avec la mise en place en 2007 d un master Politiques Publiques et D veloppement qui vise former des experts dans le domaine de l valuation de l action publique dans les pays en d veloppement comme dans les pays d velopp s Deux projets grande chelle ont t lanc s sur cette p riode l exp rimentation de l accompagnement des ch meurs vers l emploi par les 11 Labrousse 2010 12 Barbier 2012 10 op rateurs priv s de placement conduite en 2009 et 2010 par le Minist re du Travail et l exp rimentation men e entre 2007 et 2009 en vue de la r forme du RMI et sa transformation en Revenu de Solidarit Active RSA La plus embl matique l exp rimentation du RSA n est ce
94. obtiennent tous un emploi adapt leurs comp tences Difficult s pour valuer un projet qui regroupe plusieurs zones tr s petites Plusieurs projets valu s par le CR DOC taient en fait des programmes qui ont t d ploy s dans six ou sept territoires par un regroupement de porteurs ou par un porteur au niveau national Si en th orie ces projets implant s dans plusieurs zones auraient pu se pr ter la comparaison des contextes locaux et conduire des conclusions devan ant la question de l essaimage en pratique de telles comparaisons n taient pas r ellement possibles notamment lorsque chaque territoire comptait un petit nombre de b n ficiaires En outre ces comparaisons entre territoires ne faisaient pas partie des objectifs de l exp rimentation La mise en uvre de ces projets et le suivi des b n ficiaires a en fait t r alis e de fa on assez distincte d un territoire l autre Outre que les tensions sur le march du logement taient plus fortes dans certaines zones et les partenariats taient beaucoup plus d velopp s dans certaines 60 autres le public cible n a pas t d fini de la m me fa on l accompagnement ne s est pas d roul l identique malgr la d finition d un tableau de bord commun les usages n en ont pas t les m mes En particulier les rubriques n ont pas t utilis es et remplies de fa on homog ne Sans aucun doute certains enseignements globaux ont n
95. ochage scolaire d crochage universitaire engagement des jeunes insertion professionnelle livret de comp tences logement lutte contre les discriminations microcr dit mobilit internationale orientation r ussite scolaire sant 20 Extrait du d cret n 2011 1603 du 21 novembre 2011 relatif au fonds d appui aux exp rimentations en faveur des jeunes 21 170 millions de subventions de l Etat cr dits de la jeunesse et du Plan de relance et 55 millions provenant de partenaires priv s dont 50 millions de la fondation d entreprise Total Cf http www jeunes gouv fr ministere 1001 actualites 1016 zoom sur 800 article le fonds d experimentation pour la 22 Guide m thodologique de la MAFEJ pour l valuation des exp rimentations sociales 12 Les valuations d exp rimentations men es par le CR DOC Dans le cadre du premier appel projets du FEJ le CR DOC a t fortement sollicit pour tre valuateur Entre 2009 et 2012 le d partement Evaluation des Politiques Sociales EPS du CR DOC a valu seize exp rimentations en faveur des jeunes et le d partement Evaluation des Politiques Publiques en a valu deux dans le cadre des diff rents appels projets du FEJ Le pr sent Cahier de recherche a pour objectif de dresser le bilan m thodologique de ces valuations pour le Fonds d Exp rimentation pour la Jeunesse dont la plupart se sont achev es en 2012 Cette recherche s appuie galement sur un
96. origine de l impossibilit de conclure de l efficacit d un dispositif Ce probl me a t rencontr notamment sur la th matique du logement quand les conseillers avaient une opportunit de logement proposer un b n ficiaire mais qu aucun ne se montrait int ress le logement tait parfois propos un jeune du groupe t moin Il tait alors impossible d obtenir des effets diff renci s selon les chantillons les deux publics ayant eu au moins en partie le m me accompagnement La mise en place d un tirage al atoire des groupes b n ficiaires et t moins a donc souvent t difficile voire impossible et ce pour plusieurs raisons la faiblesse des effectifs et le risque de contagion entre les chantillons b n ficiaire et t moin quand les m mes acteurs accompagnent les deux groupes et que le dispositif couvre un territoire entier D autres solutions ont alors t envisag es et mises en place mais elles aussi pr sentent des limites 35 Encadr 3 Taille d chantillon et puissance statistique Au moment d laborer une m thodologie d enqu te quantitative une question revient en permanence celle de la taille minimale que doit avoir l chantillon de personnes interrog es pour obtenir des r sultats suffisamment pr cis Ce suffisamment pr cis d pend non seulement de la taille de l chantillon mais aussi la valeur atteinte par l indicateur mesur Dans le cas d une exp rimenta
97. orter sur un chantillon suffisamment grand statistiquement au moins 100 personnes 51 moment de la premi re interrogation la cohorte de jeunes interrog s tait alors compos e de jeunes r cemment entr s dans le dispositif mais aussi de jeunes pr sents depuis plusieurs mois Inversement un projet d accompagnement vers le logement a d marr et port ses fruits tr s rapidement le temps que la premi re vague d enqu te aupr s des jeunes se mette en place r ception et v rification des coordonn es des jeunes courriers d information aux jeunes selon les recommandations de la CNIL environ un mois et demi apr s leurs premiers contacts avec le service m diation logement un grand nombre de jeunes avait b n fici d une solution de logement gr ce au dispositif Il en est ressorti une faible volution de la situation de logement des jeunes entre la premi re et la deuxi me vague d interrogation puisque les effets du programme s taient fait sentir plus t t Les effets du dispositif ont ainsi t sous estim s dans les enqu tes statistiques Ce sont les l ments tir s des m thodes qualitatives qui ont permis de comprendre la situation Ainsi il s agit de d marrer l valuation au moment appropri ni trop t t ni trop tard en fonction de la temporalit du projet 2 Un public bien cibl et clairement identifi L estimation d effets propres d un dispositif sur un public cibl n cessite qu
98. ositifs La plupart des projets pr sentaient des objectifs chiffr s de jeunes int grer dans l exp rimentation Dans l ensemble une faible part seulement des exp rimentations se sont d roul es conform ment aux pr visions en termes de volume avec un nombre de b n ficiaires correspondant aux pr visions d s le d marrage de l valuation Le probl me rencontr dans plusieurs cas est celui de la mont e en charge des projets Certains projets visant un public restreint comme ceux concernant les jeunes sous main de justice pr voyaient cependant d s le d part de faire entrer des jeunes dans le dispositif soit progressivement au fil de l eau soit successivement par groupe de dix par exemple et comportaient un protocole d valuation adapt au rythme d entr e Dans les projets qui visaient des publics peu connus des structures la mobilisation a parfois t nettement plus difficile que pr vu C est ce qui s est produit dans le projet d accompagnement des travailleurs pauvres qui visait les aider se stabiliser sur le plan professionnel en vue d atteindre un niveau de revenu leur permettant de sortir de la pauvret C est un public qui n est que rarement en contact avec les structures d aide l insertion qui est d j dans la vie professionnelle avec des horaires atypiques et qui a appris trouver des solutions certes pr caires par ses propres r seaux L importance du non recours au Revenu de Solidarit Active
99. our analyser chaque projet d exp rimentation 1 10 11 Source Ad quation entre la r ponse de l exp rimentation et la r ponse la probl matique pos e par l appel projets Pr cision et coh rence de la m thodologie du projet et de son pilotage Valeur ajout e de l exp rimentation par rapport l activit habituelle de la structure Planification r aliste de la dur e de l exp rimentation et des actions Viabilit de la structure porteuse du projet sur un plan administratif et financier Qualit de l ancrage territorial du projet pr cision autour du p rim tre d intervention de l exp rimentation Mobilisation de partenariats interinstitutionnels Pr sence d un valuateur externe au projet Pr cision de l identification du ciblage de la population Coh rence entre le co t du projet le r sultat attendu et le nombre de jeunes concern s Mobilisation de cofinancements DJEPVA MAFE J Appels projets mode d emploi http www experimentation jeunes gouv fr 13 appel a projets mode d emploi html La d cision finale revenait un conseil de gestion auquel participaient les administrations centrales int ress es notamment emploi ducation nationale enseignement sup rieur budget jeunesse utre Mer et les partenaires priv s impliqu s dans la d marche artir des conclusions des Outre M 1 d la d partir d d jurys le conseil de gestion s lectionnai
100. pagnement renforc permet d am liorer l acc s au logement des jeunes et de favoriser leur insertion sociale et professionnelle Au del de l information et du suivi de ces jeunes la dimension partenariale tait forte dans ces projets elle permettait de mobiliser davantage de logements et permettre l acc s des publics jeunes un plus grand nombre de solutions dans le domaine de l habitat 20 Les deux projets sur l acc s au microcr dit personnel cherchaient soutenir les jeunes dans leurs projets d insertion socioprofessionnelle et leur apporter un accompagnement par des professionnels de l conomie sociale et familiale pour viter tout risque de fragilisation en cas de difficult s budg taires 7 Une forte sollicitation du CR DOC pour valuer des projets Le CR DOC a t sollicit par de nombreux porteurs de projet pour valuer en tout 45 projets Pour 22 de ces projets le CR DOC ne s est pas port valuateur soit parce que le porteur de projet n avait pas trouv de partenaire pour cofinancer l exp rimentation avant la date limite de l envoi soit parce que le CR DOC a consid r que le projet ne remplissait pas les conditions suffisantes pour tre valuable objectifs peu lisibles diff rence insuffisamment marqu e avec les programmes d j existants sur le territoire soit encore parce que les d lais taient trop courts pour pouvoir laborer un protocole d valuation satisfaisant Il
101. pendant pas la meilleure illustration de l usage qui peut tre fait de la d marche exp rimentale les territoires t moins dans les d partements exp rimentaux n taient pas strictement comparables aux territoires test De plus lanc tout d abord dans plus d une trentaine de d partements volontaires le RSA a en fait vu sa g n ralisation vot e avant m me que les conclusions d finitives de l valuation ne soient publi es cette d cision ayant t prise en lien avec l agenda politique Le cadre l gislatif national est par ailleurs en phase avec les orientations de l Union Europ enne UE en faveur de l innovation locale qui se traduisent dans les interventions du Fonds Social Europ en FSE et depuis 2007 le programme de l UE pour l emploi et la solidarit sociale PROGRESS qui comporte explicitement parmi ses objectifs le soutien l exp rimentation Ce programme consid re que les exp rimentations doivent tre accompagn es d un protocole d valuation afin de d terminer l int r t de leur g n ralisation Parmi les m thodes d valuation d crites dans un guide m thodologique l intention des d cideurs publics les exp rimentations randomis es sont pr sent es comme les plus fiables Plusieurs appels projets en mati re d exp rimentation sociale ont d j t lanc s dans le cadre de ce programme avec des dotations allant jusqu 4 2 millions d euros en 2013 pour soutenir environ cinq projets
102. projets et constitu de fa on raisonn e dans 3 projets 9 deux trois interrogations quantitatives aupr s des jeunes b n ficiaires et t moins e deux trois interrogations qualitatives aupr s des partenaires 9 la mise en place d un tableau de bord de suivi de la situation des jeunes et des actions r alis es Dans les autres projets seule une valuation qualitative aupr s des acteurs et des jeunes tait programm e En particulier pour les projets portant sur le microcr dit les effectifs de b n ficiaires pr vus taient tr s faibles et la constitution d un chantillon de t moins n ayant pas recours au micro cr dit difficilement r alisable ont conduit carter d embl e les approches quantitatives En pratique la mise en place d un chantillon t moin al atoire ou non et la diffusion des questionnaires aupr s des jeunes a pr sent des difficult s en grande partie li es la tr s petite taille des exp rimentations Cette partie d crit les difficult s rencontr es dans la mise en uvre des m thodes quantitatives et les alternatives d ploy es En particulier nous rappelons que les m thodes qualitatives ont toute leur place dans l valuation des exp rimentations sociales Les entretiens ainsi que les tableaux de bord collect s ont en effet permis de compenser en partie les limites des enqu tes sur tr s petits chantillons I DES APPROCHES QUANTITATIVES AMBITIEUSES A ADAPTER A LA TAI
103. pteurs potentiels ont d abord t tr s limit es une trentaine de jeunes pr sents aux premi res r unions d information collective l o environ 60 jeunes taient attendus Apr s les premi res s lections al atoires r alis es de 15 20 jeunes taient orient s vers le dispositif Beaucoup ne l ont finalement pas int gr Au final l effectif tait trop faible pour permettre la mise en uvre des actions collectives telles qu elles taient initialement pr vues Il a donc t d cid dans un premier temps de retarder le d but de l valuation afin de laisser le temps au dispositif de se mettre en place dans de bonnes conditions Le dispositif conna t finalement au moins en partie le volume attendu le nombre de jeunes participants aux s ances d information collectives est plus lev plus de 40 jeunes Cependant parmi ces jeunes compris lorsqu ils expriment une motivation initiale moins d un tiers int gre effectivement le dispositif Cette int gration a lieu apr s un effort tr s important des conseillers pour mobiliser les jeunes 34 La mise en place d un chantillon t moin par s lection al atoire n appara t alors plus possible car 9 Sila s lection a lieu avant l effort de mobilisation des jeunes il n est pas possible de consid rer comme b n ficiaires tous les jeunes s tant vus proposer le dispositif la proportion d un tiers de jeunes l int grant r ellement et le faible nombre de b
104. qu en s lectionnant un grand nombre de territoires b n ficiaires et t moins au moins une dizaine Ce n est qu ainsi que la comparaison entre territoires b n ficiaires et territoires t moins est scientifiquement pertinente Une comparaison dans le temps Une autre fa on de constituer un groupe t moin est d interroger un chantillon sur le m me territoire que l chantillon b n ficiaire ayant connu la m me probl matique que l chantillon b n ficiaire mais avant la mise en place de l exp rimentation Cette m thode a t adopt e dans un projet visant d velopper l acc s l apprentissage et aux contrats de professionnalisation de jeunes des missions locales Ce dispositif aspirait r duire les risques de rupture en mobilisant fortement les conseillers des missions locales pour un suivi renforc des jeunes et en d veloppant le partenariat avec les Centres de Formation des Apprentis CFA les chambres consulaires et les organismes paritaires collecteurs agr s OPCA La d finition d un groupe de t moin dans la m me zone g ographique mais sur une p riode ant rieure l exp rimentation a pour principal inconv nient le fait que l on ne se place pas dans le m me contexte socio conomique S il est difficile de s affranchir des volutions de contexte il convient que l valuateur soit attentif aux diff rences entre les p riodes analys es pour ne pas attribuer au programme exp riment des effet
105. re de la Justice 58 Les effets de la motivation des porteurs de projet et des b n ficiaires Il ne fait pas de doute que la majeure partie des porteurs de projets s tant mobilis s pour proposer une exp rimentation sont particuli rement motiv s par le dispositif et en connaissent les tenants et les aboutissants Il est possible qu il soit plus difficile de mettre en uvre le m me projet dans un autre contexte avec la collaboration d acteurs qui n en sont pas l origine Des freins ou des oppositions peuvent appara tre limitant alors l efficacit des actions mises en place En cas de transposition ou de g n ralisation d un dispositif il convient ainsi de s assurer de l appropriation des enjeux et des objectifs par les nouveaux acteurs Il peut aussi arriver que la communication autour d une exp rimentation rende plus assidue la participation des b n ficiaires aux actions exp riment es quand ils sont conscients des enjeux pour les futurs b n ficiaires en cas de p rennisation Cela a t le cas dans un dispositif en direction des jeunes sous main de justice et qui b n ficiait d un portage tr s fort par les missions locales et le SPIP Il est galement difficile d valuer dans quelle mesure les r sultats ne sont pas affect s d un lt effet Hawthorne c est dire ne seraient pas dus l exp rimentation m me mais au fait que les sujets ont conscience de participer une exp rience dans laquelle ils sont te
106. rsrsrsrrrrrrrererns 29 II 4 Pour des tudes de faisabilit pr alables et bien cadr es sseseerererrrer errereen 30 1 1 5 Des relations de confiance indispensables entre porteur de projet et valuateur 31 PARTIE 2 REGARD CRITIQUE SUR LES METHODES D EVALUATION MISES EN UVRE 32 I 1 1 DES APPROCHES QUANTITATIVES AMBITIEUSES ADAPTER LA TAILLE DES EXP RIMENTATIONS de cn 32 Groupes b n ficiaire et t moin l id al de la randomisation 33 1 1 Un tirage al atoire en pratique souvent difficile mettre en uvre 33 1 1 2 Des solutions alternatives et leurs limites ss 38 1 2 Les jeunes un public peu accessible dans les enqu tes quantitatives 41 1 2 1 Une forte attrition entre la premi re et la seconde interrogation 41 1 2 2 Les sp cificit s du public jeunes gt 42 1 2 3 Les enqu tes par questionnaire cibler les indicateurs cl s 43 1 3 Les tableaux de bord des outils pr cieux qui n cessitent un remplissage harmonis 44 11 DES APPROCHES QUALITATIVES DEVELOPPER DANS LES EXP RIMENTATIONS 47 Il 1 Les entretiens aupr s des porteurs pour clairer les conditions de mise en uvre Tes ACTIONS teste don
107. s les faibles taux de r ponse de l chantillon t moin dans le temps les diff rences de profil ou entre les p riodes d interrogation entre b n ficiaires et t moins ont souvent amen renoncer poursuivre la collecte ou l analyse des r ponses des chantillons t moins Finalement parmi les projets valu s par le CR DOC e 3 valuations comprenaient la mise en place et le suivi d un chantillon t moin al atoire b n ficiaire et t moin e 7 valuations comprenaient un chantillon t moin raisonn m me si pour 3 d entre elles les vagues d enqu tes aupr s des t moins n ont pas toutes t effectu es t moins trop diff rents des b n ficiaires ou impossibles recontacter e 3 valuations ont du abandonn l chantillon t moin pr vu al atoire ou raisonn e 4 valuations ne comprenaient pas d chantillon t moin dans leur protocole initial En fin de compte afin de pallier la perte d informations induite par la suppression des chantillons t moins des entretiens qualitatifs cf partie sur les m thodes qualitatives collectifs et individuels ont t mis en place aupr s des jeunes du public cible Ces entretiens ont permis alors de mieux connaitre le parcours des jeunes leurs attentes et leurs opinions sur le dispositif 40 2 Les jeunes un public peu accessible dans les enqu tes quantitatives La quasi totalit des valuations du CR DOC pour le Fonds d exp rimen
108. s 2009 ont permis de mettre en vidence certains effets sur les b n ficiaires et de tirer des enseignements sur les conditions de mise en uvre des projets Les valuations conduites ont principalement permis de porter un jugement valuatif sur les aspects qualitatifs des projets c est dire les conditions de mise en uvre des actions et les dynamiques partenariales qui les sous tendent Les mesures d impact des projets sur les b n ficiaires ont cependant t limit es en raison des difficult s rencontr es pour mettre en place des chantillons t moins al atoires et suivre les b n ficiaires et t moins dans le temps Le principal obstacle au d ploiement des m thodes quantitatives est en d finitive li aux effectifs r duits de jeunes concern s par les exp rimentations valu es L exp rience du CR DOC rejoint celle d autres chercheurs notamment le CEREQ qui a galement valu un nombre important d exp rimentations dans le cadre du FEJ Les constats dress s remettent en question le dogme de la randomisation L exp rimentation bas e sur l assignation al atoire des potentiels b n ficiaires un groupe test ou un groupe t moin est aujourd hui toujours rig e en r gle d or et est la m thode pr conis e dans les appels projets de la Commission Europ enne Difficile mettre en uvre en pratique elle l est tout particuli rement dans le cadre de projets de faible envergure qui concernent une population
109. s des jeunes Le fort taux d attrition n a pas toujours permis de r interroger un chantillon suffisant de jeunes Dans ces cas la substitution s est souvent faite par une campagne d entretiens qualitatifs aupr s des jeunes qu il tait encore possible de joindre Les r ponses aux premi res vagues de questionnaires permettent de connaitre certains des traits particuliers des jeunes qui ont t interview s par entretiens approfondis par rapport l ensemble des b n ficiaires de l exp rimentation Il reste possible qu ils pr sentent des caract ristiques particuli res non identifiables partir des informations recueillies au d part plus grande motivation dans l exp rimentation par exemple ou plus faible mobilit g ographique depuis le premier questionnaire C est pourquoi une certaine prudence s impose sur leur repr sentativit par rapport l ensemble du public touch par l exp rimentation Le ressenti du programme par les jeunes A travers le r cit que les jeunes font de leur parcours depuis leur entr e dans le programme il est possible d avoir acc s au point de vue des b n ficiaires des actions sur les effets propres de l exp rimentation Leur ressenti peut tre approfondi gr ce ces tapes qualitatives Les avanc es en termes de parcours peuvent tre ou non consid r es par les jeunes comme une cons quence de leur participation au dispositif Ces entretiens apportent un point de vue compl mentaire
110. s que la mise en place d un chantillon t moin construit sur crit res raisonn s LA Ce guide incite la mise en place d un syst me d information par le porteur de projet pour suivre les populations concern es et les actions r alis es Cet outil de type tableau de bord devait tre pris en compte dans les analyses valuatives Les approches qualitatives sont par ailleurs envisag es pour identifier les syst mes de valeur des acteurs comme des b n ficiaires rendre compte des attentes et des besoins analyser les difficult s rencontr es et suivre le d roulement du processus de l exp rimentation Les jurys constitu s par la MAFEJ taient compos s d experts d acteurs de terrain et de scientifiques la suite d une premi re phase d analyse des dossiers re us ils ont souvent demand des pr cisions pour s assurer que l valuation permettrait de suivre la m thodologie des groupes de b n ficiaires et t moins par affectation al atoire consid r e comme l talon de l valuation Des demandes d approfondissement ont galement port sur les objectifs des exp rimentations la d finition de leur public cible et le contenu des actions Les projets retenus 17 avec modifications ont fait l objet d une deuxi me version retravaill e suite aux remarques mises par le jury ex baisse du budget pr cision sur l un ou l autre aspect am lioration du protocole 1 Encadr 1 Les crit res de la MAFEJ p
111. s que les rapports des valuateurs ont t rendus publics et transmis aux porteurs Le calendrier des valuations format par la MAFE J ne co ncidait donc pas compl tement avec celui des exp rimentations En outre les valuations s talaient sur une dur e un peu plus longue que celle des financements provenant de la MAFEJ En pratique ce d calage a pos de r els probl mes de coordination de l valuation et a pu affecter les conditions m mes de l valuation Concr tement pour ces professionnels fortement investis sur le terrain la fin de la p riode d exp rimentation a signifi la fin des financements allou s aux projets sans pour autant co ncider avec la date de diffusion des r sultats Pour l valuateur cela a des cons quences directes pour certains programmes une fois l exp rimentation termin e le CR DOC n a plus eu d interlocuteurs du c t des porteurs de projet fin des CDD pr vus pour l accompagnement et financ s par le FEJ I 6 Un positionnement clair de l valuateur une distance suffisante pour porter un jugement valuatif La position de l valuateur est d licate au sein d une exp rimentation Une difficult rencontr e chaque tape de l valuation et en particulier au moment de porter un jugement valuatif est celle de maintenir une distance et une neutralit dans l laboration des conclusions Le CEREQ qui a valu de nombreuses exp rimentations pour la jeunesse note b
112. s qui proviennent de changements conomiques globaux et inversement pour ne pas sous estimer les effets d un programme qui se serait d roul dans un contexte moins favorable Dans le cas mentionn ci dessus l exp rimentation s est en fait d roul e en m me temps que des campagnes nationales d information en faveur de l alternance et le financement de postes de d veloppeurs de l alternance dans le cadre du plan en faveur de l emploi des jeunes pr sent par l Etat en avril 2009 Il est probable que le projet comme ses b n ficiaires aient t port s par ce contexte De plus dans le cas de comparaisons temporelles entre b n ficiaires et t moins il faut s assurer que la p riode d observation des t moins et la p riode d exposition au programme des b n ficiaires soient de m me dur e afin de comparer les parcours avec le m me recul 39 Dans le cas pr cis de ce projet sur l alternance les d lais de mise en place de la phase d enqu te en particulier ceux de r cup ration des listes de jeunes ont d cal la premi re vague d enqu te Par cons quent la p riode de suivi des b n ficiaires a t plus courte que la p riode de r f rence sur lesquels les t moins taient interrog s Cet cart semble avoir eu peu d incidence sur les r ponses concernant les parcours ant rieurs l alternance les motivations int grer l alternance et les soutiens re us dans cette tape En revanche cette diff rence de dur
113. s tard lors de la deuxi me interrogation En termes d exploitation les questions sp cifiques aux diff rentes situations possibles ont concern finalement des effectifs faibles conduisant par cons quent une information inexploitable Un exemple dans le cadre d un dispositif cherchant favoriser l acc s au logement pour cette exp rimentation un chantillon b n ficiaire et un chantillon t moin ont t cr s de fa on al atoire Les chantillons ainsi obtenus taient compos s de 700 jeunes environ chacun soit un effectif confortable de 1 400 jeunes au total Un peu moins de 900 jeunes ont t interrog s lors de la premi re vague dont environ la moiti taient b n ficiaires et la moiti t moins Parmi eux 300 environ taient locataires De nombreuses questions portent uniquement sur ces jeunes notamment des questions sur les impay s de loyer et de charges Or seuls 77 locataires b n ficiaires comme t moins ont d clar avoir eu des impay s dans le logement qu ils occupaient au moment de l interrogation Il est alors difficile de faire des statistiques sur le profil de ces jeunes d effectif restreint De m me pour les questions portant sur les raisons du d part d un pr c dent logement en location environ 180 jeunes seulement parmi les 900 avaient t locataires pr c demment et 12 seulement sont concern s par les questions portant sur les raisons pour lesquels le propri taire leur a demand
114. sabilit n a donc pas permis de mesurer l adh sion des partenaires potentiels au projet Elle a t l occasion de pr ciser les modalit s de s lection des b n ficiaires et des t moins Les m thodes mises au point lors de cette phase de faisabilit n ont toutefois pas pu tre maintenues cause de la forte d perdition des jeunes entre l tape des r unions d information et celle de l entr e effective dans le programme Les tapes de faisabilit devraient pouvoir v rifier que les projets pr vus correspondent un r el besoin pour le public vis et permettre d estimer les effectifs potentiels de b n ficiaires 35 Une tape d j pr conis e par le Cahier de Recherche du CR DOC de d cembre 2009 qui tirait un premier bilan des exp rimentations sociales en direction des jeunes quelques mois apr s leur mise en place Br zault Olm Angotti Simon 2009 30 III S Des relations de confiance indispensables entre porteur de projet et valuateur La mise en uvre de l valuation repose fortement sur la transmission d informations par le porteur du projet en vue de connaitre e les actions effectivement mises en place e les coordonn es des b n ficiaires du programme et du groupe t moin e les partenaires impliqu s L une des valuations d marr es par le CR DOC n a pu se poursuivre par manque de coop ration du porteur de projet dans le processus d valuation Le CR DOC n a pas pu disposer des
115. sation Sans cela quel sens donner autant de petits projets Quel apport pour les politiques en faveur de la jeunesse Indubitablement les centaines de projets exp riment s et valu s dans le cadre du Fonds d exp rimentation pour la Jeunesse constituent un vivier d id es dans lequel il sera possible de puiser l avenir Les porteurs de projets et leur partenaires n ont g n ralement pas attendu les r sultats de l valuation ni m me la fin des exp rimentations pour prolonger leurs actions Les changes entre porteurs sont nombreux que ce soit sous l gide de la MAFEJ et ses ateliers th matiques ou travers les r seaux tels que le CNML ou l UNCASS Sans doute le Fonds d exp rimentation pour la Jeunesse aura t il jou un r le de catalyseur des politiques locales de le jeunesse L important aujourd hui est de prolonger le partage de bonnes pratiques afin de continuer dynamiser les concepteurs et acteurs des politiques sociales La MAFE J vient de commencer le travail de synth se des centaines de projets financ s dont la plupart se terminent tout juste actuellement Pour les valuateurs que nous sommes le travail se poursuit donc sur le terrain de la r flexion m thodologique et des changes entre chercheurs qui pourront s envisager au travers de r seaux d experts au niveau national mais aussi au niveau europ en 65 BIBLIOGRAPHIE Isa ALDEGHI Pauline JAUNEAU et Lara MULLER Quatre exp rimentations pour fa
116. scrit toutes les informations disponibles ou n ont ils pu le faire par manque de temps de moyens m Utiliser les tableaux tout le temps de l valuation Quand l exp rimentation se termine les acteurs ne saisissent plus les informations dans les tableaux de bord Le temps de l valuation n tant pas toujours celui de l exp rimentation l valuateur n a parfois plus dispos d informations r centes sur les b n ficiaires Il convient donc de faire co ncider la p riode de remplissage des tableaux avec celle de l valuation 46 II DES APPROCHES QUALITATIVES DEVELOPPER DANS LES EXP RIMENTATIONS Les entretiens avec les acteurs porteurs de projet partenaires ont pour principal objectif de rendre compte des conditions pratiques de mise en uvre des exp rimentations Ils fournissent des informations sur les sp cificit s du territoire de l exp rimentation Ils sont l occasion de prendre en compte les retours d exp rience des diff rents acteurs concern s par les exp rimentations Ils donnent des indications pr cieuses pour r fl chir aux conditions de g n ralisation ou d essaimage sur d autres territoires Enfin il est important de croiser les points de vue des diff rents partenaires avec ceux des porteurs des jeunes et avec les r sultats quantitatifs afin d obtenir l information la plus compl te et la plus objective possible II 1 Les entretiens aupr s des porteurs pour clairer les conditions d
117. sein du d partement d conomie du MIT par trois chercheurs en conomie Chelle 2012 5 Barbier Maty Jasik 2010 p 125 7 Viveret 1989 8 Circulaire du 23 f vrier 1989 du premier Ministre Michel Rocard Dans le dernier quart du XX si cle environ 30 programmes bas s sur une randomisation furent lanc s aux tats Unis Legendre 2012 10 Abr viation de Abdul Latif Jameel Poverty Action Lab parmi lesquels la Fran aise Esther Duflo le J Pal a fond sa r putation sur l utilisation exclusive d exp riences contr l es pour mesurer les effets des programmes sociaux et de lutte contre la pauvret dans les pays en d veloppement Mises en uvre par les chercheurs de ses bureaux r gionaux aux tats Unis en Europe en Afrique ou encore en Asie du Sud ces m thodes s exportent ainsi petit petit en France sous la double influence du discours scientifique et politique dominant affirmant la sup riorit des m thodes d exp rimentations contr l es pour mesurer l impact de dispositifs et pointant du doigt le retard fran ais De nombreux articles soulignent en effet l entr e des exp rimentations dans le champ des politiques publiques plus tardive en France que dans les pays anglo saxons Barbier Maty Jasik 2010 Cr pon 2008 Les conventions de tous les projets financ s par le Fonds d exp rimentation pour la Jeunesse comportent ainsi en pr ambule le paragraphe suivant L exp rimentation sociale
118. st s ce qui entrainerait une plus grande motivation En outre on ne sait toutefois pas si de tels effets sont susceptibles de se maintenir sur le long terme De fa on plus g n rale la question de la visibilit de l exp rimentation aupr s des b n ficiaires se pose Notre exp rience ne nous conduit pas formuler de pr conisation en la mati re sauf quand l exp rimentation comporte un chantillon t moin auquel cas pour les raisons voqu es en partie 2 il semble pr f rable de ne pas mentionner l existence d un service plus r serv un groupe de b n ficiaires En effet une plus forte motivation li l aspect valorisant de b n ficier d une exp rimentation peut avoir un effet d entrainement positif sur l ensemble du projet qui ne persisterait pas en cas de g n ralisation Il est possible galement que dans certains cas des b n ficiaires puissent se sentir instrumentalis s et ne pas appr cier de servir de cobayes Globalement il est n anmoins probable que les b n ficiaires ne fassent pas de distinction entre le service plus et le droit commun m me si on le leur mentionne explicitement II 2 1 Des interrogations sur l extrapolation des r sultats Des effets diff rents par sous population Avant d envisager la g n ralisation d un dispositif il est galement important de pouvoir en mesurer les effets sur diff rentes sous populations Dans le cas contraire on peut tre amen en
119. t que les besoins tels qu ils taient pr sent s au d part ne correspondent pas une demande du public ou que des solutions existent d j pour satisfaire les besoins l exp rimentation ne pr sentera pas de plus value identifiable La d finition d un dispositif r pondant un besoin pr cis conditionne l utilit de l exp rimentation et l importance des effets qui peuvent tre mesur s par l valuation Si la diff rence entre le projet et le droit commun n est pas assez marqu e l impact de l exp rimentation ne pourra tre que limit Pour mesurer le caract re innovant d un projet l valuation doit ainsi comprendre une phase pr alable d analyse des actions et partenariats pr existants Avant le d veloppement de l exp rimentation pr voir une tape d tude de faisabilit Pour les projets d une certaine taille ainsi que pour ceux qui portent sur une population tr s loign e de celle habituellement prise en compte par la structure porteuse de projet il semble prudent de pr voir une tude de faisabilit qui estimera la dur e r elle de mont e en charge du dispositif l existence d un besoin auquel r pond l action exp riment e et la capacit des partenaires mettre en uvre l action pr vue Cette phase doit se d rouler sur une p riode de trois six mois pour que toutes ces dimensions puissent tre explor es Faire intervenir un tiers acteur si un soutien au montage de projet est n cessaire
120. t les projets retenus et d cidait du montant des subventions attribu es par le fonds 2 Sur les 169 projets de l AP1 finalement retenus 99 ont t retenus avec modifications et 70 sans 30 La fondation TOTAL et l Union des Industries et des M tiers de la M tallurgie UIMM 18 I 4 Les porteurs de projet une implication forte des missions locales Dans l ensemble 29 des projets financ s par le FEJ entre 2009 et 2011 ont t port s par une association et 27 par une mission locale Les missions locales occupent cependant une part plus importante dans l chantillon des projets valu s par le CR DOC En effet neuf des dix huit projets valu s taient port s par des missions locales g n ralement par un regroupement de missions locales tableau 1 Les projets coordonn s par le Conseil National des Missions Locales CNML ont t d ploy s sur plusieurs sites sept dans un cas huit dans l autre et impliquaient dans chaque site une missions locale g n ralement associ e d autres partenaires Deux projets taient port s par un Conseil G n ral et mis en uvre par des missions locales intervenant sur leur d partement Les deux projets portant sur le microcr dit ont t mis en place par des Centres Communaux d Action Sociale Un projet concernant l orientation des lyc ens tait port par un rectorat Par ailleurs deux projets taient port s par des structures associatives et un autre
121. tation du CR DOC pour valuer des projets 55 55 5 5 49999 5 21 I 8 Les propositions m thodologiques du CR DOC pour l valuation une mixit de 0812118191 12 1 E E O A 21 I 9 Un temps tr s court pour r diger les protocoles d valuation 23 11 LE LIEN ENTRE PORTEUR ET EVALUATEUR AU STADE DE LA REDACTION DU PROJET Il 1 L valuateur contribue pr ciser les objectifs du projet 4 55559959559 9 24 II 2 L intervention des porteurs de projet sur les m thodes valuatives des raisons thiques tpratiques sciri ANAA 25 II 3 Associer Uni facilitate ils oc ane 26 III LA MISE EN UVRE DES EXPERIMENTATIONS DIFFICULT S RENCONTR ES ET RECOMMANDATIONS ii 4 tonte anti are 27 IlI 1 Une mobilisation du public parfois plus lente que pr vue la question de la mont e en charge des dispositifs 0 nt tale norte 27 III 2 Le d veloppement des partenariats et des actions exp riment es plus long que OEE E E N E E E 6 T 29 II 3 Des recrutements temporaires parfois difficiles effectuer sssssssss
122. tation pour la Jeunesse comprenaient deux trois interrogations quantitatives aupr s des b n ficiaires et des t moins au d but de l exp rimentation la fin et parfois mi parcours Ces interrogations visaient connaitre la situation et le parcours du jeune La plupart des interrogations ont t r alis es par t l phone Certains questionnaires ont n anmoins t administr s en face face notamment pour les premi res interrogations de jeunes concern s par les projets main de justice I 2 1 Une forte attrition entre la premi re et la seconde interrogation Lors de la premi re vague d enqu te l objectif en termes de nombre de jeunes interrog s est atteint pour la moiti des exp rimentations Les premi res enqu tes des autres projets atteignent entre les deux tiers et 85 des objectifs fix s Le taux d attrition entre la premi re et la seconde enqu te devient probl matique Ind pendamment du taux d attrition les chantillons de d part taient faibles sur certains projets d o un nombre de r pondants faible en deuxi me interrogation Par exemple les quatre projets sur la th matique main de justice portaient sur des publics comptant en g n ral autour de 70 80 b n ficiaires Si la premi re interrogation entre 50 et 70 jeunes ont pu tre interrog s ce qui constitue un taux de r ponse correct la seconde interrogation environ 20 jeunes seulement par projet ont r pondu aux questio
123. tement du dispositif C est galement le parti pris qui avait t choisi dans le cas des plateformes de lutte contre le d crochage mises en place par deux missions locales Le projet pr voyait une forte mobilisation des conseillers de la mission locale sur ce public de jeunes d crocheurs ainsi que l activation d un partenariat local Or si les jeunes b n ficiaires et t moins taient choisis sur le m me territoire un risque de contagion des chantillons par le biais des conseillers tait possible Ces derniers auraient pu faire profiter volontairement ou non aux t moins des actions du dispositif Afin d viter cet effet de contagion deux autres missions locales avaient t choisies pour y constituer un chantillon t moin Cette solution n assure pas que les chantillons soient comparables car s il est possible de contr ler que les deux chantillons ont les m mes caract ristiques observables cette m thode ne garantit pas qu ils aient les m mes caract ristiques inobservables Par ailleurs la lenteur d int gration des jeunes dans les plateformes semblait indiquer que l chantillon t moin ne peut tre consid r comme comparable 143 jeunes t moins ont r pondu au questionnaire tandis que dans le m me temps seuls 48 jeunes avaient int gr les plateformes dans les missions locales exp rimentatrices Il a t d cid en accord avec la Mission d Animation du Fonds d exp rimentation sur la Jeunesse de ne pas poursuivre
124. tion randomis e la situation de d part des membres du groupe b n ficiaire B est en moyenne la m me que celle du groupe t moin T puisque les deux groupes ont t constitu s de fa on al atoire Il s agit de voir si en fin d exp rimentation leur situation est significativement diff rente ou non L intervalle de confiance IC d un cart entre deux proportions p et p2 estim es sur des populations de taille respective 1 et 2 est donn par la formule suivante dei 100 5 300 85 RE 1 RQ i 2 1 96 5 Cette formule fonctionne dans le cas d une s lection venant d un sondage al atoire simple ce qui n est pas toujours le cas Certaines modalit s d enqu te peuvent am liorer la situation pr sente tirage stratifi sondage quilibr calage ou la d t riorer tirage plusieurs degr s par exemple si l on tire des zones et des individus dans la zone on a alors de l effet de grappe Cette formule permet n anmoins de fournir un sc nario central et donne des ordres de grandeur relativement robustes La formule correspond un intervalle de confiance avec une probabilit de 95 c est dire que dans 5 des cas la diff rence des proportions r elles sortira de cet intervalle de confiance Autrement dit si l on d cide que les deux populations sont diff rentes partir du moment o l IC ne comprend pas la valeur on aura tort dans
125. tractions de logiciel de gestion de type Parcours 3 pour les Missions locales par exemple des tableaux de bord ad hoc mis en place la demande de l valuateur mais en concertation avec le porteur de projet qui devait le remplir L avantage de ces tableaux est de pouvoir int grer des informations qui n existaient pas dans les logiciels de gestion voire palier l absence de logiciel de gestion Dans le cas des deux projets nationaux notamment les tableaux de bord ont constitu un outil commun pour des acteurs n appartenant pas tous aux m mes structures e pour Agiloje des missions locales des Foyers Jeunes Travailleurs FJT des associations des Bureaux Informations Jeunesse BIJ des Centres Communaux d Action Sociale CCAS des organismes PACT pour le logement 9 pourle projet d apprentissage port par le CNML des missions locales des CFA 9 pour la Plateforme logements Jeunes 94 les missions locales du Val de Marne et le Conseil G n ral Dans le cas des deux premiers le tableau de bord a pris la forme d un Extranet permettant 9 la saisie du nom et des coordonn es des jeunes pour les enqu tes quantitatives e le tirage al atoire par l extranet des jeunes et l affectation dans les groupes b n ficiaire et t moin sans l intervention des acteurs A e le suivi de la situation des jeunes 44 Ces tableaux de bord doivent tre remplis r guli rement et de fa on la plus homog ne possib
126. ts 10 000 permis pour r ussir 3 Les exigences m thodologiques de la Mission d Animation du Fonds d exp rimentation pour la Jeunesse MAFE J Les dossiers soumis au Fonds d exp rimentation pour la Jeunesse devaient tenir compte des recommandations du guide m thodologique sur l valuation l intention des porteurs de projet Ce guide de 22 pages a t r dig en avril 2009 au moment du lancement de l AP1 L objectif de l valuation est r sum par la formule suivante Savoir si le programme am liore effectivement la situation des personnes qui en b n ficient p 1 Ce guide m thodologique pr ne le principe d une valuation externe et ind pendante de l exp rimentateur Les m thodes quantitatives avec comparaison entre l chantillon des b n ficiaires de la mesure et un chantillon t moin sont pr sent es comme tant sup rieures toute autre m thode pour valuer les effets du programme La randomisation gt ou r partition al atoire d un chantillon de participants potentiels en un groupe t moin et un groupe b n ficiaire est consid r e comme la m thode la plus pr cise et la plus robuste pour valuer l impact du programme p 5 car elle permettrait de s affranchir des biais de s lection sur les individus b n ficiant du programme p 11 Ce n est qu en cas d impossibilit d adopter la randomisation que d autres m thodes sont pr sent es comme envisageables telle
127. une approche pragmatique en lien avec leur m tier de terrain Pour les porteurs de projets et leurs partenaires les exp rimentations financ es par le FEJ ont incontestablement repr sent une opportunit d largir leur champ d action de d velopper des partenariats locaux de renforcer les actions existantes de tester des actions nouvelles ou parfois simplement de faire b n ficier un public plus large les actions d j existantes L int r t scientifique des exp rimentations sociales est parfois loign des pr occupations des professionnels qui sont confront s quasi quotidiennement des publics en difficult et parfois en d tresse Pour nombre d entre eux toutefois l valuation si elle a pu appara tre initialement comme une contrainte devait finalement apporter les preuves objectives de l utilit et l efficacit de leur action pour pouvoir obtenir des financements Aussi l ont ils accept e et ont ils formul de fortes attentes envers ses r sultats Il est toutefois probable que la plupart d entre eux se sont lanc s dans ces projets forts de la conviction que les actions exp riment es taient pertinentes et qu ils trouveraient un moyen de les maintenir quels que soient les r sultats des valuations Le FEJ apportait des financements hauteur de 50 maximum du budget des projets financements qui s interrompaient la fin des deux trois ans d exp rimentation Ce cadre a g n r un sentiment d inco
128. ute une forte implication de sa part Les porteurs ont pu s emparer des r sultats de projets proches des leurs par le biais des r seaux des CCAS ceux des conseils g n raux ou travers le r le du Conseil National des Missions Locales Le travail de capitalisation des r sultats de cet ensemble tr s riche d exp rimentations reste r aliser Pour l instant aucun enseignement global n a t tir officiellement de tous ces projets 47 Gurgand Valdenaire 2012 63 CONCLUSION Les exp rimentations financ es par le Fonds d exp rimentation pour la Jeunesse FEJ ont couvert une grande diversit d actions Certains dispositifs ont par exemple propos un accompagnement renforc des b n ficiaires par rapport celui existant dans le droit commun tandis que d autres ont exp riment des actions nouvelles par exemple des ateliers et des formations sp cifiques destination des jeunes sous main de justice dans le cadre d un am nagement de peine ou largi aux jeunes leur public cible Au sein de chaque projet les objectifs fix s par l valuation taient multiples mesure de l impact sur les b n ficiaires en termes d acc s au logement d acc s l emploi de parcours dans l apprentissage de r cidive de processus d autonomie d estime de soi analyse des conditions de mise en uvre mesure de l impact sur les acteurs des dispositifs et les partenariats Les valuations men es par le CR DOC depui
129. valuation passent sous silence certaines des difficult s rencontr es 47 II 2 Les entretiens aupr s des partenaires pour mettre en vidence les synergies et les freins Les dispositifs exp riment s reposent le plus souvent sur une synergie des acteurs La consultation des partenaires donne l opportunit de faire un diagnostic de cette synergie attendue Sortir du point de vue du seul porteur de projet Des entretiens syst matiques avec les autres partenaires du projet en d but et en fin d exp rimentation permettent d largir le point de vue du porteur de projet de v rifier quels sont les points d accord et les diff rences d analyse sur les cons quences de l exp rimentation A l tape de lancement du programme 5 sont l occasion de compl ter le panorama de l tat des partenariats existants et des actions d j en place sur le territoire Ce bilan est particuli rement important r aliser pour mesurer en fin de programme le chemin parcouru Ces entretiens mettent parfois en vidence des diff rences dans les attentes vis vis du programme qui peuvent expliquer des manques de synergie dans le partenariat Ils compl tent la connaissance de l valuateur sur les interventions des diff rents acteurs du programme Ces entretiens ont pu parfois mettre en lumi re l absence de visibilit d un programme pour les participants alors que le porteur pouvait penser que certains partenaires avaient bien identifi les act
130. voriser l insertion des jeunes sous main de justice Consommation et mode de vie n 256 CR DOC octobre 2012 Guillaume ALLEGRE L exp rimentation du RSA et ses ambigu t s Informations sociales n 174 CNAF novembre d cembre 2012 pp 52 60 Denis ANNE et Yannick L HORTY Aides sociales locales revenu de Solidarit active RSA et gains du retour l emploi gt Economie et Statistique n 429 430 INSEE 2009 pp 129 157 Jean Claude BARBIER valuation exp rimentales quelques le ons de l histoire Politiques sociales et familiales n 110 CNAF d cembre 2012 pp 19 31 Jean Claude BARBIER et Nicolas MATY JASIK valuation des politiques publiques et quantification en France des relations ambigu s et contradictoires entre disciplines Revue Fran aise de Sciences Economiques n 5 2010 pp 123 140 Luc BEHAGHEL Bruno CREPON et Marc GURGAND Evaluation d impact de l accompagnement des demandeurs d emploi par les op rateurs priv s de placement et le programme Cap vers l entreprise Rapport final CREST Ecole d Economie de Paris Septembre 2009 59 pages Manon BREZAULT Christine OLM Matthieu ANGOTTI et Marie Odile SIMON Politiques locales de la jeunesse et exp rimentations sociales Vers une coh rence des politiques de la jeunesse CR DOC Cahier de recherche n 266 d cembre 2009 Elisa CHELLE Exp rimentation sociale la tentation am ricaine Informations sociales n 174 CNA

Download Pdf Manuals

Related Search

Related Contents

Télécharger le dossier de presse  Pioneer HTP-330 User's Manual  特記仕様書 - 四日市市  

Copyright © All rights reserved. Failed to retrieve file