Home

Promouvoir l`excellence en recherche – Examen mené par un

1. accord es en pourcentage Comit Nombre total Demandes Demandes Demandes de demandes de d quipes de Demandes chercheurs de chercheurs d quipes de individuels recherche individuels recherche 1 tudes classiques et religieuses 394 103 33 33 33 38 82 2 Histoire 602 201 31 38 36 39 74 3 Beaux arts 432 121 35 36 23 35 71 5 Linguistique 293 46 66 30 67 46 15 7 conomie 584 160 82 43 72 37 61 8 Sociologie 450 97 72 37 16 38 10 9 G ographie 434 96 67 37 94 37 02 10 Psychologie 1 559 135 71 39 02 33 33 12 ducation 1 599 72 147 32 43 38 99 tudes 15 interdisciplinaires et multidisciplinaires 442 101 69 42 98 33 33 16 Anthropologie et arch ologie 396 84 58 32 06 43 28 17 ducation 2 540 105 84 37 63 32 18 18 Litt rature 1 400 119 22 34 49 40 00 19 Litt rature 2 484 149 24 35 56 36 92 20 tudes sur la sant et travail social 506 67 117 37 02 36 00 21 Gestion 1 612 138 88 39 77 33 21 22 Gestion 2 353 59 70 31 72 41 92 23 Droit et tudes socio juridiques 368 93 44 37 96 35 77 24 Sciences politiques et administration publique 557 162 48 38 85 34 29 25 Philosophie 347 94 27 33 10 42 86 Communication tudes 26 culturelles et tudes sur les femmes 425 103 50 34 68 39 06 27 Psychologie 2 174 15 33 25 42 28 70 28 ducation 3 199 7 44 12 28 30 99 29
2. RECOMMANDATION 18 Clarifier et rendre publiques sur le site Web du CRSH et dans la documentation destin e aux membres des comit s les directives s appliquant la divulgation et la discussion de l information ne figurant pas dans les propositions RECOMMANDATION 19 Continuer de faire preuve de vigilance en mati re de conflit d int r ts mais r viser les r glements pertinents afin d assurer un processus d valuation par les pairs efficace RECOMMANDATION 20 Mettre en uvre le plus rapidement possible le d p t lectronique des propositions des valuations externes ainsi que des rapports et de la notation des lecteurs des comit s de m me que la tenue en r seautage et sur le Web des dossiers des r unions des comit s RECOMMANDATION 21 Mettre en uvre le plus t t possible l intention des lecteurs des comit s des formulaires lectroniques normalis s semblables ceux des appr ciateurs externes permettant une notation d taill e en fonction de crit res et pr voyant des cases r serv es aux commentaires RECOMMANDATION 22 Fournir aux comit s des directives uniformes sur les proc dures de discussion et de prise de d cision relatives aux propositions y compris e le classement de toutes les propositions d apr s les notes pr liminaires des lecteurs d sign s e dans le cas des subventions ordinaires de recherche une discussion portant uniquement sur les propositions o aux
3. 3 nomment les candidats aux bourses sp ciales 1 assigne trois lecteurs par dossier 2 d termine les conflits d int r ts L agent de programme 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires class es en ordre d croissant aux membres 102 ANNEXE 8 Processus de s lection du Programme de bourses postdoctorales Tableau 6 Bourses postdoctorales Processus de s lection de 2009 L agent de programme Fin novembre 1 assigne trois lecteurs par dossier 2 d termine les conflits d int r ts Les membres de comit 1 attribuent des notes pr liminaires en faisant D cembre attention les distribuer de fa on gale 2 font parvenir leurs notes pr liminaires et leurs commentaires l agent de programme L agent de programme 1 recueille toutes les notes pr liminaires D but janvier 2 g re la distribution des notes 3 fait parvenir toutes les notes pr liminaires aux membres R union de s lection Ottawa Le pr sident de comit coordonne la r union de s lection Les membres de comit 1 discutent des demandes probl me et des demandes que le personnel du CRSH ou eux m mes estiment n cessiter une discussion 2 tablissent la limite du financement pouvant tre accord 3 nomment les candidats aux bourses sp ciales et au prix
4. 23 1 Pas important 2 14 3 N D EN _ EN N _ 5 3 12 100 0 100 0 Q27a Dans le cadre des programmes du CRSH combien de fois avez vous agi titre de MEMBRE d un comit d valuation de demandes de subventions Jamais Une fois Deux fois Trois fois et plus x N Oo l 43 712 1 505 5 2 337 k de N sh w N 1 00 2 208 w 0 gt w O1 D N A A A SE o 2 PR es N O1 3 39 92 3 57 1 7 1 19 0 0 0 4 8 0 0 19 0 100 0 100 0 45 6 53 8 21 0 55 5 18 4 49 5 18 9 54 5 19 1 18 4 24 0 15 8 16 2 10 0 21 6 9 9 16 5 9 9 12 0 9 4 Ni important ni sans importance 3 100 Important 4 Tr s important 5 Ne sais pas O N Gi D Q19 Q27a colonne Pas du tout important 1 0 2 0 5 2 4 29 2 65 4 2 3 100 0 0 4 0 2 2 7 32 5 61 7 2 5 100 0 0 1 1 4 4 1 28 2 62 9 3 3 100 0 0 7 0 9 0 3 4 2 27 8 64 7 2 5 100 0 Pas important 2 Ni important ni sans importance 3 Important 4 Tr s important 5 Ne sais pas 100 09 100 0 9 Q z 212 L OIN A R 2 59 100 0 52 4 23 2 71 2 13 2 68 2 12 0 9 1 10 7 70 7 8 0 4 0 17 3 68 8 12 6 8 9 9 7 8 5 9 1 15 9 6 5 100 0 100 0 100 0 100 09 100 0 0 5 0 2 0 0 0 5 0
5. Les subventions devraient durer plus longtemps p ex cinq permettre le renouvellement ans et tre renouvel es Suggestions Admissibilit Modifier les dates limites de pr sentation des II serait bon que le CRSH change la date limite de remise des demandes demandes ou fournisse plusieurs dates limites au cours de l ann e afin d all ger le fardeau du candidat et des valuateurs Suggestions Financement Distribuer les fonds de fa on plus quitable 0 5 entre les domaines et les secteurs de recherche e dans l ensemble du pays de s lection inclure des minorit s visibles d valuation individuels et les projets en quipe projets en quipe ont des besoins diff rents Suggestions Evaluation et s lection Crit res Assurer le suivi des r sultats de recherche et 0 5 d valuation r compenser les chercheurs qui produisent des connaissances P ex professionnels administrateurs universitaires de s lection a lieu selon la discipline _ partenaires communautaires e e de s lection valuant leur demande subventionnaires interdisciplinaires aux initiatives interorganismes SE RE remplie retenue de pr paration des demandes Suggestions Evaluation et s lection Crit res Donner plus d importance aux projets de Le processus d valuation devrait donner davantage 0 4 d valuation recherche appliqu e ax e sur les r sultats d importance la recherche appliqu e et ax e sur la Suggestions Admissibilit Donner plus de souples
6. e Rendre publics sur le site Web du CRSH les crit res de s lection des appr ciateurs externes leurs responsabilit s et leurs t ches e Publier chaque ann e sur le site Web du CRSH la liste des appr ciateurs externes des concours ant rieurs Publiciser sur le site Web du CRSH la composition du Coll ge international des valuateurs sp cialis s du CRSH 2 2 Membres des comit s de s lection Les comit s de s lection ont la responsabilit de fournir des recommandations finales au CRSH sur la qualit des propositions pr sent es aux fins de financement La s lection des membres de ces comit s est donc de la plus haute importance Au CRSH ce processus de s lection est complexe et est dirig par l agent de programme sous la supervision de la gestion Il s agit d quilibrer une vari t de crit res type et taille des institutions repr sentation r gionale sexe comp tences linguistiques couverture des disciplines sp cialit s etc Ces nombreuses contraintes ainsi que les r gles tr s rigoureuses 28 en vigueur pour viter jusqu l apparence de conflits d int r ts font en sorte que la constitution de tels comit s est une t che tr s exigeante Chaque ann e certains des meilleurs chercheurs m me parmi ceux qui souhaitent vivement si ger un comit de s lection doivent tre exclus bien qu ils puissent tre sollicit s pour examiner des propositions titre d appr
7. s assurer que ce syst me qui fonctionne d j bien demeure viable et efficace Elles d coulent des le ons tir es de l exp rience d autres pays et sugg rent des fa ons d am liorer encore davantage ce syst me et son fonctionnement A cet gard et comme le pr sent rapport l indiquera clairement dans ses recommandations 1 Dans les cas o le groupe recommande le plus grand nombre de changements c est surtout parce que le souci louable du CRSH envers l excellence en mati re d valuation par les pairs peut parfois surcharger les ressources humaines sp cialis es et imposer aux acteurs de l valuation par les pairs en particulier les membres des comit s de s lection et les agents de programme des charges de travail et des fardeaux qui pourraient ne pas tre viables plus longue ch ance et exercer une pression sur le syst me un point qui pourrait tre critique 2 D autres changements importants sont galement sugg r s Ils visent mieux diff rencier les pratiques relevant du processus d valuation par les pairs proprement dit Il s agit donc d tablir une distinction entre d une part l valuation de la qualit et de l importance de la recherche et d autre part les processus et les enjeux relevant de la prise de d cision politique par exemple l tablissement de taux de r ussite cibles ou la d finition de r gles sp ciales pour soutenir les jeunes chercheurs ou
8. valuation Nombre Oui Non demandes Commentaires Deux lettres d valuation et une lettre du d partement Bourses de doctorat Bourse Aileen D Ross Bourse de la Reine Bourse William E Taylor Pr s lection 5 comit s 5 7 membres 31 comit s 3 membres et 1 pr sident 1 comit 5 pr sidents de comit s nationaux des bourses de doctorat Tous les membres Deux lettres d valuation et une lettre du d partement valuation faite par un comit de r vision compos de pr sidents des comit s de bourses de doctorat Bourses postdoctorales 5 comit s 5 7 membres Deux lettres d valuation une lettre d valuation de la recherche et un formulaire de nomination par l tablissement Prix postdoctoral du CRSH 1 comit 7 8 membres Tous les membres Aucune lettre du d partement n est n cessaire dans le cas des demandes pr sent es directement au CRSH Subventions de recherche subventions de diffusion de la recherche et subventions strat giques Nombre de Nombre de valuation comit s et de lecteurs i Nombre Programme membres par par Oui AA Commentaires comit demande None Subventions 24 comit s ordinaires de S i 2 Oui 2 7 12 membres recherche Processus en deux tapes Grands travaux 1 lettre d intention de recherche 1 comit Tous les z aucune valuation Oui 6 concert e 8
9. A EN O1 2 O1 N O N N O W p 239 54 CE 3 143 597 Q32c Q12 Q14 rang e isfait 2 a 3 Tr s insatisfait 79 0 21 0 100 0 61 9 7 4 30 7 100 0 Insatisfait 2 82 5 17 5 69 0 13 1 17 9 100 0 a 3 isfait 2 v N BE as e S Q h h ojo Sojo ojo X 81 6 18 4 100 0 60 5 9 3 30 2 100 0 CE 84 0 16 0 100 0 68 5 10 8 20 7 100 0 4 9 6 9 5 2 14 0 10 7 23 0 15 5 10 9 12 2 11 16 6 16 4 16 43 3 40 0 19 7 16 0 10 3 16 6 15 4 16 2 6 3 8 2 4 2 7 7 6 9 0 7 8 11 8 11 5 19 4 13 3 CE 100 0 100 0 100 0 100 0 100 0 100 0 100 0 ES 29 1 35 1 25 0 28 9 o 22 8 22 9 19 8 22 2 ak gt 1 i isfait 3 ta isfait 5 isfait 1 Ni insatisfait ni satisfait 3 84 2 15 8 100 0 70 4 11 1 18 5 100 0 Satisfait 4 85 1 14 9 77 7 10 0 12 3 100 0 Tr s satisfait 5 85 0 15 0 66 7 15 2 18 2 100 0 isfait 1 i satisfait 3 ta isfait 5 a a N aolo LlLl CS N w gt 146 Tableau 36 Q35 Q12 Q14 Q12 J ai d j t subventionn par le CRSH titre de cons presente une demande de Sven ion nes TESNA titre ge RE chercheur principal ou de co chercheur mais je n ai jamais t chercheur principal Q35 Q12 Q14 subventionn par le CRSH mais je n ai pas et je n ai pas l intention de l intent
10. Les appr ciateurs externes interrog s confirment cette appr ciation 3 2 2 Recommandation li e aux instructions l intention des appr ciateurs externes RECOMMANDATION 12 Rendre publiques sur le site Web du CRSH les instructions l intention des appr ciateurs externes et largir l utilisation de formulaires normalis s tous les programmes faisant intervenir des appr ciateurs externes 3 2 3 Instructions l intention des membres des comit s de s lection avant les r unions On ne na t pas membre d un comit d valuation par les pairs Certains organismes subventionnaires semblent oublier cette v rit fondamentale et l mentaire En effet la British Academy a r cemment d clar Nous avons t frapp s par le peu d attention port e la formation en mati re d valuation par les pairs Le Groupe est heureux de signaler que ce n est pas le cas du CRSH Des directives et un soutien efficaces sont effectivement fournis aux membres des comit s de s lection et des mesures sont prises avant les r unions des comit s pour assurer la qualit et l quit des valuations et de la prise de d cision Directives l intention des membres et des pr sidents des comit s Un manuel fourni aux membres et aux pr sidents des comit s de s lection de l information sur le CRSH les principes de la s lection y compris des r gles sur la confidentialit les conflits d int r
11. Ceci dit il reste que comme un observateur l a soulign au cours d une entrevue certaines universit s ont manifestement leur part de responsabilit relativement ces checs elles incitent de jeunes chercheurs envoyer pr matur ment des propositions au CRSH ne leur procurent aucun soutien au cours de la phase pr paratoire ne se soucient pas de d terminer s ils sont trop ambitieux et bl ment alors tous et chacun de leurs propres attitudes irresponsables Il faudrait peut tre rappeler certaines universit s leurs responsabilit s 5 1 2 Recommandation li e aux jeunes chercheurs RECOMMANDATION 30 noncer des objectifs de politique clairs en ce qui a trait aux jeunes chercheurs et en bout de ligne tablir des taux de r ussite cibles et d finir des m canismes pour financer les demandes des nouveaux chercheurs que le comit de s lection a valu es favorablement 5 2 Propositions provenant des candidats des petites universit s Selon certains agents de programme et pr sidents interrog s leur comit a pour pratique de signaler les dossiers provenant des chercheurs des petites universit s de sorte que les membres du comit puissent tenir compte de certaines sp cificit s de l environnement du candidat Nous avons remarqu lors de nos entrevues que les pr sidents et les membres des comit s sur les programmes th matiques ou strat giques sont g n ralement convaincus que les chercheurs de
12. Montr al la troisi me par t l conf rence Toutes les r unions ont t men es huis clos l exception du d but de la premi re r union tenue le 7 juillet qui a commenc par une discussion sur le mandat tenue par le pr sident du CRSH et deux de ses vice pr sidents Cette premi re r union a port sur la mise en uvre du mandat les constats pr liminaires et les demandes de renseignements suivie des premi res analyses de la documentation La deuxi me r union le 15 octobre tait centr e sur la discussion d une bauche de rapport des constats et sur une premi re formulation de recommandations en utilisant en plus du mat riel crit fourni par le CRSH l analyse des entrevues et certains r sultats pr liminaires du sondage Lors de sa derni re r union le 12 d cembre le groupe a discut de l bauche finale de son rapport l a modifi e et l a approuv e 13 Organisation du pr sent rapport L objet du pr sent rapport est de fournir une valuation des r gles du processus et des pratiques d valuation par les pairs du CRSH L valuation par les pairs est la pratique par laquelle la valeur de la recherche est valu e par des personnes poss dant la comp tence prouv e de formuler un jugement L valuation par les pairs vise am liorer la qualit de la recherche en cartant les propositions moins int ressantes et en rep rant celles qui sont les plus promette
13. au sens de l honneur et surtout au bon sens 3 3 1 Recommandation li e aux r gles en mati re de conflits d int r ts RECOMMANDATION 19 Continuer de faire preuve de vigilance en mati re de conflit d int r ts mais r viser les r glements pertinents afin d assurer un processus d valuation par les pairs efficace 38 Au CRSH une personne qui pr sente une proposition au CRSH une ann e donn e ne peut pas participer au processus d valuation par les pairs dans le cas de ce programme cette ann e l 3 Un observateur ne participe d aucune mani re aucune discussion et demeure silencieux en tout temps lorsqu il visite un comit De plus un observateur de m me que tout appr ciateur externe ou membre d un comit de s lection doit signer un formulaire par lequel il s engage respecter la confidentialit 0 Sur les conflits d int r ts il faut continuer faire tr s attention il y a des gens qui ne comprennent pas suffisamment l tendue de ce qui n est pas permis Dans un cas un membre s est d couvert en conflit d int r ts beaucoup trop tard L agent de programme doit contacter chaque membre individuellement pour les forcer v rifier Pas seulement un e mail de groupe Je vois a comme un des r les cruciaux de l agent de programme le pr sident doit travailler en quipe avec lui pr sident GTRC l Tai t marqu par une exp rience parce j tais alors
14. chelle Je sais que dans certains autres organismes des membres des comit s visitent chaque communaut du Canada dans un domaine donn sur une p riode de trois ans C est extr mement efficace pour se faire conna tre et acqu rir un sentiment d appartenance la communaut Bien s r il faut parfois limiter les d g ts m me s il s agit du moindre de deux maux C est tr s efficace Nous avons d j remarqu qu une proportion lev e des personnes approch es ne peuvent pas ou ne veulent pas agir titre d appr ciateur externe Comme nous le verrons ci apr s la charge de travail est beaucoup plus lourde dans le cas des membres des comit s de s lection Ils peuvent avoir lire de pr s et valuer plus de 30 propositions d taill es et lire autant que faire se peut les autres 70 dossiers ou plus dont il sera question la r union du comit Dans le cas des SOR cette r union peut durer entre trois et cinq jours et exige de se rendre et de s journer Ottawa Certains membres interrog s ont estim que chaque ann e ils doivent consacrer au moins deux semaines et demie ces t ches Voil qui est effectivement extr mement exigeant De plus comme il est mentionn plus t t dans le cas des appr ciateurs externes cette fonction est tr s rarement reconnue au niveau institutionnel et seulement quelques grandes universit s acceptent de diminuer la charge d enseignement en reconnaissance
15. exemple Il est difficile d avoir des experts membres du comit Voil pourquoi l tendue des connaissances des membres et en particulier les valuations externes sont alors des plus importantes Selon un membre d un comit SOR L ouverture d autres disciplines la souplesse interdisciplinaire la capacit d coute sont des qualit s essentielles pour jouer correctement son r le en comit 32 Le choix des membres au niveau doctoral a fonctionn extr mement bien Vous pouvez obtenir un m lange de membres chevronn s et de jeunes membres au niveau doctoral parce que les jeunes chercheurs ont en g n ral termin leur doctorat Mais il est vraiment n cessaire d avoir un bon nombre de chercheurs chevronn surtout dans le cas des bourses postdoctorales parce que les nouveaux chercheurs ont des attentes trop lev es ils sont souvent trop durs envers les dossiers postdoctoraux Parfois les jeunes membres sont trop engag s pr sident d un comit sur les bourses postdoctorales Les jeunes chercheurs doivent absolument si ger au sein de certains comit s mais non tous les comit s Les nouveaux chercheurs ont tendance tre enthousiastes Les chercheurs plus g s ont souvent une id e de ce qui peut tre accompli Toutefois il n est pas aussi vident que les jeunes chercheurs sont n cessairement plus ouverts envers la recherche transformationnelle et risqu e Certains chercheurs
16. organisme Le CRSH devrait envisager une telle approche Les membres des comit s de s lection pourraient de fa on utile attirer l attention sur les besoins ou les anomalies budg taires d une proposition ce qui est appropri mais les d cisions empi tant sur les politiques comme 5 En ce qui a trait aux coupures param triques le pr sident d un comit SOR a fait le commentaire suivant En faisant a les conomistes ont port leur taux de succ s 60 malgr la r gle de 40 donn e par la direction peut tre parce que c est tr s utile de pouvoir dire qu on d tient une subvention du CRSH 58 l tablissement des r gles budg taires ne devraient jamais tre tol r es De plus il serait pr f rable que la d cision finale quant au montant accord rel ve des experts des questions budg taires Voil qui all gerait aussi la charge de travail des comit s de s lection diminuerait la dur e du s jour Ottawa aux fins des r unions et permettrait aux membres de se concentrer plus intensivement sur la t che appropri e Un comit d valuation par les pairs peut certainement formuler des recommandations favorables des changements en mati re de politique mais les d cisions en mati re de politique devraient enti rement relever du conseil d administration du CRSH qui peut bien s r avant de rendre une d cision mener toute consultation qu il juge appropri e Voil qui s a
17. par le pr sident quand il y a ambigu t c est important de poser des questions pour lancer la discussion la discussion se fait pas vraiment g n rale avec la participation de tous les membres la plupart du temps mais c est OK pr sident d un comit SOR 45 pairs en ce qui a trait aux r gles s appliquant l information tre consid r e l gitime au 36 moment de discuter d un dossier Interrog ce sujet lors d une entrevue un membre de la haute direction du CRSH a fortement soulign que seule l information fournie par les candidats dans leurs propositions devrait tre examin e par les appr ciateurs et les membres des comit s de s lection ce qui exclut tout autre type d information sur le candidat et sa proposition dont les acteurs du processus d valuation par les pairs pourraient conna tre partir d une autre source Si une situation exceptionnelle fait en sorte qu un appr ciateur ou un membre d un comit de s lection se sent moralement oblig de divulguer de l information ne figurant pas dans la proposition il ne devrait pas en parler librement mais devrait d abord consulter le pr sident ou l agent de programme qui en bout de ligne pourrait vouloir consulter la gestion sur la mani re de g rer cette situation Il me semble qu il s agit de l attitude appropri e et que des directives correspondantes devraient tre ajout es aux manuels 3 2 6 Recomma
18. taient nomm s davantage l avance s ils ne pourraient pas agir davantage comme conseillers aupr s des agents de programme 6 2 1 Recommandations li es aux observateurs RECOMMANDATION 34 Examiner la possibilit d largir la pr sence d observateurs d autres programmes RECOMMANDATION 35 Inviter les observateurs diligents devenir officiellement membres du Coll ge international des valuateurs sp cialis s du CRSH et continuer d agir titre d observateurs 6 3 Le processus d appel Le m canisme d appel au cas o quelque chose irait mal dans le processus d valuation par les pairs sert d ultime filet de s curit pour ainsi dire cet gard il peut aussi tre consid r comme un m canisme de surveillance et de contr le de la qualit tant donn les 15 000 propositions visant l obtention de subventions de recherche de tous types et de bourses que le CRSH re oit chaque ann e et compte tenu des faibles taux de r ussite de nombreux candidats seront d us Il est alors remarquable que ce si peu d appels soient d pos s environ 25 par ann e un seul ou deux sont accueillis apr s examen par le comit d appel voir l annexe 12 D apr s le document intitul Appel de d cisions d coulant de l valuation par les pairs qui figure sur le site Web du CRSH on peut interjeter appel d une d cision pour deux motifs seulement 1 lorsqu il y a une erreur de pr
19. 47 3 40 3 37 0 35 7 0 0 39 8 27 9 48 9 39 8 40 0 3 prochaines ann es mais j ai l intention de le faire titre de chercheur principal au cours des 140 12 3 13 0 16 3 6 8 119 18 5 143 0 0 13 0 23 0 13 3 10 4 12 9 5 prochaines ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principal au cours des 5 prochaines ann es noo 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 32 1 67 9 100 0 11 1 18 0 40 2 19 0 11 1 0 5 100 0 15 9 18 0 66 1 100 0 40 0 52 3 47 6 488 459 47 8 44 4 50 0 100 0 47 3 49 2 37 8 49 8 47 0 141 Tableau 31 Q25a Q19 Q27a Q19 Quel a t le taux de succ s des demandes de subventions que vous avez pr sent es au CRSH au cours des 10 derni res ann es Q25a Q19 Q27a Q25 Quelle importance accordez vous aux aspects suivants du processus d valuation des demandes de Ru De De De subventions en g n ral 76 51 26 Moins de 25 O O O Q25a la s lection des valuateurs 100 ie Poe externes qui ont examin votre vos demande s as Pas du tout important 1 Pas important 2 Ni important ni sans importance 3 707 1 583 276 524 Important 4 1 31 N O1 A Tr s important 5 Ne sais pas 2 420 849 Q25a Q19 Q27a rang e Pas du tout important 1 46 2 42 9 23 1 7 1 7 1 35 7
20. Les ant c dents devraient toujours venir en second lieu permettant aux valuateurs pairs de d cider si le candidat a d montr sa capacit d assumer la direction de la recherche et de la mener bien recommandation 24 Les discussions portant sur les budgets pr sent s dans les propositions occupent une part consid rable du temps des r unions des comit s de s lection L interpr tation des instructions les initiatives prises et les d cisions rendues relativement aux budgets sont loin d tre uniformes d un comit l autre Dans de nombreux organismes les comit s d valuation par les pairs se prononcent exclusivement sur la qualit et la faisabilit des propositions de recherche En effet 1l s agit du domaine o ils poss dent une comp tence ind niable c est cet gard qu ils sont des pairs Dans ces organismes ce sont des sp cialistes du personnel dans certains cas conseill s sur les sp cificit s en mati re de co t par des chercheurs chevronn s dans diff rentes disciplines ou divers domaines de recherche qui prennent les d cisions finales sur le montant accorder conform ment aux d cisions de politique prises par la direction de l organisme Le CRSH devrait envisager une telle approche Il n est jamais acceptable que les d cisions d un comit aient une incidence sur les politiques comme l tablissement des r gles budg taires recommandation 25 En ce qui a trait l
21. Ni insatisfait ni satisfait 3 Satisfait 4 Tr s satisfait 5 EN OQ D N N Oo D ESS amp rang e Tr s insatisfait 1 _Ni insatisfait ni satisfait 3 Satistat d Tr s satisfait _Ne sais pas SR Q32c Q26 Tr s insatisfait D insatisfait 2 9 re N O i Q N 145 Tableau 35 Q32c Q12 Q14 Q12 J ai d j t subventionn par le CRSH titre de chercheur principal Q14 J ai d j pr sent une demande de subvention au CRSH titre de chercheur principal ou de co chercheur mais je n ai jamais t Q32c Q12 Q14 subventionn par le CRSH Q32 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH mais je n ai pas et je n ai pas l intention de l intention de pr senter de pr senter de et j ai l intention de nouvelles mais j ai l intention mais j ai l intention nouvelles pr senter d autres demandes titre de le faire titre de de le faire titre de demandes titre demandes au de chercheur chercheur chercheur de chercheur CRSH cetitre au principal au cours principal au cours principal au cours principal au cours cours des des 5 prochaines des 3 prochaines des 5 prochaines des 5 prochaines prochaines ann es ann es ann es ann es ann es Q32c l objectivit de l valuation de votre vos demande s amp
22. autres encore commencent par les meilleures notes Tous les comit s accordent une attention sp ciale aux propositions qui obtiennent des notes pr liminaires se situant dans la moyenne car il s agit de dossiers limites qui pourraient ou non tre subventionn s selon les notes finales que le comit d cidera collectivement d attribuer chacune de ces propositions Il semble que au moins dans un comit on discute en premier des propositions pr sent es par les nouveaux chercheurs dans chacun des groupes faibles notes notes lev es notes dans la moyenne Dans un des comit s SOR le pr sident de concert avec l agent de programme a pris la d cision d examiner les propositions en partant des plus faibles notes jusqu aux plus lev es Le comit n a pas suivi l ordre alphab tique Nous voulons comparer des pommes avec des pommes Si nous adoptons l ordre alphab tique il devient plus difficile de demeurer coh rent Dans un comit sur les bourses postdoctorales selon un pr sident interrog au moment de la r union nous examinons d abord la liste alphab tique des dossiers dont les valuations comportent trois ou quatre points de diff rence notes attribu es par trois diff rents lecteurs par dossier Nous discutons simplement de tous les dossiers Nous examinons en premier les dossiers comportant des anomalies Certains interlocuteurs sont fortement en faveur de la m thode choisie par leu
23. cialis s du CRSH et continuer d agir titre d valuateurs RECOMMANDATION 9 Rendre davantage publics et transparents la s lection et le r le des membres des comit s de s lection e Rendre publics sur le site Web du CRSH les crit res de s lection des membres des comit s leurs responsabilit s et leurs t ches e Publiciser sur le site Web du CRSH la composition du Coll ge international des valuateurs sp cialis s du CRSH RECOMMANDATION 10 Rendre plus explicites transparents et publics les crit res et le processus de s lection des pr sidents RECOMMANDATION 11 Afficher sur le site Web du CRSH pour chaque programme des exemples de propositions remarquables ayant obtenu une bourse ou une subvention RECOMMANDATION 12 Rendre publiques sur le site Web du CRSH les instructions l intention des appr ciateurs externes et largir l utilisation de formulaires normalis s tous les programmes faisant intervenir des appr ciateurs externes RECOMMANDATION 13 Pour faciliter la consultation compl ter les manuels de r f rence l intention des membres des comit s par un document de deux pages r sumant de fa on sch matique les responsabilit s les mesures prendre et les r gles suivre RECOMMANDATION 14 laborer de concert avec des pr sidents chevronn s un manuel l intention des pr sidents reposant sur les pratiques exemplaires en mati re de pr sidence des r unio
24. d favorisent le type de recherche que vous conduisez Q35 Avez vous des suggestions afin d am liorer le processus d valuation par les pairs au CRSH Q37 SECTION IV TABLEAUX DOUBLE ENTR E Tableau 29 Tableau 30 Tableau 31 Tableau 32 Tableau 33 Tableau 34 Tableau 35 Tableau 36 Tableau 37 Q15 Q1 Q2 Q15 06 Q8 Q9 Q25a Q19 Q27a Q26 Q32a Q 32b 031 036 Q32c Q26 Q32c Q12 Q14 Q35 Q12 Q14 Q31a Q4 131 131 132 132 133 133 134 134 135 135 135 136 140 141 142 143 144 145 146 147 148 CHANTILLON Tableau 1 Distribution de l chantillon du sondage Internet Distribution de l chantillon Nbre Nombre d adresses de courriel recueillies a Nombre de messages retourn es et de personnes non jointes b 2 169 Population du sondage Nombre de r pondants potentiels c a b 17 657 Sondages remplis d 6 224 Taux de r ponse d c 35 2 Marge d erreur 1 31 Calcul e partir d une distribution gale des r ponses c d 50 oui 50 non niveau de confiance de 99 SECTION I VOTRE PROFIL Tableau 2 Langue sexe et ge Q6 Q7 Dans quelle langue voulez vous r pondre ce sondage Nbre English Anglais 4 954 Fran ais French 1 270 N 6 224 Quel est votre sexe Q6 Femme 2 726 Homme 3 313 n 6 039 Dans quelle tranche d ge vous situez vous Q7 30 ans ou moins 36 31 40 ans 1 291 41 50 ans 1 879 51 65 ans 2 407 65 a
25. e Maintenir concurrentielle la structure des salaires des agents de programme afin d attirer et de conserver un personnel de qualit RECOMMANDATION 38 D finir l intention des agents de programme une structure de carri re o ils pourront progresser e Poursuivre le d veloppement d un programme de formation destin aux nouveaux agents de programme e Maintenir et soutenir l largissement des comp tences des agents de programme en recherche et en science e Encourager les agents de programme qui travaillent d j dans le syst me acqu rir et d velopper des comp tences en gestion et d autres aptitudes e R compenser et reconna tre publiquement le rendement exceptionnel RECOMMANDATION 39 Rendre davantage publics et transparents le r le et les responsabilit s des agents de programme au CRSH ainsi qu encourager et soutenir les interactions avec la communaut des chercheurs 10 PR FACE Messieurs Gaffield et Kierans Pai immense plaisir de vous communiquer le rapport du Groupe d experts international l gard des pratiques d valuation par les pairs au Conseil de recherches en sciences humaines du Canada CRSH Les membres du Groupe ont t tr s impressionn s par le syst me d valuation par les pairs du CRSH M me si nous formulons plusieurs recommandations d am lioration nous en sommes venus la conclusion que ce syst me remplit d j ses fonctions de fa on remarquab
26. est pas g r de la m me fa on dans tous les comit s Par exemple le comit sur l conomie a parfois agi de mani re tr s strat gique Dans d autres comit s ce ne fut pas du tout le cas pr sident d un comit SOR En effet un membre tr s chevronn d un comit SOR sur l conomie a d clar La discussion sur le budget n est pas tellement utile Il est pr f rable d effectuer des coupures plus g n rales la condition d avoir suffisamment d argent pour effectuer la recherche On pourrait appliquer le m me pourcentage de coupures tous les projets Pour tre honn te le mieux serait d examiner en d tail le budget de toutes les propositions Cependant nous ne pouvons le faire C est une illusion Il est pr f rable d apporter des coupures globales Les comit s ont adopt ces deux m thodes des moments diff rents Le plus souvent nous avons eu des discussions sur la n cessit de garder ceci d enlever cela nous avons plus rarement appliqu un pourcentage de coupures Parmi les conomistes il y a un plus grand consensus en faveur d un pourcentage de coupures Nous les conomistes sommes radins de toute fa on Dans les pr sentes circonstances a d clar un observateur chevronn avec le nombre beaucoup plus lev de candidats et un budget qui n augmente pas l objectif est d atteindre un certain taux de r ussite Certains comit s examinent quelle
27. et notre association de recherche Un nombre norme de jeunes chercheurs sont d courag s d moralis s Nous devrions sonner l alarme Le syst me n est pas con u pour les desservir Les taux de r ussite sont assez faibles dans le cas des SOR et c est d moralisant pour les jeunes chercheurs Il est difficile d inciter nos chercheurs pr senter une proposition On nous r pond qu il s agit d une t che futile C est un probl me tr s grave Une solution et je ne suis pas certain que ce soit la meilleure serait de consacrer aux jeunes chercheurs un montant ou de cr er des comit s sp ciaux Nous avons besoin de cr er des r gles du jeu plus quitables Si leurs propositions sont m lang es celles des chercheurs chevronn s la tendance qui consiste r compenser les chercheurs d apr s leur curriculum vitae se poursuivra La communaut serait peut tre mieux desservie par un programme distinct Cette situation est urgente D autre part d autres interlocuteurs ont cat goriquement maintenu que cette situation n tait pas probl matique du moins dans leur domaine d activit titre d valuateurs pairs L valuation des jeunes chercheurs n est pas probl matique Le CRSH assure une valuation souple Les r sultats montrent qu ils sont bien trait s membre d un comit SOR Le sort fait aux jeunes chercheurs au CRSH n a rien de probl matique Les ta
28. pour juger de la valeur intellectuelle d une demande mais il devrait passer beaucoup moins de temps sur le d tail des budgets On passe un temps norme faire des calculs de boutiquiers Il y a des petits comptables dans certains comit s C est le chercheur qui est le mieux plac pour r organiser ventuellement son budget quand il aura re u sa subvention Le CRSH n est d ailleurs qu un contributeur parmi d autres il y a aussi des fonds qui peuvent aussi venir de l universit qui peuvent venir d une chaire qui peuvent venir d une fondation de contrats etc Une fois l argent donn comme chercheur tu fais au mieux de tes connaissances et selon tes besoins c est d ailleurs ce qui est pr vu dans les r gles du CRSH membre d un comit SOR Un comit fait de son mieux pour tre coh rent au moins au cours d une ann e donn e Cependant il est manifeste que l interpr tation des instructions les initiatives prises et les d cisions rendues l gard des budgets sont loin d tre coh rentes d un comit l autre Bon nombre de nos interlocuteurs taient tr s conscients de ce fait 57 Un comit proc de au classement sans comprendre clairement o sera tir e la ligne en mati re de financement Cela fonctionne extr mement bien en termes de gestion des comit s Toutefois nous devrions avoir une d claration publique claire sur le fonctionnement du processus Je sais que ce n
29. puisement de l valuation par les pairs a fait couler beaucoup d encre et a aliment bon nombre de discussions au Canada comme l tranger C est en effet le cas au CSRH Les donn es de 2009 indiquent que pour recruter les nouveaux membres n cessaires pour combler les postes de 23 des 24 comit s SOR voir l annexe 8 et les 111 postes de membre vacants 441 personnes ont d tre contact es A l exception du comit sur la linguistique o 35 les trois chercheurs contact s ont accept d y si ger le pourcentage des refus n est jamais inf rieur 33 p 100 et grimpe jusqu 92 p 100 En effet le taux de refus m dian est de 73 p 100 Ceci implique un norme fardeau de travail ingrat pour les agents de programme et plaide en faveur de pratiques qui r duiraient consid rablement le taux de roulement des comit s et augmenteraient leur stabilit Il ne fait aucune doute que ceci implique une s rieuse pression sur le syst me d valuation par les pairs et qu il s agit d un enjeu qui doit tre examin en priorit Selon un ancien haut gestionnaire du CRSH La culture de l intendance et de la g n rosit est sans doute plus solide dans certains autres organismes Il existe peut tre deux facteurs de faibles taux de r ussite faisant en sorte que les personnes en cause se sentent moins redevables au CRSH de leur carri re et une communication insuffisante ou inad quate au bas de l
30. s et deux relativement leur affiliation actuelle et de deux dans le cas de chaque membre suppl mentaire de l quipe Nombre moyen de co auteurs distincts dans le cas de tous les membres de l quipe au cours des six derni res ann es 3 10 22 30 17 24 29 36 37 29 32 12 45 OS a CO CO CO CO Glow R OR es Remarque 2 Pour des raisons pratiques les conflits d int r ts qui suivent n ont pas t inclus aux statistiques conflits d int r ts li s aux appr ciateurs potentiels exclus la demande du candidat conflits d int r ts li s aux relations entre institutions y compris les Chaires de professeurs invit s conflits d int r ts li s une affiliation ou r seaux d un institut de recherche conflits d int r ts li s des co chercheurs et des collaborateurs qui sont de nouveaux chercheurs conflits d int r ts li s aux membres d quipe ayant pr sent une demande dans le cadre du m me concours Dans le cas du principal programme du CRSH les SOR moins de 40 p 100 des appr ciateurs externes sont affili s une institution postsecondaire canadienne cet gard le processus d valuation par les pairs du CRSH est d j fortement international en ce qui a trait sa composition De nouveau le CRSH doit tre f licit de cette pratique qui garantit les normes lev es qu il veut maintenir en mati re d valua
31. s de s lection ayant l expertise appropri e Pour accomplir sa t che de fa on optimale un agent de programme doit utiliser en plus des bases de donn es et des outils sp cialis s existants comme Google Scholar le plus vaste r seau possible de contacts Il y a beaucoup gagner de la contribution des chercheurs et des autres experts la constitution de banques de noms de personnes respect es pour leur connaissance leur quit et leur sens du devoir envers la communaut des chercheurs Cependant les entrevues ont aussi montr que de nombreux membres et pr sidents de comit ne s attendent pas tre contact s pour aider identifier des appr ciateurs externes potentiels et ils ne consid rent pas toujours cette ventualit de fa on positive Ils estiment tr s souvent que cette responsabilit incombe l agent de programme et craignent une contamination du processus s ils interviennent Ils sont d avis qu il n est pas appropri qu un comit ou certains de ses membres prennent part la s lection des appr ciateurs externes Il est pr f rable de laisser le choix des appr ciateurs l agent de programme s il prouve des difficult s il peut demander des suggestions au pr sident Toutefois il faut viter que le pr sident du programme recommande uniquement des coll gues aux vues similaires Le processus d valuation par les pairs est effectivement mieux garanti si l on maintient
32. te dans le cas d un autre comit une autre ann e notre rencontre a dur trois jours membre d un comit SOR La premi re ann e mon comit a re u 220 demandes Malgr un excellent pr sident et un formidable agent de programme ce fut un comit difficile d s le d part Ce fut en fait une exp rience n gative J ai cru que le processus tait compromis L ann e suivante j ai accept de pr sider le comit la condition qu il soit divis en deux pr sident d un comit SOR En fait certains membres ou pr sidents d un comit nous ont dit lors des entrevues que l on ne devrait pas assigner plus de 20 25 dossiers un lecteur principal et que l on ne devrait pas s attendre ce que les autres lecteurs examinent s rieusement plus de 60 70 dossiers Voil qui semble raisonnable Dans le cas des programmes th matiques ou strat giques la situation est souvent tr s semblable celle des comit s SOR Un programme comme Alliances de recherche universit s communaut s ARUC est jug plus s lectif mais certaines ann es nous avons eu plus de 100 demandes La charge de travail n est pas si diff rente pr sident d un comit ARUC Comme nous l avons soulign la charge de travail est fort probablement un facteur important du taux lev de refus de si ger un comit et de l puisement de l valuation par les pairs Ces derni res ann es le no
33. totalisait pr s de 250 millions de dollars excluant les deux programmes des co ts indirects 314 millions de dollars et le Programme des Chaires de recherche du Canada 59 millions de dollars Pour 2007 2008 les d penses estimatives s levaient 128 millions de dollars dans le cas des subventions de recherche et 100 2 millions de dollars dans le cas des bourses et du Programme de bourses d tudes sup rieures du Canada D autres sommes ont t affect es la diffusion soit 13 4 millions de dollars aux R seaux de centres d excellence RCE soit 11 8 millions de dollars et aux Chaires de recherche du Canada soit 59 2 millions de dollars Ces derni res ann es l investissement gouvernemental dans le CRSH a permis de soutenir un nombre accru de remarquables tudiants au doctorat 18 Graphique 1 Nombre de demandes et taux de r ussite des programmes de bourses de doctorat et de bourses 1999 2008 M Demandes 6 000 M Bourses Taux de r ussite 5 000 25 7 e 22 6 e 22 7 22 3 e amp 22 2 21 6 21 7 e 20 2 19 5 4 000 3 000 18 2 2 000 1 000 LLLL l 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 25 20 15 10 0 Source CRSH p 45 Toutefois ce n est pas le cas au niveau postdoctoral o le taux de r ussite a oscill au cours L ann e en chiffres d penses et r s
34. valuation des propositions ayant une approche ou un contenu interdisciplinaire le groupe ne comprend pas bien pourquoi le comit 15 tudes interdisciplinaires et multidisciplinaires serait n cessaire La vaste majorit des chercheurs en sciences humaines qui ont r pondu au sondage ont d clar que leur recherche est interdisciplinaire et qu ils font en fait parvenir leurs propositions d autres comit s disciplinaires En effet l heure actuelle tant donn la fa on dont la recherche volue dans tous les domaines et m me si un chercheur peut tre associ une discipline donn e l tablissement de fronti res disciplinaires n est pas l ordre du jour Bien au contraire des efforts devraient tre d ploy s pour choisir comme membres dans le cas de tous les comit s de s lection des pairs ayant prouv qu ils poss dent une vaste compr hension de l volution de la recherche dans leur domaine recommandation 26 Quant aux programmes multipartites il est manifeste que les probl mes r soudre rel vent moins des attributs ou du comportement des valuateurs pairs que de la n cessit de se doter de politiques mieux d finies et accept es par les organismes subventionnaires recommandation 27 La r troaction fournie aux candidats est une partie essentielle du processus ainsi que de sa r ussite et de son quit per ues La fa on dont elle est pr sentement g r e cr e un norme fardeau
35. valuation par les pairs et des m canismes de s lection sp cifiques RECOMMANDATION 33 Am liorer la r troaction et la r action en temps opportun aux rapports sur les discussions de politique des comit s de s lection RECOMMANDATION 34 Examiner la possibilit d largir la pr sence d observateurs d autres programmes RECOMMANDATION 35 Inviter les observateurs diligents devenir officiellement membres du Coll ge international des valuateurs sp cialis s du CRSH et continuer d agir titre d observateurs RECOMMANDATION 36 Maintenir le processus d appel aussi transparent que possible rendre publique chaque ann e l avance la composition du comit d appel et s assurer de rendre une d cision rapide dans le cas de tous les appels RECOMMANDATION 37 Recruter des agents de programme permanents et r duire au minimum le nombre d agents de programme temporaires e Annoncer plus largement les possibilit s d emploi au del des cercles gouvernementaux dans les publications savantes et dans les facult s universitaires e Se conformer aux normes internationales en constante volution et recruter des professionnels d tenant un doctorat e Viser recruter des professionnels poss dant une combinaison ad quate de formation universitaire formelle de haut niveau une compr hension des activit s de recherche ainsi que des capacit s et des aptitudes en organisation et en gestion
36. 100 0 S S oo LIL 9 re b eg 9 N 3 144 Tableau 34 Q32c Q26 Q26 Avez vous particip des processus d valuation par les pairs i e titre d valuateur externe de membre ou de pr sident d un comit d valuation Q32 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH pour un autre pour un autre organisme organisme Q32c l objectivit de l valuation de pour le CRSH pour le CRSH subvention subvention Oui naire Oui naire Non Tr s insatisfait 1 225 207 266 Insatisfait 2 432 432 548 601 429 8 0 218 Ne sais pas 298 3 625 1 896 5 521 52 1 47 9 100 0 64 4 35 6 100 0 Insatisfait 2 50 0 50 0 100 0 64 7 35 3 100 0 Ni insatisfait ni satisfait 3 58 3 41 7 100 0 65 8 34 2 100 0 Satisfait 4 63 5 36 5 100 0 68 3 31 7 100 0 Tr s satisfait 5 66 1 33 9 100 0 67 8 32 2 100 0 Ne sais pas 45 7 54 3 100 0 55 1 44 9 100 0 58 2 41 8 100 07 65 7 34 3 100 07 colonne Tr s insatisfait 1 6 8 8 7 7 6 7 3 7 8 7 5 Insatisfait 2 15 1 15 8 15 3 Ni insatisfait ni satisfait 3 18 2 18 0 18 1 Satisfait 4 38 5 34 1 37 0 Tr s satisfait 5 14 0 10 0 12 3 12 7 11 5 12 3 Ne sais pas 7 8 12 8 9 9 8 2 12 8 9 8 100 0 100 0 100 07 100 0 100 0 100 07 O O1 es D D
37. 3 important s applique 4 pas Q41a Secteur acad mique Q Q Q Q Q Q Q41b ONG et groupes Q Q Q Q Q Q communautaires Q41c Grand public Q Q Q Q Q Q Q41d Gouvernement s Q Q Q Q Q Q Q41e Secteur priv Q Q Q Q Q Q Q42 En dehors de la communaut universitaire veuillez d crire la nature du principal impact identifiable changement ou effet provoqu attribuable vos r sultats de recherche QUESTION OUVERTE R PONSE LITT RALE COMMENTAIRES Q43 Avez vous des commentaires partager concernant cette initiative en g n ral ou ce sondage en particulier Si oui veuillez les inscrire ci dessous QUESTION OUVERTE R PONSE LITT RALE 120 ANNEXE 14 R sultats du sondage 121 Science Metrix SONDAGE INTERNET GROUPE D EXPERTS SUR LE PROCESSUS D VALUATION PAR LES PAIRS DU CRSH Statistiques descriptives CONTENU Tableau 1 Question Tableau 1 Distribution de l chantillon du sondage Internet SECTION I VOTRE PROFIL Tableau 2 Tableau 3 Tableau 4 Tableau 5 Tableau 6 Langue sexe et ge Q6 Q7 Exp rience de travail Q1 Q2 Q3 Degr d interdisciplinarit Q4 Renseignements sur l tablissement du r pondant Q8 Q9 Q10 Discipline Q5 SECTION II SUBVENTIONS DE RECHERCHE Tableau 7 Tableau 8 Tableau 9 Tableau 10 Tableau 11 Tableau 12 Tableau 13 Tableau 14 Tableau 15 Tableau 16 Situation actuelle Q11 Situation actuelle et intentions Q12 Q13 Q14
38. 9 0 3 1 8 4 4 2 3 30 5 30 8 30 0 64 4 62 1 66 3 2 3 1 4 1 0 100 0 100 0 100 0 0 0 0 4 1 2 0 6 3 9 2 4 19 6 29 4 71 3 65 0 3 9 2 29 100 0 100 0 142 Tableau 32 Q26 Q32a Q32b Q32 Quelle est votre satisfaction concernant les aspects suivants Q32 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH avez pr sent es au CRSH Q32a la s lection des valuateurs externes qui ont examin votre Q32b la s lection des membres des comit s d valuation de votre Q26 Q32a Q32b vos demande s vos demande s Q26 Avez vous particip des processus Tr s Ni satis Tr s Tr s Ni satis Tr s d valuation par les pairs i e titre Insatis fait ni Satis fait Ne sais t F Insatis fait ni Satis fait Nesais d valuateur externe de membre ou de cr fait 2 insatis 4 ue pas 1 emi fait 2 insatis 4 PR pas pr sident d un comit d valuation fait 3 fait 3 Q26a pour le CRSH Oui 142 345 567 1 351 598 323 3 326 326 656 1 000 300 881 3 316 Q26a pour le CRSH Non 152 303 419 760 326 437 2 397 299 497 590 170 674 2 393 CR 294 648 986 2 111 924 760 5 723 316 625 1 153 1 590 470 1 555 5 709 Q26b pour un autre organisme 175 420 651 1 394 587 421 3 648 741 1 026 940 subventionnaire Oui Q26b pour un
39. CRSH combien de fois avez vous agi titre Q27a e Jamais Une fois Deux fois MOBE n et plus a de MEMBRE d un comit d valuation de 2 341 430 303 333 3 407 demandes de subventions 68 7 12 6 8 9 9 8 100 0 b de PRESIDENT d un comit d valuation de 3 132 114 44 25 3 315 demandes de subventions 94 5 3 4 1 3 0 8 100 0 c d EVALUATEUR EXTERNE pour l valuation de 144 853 718 1 786 3 501 demandes de subventions 41 24 4 20 5 51 0 100 0 d de MEMBRE d un comit d valuation de 2516 346 234 286 3 382 demandes de bourses doctorales ou postdoctorales 744 10 2 6 9 8 5 100 0 e de PRESIDENT d un comit d valuation de 3 173 83 28 42 3 326 demandes de bourses doctorales ou postdoctorales 95 4 2 5 0 8 1 3 100 0 Tableau 20 Dans le cadre de quel s programme s du CRSH avez vous d j t MEMBRE d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Q28 Nbre Subventions ordinaires de recherche 851 64 5 Grands projets de recherche concert e GTRC 80 6 1 Alliance de recherche universit communaut ARUC 44 3 3 Initiative de la nouvelle conomie INE 51 3 9 Aide aux ateliers et aux colloques de recherche au Canada 44 3 3 Initiatives de d veloppement de la recherche 32 2 4 Ensemble de subventions li es l conomie sociale 8 0 6 Fonds d initiatives int
40. Initiatives de d veloppement de la recherche Ensemble de subventions li es l conomie sociale Fonds d initiatives internationales Gestion administration et finances La soci t la culture et la sant des Canadiens La probl matique de la coh sion sociale l re de la mondialisation R seaux strat giques de connaissances Autre s Veuillez sp cifier ci dessous Q28a QUESTION OUVERTE R PONSE LITT RALE DODCDODOD0OCOCOOODCEO Q29 Dans le cadre de quel s programme s du CRSH avez vous d j t PR SIDENT d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Subventions ordinaires de recherche Grands projets de recherche concert e GTRC Alliance de recherche universit communaut ARUC Initiative de la nouvelle conomie INE Aide aux ateliers et aux colloques de recherche au Canada Initiatives de d veloppement de la recherche Ensemble de subventions li es l conomie sociale Fonds d initiatives internationales Gestion administration et finances La soci t la culture et la sant des Canadiens DOODDOODO0ODODU 116 Q La probl matique de la coh sion sociale l re de la mondialisation Q R seaux strat giques de connaissances Q Autre s Veuillez sp cifier ci dessous Q29a QUESTION OUVERTE R PONSE LITT RALE Q30 Dans le cadre d un autre organis
41. Meike Olbrecht 2007 Peer Review in der DFG Die Fachkollegiaten iFQ Working Paper n 2 novembre Lamont Mich le 2009 How Professors Think Inside the Curious World of Academic Judgment Cambridge Mass Harvard University Press Lamont Mich le et Gr goire Mallard 2003 Peer Evaluation in the Social sciences and the Humanities Compared The United States the United Kingdom and France Report prepared for the Social Sciences and Humanities Research Council of Canada Lamont Mich le Gr goire Mallard et Joshua Guetzkow 2006 Beyond Blind Faith Overcoming the Obstacles to Interdisciplinary Evaluation Research Evaluation vol 15 p 43 55 Larivi re Vincent Jean Lebel et Pascal Lemelin 2004 Les recherches collaboratives en sciences humaines Analyse bibliom trique des pratiques Ost Rapport pr par pour le Conseil de recherches en sciences humaines du Canada Leshner Alan I 2008 Just Give Them Grants Science vol 320 p 849 National Science Board 2007 Enhancing Support of Transformative Research at the National Science Foundation Washington D C 7 mai 86 National Science Foundation 2007 Impact of Proposal and Award Management Mechanisms Washington D C NSF 1 ao t National Institute of Health 2008 2007 2008 Peer review Self Study Final Draft Organisation de coop ration et de d veloppement conomiques OCDE 2007a Working Party on Innovation and Technology
42. Policy Summary of TIP Workshop on Rethinking Evaluation in Science and Technology Organistation de coop ration et de d veloppement conomiques OCDE 2007b Working Party on Innovation and Technology Policy Peer Review Its Uses demands and Issues OECD Workshop on Rethinking Evaluation in Science and Technology Royal Society 1995 Peer Review An Assessment of Recent Developments Scarpa Toni 2006 Peer Review at NIH Science vol 311 n 5757 p 41 Science Metrix 2004 L utilisation de la bibliom trie dans les sciences sociales et les humanit s Rapport final Pr par pour le Conseil de recherches en sciences humaines du Canada Science Metrix 2005 Risk Based Analysis of Documented Competitive Processes Guidelines and Processes Screening Assessing Ranking recommending Applications Final Report submitted to the Social Sciences and Humanities research Council of Canada Corporate Performance Evaluation and Audit 87 ANNEXES 88 ANNEXES Table des mati res ANNEXE 1 Membres du groupe d experts 90 ANNEXE 2 D tail sur les comit s d valuation par les pairs des diff rents programmes TE TU NT 94 ANNEXE 3 Processus de s lection du Programme de subventions ordinaires de teehere he NE chere Rd dt et 98 ANNEXE 4 Processus de s lection du programme des Grands travaux de recherche concert e CO ERE TRS E T a E E ten nn ne Ne tete 99 ANNEXE 5 Processus de s lec
43. Q15 Veuillez sp cifier pourquoi vous n avez pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines ann es 016 Au total combien de subventions avez vous obtenues Q17 Dans le cadre de quel s programme s du CRSH avez vous obtenu des subventions au cours des 10 derni res ann es excluant les subventions allou es l aide de m canismes internes des universit s Q18 Taux de succ s Q19 Q20 Quand vous pr parez une demande de subvention au CRSH quel degr d attention portez vous aux crit res sp cifiques d valuation du programme de subvention Q21 Quand vous pr parez une demande de subvention au CRSH dans quelle mesure avez vous recours Q22 Quelle valuation faites vous de la qualit de l information obtenue de cette ou ces ressources Q23 Comment caract riseriez vous votre niveau de connaissance quant aux r gles des programmes et aux crit res d valuation des demandes de subventions au CRSH Q24 Page 124 124 125 125 126 126 127 127 128 128 128 129 129 130 130 130 SECTION III PROCESSUS D VALUATION PAR LES PAIRS Tableau 17 Tableau 18 Tableau 19 Tableau 20 Tableau 21 Tableau 22 Tableau 23 Tableau 24 Tableau 25 Tableau 26 Tableau 27 Tableau 28 Quelle importance accordez vous aux aspects suivants du processus d valuation des demandes de subventions en g n ral Q2
44. ai l intention de le faire titre de chercheur principal au cours des 3 prochaines ann es mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principa au cours des 5 prochaines ann es nm ne 8 eo mais j ai l intention de le faire titre de chercheur principal au cours des 3 prochaines 44 7 36 6 12 4 0 0 6 2 100 0 42 4 24 7 24 1 8 9 100 0 ann es mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines 19 2 38 5 15 4 3 8 23 1 100 0 23 5 27 5 33 3 15 7 100 0 ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principa 5 7 22 9 34 9 16 7 19 8 100 0 3 2 15 5 20 3 61 0 100 0 au cours des 5 prochaines ann es mo 2O can 28S BA task 1000 215 207 235 343 100 0 Q15 Qr Q2 colonne D mais j ai l intention de le faire titre de chercheur principal au cours des 3 prochaines 77 4 48 0 0 0 16 7 39 8 78 8 47 6 40 9 10 3 ann es mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines 10 8 16 3 8 4 5 9 20 0 12 8 141 17 1 18 3 5 9 ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principal 11 8 35 8 70 5 94 1 63 3 47 4 7 1 35 4 40 9 83 8 47 2 au cours des 5 prochaines ann es Po 100
45. c dents eux seuls ne devraient pas permettre quiconque de recevoir une autre subvention de recherche 4 3 Propositions provenant d une quipe ou d un seul chercheur Au cours des entrevues que nous avons men es un bon nombre d interlocuteurs ont exprim des pr occupations relativement l valuation des propositions d quipe versus les demandes provenant d un seul chercheur Certains ont affirm avoir trouv difficile d valuer la qualit des propositions d quipe et d autres ont estim que les propositions provenant d un seul chercheur surtout en sciences humaines n taient pas valu es leur juste valeur En ce qui a trait l valuation des propositions d quipe les directives du CRSH semblent toutefois tr s claires Une quipe ne re oit qu une seule note en ce qui a trait aux r alisations en recherche Cette note refl te l valuation du comit l gard des r alisations en recherche de chaque membre de l quipe en relation avec l importance de leurs r les respectifs dans la recherche comme le d crit la demande Le statut du chercheur principal 55 d termine le poids relatif attribu aux notes g n rales applicables aux r alisations en 49 recherche et au programme de recherche Cependant il semble que les questions soulev es ici ne d coulent pas exclusivement ni m me principalement de complexit s techniques Elles semblent plut t consid ra
46. ci e par tous les participants que nous avons interrog s Cet exercice ne semble syst matique que dans le cas des comit s de s lection SOR GTRC et sur les revues savantes Formation sp cifique l intention des membres internationaux La r troaction re ue des membres internationaux l an dernier dans le cas des comit s de s lection SOR fournit un aper u de leurs besoins en termes d encadrement Les membres internationaux ont trouv la t l conf rence tr s utile Ils ont formul quelques suggestions am liorer nos directives en mati re d valuation des demandes collectives afin d expliquer plus clairement dans le manuel des membres des comit s qui est consid r tre un appr ciateur interne On a soulign qu il serait utile que tous les membres internationaux aient une s ance d orientation fournissant de l information sur les diff rents organismes tablissements qui accordent des subventions aux chercheurs au Canada L information portant sur le contexte universitaire et l environnement de recherche canadiens serait aussi tr s utile De plus 30 National Institutes of Health a affich sur son site Web un document de pratiques exemplaires l intention de ses valuateurs scientifiques et de ses pr sidents Il fournit en moins de quatre pages les l ments essentiels de la s lection des pr sidents leurs responsabilit s avant et pendant les r unions la logistique et l
47. ciateurs externes 2 2 1 valuation des membres des comit s N anmoins les entrevues ainsi que le sondage sur le Web ont montr que le travail des comit s de s lection du CRSH est grandement appr ci dans la communaut des chercheurs seulement 16 p 100 des r pondants ont mis en doute la s lection des membres des comit s ayant valu leur s demandes s et compte tenu des faibles taux de r ussite ce r sultat est loquent Voil qui est en accord avec le point de vue d un ancien haut dirigeant du CRSH qui a d clar en entrevue que tr s peu de membres sont frivoles ou n ont pas fait leurs devoirs Certains taient parfois d pass s mais tous s impliquaient De plus un administrateur universitaire qui a pris part des comit s th matiques a soulign qu il tait tr s impressionn par l expertise d ploy e ainsi que par la pr sence et la participation de personnes tr s qualifi es Voil qui semble aussi confirm par des observateurs Le rendement des membres du comit est lev Dans l ensemble ils sont enthousiastes et accomplissent un bon travail ils veulent tre quitables et octroyer le plus grand nombre possible de subventions parce que la qualit est lev e Le Groupe est pleinement en accord avec ces appr ciations En 2008 22 experts provenant d autres pays ont si g en tant que membres d un comit de s lection SOR il y en aura au moins 24 en 2
48. co chercheur Q15 subventionn par le CRSH Q14 Nbre Nbre mais j ai l intention de le faire titre de chercheur principal au 848 68 6 161 39 8 cours des 3 prochaines ann es mais j ai l intention de le faire titre de chercheur principal au 133 10 8 52 12 8 cours des 5 prochaines ann es et je n ai pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines 256 20 7 192 47 4 ann es aaaea n 1 237 100 0 405 100 0 127 Tableau 9 Veuillez sp cifier pourquoi vous n avez pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines ann es Q16 Nbre Je n aurai pas besoin de fonds suppl mentaires pour faire mes recherches 228 19 6 Je compte obtenir des fonds d une autre source 156 13 4 J estime que j ai trop peu de chances d obtenir des fonds du CRSH 344 29 6 Autre s raison s 436 37 5 n 1 164 100 0 Tableau 10 Au total combien de subventions avez vous obtenues Q17 Aucune 0 1 3 4 10 11 ou plus n du CRSH titre de chercheur principal 10 3 019 698 51 3 778 0 3 79 9 18 5 1 3 100 0 du CRSH titre de co chercheur 951 2 055 320 15 3 341 28 5 61 5 9 6 0 4 100 0 d autres organismes que le CRSH titre de chercheur 1 017 2 512 1 345 395 5 269 principal 19 3 47 7 25 5 7 5 100 0 Tableau 11 Dans le cadre de quel s programme s du CRSH avez vous obtenu d
49. comit s attention aux jeux de pr f rence et copinages pr sident SOR Je n ai jamais t consult e sur la composition de mon comit et c est mieux ainsi La pr sidente doit rester neutre il est important que les membres sachent qu elle n est pas impliqu e dans le choix des membres pr sidente SOR 30 Crit res de s lection Comme il est mentionn plus t t les crit res de s lection des membres des comit s sont diversifi s et complexes Selon les termes d un agent de programme tr s chevronn qui nous a fait parvenir une note apr s avoir t rencontr en entrevue Il existe un certain nombre de d terminants que l on peut examiner chez un ventuel membre d un comit e un solide dossier de publications avec comit de lecture e une participation ant rieure un comit du CRSH ou un autre type de comit de s lection universitaire e une exp rience de r daction aupr s d une revue avec comit de lecture e des ant c dents de demandes accueillies et de gestion de subvention e des ant c dents d valuation de demandes du CRSH en tant qu appr ciateur e de l exp rience dans l organisation d ateliers et de conf rences e bilinguisme e comp tences s int grant la mosa que d expertises repr sent e au sein du comit e dans le cas d un bon nombre de programmes strat giques comme les Initiatives de d veloppement de la recherche IDR et
50. de mesures Les deux premi res sections portent respectivement sur les taux de r ussite des jeunes chercheurs et des candidats provenant des petites universit s Les entrevues que nous avons men es font clairement ressortir qu il s agit de questions d licates dans certains segments de la communaut des chercheurs Il semble en g n ral compris que les comit s de s lection tiendront compte dans leurs d lib rations et leurs d cisions dans chaque cas de la situation de ces chercheurs Les entrevues ont montr que c est loin d tre uniform ment le cas De plus comme nous l avons d j soulign plusieurs reprises l valuation par les pairs vise prendre des d cisions en valuant d abord la qualit d une proposition de recherche et l importance potentielle de ses r sultats et en second lieu si la proposition est estim e avoir du m rite et pouvoir tre financ e sa faisabilit sous la direction d un candidat donn Les enjeux tels que les taux de r ussite des jeunes chercheurs et des candidats provenant des petites universit s doivent faire l objet d une prise de d cision coh rente et il est pr f rable de les aborder et de les traiter en tant que questions de politique Il en va de m me de l objet de la troisi me section ci apr s c est dire s assurer que les propositions de recherche risque lev obtiennent le soutien dont elles ont besoin 5 1 Propositions provenan
51. des organismes subventionnaires comme le CRSH de b tir l intention de ces nouveaux professionnels une structure de carri re o ils pourront prendre de l envergure et trouver une satisfaction et une gratification personnelles au fil des ans Dans sa gestion des carri res de ses agents de programme le CRSH devrait assurer une certaine mobilit entre les divers types de programmes et de fonctions la division des politiques en s engageant et en communicant avec les communaut s de chercheurs et garder un acc s des postes de chefs d quipe et en gestion Bien s r il faut s attendre certaines pertes puisque des agents de programme hautement qualifi s et reconnus accepteront des responsabilit s dans les administrations de la recherche universitaire ou dans d autres organismes subventionnaires ou de recherche La gestion et la qualit de vie au travail devraient permettre de maintenir le roulement et la perte d expertise un niveau raisonnable Quelques unes des personnes que nous avons rencontr es en entrevue ont exprim la crainte que le recrutement au niveau du doctorat puisse mettre en p ril le processus m me de l valuation par les pairs les agents de programme aussi qualifi s tant alors naturellement tent s d usurper les fonctions des membres du comit Le Groupe ne partage pas cet avis En effet exp rience d autres organismes subventionnaires l chelle internationale et m me ce que
52. es aux dossiers pour lesquels ils jouent le r le de lecteur A ou B l agent de programme R union Ottawa Tous les membres 1 discutent de tous les dossiers 2 font parvenir leurs commentaires l agent de programme L agent de programme 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires aux membres Le pr sident de comit approuve les commentaires fournis par crit par les membres de comit Ces commentaires seront envoy s aux candidats L agent de programme pr pare l bauche des commentaires du comit 101 ANNEXE 7 Processus de s lection du Programme de bourses de doctorat Tableau 5 Bourses de doctorat Processus de s lection de 2009 Pr s lection Pr sentation des demandes l universit Pr s lection Pr sentation des demandes directement au CRSH Automne Janvier F vrier Mars Les tudiants inscrits dans une universit canadienne pr sentent leur demande leur universit Les tudiants qui ne sont pas inscrits dans une universit canadienne pr sentent leur demande directement au CRSH agent de programme 1 assigne trois lecteurs par dossier 2 d termine les conflits d int r ts Les membres de comit 1 attribuent des notes pr liminaires tous
53. est le r sultat d un concours 4 7 Programmes de bourses Le processus d valuation des demandes de bourses pr sent es par les tudiants diff re consid rablement du processus li aux propositions visant obtenir une subvention voir les annexes 2 5 et 6 Dans le cadre de son analyse des documents de la conduite des entrevues et de l examen des r sultats du sondage le groupe n a pas per u relativement ces programmes des probl mes li s au processus d valuation par les pairs relevant directement du CRSH Le traitement de ces milliers de demandes semble s effectuer de mani re quitable et efficace Toutefois cela ne signifie pas qu il faille rel cher la surveillance de ces processus Il est manifeste que les taux de r ussite des candidats sont tr s faibles dans le cas des bourses postdoctorales mais il s agit d un enjeu de politique du CRSH et bien s r d une question de financement gouvernemental et non d une question li e l valuation et au processus d valuation par les pairs 64 Dans le cas des bourses doctorales o des tudiants non inscrits dans une universit canadienne pr sentent directement leur demande au CRSH ceux qui tudient au Canada voient d abord leur demande valu e par leur propre universit Il incombe chaque universit d effectuer une premi re valuation et un premier classement afin de ne faire parvenir au CRSH que les demandes ayant surv c
54. et Gabrielle L ger 97 ANNEXE 3 Processus de s lection du Programme de subventions ordinaires de recherche Tableau 1 Subventions ordinaires de recherche Processus de s lection de 2008 D but janvier Le pr sident de comit 1 choisit des dossiers rep res deux trois dossiers qui font l objet de deux valuations 2 envoie aux membres la liste des dossiers rep res 3 semaine de Tous les membres janvier 1 lisent tous les dossiers rep res 2 font parvenir leurs notes pr liminaires et leurs recommandations au pr sident pour tous les dossiers rep res T l conf rence Les membres de comit 1 s entendent sur les notes finales des dossiers rep res 2 s entendent sur les r gles de base concernant le budget Fin janvier Les membres de comit 1 attribuent des notes aux dossiers qui leur sont assign s et soumettent un budget total pour chacune des trois ann es de financement 2 utilisent le formulaire de commentaires pour souligner les forces et les faiblesses des dossiers qui leur sont assign s 3 font parvenir leurs notes pr liminaires l agent de programme 3 semaine de f vrier R union Ottawa Les membres de comit 1 discutent des dossiers class s dans la tranche de 85 p 100 inf rieure 1 semaine de 2 discutent des dossiers class s dans la tranche mars de 15 p 1
55. font parvenir leurs propositions d autres comit s soi disant disciplinaires En effet l heure actuelle tant donn la mani re dont la recherche s effectue dans tous les domaines bien qu un chercheur puisse tre associ une discipline principale le respect des fronti res disciplinaires n est pas l ordre du jour Il serait erron d entretenir la notion que les comit s devraient id alement exhiber une composition purement disciplinaire Bien au contraire on devrait s efforcer de choisir comme pairs dans ces comit s des chercheurs ayant fait preuve d une vaste compr hension de l volution de la recherche dans leur domaine Programmes th matiques et strat giques Parall lement au programme SOR le CRSH compte un vaste ventail d autres programmes strat giques ou th matiques ainsi que des initiatives conjointes qui sont tous de nature fortement interdisciplinaire Leur gestion n cessite une certaine vari t mais ils reposent tous juste titre sur les d cisions d coulant d une valuation par les pairs Dans le cas de certains programmes strat giques une lettre d intention est requise et valu e en premier lieu puis une proposition compl te est pr sent e En g n ral l valuation comporte alors une rencontre entre le comit et les candidats Ces vastes projets qui r unissent de nombreux chercheurs et diff rents organismes comportent une importante composante de g
56. l on observe d j au CRSH montre que cette appr hension n est pas justifi e Il est vrai que pendant le processus de s lection les agents de programme doivent adopter une attitude de soutien actif et efficace mais aussi faire preuve d une certaine r serve et de respect envers l expertise des valuateurs pairs et s abstenir d interf rer avec les responsabilit s de ces membres et des pr sidents Voil qui semble bien compris et mis en pratique Certains agents de programme reconnus pour l excellence de leurs contributions au CRSH d tiennent des doctorats et rien de ce que nous avons entendu de la part des 81 pr sidents ou des membres des comit s nous permet de croire que des initiatives auraient t prises par l un ou l autre d entre eux de mani re empi ter sur les responsabilit s des valuateurs pairs Enfin le groupe estime que tous les efforts devraient tre d ploy s pour stabiliser le groupe des agents de programme et embaucher autant de permanents qu il est n cessaire et faisable Nous savons que le travail est particuli rement intensif certaines p riodes de l ann e en termes de traitement des propositions et de gestion des comit s d valuation par les pairs atteignant un sommet l automne et l hiver Il semble que les agents de programme pourraient tre d ploy s diff remment pendant d autres parties de l ann e D apr s les changements p riodiques du d ro
57. la des subvention s accord e s 384 763 858 2 108 840 767 5 720 6 7 13 3 15 0 36 9 14 7 13 4 100 0 e la qualit et l utilit des commentaires provenant du des comit s d valuation 621 1 082 1 393 1 870 492 305 5 763 10 8 18 8 24 2 32 4 8 5 5 3 100 0 f la qualit et l utilit des commentaires provenant des valuateurs externes 390 730 1 055 2 240 1 036 318 5 769 6 8 12 7 18 3 38 8 18 0 5 5 100 0 134 Tableau 25 Globalement quelle valuation faites vous de la r putation du CRSH pour ce qui est de la cr dibilit de son processus d valuation par les pairs Q33 Tr s mau vaise 1 In general how would you rate 188 SSHRC Ss reputation for providing a credible peer review process 3 0 Mau vaise 2 592 9 5 Moy enne 3 1 391 22 4 Bonne 4 2 556 41 2 Excel lente 5 1 089 17 5 Ne sais pas 395 6 4 6 211 100 0 Tableau 26 Comment valuez vous la r putation cr dibilit du processus d valuation par les pairs du CRSH en comparaison avec celle d autres organismes subventionnaires au Canada ou l international Tr s mau vaise 1 a dans le domaine des sciences 98 humaines 1 6 b dans le domaine des sciences 94 sociales 1 5 c dans le domaines des sciences 76 naturelles et du g nie 1 3 d dans le domaine de la m decine 80 et de la sant 1 3 Tableau 27 Existe t il votre avis des biais d va
58. la puret du processus au CRSH pourrait tre sur le point d affaiblir le syst me qu elle entend pr server Il ne faut pas oublier et il s agit d un principe reconnu pour tre efficace et largement respect l chelle internationale que le fait de faire appel l honneur personnel des chercheurs est plus susceptible de garantir un comportement responsable que la rationalit bureaucratique et l application aveugle de r gles automatiques Il est bien connu des responsables d organismes dans le monde que les plus graves abus de confiance ne sont pas si facilement vitables et ne d coulent pas du positionnement institutionnel officiel d experts mais plut t de formes de conflit plus difficiles d celer ou d un manque de jugement heureusement rares Dans un contexte d puisement de l valuation par les pairs o la grande complexit des propositions exige les meilleures valuations possibles par les experts les plus chevronn s et o les taux de refus sont devenus alarmants tout organisme doit s assurer que les appr ciateurs et les membres des comit s de s lection les plus appropri s sur le plan intellectuel ne sont pas exclus pour des raisons formalistes En prenant le plus grand soin de garantir l objectivit et l int grit il faut se rappeler que certains objectifs sont le mieux atteints non pas au moyen de r gles bureaucratiques mais plut t en faisant appel l honn tet
59. la sant des Canadiens Q La probl matique de la coh sion sociale l re de la mondialisation O R seaux strat giques de connaissances Q Autre s Veuillez sp cifier ci dessous Q18a QUESTION OUVERTE R PONSE LITT RALE Q19 Quel a t le taux de succ s des demandes de subventions que vous avez pr sent es au CRSH au cours des 10 derni res ann es Q De 76 100 Q De 51 75 Q De 26 50 O Moins de 25 Q20 Quel a t le taux de succ s des demandes de subventions que vous avez pr sent es d autres organismes que le CRSH au cours des 10 derni res ann es Q De 76 100 Q De 51 75 Q De 26 50 Q Moins de 25 Q Ne s applique pas aucune demande Q21 Quand vous pr parez une demande de subvention au CRSH quel degr d attention portez vous aux crit res sp cifiques d valuation du programme de subvention Aucune Un peu Une attention Une tr s grande Ne sais pas Ne attention 1 d attention 2 mod r e 3 attention 4 s applique pas Q Q Q Q Q Q22 Quand vous pr parez une demande de subvention au CRSH dans quelle mesure avez vous recours Jamais 1 Quelques Fr quemm Toujours Ne sais fois 2 ent 3 4 pas Ne s applique pas Q22a des contacts directs avec Q Q Q Q Q l agent responsable du programme au CRSH t l phone courriel Q22b l aide du service bureau de la Q Q Q Q Q recherche de votre universit institution Q22c l aide ou aux conseils de
60. les autres organismes Voir par exemple le rapport du British Council p 23 sur la pratique du Comit permanent des conseils europ ens de recherche scientifique lorsque les d cisions finales d octroi sont prises d envoyer aux appr ciateurs une copie des commentaires de tous les autres appr ciateurs relativement cette proposition sous forme anonyme ainsi qu une lettre les informant du r sultat final Cette initiative comporte un certain nombre d objectifs am liorer la r troaction envers les appr ciateurs et aider les appr ciateurs d velopper leurs comp tences en mati re d valuation par les pairs 27 2 1 4 Recommandations relatives aux appr ciateurs externes RECOMMANDATION 1 largir et enrichir le bassin des appr ciateurs externes sp cialis s e Mobiliser r guli rement les universit s vice recteurs la recherche et doyens les soci t s savantes et les organisations professionnelles afin qu elles recommandent le nom de candidats pouvant agir titre d appr ciateurs externes e tablir des contacts avec des organismes subventionnaires trangers et changer avec eux des outils de recherche afin d identifier des appr ciateurs et d terminer leur volont d changer des listes d appr ciateurs sp cialis s int ress s et chevronn s RECOMMANDATION 2 Maintenir et am liorer la qualit des valuations externes e Inviter les comit s de s lection porter l atten
61. liminaires re ues de la part des lecteurs d sign s qu il faudrait d finir de nouvelles directives Dans l ensemble et le groupe a gard l esprit cet l ment dans toutes ses recommandations il faudrait faire le maximum sans compromettre d aucune fa on la qualit de la prise de d cision pour rationaliser le processus r duire la charge de travail et diminuer le temps que les membres d un comit doivent passer Ottawa 4 1 3 Recommandations li es au traitement des dossiers RECOMMANDATION 20 Mettre en uvre le plus rapidement possible le d p t lectronique des propositions des valuations externes ainsi que des rapports et de la notation des lecteurs des comit s de m me que la tenue en r seautage et sur le Web des dossiers des r unions des comit s RECOMMANDATION 21 Mettre en uvre le plus t t possible l intention des lecteurs des comit s des formulaires lectroniques normalis s semblables ceux des appr ciateurs externes permettant une notation d taill e en fonction de crit res et pr voyant des cases r serv es aux commentaires RECOMMANDATION 22 Fournir aux comit s des directives uniformes sur les proc dures de discussion et de prise de d cision relatives aux propositions y compris e le classement de toutes les propositions d apr s les notes pr liminaires des lecteurs d sign s 53 e dans le cas des subventions ordinaires de recherche une discussion portant
62. m canisme organisationnel e adapter les crit res afin de permettre une meilleure valuation La phase du processus d valuation par les pairs qui est examin e dans les sections suivantes lorsque le comit de s lection se r unit est cruciale C est la phase o l on proc de une valuation finale et la prise de d cisions sur ce qui est excellent et m rite d tre financ d apr s l examen des propositions Les valuations externes sont une contribution majeure ce processus comme nous l avons d j soulign mais les appr ciateurs externes jugent de la qualit intrins que d une seule proposition Ce sont les membres pairs du comit de s lection qui devront valuer dans un contexte concurrentiel le m rite la qualit et l importance d une proposition de recherche comparativement un large ventail d autres propositions C est dans ces conditions qu ils ont le dernier mot De plus les discussions du comit sont tout particuli rement pertinentes ici surtout dans les domaines o il existe des paradigmes contradictoires Ceci est effectivement confirm par ce que l on conna t sur le comportement des membres des comit s de s lection en sciences humaines Dans le cas des programmes ayant adopt la pratique de tenir une t l conf rence avant la notation des propositions un nouveau membre d un comit obtient de l information importante sur ses responsabilit s personnell
63. membres du comit RECOMMANDATION 18 Clarifier et rendre publiques sur le site Web du CRSH et dans la documentation destin e aux membres des comit s les directives s appliquant la divulgation et la discussion de l information ne figurant pas dans les propositions 3 3 Gestion des conflits d int r ts Le Groupe veut ici d entr e de jeu nonc que le laxisme en mati re de gestion des conflits d int r ts n est vraiment pas un probl me au CRSH Les r gles en mati re de conflits d int r ts re oivent beaucoup d attention au CRSH Elles sont nonc es dans les manuels et tous les appr ciateurs et les membres des comit s de s lection m me les observateurs doivent signer un document officiel cet gard Les conflits d int r ts semblent tre g r s de mani re rigoureuse et nous ne sommes au courant d aucun cas d appel o la d cision d un membre d un comit de s lection aurait t renvers e en raison d un conflit d int r ts En fait s il existe un probl me probablement d fensivement produit pour pr venir ou contrer les critiques c est la surgestion du processus Il ne fait aucun doute que la gestion des conflits d int r ts est de la plus haute importance pour garantir la justice et l quit de l valuation par les pairs et de la prise de d cision et pour pr server la cr dibilit du processus et de l institution Le laxisme n est pas admissible i
64. membres membres externe GTRC 2 demande officielle six valuations externes 94 Programme Alliances de recherche universit s communaut s ARUC Nombre de comit s et de membres par comit 1 comit 8 9 membres Nombre de lecteurs par demande valuation Oui Non Nombre de demandes Commentaires Processus en deux tapes 1 lettre d intention aucune valuation externe 2 demande officielle une ou deux valuations externes R alit s autochtones Subventions de d veloppement Subventions de recherche Comit d valuation de la pertinence 7 10 membres Comit de s lection 7 11 membres Processus en deux tapes valuation faite uniquement la demande du comit Les textes les documents visuels le son et la technologie Subventions de recherche Subventions pour ateliers d t ateliers et conf rences 1 comit 5 membres Fonds d initiatives internationales Subventions de d veloppement Subventions pour 1 comit 5 11 membres valuation faite uniquement la demande du comit projets Fonds d initiatives internationales Appel de x valuation faite propositions 1 comit Peut i os 2 R 0 uniquement la demande sp cial pour la 5 11 membres tre ss du comit recherche en gestion en administration et en finances S il y a pe
65. par cons quent lib rer de t ches administratives les membres de leur corps professoral qui si gent ces comit s 7 Synth se des r ponses de International Members Participation in the 2008 Standard Research Grants Adjudication document interne du CRSH 12 juin 2008 deux pages 3 Voir par exemple le sondage allemand Hornbstel et Obrecht 2007 p 16 20 37 e Inviter les membres des comit s apr s deux ans d excellent service devenir officiellement membres du nouveau Coll ge international des valuateurs sp cialis s du CRSH et continuer d agir titre d valuateurs RECOMMANDATION 9 Rendre davantage publics et transparents la s lection et le r le des membres des comit s de s lection e Rendre publics sur le site Web du CRSH les crit res de s lection des membres des comit s leurs responsabilit s et leurs t ches e Publiciser sur le site Web du CRSH la composition du Coll ge international des valuateurs sp cialis s du CRSH 2 3 Pr sidents des comit s Bien que les entrevues aient montr que parmi les personnes qui ont occup cette fonction il existe un vaste ventail d interpr tations des responsabilit s en jeu et nous reviendrons sur cette question plus loin chacun sait que les pr sidents ont un r le cl jouer pour assurer la qualit et l int grit des d lib rations ainsi que la prise de d cision pendant les r unions des comit s de s le
66. peuvent en tirer les le ons pr sident d un comit 12 M i A 2 Membre d un comit Il arrive aussi cependant que certains appr ciateurs induisent en erreur un comit Un exemple concret d une telle situation a r cemment t port l attention de l administration du CRSH Deux propositions ont t critiqu es par des appr ciateurs externes et cause de cela ont t p nalis es par des comit s de s lection semble t il parce qu elles n avaient pas cit des travaux sp cifiques qu ils jugeaient essentiels et cruciaux travaux qui cependant n avaient pas encore t publi s dont l un m me un an plus tard 24 2 1 2 S lection des appr ciateurs externes Le refus de participer est un probl me auquel font face tous les organismes Les excellents valuateurs sont tr s en demande ils ne s engagent qu envers un nombre limit d valuations chaque ann e et ils doivent tre contact s suffisamment t t pour accomplir la t che efficacement et en temps opportun Depuis 2008 on demande sur une base volontaire aux candidats aux subventions ordinaires de recherche de faire parvenir un bref avis d intention avant le 15 ao t deux mois avant la date limite de la remise des propositions compl tes soit le 15 octobre Cette mesure aide probablement les agents de programme communiquer plus t t avec de potentiels appr ciateurs externes ainsi qu avec les membres des comit
67. programme ainsi que sur la formation les outils la supervision organisationnelle et le soutien dont b n ficient les nouveaux agents de m me que sur la clart des instructions donn es aux appr ciateurs externes L utilisation de formulaires normalis s par les appr ciateurs a selon les membres et les pr sidents des comit s interrog s grandement am lior la pertinence et l utilit des valuations externes Q 25a et 25b 1 Q 32a et 32b 1 Les valuations externes sont aussi utiles qu elles pourraient l tre pr sident d un comit SOR L utilit des appr ciateurs externes est mitig e certains appr ciateurs europ ens ont tendance tre beaucoup trop brefs et ne pr sentent que peu d l ments avec lesquels travailler membre d un comit Certains sont consciencieux d autres moins certains n apportent pas de valeur tellement lev e au comit Cette situation pr vaudra quoi qu il en soit La seule fa on d exercer un contr le est de ne pas avoir recours ces personnes membre d un comit L utilit des valuations est tr s variable Pour avoir si g des comit s de revues des comit s de promotion j ai vu que le probl me est universel Ce n est pas un probl me particulier au CRSH En plus les universitaires sont habitu s dealer avec a Il faut surtout des membres de comit qui ont beaucoup d exp rience Ceux qui ont vu et v cu
68. programme au del de la coordination de l information ils ont un degr de responsabilit et d influence consid rable sur le processus Il n y a pas de manuels de formation l intention des agents de programme sur le Web Je pense qu il serait tr s utile d avoir ce type de ressources dans le Web Il n y a rien craindre en proc dant de la sorte Ceci aiderait relever le statut des agents de programme au sein du CRSH et duquer la communaut sur le mode de fonctionnement du CRSH Le Groupe croit fermement que la solidit de l valuation par les pairs au CRSH sa cr dibilit dans la communaut des chercheurs et son classement international parmi les meilleurs organismes subventionnaires d pendront en grande partie de sa vision de l avenir et du caract re ad quat de sa gestion de cette nouvelle cat gorie en mergence de professionnels intellectuels les agents de programme 7 1 1 Recommandations li es aux agents de programme RECOMMANDATION 37 Recruter des agents de programme permanents et r duire au minimum le nombre d agents de programme temporaires e Annoncer plus largement les possibilit s d emploi au del des cercles gouvernementaux dans les publications savantes et dans les facult s universitaires 82 Se conformer aux normes internationales en constante volution et recruter des professionnels d tenant un doctorat Viser recruter des professionnels poss dant u
69. recherche Impact du savoir dans la soci t et subventions de sensibilisation du public L Initiative de la nouvelle conomie et les subventions de mobilisation des connaissances ne sont pas incluses Graphique 3 Nombre de demandes et taux de r ussite des subventions ordinaires et recherche 1999 2008 E Demandes E Bourses Taux de r ussite 3 000 50 42 8 43 45 41 6 412 o o 40 4 2500 ie M 40 1 40 33 1 35 2000 z 30 1500 5 5 T 25 200 1000 A S T 15 10 500 t5 T f T Fe 0 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 Source CRSH L ann e en chiffres d penses et r sultats des concours 1998 1999 2007 2008 p 48 21 Bien entendu l volution des investissements dans les programmes et les taux de r ussite cibles sont respectivement des enjeux de politique et des responsabilit s du CRSH et du gouvernement Ils demeurent hors de la port e du processus d valuation par les pairs et par cons quent du pr sent rapport Toutefois il est manifeste que les niveaux de financement et les taux de r ussite ont un impact sur la gestion des programmes ainsi que sur le degr de confiance des candidats Ils cr ent aussi des pressions sur le processus d valuation par les pairs du moins de fa on indirecte Ceci se refl te par exemple dans leur volont d exercer les fonctions exigeantes et chronophag
70. sur papier les opinions diff rent quant aux avantages d utiliser cet outil M me si presque tous les universitaires en sciences humaines utilisent un ordinateur pour effectuer du traitement de texte des envois par courriel et de la navigation sur le Web la plupart d entre eux ne font pas un usage personnel plus pouss des nouveaux outils lectroniques et un grand nombre d entre eux n ont pas recours aux techniques de d filement rapide d crans partag s de raccourcis de recherche etc Ils devront tre aid s et soutenus par le CRSH L exp rience ailleurs montre que lorsque la tenue lectronique des propositions des formulaires d valuation et des pointages est mise en place en utilisant les capacit s du Web et du r seautage dans le cadre des r unions les gens s habituent rapidement aux nouvelles m thodes et les appr cient Le CRSH devrait passer l lectronique Nous avons travaill avec des CD chacun a estim que cela fonctionnait extr mement bien le chiffrier lectronique tait constamment projet et imm diatement corrig toutes les orientations n cessaires taient pr sentes Cela a fonctionn de fa on excellente pr sident d un comit SOR Les dossiers lectroniques ce sera la fa on cologique de proc der d autant plus que le syst me marche tr s bien pr sident d un comit SOR Notre comit tait en projet pilote sur CD rester fix l ordinateur pen
71. t Berlin Elle est codirectrice d un centre de recherche concert e sur la gouvernance des tats qui ont un statut limit centre qui compte 135 chercheurs travaillant dans les domaines de l histoire des sciences politiques de l conomie et du droit M Lehmkuhl a publi plusieurs ouvrages articles et chapitres de livres en allemand et en anglais Elle a galement enseign dans les domaines de recherche suivants les relations internationales et l histoire l histoire canadienne et am ricaine l histoire sociale et culturelle 91 am ricaine et britannique l histoire du 19 et du 20 si cles l histoire coloniale l histoire des pays atlantiques et l histoire transnationale Antonio SCARPA Directeur Center for Scientific Review National Institutes of Health Bethesda Maryland TATS UNIS Entre 1983 et 2003 M Scarpa a t membre permanent de trois comit s d valuation par les pairs du National Institutes of Health ainsi que membre des comit s d valuation par les pairs de l American Heart Association Avant d entrer au National Institutes of Health il travaillait la Case Western Reserve University Cleveland o il tait professeur David and Inez Myers et directeur du d partement de physiologie et de biophysique r le dans lequel il a supervis le d veloppement de ce petit d partement en l un des meilleurs aux tats Unis Il a pu financer ses tudes gr ce aux subvent
72. tr s diff rentes il serait aviser de les pairs demandes mettre au point un m canisme afin de tenir compte des commentaires d j re us et ce dans le but d assurer l uniformit de l valuation De plus il faudrait s assurer que les demandes soumises de nouveau la suite d un refus au cours d un concours ant rieur soient valu es par les m mes personnes PR ma catur etamos ges aragars d appr ciateurs externes des candidats Suggestions Evaluation et s lection Comit Garder un quilibre au sein des comit s en ce 37 1 2 lecti qui a trait la repr sentation des disciplines et des secteurs de recherche Suggestions Evaluation et s lection Crit res Mettre au point et transmettre des crit res clairs ll faut donner plus d importance la qualit des publications 37 1 2 pour l valuation du dossier des publications du des r sultats de recherche qu leur volume Suggestions Evaluation et Donner aux candidats l acc s aux valuations Les candidats devraient avoir la possibilit de d celer des 35 1 1 s lection R troaction compl tes et leur permettre de r pondre aux inexactitudes dans les commentaires des valuateurs et de commentaires des valuateurs avant qu une fournir si n cessaire des clarifications avant qu une d cision d cision soit prise Suggestions Processus de demande Am liorer le processus de demande en ligne Ily a trop de probl mes techniques fonctionnels avec les 1 1 f
73. tre qu une meilleure pr paration et une meilleure gestion permettraient chacun d pargner du temps et des efforts Le pr sident d un comit GTRC a aussi soulign que la d finition de ce programme dans les documents du CRSH semble encourager le gigantisme et l inflation Cela n aide pas les candidats 40 Concevoir un budget r aliste et ad quat semble un v ritable d fi pour certains chercheurs surtout dans le cas des nouveaux venus et de nouveau dans les universit s offrant peu de soutien institutionnel Bon nombre des personnes interrog es ont soulign que les universit s ont des responsabilit s envers leurs chercheurs surtout les plus jeunes sans exp rience pratique dans l obtention de subventions Le Groupe partage pleinement cet avis Les comp tences r dactionnelles n cessaires pour obtenir une subvention en particulier en ce qui a trait aux objectifs de recherche r alistes la clart th orique au bien fond de la m thodologie la pr cision et au r alisme du budget doivent tre apprises Ce que le CRSH peut faire cet gard est limit comme bon nombre de r pondants l ont soulign et juste titre Certaines universit s soutiennent vraiment leurs chercheurs Faisant appel des membres de leur corps professoral ayant agi en tant qu appr ciateurs et membres d un comit de s lection au CRSH certaines ont m me tabli des comit s sosies pour aider les ch
74. tresse de toutes ses recommandations en est une trois volets qui peut tre r sum e ci apr s sous trois messages cl s interreli s 1 All ger la charge de travail des valuateurs pairs et encourager ainsi que mieux reconna tre leurs efforts et ceux des agents de programme 2 tablir une distinction claire entre les enjeux relevant d une prise de d cision en mati re de politique et du conseil d administration du CRSH de ceux qui devraient demeurer ad quatement attribu s aux valuateurs pairs 3 Rendre tous les processus le plus publics et transparents possible pour la communaut des chercheurs afin d am liorer la compr hension des activit s du CRSH et de maintenir la confiance et la cote d estime LISTE DES RECOMMANDATIONS DU GROUPE RECOMMANDATION 1 largir et enrichir le bassin des appr ciateurs externes sp cialis s e Mobiliser r guli rement les universit s vice recteurs la recherche et doyens les soci t s savantes et les organisations professionnelles afin qu elles recommandent le nom de candidats pouvant agir titre d appr ciateurs externes e tablir des contacts avec des organismes subventionnaires trangers et changer avec eux des outils de recherche afin d identifier des appr ciateurs et d terminer leur volont d changer des listes d appr ciateurs sp cialis s int ress s et chevronn s RECOMMANDATION 2 Maintenir et am liorer la qualit des valuations
75. ts l thique et l int grit en recherche la politique de non discrimination ainsi que les appels et les plaintes le r le et le fonctionnement des comit s de s lection les sp cificit s du programme pertinent l admissibilit des demandes le processus d valuation et de s lection proprement dit y compris les crit res et la notation et l examen des propositions budg taires Lors des entrevues les membres et les pr sidents des comit s taient tous d accord sur l utilit de ces instructions bien que bon nombre d entre eux estimaient qu elles repr sentaient un fort volume de lecture Dans le cas des pr sidents des r unions d information se tiennent en d cembre et en janvier et ils sont invit s y prendre part pour en savoir davantage sur ce qu on attend d eux C est galement l occasion de rencontrer en personne l agent de programme avec lequel ils travailleront Les pr sidents interrog s r agissent tr s favorablement ces initiatives Toutefois ces r unions sont essentiellement ax es sur les questions de politique le processus British Academy 2007 p 24 2 Par exemple Les documents les instructions du CRSH sont tr s complets peut tre trop mais toute l information est l pr sident d un comit SOR Le manuel d instructions pour jouer le r le de pr sident est beaucoup trop volumineux on ne lit pas tout cela en tout cas il faudrait trouver moyen d
76. une saine distance entre les appr ciateurs externes et les membres du comit qui utiliseront leurs rapports Toutefois l apport de noms une banque g n rale d experts n enfreint certainement pas ce principe Certaines attitudes refl tent la crainte que le processus puisse tre corrompu par des conflits d int r ts Il s agit d un enjeu sur lequel nous reviendrons plusieurs reprises Le CRSH doit tre f licit de sa volont de maintenir la puret du processus et d avoir mis en uvre des r gles tr s rigoureuses pour pr venir les possibles probl mes de conflits d int r ts En fait il se peut que le CRSH exag re cet gard et cr e des pressions et des tensions inutiles relativement ses processus Il est parfois pr f rable de tenir compte des effets potentiels des conflits d int r ts et de b n ficier de l un des meilleurs experts que d viter tous les conflits et de juger une proposition sans l aide de la meilleure expertise Dans le cas des appr ciateurs externes comme le montre le tableau ci apr s la volont du CRSH de vouloir viter tous les conflits d int r ts possibles dans une ann e donn e se traduit par l exclusion d un grand nombre d experts 5 Il s agit par exemple du r sultat d un sondage men en Allemagne en 2005 lorsque la German Research Foundation a modifi consid rablement son syst me d valuation par les pairs Voir Hornbostel et Meike Olbre
77. uniquement sur les propositions o auxquelles les lecteurs ont attribu une note les situant dans la moyenne c est dire parmi la tranche de 50 p 100 des propositions ayant obtenu une note inf rieure aux meilleures propositions qui devraient tre subventionn es tranche sup rieure de 15 p 100 et sup rieure aux propositions ayant obtenu la plus faible note et qui ne devraient pas tre subventionn es tranche inf rieure de 35 p 100 au sujet desquelles les notes des lecteurs diff rent consid rablement au sujet desquelles d autres membres du comit expriment un d saccord en ce qui a trait aux notes des lecteurs ce qu on appelle les dossiers signal s RECOMMANDATION 723 Accro tre la transparence et rendre publiques les r gles pr c dentes tre mises en uvre par les comit s de s lection au moment de discuter des propositions et de rendre une d cision finale leur gard 4 2 Programme de recherche versus r alisations en recherche Les directives et les manuels du CRSH en ce qui a trait au programme de subventions sont tr s clairs quant au cadre d valuation g n ral Toute proposition comporte deux composantes 1 le dossier des r alisations de recherche et 2 le programme de recherche Le dossier des r alisations en recherche est d fini comme tant les contributions tangibles du candidat au d veloppement au progr s et la transmission des connaissances en sciences humai
78. 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 140 Table 30 Q15 Q6 Q8 Q9 Q6 Quel est votre SERA Q15 Q6 Q8 Q9 sexe Q9 Taille Q15 Je n ai jamais pr sent de moine de demande de subvention au CRSH Fem Hom A A r n 5 000 tu 5000 plus de titre de chercheur principal ou de co me i i s 10 000 15 000 diants chercheur mais j ai l intention de le faire titre de chercheur principal au cours des 3 prochaines ann es mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principal au cours des 5 prochaines ann es Q15 Q6 Q8 Q9 rang e mais j ai l intention de le faire titre de chercheur principal au cours des 44 5 55 5 100 0 9 4 22 0 40 3 18 9 9 4 0 0 100 0 10 6 27 3 62 1 100 0 3 prochaines ann es mais j ai l intention de le faire titre de chercheur principal au cours des 41 2 58 8 100 0 13 5 9 6 365 28 8 11 5 0 0 100 0 26 9 23 1 50 0 100 0 5 prochaines ann es et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principal au cours des 5 prochaines ann es noo 38 2 61 8 100 0 10 8 18 5 39 8 20 3 10 5 0 3 100 0 15 2 22 4 62 4 100 0 GHS G6 08 Q9 colonne E mais j ai l intention de le faire titre de chercheur principal au cours des 46 0 35 4 39 4 34 9
79. 0 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 143 Tableau 33 Q31b Q26 Q26 Avez vous particip des processus d valuation par les pairs i e titre d valuateur externe de Q31b Q26 membre ou de pr sident d un comit d valuation Q31 Quel est votre degr d accord avec les nonc s suivants Q31b Les demandes de subventions qui sont pr sent es au CRSH par de jeunes chercheurs en poste depuis moins de 5 ans sont valu es de fa on juste et quitable parce que le degr d exp rience de ces chercheurs est correctement pris en compte pour un autre pour un autre organisme organisme pour le CRSH pour le CRSH subvention subvention Oui Non naire Oui naire Non 123 33 9 86 3 2 064 En total d saccord 1 N w ND N k o o 9 En d saccord 2 En accord 3 Tout fait d accord 4 i o gt Ne sais pas L_En accord 9 6 A 9 b eg Li O N TS D 3 e D En total d saccord 1 i 62 5 0 45 7 En d saccord 2 53 0 0 44 6 En accord 3 35 5 0 32 4 Tout fait d accord 4 30 7 100 0 31 4 Ne sais pas 51 5 48 5 100 0 33 2 Q26 colonne D En total d saccord 1 6 0 4 5 En d saccord 2 16 1 12 5 En accord 3 33 5 35 8 Tout fait d accord 4 18 5 11 2 15 4 13 9 15 3 Ne sais pas 28 4 36 5 31 8 30 6 31 9 100 0 100 0 100 0 100 0
80. 00 sup rieure qui ont t d sign s comme n cessitant une discussion 3 donnent l agent de programme leurs commentaires crits sur le formulaire L agent de programme fait parvenir toutes les valuations deux valuations par dossier aux membres de comit au plus tard durant la deuxi me semaine de f vrier L agent de programme 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires aux membres 3 s assure que les r gles servant d signer un dossier pour la discussion sont comprises par tous les membres 98 ANNEXE 4 Processus de s lection du programme des Grands travaux de recherche concert e GTRC Tableau 2 Grands travaux de recherche concert e Processus de s lection de 2009 a Pr s lection lettre d intention Tous les membres 1 lisent tous les dossiers 2 envoient leurs notes pr liminaires au coordinateur du programme Avril Le coordinateur du programme 1 recueille toutes les notes pr liminaires D CR 2 fait parvenir toutes les notes pr liminaires aux membres R union Ottawa Tous les membres Avril 1 discutent de tous les dossiers 2 font parvenir leurs commentaires au coordinateur du programme L agent de programme D pr pare l bauche des commentaires du comit Le pr sident de comit approuve les commentaires fournis par cr
81. 005 p 149 158 Lamont et Mallard 2003 p 15 Fondation europ enne de la science 2006 p 23 5 Le penchant en faveur de l anglais est vident ici Il ne fait aucun doute que les populations de chercheurs beaucoup vastes de l Allemagne ou de la France par exemple g n rent beaucoup plus de documents de recherche en sciences humaines que le Canada N anmoins tout indique que le Canada produit des travaux d rudition de haute qualit tant donn la s lection de revues figurant dans les bases de donn es bibliom triques internationales 58 Scarpa 2006 Voir par exemple le Guide des membres des comit s de s lection Programme de subventions ordinaires de recherche novembre 2006 p 22 73 demandent m me s il serait appropri que le CRSH aille dans cette direction du moins dans le cadre du programme SOR Je crois que nous ne sommes pas du tout en mesure de r compenser les propositions fortement originales risque lev Pour encourager ces projets de mani re responsable il faudrait le faire essentiellement au moyen de subventions sp ciales et non du programme SOR Les comit s SOR ne sont pas un endroit ad quat pour traiter ce type de propositions et n ont pas t tablis cette fin Ce travail devrait plut t relev des comit s sur les subventions strat giques ou d un financement sp cial rs gt A 60 pr sident d un comit SOR D apr s un gestionnaire chevron
82. 009 et quelque 15 autres taient membres d un comit GTRC ou d un comit th matique environ 8 p 100 de tous les membres d un comit de s lection Cette augmentation du nombre de membres internationaux en 2008 tait en quelque sorte un projet pilote Bien que les personnes interrog es n estiment pas toutes qu il s agit d une initiative n cessaire elle est toutefois jug e favorable Selon les termes utilis s par une personne ayant pr sid un comit SOR et ayant si g au conseil d administration du CRSH en v rit j ai suffisamment confiance en la communaut canadienne pour classer les propositions Mais je consid re qu il s agit d une validation internationale importante pour le profil politique du CRSH Toutefois nous obtenons d j cela au moyen des appr ciateurs externes Les entrevues men es l intention du Groupe ainsi qu un sondage effectu par un agent de programme du CRSH aupr s des membres internationaux de l an dernier ont montr que cette exp rience est mondialement tr s positive mais qu elle n cessite des explications pr liminaires plus compl tes ou syst matiques des instructions et du soutien 16 Q 32b Tr s insatisfaits 5 5 Insatisfaits 10 9 17 La pr sence d un membre international tait int ressante Il tait formidable mais il a d modifier norm ment sa notation Il tait beaucoup trop g n reux il a d r duire toutes
83. 100 0 6 152 100 0 6 141 100 0 Tableau 15 Quelle valuation faites vous de la qualit de l information obtenue de cette ou ces ressources Q23a c Qualit de l information Qualit tr s re ue de Q23a c a Agent responsable du programme au CRSH b Service de la recherche de votre universit institution c Coll gues faible 1 86 2 4 141 2 7 35 0 6 Qualit limit e 2 374 10 4 706 13 3 368 6 7 Bonne qualit 3 1 846 51 6 2 507 47 2 2 652 48 5 Excellente qualit 4 1 072 30 0 1 895 35 7 2 321 42 5 Ne sais pas Ne s appli que pas 201 5 6 64 1 2 89 1 6 3 579 100 0 5 313 100 0 5 465 100 0 Tableau 16 Comment caract riseriez vous votre niveau de connaissance quant aux r gles des programmes et aux crit res d valuation des demandes de subventions au CRSH Q24 Niveau de connaissance Q24 Tr s peu inform 1 Peu inform 2 Bien inform 3 Parfaitement inform 4 Ne sais pas Ne s applique pas n Nbre 267 1 571 3 153 1 058 95 6 144 4 3 25 6 51 3 17 2 1 5 100 0 130 SECTION III PROCESSUS D VALUATION PAR LES PAIRS Tableau 17 Quelle importance accordez vous aux aspects suivants du processus d valuation des demandes de subventions en g n ral Q25a f Pas 38 0 6 42 0 7 33 0 5 89 14 318 5 1 181 Pas du tout Aspects du processus d valuation Q
84. 25a f important 1 important 2 a la s lection des valuateurs externes qui ont 24 examin votre vos demande s 0 4 b la s lection des membres des comit s d valuation 19 de votre vos demande s 0 3 c l objectivit de l valuation de votre vos 25 demande s 0 4 d l ad quation du montant de la des subvention s 35 accord e s 0 6 e la qualit et l utilit des commentaires provenant du 120 des comit s d valuation 1 9 f la qualit et l utilit des commentaires provenant des 58 valuateurs externes 0 9 2 9 Ni important ni sans importance 3 193 3 1 222 3 6 168 2 7 521 8 4 727 11 7 487 7 9 Important 4 1 861 30 0 1 892 30 5 1 367 22 2 2 652 43 0 2 307 37 3 2 275 36 7 Tr s important 5 3 890 62 7 3 667 59 2 4 285 69 5 2 528 41 0 2 517 40 7 3 016 48 7 Ne sais pas 194 3 1 354 5 7 287 4 7 342 5 5 202 3 3 176 2 8 n 6 200 100 0 6 196 100 0 6 165 100 0 6 167 100 0 6 191 100 0 6 193 100 0 Tableau 18 Avez vous particip des processus d valuation par les pairs i e titre d valuateur externe de membre ou de pr sident d un comit d valuation Q26 pour le CRSH pour un autre organisme subventionnaire Oui 3 552 57 7 3 912 65 4 Non 2 606 42 3 2 067 34 6 n 6 158 100 0 5 979 100 0 131 Tableau 19 Dans le cadre des programmes du
85. 5 Avez vous particip des processus d valuation par les pairs i e titre d valuateur externe de membre ou de pr sident d un comit d valuation Q26 Dans le cadre des programmes du CRSH combien de fois avez vous agi titre Q27 Dans le cadre de quel s programme s du CRSH avez vous d j t MEMBRE d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Q28 Dans le cadre de quel s programme s du CRSH avez vous d j t PR SIDENT d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Q29 Dans le cadre d un autre organisme de subvention que le CRSH combien de fois avez vous agi titre Q30 Quel est votre degr d accord avec les nonc s suivants Q31 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH Q32 Globalement quelle valuation faites vous de la r putation du CRSH pour ce qui est de la cr dibilit de son processus d valuation par les pairs Q33 Comment valuez vous la r putation cr dibilit du processus d valuation par les pairs du CRSH en comparaison avec celle d autres organismes subventionnaires au Canada ou l international Q34 Existe t il votre avis des biais d valuation qui dans les processus mis en uvre au CRSH
86. 6 ANNEXES tordre antennes anses aan 88 SOMMAIRE Le mandat du Groupe d experts international ci apr s le groupe consistait valuer la qualit et l int grit des pratiques d valuation par les pairs du CRSH Pour mettre en uvre son mandat le groupe a analys une norme quantit de documents a men des entrevues aupr s d valuateurs pairs d agents de programme et de gestionnaires et a effectu un sondage Web aupr s du corps professoral en sciences humaines des universit s canadiennes Le Groupe a aussi tenu compte des exp riences li es aux syst mes d valuation par les pairs am ricains australiens britanniques et allemands Ces exp riences ont clair les recommandations du Groupe tout au long du rapport Le Groupe a chang d innombrables courriels et a tenu trois r unions soit le 7 juillet le 15 octobre et le 12 d cembre 2008 D entr e de jeu la partie 1 du rapport le groupe souhaite unanimement faire la d claration suivante Le processus d valuation par les pairs du Conseil de recherches en sciences humaines CRSH correspond dans l ensemble aux pratiques exemplaires et aux normes internationales les plus lev es Il s agit d un syst me qui fonctionne bien et dont les fondements sont tr s solides Les observations cruciales de ce rapport et toutes les recommandations visent s assurer que ce syst me demeure viable et efficace et qu il so
87. E RECHERCHE Tableau 7 Choisissez l nonc qui correspond le mieux votre situation Q11 Situation actuelle Q11 Nbre J ai d j t subventionn par le CRSH titre de chercheur principal 3 790 60 9 J ai d j t subventionn par le CRSH mais titre de co chercheur seulement 781 12 5 J ai d j pr sent une demande de subvention au CRSH titre de chercheur principal ou de co chercheur PURE SLA A A 1 245 20 0 mais je n ai jamais t subventionn par le CRSH Je n ai jamais pr sent de demande de subvention au CRSH titre de chercheur principal ou de co chercheur 408 6 6 n 6 224 100 0 Tableau 8 Choisissez l nonc qui correspond le mieux vos intentions Q12 Q13 Q14 Q15 J ai d j t subventionn par le CRSH J ai d j t subventionn par le CRSH mais titre de chercheur principal Q12 titre de co chercheur seulement Q13 Nbre Nbre etj ai l intention de pr senter d autres demandes au CRSH 3 173 83 9 570 73 5 ce titre au cours des prochaines ann es mais je n ai pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 608 16 1 206 26 5 5 prochaines ann es n 3 781 100 0 776 100 0 J ai d j pr sent une demande Je n ai jamais pr sent de demande de subvention au CRSH titre de subvention au CRSH titre de chercheur de chercheur principal ou de principal ou de co chercheur mais je n ai jamais t
88. Gestion 3 74 20 11 52 63 30 56 Total 10 224 2 347 1 393 36 58 36 58 108 ANNEXE 12 Demandes d appel interjet es par programme 2006 2008 Nombre de Nombre de demandes d appel demandes examin es par le d appel Comit d appel Nombre de Programme demandes d appel re ues Subventions ordinaires de recherche 1 Subventions strat giques et initiatives conjointes S O Grands travaux de recherche concert e 0 2008 Aide aux revues savantes et Aide aux ateliers et aux colloques de recherche au Canada 0 Bourses de doctorat 0 Bourses postdoctorales 0 1 Total 2008 Subventions ordinaires de recherche 1 Subventions strat giques et initiatives conjointes 2 Grands travaux de recherche concert e 0 2007 Aide aux revues savantes et Aide aux ateliers et aux colloques de recherche au Canada 0 Bourses de doctorat 0 Bourses postdoctorales 0 3 Total 2007 Subventions ordinaires de recherche 4 Subventions strat giques et initiatives conjointes 0 Grands travaux de recherche concert e 0 2006 Aide aux revues savantes et Aide aux ateliers et aux colloques de recherche au Canada Bourses de doctorat Bourses postdoctorales Total 2006 o O O S _ _ _ _ oo o 77 A Jojojo 10 O ANNEXE 13 Questionnaire du sondage BLUE RIBBON PANEL ON SSHRC S PEER REVIEW PROCESS INTERNET SURVEY LOGIN GROUPE D EXPERTS SUR LE PROCESSUS D VALUATION PAR LES PA
89. H Le Groupe est d avis que la m me philosophie s applique dans le cas des candidats provenant des petites institutions que dans celui des jeunes chercheurs Le taux de r ussite des petites universit s et des universit s r gionales est d abord et avant tout une question de politique s il en est et il n appartient pas au Groupe d en d cider La cr ation d un syst me de quotas ou d une compensation quelconque relativement un d savantage institutionnel per u doit demeurer une d cision de politique Il n appartient pas aux valuateurs pairs de se prononcer sur cette question ou de prendre des d cisions ponctuelles De nouveau la position ad quate est de s attendre de la part des valuateurs pairs une solide valuation de la qualit de la proposition et de sa faisabilit 5 2 1 Recommandation li e aux propositions provenant des petites universit s RECOMMANDATION 31 Traiter les enjeux li s aux propositions des chercheurs provenant des petites universit s en tant que domaine de responsabilit politique partag avec les institutions et en bout de ligne adopter et mettre en uvre des r gles et des m canismes compl mentaires en mati re de prise de d cision 12 5 3 Financement de la recherche in dite risque lev Les chercheurs canadiens produisent d j une part importante de la documentation mondiale en sciences humaines Les outils bibliom triques reposant essentielle
90. IRS DU CRSH SONDAGE INTERNET OUVERTURE DE SESSION BLUE RIBBON PANEL ON SSHRC S PEER REVIEW PROCESS INTERNET SURVEY LANGUAGE SELECTION GROUPE D EXPERTS SUR LE PROCESSUS D VALUATION PAR LES PAIRS DU CRSH SONDAGE INTERNET CHOIX DE LA LANGUE Q English Q Fran ais SECTION I VOTRE PROFIL Q1 Professeur adjoint Professeur agr g Professeur titulaire Professeur m rite Autre veuillez sp cifier ci dessous OOOO 110 Q2 Depuis combien d ann es avez vous un statut de professeur A moins de 5 ans Q 6 10 ans Q 11 20 ans Q plus de 20 ans Q3 tes vous pr sentement titulaire d une chaire Q Non QI Oui je suis titulaire Junior d une Chaire de recherche du Canada Q Oui je suis titulaire S nior d une Chaire de recherche du Canada Q Oui autre veuillez sp cifier ci dessous Q3a QUESTION OUVERTE R PONSE LITT RALE Q4 Suivant une chelle allant de fortement interdisciplinaire exclusivement disciplinaire comment qualifieriez vous vos activit s de recherche Fortement 2 3 Exclusivement interdisciplinaire 1 disciplinaire 4 E Q5 Parmi les principales disciplines subventionn es par le CRSH s lectionnez celle qui s applique le mieux vos projets de recherche Anthropologie Anthropologie Archivistique et sciences de l information Administration des affaires tudes classiques Communications et journalisme Criminologie D mographie Sciences conomiques ducation c
91. PROMOUVOIR L EXCELLENCE EN RECHERCHE EXAMEN MEN PAR UN GROUPE D EXPERTS INTERNATIONAL L GARD DES PRATIQUES D VALUATION PAR LES PAIRS AU CONSEIL DE RECHERCHES EN SCIENCES HUMAINES DU CANADA RAPPORT AU CONSEIL D ADMINISTRATION DU CONSEIL DE RECHERCHES EN SCIENCES HUMAINES DU CANADA D cembre 2008 TABLE DES MATI RES SOMMAIRE ns enmssnitne nest nent ni pee sta e ieis ie LISTE DES RECOMMANDATIONS DU GROUPE sssesmennnneermenneeneereeerrennee PREFACE den nndrnndnune ret AOE ina Dire NTETE E E INTRODUCTION nn meer rentes tre eine Sises soer ten at esse Mda es nn RAA RE sn A La Mis er vre d ma dat serieren nn nn et nn hits mn lee Ci Organisation du pr sent Apports een dan nes sn an br anses PARTIE 1 D CLARATION G N RALE DU GROUPE ET OBSERVATIONS CLES na ann anis 1 1 D claration g n rales esssssssstosssssceestertosssseossost ioste oseto s is resooe serite isesi e PARTIE 2 S LECTION DES PAIRS sseseeceserrererorsosossssssssssesesoececcecerororserorsosssssssssss 2 1 ANPF CIATCQUES EXTCPM S Eee nn sd sn een ss een teen se e sesos oeoesssssas ss 2 1 1 valuation des appr ciateurs e xternes essseeseseiisessiiseserisesresssreserrressrrress 2 1 2 S lection des appr ciateurs externes shui intl 2 1 3 Acceptation d agir en tant qu appr ciateur externe e seesseoesoossoossssesssee 2 1 4 Recommandations relatives aux appr ciateurs externes s ssssseessesseeseessees 2 2 Membres des co
92. Q Q Q u Q coll gues 114 Q23 Quelle valuation faites vous de la qualit de l information obtenue de cette ou ces ressources Qualit Qualit Bonne Excellente Ne sais tr s faible limit e 2 qualit 3 qualit 4 pas Ne 1 s applique pas Q23a Agent responsable du u Q Q Q Q programme au CRSH Q23b Service de la recherche de Q Q Q Q Q votre universit institution Q23c Coll gues Q Q Q Q Q Q24 Comment caract riseriez vous votre niveau de connaissance quant aux r gles des programmes et aux crit res d valuation des demandes de subventions au CRSH Tr s peu Peu inform 2 Bien inform 3 Parfaitement Ne sais pas Ne inform 1 inform 4 s applique pas Q Q Q Q PROCESSUS D VALUATION PAR LES PAIR Q25 Quelle importance accordez vous aux aspects suivants du processus d valuation des demandes de subventions en g n ral Pas du Pas Ni Importan Tr s Ne tout importan importan t 4 importan sais importan t 2 t ni sans t 5 pas t 1 importan ce 3 Q25a la s lection des valuateurs E E E Q Q Q externes qui ont examin votre vos demande s Q25b la s lection des membres des Q Q Q Q Q Q comit s d valuation de votre vos demande s Q25c l objectivit de l valuation de Q Q Q Q Q Q votre vos demande s Q25d l ad quation du montant de la des subvention s accord e s Q25e la qualit et l utilit des Q Q Q Q Q Q commentaires provenant du des comit s d valuation Q25f l
93. Tableau 6 5l Voir par exemple la section VIII p 27 30 du Guide des membres des comit s de s lection Programme de subventions ordinaires de recherche novembre 2006 56 sp cifiques de sorte que la comparaison des budgets puisse se faire plus facilement pr sident comit th matique Les projets ARUC peuvent tre tr s complexes il s agit davantage de consortium que de projets La gestion est ici cruciale et il en va de m me des finances et des budgets L valuation de la complexit budg taire devrait tre confi e des experts du CRSH Les comit s devraient avoir uniquement la responsabilit d identifier ce qui semble probl matique Par exemple ce qui est l gitime comme frais de d placement tant donn la nature du projet pr sident d un comit ARUC Dans d autres cas o la t che semblait plus facile des d cisions ont t prises par le comit sur diverses questions Nous n avons eu aucune difficult valuer le budget Les membres ant rieurs ont t tr s utiles Nous avons valu un certain nombre d tudiants des cycles sup rieurs les co ts de mat riel informatique et de logiciels les frais raisonnables de d placement et de participation des conf rences et nous avons tabli des r gles Nous avons ensuite lu chaque budget et avons apport des coupures Nous avons tenu compte de la situation des petites universit s En ce qui a trait aux tudiants n
94. Yukon Nunavut et Territoires du Nord Ouest 3 0 0 n 6 193 100 0 Taille Q9 moins de 5 000 tudiants 579 9 4 5 000 15 000 1 147 18 6 plus de 15 000 4 451 72 1 n 6 177 100 0 Dans votre domaine de recherche votre universit institution offre Q10 un ou plusieurs programmes de niveau doctorat 4 769 77 0 seulement un ou des programmes de niveau ma trise 910 14 7 aucun programme aux cycles sup rieurs 516 8 3 n 6 195 100 0 Tableau 6 Parmi les principales disciplines subventionn es par le CRSH s lectionnez celle qui s applique le mieux vos projets de recherche Q5 Discipline Q5 Nbre Anthropologie 188 3 0 Arch ologie 99 1 6 Archivistique et sciences de l information 43 0 7 Administration des affaires 466 7 5 tudes classiques 60 1 0 Communications et journalisme 107 1 7 Criminologie 46 0 7 D mographie 26 0 4 Sciences conomiques 291 4 7 ducation conseils et orientation professionnelle 552 8 9 Beaux arts 336 5 4 tudes des genres 63 1 0 G ographie et urbanisme 244 3 9 tudes sur la sant 320 5 2 Histoire 461 7 5 Relations industrielles 31 0 5 tudes interdisciplinaires 291 4 7 Droit 168 2 7 Linguistique et traduction 190 3 1 Litt rature 536 8 7 Philosophie 218 3 5 Science politique et administration publique 331 5 4 Psychologie 508 8 2 Sciences religieuses 111 1 8 Travail social 143 2 3 Sociologie 354 5 7 n 6 183 100 0 126 SECTION Il SUBVENTIONS D
95. _ f asp Subventions ordinaires de recherche et Grands travaux de recherche concert e Subventions de recherche strat gique initiatives conjointes subventions li es l conomie sociale Alliances de recherche universit s communaut s Fonds d initiatives internationales et initiatives de d veloppement de la recherche L Initiative de la nouvelle conomie et les subventions de mobilisation des connaissances ne sont pas incluses Cette volution du financement se refl te dans les taux de r ussite qui sont devenus tr s probl matiques voir le Tableau 4 ci apr s surtout dans le principal programme du CRSH les subventions ordinaires de recherche voir le graphique ci apr s 20 Tableau 4 Taux de r ussite par type de recherche 2000 2008 Subventions ordinaires de recherche Subventions strat giques 72 F FT a1 5 10 10 33 33 Source Subventions ordinaires de recherche CRSH L ann e en chiffres d penses et r sultats des concours 1998 1999 2007 2008 p 47 Subventions strat giques donn es internes du CRSH Le taux de r ussite a t calcul au moyen du nombre total de subventions demand es divis par le nombre total de subventions octroy es Subventions de recherche strat gique initiatives conjointes subventions li es l conomie sociale Alliances de recherche universit s communaut s Fonds d initiatives internationales initiatives de d veloppement de la
96. a charge de travail voir ci apr s les sections 3 2 4 4 1 4 4 et 4 6 et une meilleure reconnaissance institutionnelle et davantage publique des services rendus pourraient encourager les membres des comit s si ger pendant cinq ans Le processus en b n ficierait grandement il en r sulterait une stabilit et une uniformit accrues des travaux des comit s et il ne serait plus n cessaire de recruter un si grand nombre de nouveaux membres chaque ann e Ces cinq ann es de service pourraient tre interrompues pendant une ann e donn e lorsqu un membre est galement candidat et par cons quent ne peut pas si ger au comit de s lection pertinent 2 2 4 Recommandations li es la s lection des membres des comit s RECOMMANDATION 6 Afin d accro tre les taux d acceptation des comit s de s lection et de r duire le roulement diminuer la charge de travail des membres r duire le nombre de jours consacr s au travail en comit Ottawa et r viser les r gles en mati re de conflit d int r ts Pour la mise en uvre voir les recommandations 17 20 21 22 24 et 28 ci apr s RECOMMANDATION 7 Prolonger cinq ans non n cessairement cons cutifs la dur e normale du mandat des membres des comit s de s lection RECOMMANDATION 8 R compenser et conserver les membres des comit s e Inciter les universit s accepter titre de t che administrative la participation aux comit s de s lection du CRSH et
97. a qualit et l utilit des Q Q Q Q Q Q commentaires provenant des valuateurs externes D D D D D D Q26 Avez vous particip des processus d valuation par les pairs i e titre d valuateur externe de membre ou de pr sident d un comit d valuation Oui Non pour le CRSH Q Q pour un autre organisme Q Q subventionnaire 115 Q27 Dans le cadre des programmes du CRSH combien de fois avez vous agji titre Jamais Une fois Deux fois Trois fois et plus Q27a de MEMBRE d un comit Q Q Q Q d valuation de demandes de subventions Q27b de PR SIDENT d un comit Q Q Q Q d valuation de demandes de subventions Q27c d EVALUATEUR EXTERNE pour Q Q Q Q l valuation de demandes de subventions Q27d de MEMBRE d un comit E Q E E d valuation de demandes de bourses doctorales ou ostdoctorales Q27e de PRESIDENT d un comit Q Q Q Q d valuation de demandes de bourses doctorales ou postdoctorales Q28 Dans le cadre de quel s programme s du CRSH avez vous d j t MEMBRE d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Subventions ordinaires de recherche Grands projets de recherche concert e GTRC Alliance de recherche universit communaut ARUC Initiative de la nouvelle conomie INE Aide aux ateliers et aux colloques de recherche au Canada
98. activit s communes et changer leurs observations au fur et mesure qu ils passent d un comit l autre Ils se r unissent de nouveau pour formuler leur rapport conjoint final On demande aux observateurs d assister aux r unions des pr sidents en d cembre et en janvier de sorte qu ils puissent tre pr sent s et que leur r le soit expliqu aux pr sidents avant que les comit s se r unissent Les observateurs sont bri vement pr sent s par le pr sident lorsqu ils entrent dans la salle de r union du comit mais ils demeurent silencieux et ne participent pas aux discussions dont ils sont t moins lorsqu ils visitent les diff rents comit s Ils peuvent discuter librement avec les membres des comit s au moment des pauses caf Tous estiment que ceci ne cr e aucune perturbation ni aucun inconfort puisque leur r le est compris par chacun Pour reprendre les mots de l un des observateurs Le travail consiste surveiller et signaler Vous voulez que le CRSH soit juste Si quelque chose ne va pas dans un comit donn et semble n cessiter une solution urgente je n h site pas alerter la gestion de sorte qu elle puisse prendre des mesures afin que le comit fonctionne ad quatement C est mieux que simplement inscrire le probl me dans un rapport On estime que en raison de ces interactions intensives parmi les observateurs m me un nouveau venu ne tarde pas travailler efficacem
99. ada ou l international DANS Tr s Mauvais Moyenne Bonne Excellente Ne sais mauvais e 2 3 4 5 pas e 1 Q34a dans le domaine des sciences Q Q Q Q Q Q humaines Q34b dans le domaine des sciences Q Q Q Q Q Q sociales Q34c dans le domaine des sciences Q Q Q Q Q Q naturelles et g nie Q34d dans le domaine de la Q Q Q Q Q Q m decine sant Q35 Existe t il votre avis des biais d valuation qui dans les processus mis en uvre au CRSH d favorisent le type de recherche que vous conduisez Q Non Q Oui Q35a Si oui veuillez expliquer QUESTION OUVERTE R PONSE LITT RALE 118 Avez vous des suggestions afin d am liorer le processus d valuation par les pairs au CRSH pour Q36 les demandes de bourse QUESTION OUVERTE R PONSE LITT RALE Q37 les demandes de subventions de recherche QUESTION OUVERTE R PONSE LITT RALE PORT E ET IMPACT DE LA RECHERCHE Q38 En comparaison avec les pays les plus avanc s dans votre domaine quelle valuation faites vous Tr s Mauvai Moyenne Bonne 4 Excellente Ne sais mauvai se 2 3 5 pas Ne se 1 s applique pas Q38a de la qualit de la recherche Q Q Q u Q Q canadienne Q38b de la r putation visibilit de la Q Q Q Q Q Q recherche canadienne Q38c de l influence de la recherche Q Q Q Q Q Q canadienne sur le d veloppement de la connaissance Q39 Quant vos propres r sultats de recherche seriez v
100. administration du CRSH et qui a galement uvr titre de pr sident d un comit SOR et d administrateur d une universit la probl matique des petites universit s est beaucoup li e aux efforts d ploy s par un vice recteur donn afin que ses gens demandent des subventions du CRSH La situation peut alors tre difficile parce que le taux de r ussite est faible que les demandes ne sont pas de haute qualit et que les candidats n ont pas re u une formation suffisante sur la mani re d obtenir des subventions Il ne fait aucun doute que les jeunes chercheurs de certaines universit s ont beaucoup plus de soutien que dans d autres universit s Cependant je d testerais que nous nous attardions longuement sur la taille des universit s Un haut dirigeant du CRSH nous a soulign Si vous tes professeur dans une petite universit de nombreux l ments jouent contre vous lorsque vous d sirez faire subventionner votre recherche la pression exerc e afin que vous consacriez beaucoup de temps votre t che d enseignant charge de travail administrative et li e aux comit s peu ou pas d tudiants de niveau doctoral et postdoctoral etc Nous avons eu de nombreuses discussions avec ces universit s Les provinces peuvent aider en participant au soutien financier de la recherche universitaire Au Qu bec en Colombie Britannique et en Alberta cela fait vraiment une diff rence Cela va bien au del du CRS
101. ales L agent de programme conna t tr s bien le milieu universitaire qui a travaill avec qui etc Les membres des comit s n en savent parfois pas autant que lui ce sujet Au Canada il s agit d une communaut tr s proche o tracer la ligne Exclure les personnes appartenant la m me facult OK mais lorsqu il s agit d une grande universit les gens ne se connaissent peut tre pas Je pense que c est excessif Le manuel d taille bien ce qu est un conflit d int r ts Les pr sidents doivent avoir une certaine latitude en mati re d interpr tation et ne pas appliquer les r gles de mani re trop m canique pr sident d un comit ARUC 47 rapport non ant les multiples raisons justifiant l exclusion automatique d un expert comme appr ciateur externe ou la r gle excluant un membre d un comit de s lection d une discussion et m me de la salle lorsqu une proposition provenant de son universit est examin e alors que dans la plupart des organismes ce n est le cas que lorsque l on discute de la propre proposition d un membre ou encore la pratique exigeant m me des observateurs qu ils quittent la salle lorsqu un comit discute d une proposition pr sent e par A r 39 un chercheur de leur universit Tout compte fait le groupe est d avis qu une mise en application trop rigoureuse de r gles bureaucratiques d fensives pour pr server l int grit et
102. aussi garder l esprit que la formation des candidats ce chapitre n est pas une responsabilit des organismes subventionnaires Cette responsabilit doit demeurer institutionnelle Le CRSH devrait encourager les universit s tenir l intention de leurs jeunes chercheurs des sessions d information et de formation sur la r daction de solides propositions 4 6 1 Recommandation li e la r troaction fournie aux candidats RECOMMANDATION 28 Afin de r duire la charge de travail des comit s de s lection et des agents de programme maintenir et simplifier les rapports destin s tous les candidats e Transmettre aux candidats les formulaires normalis s remplis par les appr ciateurs externes ainsi que ceux remplis par les lecteurs des comit s de s lection voir la recommandation 21 ci dessus e Communiquer aux candidats sur un formulaire normalis le sommaire de la position du comit de s lection lorsqu elle diff re de celle des lecteurs et que la d cision est d favorable e Dans tous les cas transmettre ces formulaires en les accompagnant d une lettre normalis e a expliquant le processus g n ral d valuation par les pairs b mettant l accent sur le fait que le comit de s lection est enti rement responsable de la d cision finale et non les appr ciateurs externes ou les lecteurs du comit eux seuls et c rappelant au candidat que la d cision du comit l gard de sa proposition
103. autre organisme 111 206 319 648 297 324 1 905 566 subventionnaire Non ano 286 626 970 2 042 884 745 5 553 304 612 1 130 1 534 454 1 506 5 540 Q26 Q32a Q32b rang e VV Q26a pour le CRSH Oui 4 3 104 17 0 40 6 18 0 9 7 100 0 4 6 9 8 19 8 30 2 9 0 26 6 100 0 Q26a T le CRSH Non 6 3 12 6 17 5 31 7 13 6 18 2 100 0 6 8 12 5 20 8 24 7 7 1 28 2 100 0 5 1 11 3 17 2 36 9 16 1 13 3 100 0 5 5 10 9 20 2 27 9 8 2 272 100 0 a pour un autre organisme 4 8 11 5 17 8 38 2 16 1 11 5 100 0 5 6 11 7 20 4 28 2 8 3 25 8 100 0 subventionnaire Oui Q26b pour un autre organisme 5 8 10 8 16 7 34 0 15 6 17 0 100 0 5 3 9 7 20 5 26 7 8 0 29 8 100 0 EEE Non 5 2 113 17 5 36 8 15 9 13 4 100 0 5 5 11 0 20 4 27 7 8 2 27 2 100 0 Q26 O E Q32b colonne Q26a pour le CRSH Oui 48 3 532 57 5 64 0 647 42 5 484 522 56 9 62 9 63 8 Q26a pour le CRSH Non 51 7 46 8 42 5 36 0 35 3 57 5 41 9 516 47 8 431 37 1 36 2 43 3 41 9 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 100 0 Q26b pour un autre organisme 61 2 67 1 67 1 68 3 66 4 56 5 65 7 67 1 69 8 65 6 66 9 66 5 62 4 65 7 subventionnaire Oui Q26b pour un autre organisme 38 8 32 9 32 9 31 7 33 6 43 5 343 32 9 30 2 344 33 1 33 5 37 6 34 3 subventionnaire Non 100 0 100 0 100 0 100 0 10
104. autre organisme de subvention que le CRSH combien de fois avez vous agi titre Q30a e Jamais Une fois Deux fois a de MEMBRE d un comit d valuation de 1 517 598 477 demandes de subventions 40 3 15 9 12 7 b de PRESIDENT d un comit d valuation 3 129 221 126 de demandes de subventions 85 7 6 1 3 5 c d EVALUATEUR EXTERNE pour 552 612 634 l valuation de demandes de subventions 14 6 16 2 16 8 d de MEMBRE d un comit d valuation de 2121 487 399 demandes de bourses doctorales ou postdoctorales 56 8 13 0 10 7 e de PRESIDENT d un comit d valuation de demandes de bourses doctorales ou postdoctorales 89 2 4 6 2 2 3 282 170 82 Trois fois et plus 1 176 31 2 174 4 8 1 971 52 3 728 19 5 146 4 0 3 768 100 0 3 650 100 0 3 769 100 0 3 735 100 0 3 680 100 0 133 Tableau 23 Quel est votre degr d accord avec les nonc s suivants Q31a d Rae d En d sac En accord Tout fait Ne Sais pas cord 2 3 d accord 4 p a Les demandes de subventions pour des projets caract re interdisciplinaire sont valu es de fa on comp tente au CRSH 463 1 225 1 584 ari 2 666 6 209 7 5 19 7 25 5 4 4 42 9 100 0 b Les demandes de subventions qui sont pr sent es au CRSH par de jeunes chercheurs en poste depuis moins de 5 ans sont valu es de fa on juste et 284 748 2 210 951 1 987 6 202 quitable parce que le degr d exp rience de ces c
105. beaucoup plus jeune lorsqu un chercheur plus g a t tr s critique envers un jeune chercheur et me semblait en conflit Le CRSH est tr s pr cis en mati re de d claration des conflits et a aussi ces derni res ann es invit les chercheurs d clarer les appr ciateurs pouvant tre probl matiques membre d un comit SOR et par la suite membre d un comit sur les programmes strat giques 48 PARTIE 4 D LIB RATION ET PRISE DE D CISION PAR LES PAIRS De nouveau et cela m rite sans aucun doute d tre r p t le groupe en est arriv la conclusion g n rale que la qualit l quit et la cr dibilit du processus d valuation par les pairs au CRSH sont incontestablement conformes aux normes internationales les plus lev es Toutefois au CRSH comme dans le cas de tout autre organisme subventionnaire il s agit d un processus humain donc am liorable Les activit s examin es dans cette quatri me partie du pr sent rapport portent essentiellement sur des enjeux o des am liorations sont atteignables et souhaitables tels que e assurer une charge de travail plus g rable et moins chronophage dans le cas des membres des comit s et des agents de programme e tablir une meilleure distinction entre les responsabilit s relevant du processus d valuation par les pairs et celles qui appartiennent plut t la prise de d cision en mati re de politique e adopter un nouveau
106. blement li es la crainte de faire preuve d iniquit envers les chercheurs individuels et galement envers certains domaines de recherche Les donn es disponibles montrent que pendant quatre ans de 2005 2008 les taux de r ussite ont t dans l ensemble exactement les m mes 37 p 100 dans le cas des candidats en solo et des demandes d quipe voir le tableau l annexe 9 Les donn es montrent aussi que m me si c tait peut tre vrai il y a quelques ann es les sciences humaines ne sont pas la chasse gard e des chercheurs travaillant en solo En effet parmi les cinq comit s SOR qui affichent des taux de r ussite sup rieurs 40 p 100 dans le cas de la recherche en quipe on trouve la philosophie et la linguistique ainsi que l un des deux comit s sur la litt rature Voil qui concorde avec ce que nous savons sur l volution des publications en sciences r r 50 humaines ces r centes ann es 4 4 D cisions sur les budgets Les manuels du CRSH l intention des comit s de s lection accordent beaucoup d attention aux questions budg taires et les entrevues montrent aussi que c est sans aucun doute le cas Les discussions sur les budgets pr sent s dans les propositions occupent une part substantielle du temps des r unions des comit s On a aussi port notre attention et nous l illustrons ci apr s que diff rents comit s adoptent parfois des attitudes tr s diff re
107. cht Peer Review in der DFG Die Fachkollegiaten iFQ Workin Paper n 2 novembre 2007 p 27 28 25 Tableau 5 Nombre d valuateurs potentiels exclus en raison d un conflit d int r ts nombre de conflits d int r ts par dossier subventions ordinaires de recherche concours 2008 Nombre moyen de Nombre conflits total moyen Nombre Nombre moyen de moyen de Nombre z nouvelles conflits total de N S d int r ts de conflits demandes d int r ts Mate PTERA demandes li s la d int r ts n li es un institutionnels conflit par d int r ts dossier n paternit par par dossier n dossier n tudes anciennes et religieuses Linguistique conomie G ographie Psychologie 1 tudes pluridisciplinaires ducation 2 Litt rature 2 tudes sur la sant Gestion 1 Remarque 1 Selon les directives actuelles une demande ne peut pas tre valu e deux fois par le m me expert Par cons quent deux appr ciateurs potentiels sont exclus dans le cas de chaque nouvelle demande nombre moyen de nouvelles demandes X 2 Une demande ne peut pas tre valu e par un chercheur affili la m me institution qu un membre de l quipe ayant pr sent la demande Nous avons pr sum une moyenne de deux conflits d int r ts institutionnels dans le cas des chercheurs r guliers de quatre dans le cas des nouveaux chercheurs deux relativement l institution d o ils sont dipl m
108. ci mais par contre il ne faut pas exag rer remettre en question l efficacit du syst me et la contribution de certains des pairs les plus qualifi s irait l encontre du but recherch Le Groupe est d avis que les conflits d int r ts sont tr s bien g r s au CRSH En fait il se pourrait qu il en fasse trop Ce point de vue s appuie sur divers faits tels que les pratiques cit es en exemples dans les notes explicatives au bas du Tableau 5 la partie 2 du pr sent 37 Les conflits d int r ts sont g r s avec la pr cision d une horloge entrevue pr sident d un comit SOR mon avis les conflits d int r ts ne sont jamais un enjeu Les directives sont claires Les gens agissent correctement Il ne s agit pas d un enjeu important pr sident d un comit SOR et par la suite membre du conseil d administration Les conflits d int r ts sont tr s bien g r s Lors des r unions du comit sur les bourses postdoctorales vous devez quitter au moment de l examen des dossiers de votre facult Vous ne pouvez pas valuer les dossiers de votre universit Il en va de m me du comit sur les bourses doctorales Dans la correspondance on vous demande de d clarer les conflits Je l ai fait dans le cas d un tudiant qui avait chou avec moi et avait quitt pour une autre universit Le CRSH est tr s scrupuleux cet gard pr sident comit sur les bourses postdoctor
109. ction C est effectivement le cas de tous les organismes subventionnaires 2 3 1 valuation des pr sidents Il ne semble pas que les fonctions et le rendement des pr sidents aient fait l objet d analyses et de rapports d valuation sp cifiques au CRSH Il semble que les pr sidents dysfonctionnels aient t l exception Selon les agents de programme interrog s d apr s leur jugement seulement deux ou trois des quelque 24 pr sidents des r centes ann es ont t faibles dans leur fonction de pr sidence Au contraire la plupart des pr sidents semblent tr s bons ou excellents rendement qui s am liore souvent avec l exp rience et selon les pr sidents interrog s tous ont appr ci cette responsabilit malgr l importante charge de travail qu elle comporte 2 3 2 S lection des pr sidents des comit s Le processus de s lection des pr sidents des comit s n est pas enti rement explicite Comme plus d un pr sident l ont indiqu lors des entrevues Comment ai je t choisi pour tre pr sident Je n en ai aucune id e j ai re u un courriel de l agent de programme j ai r pondu quelques questions et j ai dit oui j ai pr sum avoir t choisi en raison des valuations externes ant rieures que j ai r dig es et parce que j ai re u des subventions N anmoins les crit res de s lection des pr sidents semblent g n ralement compris de la m me fa on d a
110. ction Processus g n ral d valuation pa impliqu s dans le processus d valuation les pairs Suggestions Evaluation et s lection Crit res Donner davantage d importance aux projets Les projets ax s sur la th orie devraient se voir accorder 0 2 d valuation ax s sur la th orie davantage d importance dans le cadre du processus d valuation Suggestions Financement D savantager les candidats retenus dans le Les candidats retenus devraient tre inadmissibles 0 2 cadre des concours ult rieurs participer d autres concours du CRSH pour un certain nombre d ann es ou recevoir un financement limit d valuation classement par rapport aux autres demandes B E E d placements Suggestions Processus de demande Rendre les formulaires de demande disponibles Les formulaires de demande doivent tre disponibles d s que 4 0 1 en m me temps que sont lanc s les appels de sont lanc s les appels de propositions propositions Suggestions valuation et s lection Comit Cr er des comit s de s lection francophones et Les demandes de candidats anglophones et francophones 4 0 1 de s lection anglophones distincts devraient tre valu es par des comit s diff rents d valuation quantitative d importance dans le cadre du processus d valuation RER SO uw Do accessible colloques devraient tre plus souples En demande par des droits d auteur leur demande n est pas plagi e par les valuateurs Suggestions Evaluation et Enga
111. d avis que les agents d un programme de subventions de recherche appartiennent une nouvelle profession en mergence Elle n cessite des attestations universitaires et des capacit s de gestion ce qui positionne ces professionnels plus pr s du monde des chercheurs que de celui de la bureaucratie gouvernementale Pour se conformer aux normes et aux pratiques internationales les nouveaux candidats ces fonctions devraient d tenir un doctorat Toutefois ce n est pas suffisant Pour leur permettre d effectuer leurs t ches complexes ces agents doivent aussi acqu rir des comp tences consid rables en gestion et en administration faire preuve d efficacit dans les questions proc durales et de fonctionnement multit che et avoir la capacit d organiser et de proc der de mani re ordonn e Il incombe maintenant aux organismes subventionnaires comme le CRSH d tablir une structure de carri re l intention de ces nouveaux professionnels o ils pourront progresser et trouver une satisfaction et une gratification personnelles au fil des ans recommandations 37 39 Dans sa conclusion le groupe r it re son constat global savoir que le processus d valuation par les pairs au CRSH correspond dans l ensemble aux pratiques exemplaires et aux normes internationales les plus lev es Il s agit d un syst me qui fonctionne bien et dont les fondements sont tr s solides Il souligne aussi que l id e ma
112. d taill s et constructifs pour aider le candidat am liorer son projet de recherche Suggestions Evaluation et Donner une plus grande importance aux Comme les appr ciateurs externes sont des experts leur s lection Processus g n ral d valuation pa appr ciateurs externes qu aux comit s de opinion doit avoir une plus grande valeur dans le processus les pairs s lection de d cision Suggestions Evaluation et s lection Crit res Mettre au point des crit res d valuations pour II faut reconna tre que les petits tablissements les d valuation les petits tablissements pour les tablissements moins ax s sur la recherche n ont pas les tablissements moins ax s sur la recherche m mes ressources de disponibles que les grands tablissements tudiants aux cycles sup rieurs bureau de soutien recherche etc Suggestions Processus de demande Fournir un meilleur choix de cat gories de Il serait b n fique pour les candidats de pouvoir choisir parmi financement disciplines de recherche choix du un plus grand ventail de comit s sp cialis s comit afin de faire valuer leur demande par les personnes ad quates de s lection membres des comit s g n raux Suggestions Evaluation et s lection Crit res Accorder plus d importance la qualit au Le dossier d un candidat devrait se voir accorder moins 115 d valuation potentiel de la recherche qu au dossier du d importance pour l valuation de sa demande que son proje
113. dant des heures c est difficile dur pour les yeux dur pour la pose du corps La plupart des gens sont habitu s J tais n gative au d but ensuite on nous a expliqu les moyens de travailler avec plusieurs fen tres etc Si on maintient les CD a va demander une formation particuli re il y a des trucs communiquer des m thodes donner etc Au moins le CRSH devrait sugg rer une m thode pour travailler efficacement L avantage de l lectronique c est que a permet de mettre ses commentaires en ligne pour l agente de programme et pour tout le monde membre d un comit SOR 51 4 1 2 Classement et discussion des propositions Avant la r union du comit les lecteurs font parvenir leurs notes pr liminaires faisant une valuation d apr s les divers crit res Ceci permet la cr ation d un chiffrier lectronique o les demandes sont class es dans un ordre pr liminaire servant de fondement aux d lib rations du comit La tyrannie des classeurs partir de l les comit s ne proc dent pas tous de la m me fa on Certains discutent des propositions suivant l ordre alphab tique des noms des chercheurs principaux quelles que soient les notes obtenues D autres comit s commencent par discuter des propositions dont la note figure parmi les plus faibles en ordre alphab tique ou selon le classement des notes ceci varie de nouveau d un comit l autre et d
114. de langue anglaise litt ratures am ricaine canadienne anglaise canadienne fran aise et qu b coise litt rature des Premi res nations litt ratures d autres langues 7 41 83 20 tudes sur la sant et travail social 21 Gestion des ressources humaines tudes organisationnelles relations industrielles gestion 6 17 65 22 Comptabilit finances science de la gestion gestion de la production et des op rations 3 17 82 23 Droit tudes socio juridiques et criminologie 8 36 78 24 Science politique et administration publique 3 12 75 25 Philosophie 5 11 55 26 Communication tudes culturelles et tudes sur les femmes 8 16 50 27 Psychologie 2 counselling psychologie du d veloppement humain psychoth rapie psychologie du sport et de la sant 2 18 89 28 ducation 3 orientation professionnelle ducation physique et de la sant adaptation scolaire enseignement pr scolaire mesure et valuation m thodes d enseignement p dagogie psychop dagogie formation des ma tres 4 6 33 29 Affaires marketing commerce international gestion des syst mes d information politiques d entreprise 5 26 81 Moyenne S 0 S O 73 107 ANNEXE 11 Pourcentage des demandes de chercheurs individuels et d quipes de recherche retenues par chaque comit Programme de subventions ordinaires de recherche 2005 2008 Nombre de subventions Taux de r ussite
115. de recherche Suggestions Evaluation et s lection Comit Accorder plus de soin la s lection des Compte tenu qu il est difficile d valuer des demandes 109 de s lection membres des comit s sp cialement pour les interdisciplinaires il faudrait accorder une extr me importance la s lection des membres des comit s Suggestions Evaluation et s lection Comit Cr er des comit s pr cis capables de mieux Les comit s pourraient par exemple tre compos s de 3 1 de s lection valuer les demandes dans des disciplines davantage de sp cialistes pour valuer des projets dans les gt A 3 ke g w R D 3 donn es domaines du droit des finances et des tudes sur le d veloppement Suggestions valuation et Fournir des instructions directives formations dd s lection Appr ciateurs externes plus d taill es aux appr ciateurs externes d valuation et ce que l on attend d eux Suggestions Evaluation et Garantir la transparence dans la s lection des Les candidats doivent savoir comment sont s lectionn s les 2 8 s lection Processus g n ral d valuation par membres des comit s et des appr ciateurs membres des comit s et les appr ciateurs externes les pairs Suggestions Evaluation et Mettre au point des m thodes pour d tecter la Afin de s assurer que le processus d valuation est objectif il 87 2 7 s lection Processus g n ral d valuation par partialit et les conflits d in
116. de vue partag en ce qui a trait leur r le lorsqu il s agit de sugg rer des noms d ventuels membres des comit s La plupart des pr sidents interrog s pr f rent ne pas tre impliqu s Cependant ils ne s objecteraient pas la suggestion de noms aux fins de comit s ult rieurs d attention et de temps Il est clair que de bons chercheurs provenant du Royaume Uni ou de l Australie apportent une contribution diff rente ce qui est souhaitable pr sident GTRC J ai parl avec quelques uns d entre eux la pause caf Ils taient vraiment impressionn s par le processus du CRSH Toutefois certains n avaient pas vraiment fait leurs devoirs et ne devraient pas tre invit s l an prochain pr sident SOR 8 J ai t contact pour sugg rer des noms de membres de comit l agent de programme Je pense qu il s agit d une pratique utile parce que c est lorsque vous tes actifs dans le domaine que vous connaissez des gens les bonnes personnes entrevue membre d un comit SOR Les pr sidents ne devraient pas recommander un membre Cela m nerait au n potisme comit bourses postdoctorales Je n ai pas t consult sur le choix des membres et des appr ciateurs et je pr f re ne pas l tre Un grand danger c est l advocacy Cela deviendrait trop incestueux pr sident GTRC C est le r le du CRSH pas celui des membres ou des pr sidents de
117. des services rendues la communaut des chercheurs et l int r t public Elle n est presque jamais reconnue au niveau institutionnel aux fins de promotion ou d affectation Cet aspect de la situation n est pas propre au Canada Dans son r cent rapport la British Academy par exemple a soulign Chaque universit qui re oit des fonds publics devrait accepter l obligation d encourager ses chercheurs s engager dans ces activit s reconnaissant que l valuation par les pairs est une partie essentielle du tissu de la vie universitaire En effet chaque universit devrait encourager son corps professoral participer l valuation par les pairs et all ger les t ches administratives des personnes qui acceptent de si ger un comit de s lection Les membres d un comit de s lection ne sont pas r mun r s pour leurs services au CRSH moins qu ils s agissent de travailleurs autonomes ou provenant du secteur priv et que leur participation entra nerait des co ts financiers personnels Dans le cas des chercheurs trangers invit s tre membres d un comit de s lection puisque 12 des 22 qui ont si g l an dernier ont aussi accept plus r cemment de r pondre un 36 questionnaire nous comprenons mieux leur situation difficile Les membres internationaux ont trouv leur exp rience extr mement enrichissante et int ressante Ils ont t impressionn s par la qua
118. e s lection relativement aux questions budg taires et mettre en uvre de nouvelles pratiques n cessitant une d cision de la part du personnel sp cialis dans ce domaine et tablir clairement la distinction entre les comp tences d valuation par les pairs et les d cisions de politique RECOMMANDATION 26 Abolir le comit 15 sur les subventions ordinaires de recherche SOR et habiliter tous les comit s y compris tous les comit s SOR valuer les propositions sortant des fronti res de leur discipline RECOMMANDATION 27 En collaboration avec d autres organismes subventionnaires canadiens explorer des politiques favorisant la recherche et facilitant l valuation par les pairs des propositions aux interfaces des responsabilit s respectives de ces organismes Proc der la mise en uvre en ayant d abord recours un programme pilote RECOMMANDATION 28 Afin de r duire la charge de travail des comit s de s lection et des agents de programme maintenir et simplifier les rapports destin s tous les candidats e Transmettre aux candidats les formulaires normalis s remplis par les appr ciateurs externes ainsi que ceux remplis par les lecteurs des comit s de s lection voir la recommandation 21 ci dessus e Communiquer aux candidats sur un formulaire normalis le sommaire de la position du comit de s lection lorsqu elle diff re de celle des lecteurs et que la d cision est d favorable e Dans
119. e d information 3 2 6 Recommandations li es aux instructions destin es aux comit s avant les COUDRE RSS AS Le 3 3 Gestion des conflits d int r ts sseemeeneeserssreesrerreeeee 3 3 1 Recommandation li e aux r gles en mati re de conflits d int r ts PARTIE 4 D LIB RATION ET PRISE DE D CISION PAR LES PAIRS 49 4 1 Traitement collectif des dossiers esessessesococeceesessosooececsesscsococeceessssococeceessss 51 4 1 1 L riue des dOSSits sise rennes 51 4 1 2 Classement et discussion des propositions 52 4 1 3 Recommandations li es au traitement des dossiers 53 4 2 Programme de recherche versus r alisations en recherche 54 4 2 1 Recommandation li e aux crit res d valuation sssnsessseesseseesseosseesresresseeseese 55 4 3 Propositions provenant d une quipe ou d un seul chercheur 55 4 4 D cisions Sur les budgets oessoesssesssesssocsssecssooesoosssossssesssesssoossoossssssssssssose 56 4 4 1 Recommandation li e au montant accord et la gestion budg taire 59 4 5 Questions interdisciplinaires et multipartites ssssssss 59 4 5 1 Recommandations li es l valuation des questions interdisciplinaires et Milti partite S Ann une nt ant Ale natale its 61 4 6 R troaction fournie aux candidats ssssssssssssssseeesse 62 4 6 1 Recommandation li e la r troaction fournie aux candidats 000000000000000 64 4 7 Programmes de bour
120. e de de 35 A ayant candidats de la refait une demande tranche inf rieure l ann e suivante Cohorte de 35 A B 2002 639 294 2003 671 352 2004 780 407 2005 866 430 2006 891 444 2007 896 386 Remarque Aucun commentaire des comit s en 2006 relativement la tranche inf rieure de 35 p 100 Ce tableau montre effectivement pour chaque cohorte annuelle de chercheurs qui se sont class s dans la tranche inf rieure de 35 p 100 de 2002 2007 le pourcentage de ceux qui ont refait une demande l ann e suivante et se sont alors class s dans la tranche sup rieure de 40 p 100 Lorsque l on examine les candidats aux subventions ordinaires de recherche dont les propositions se sont class es dans la tranche inf rieure de 35 p 100 et n ont pas t financ es en 2002 631 propositions refus es et en 2003 659 propositions refus es on constate que 29 7 p 100 d entre eux ont depuis re u une subvention ordinaire de recherche et que 3 3 p 100 ont t financ s deux fois voir le Tableau 9 Tableau 9 Nombre de subventions ordinaires de recherche re ues au cours des cinq ann es suivantes dans le cas des chercheurs principaux class s dans la tranche inf rieure de 35 p 100 en 2002 et en 2003 Tranche Cohorte inf rieure de 1 SOR 35 2002 100 a 100 Ces deux tableaux montrent que le fait qu une proposition ne soit pas retenue dans le cadre d un conco
121. e de personnes qui comprennent la gestion d un projet de recherche C est rarement le cas des nouveaux venus Les jeunes chercheurs en tant que membres En fait en ce qui a trait aux jeunes chercheurs certains pensent que leur pr sence au sein des comit s est essentielle bien que pour la plupart d entre eux certaines dimensions des propositions comportent des difficult s sp ciales pour certains l valuation des curriculum vitae est probl matique tandis que pour d autres c est le budget et dans d autres cas leur expertise est tout simplement trop troite membre d un comit SOR Dans la m me veine un ancien haut fonctionnaire du CRSH estime que dans le cas des professeurs adjoints il est probablement trop t t dans leur carri re de chercheurs pour qu ils soient membres d un comit cause de l tendue des propositions que les comit s doivent examiner Cependant un observateur a insist sur le fait qu il est important d avoir un quilibre de chercheurs chevronn s et de nouveaux chercheurs attention de ne pas d valuer la contribution des jeunes chercheurs un comit Cet enjeu semble moins controvers dans le cas des comit s des bourses doctorales et postdoctorales mais requiert aussi une certaine prudence 19 Il arrive aussi que dans certains domaines tr s peu de chercheurs d posent une proposition chaque ann e Les langues slaves ont t mentionn es titre d
122. e demande de subvention au CRSH titre de chercheur principal ou de co chercheur mais je n ai jamais t subventionn par le CRSH Q Je n ai jamais pr sent de demande de subvention au CRSH titre de chercheur principal ou de co chercheur 112 Choisissez l nonc qui correspond le mieux vos intentions Q12 Q et j ai l intention de pr senter d autres demandes au CRSH ce titre au cours des prochaines ann es O mais je n ai pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines ann es Q13 O j ai l intention de pr senter dans l avenir des demandes titre de chercheur principal Q je mai pas l intention de pr senter dans l avenir des demandes titre de chercheur principal Q14 Q mais j ai l intention de le faire titre de chercheur principal au cours des 3 prochaines ann es Q mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines ann es QI et je n ai pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines ann es Q15 Q mais j ai l intention de le faire titre de chercheur principal au cours des 3 prochaines ann es Q mais j ai l intention de le faire titre de chercheur principal au cours des 5 prochaines ann es O et je n ai pas l intention de pr senter de nouvelle demande titre de chercheur principal au cours des 5 prochaines ann es Q16 V
123. e des observations et commente le point de vue des autres Il s agit d une tr s bonne d marche Ces discussions constituent une part tr s importante du processus Chaque ann e des changements en d coulent C est galement utile dans le cadre des instructions d introduction du comit l ann e suivante Cela permet une meilleure compr hension plus de sensibilisation pr sident comit th matique Les rapports en mati re de politique ne sont mis en uvre qu en partie C est correct ainsi il y a peut tre de nombreuses consid rations que nous ne connaissons pas L an dernier par exemple nous avons d clar que nous ne comprenions pas pourquoi la composition des comit s est secr te Cette ann e nous constatons que le CRSH affiche la liste des membres dans le Web C est une bonne chose membre d un comit SOR 75 6 1 1 Recommandation li e aux discussions de politique des comit s RECOMMANDATION 33 Am liorer la r troaction et la r action en temps opportun aux rapports sur les discussions de politique des comit s de s lection 6 2 Les observateurs Au CRSH la pr sence d observateurs au sein des comit s de s lection SOR est une autre initiative vraiment originale et fort int ressante Il s agit effectivement d un instrument novateur pour surveiller l valuation par les pairs comme elle est vraiment pratiqu e au cours des r unions des comit s de s lection ainsi que p
124. e en researchfunding individualgrantsprogramme reinhart kolleseck projects index html 74 PARTIE 6 SURVEILLANCE ET CONTR LE DE LA QUALITE Le CRSH maintient une tradition de haute qualit accordant une attention soutenue et r fl chie la surveillance de ses programmes et activit s De nombreux rapports et une profusion de documents statistiques le d montrent Notre Groupe veut ici f liciter de nouveau le CRSH de l attention qu il porte la surveillance troite de son processus d valuation par les pairs et de sa mise en place novatrice de rapports annuels critiques provenant des comit s de s lection ainsi que de son recours des observateurs du travail et du comportement des comit s d valuation par les pairs En effet les processus de surveillance r guli re mis en place par le CRSH figurent parmi les plus complets et les plus novateurs que nous connaissons 6 1 Discussions de politique au sein des comit s de s lection Chaque ann e la direction du CRSH fournit une s rie de questions dont les membres des comit s de s lection sont invit s discuter aux fins d tablissement d un rapport Il est fr quent que les comit s choisissent d aborder d autres questions D apr s les entrevues que nous avons men es il est manifeste que les membres et les pr sidents des comit s consid rent qu une partie importante de leur responsabilit consiste non seulement proc der l val
125. e pas surcharger les appr ciateurs externes e Si les appr ciateurs externes membres de comit s se voient 48 1 5 s lection Processus g n ral d valuation parles membres de comit s attribuer un trop grand nombre de demandes valuer la les pairs qualit des valuations va en souffrir De plus cela permettrait aux valuateurs d accorder au plus de temps au respect de l int grit du processus Suggestions Evaluation et s lection Comit Changer la composition des comit s de fa on Modifier la composition des comit s de fa on r guli re 42 1 3 de s lection guli permettrait de miniser les valuations fond es sur les pr f rences personnelles Suggestions Evaluation et Mettre en uvre des m canismes afin 42 1 3 s lection R troaction d assurer la qualit des commentaires des membres de comit s et des appr ciateurs externes s lection Appr ciateurs externes externes Suggestions Evaluation et s lection Comit Eliminer l exigence relative au bilinguisme pour Des universitaires comp tents sont exclus du processus 40 1 3 de s lection les membres de comit s cause des exigences linguistiques il faudrait fournir des services de traduction si n cessaire Suggestions Evaluation et Mettre au point des m canismes formels pour Comme les demandes soumises plus d une fois re oivent 39 1 2 s lection Processus g n ral d valuation pa garantir l uniformit de l valuation des souvent des valuations
126. e programmes comme les ARUC on devrait examiner la n cessit de travailler davantage mieux d finir les crit res Certains crit res englobent beaucoup d l ments sous une seule cat gorie Par exemple la gestion des projets ARUC peut tre tr s complexe il s agit davantage d un consortium que d un projet La gestion est ici cruciale toutefois il s agit uniquement d une sous cat gorie Dans un consortium les contributions financi res de certains participants sont tr s importantes pour d montrer que les organisations communautaires ont adopt le projet Les meilleurs projets ont tr s bien couvert cette question Nous pensons que cela montre quel point ils sont bien pr par s m me au premier stade De nouveau la situation est tr s diff rente de celle des SOR 60 Programmes multipartites Le fonctionnement des comit s qui valuent les propositions des chercheurs travaillant aussi avec d autres organismes subventionnaires le Conseil de recherches en sciences naturelles et en g nie CRSNG ou les Instituts de recherche en sant du Canada IRSC et qui r unissent des valuateurs provenant de diff rentes comp tences en particulier dans le domaine de la sant a suscit beaucoup de commentaires exprimant parfois un certain degr de malaise ou d inqui tude Par exemple pour reprendre les termes d un membre d un comit de s lection la sant repr sente un d fi La culture de
127. e r sumer l essentiel sur une page responsabilit s et conseils sur la gestion de la chose autre pr sident d un comit SOR 42 administratif les r gles et les r glements et bon nombre de pr sidents ont sugg r que l on porte plus d attention la conduite des r unions des comit s de s lection et aux pratiques exemplaires en mati re de pr sidence En effet certains pr sidents chevronn s ont m me mentionn qu ils seraient heureux de collaborer avec des responsables du CRSH pour concevoir de tels l ments de formation T l conf rence pr liminaire Dans le cas de certains programmes des t l conf rences pr liminaires ont lieu pour r pondre aux questions et au besoin mieux expliquer les r gles et les crit res aux membres des or A 1x 1 231 comit s de s lection Voil qui est grandement appr ci Pour certains programmes la t l conf rence sert surtout calibrer la notation de chaque crit re applicable aux propositions que les membres du comit de s lection doivent lire et valuer Un nombre limit de propositions en g n ral trois sont s lectionn es par le pr sident et l agent de programme du comit et sont valu es par tous les membres du comit avant la t l conf rence o les notes sont alors compar es et discut es Cet exercice de calibrage qui ne se limite pas changer de l information sur la notation fournit une forme d orientation fort appr
128. e se trouver Harvard ou dans un autre tablissement de recherche fortun et de cr er des centres et des instituts de recherche universitaires et de ne pas se pr occuper de l atrophie des facult s parce qu il serait trop d licat de les transformer la t che devient difficile Il est donc quelque peu trange de constater qu un comit SOR est appel interdisciplinaire lorsque l on voit tout ce qui se passe Programme de subventions ordinaires de recherche Dans le cas des SOR certains comit s de s lection semblent plus rigoureusement disciplinaires conomie philosophie d autres r unissent des disciplines quelque peu connexes sciences politiques et administration publique d autres encore sont plus clectiques et couvrent des domaines d expertise tr s diff rents danse et histoire de l art et musicologie ou communication et tudes de la condition f minine Le comit 15 est sp cifiquement identifi comme tant un comit sur les tudes interdisciplinaires et multidisciplinaires En fait ce comit peut tre choisi par certains candidats pour de mauvaises raisons de sorte que leur proposition ne sera pas examin e par un autre comit qu ils estiment ne pas tre en mesure de l valuer 59 Le Groupe comprend mal pourquoi le comit 15 serait n cessaire lorsque la vaste majorit des chercheurs interrog s en sciences humaines d clarent que leur recherche est interdisciplinaire et
129. el comme l ann e pr c dente elle a d avoir de l aide parce que a n allait pas mais elle comprenait bien son r le et tait respectueuse du travail des membres elle tait bien pr par e cet gard par le CRSH pr sident d un comit SOR Il arrive qu on change d agent de programme chaque ann e a aussi c est un s rieux probl me La premi re ann e l agente tait nouvelle tr s sinc re mais pas form e et pas de supervision Aussi cette m me ann e l la pr sidente tait sans aucune exp rience c tait une chercheure chevronn e mais elle arrivait de l ext rieur du Canada et ne connaissait pas la culture du CRSH Cette premi re ann e a t bord lique La 2 ann e l agent avait au contraire beaucoup d exp rience et la diff rence a t incroyable La 3 ann e on a eu encore une nouvelle mais elle avait vraiment t form e par l agent de programme de l ann e pr c dente elle a t tr s efficace m me si elle tait nouvelle Elle connaissait bien les ressources qu elle pouvait utiliser autre pr sident d un comit SOR 64 Pai travaill avec deux agents de programme Les deux taient tr s bons L un d eux tait plus d sireux d apprendre posait beaucoup de questions et participait et il tait tout fait le bienvenue L autre tait bien pr par et tait tr s respectueux du comit les deux accordaient beaucoup de s rieux leur t c
130. elques personnes passag res qui ne se sont 7 A sn 63 pr sent es qu une seule fois ce poste 63 Pai toujours t tr s impressionn par le niveau de service au CRSH et par le travail professionnel des agents de programme ils sont enjou s et rapides Un seul agent de programme tait nouveau peut tre en p riode d essai l poque mais il est toujours l l autre semblait tre un employ permanent membre d un comit ayant si g au moins quatre fois SOR Il y a des agents de programme r guliers et saisonniers Certains agents saisonniers reviennent chaque ann e certains sont excellents mais en g n ral il est hautement probl matique d avoir recours des personnes passag res surtout lorsqu elles n ont aucune exp rience dans le domaine sp cifique du comit auquel elles sont affect es La formation de ces personnes est un fardeau pour les agents permanents il s agit d un type d investissement qui ne rapporte rien si ces personnes ne reviennent pas La courbe d apprentissage est norme observateur L autre ann e on avait une saisonni re sa prestation tait correcte mais c tait clair qu elle n avait pas connaissance de tout ne savait pas manipuler la 79 Lorsque de telles difficult s mergent elles d coulent en g n ral de probl mes cr s par la non disponibilit des ressources humaines ou par la gestion du recrutement ou du roulement du personne
131. en g n ral bien g r et dans le souci du travail bien fait Le passage un processus enti rement lectronique facilitera la t che des membres des comit s et la tenue plus uniforme et ordonn e des dossiers On devrait d battre des dossiers d apr s leur classement et non par ordre alphab tique comme c est le cas dans certains comit s De plus en g n ral il n est pas n cessaire que tous les membres d un comit discutent en d tail des dossiers lorsque les lecteurs attitr s en conviennent et qu aucun autre membre du comit de s lection n est dissident La discussion devrait tre ax e sur les dossiers class s dans la moyenne et sur ceux au sujet desquels les valuateurs ne sont pas d accord recommandations 20 23 En ce qui a trait la s rie de crit res appliquer l valuation des propositions le groupe est d avis que l utilisation de ratios rigides 60 40 devrait s rieusement tre remise en question Le CRSH vise soutenir les propositions dont l excellence est incontestable et qui donneront probablement des r sultats de recherche novateurs et de qualit lev e Les ant c dents en soi ne devraient pas permettre quiconque de recevoir une autre subvention de recherche Le Groupe est d avis que la qualit de la proposition de recherche son originalit et son importance potentielle sur le plan de la recherche ou autrement devrait toujours recevoir une attention prioritaire
132. ences sociales et comportementales Depuis qu il a repris ses fonctions au National Science Foundation il a t conseiller sup rieur en sciences dans la direction des sciences sociales comportementales et conomiques ainsi que directeur de la division des sciences comportementales et cognitives r le dans le cadre duquel il a conduit pr s de dix programmes de financement de la recherche dans les domaines de la psychologie et des connaissances de la linguistique de la g ographie des sciences de l espace et des sciences anthropologiques Il a galement t membre de plusieurs groupes de travail interorganismes devant coordonner les activit s f d rales li es certaines domaines scientifiques pr cis 92 COORDINATEUR DU GROUPE D EXPERTS Camille LIMOGES Membre m rite Centre interuniversitaire de recherche sur la science et la technologie CIRST et expert conseil Montr al Qu bec CANADA M Limoges a r cemment quitt ses fonctions de sous ministre du minist re qu b cois de la Recherche de la Science et de la Technologie Ses trente ann es de travail la fois comme chercheur et comme fonctionnaire ont ind niablement marqu es la recherche en sciences et en technologie Connu comme tant un pionnier dans le domaine de l histoire des sciences et de la technologie au Qu bec il fonda en 1973 l Institut d histoire et de sociopolitique des sciences l Universit de Montr al Dix ans plus tard il a
133. ent L id al est d assurer des mandats qui se 76 chevauchent Un observateur nous a dit Il n est pas n cessaire qu il y ait un membre du conseil d administration parmi le groupe des observateurs mais au moins un membre du comit permanent sur l appui la recherche Cette m me personne a soulign que il serait utile d avoir des observateurs provenant d ailleurs en dehors des cercles du CRSH au moins pendant quelques ann es ce qui semble effectivement tre un l ment envisager Dans ce cas la r troaction est normalis e Il y a toujours une r troaction de la part de la personne responsable notre rapport en tant qu observateurs est en g n ral d pos devant le comit permanent sur l appui la recherche tr s souvent certains agents de programme s en servent La plupart du temps nos constats et nos recommandations sont en accord avec d autres personnes surtout les agents de programme la haute direction du CRSH le travail des observateurs est jug depuis de nombreuses ann es vraiment pertinent et utile Dans l ensemble les observateurs ont t extraordinairement bons et diligents Leurs recommandations tout comme celles provenant du directeur des subventions de recherche ou des agents principaux de programme ont produit des id es tr s judicieuses tant sur papier que verbalement Certains se demandent si leur r le ne pourrait pas tre largi et s ils
134. ercheurs am liorer leurs propositions Ces exercices aident les candidats comprendre en termes vraiment pratiques ce que repr sentent les processus d valuation externe et d valuation par un comit Le CRSH ne peut pas assumer cette responsabilit l chelle du pays mais il pourrait fournir des outils utiles pour soutenir les institutions dans leur d veloppement de saines pratiques cet gard 3 1 1 Recommandation li e aux instructions et au soutien l intention des candidats RECOMMANDATION 11 Afficher sur le site Web du CRSH pour chaque programme des exemples de propositions remarquables ayant obtenu une bourse ou une subvention 3 2 Instructions l intention des pairs 3 2 1 Instructions l intention des appr ciateurs externes Nous avons soulign plus t t le r le crucial et n cessaire des appr ciateurs externes Pour bien accomplir leur travail ces pairs doivent recevoir des indications tr s claires sur les besoins et les attentes du CRSH Cela ne semble pas tre toujours le cas Voil pourquoi des instructions et des directives l intention des appr ciateurs externes ainsi que les niveaux de satisfaction des comit s de s lection utilisant leurs rapports d valuation doivent sans cesse tre surveill s et en bout de ligne am lior s Un formulaire normalis comportant des instructions est fourni aux appr ciateurs externes mais uniquement dans le cas du programme SOR Pour to
135. ernationales 26 2 0 Gestion administration et finances 22 1 7 La soci t la culture et la sant des Canadiens 16 1 2 La probl matique de la coh sion sociale l re de la mondialisation 3 0 2 R seaux strat giques de connaissances 25 1 9 Autre s 117 8 9 n 1 319 100 0 Aucune r ponse 5 214 N 1 010 Cette question permettait plusieurs r ponses 132 Tableau 21 Dans le cadre de quel s programme s du CRSH avez vous d j t PR SIDENT d un comit d valuation excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Q29 Subventions ordinaires de recherche Grands projets de recherche concert e GTRC Alliance de recherche universit communaut ARUC Initiative de la nouvelle conomie INE Aide aux ateliers et aux colloques de recherche au Canada Initiatives de d veloppement de la recherche Ensemble de subventions li es l conomie sociale Fonds d initiatives internationales Gestion administration et finances La soci t la culture et la sant des Canadiens La probl matique de la coh sion sociale l re de la mondialisation R seaux strat giques de connaissances Autre s n Aucune r ponse N Cette question permettait plusieurs r ponses Nbre 120 6 064 160 66 3 44 2 2 5 5 2 8 3 3 0 0 0 6 0 6 0 6 0 6 2 8 10 5 100 0 Tableau 22 Dans le cadre d un
136. es d valuation et de s lection et dans la mesure o ils sentent qu ils sont redevables au syst me Le processus d valuation par les pairs n est pas isol de l volution des investissements nationaux en recherche Voil pourquoi nous avons fourni cette pr sentation sommaire de ce contexte 22 PARTIE 2 S LECTION DES PAIRS Le CRSH subventionne la recherche et la formation par un vaste ventail de programmes n cessitant une diversit de processus d valuation par les pairs et de caract ristiques de s lection des pairs voir l annexe 2 Cette s lection est un l ment crucial du processus d valuation En effet l identification ad quate des pairs en est la pierre angulaire Essentiellement accompli par l quipe d agents de programme ce recrutement des pairs constitue une t che norme et tr s exigeante La vari t des programmes du CRSH n cessite chaque ann e la participation volontaire de plus de 500 membres au sein des comit s et de plusieurs milliers d appr ciateurs externes environ 6 000 uniquement dans le cas du programme de subventions de recherche Ces appr ciateurs dont l expertise doit dans chaque cas correspondre de pr s la proposition qu ils examinent jouent un r le essentiel en transmettant des valuations de ces propositions aux comit s de s lection Un sondage men au Royaume Uni en 2006 a montr que 93 p 100 des chercheurs universitaires croient q
137. es d valuation par les pairs e l ad quation et la qualit g n rale des directives fournies aux appr ciateurs externes et aux comit s de s lection e le traitement des propositions interdisciplinaires et multipartites e le r le et l utilit des observateurs et des autres activit s de surveillance e la pertinence des politiques et des pratiques pour prot ger l int grit du processus d valuation par les pairs par ex politique en mati re de conflits d int r ts politique en mati re de confidentialit pratiques r gissant les membres qui pourraient tre des candidats qualit du suivi documentaire des d cisions e les conseils sur les tendances internationales en mergence examiner en mati re d valuation par les pairs Mise en uvre du mandat Pour mettre en uvre son mandat le groupe a re u une documentation compl te sur les programmes de subventions et de bourses du CRSH ressources demandes et r sultats les instructions fournies aux candidats aux appr ciateurs externes aux membres et aux pr sidents des comit s de s lection les caract ristiques du processus d valuation par les pairs de chaque programme ainsi que les t ches et les responsabilit s des agents de programme Pour compl ter cette documentation 53 entrevues ont t men es aupr s d appr ciateurs externes de pr sidents et de membres de comit s de s lection d observateurs d agents de program
138. es et les diff rents aspects du processus Toutefois les d tails de la r union la nature des proc dures et le comportement attendu de la part de chaque membre peuvent demeurer quelque peu impr cis La National Science Foundation aux tats Unis est tester une vid o simulant une r union laquelle est disponible sur son site Web Il s agit d une initiative que le CRSH pourrait utilement reproduire tant pour aider les nouveaux membres des comit s que pour contribuer un processus plus transparent Lamont 2009 49 Lorsqu un comit de s lection se r unit le pr sident en a la responsabilit et l agent de programme exerce un r le de soutien Tous les r pondants estiment que le r le du pr sident est un l ment cl pour assurer la r ussite du comit et qu il peut s agir d une exp rience tr s frustrante lorsqu un pr sident n assume pas ses responsabilit s avec comp tence Ces r les sont probablement le mieux d crits dans les mots de ceux qui ont assum avec succ s ces fonctions Dans le cas des pr sidents En tant que pr sident je suis l pour m assurer que le travail est fait et bien fait de mani re quitable Il est essentiel de respecter les d lais mais il est encore plus important de s assurer que toute discussion n cessaire ait lieu de fa on exhaustive et que chaque personne devant y contribuer participe C est mon travail de r sumer la discussion et d obtenir u
139. es pairs au CRSH Toutefois 1l y a peut tre un autre aspect de la gestion de l information que n abordent pas les manuels qui exigerait une attention particuli re En effet quelques entrevues ont r v l de l ambigu t dans l esprit de certaines personnes participant au processus d valuation par les 4 Voir par exemple le Manual for Adjudication Committee Members novembre 2007 p 18 19 5 J aimerais avoir plus de temps pour lire les propositions parfois les membres du comit aimeraient les examiner toutes mais ce n est pas possible nous devons nous fier quelque peu aux autres membres Voil pourquoi nous avons un comit et les lecteurs A et B qui font une lecture et une valuation en profondeur et font rapport au comit C est alors mon travail en tant que pr sident de m assurer que nous avons une v ritable discussion ouverte au besoin Les membres peuvent avoir des points de vue diff rents qui ne sont pas n cessairement ceux des lecteurs A ou B vous devez consulter le comit et obtenir un consensus C est un tr s bon processus pr sident programme th matique Le syst me avec les lecteurs A et B qui font rapport au comit suivis d une ventuelle discussion de tout le comit fonctionne bien les autres membres lisent peut tre les sommaires 25 30 dossiers c est d j assez lourd et compliqu Mais lors de la discussion les lecteurs doivent tre challeng s
140. es proc dures des r unions que doivent suivre les pr sidents et enfin leurs responsabilit s apr s les r unions 31 Nous avons d abord un appel conf rence nous expliquant ce que nous devons faire L agent de programme fournit l chelle de notation des dossiers et des explications aux membres des comit s qui doivent s y conformer L organisation au CRSH comparativement ce qui se fait ailleurs est vraiment exceptionnelle pr sident d un comit postdoctoral 32 L appel conf rence est tr s utile et important L un des membres ne pouvait tre pr sent lorsque nous nous sommes rencontr s par la suite c est la notation de ce membre qui diff rait le plus des autres pr sident SOR La conf rence t l phonique pr alable a pour la calibration une fonction extr mement importante elle fournit un cadre de r f rence C est une sorte de cours de formation avec l agent de programme le pr sident choisit trois dossiers un fort un moyen et un faible Tous les membres lisent les trois dossiers et donnent leurs notes En conf rence on discute des carts Une erreur cependant dans la fa on de proc der l exercice a lieu au mois de janvier les gens re oivent des piles de dossiers et commencent les travailler mais la s ance de calibration vient ensuite c est trop tard il faudrait commencer la calibration beaucoup plus t t avec quelques dossiers qui seraient les seuls envoy s d abord ensui
141. es subventions au cours des 10 derni res ann es excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Q18 Nbre Subventions ordinaires de recherche 3 695 55 6 Grands projets de recherche concert e GTRC 349 5 3 Alliance de recherche universit communaut ARUC 343 5 2 Initiative de la nouvelle conomie INE 239 3 6 Aide aux ateliers et aux colloques de recherche au Canada 588 8 9 Initiatives de d veloppement de la recherche 330 5 0 Ensemble de subventions li es l conomie sociale 42 0 6 Fonds d initiatives internationales 123 1 9 Gestion administration et finances 174 2 6 La soci t la culture et la sant des Canadiens 47 0 7 La probl matique de la coh sion sociale l re de la mondialisation 31 0 5 R seaux strat gique de connaissances 190 2 9 Autre s Veuillez sp cifier ci dessous 49 74 n 6 641 100 Aucune r ponse 1 814 N 6 224 n est plus que N parce que la question permettait plusieurs r ponses 128 Tableau 12 Taux de r ussite Q19 Q20 Quel a t le taux de succ s des demandes de subventions que vous avez pr sent es au CRSH au cours des 10 derni res ann es Q19 Nbre 2 423 54 4 De 76 100 De 51 75 851 738 19 1 16 6 De 26 50 Moins de 25 n Quel a t le taux de succ s des demandes de subventions que vous a
142. estion Les capacit s de l quipe cet gard doivent aussi tre valu es et non uniquement la qualit de la science Une personne qui a uvr la haute direction du CRSH a estim que certains aspects des programmes strat giques sont tr s bons d autres probl matiques Les membres gouvernementaux des comit s ne sont pas toujours aussi solides et efficaces que les universitaires N anmoins dans ces programmes il est n cessaire d obtenir la participation des utilisateurs Les universitaires peuvent imaginer ce dont les utilisateurs ont besoin tandis que les utilisateurs savent ce dont ils ont besoin cet gard je miserais plut t sur ces derniers Nous avons donc vraiment besoin des utilisateurs dans ce cas Toutefois certains ont une pi tre compr hension de la recherche et de ce qui est requis pour passer de A Z Certains des meilleurs si gent aux comit s ARUC Le choix des membres est un l ment cl ainsi que le choix du pr sident Les comit s des programmes strat giques repr sentent un d fi plus grand que les comit s SOR il faut s assurer d avoir une vaste tendue de connaissances Les membres qui ne sont pas issus du milieu universitaire ne devraient pas faire de commentaires sur la qualit de la science mais se limiter la pertinence et l engagement Le pr sident d un comit ARUC a aussi soulign que ce type de programme est tr s diff rent des SOR et que dans le cas d
143. euillez sp cifier pourquoi vous n avez pas l intention de pr senter de nouvelles demandes titre de chercheur principal au cours des 5 prochaines ann es Q Je n aurai pas besoin de fonds suppl mentaires pour faire mes recherches Q Je compte obtenir des fonds d une autre source Q J estime que j ai trop peu de chances d obtenir des fonds du CRSH Q Autre s raison s Veuillez pr ciser ci dessous Q16a QUESTION OUVERTE R PONSE LITT RALE Au total combien de subventions avez vous obtenues Aucune 0 1 3 4 10 11 et plus Q17a du CRSH titre de chercheur Q Q Q Q principal Q17b du CRSH titre de co Q Q Q Q chercheur Q17c d autres organismes que le Q Q Q Q CRSH titre de chercheur principal Q18 Dans le cadre de quel s programme s du CRSH avez vous obtenu des subventions au cours des 10 derni res ann es excluant les subventions allou es l aide de m canismes internes des universit s Veuillez choisir le ou les programmes de la liste suivante Q Subventions ordinaires de recherche Q Grands projets de recherche concert e GTRC 113 Q Alliance de recherche universit communaut ARUC Q Initiative de la nouvelle conomie INE Q Aide aux ateliers et aux colloques de recherche au Canada Q Initiatives de d veloppement de la recherche Q Ensemble de subventions li es l conomie sociale Q Fonds d initiatives internationales A Gestion administration et finances Q La soci t la culture et
144. explorer des politiques favorisant la recherche et facilitant l valuation par les pairs des propositions aux interfaces des responsabilit s respectives de ces organismes Proc der la mise en uvre en ayant d abord recours un programme pilote 4 6 R troaction fournie aux candidats La r troaction fournie aux candidats est en g n ral per ue comme un l ment important de transparence Tous les candidats une subvention de recherche du CRSH re oivent une copie anonyme de toutes les valuations externes utilis es par les comit s de s lection Ils re oivent aussi un rapport sur les conclusions du comit de s lection et sur la d cision relative leur proposition Les chercheurs qui chouent pr sentent tr s souvent une nouvelle demande et certains d entre eux sont retenus et font m me partie des chercheurs qui re oivent r guli rement une l 54 subvention C est ce que montrent les deux tableaux suivants 5 British Academy 2007 p 22 54 La l g re diff rence entre le total des demandes de 2002 et de 2003 est li e au traitement des dossiers inadmissibles 62 Tableau 8 R sultats de la tranche inf rieure de 35 ayant refait une demande l ann e suivante subventions ordinaires de recherche cohortes 2002 2007 Nombre de Nombre de candidats ayant refait une candidats de la demande B se trouvant dans la tranche tranche inf rieure sup rieure de 40 l ann e suivante Nombr
145. externes e Inviter les comit s de s lection porter l attention des agents de programme les appr ciateurs externes tre exclus en raison de la pi tre qualit de leurs valuations e Fournir en ligne des valuations mod les aux appr ciateurs externes RECOMMANDATION 3 All ger et faciliter le travail des appr ciateurs externes e G n raliser l utilisation des outils lectroniques pour effectuer les valuations e Continuer d utiliser des formulaires normalis s dans le cas des valuations externes RECOMMANDATION 4 Conserver et r compenser les appr ciateurs externes e Reconna tre annuellement par lettre adress e aux universit s et personnalis e les contributions de leur corps professoral aux valuations externes et inciter les universit s mieux assumer activement une responsabilit et une reconnaissance institutionnelles l gard de cette fonction e Inviter les excellents appr ciateurs externes apr s deux ou trois ans de service devenir officiellement membres du Coll ge international des valuateurs sp cialis s du CRSH et continuer d agir titre d valuateurs e Am liorer la r troaction l intention des appr ciateurs externes par l change lectronique automatis des valuations d autres appr ciateurs rendues anonymes et par l envoi d information sur l issue de la des proposition s qu ils ont valu e s RECOMMANDATION 5 Accro tre la trans
146. f Sussex Auparavant de 1999 2004 il tait directeur du Science Policy Research Unit de 90 l University of Sussex Il a activement pris part la vie universitaire et a t engag par des organismes et des comit s publics et priv s titre d expert conseil Directeur fondateur du Programme of Policy Research in Engineering Science and Technology de l University of Manchester et directeur du Research and Technology Transfer deux programmes de l University of Manchester M Gibbons s int resse particuli rement la recherche li e aux politiques scientifiques et technologiques De 2000 2003 il a t membre du Economic and Social Research Council et pr sident du Research Priorities Board du Royaume Uni Il a pendant de nombreuses ann es tenu le r le de conseiller sp cial pour le Parliamentary Science and Technology Committee du Royaume Uni et t expert conseil pour l Organisation de coop ration et de d veloppement conomiques OCDE Il a r dig cor dig et r vis neuf ouvrages et plus de 80 articles publi s dans des revues nationales et internationales portant principalement sur les politiques scientifiques et technologiques Linda HUTCHEON Professeure de litt rature anglaise et comparative University of Toronto Sp cialiste de l tude de la culture postmoderne et de la th orie critique M Hutcheon a publi neuf ouvrages sur ces sujets et collabor la r alisation d importants p
147. ffisant pour lire la documentation et suivre les discussions durant les travaux du comit Chaque membre peut utiliser la langue dans laquelle il est le plus l aise cet gard on estime en g n ral que le CRSH fait mieux que tout autre organisme comparable m me au Canada Cependant cette exigence demeure contraignante Elle exclut par exemple certains grands chercheurs qui bien qu ils puissent agir en tant qu appr ciateurs externes des propositions qu ils peuvent lire ne peuvent pas si ger un comit de s lection Il y a parfois des exceptions qui n cessitent que le pr sident ou l agent de programme agisse en tant qu interpr te r sumant la discussion pendant les r unions C est une situation rare qui n est certainement pas id ale Ceci dit les entrevues montrent que les observateurs les pr sidents et les membres des comit s consid rent en g n ral qu il s agit d un v ritable enjeu 33 mais aussi d un aspect des travaux du comit qui est raisonnablement bien g r De plus tant donn les taux de r ussite tr s similaires des propositions provenant de chercheurs choisissant de communiquer avec le CRSH en fran ais ou en anglais le groupe est d avis qu il ne semble pas que le bilinguisme soit un probl me majeur Les membres trangers Comme il est mentionn plus t t depuis 2007 des chercheurs trangers ont t plus syst matiquement invit s devenir membres d
148. ger davantage d appr ciateurs externes Le CRSH pourra compter sur davantage d appr ciateurs 1 s lection Appr ciateurs externes francophones externes francophones dans le cadre du processus d valuation Suggestions Financement Rendre les chercheurs responsables de Cette pratique permettrait de s assurer que les fonds 0 0 l administration des fonds qui leur sont accord s accord s au candidats sont utilis s de la fa on d crite dans la demande Suggestions Autre Autres commentaires Commentaires ou suggestions mentionn es que par quelques 266 8 3 r pondants le CRSH devrait g rer et am liorer le programme d aide aux publications le CRSH doit collaborer aux universit s afin de d cider des priorit s de financement viter le CV commun canadien etc SuggestonsAure None sais pas 7 Suggestions Autre Commentaires positifs N E Suggestions Autre Commentaires g n raux Commentaires qui ne contenaient pas de suggestions ou de 2 0 changements explicites 139 SECTION IV TABLEAUX DOUBLE ENTR E Tableau 29 Q15 Q1 Q2 Q1 Quel est pr sentement votre statut professoral CH STATE TEE DURS EEAS UN SERE Cle professeur Q15 Je n ai jamais pr sent de demande de Profes Profes Profes Profes moins d 11 20 lagde subvention au CRSH titre de chercheur seur seur seur seur Autre 6 10 ans P naia mie AR Per Re 5 ans ans 20 ans principal ou de co chercheur adjoint agr g titulaire m rite mais j
149. guliers comit s 12 17 et 27 Dans dix autres comit s les taux de r ussite taient plus de 20 p 100 moins lev s dans le cas des jeunes chercheurs 68 Tableau 11 Taux de r ussite SOR par comit nouveaux chercheurs et chercheurs r guliers 2008 2009 chercheurs r guliers C E te C a f A F Gy E e Si Re 2 TOM D un point de vue purement d valuation il se peut qu il ne soit pas anormal que les jeunes chercheurs affichent des taux de r ussite plus faibles Pour reprendre les termes d un gestionnaire et chercheur chevronn ce que nous observons c est que les chercheurs r guliers repr sentent une petite minorit de la cohorte des professeurs en sciences humaines des universit s canadiennes Un tri s est effectu au fil des ans Si vous obtenez toujours une subvention vous tes tr s bon vous tes une vedette Dans les nouvelles cohortes chacun est tr s bien form en g n ral beaucoup mieux que les plus anciens mais vous tes alors en concurrence avec les chercheurs toiles r guliers dont j ai fait mention et contre vos jeunes coll gues si bien form s il semble donc vraiment normal que le taux de r ussite soit plus faible parmi les jeunes chercheurs que parmi les chercheurs r guliers En effet si l on tient exclusivement compte du point de vue d un syst me fonctionnel d valuation par les pairs c est le cas Pour augmenter le nombre de jeunes chercheurs subventi
150. hangement fondamental que ce soit cet l ment du processus 6 3 1 Recommandation li e au processus d appel RECOMMANDATION 36 Maintenir le processus d appel aussi transparent que possible rendre publique chaque ann e l avance la composition du comit d appel et s assurer de rendre une d cision rapide dans le cas de tous les appels 78 PARTIE 7 LES AGENTS DE PROGRAMME ET LEUR ROLE ESSENTIEL Pour reprendre les mots d un ancien haut dirigeant du CRSH Les bons agents de programme valent leur pesant d or Le Groupe partage pleinement cet avis Pour le CRSH le respect de la communaut des chercheurs d pend largement de la qualit du travail de ses agents de programme En effet leur contribution devrait tre reconnue publiquement R le essentiel de l agent de programme Dans une note qu il nous a fait parvenir apr s son entrevue un agent de programme chevronn a crit L agent de programme est responsable de la t che tr s vitale d op rationnaliser la structure de l valuation par les pairs au sein des comit s L agent de programme joue un r le extr mement essentiel dans le processus d valuation par les pairs Parmi les nombreux d fis de ce poste mentionnons le plus important qui consiste cr er et g rer des comit s d valuation par les pairs compos s des chercheurs les plus en vue du Canada Par cons quent il va s en dire que ce travail en soi e
151. he Ils taient tr s occup s et g raient de nombreux programmes Ils ont tous deux accompli du tr s bon travail pr sident comit th matique Le r le de l agent de programme est absolument crucial il doit tr s bien conna tre le programme les r gles et les r glements il joue un r le important en cernant et en g rant les conflits d int r ts et en assurant un suivi Les agents de programme sont en g n ral extr mement comp tents lorsqu ils sont actifs depuis quelques ann es C est un r le extr mement important que de choisir les bonnes personnes pour un comit et de leur communiquer clairement les r glements et les attentes pr sident d un comit ARUC amp D apr s l entrevue men e aupr s d un coordonnateur de programme Les composantes de ce travail Je m occupe non seulement de la composition des comit s de la s lection des membres mais j examine aussi les demandes sur le plan de l admissibilit et du contenu au quotidien je parle beaucoup avec les tudiants au sujet des demandes de l attribution des fonds des paiements des transactions courantes j effectue beaucoup de transactions quotidiennes avec les tudiants tous les niveaux de la ma trise au postdoctorat 80 L agent de programme une profession en mergence Le CRSH est recruter des candidats pour combler de nombreux nouveaux postes d agent de programme relativement tous les programmes Le
152. hercheurs est correctement pris en compte 4 6 12 4 35 6 15 3 32 0 100 0 c Les demandes de subventions qui sont pr sent es au CRSH par des chercheurs provenant de petites universit s institutions sont valu es de fa on juste et quitable 382 688 1 139 469 3 526 6 204 6 2 11 1 18 4 7 6 56 8 100 0 d Les demandes de subventions qui sont pr sent es au CRSH par des chercheurs provenant de petites universit s institutions sont valu es en tenant compte de la 466 834 iA 316 3 813 6 203 disponibilit des ressources mises la disposition de ces chercheurs par leur 7 5 13 4 12 5 5 1 61 5 100 0 tablissement Tableau 24 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH Q32a f An i Ni satisfait 7 Ne sais pas Tr s insatis a re Rs Tr s satisfait x x fait 1 Insatisfait 2 ni insatisfait Satisfait 4 5 Ne s applique n 3 pas a la s lection des valuateurs externes qui ont examin votre vos demande s 298 654 994 2 129 931 769 5 775 5 2 11 3 17 2 36 9 16 1 13 3 100 0 b la s lection des membres des comit s d valuation de votre vos demande s 317 630 1 163 1 604 476 1 571 5 761 5 5 10 9 20 2 27 8 8 3 27 3 100 0 c l objectivit de l valuation de votre vos demande s 434 874 1 040 2 119 706 570 5 743 7 6 15 2 18 1 36 9 12 3 9 9 100 0 d l ad quation du montant de
153. heurs provenant des petites universit s devraient obtenir quelques points d avance afin de tenir compte de cette situation Nous n avons 7 Toutefois une personne ayant occup une fonction un haut niveau administratif au CRSH a d clar que au sein des comit s de s lection les petites universit s et les universit s r gionales ont une coute quitable sauf lorsqu un membre d une petite universit qui si ge un comit manque de confiance et en fait trop Il en va parfois de m me de certains jeunes chercheurs si geant un comit 71 pas r solu le probl me du traitement des propositions provenant des petites universit s membre d un comit SOR Les petites universit s sont probl matiques mais ce probl me ne sera pas r solu La difficult r side dans le fait que dans une petite universit vous devez travailler deux fois plus et c est difficile pour la recherche Il y a moins de mobilit au Canada qu aux tats Unis l o vous commencez c est l o vous finissez Ce n est pas le travail du CSRH de r soudre cette question Le seul moyen de solutionner cette situation est de pr voir un plus grand nombre de subventions Ou de plus petites subventions Les petites universit s obtiendraient alors un plus grand nombre de subventions membre d un comit SOR De l avis d une personne rencontr e en entrevue qui a si g diff rents comit s et au conseil d
154. iateurs externes processus d valuations par les pairs plut t petite il serait utile prudent d inclure plus de membres internationaux au processus d valuation e a appuyer plus de chercheurs Doaa a A G des demandes Suggestions Evaluation et Accorder plus de soin la s lection des Compte tenu qu il est difficile d valuer des demandes 1 8 s lection Appr ciateurs externes appr ciateurs externes sp cialement pour les interdisciplinaires il faudrait accorder une extr me importance la s lection des appr ciateurs externes d valuation candidat d importance que son projet de recherche Suggestions Evaluation et R soudre expliquer les valuations externes Les appr ciateurs externes devraient fournir des 52 1 6 s lection Processus g n ral d valuation pafortement divergentes commentaires uniformes et expliquer pourquoi une valuation les pairs n gative para t avoir plus d importance qu une valuation positive Suggestions Processus de demande Simplifier les formulaires de pr sentation des 50 1 6 demandes plus courts 136 Suggestions Processus de demande Rendre plus clairs les instructions de 49 1 5 pr sentation des demandes en ce qui a trait aux attentes et aux crit res d valuation Garantir trois ou plus valuations externes Afin de miniser la partialit des valuations externes il faut s lection Appr ciateurs externes r aliser au moins trois valuations externes Suggestions Evaluation et N
155. ie 14 71 G ographie urbanisme et tudes environnementales 19 63 Psychologie 1 psychologie sociale personnalit et diff rences des individus psychologie du comportement psychologie de la communaut et de l environnement psychologie industrielle et organisationnelle psychologie culturelle 28 75 ducation 1 programme d tudes enseignement des arts de la citoyennet des langues secondes de l histoire de la morale des valeurs de la religion de la g ographie de l environnement des sciences des math matiques de la lecture et de l criture 12 33 tudes interdisciplinaires et multidisciplinaires 84 92 Anthropologie et arch ologie ducation 2 biblioth conomie archivistique administration scolaire andragogie ducation permanente communautaire professionnelle et compar e fondements de l ducation histoire philosophie th ories et sociologie de l ducation enseignement distance enseignement sup rieur technologies ducatives 24 75 Litt rature 1 litt ratures anglaise du Moyen Age l poque victorienne fran aise allemande et slave 106 Nombre Nombre de Num ro si de membres Taux de refus du Nom du comit anie membres potentiels en pourcentage a recruter contactes 19 Litt rature 2 litt rature moderne et contemporaine
156. iennent membre d un comit SOR Comme le montre le Tableau 7 ci apr s il y a toutefois un roulement tr s lev 70 La langue n est pas vraiment un probl me Les gens s efforcent de ne pas si ger un comit s ils ne sont pas suffisamment l aise dans l autre langue Chacun devrait utiliser la langue dans laquelle il est le plus l aise pr sident comit sur les bourses postdoctorales Il est difficile pour moi de suivre la conversation je suis heureux de ne pas avoir un trop grand nombre de dossiers fran ais valuer cette ann e membre SOR Il est probablement plus facile de constituer des comit s bilingues Il est esp rer que les membres des comit s se sentent de plus en plus l aise cet gard Je me souviens de coll gues que je jugeais id aux comme membres d un comit de s lection mais qui n taient pas bilingues Dans la mesure o vous pouvez vous d brouiller c est OK Il suffit de comprendre vous n avez pas vous exprimer dans cette langue pr sident SOR l Un autre haut gestionnaire nous a indiqu la FCI j ai vu des gens de Harvard Princeton MIT etc qui accomplissaient leur t che voil qui envoie un puissant message Jusqu 50 p 100 des membres internationaux me semblent acceptables D autres y compris certains gestionnaires du CRSH pensent toutefois que les membres internationaux peuvent tre une lame deux tra
157. iens se distinguent actuellement l un de l autre par la mesure dans laquelle ils font appel des experts internationaux pour s lectionner des projets de classe internationale financer par le caract re concurrentiel de leurs examens de subvention et par la forme et le niveau de soutien offert Ces diff rences n cessitent un examen attentif en vue de d terminer les meilleures pratiques assurant que le financement public appuie des niveaux internationaux d excellence en recherche Ces meilleures pratiques reposent essentiellement sur le processus d valuation par les pairs comme l indiquent par exemple les r cents rapports de la Royal Society of London et de la British Academy Traduction L valuation par les pairs fait l objet de critiques qui all guent qu elle est co teuse et chronophage et qu elle a un pr jug d favorable envers l innovation Aucune de ces critiques n est enti rement d nu e de fondement mais le groupe de travail a conclu qu il n existait pas de meilleure solution de rechange et que les critiques portaient sur des lacunes de la pratique plut t que sur le principe d valuation par les pairs Dans le cas des subventions le processus d valuation par les pairs demeure essentiel pour d terminer le bon travail R aliser le potentiel des sciences et de la technologie au profit du Canada 2007 p 11 R aliser le potentiel des sciences et de la technol
158. if et de financer ad quatement la nouvelle g n ration de chercheurs constitue fondamentalement un enjeu de politique et il incombe au conseil d administration du CRSH d tablir des objectifs et des r gles cet gard Le fardeau des d cisions pertinentes ne devrait pas incomber aux comit s de s lection Leur r le est d valuer la qualit et la faisabilit des propositions de recherche et non d tablir des objectifs et de prendre des d cisions sur le taux de r ussite La m me r partition des responsabilit s s applique dans le cas des propositions provenant des chercheurs des petites universit s Dans les deux cas les institutions ont aussi des responsabilit s exercer et des r les jouer pour mieux former et soutenir leurs chercheurs recommandations 30 et 31 Le financement de la recherche in dite risque lev constitue actuellement une question particuli rement pr occupante pour tous les principaux organismes subventionnaires du monde L exp rience internationale nous a appris que la reconnaissance des propositions tr s originales et risque lev surtout une poque de vive concurrence et de faible taux de r ussite n est pas son meilleur dans les programmes r guliers Elle pourrait tre mieux atteinte au moyen d initiatives strat giques sp cifiques recommandation 32 La partie 6 examine les divers arrangements pour assurer r guli rement la surveillance et le contr le de la
159. il ne semble pas exister une grande division entre les sciences humaines d une part et les sciences sociales d autre part 85 R F RENCES Archambault Vignole Gagn G C t V La rivi re et Y Gingas 2005 Welcome to the linguistic Warp Zone Benchmarking Scientific Output in the Social sciences and Humanities in Ingwersen P and B Larsen eds Comptes rendus de la 10 conf rence internationale de la International Society for Scientometrics and Informetrics ISSI Stockholm Karolinska University Press British Academy 2007 Peer Review The Challenges for the Humanities and the Social Sciences septembre Conseil de recherches en sciences naturelles et en g nie CRSNG 2008a Rapport du Comit d examen international du Programme de subventions la d couverte CRSNG 2008b Adel Sedra Chair Comit consultatif sur l examen de la structure des comit s de s lection des subvention Recommandations au CRSNG European Science Foundation 2006 Peer review Its Present and Future State Conference Report Prague 12 13 octobre Hicks Diana 1999 The Difficulty of Achieving Full Coverage of International Social science Literature and the Bibliometric Consequences Scientometrics vol 44 n 2 p 193 215 Hornbostel Stefan et Simon Dagmard eds 2006 Wie viel In Transparenz ist notwendig Peer Review Revisited iFQ Working Paper n 1 d cembre Hornbostel Stefan et
160. inale Les candidats retenus la premi re tape de Septembre s lection doivent soumettre une demande plus labor e en tenant compte des commentaires qu ils ont re us du comit L agent de programme s lectionne les valuateurs externes et communique avec eux L agent de programme envoie toutes les valuations une ou deux E valuation par dossier tous les membres de comit et aux candidats es membres de comit 1 attribuent des notes pr liminaires tous les Octobre dossiers pour lesquels ils jouent le r le de lecteur A ou B 2 font parvenir leurs notes pr liminaires l agent de programme Le coordonateur du programme Emm 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires aux membres R union Ottawa Novembre Tous les membres 1 discutent de tous les dossiers 2 attribuent une note finale aux dossiers gt L agent de programme E pr pare l bauche des commentaires du comit Le pr sident de comit D cembre approuve les commentaires crits qui seront envoy s aux candidats 100 ANNEXE 6 Processus de s lection des Initiatives de d veloppement de la recherche Tableau 4 Initiatives de d veloppement de la recherche Processus de s lection de 2009 Octobre avril Janvier juin F vrier juillet Tous les membres 1 lisent tous les dossiers 2 envoient les notes pr liminaires qu ils ont accord
161. ion de Q35 Existe t il votre avis des pr senter de pr senter de biais d valuation qui dans les et j ai l intention de nouvelles mais j ai l intention nouvelles processus mis en uvre au CRSH pr senter d autres demandes titre de le faire titre de mais j ai l intention demandes titre d favorisent le type de recherche demandes au de chercheur chercheur principal de le faire titre de de chercheur que vous conduisez CRSH cetitre au principal au cours au cours des chercheur principal principal au cours cours des des 5 prochaines 3 prochaines au cours des5 des 5 prochaines prochaines ann es ann es ann es prochaines ann es ann es n 1 705 290 1 995 66 38 1 391 300 1 691 179 80 3 096 590 3 686 245 1 190 Q35 Q12 Q14 rang Non 85 5 14 5 100 0 17 2 Oui 82 3 17 7 0 22 2 84 0 16 0 20 6 o o Ed E SI2 2 Q Q35 Q12 Q14 colonne Non 55 1 49 2 54 1 26 9 32 3 44 9 50 8 45 9 73 1 67 7 100 0 100 0 100 0 100 0 100 0 147 Tableau 37 Q31a Q4 Q31 Quel est votre degr d accord avec les nonc s suivants Q31a Les demandes de subventions pour des projets caract re interdisciplinaire sont valu es de fa on comp tente au CRSH En total d saccord 1 En d saccord 2 En accord 3 Tout fait d accord 4 Ne sais pas Q31a Q4 rang e En total d saccord 1 En d saccord 2 En accord 3 Tout fait d acc
162. ions qu il a obtenus de la National Heart Lung and Blood Institute du National Institute on Alcohol Abuse and Alcoholism du National Institute of Diabetes and Digestive and Kidney Diseases et de l American Heart Association M Scarpa a publi plus de 225 articles dans des revues valu es par des pairs Il a galement r dig et cor dig neuf ouvrages ou suppl ments pour des revues sp ciales Mark WEISS Directeur Division of Behavioral and Cognitive Sciences National Science Foundation Arlington Virginie TATS UNIS Mark Weiss a obtenu un doctorat en anthropologie physique de l University of California Berkeley en 1969 La m me ann e il est devenu membre de la facult d anthropologie de la Wayne State University Apr s avoir occup le poste de professeur et de directeur de la facult d anthropologie il a quitt la Wayne State University en 2000 pour entrer au service de la National Science Foundation des tats Unis M Weiss a t jusqu en 2005 directeur du programme d anthropologie physique de la National Science Foundation Durant cette p riode il a t d tach l Office of Science and Technology Policy de la Maison Blanche o il a tenu le r le de directeur adjoint de la direction des sciences sociales comportementales et conomiques pendant un an Dans le cadre de ces fonctions il a aid le conseiller sup rieur en sciences du pr sident traiter des questions concernant les sci
163. isables d coulent de cette situation pr sident comit th matique Souvent presque dans tous les cas on a dans notre programme des demandes de groupes d universit s Donc souvent on trouve des gens de plus petites universit s On ne se pose donc pas le m me genre de question que pour les SRO Il n est videmment pas n cessaire pour avoir une d cision favorable d avoir une petite universit dans la demande On se demande est ce la bonne quipe est ce qu elle est assez compl te avec l expertise n cessaire pour le genre de question que l on se propose d examiner La taille de l universit comme telle n a pas d importance mais on en trouve dans plusieurs projets pr sident d un comit GTRC Toutefois le portrait semble diff rent dans le cas des comit s SOR Bon nombre des personnes que nous avons rencontr es en entrevue pensaient qu il fallait reconna tre que l valuation des propositions provenant des petites institutions taient bel et bien probl matique et certaines ont indiqu que les principes n taient peut tre pas si clairs ou qu ils n taient pas appliqu s uniform ment Cependant elles ne partageaient pas le m me point de vue en ce qui a trait l attitude ou la politique adopter Les universit s en p riph rie oui a pose probl me Souvent les membres de comit viennent de grands centres et ne comprennent pas la situation des chercheurs dans les pe
164. ise cette situation se produit bien que dans peu de cas la demande devrait suffire membre d un comit SOR Je n ai jamais vu de cas o de l information non appropri e a t soumise au comit Si les membres du comit sont bien choisis ils s en tiendront aux faits Mais le plus s r c est de se concentrer sur l information des propositions Les pr sidents doivent r affirmer cette r gle pr sident d un comit SOR En ce qui a trait l information nous devrions nous en tenir au dossier J ai entendu ceci j ai entendu cela ce n est pas v rifiable Quelques l ments se sont ajout s mais le pr sident a soulign qu ils ne figuraient pas dans le dossier et ne pouvaient pas tre pris en compte Il avait raison membre d un comit SOR 46 e Les membres qui agissent titre de lecteurs d sign s d une s rie de propositions doivent lire ces dossiers avec soin et leur accorder une note d apr s leurs constats analytiques d taill s e Les membres doivent aussi lire avec soin le sommaire de toutes les autres propositions pr sent es leur comit e Les pr sidents doivent lire le sommaire de toutes les propositions pr sent es leur comit Ils doivent aussi lire en entier les dossiers class s dans la moyenne appel s 4 A en raison des notes que les lecteurs d sign s leur ont attribu es et qui par cons quent doivent tre discut s en profondeur par tous les
165. it am lior de mani re maintenir sa haute r putation l chelle internationale parmi les meilleurs organismes subventionnaires La partie 2 examine les pratiques du CRSH en mati re de s lection des pairs c d les appr ciateurs externes les membres des comit s de s lection et leurs pr sidents Il s agit d un enjeu crucial puisque la qualit des pairs et leur rendement constituent la pierre angulaire de tout le processus largir le bassin des pairs potentiels all ger et faciliter leur travail en passant le plus rapidement possible aux technologies num riques et en ligne et mieux reconna tre publiquement leurs contributions voil qui semble autant de moyens n cessaires et pratiques d am liorer le taux d acceptation des chercheurs participant l valuation par les pairs recommandations 1 10 voir la liste compl te la page 82 La partie 3 porte sur les instructions et les directives fournies aux pairs avant les r unions de s lection En g n ral le CRSH indique tr s clairement ses attentes de la part des diff rents groupes de pairs et il doit tre f licit de certaines innovations qu il a mises en uvre telles que la t l conf rence de calibrage de la notation mise en uvre dans certains de ses programmes Parmi ses conclusions le groupe a soulign que ce que l on attend des membres des comit s de s lection et de leurs pr sidents en ce qui a trait l ampleu
166. it par Mai HA a les membres de comit Ces commentaires ES envoy s aux candidats J Etape finale Les candidats retenus la premi re tape de Septembre s lection doivent soumettre une demande plus labor e en tenant compte des commentaires qu ils ont re us du comit T l conf rence Tous les membres Octobre 1 discutent de tous les dossiers 2 sugg rent les questions poser durant l entretien avec les quipes de recherche L agent de programme NZ s lectionne les valuateurs externes et communique avec eux Le pr sident de comit 1 finalise la liste de questions poser aux Novembre candidats 2 envoie cette liste au coordinateur du programme Le coordonateur du programme 1 fait parvenir les questions du comit D 4 E ensemble des membres 2 envoie toutes les valuations six valuation z par dossier tous les membres de comit et aux Les membres de comit candidats 1 attribuent des notes pr liminaires tous les Novembre dossiers 2 font parvenir leurs notes pr liminaires au coordinateur du programme Le coordonateur du programme O 1 recueille toutes les notes pr liminaires h E 2 fait parvenir toutes les notes pr liminaires aux membres R union Ottawa Tous les membres de comit 1 posent les questions pr par es aux candidats 2 discuten
167. l et non en raison du niveau de rendement des agents de programme r guliers La charge de travail de tous les agents de programme est lourde Dans le cas des programmes th matiques et strat giques o les agents sont tous des professionnels permanents certains comptant de tr s nombreuses ann es d exp rience chaque agent doit g rer diff rents programmes trois ou m me davantage d apr s diff rents ch anciers certains se d roulant en parall le De nouveau le niveau de satisfaction des valuateurs pairs travaillant avec ces agents de programme est ici lev Tant dans le cas des programmes SOR que des programmes de bourses doctorales et postdoctorales la fonction des agents de programme est soutenue par un coordonnateur de programme Ses responsabilit s sont plus exclusivement de nature proc durale que celles des agents de programme Par cons quent le coordonnateur a un profil de carri re un niveau de scolarit et une exp rience de travail qui diff rent de ceux de l agent de programme Les agents de programme doivent non seulement tre excellents dans l exercice de leurs responsabilit s administratives et proc durales mais aussi acqu rir et maintenir une compr hension approfondie du domaine intellectuel dans lequel ils interviennent Voil qui est tr s exigeant c est pourquoi la qualit de ces agents de programme devrait tre et demeurer une priorit constante et absolue au CRSH fili re Exc
168. le L administration du CRSH devrait tre f licit e de son professionnalisme et de ses normes lev es qui sont conformes aux pratiques internationales d valuation par les pairs Je profite de l occasion pour remercier les personnes qui ont jou un r le essentiel dans la pr paration du pr sent rapport e les membres du Groupe dont le remarquable ventail d expertise et d exp rience nous a permis d examiner le syst me d valuation par les pairs du CRSH de mani re comparative Chaque membre a apport de nombreuses contributions substantielles nos d lib rations et a fa onn nos conclusions de mani re importante Leur efficacit et leur sens de l humour ont grandement facilit mon r le en tant que pr sidente du Groupe e Camille Limoges coordinatrice du Groupe qui a synth tis notre pens e avec grande comp tence et a dirig l important effort de collecte des donn es y compris la tenue de nombreuses entrevues qui a aliment notre travail Sa propre expertise dans le domaine de l valuation par les pairs a profond ment influenc le rapport et nos conclusions e Fran ois Simard et ses coll gues du personnel du CRSH qui ont aid Camille Limoges dans la collecte et le traitement des donn es Leur travail illustre parfaitement le remarquable professionnalisme du CRSH e Marilyn Taylor vice pr sidente Subventions et Bourses au CRSH pour le formidable soutien qu elle nous a procur to
169. le Fonds d initiatives internationales FII le candidat doit avoir la perspective pluridisciplinaire n cessaire pour valuer la vaste vari t des propositions disciplinaires et pluridisciplinaires pr sent es dans le cadre de ces programmes cette caract ristique est des plus importantes puisque la majorit des programmes strat giques ne comportent aucun appr ciateur externe en partie cause du simple fait que l organisme ne dispose pas de la main d uvre ad quate qui se consacrerait au processus chronophage qui consiste trouver des appr ciateurs experts par exemple il n est surprenant de trouver des agents de la division des subventions strat giques en train de g rer quatre comit s de s lection et une charge de 250 dossiers De plus il serait extr mement chronophage de trouver des appr ciateurs ayant la perspective pluridisciplinaire n cessaire dans certains programmes alors qu il est d j extr mement difficile de trouver les membres requis des comit s relativement ces m mes programmes Enfin un programme comme les IDR comporte cinq crit res sp cifiques pour valuer les l ments constitutifs initiaux de la recherche qui permettront une quipe pluridisciplinaire de chercheurs chevronn s de juger un projet IDR selon ces conditions la diff rence des IDR les subventions ordinaires de recherche portent sur des projets disciplinaires maturit et de pointe qui requi rent l expertise d u
170. le cas Le pr sident est choisi par l agent de programme responsable d un comit donn qui a vu ses membres en action au cours des ann es pr c dentes et qui conna t la r putation des diff rents chercheurs La supervision par la gestion semble tre exerc e en proportion de l exp rience et des ant c dents de l agent de programme 2 3 3 Acceptation d agir comme pr sident Bien que les personnes ayant agi titre de pr sident aient appr ci leur exp rience le recrutement des pr sidents s est r v l une t che tr s difficile D apr s l information fournie par un agent de programme chevronn chef d quipe le taux de refus est d environ 65 p 100 Ce probl me devient parfois criant parce que le bassin de candidats potentiels est beaucoup plus petit que dans le cas des membres des comit s 2 3 4 Recommandation li e la s lection des pr sidents RECOMMANDATION 10 Rendre plus explicites transparents et publics les crit res et le processus de s lection des pr sidents 39 PARTIE 3 INSTRUCTIONS ET DIRECTIVES Les diff rentes phases du processus de s lection dans le cas du principal programme de subventions du CRSH les subventions ordinaires de recherche SOR sont illustr es l annexe 3 du pr sent rapport On constate des variations dans les processus adopt s l gard de certains programmes th matiques o par exemple une tape suppl mentaire peut tre n ces
171. lentes mais tr s complexes ne devraient pas tre subventionn es si les demandeurs n ont pas d montr qu ils poss dent l exp rience et la capacit n cessaires pour ma triser et g rer une telle complexit Le Groupe est d avis que la qualit de la proposition de recherche son originalit et son importance potentielle sur le plan de la recherche ou autrement devraient toujours retenir l attention en premier Les r alisations en recherche devraient toujours venir en second permettant aux valuateurs de d cider si le candidat a d montr la capacit de diriger la recherche et de la mener bien Le fait d accorder la priorit la qualit des propositions encourage une recherche in dite et novatrice et favorise un march intellectuel plus ouvert Le fait d accorder un second r le aux r alisations se limitant une v rification de la faisabilit peut contrer l inertie intellectuelle et encourager les jeunes chercheurs pr senter des propositions r alistes 4 2 1 Recommandation li e aux crit res d valuation RECOMMANDATION 24 liminer les r gles de ratio 60 40 Aviser les comit s de s lection du fait que le CRSH vise soutenir des propositions dont l excellence est incontestable et que par cons quent la qualit de la proposition de recherche son originalit et son importance potentielle devraient toujours avoir la priorit absolue au moment de la prise de d cision Les ant
172. les candidats provenant des petites institutions 17 1 2 Sommaire de l information contextuelle Le CRSH soutient plus de 5400 membres du corps professoral temps plein et 3 800 tudiants des cycles sup rieurs qui sont les meilleurs et les plus concurrentiels du pays En appliquant un processus d valuation par les pairs rigoureux le CRSH subventionne environ 20 du corps professoral temps plein dans ses domaines et 7 des tudiants temps plein des cycles sup rieurs au Canada Les comit s de s lection du CRSH sont compos s de chercheurs en milieu universitaire et le cas ch ant d experts provenant de l ext rieur du milieu universitaire Ces comit s s lectionnent les demandes applicables aux programmes du CRSH par un rigoureux processus ind pendant d valuation par les pairs Chaque ann e entre 350 et 400 chercheurs et experts canadiens et internationaux se portent b n voles pour si ger ces comit s de s lection Ensemble ils valuent plus de 9 000 propositions de recherche et de bourses et formulent des recommandations d apr s l excellence acad mique et d autres crit res cl s quant aux projets financer Environ 5 000 autres experts canadiens et internationaux fournissent des valuations crites l gard des propositions afin d aider les comit s de s lection prendre une d cision En 2008 2009 le budget pr vu du CRSH en ce qui a trait aux subventions et aux bourses
173. les dossiers qui leur sont assign s 2 font parvenir leurs notes pr liminaires l agent de programme Les universit s 1 valuent et classent toutes les demandes 2 s parent les demandes en deux cat gories la liste A et la liste B 3 font parvenir les demandes faisant partie de la liste A au CRSH en vue du concours national L agent de programme 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires aux membres T l conf rence de pr s lection Les membres de comit 1 discutent des demandes probl me et des demandes que le personnel du CRSH ou eux m mes estiment n cessiter une discussion 2 s parent les demandes en deux cat gories les demandes qui sont recommand es et celles qui ne le sont pas 3 font parvenir les demandes recommand es au CRSH en vue du concours national tape finale Concours national L agent de programme Les membres de comit 1 attribuent des notes pr liminaires aux dossiers qui leur sont assign s 2 envoient leurs notes pr liminaires l agent de programme amp T l conf rence de s lection Les membres de comit 1 discutent des demandes probl me et des demandes que le personnel du CRSH ou eux m mes estiment n cessiter une discussion 2 tablissent la limite du financement pouvant tre accord
174. les universit s doivent mieux reconna tre les contributions de leur corps professoral lorsque ses membres agissent en tant qu appr ciateurs Sur un autre plan un syst me en ligne faciliterait la t che et augmenterait les chances de rendre ces valuations aussi utiles que possible Enfin nous soulignons une critique formul e par de nombreux appr ciateurs contrairement leur exp rience aupr s d autres organismes subventionnaires internationaux ils trouvent lt 15 frustrant de n obtenir que si peu de r troaction du CRSH une fois leur t che accomplie Le rapport de la British Academy que nous avons cit plus t t souligne La communication lectronique signifie maintenant que l valuation par les pairs peut tre plus facilement un processus international pouvant largir l ventail et le nombre d valuateurs p 5 15 On nous remercie mais on ne sait pas ce qui se passe ensuite on l apprend par la bande On peut videmment aller sur le site mais ce serait beaucoup de travail il faudrait au moins nous dire quand les r sultats apparaissent sur le site web Il n y a aucune r troaction une fois la t che accomplie je ne sais pas si la proposition que j ai valu e a t subventionn e j aimerais le savoir j aimerais aussi en savoir davantage sur la mani re dont l valuation est utilis e de m me que ce que les autres appr ciateurs ont dit Ceci se fait dans
175. lissement Suggestions Processus de demande Mettre au point un processus clair de Le CRSH doit mettre au point un processus clair de r vision de re soumission r vision de re soumission des demandes auquel participeraient les m mes appr ciateurs externes que le processus r gulier Gabon le gandaetces put Guesemons de s lection des grands et des petits tablissements s san peau temes PP Elens quantas trncamen es amants o o s lection Appr ciateurs externes d cisions quant au financement des demandes s lection R troaction rendue la suite d une valuation inexacte Suggestions Evaluation et S assurer que les valuateurs sont bilingues Les valuateurs doivent tre capables de comprendre le 25 s lection Processus g n ral d valuation pal fran ais et l anglais les pairs Suggestions Financement Financer du moins partiellement les demandes 25 0 8 ayant obtenu une note lev e 137 Suggestions Evaluation et s lection Crit res Donner plus d importance la recherche Il serait bon de donner plus d importance la recherche 24 0 8 d valuation interdisciplinaire interdisciplinaire et d am liorer l expertise du CRSH pour l valuation ce type de recherche Suggestions Evaluation et Demander aux comit s de s lection de donner Le CRSH devrait prendre des d cisions plus rapidement 23 0 7 s lection R troaction des commentaires de prendre des d cisions concernant les demandes De plus le CRSH devrait four
176. lit de l valuation par les pairs au CRSH et ont fait l loge du processus de s lection Par ailleurs ils ont soulign que la charge de travail tait extr mement lourde Si certains ont aim l exp rience de s lection et ne s attendaient pas recevoir des honoraires la plupart des membres internationaux ont exprim du d couragement en raison de l absence de fonds pour les r mun rer Le Groupe est d avis que dans la situation pr sente de stress financier il ne semble pas appropri de r duire les subventions pour offrir une r mun ration aux membres des comit s de s lection De plus l exp rience d autres pays n indique pas quoi qu il en soit qu une r mun ration des membres des comit s de s lection am liorerait consid rablement la situation Enfin le groupe est aussi fortement d avis que l all gement de la charge de travail des membres des comit s le fait de leur fournir une meilleure r troaction et le recours des r compenses symboliques importantes demeurent plus prometteurs comme avenues efficaces et appropri es La collaboration intellectuelle internationale prend actuellement norm ment d ampleur dans l Union europ enne et les chercheurs sont incit s largir leur r seautage international Le CRSH aurait peut tre avantage explorer de concert avec les autorit s de l Union europ enne des moyens de faciliter la collaboration cet gard La r duction de l
177. luation qui dans les processus mis en uvre au Mau vaise 2 295 4 8 325 5 3 211 3 5 193 3 2 Moy enne 3 756 12 3 866 14 1 295 4 9 334 5 5 Bonne 4 1 227 19 9 1 441 23 5 380 6 3 434 7 2 CRSH d favorisent le type de recherche que vous conduisez Q35 Non Oui Excel lente 5 653 10 6 785 12 8 194 3 2 252 4 2 Ne sais pas 3 123 50 8 2 619 42 7 4 921 81 0 4 768 78 7 Nbre 2 959 3 045 6 004 n 6 152 100 0 6 130 100 0 6 077 100 0 6 061 100 0 49 3 50 7 100 0 135 Tableau 28 Fr quence d appariation des commentaires de la Q37 en ordre d croissant Suggestions Evaluation et S assurer que les appr ciateurs externes Les chercheurs d exp rience sont mieux plac s pour valuer 32 10 3 s lection Appr ciateurs externes sont des chercheurs sp cialistes des propositions que leurs coll gues juniors EM d exp rience de grande renomm e Suggestions Evaluation et Fournir des commentaires plus d taill utile de 1 faut encourager les appr ciateurs externes fournir des 6 8 s lection R troaction la part des appr ciateurs externes commentaires d taill s et constructifs pour aider le candidat am liorer son projet de recherche Suggestions Evaluation et Fournir des commentaires plus d taill utile de 1l faut encourager les comit s fournir des commentaires s lection R troaction la part des comit s de s lection
178. mbre de comit s de s lection SOR s est accru totalisant 24 cette ann e La structure de ces comit s pourrait tre examin e plus fond mais sans oublier que les comit s trop petits et trop sp cialis s ne cadrent pas avec la tendance clairement d montr e par les chercheurs eux m mes envers les programmes de recherche interdisciplinaires et risquent d encourager l inertie plut t que des comportements transformateurs et plus risqu s La question de la charge de travail est li e celle de l tendue des connaissances et de la compr hension de chaque proposition requises de la part de tous les membres d un comit de s lection donn cet gard les entrevues ont r v l que le comportement varie beaucoup et 44 que ce que l on attend de chaque membre d un comit n est pas compris de fa on uniforme et sans ambigu t En effet les manuels l intention des membres des comit s n exigent pas sp cifiquement que les membres lisent toutes les demandes soumises leur comit Un agent de programme nous a dit que en g n ral on demande que les membres lisent au moins les r sum s des dossiers dont ils ne sont pas lecteurs A ou B Dans le cas des tr s grands comit s on ne peut s attendre plus La situation est diff rente dans le cas des petits comit s En g n ral cette question est soulev e la r union des pr sidents et au moment de la t l conf rence de calibrage Quoi q
179. me de gestionnaires et de membres du conseil d administration ainsi qu aupr s de repr sentants d associations et ou d institutions Des questions ouvertes ont t fournies aux r pondants l avance Certaines entrevues ont eu lieu en personne Ottawa les autres par t l phone chacune durant entre 40 et 80 minutes voir le Tableau 1 ci apr s Pour obtenir la liste des membres du Groupe voir l annexe 1 du pr sent rapport 12 Tableau 1 R partition des entrevues Appr ciateurs externes 6l Membres des comit s de s lection Pr sidents des comit s de s lection Agents de programme Gestionnaires et conseil d administration du CRSH 8 Science Metrix a aussi men pour le compte du Groupe d experts un sondage Web aupr s du corps professoral en sciences humaines d universit s canadiennes durant dix semaines d ao t octobre de cette ann e Plus de 6 000 questionnaires ont t remplis et analys s voir le Tableau 2 ci apr s Tableau 2 chantillonnage du sondage Web sur le processus d valuation par les pairs du CRSH Nombre de courriels obtenus recueillis a 19 826 Nombre de courriels de non livraison b 2 169 Population sond e nombre de r pondants potentiels c a b 17 657 Calcul en fonction d un taux de r ponse de 50 c d 50 oui 50 non taux de confiance de 99 Le Groupe a tenu trois r unions Les deux premi res ont eu lieu en personne
180. me de subvention que le CRSH combien de fois avez vous agi titre Jamais Une fois Deux fois Trois fois et plus Q30a de MEMBRE d un comit Q E E E d valuation de demandes de subventions Q30b de PR SIDENT d un comit Q Q Q Q d valuation de demandes de subventions Q30c d EVALUATEUR EXTERNE pour Q E Q Q l valuation de demandes de subventions Q30d de MEMBRE d un comit Q Q E E d valuation de demandes de bourses doctorales ou ostdoctorales Q30e de PRESIDENT d un comit E E Q Q d valuation de demandes de bourses doctorales ou postdoctorales Q31 Quel est votre degr d accord avec les nonc s suivants En total En Tout fait d saccord d saccord En accord d accord Ne sais 1 2 3 4 pas Q31a Les demandes de subventions Q Q Q Q Q pour des projets caract re interdisciplinaire sont valu es de fa on comp tente au CRSHI Q31b Les demandes de subventions qui Q Q Q Q Q sont pr sent es au CRSH par de jeunes chercheurs en poste depuis moins de 5 ans sont valu es de fa on juste et quitable parce que le degr d exp rience de ces chercheurs est correctement pris en compte Q31c Les demandes de subventions qui Q Q Q Q Q sont pr sent es au CRSH par des chercheurs provenant de petites universit s institutions sont valu es de fa on juste et quitable Q31d Les demandes de subventions qui Q Q Q Q Q sont pr sent es au CRSH par des chercheurs provenant de petites universit s in
181. ment sur des articles publi s dans des revues savantes sont beaucoup moins fiables dans le cas des domaines couverts par le CRSH que dans celui des sciences de la sant des sciences naturelles ou du g nie De nombreux facteurs expliquent cette insuffisance tels que le r le central des livres en sciences humaines la forte orientation nationale et la forte pertinence de la recherche dans ces domaines ainsi que la production d une documentation plus polyglotte En gardant ceci l esprit surtout l l ment linguistique il demeure toutefois significatif que le Canada se classe troisi me au monde dans l change d articles publi s dans des revues de prestige produisant environ 6 p 100 de la documentation comparativement un peu plus de 4 p 100 dans toutes les autres disciplines scientifiques en sant en sciences naturelles et en g nie imm diatement apr s les tats Unis et le Royaume Uni Les chercheurs canadiens sont galement bien int gr s et appr ci s dans les r seaux internationaux et quelque 25 p 100 de leurs articles sont r dig s de concert avec des chercheurs d autres pays Depuis de nombreuses ann es les taux de r ussite des propositions pr sent es au CRSH sont assez faibles ce qui montre que le processus est devenu extr mement concurrentiel R sultat le CRSH ne peut soutenir qu environ que 20 p 100 des chercheurs canadiens un moment donn La qualit du processus d valuation pa
182. mit s de s lection sesssesesocesssoossssoossssocesesssecesssoosssssoosse 221 valuation des membres des COMIT S nr 222 S lection des membres des comit s nus ec hier 2 2 3 Acceptation de si ger en tant que membre d un comit sssessessesesesseseesee 2 2 4 Recommandations li es la s lection des membres des comit s 0 02 2 3 Pr sidents des comit s sssesesssoossssoossesoocsescoecesssoossssoossesooesesssecssssoossssoosses 2 3 1 valuation des pr sidents ii X32 S lection des pr sidents des COMIM S Hits mnt ina 2 3 3 Acceptation d agir comme pr sident 2 3 4 Recommandation li e la s lection des pr sidents s nsssenssesseeseesseeseeseesee PARTIE 3 INSTRUCTIONS ET DIRECTIVES ssssneersmennennenrenrennee 3 1 Instructions et soutien l intention des candidats ss 3 1 1 Recommandation li e aux instructions et au soutien l intention des candidats a nd ee A RAS NN A Re Ne de ce 3 2 Instructions l intention des pairs seoesooesooessossssesssocssoossooesoossssesssesesooes 3 2 1 Instructions l intention des appr ciateurs externes 3 2 2 Recommandation li e aux instructions l intention des appr ciateurs OKOTE E rte an a DO ame ete tn tnt ns 3 2 3 Instructions l intention des membres des comit s de s lection avant les D MOS Rte A ne RS ne a ne de 3 2 4 Exigences en mati re de lecture si renarienna sen en 3 2 5 R gles portant sur l chang
183. mit s de s lection du CRSH 4 248 1 553 37 3 943 1 494 38 4 028 1 537 38 3 872 1 549 40 Bien entendu le groupe qui a soulign plusieurs reprises dans le pr sent rapport la n cessit de r duire la charge de travail des valuateurs pairs et des agents de programme participant aux programmes subventionnaires de recherche ne peut ignorer ici que pour la division responsable de g rer le programme des bourses au CRSH cette nouvelle approche entra nerait une importante charge de travail suppl mentaire Si de nouveaux comit s de s lection applicables aux bourses taient tablis ce rapatriement n entra nerait pas de fardeau accru pour chaque valuateur Cela pourrait n cessiter l embauche d autres coordonnateurs du programme des bourses Enfin il importe aussi de ne pas oublier que les comit s de s lection des bourses doctorales utilisent la t l conf rence dans le cadre de leurs r unions de sorte que la logistique suppl mentaire demeurerait plus simple que dans le cas des comit s se r unissant pendant des jours Ottawa 65 4 7 1 Recommandation li e au programme des bourses doctorales RECOMMANDATION 29 liminer le stade de s lection universitaire dans le cas du programme des bourses de doctorat 66 PARTIE 5 QUESTIONS DE POLITIQUE Dans cette partie du rapport nous examinons trois questions n cessitant une clarification des responsabilit s et la prise
184. n le soutien aux propositions portant sur les sciences transformatrices se heurte des obstacles dans certains domaines o l accent est mis fortement sur un nombre limit de revues Cela alimente l orthodoxie et l accent que nous mettons sur les ant c dents peut encourager cette situation Les comit s recherchent ce type de revues dans les curriculum vitae En bout de ligne nous revenons la qualit des membres des comit s On ne peut s attendre de l audace de la part de membres trop dociles C est aussi une question de formation et de directives l intention des pr sidents A l heure actuelle ces questions sont de toute premi re importance pour tous les principaux organismes du monde Il semble aussi s agir d un enjeu n cessitant une r flexion strat gique au CRSH 5 3 1 Recommandation li e au soutien de la recherche transformatrice risque lev RECOMMANDATION 32 Nonobstant l investissement du CRSH dans le soutien de la recherche risque lev par le programme Initiatives de d veloppement de la recherche et d autres programmes pilotes tels que le programme de recherches autochtones et le programme en recherche cr ation explorer la possibilit de cr er un programme pilote exclusivement d di au soutien de la recherche transformatrice et in dite risque lev ouvert tous les domaines des sciences humaines tablir cet gard des r gles d val
185. n comit disciplinaire et les conseils d appr ciateurs externes Lorsqu il cr e un comit l agent de programme doit s assurer qu il est bien quilibr en termes de r gion langue sexe repr sentation internationale et pluridisciplinarit Dans certains cas il se peut que le comit doive aussi tre de nature multisectorielle tant donn les objectifs du programme en question Voil qui ajoute aux d terminants num r s ci dessus et fait en sorte que la cr ation d un comit est une t che tr s complexe et une question d quilibre tr s d licat qui n cessite beaucoup de pr paration et un tr s solide jugement de la part de l agent de programme Certains des crit res mentionn s ici ont manifestement trait aux programmes th matiques plut t qu au programme SOR par exemple mais l approche demeure largement la m me 31 Couverture disciplinaire Dans l ensemble les membres et les pr sidents s entendent en g n ral sur le fait que la couverture des disciplines ou des sp cialit s requises est bien g r e dans leur propre comit Cependant certains soulignent que en raison des r gles strictes du CRSH en mati re de conflits d int r ts voir ci apr s il arrive que lorsqu un membre doit sortir de la salle le niveau d expertise pour valuer un dossier donn devienne beaucoup plus faible Cette situation se produit souvent tant donn qu un membre est exclu des d lib ration
186. n consensus L agent de programme seconde le pr sident en lui indiquant ce qui doit tre fait si j oublie un l ment il s assure aussi que de bonnes notes sont prises relativement chaque demande Cela fonctionne bien pr sident d un comit SOR Le pr sident doit maintenir le cap faire preuve de respect et axer les membres sur les enjeux pr sident comit th matique Tous les pr sidents consid rent que le fait de s assurer que tous les membres du comit y participent constitue une responsabilit cl accordant une attention sp ciale la contribution des nouveaux membres Je commence par expliquer aux membres du comit pourquoi nous sommes l Les jeunes universitaires participent parfois un comit parce que c est un honneur et qu ils esp rent obtenir un peu de mentorat et apprendre Il est important d avoir des v t rans et un bon pr sident les rend plus l aise Je prends le temps de discuter avec eux pendant les pauses et d aider clarifier les choses C est un tr s bon processus en bout de ligne pr sident comit th matique Dans une note mentionn e plus t t en tant que compl ment son entrevue un agent de programme chevronn nous a d crit le r le sp cifique d un agent de programme au moment o le comit de s lection se r unit Au moment de la r union du comit de s lection le pr sident dirige le comit et ses d lib rations En
187. nale Questions sur le ph nom ne des sans abri et la diversit au Canada 1 comit 5 membres 2 ou tous les membres voir les com mentaires S il y a peu de demandes tous les membres doivent les lire S il y a beaucoup de demandes on nomme deux lecteurs par demande tudes de recherche valu es par les pairs d infrastructure Canada 1 comit 5 membres Tous les membres Le CRSH commande l valuation de la valeur scientifique des demandes alors que ses Projet Metropolis 0 0 Oui 2 partenaires subventionnaires f d raux en value la pertinence en mati re de politiques Aide aux ateliers TEN et aux colloques 1 comit 10 12 3 Non 0 de recherche au membres Canada Aide aux revues 5 comit s 3 Non 0 savantes 6 membres Subventions de 1 comit valuation faite recherche a Peut Se 12 14 2 P 0 uniquement la demande cr ation en arts tre dite membres du comit et lettres 96 Nombre de Nombre de valuation comit s et de lecteurs Programme membie par paf Oui Pose Commentaires comit demande N E ee Bourse canadienne Bora Laskin pour Les demandes pr sent es la recherche sur ces trois programmes les droits de la 1 comit 4 5 Tous les Oui 2 de bourses sont valu es personne membres membres par le m me comit Les Bourse Th r se bourses sont offertes tous F Casgrain les deux ans Bourse Jules
188. nchants s ils sont en trop grand nombre vous perdez la culture nationale l expertise sur la pertinence g ographique etc 34 Tableau 7 Membres des comit s canadiens et trangers qui reviennent si ger subventions ordinaires de recherche 2008 2009 Nombre total de membres en 2008 Nombre de membres revenant si ger Comit en 2009 Canadiens trangers Canadiens trangers 410 01 410 02 0 _ N Total Ce roulement excessif ne provient pas des personnes ayant jou leur r le correctement Il d pend plut t des chercheurs en cong autoris ou sabbatique ou devenant en conflits d int r ts parce qu ils ont pr sent une proposition valu e cette ann e l De nouveau le CRSH a des r gles tr s rigoureuses en mati re de conflits d int r ts de sorte qu une personne n est pas autoris e si ger un comit au cours de l ann e o elle pr sente une demande de subvention tandis que dans le cas des autres organismes il est jug suffisant qu un membre quitte la salle lorsque le comit traite son dossier Un roulement lev signifie un nombre lev de membres moins chevronn s et peut expliquer l excessif puisement de l valuation par les pairs Le fardeau diminue g n ralement avec les ann es d exp rience et la stabilit des comit s justifie aussi une plus grande permanence 2 2 3 Acceptation de si ger en tant que membre d un comit L
189. ndations li es aux instructions destin es aux comit s avant les r unions RECOMMANDATION 13 Pour faciliter la consultation compl ter les manuels de r f rence l intention des membres des comit s par un document de deux pages r sumant de fa on sch matique les responsabilit s les mesures prendre et les r gles suivre RECOMMANDATION 14 laborer de concert avec des pr sidents chevronn s un manuel l intention des pr sidents reposant sur les pratiques exemplaires en mati re de pr sidence des r unions des comit s de s lection RECOMMANDATION 15 Continuer d utiliser les r unions annuelles destin es aux pr sidents pour expliquer les politiques et les r glements mais mettre aussi l accent sur ce qui est sp cifiquement attendu de la part des pr sidents et sur les pratiques exemplaires en mati re de tenue des r unions des comit s de s lection RECOMMANDATION 16 Appliquer tous les programmes la pratique qui consiste tenir une t l conf rence d instructions et de calibrage de la notation avec tous les membres avant la r union du comit RECOMMANDATION 17 Pr ciser et clarifier dans les manuels et autres instructions les obligations des membres et des pr sidents des comit s de s lection en ce qui a trait la lecture et l analyse des propositions 36 z x s 3 L information ne figurant pas dans la proposition sur une personne un rendement etc ne devrait pas tre perm
190. ne combinaison ad quate de formation universitaire formelle de haut niveau une compr hension des activit s de recherche ainsi que des capacit s et des aptitudes en organisation et en gestion Maintenir concurrentielle la structure des salaires des agents de programme afin d attirer et de conserver un personnel de qualit RECOMMANDATION 38 D finir l intention des agents de programme une structure de carri re o ils pourront progresser Poursuivre le d veloppement d un programme de formation destin aux nouveaux agents de programme Maintenir et soutenir l largissement des comp tences des agents de programme en recherche et en science Encourager les agents de programme qui travaillent d j dans le syst me acqu rir et d velopper des comp tences en gestion et d autres aptitudes R compenser et reconna tre publiquement le rendement exceptionnel RECOMMANDATION 39 Rendre davantage publics et transparents le r le et les responsabilit s des agents de programme au CRSH ainsi qu encourager et soutenir les interactions avec la communaut des chercheurs 83 CONCLUSION Les questions structurant le mandat de notre groupe visaient toutes valuer la qualit et l int grit des pratiques d valuation par les pairs du CRSH Nous avons clairement nonc notre conclusion la section 1 de la partie 1 du pr sent rapport Le Groupe souhaite unanimement d clarer que le
191. ne note minimale de 3 relativement chaque composante est requise pour se qualifier en vue d obtenir une subvention 48 Guide des membres de comit s de s lection Programme des subventions ordinaires de recherche novembre 2007 p 23 54 l heure actuelle dans le cas des chercheurs r guliers une pond ration de 60 p 100 doit tre attribu e aux r alisations en recherche et de 40 p 100 la description du programme de recherche Dans le cas des nouveaux chercheurs la pond ration est de 60 40 ou de 40 60 respectivement selon le ratio qui produira la note globale la plus favorable Le Groupe estime que les valuations par les pairs devraient tenir compte de ces deux aspects le programme de recherche et les ant c dents Cependant l utilisation d une pond ration rigide 60 40 devrait tre s rieusement remise en question Le CRSH vise soutenir des propositions dont l excellence est incontestable et qui sont susceptibles de produire des r sultats de recherche novateurs et de haute qualit Les r alisations en recherche en soi ne devraient pas donner droit quiconque de recevoir une autre subvention de recherche Ils devraient uniquement permettre au comit de s lection de d cider si les r sultats pass s et l exp rience d montrent que le chercheur est clairement en mesure de mener bien un programme de recherche valu comme tant excellent Voil aussi pourquoi des propositions excel
192. nes L accent est mis sur la plus r cente p riode d activit de six ans Dans le cas des chercheurs r guliers on s attend obtenir un compte rendu des cinq contributions les plus importantes de la carri re d un candidat identifi es par celui ci Les programmes de recherche sont galement tr s clairement d finis Les programmes de recherche se d finissent par leurs objectifs g n raux pour l avancement des connaissances et peuvent comporter plusieurs projets entrepris sur une p riode de trois ans ou plus Par cons quent le CRSH n attend pas des chercheurs qu ils soumettent des descriptions d taill es de leurs m thodologies dans l espace limit qui leur est allou car celles ci peuvent changer au cours de la recherche En effet en vue d atteindre les objectifs d un programme de recherche des m thodes et des approches particuli res sont labor es adopt es et modifi es au fur et mesure que la recherche progresse et que des r sultats sont produits et diffus s Cependant certains de nos informateurs ont indiqu dans leur entrevue que certains comit s s attendent n anmoins la pr sentation d une m thodologie plut t d taill e Il s agit d une question qui n cessiterait peut tre d tre clarifi e et exigerait une orientation plus sp cifique dans les instructions aux valuateurs pairs Les valuateurs attribuent une note de 1 6 chacune des deux composantes u
193. nir pour rapidement des commentaires d s l tape de la lettre d intention Suggestions Financement Donner dans le cadre d une subvetion une Il devrait avoir davantage de fonds disponibles pour le r compense plus g n reuse pour le d gagement de l enseignement pour que le candidat puisse d gagement de l enseignement d vouer plus de temps la recherche Si un candidat financ re oit un montant inf rieur sa demande on devrait justifier les coupures TE RE lesquelles se trouvent les chercheurs Suggestions Processus de demande Employer des agents de programme qui soient Les agents de programme devraient pouvoir aider les plus disponibles et inform s comp tents candidats non seulement au cours du processu de demande mais galement lorsqu une d cision est rendue afin de r pondre aux questions des candidats concernant la partialit et les conflits d int r ts les pairs o 3 Suggestions Processus de demande Obtenir davantage d aide des agents de Les agents de programme devraient pouvoir aider les programme du CRSH sur la s lection des candidats choisir le comit ad quat pour valuer leur comit s demande Suggestions Evaluation et s lection Crit res valuer les CV s par ment des demandes Les CV devraient tre valu s s par ment des demandes pour ne pas que les valuateurs soient influenc s par la r putation l tablissement du candidat et que sa demande soi valu e seulement selon son m rite
194. niveau de scolarit demand est un dipl me universitaire un dipl me d tudes sup rieures est un atout alli de l exp rience en recherche par exemple en tant qu assistant de recherche ou en administration de la recherche Le Groupe est d avis que les candidats devraient d tenir un doctorat pour se conformer aux normes et aux pratiques internationales Les agents de programme doivent poss der un niveau de scolarit et une formation en recherche leur donnant non seulement de la cr dibilit dans le milieu des chercheurs mais leur fournissant aussi les connaissances de base et les outils intellectuels n cessaires pour comprendre l activit de recherche et suivre activement les transformations intellectuelles se produisant aux fronti res de la recherche dans leur domaine Cette qualification universitaire elle seule ne suffit pas Les candidats doivent aussi pour pouvoir accomplir leur t che complexe poss der des comp tences en gestion savoir faire preuve d efficacit dans les questions proc durales et le fonctionnement multit che avoir la capacit d organiser et de proc der de mani re ordonn e etc L agent de programme fait partie d une nouvelle profession en mergence qui n cessite des titres universitaires et des comp tences en gestion et qui le positionne plus pr s du monde des chercheurs que de celui de la bureaucratie gouvernementale Aujourd hui c est devenu la responsabilit
195. ns des comit s de s lection RECOMMANDATION 15 Continuer d utiliser les r unions annuelles destin es aux pr sidents pour expliquer les politiques et les r glements mais mettre aussi l accent sur ce qui est sp cifiquement attendu de la part des pr sidents et sur les pratiques exemplaires en mati re de tenue des r unions des comit s de s lection RECOMMANDATION 16 Appliquer tous les programmes la pratique qui consiste tenir une t l conf rence d instructions et de calibrage de la notation avec tous les membres avant la r union du comit RECOMMANDATION 17 Pr ciser et clarifier dans les manuels et autres instructions les obligations des membres et des pr sidents des comit s de s lection en ce qui a trait la lecture et l analyse des propositions e Les membres qui agissent titre de lecteurs d sign s d une s rie de propositions doivent lire ces dossiers avec soin et leur accorder une note d apr s leurs constats analytiques d taill s e Les membres doivent aussi lire avec soin le sommaire de toutes les autres propositions pr sent es leur comit e Les pr sidents doivent lire le sommaire de toutes les propositions pr sent es leur comit Ils doivent aussi lire en entier les dossiers class s dans la moyenne appel s 4 A en raison des notes que les lecteurs d sign s leur ont attribu es et qui par cons quent doivent tre discut s en profondeur par tous les membres du comit
196. ns ou plus 575 n 6 188 79 6 20 4 100 45 1 54 9 100 0 0 6 20 9 30 4 38 9 9 3 100 0 124 Tableau 3 Exp rience de travail Q1 Q2 Q3 Quel est pr sentement votre statut professoral Q1 Professeur adjoint Professeur agr g Professeur titulaire Professeur m rite Autre n Depuis combien d ann es avez vous un statut de professeur Q2 moins de 5 ans 6 10 ans 11 20 ans plus de 20 ans n tes vous pr sentement titulaire d une chaire Q3 Non Oui je suis titulaire Junior d une Chaire de recherche du Canada Oui je suis titulaire S nior d une Chaire de recherche du Canada Oui autre Tableau 4 Suivant une chelle allant de fortement interdisciplinaire exclusivement Nbre 1 281 2 178 1 983 364 403 6 209 1 297 1 630 1 524 1 710 6 161 5 710 129 82 243 6 164 disciplinaire comment qualifieriez vous vos activit s de recherche Q4 Degr d interdisciplinarit Q4 Fortement interdisciplinaire 1 2 3 Exclusivement disciplinaire 4 Nbre 1 638 2 250 1 710 309 5 907 20 6 35 1 31 9 5 9 6 5 100 0 21 1 26 5 24 7 27 8 100 0 92 6 2 1 1 3 3 9 100 0 27 7 38 1 28 9 5 2 100 0 125 Tableau 5 Renseignements sur l tablissement du r pondant Q8 Q9 Q10 R gion Q8 Nbre Atlantique 541 8 7 Qu bec 1 475 23 8 Ontario 2 508 40 5 Prairies 867 14 0 Colombie Britannique 799 12 9
197. ntes en ce qui a trait aux questions budg taires D apr s les manuels pendant les r unions les comit s d terminent quelles propositions m ritent de recevoir un appui financier et recommandent un budget pour chacune d entre elles Apr s les r unions le personnel du CRSH calcule le budget enveloppe budg taire affect chaque comit en se fondant sur la somme totale attribu e au programme et sur la somme globale recommand e Le personnel du CRSH attribue chaque demande le plein montant de la subvention recommand e en commen ant par celle qui a re u la note la plus lev e jusqu puisement des fonds assign s au comit De l gers rajustements sont apport s aux budgets des divers comit s pour accorder le plein montant recommand aux demandes au point d puisement des fonds disponibles L valuation des budgets est souvent estim e ne pas tre une t che facile L valuation des budgets est l une des principales difficult s au CRSH Dans le cas des SOR certaines personnes gonflent le budget Dans le cas de notre comit comit th matique il me semble que les budgets sont tr s honn tes Toutefois les budgets devraient tre examin s tr s s rieusement Les directives devraient tre tr s Voir Guide des membres des comit s de s lection Programme de subventions ordinaires de recherche novembre 2007 p 21 et p 24 5 Voir Larivi re Lebel et Lemelin 2004 p 15
198. oc dure dans le processus de s lection 2 lorsque la d cision est fond e sur une erreur de fait Une erreur de proc dure est d finie comme incluant toute d rogation aux politiques et aux proc dures du CRSH concernant les conflits d int r ts ainsi que le fait de ne pas fournir les documents requis au comit de s lection 77 Il y a erreur de fait lorsqu il existe des preuves irr futables que le comit de s lection a d cid de ne pas recommander l attribution de fonds un candidat en s appuyant sur une conclusion qui va l encontre d une information clairement nonc e dans la demande Ces d finitions et d autres explications au sujet de leur importance indiquent clairement que le fondement sur lequel on peut en appeler d une d cision est assez restreint au CRSH Toutefois ce n est pas exceptionnel Le Groupe est d accord avec l un de ses interlocuteurs qui a d clar que le fait d accepter un appel pour un motif autre qu une erreur de proc dure ou de fait ne ferait que nous mener dans un profond trou noir et que l on ne devrait pas contester les d cisions des pairs Des personnes qui ont r cemment si g au comit d appel pr sid par un vice pr sident du CRSH et compos d anciens pr sidents ou membres d un comit de s lection du CRSH estiment qu il s agit d une exp rience honn te Le Groupe ne voit aucune raison de recommander quelque c
199. ogie au profit du Canada 2007 p 72 5 Royal Society 1995 p 2 3 British Academy 2007 p ix 16 Un pair peut tre un universitaire ou non Il ne s agit pas d une question de statut professionnel mais plut t de connaissance pertinente et de jugement quilibr L valuation par les pairs vise produire les meilleures connaissances scientifiques possibles Elle concerne la critique et elle tente de tirer le maximum des personnes dont l thos doit tre essentiel C est le meilleur moyen de garantir l atteinte des objectifs nonc s dans la strat gie canadienne des sciences et de la technologie A cet gard en tout premier lieu le groupe souhaite unanimement indiquer ici que le processus d valuation par les pairs du CRSH correspond dans l ensemble aux pratiques exemplaires et aux normes internationales les plus lev es En effet le CRSH doit tre f licit de son rendement en ce qui a trait au maintien de l quit et de l int grit de son processus d valuation par les pairs Il s agit d un syst me qui fonctionne bien et dont les fondements sont tr s solides Bien entendu aucun processus de ce genre n est jamais pleinement optimal et il y a toujours place l am lioration C est pourquoi il doit tre clair pour le lecteur d entr e de jeu que toutes les observations et recommandations formul es par le groupe dans le pr sent rapport visent essentiellement
200. on de pairs fait r f rence un domaine de comp tence partag e entre un candidat et un appr ciateur et la capacit intellectuelle n impliquant pas n cessairement l identification d une profession ou d un statut professionnel 2 1 1 valuation des appr ciateurs externes Le sondage Web du CRSH a montr que les chercheurs comprennent bien le r le cl des appr ciateurs externes Ils consid rent que leur choix est extr mement important voire davantage que celui des membres des comit s de s lection Leur niveau de satisfaction l gard des appr ciateurs externes est galement plus lev qu envers les membres des sur 10 comites Les entrevues men es aupr s des membres des comit s de s lection et de leurs pr sidents ont montr comme on pouvait s y attendre un large ventail d avis sur la qualit et l utilit des valuations externes fournies La plupart d entre eux semblent estimer que m me si de nombreuses valuations sont loin d tre parfaites les comit s apprennent s accommoder de cette situation membre d un comit SOR Selon un haut gestionnaire du CRSH la qualit des appr ciateurs externes d pend surtout des agents de programme et de leur diligence La variation de la qualit des valuations externes fournies un comit du CRSH comme c est aussi le cas des autres organismes subventionnaires repose largement sur l exp rience de l agent de
201. onn s et il s agit ici d une d cision de politique il serait s rement n cessaire d tablir des r gles ou des mesures particuli res De nouveau le pr sident d un comit SOR qui affirme que son comit a toujours pris tr s soin d tre juste envers les jeunes chercheurs admet que il est plus difficile pour un nouveau chercheur d obtenir une subvention et ajoute que cela refl te simplement le fait 69 que les nouveaux chercheurs sont encore en apprentissage leur r ussite d pend aussi de l institution d o ils proviennent et de la qualit du soutien qu ils re oivent je pense que dans notre comit nous avons g r ad quatement cette situation Toutefois ce type de consid rations soul ve une question cruciale une question de politique fondamentale ce processus normal est il sein pour l avenir de la recherche en sciences humaines au Canada Il ne s agit pas d une question li e l valuation par les pairs Il incombe au CRSH de prendre position sur cet enjeu et de d cider s il tablira de nouvelles r ges Celles ci pourraient par exemple une fois le travail des comit s de s lection termin accorder un avantage aux propositions provenant de jeunes chercheurs de sorte qu ils recevraient des subventions et ne figureraient pas parmi les propositions qui actuellement sont consid r es 4 A pouvant faire l objet d une subvention mais non subventionn es
202. onseils et orientation professionnelle Beaux arts tudes des genres G ographie et urbanisme tudes sur la sant Histoire Relations industrielles tudes interdisciplinaires Droit Linguistique et traduction Litt rature Philosophie Science politique et administration publique Psychologie Sciences religieuses Sociologie Travail social OOOO OCOOCOCOOCOCOCOOCOCOCOCOOOOCOCDOCO 111 Q6 Quel est votre sexe Q Femme Homme Q7 Dans quelle tranche d ge vous situez vous Q Q Q E E 30 ans ou moins 31 40 ans 41 50 ans 51 65 ans plus de 65 ans Veuillez fournir des d tails sur votre universit institution de recherche Q8 0000D O Q9 Q Q10 Q Q Q Atlantique Terre Neuve et Labrador le du Prince douard Nouvelle cosse Nouveau Brunswick Qu bec Ontario Prairies Manitoba Saskatchewan Alberta Colombie Britannique Yukon Nunavut et Territoires du Nord Ouest moins de 5 000 tudiants 5 000 15 000 plus de 15 000 un ou plusieurs programmes de niveau doctorat seulement un ou des programmes de niveau ma trise aucun programme aux cycles sup rieurs SUBVENTIONS DE RECHERCHE Q11 Choisissez l nonc qui correspond le mieux votre situation Q J ai d j t subventionn par le CRSH titre de chercheur principal Q J ai d j t subventionn par le CRSH mais titre de co chercheur seulement Q J ai d j pr sent un
203. ord 4 Ne sais pas Q31a Q4 colonne En total d saccord 1 En d saccord 2 En accord 3 Tout fait d accord 4 Ne sais pas Q4 Suivant une chelle allant de fortement interdisciplinaire exclusivement disciplinaire comment qualifieriez vous vos activit s de recherche Fortement interdisciplinaire 1 13 9 27 8 27 5 5 9 25 0 100 0 474 666 88 876 2 246 32 4 40 6 44 1 35 1 34 7 38 1 6 3 21 1 29 7 3 9 39 0 100 0 Exclusivement disciplinaire 3 2 2 1 2 1 5 6 8 9 5 2 4 5 7 8 10 0 4 5 73 1 100 0 148
204. ormulaires de demande en ligne Suggestions Evaluation et 1 0 s lection Processus g n ral d valuation pardans la discipline le domaine le sujet la personnes comp tences les pairs m thode l approche de la recherche Suggestions Evaluation et s lection Comit Diversifier la structure des comit s pour inclure des chercheurs de toutes les disciplines l ext rieur des sciences humaines Suggestions Processus de demande Fournir un meilleur choix de cat gories de Il serait b n fique pour les candidats de pouvoir choisir parmi financement disciplines de recherche en un plus grand ventail de disciplines de recherche particulier interdisciplinaires principalement pour la recherche interdisciplinaire Suggestions Evaluation et Mettre en place un processus de filtrage Il faut s assurer que les appr ciateurs externes qui ont par s lection Processus g n ral d valuation par pour exclurer les appr ciateurs externes le pass soumis des valuations injustes m diocres les pairs incomp tents cr er une liste noire ne soient plus inclus dans le processus d valuation nouveau Suggestions Evaluation et Reconna tre officiellement le travail des Le CRSH doit laborer un syst me afin de reconna tre s lection Processus g n ral d valuation pa valuateurs officiellement les efforts et le temps des appr ciateurs les pairs externes membres de comit s soit par r mun ration ou par reconnaissance de leur tab
205. our garantir et am liorer la qualit de ce processus Les observateurs sont s lectionn s parmi des chercheurs chevronn s qui ont ant rieurement si g pendant quelques ann es un comit de s lection en tant que membres La plupart d entre eux ont aussi si g des comit s d autres organismes tels que la Fondation nationale des sciences ou le Fonds de recherche sur la soci t et la culture FRSC par exemple Cette activit b n vole non r mun r e est tr s exigeante n cessitant une pr sence Ottawa pendant presqu une semaine enti re et une observation en silence des comit s pendant de longues heures chaque jour Les observateurs auxquels nous avons parl sont tr s enthousiastes l gard du r le qu ils jouent Ils sont effectivement convaincus que cette fonction a tr s souvent permis d am liorer le fonctionnement des comit s et le processus d valuation par les pairs Le travail des observateurs semble bien organis L une des premi res personnes jouer ce r le a r dig un guide l intention des observateurs afin d aider les nouveaux venus dans cette fonction Les observateurs rencontrent des membres de la gestion du CRSH dans le cadre d un d ner avant de commencer leur travail et discutent avec eux des questions et des enjeux qui requi rent une attention En g n ral les observateurs prennent le petit d jeuner et le d jeuner ensemble chaque jour pour discuter de leurs
206. ous d accord avec les nonc s suivants En total En En Tout fait Ne sais d saccord d saccord accord d accord pas Ne 1 2 3 4 s applique pas Q39a Mes r sultats de recherche sont Q Q Q Q Q connus et utilis s par les chercheurs de mon domaine ou de ma discipline l chelle internationale Q39b Mes r sultats de recherche sont Q Q Q Q Q connus et utilis s par les chercheurs de mon domaine ou de ma discipline au Canada Q39c Mes r sultats de recherche sont Q Q E Q Q connus et utilis s par les chercheurs d autres disciplines ou domaines 119 Q39d Mes r sultats de recherche sont E E E E E aussi connus et utilis s en dehors de la communaut scientifique Q40 Parmi les secteurs suivants quels sont les principaux utilisateurs des r sultats de vos projets de recherche l chelle nationale et ou internationale Veuillez s lectionner tous ceux qui s appliquent Au Canada l ext rieur du Ne sais pas Ne Canada s applique pas Q40a Secteur acad mique Q Q Q Q40b ONG et groupes Q Q Q communautaires Q40c Grand public Q Q Q Q4d0d Gouvernement s Q Q Q Q40e Secteur priv Q Q Q Q41 Pour chacun des secteurs s lectionn s pr c demment quelle a t l importance des impacts et effets identifiables changement ou effet provoqu issus de l utilisation des r sultats de vos recherches Aucun Peu Impact Impact Tropt t Nesais impact d impact important tr s pour dire pas Ne 1 2
207. ous n avons pas autoris plus d un doctorat et plus d une ma trise moins qu une exception soit tr s bien justifi e Ces r gles ont t appliqu es de mani re uniforme mais il se peut qu un ou deux cas nous aient chapp pr sident d un comit SOR Quoi qu il en soit bon nombre de nos interlocuteurs ont soulign que l valuation et la r duction des budgets ne repr sentent pas la t che que les valuateurs universitaires accomplissent le mieux et que ce n est pas le travail des valuateurs pairs de tenter de microg rer l avance les budgets de subventions Ce que l on attend de nous en fait c est que nous proc dions des coupures et c est ce que nous faisons Nous le faisons de notre mieux mais j ai toujours l impression que ce n est pas notre travail Bon nombre d entre nous ont une connaissance limit e du co t de ceci ou de cela Certains affirment pouvoir le faire c est peut tre le cas je ne le sais pas Faire des coupures budg taires est une t che bien diff rente de celle qui consiste comprendre les r alisations pass es dans le domaine de la recherche et les plans du projet de recherche Nous essayons d accomplir cette t che avec beaucoup de s rieux et de rigueur nous y accordons norm ment de soin mais je ne suis pas vraiment l aise avec cette t che membre d un comit SOR Il n y a pas de doute que le comit est le mieux plac
208. parce qu ils sont s lectionn s un un d apr s leur expertise pr cise pour valuer la valeur d un programme de recherche donn les ant c dents le projet ou la proposition sont des pairs par excellence Les choisir est une t che d une importance extr me pour assurer une valuation par les pairs cr dible Inversement les appr ciateurs externes doivent tre tr s conscients du r le cl qu ils sont appel s jouer et devraient agir de fa on responsable En g n ral dans le cas des propositions li es aux subventions ordinaires de recherche SOR on s attend ce que le comit de s lection ait en main au moment o il se r unit au moins 7 Cit dans British Academy 2007 p 20 British Academy 2007 p ix C est nous qui soulignons 23 deux valuations externes mais pas plus de trois L une de ces valuations est normalement fournie par un appr ciateur tranger Dans le cas des Grands travaux de recherche concert e GTRC ou des programmes th matiques on peut compter jusqu cinq valuations externes ou plus pour examiner toutes les dimensions importantes d une proposition comportant des contributions interdisciplinaires et la plupart du temps des interactions avec des partenaires ext rieurs au milieu universitaire Dans ce type de cas il se peut que les personnes ayant la comp tence prouv e de formuler un jugement ne soient pas toutes des universitaires De nouveau la noti
209. parence de la s lection et du r le des appr ciateurs externes e Rendre publics sur le site Web du CRSH les crit res de s lection des appr ciateurs externes leurs responsabilit s et leurs t ches e Publier chaque ann e sur le site Web du CRSH la liste des appr ciateurs externes des concours ant rieurs e Publiciser sur le site Web du CRSH la composition du Coll ge international des valuateurs sp cialis s du CRSH RECOMMANDATION 6 Afin d accro tre les taux d acceptation des comit s de s lection et de r duire le roulement diminuer la charge de travail des membres r duire le nombre de jours consacr s au travail en comit Ottawa et r viser les r gles en mati re de conflit d int r ts Pour la mise en uvre voir les recommandations 17 20 21 22 24 et 28 ci apr s RECOMMANDATION 7 Prolonger cinq ans non n cessairement cons cutifs la dur e normale du mandat des membres des comit s de s lection RECOMMANDATION 8 R compenser et conserver les membres des comit s e Inciter les universit s accepter titre de t che administrative la participation aux comit s de s lection du CRSH et par cons quent lib rer de t ches administratives les membres de leur corps professoral qui si gent ces comit s e Inviter les membres des comit s apr s deux ans d excellent service devenir officiellement membres du nouveau Coll ge international des valuateurs sp
210. plus g s sont aventureux D autres sont tr s conservateurs dans la plus pure tradition mais d autres sont vraiment de v ritables entrepreneurs Cela varie et ce n est pas une question d ge Les jeunes chercheurs ont tendance s interroger davantage mais pas n cessairement contester davantage agent de programme bourses Certains comit s de programme requi rent en g n ral des types sp ciaux de membres Les pr sidents semblent tre satisfaits Le comit est compos de chercheurs et d administrateurs universitaires par exemple des doyens et vice doyens c est la bonne composition dans notre cas il n y a pas d autres types de membres externes souhaitables pr sident d un comit GTRC Selon les propositions pr sent es nos besoins peuvent varier par exemple une personne autochtone ou connaissant la recherche autochtone ceci peut s appliquer d autres domaines Nous devons nous assurer d tre quitables dans ces circonstances Si une personne est tr s int ress e ou active dans un domaine elle peut tre tr s influente au sein d un comit syst matiquement trop positive ou trop n gative ce qui peut tre vraiment dommageable Le choix des bonnes personnes est essentiel pr sident d un comit ARUC Comp tences linguistiques La plupart des personnes interrog es estiment qu un certain degr de bilinguisme est crucial c est dire un niveau du moins su
211. poraine de langue anglaise litt ratures am ricaine canadienne anglaise canadienne fran aise et qu b coise litt rature des Premi res nations litt ratures d autres langues 7 Communication tudes culturelles et tudes sur les femmes 27 Psychologie 2 counselling psychologie du d veloppement humain psychoth rapie psychologie du sport et de la sant enseignement pr scolaire mesure et valuation m thodes d enseignement p dagogie ducation 3 orientation professionnelle ducation physique et de la sant adaptation scolaire 104 psychop dagogie formation des ma tres Affaires marketing commerce international gestion des syst mes d information politiques d entreprise 105 ANNEXE 10 Taux de refus des membres de comit potentiels Concours de 2009 du Programme de subventions ordinaires de recherche Num ro du comit Nom du comit Nombre de membres recruter Nombre de membres potentiels contact s Taux de refus en pourcentage ji Etudes classiques tudes anciennes et m di vales tudes religieuses arch ologie classique 37 81 Histoire histoire des sciences de la technologie et de la m decine Beaux arts histoire et philosophie de l art architecture th tre musique cin ma et danse 50 Linguistique linguistique appliqu e et traduction Sciences conomiques 14 43 Sociologie et d mograph
212. postdoctoral Mi janvier 103 ANNEXE 9 Liste des comit s du Programme de subventions ordinaires de recherche tudes classiques tudes anciennes et m di vales tudes religieuses arch ologie classique 3 Beaux arts histoire et philosophie de l art architecture th tre musique cin ma et danse FE eosam p ossi uane seais ronas OO 10 Psychologie 1 psychologie sociale personnalit et diff rences des individus psychologie du comportement psychologie de la communaut et de l environnement psychologie industrielle et organisationnelle psychologie culturelle de l histoire de la morale des valeurs de la religion de la g ographie de l environnement des sciences des math matiques de la lecture et de l criture tudes interdisciplinaires et multidisciplinaires Anthropologie et arch ologie ducation 1 programme d tudes enseignement des arts de la citoyennet des langues secondes 17 ducation 2 biblioth conomie archivistique administration scolaire andragogie ducation permanente communautaire professionnelle et compar e fondements de l ducation histoire philosophie th ories et sociologie de l ducation enseignement distance enseignement sup rieur technologies ducatives Litt rature 1 litt ratures anglaise du Moyen ge l poque victorienne fran aise allemande et slave 19 Litt rature 2 litt rature moderne et contem
213. pour les comit s de s lection et les agents de programme Il serait possible d all ger la charge de travail des pairs et du personnel tout en am liorant la r troaction recommandation 28 Enfin le groupe met s rieusement en doute la pratique de recourir deux voies parall les pour assurer la pr s lection des demandes de bourses doctorales Il en r sulte que le processus n est pas le m me pour tous De plus dans le cas des candidats qui doivent d abord suivre la voie universitaire les diff rences des cultures organisationnelles et op rationnelles des diff rentes universit s entra nent n cessairement une r elle h t rog n it du traitement et ajoutent ainsi une autre couche d opacit Enfin comme certains cadres universitaires interrog s l ont soulign il n est pas toujours facile au niveau local de prot ger le processus contre les pr jug s au sein des facult s et les politiques institutionnelles recommandation 29 La partie 5 porte sur trois enjeux de politique le financement des jeunes chercheurs le financement des candidats provenant des petites universit s et le financement de la recherche novatrice risque lev Au CRSH comme dans le cas de tous les organismes subventionnaires le taux de r ussite des nouveaux chercheurs est consid rablement plus faible que celui des chercheurs chevronn s comme on peut s y attendre La volont de maintenir un canal de recherche pleinement act
214. pplique certainement aux budgets et aux questions budg taires Ceci devrait tre tr s clair Il semble aussi qu il faille clarifier certains aspects plus op rationnels du travail des comit s de s lection ainsi que la nature exacte des responsabilit s que l on attend de leurs membres en tant qu valuateurs pairs y compris l gard des l ments budg taires des propositions 44 1 Recommandation li e au montant accord et la gestion budg taire RECOMMANDATION 25 R viser les politiques du CRSH sur le r le des comit s de s lection relativement aux questions budg taires et mettre en uvre de nouvelles pratiques n cessitant une d cision de la part du personnel sp cialis dans ce domaine et tablir clairement la distinction entre les comp tences d valuation par les pairs et les d cisions de politique 4 5 Questions interdisciplinaires et multipartites L un des r sultats frappant de notre sondage Web est qu un tr s grand nombre de r pondants consid rent leurs activit s de recherche comme tant largement interdisciplinaires En fait une petite minorit s estime confin e une seule discipline Voil qui concorde avec la dimension de plus en plus collaborative de la recherche l chelle internationale dans tous les domaines y compris les sciences humaines Lors de son entrevue un administrateur universitaire a indiqu Le sol bouge sous nos pieds dans les universit s et moins d
215. pr s nos entrevues Il s agit d un m lange d habilet s d exp rience et de personnalit 24 3 A bo Il convient de citer ici un avis exprim lors d une entrevue relativement au fondement de ces recommandations Je sugg rerais que nous devons devenir de plus en plus transparents quant au processus de s lection des membres de ces comit s Les comit s de s lection peut on lire dans la documentation sont nomm s par le CRSH Certes mais quel est au juste le processus Nous faisons norm ment confiance aux agents de programme qui ont en g n ral prouv qu ils taient tr s comp tents Toutefois je ne suis pas certain que notre communaut comprend bien le r le des agents de programme Les manuels de formation des agents de programme ne figurent pas sur le Web Serait il utile d avoir de l information de ce type sur le Web 38 Un observateur chevronn a ainsi r sum les caract ristiques d un bon pr sident Le pr sident doit pouvoir r sumer les changes faire progresser les membres du comit les garder centrer sur la t che leur faire respecter les r gles et les r glements appliquer pleinement les crit res et assurer l quit et l uniformit Il s agit en g n ral de chercheurs principaux qui ont d j si g ce comit de s lection mais pas toujours et ils doivent vraiment tre fonctionnels dans les deux langues ce qui semble presque toujours tre
216. pr sentations dans certaines universit s Les entrevues ont indiqu que les valuateurs et les pr sidents sont en g n ral d accord sur la pertinence la qualit et la clart des instructions et des directives l intention des candidats Cependant il semble que parfois lorsque de nouveaux programmes ont t lanc s rapidement la documentation envoy e aux institutions et aux candidats potentiels manquait de pr cision De plus dans certaines institutions o le soutien aux nouveaux chercheurs est encore en voie de d veloppement les candidats potentiels peuvent avoir besoin de mieux comprendre comment assurer le succ s d une proposition Il a t sugg r plusieurs reprises que des mod les de propositions figurent sur le site Web du CRSH pour chaque programme Il s agit effectivement d une pratique adopt e par certains organismes subventionnaires Voir Science Metrix 2005 D apr s une entrevue avec le pr sident d un comit sur les programmes strat giques De l information a t envoy e d finissant le programme aux candidats mais nous avons alors obtenu des choses vraiment tranges Parfois nous avons l impression qu il s agit simplement d une mauvaise compr hension et c est beaucoup de travail pour l agent de programme de communiquer nouveau avec les candidats et de leur fournir des explications Beaucoup de temps d nergie et d enthousiasme se perdent peut
217. processus d valuation par les pairs du CRSH correspond dans l ensemble aux pratiques exemplaires et aux normes internationales les plus lev es Il s agit d un syst me qui fonctionne bien et dont le fondement est tr s solide En effet le CRSH doit tre f licit de son rendement en ce qui a trait au maintien de l quit et de l int grit de son processus d valuation par les pairs Les constats sur lesquels nous fondons cette conclusion devraient maintenant tre clairs pour tous les lecteurs Il devrait maintenant tre encore plus manifeste que toutes les observations essentielles que nous avons faites et toutes les recommandations que nous avons formul es visent essentiellement s assurer que ce syst me qui fonctionne d j bien demeure durable et efficace et est am lior de mani re maintenir son classement l chelle internationale parmi les meilleurs organismes subventionnaires En effet l id e ma tresse de toutes nos recommandations comportait trois volets et peut tre r sum e ci apr s par trois messages cl s interreli s 1 All ger la charge de travail des valuateurs pairs et encourager ainsi que mieux reconna tre leurs efforts et ceux des agents de programme 2 tablir une distinction claire entre les enjeux relevant d une prise de d cision politique et du conseil d administration du CRSH de ceux qui devraient demeurer ad quatement attribu s aux
218. qualit au CRSH Il s agit certainement de l un des domaines o le CRSH doit tre vivement f licit En effet l organisation a ici fait preuve de v ritable innovation en tablissant par exemple la pratique des discussions en mati re de politique par les comit s de s lection ou en cr ant son groupe d observateurs au sein des comit s de s lection Les suggestions du Groupe visent essentiellement optimiser et g n raliser ce type d initiatives recommandations 33 36 La partie 7 concerne les agents de programme et leur r le essentiel pour assurer la qualit du processus d valuation par les pairs Le Groupe a re u le commentaire suivant De bons agents de programme valent leur pesant d or Il abonde pleinement en ce sens Le respect de la communaut des chercheurs envers le CRSH d pend grandement de la qualit du travail de ses agents de programme En effet leur contribution devrait certainement tre reconnue publiquement Les agents de programme doivent non seulement tre excellents dans l exercice de leurs responsabilit s administratives et proc durales mais ils doivent aussi acqu rir et maintenir une profonde compr hension du domaine intellectuel en volution auquel ils participent Il s agit d une exigence difficile et c est pourquoi la qualit de ces agents de programme devrait constamment tre et demeurer l une des priorit s absolues du CRSH Le Groupe est
219. quelles les lecteurs ont attribu une note les situant dans la moyenne c est dire parmi la tranche de 50 p 100 des propositions ayant obtenu une note inf rieure aux meilleures propositions qui devraient tre subventionn es tranche sup rieure de 15 p 100 et sup rieure aux propositions ayant obtenu la plus faible note et qui ne devraient pas tre subventionn es tranche inf rieure de 35 p 100 au sujet desquelles les notes des lecteurs diff rent consid rablement au sujet desquelles d autres membres du comit expriment un d saccord en ce qui a trait aux notes des lecteurs ce qu on appelle les dossiers signal s RECOMMANDATION 723 Accro tre la transparence et rendre publiques les r gles pr c dentes tre mises en uvre par les comit s de s lection au moment de discuter des propositions et de rendre une d cision finale leur gard RECOMMANDATION 24 liminer les r gles de ratio 60 40 Aviser les comit s de s lection du fait que le CRSH vise soutenir des propositions dont l excellence est incontestable et que par cons quent la qualit de la proposition de recherche son originalit et son importance potentielle devraient toujours avoir la priorit absolue au moment de la prise de d cision Les ant c dents eux seuls ne devraient pas permettre quiconque de recevoir une autre subvention de recherche RECOMMANDATION 25 R viser les politiques du CRSH sur le r le des comit s d
220. r comit d autres pas La pratique de certains comit s peut varier quelque peu d une ann e l autre La pr f rence accord e l approche alphab tique par opposition la proc dure accordant la pr f rence au classement selon les notes est une pratique commode reproduisant l ordre dans lequel les propositions sont r parties dans les nombreux classeurs d entr e de jeu Le fait de parcourir chaque classeur dans l ordre conomise du temps et des efforts physiques Cependant cela semble injustifiable tant donn ce que l on sait sur l pist mologie de l valuation de la classification et du classement par comparaison Le passage aux dossiers lectroniques r seaut s apportera une solution ce bourbier Il s agit d un enjeu n cessitant des directives explicites et un comportement plus coh rent d un comit l autre Note provenant d un agent de programme Entrevue avec un membre d un comit SOR Pr sident d un comit SOR 52 Discussion et notation finale La discussion d un dossier commence toujours par les rapports des lecteurs affect s ce dossier Ils sont au nombre de deux dans le cas du programme SOR par exemple et de trois dans celui des bourses il peut y avoir un nombre plus lev de lecteurs dans des circonstances exceptionnelles dans le cas des programmes th matiques voir le tableau de l annexe 2 Lorsque les lecteurs sont tous d accord la di
221. r de la lecture des propositions n est pas compris de la m me fa on par tous et n cessite des instructions plus claires Par ailleurs en mati re de gestion des conflits d int r ts le laxisme n est certainement pas un probl me au CRSH En fait les nombreuses r gles rigoureuses qui sont uniform ment appliqu es pourraient gagner tre r vis es Il pourrait s agir ici d un cas de suradministration d fensive qui ajoute consid rablement au fardeau li la constitution des comit s et au recrutement d valuateurs acceptables recommandations 11 19 La partie 4 examine les aspects du processus de s lection comment les comit s d lib rent et prennent des d cisions finales et comment ils pr parent la r troaction l intention des candidats Il s agit bien s r de la phase cruciale du processus d valuation par les pairs Les valuations externes constituent une contribution majeure ce processus mais les appr ciateurs externes portent un jugement sur la qualit intrins que d une seule proposition Ce sont les membres pairs du comit de s lection qui doivent valuer dans un contexte concurrentiel le m rite la qualit et l importance relatives d une proposition de recherche par rapport un vaste ventail d autres propositions C est dans ces conditions qu ils ont le dernier mot En termes de justice et d quit ce segment du processus d valuation par les pairs semble
222. r les pairs au CRSH alli e ce degr de concurrence devrait permettre tous de croire qu aucune proposition m diocre n est subventionn e Bien au contraire la solide pr sence d auteurs canadiens dans les revues internationales de prestige ajoute de la cr dibilit ce point de vue Cependant cela ne signifie pas n cessairement que le soutien subventionnaire la recherche novatrice in dite risque lev est d j optimal En effet la vive concurrence et les faibles taux de r ussite ne favorisent pas particuli rement la prise de risques Cette situation a t observ e ailleurs Aux tats Unis par exemple on estime que les pressions concurrentielles ont incit les chercheurs pr senter des demandes plus conservatrices et nous devons trouver des moyens d encourager la prise de risques et l innovation et de s assurer que nos sections d tude sont r ceptives aux demandes novatrices On observe une situation similaire au Canada Il ne fait aucun doute que l originalit figure parmi les crit res d valuation des programmes de recherche mais les directives fournies aux membres des comit s de s lection ne lui accordent pas une place tr s importante De plus les opinions divergent quant au succ s qu obtient le CRSH en mati re de promotion et de soutien de la recherche potentiellement transformatrice et plus risqu e En fait certains se Hicks 1999 Voir aussi Archambault et al 2
223. ri vement l attention sur une s rie de recommandations 15 PARTIE 1 D CLARATION G N RALE DU GROUPE ET OBSERVATIONS CL S 1 1 D claration g n rale En novembre 2007 le CRSH a publi D finir nos orientations non ant ses strat gies pour 2008 2010 Comme il est de sa responsabilit d encourager et d appuyer une excellence de niveau international dans le domaine des sciences humaines au Canada le CRSH s est donn pour objectif d accro tre la qualit de la recherche et de la formation ainsi que l appui qu il leur offre Afin de s lectionner les meilleurs chercheurs et les meilleures id es il poursuit son engagement de mettre en uvre un processus d valuation de calibre mondial bas sur le m rite Le CRSH entend promouvoir une excellence de classe mondiale l un des principes articul s dans la strat gie des sciences et de la technologie du gouvernement du Canada R aliser le potentiel des sciences et de la technologie au profit du Canada publi e en mai 2007 La strat gie f d rale indique que la s lection des projets de recherche de classe internationale repose sur un processus concurrentiel aliment par les d veloppements internationaux Elle souligne aussi la n cessit de maintenir un environnement de saine concurrence pour s assurer que le financement appuie les meilleures id es La strat gie souligne aussi que les trois conseils subventionnaires canad
224. rojets auxquels ont particip des centaines de chercheurs Parmi ces projets figure la publication d un ouvrage en plusieurs volumes intitul Rethinking Literary History travail pour lequel elle a re u en 1996 une subvention du CRSH dans le cadre du programme des Grands travaux de recherche concert e R cipiendaire d importantes bourses telles que la bourse Woodrow Wilson la bourse de recherche Killam la bourse Guggenheim la bourse Rockefeller la bourse Connaught et la bourse Northrop Frye ainsi que de nombreux dipl mes honorifiques au Canada et en Europe M Hutcheon a t nomm e en 2000 la 117 pr sidente de la Modern Language Association of America devenant ainsi la troisi me Canadienne et la premi re femme canadienne occuper ce poste M Hutcheon m ne actuellement des travaux de recherche sur l thique et les politiques de l valuation des propositions de recherche Ursula LEHMKUHL Vice rectrice principale Freie Universit t Berlin Professeure titulaire d histoire moderne John F Kennedy Institute Freie Universitat Berlin depuis 2002 M Lehmkuhl a occup plusieurs postes de gestion et d administration parmi lesquels celui de coordonnatrice du Center for Area Studies de membre du conseil de direction de l cole des tudes sup rieures du d partement d tudes nord am ricaines et de coordonnatrice du programme de ma trise sur les tudes nord am ricaines la Freie Universit
225. s externes aux membres des comit s de s lection et aux pr sidents de ces derniers avant les r unions des comit s de s lection La partie 4 se penche sur certains aspects du processus d octroi proprement dit c est dire la fa on dont les comit s d lib rent et prennent des d cisions finales et enfin fournissent une r troaction aux candidats La partie 5 porte sur les enjeux de politique qui peuvent influer sur le processus d valuation par les pairs et que le conseil d administration du CRSH devrait examiner British Academy 2007 p ix c est nous qui soulignons Pour obtenir une analyse comparative des syst mes d valuation par les pairs de l Allemagne de la Suisse et du Danemark voir Stefan Hornbostel Dagmar Simon eds Wie viel In Transparenz is notwendig Peer Review Revisited IFQ Working Paper n 1 d cembre 2006 14 La partie 6 traite des divers arrangements pour assurer la surveillance r guli re du processus d valuation par les pairs du CRSH y compris les discussions et les recommandations en mati re de politique des comit s de s lection le r le des observateurs et le processus d appel La partie 7 concerne les multiples t ches des agents de programme et leur r le essentiel pour assurer la qualit du processus d valuation par les pairs Dans ses conclusions le groupe nonce son valuation globale finale du processus d valuation par les pairs du CRSH et attire b
226. s IRSC est diff rente En effet c est surtout dans le domaine de la sant que des pr occupations ont t exprim es Un membre d un comit SOR nous a dit Il est parfois difficile de si ger un comit sur la sant Les disciplines cliniques et la sociologie pure ou l conomie ont une mani re tr s diff rente d envisager les situations Chose certaine ce fut galement amusant et OK lorsqu il y a un change ouvert on s amuse norm ment Cependant la situation peut devenir d sagr able dans un mauvais groupe de personnes Quelques membres du Groupe ont connu cette exp rience avec les IRSC Les deux cultures sont vraiment diff rentes mais celle du CRSH devait ici l emporter Le pr sident d un comit ARUC n tait clairement pas l aise avec le nombre croissant de demandes en sant Il estimait que cette situation d coulait de probl mes aux IRSC et il s est plaint du fait que n importe quoi peut tre d fini ou red fini en tant qu enjeu social Un gestionnaire nous a dit que lorsqu une personne passe d un conseil un autre elle est souvent mal trait e m me s il s agit d un minent chercheur Ce probl me s vit des deux c t s Le personnel doit d ployer norm ment de travail pour accomplir cette t che et comprendre pourquoi les comit s ont de la difficult valuer ces propositions C est l une de mes b tes noires Une partie des diffic
227. s chaque fois qu une proposition provenant de son universit est valu e La redondance permet parfois NE gt DS A 19 des d cisions plus solides mais la taille du comit doit aussi demeurer g rable Lorsqu un tr s grand nombre de propositions est examin comme dans le cas d un comit de bourses postdoctorales la couverture d experts constitue un v ritable d fi Certains comit s SOR sont plus strictement disciplinaires d autres incluent des domaines connexes et des propositions provenant de disciplines quelque peu diff rentes voir la liste l annexe 7 d autres encore sont davantage interdisciplinaires leurs propositions tombant entre deux disciplines ou combinant deux disciplines ou plus comme dans le cas du comit SOR sur les tudes interdisciplinaires et pluridisciplinaires et des comit s th matiques qui sont proprement parler de nature interdisciplinaire La n cessit d une couverture diversifi e peut aussi varier selon la dynamique d une discipline L un des r pondants a soulign que en linguistique il y a eu un changement rapide au cours des cinq derni res ann es surtout en ce qui a trait aux m thodes Un cart peut se cr er entre les jeunes chercheurs et les chercheurs plus g s Il existe un cart g n rationnel Environ le tiers des propositions proviennent des jeunes chercheurs les autres de chercheurs plus g s Toutefois le comit a besoin de l expertis
228. s coupures peuvent tre apport es tout en maintenant l int grit de la recherche certains appliquent un pourcentage de coupures c est rare mais cela se produit l heure actuelle les budgets sont plus directement coup s par les comit s que c tait le cas il y a quelques ann es c est peut tre OK un moment donn il sera n cessaire de revenir des analyses plus pouss es et des coupures effectu es par le personnel Dans l ensemble il est tr s clair que dans le cas des questions budg taires il est n cessaire de r tablir un certain ordre dans la conduite du travail des comit s Le Groupe tient d clarer fermement que les d cisions en mati re de politique et l valuation par les pairs appartiennent deux domaines de responsabilit tr s diff rents Dans de nombreux organismes les comit s d valuation par les pairs se prononcent exclusivement sur la qualit et la faisabilit des propositions de recherche En effet il s agit du domaine o ils ont une comp tence ind niable c est cet gard qu ils sont des pairs Dans ces organismes ce sont des experts du personnel dans certains cas conseill s sur les sp cificit s en mati re de co t par des chercheurs chevronn s dans diff rentes disciplines ou divers domaines de recherche qui prennent les d cisions finales quant au montant accord d apr s les d cisions en mati re de politique prises par la direction de l
229. s petites universit s sont trait s de fa on tr s quitable Les petites universit s et les universit s en p riph rie sont aussi bien subventionn es que les grandes Nous ne faisons aucune distinction quant savoir si la capacit de recherche est pr sente et si les propositions sont bonnes En fait certains coll ges et certaines petites universit s l emportent dans le cas des initiatives de base si par exemple ils enseignent des langues autochtones pr sident comit th matique Parfois les petites universit s ont plus que leur chance au CRSH les comit s sont plus g n reux envers les petites universit s et on leur a demand de l tre De plus au fil des ans j ai constat que certains coll ges communautaires re oivent des subventions un grand nombre sont plut t dynamiques faisant bonne figure et tant bien organis s Ils ont parfois plusieurs propositions N oubliez pas que certaines personnes sont bien connues et pr sentent des propositions tr s m diocres Nous ne les 70 finan ons pas uniquement parce qu elles sont c l bres pr sident d un comit ARUC J ai presque l impression d un pr jug favorable c est dire que de nombreuses personnes prennent la d fense des petites institutions contre les plus grandes o l on estime bien que ce soit injuste que celles ci pourraient toujours trouver de l argent ailleurs Des projets tr s imaginatifs et fa
230. s sp cialistes des sciences sociales et les historiens am ricains qui s int ressent l histoire europ enne Elle est membre de l Institut canadien de recherches avanc es pour lequel elle codirige le programme de recherche Soci t s r ussies M Lamont a publi des ouvrages sur les th mes de l in galit de la culture de la race de l immigration de la connaissance de la th orie des m thodes qualitative et de la sociologie comparative Son plus r cent ouvrage s intitule How Professors Think Inside the Curious World of Academic Judgment Harvard University Press 2009 Donald AITKIN Professeur m rite University of Canberra AUSTRALIE Ancien recteur de l University of Canberra 1991 2002 M Aitkin a occup en quittant cette universit le poste de pr sident directeur g n ral d une compagnie de recherche et d veloppement pendant six mois Il est actuellement pr sident du conseil d administration de la National Capital Authority de ACT Cultural Facilities Corporation du NRMA ACT Road Safety Trust et de la soci t Pro Musica Inc Il travaille galement depuis longtemps avec la Fondation canadienne pour l innovation ainsi que plusieurs organismes australiens et canadiens ax s sur l ducation la recherche le d veloppement urbain et la gouvernance des sujets pour lesquels il a une opinion tr s d finie voire m me peu orthodoxe Il est membre de l Academy of the Social Sciences de l Au
231. saire dans certains cas pour valuer la pertinence ou l importance sociale des propositions avant la prise de d cision du comit de s lection C est galement le cas des programmes de bourses o les lettres d valuation des professeurs sont remplac es par des valuations provenant d appr ciateurs externes Toutefois la logique g n rale de l valuation par les pairs demeure la m me dans le cas de tous les programmes du CRSH Lorsque des diff rences ont une importance elles seront pr cis es dans les parties suivantes du pr sent rapport qui adoptent une approche g n rique reposant principalement sur les analyses et les constats applicables au programme SOR 3 1 Instructions et soutien l intention des candidats La clart de la documentation sur les programmes et les directives sp cifiques l intention des candidats ont fait l objet d une attention croissante et de nouvelles mesures au CRSH Les agents de programme se d placent chaque ann e dans tout le Canada rencontrant des administrateurs universitaires du CRSH localement responsables des services de recherche ainsi que des groupes de chercheurs et d ventuels candidats Dans certains cas lorsqu un nouveau programme est lanc il est arriv que des chercheurs de premier plan ayant particip la d finition du programme comme ce fut le cas il y a quelques ann es pour les tudes autochtones soient invit s faire des
232. scussion est en g n ral tr s br ve sauf si le dossier a t signal par un membre du comit qui peut avoir remarqu un l ment que les lecteurs n ont pas vu ou qui n est pas convaincu par les rapports et est en quelque sorte en d saccord avec eux Dans ce cas ou lorsque les valuations des lecteurs divergent une discussion s ensuit et le comit peut en arriver une d cision sur les notes finales lesquelles diff rent de la notation initiale propos e par les lecteurs d sign s Deux lecteurs font rapport au comit l ampleur de la participation des autres membres d pend du dossier En g n ral le premier lecteur donne beaucoup de d tails le second apporte des l ments compl mentaires Si les deux lecteurs sont satisfaits il s ensuit en g n ral une tr s br ve discussion moins qu un membre du comit soul ve un probl me Toutefois lorsqu il y a un d bat entre les lecteurs le comit s implique beaucoup plus L valuation est un art et non une science une forme d art analytique extrait de l entrevue d un membre chevronn d un comit SOR La conduite des discussions proprement dites semble en g n ral une partie tr s bien g r e du processus C est pour ainsi dire en ce qui a trait l tablissement de l ordre du jour de la discussion et la d cision sur l ordre appropri de l examen collectif des diff rentes propositions en fonction des notes pr
233. se aux chercheurs non Le CRSH doit mettre au point des crit res diff rents pour 0 3 universitaires promouvoir l inclusion de chercheurs non affili s une universit Suggestions Evaluation et s lection Crit res Reconna tre l importance de la formation en ll est important de reconna tre qus la formation en recherche 0 3 recherche des tudiants des tudiants est un l ment important de la recherche et d ajuster les crit res afin de r mun rer correctement les T a aider les candidats et les valuateurs communaut E Suggestions Admissibilit Tenir compte des parcours de carri re Le CRSH doit mettre au point des crit res diff rents pour les 0 3 inhabituels chercheurs qui n ont pas suivi le parcours universitaire tudiants E 138 o o Q o HEH Suggestions Evaluation et s lection Comit Faire en sorte que le pr sident du comit s assure que les diff rents id ologiques et th oriques ne constituent pas un enjet Cat gorie Code Description Suggestions Evaluation et S assurer que les comit s ne sont pas Un seule valuation externe qu elle soit extr mement postive 0 3 s lection Processus g n ral d valuation parinfluenc s par les commentaires des ou n gative ne devrait pas avoir une trop grande influence les pairs appr ciateurs externes sur la d cision du comit Suggestions Financement Donner priorit aux demandes ayant obtenu une 0 3 note lev e au cours des prochains concours Sugges
234. ses e ssooessoesssesssesssocesoossoosssossssesssocssoossoosssosssoesssesesooes 64 4 7 1 Recommandation li e au programme des bourses doctorales 66 PARTIE 5 QUESTIONS DE POLITIQUE sssseeneneneneneeerenes 67 5 1 Propositions provenant de nouveaux chercheurs 67 5 1 2 Recommandation li e aux jeunes chercheurs 70 5 2 Propositions provenant des candidats des petites universit s 70 5 2 1 Recommandation li e aux propositions provenant des petites universit s 72 5 3 Financement de la recherche in dite risque lev ses 73 5 3 1 Recommandation li e au soutien de la recherche transformatrice risque A E E E E E E AE A EE E Se 74 PARTIE 6 SURVEILLANCE ET CONTR LE DE LA QUALIT see 75 6 1 Discussions de politique au sein des comit s de s lection 75 6 1 1 Recommandation li e aux discussions de politique des comit s 76 6 2 Ti s ODS TVATONTS nn nn ne RU ie net te ee Etes atenns 76 6 2 1 Recommandations li es aux observateurs 71 6 3 Le processus d appel seesseessoossooesosesssesssocesoossooesoosssoesssosssoossoossosssssesssesssoses 77 6 3 1 Recommandation li e au processus d appel 78 PARTIE 7 LES AGENTS DE PROGRAMME ET LEUR R LE ESSENTIEL 79 7 1 1 Recommandations li es aux agents de programme 82 CONCLUSION niia natasa anaoa tirant en none de tiens 84 SONDAGE nonlinear etant tnt 85 REFERENCES nn n ne ne n 8
235. ses notes Cependant il tait sensible aux diff rences culturelles apprenait rapidement et contribuait beaucoup la discussion sur le contenu et la m thode des propositions membre SOR Parfois il semble tr s difficile pour eux membres internationaux de comprendre nos crit res et de les appliquer Cette situation est g rable mais requiert plus 29 2 2 2 S lection des membres des comit s La nouvelle pratique qui consiste faire parvenir l avance un avis d intention de demander une subvention de recherche au bureau du CRSH devrait d sormais donner plus de temps pour quilibrer la composition des comit s et choisir leurs nouveaux membres en fonction de la vari t des propositions pr sent es Selon un autre gestionnaire la constitution de bons comit s est une t che difficile Il faut faire preuve de diligence raisonnable Lorsque l agent de programme est chevronn de meilleures listes de candidats sont produites incluant des membres ayant une grande tendue de connaissances et de la maturit La s lection requiert une attention soutenue Certains agents de programme utilisent des contacts dans la communaut bon escient Je ne suis pas certain qu il s agit d un processus normal c est dire g n ralis Le CRSH aurait peut tre besoin d am liorer ce volet Comme dans le cas de la s lection des appr ciateurs externes les pr sidents et les membres des comit s ont un point
236. st gratifiant sur le plan professionnel Il est tr s regrettable que l exception des membres du comit le r le de l agent de programme dans le processus d valuation par les pairs soit sous estim et peu compris reconnu ou valoris par la plupart des gens Il se peut que le r le des agents de programme ne soit pas assez reconnu de fa on g n rale dans le milieu universitaire canadien Tous les interlocuteurs rencontr s en entrevue qui ont t valuateurs pairs taient toutefois pleinement conscients du r le essentiel de ces agents et dans quelle mesure la qualit du processus d valuation par les pairs au CRSH d pend de la comp tence et de la diligence de chacun d eux En raison des r les diff rents mais essentiels que jouent les agents de programme avant pendant et apr s les r unions du comit de s lection les pr sidents et les membres du comit deviennent tr s conscients de leurs contributions essentielles et de leur niveau de rendement Lorsque l agent de programme ne joue pas son r le de fa on ad quate le comit s en ressent rapidement et sa charge augmente Heureusement nos rencontres avec les valuateurs pairs montrent que leurs attentes lev es envers les agents de programme sont presque toujours extr mement bien satisfaites Dans les rares cas o des probl mes sont survenus c tait essentiellement en raison d un nouveau venu encore inexp riment ou de qu
237. stitutions sont valu es en tenant compte de la disponibilit des ressources mises la disposition de ces chercheurs par leur tablissement 117 Q32 Quelle est votre satisfaction concernant les aspects suivants du processus d valuation des demandes de subventions que vous avez pr sent es au CRSH Tr s Instatisfa Ni Satisfait Tr s Ne instatisfa it 2 satisfait 4 satisfait sais it 1 ni 5 pas N insatisfai e t 3 s appli que pas Q32a la s lection des valuateurs E Q Q Q Q Q externes qui ont examin votre vos demande s Q32b la s lection des membres des Q Q Q Q Q Q comit s d valuation de votre vos demande s Q32c l objectivit de l valuation de Q Q Q Q Q u votre vos demande s Q32d l ad quation du montant de la des subvention s accord e s Q32e la qualit et l utilit des Q Q Q Q Q Q commentaires provenant du des comit s d valuation Q32f la qualit et l utilit des Q Q Q Q Q Q commentaires provenant des valuateurs externes D D D D D D Q33 Globalement quelle valuation faites vous de la r putation du CRSH pour ce qui est de la cr dibilit de son processus d valuation par les pairs Tr s Mauvaise 2 Moyenne 3 Bonne 4 Excellente 5 Ne sais pas mauvaise 1 Q Q Q Q Q Q Q34 Comment valuez vous la r putation cr dibilit du processus d valuation par les pairs du CRSH en comparaison avec celle d autres organismes subventionnaires au Can
238. stralie du Australian College of Education et du Australian Planning Institute Il a si g pendant six ans au Australian Science and Technology Council 1996 2002 De 1988 1990 il a t pr sident fondateur du Australian Research Council conseil dont il a tripl le budget et fait un organisme de calibre mondial Il d tient des dipl mes de doctorat honorifiques de l University of Canberra et de l University of New England Historien et politicologue M Aitkin a enseign la Macquarie University de 1971 1979 et l Australian National University de 1980 1988 Il a r dig de nombreux ouvrages sur l histoire australienne la politique et l enseignement sup rieur ainsi qu un roman Son plus r cent ouvrage What Was It All For The Reshaping of Australia a t publi en octobre 2005 Il a t chroniqueur pour le National Times et le Canberra Times a collabor la r daction de Newsweek et a t commentateur la t l vision et la radio Chaque semaine il r dige un article de fond sur l ducation pour l Australian Financial Review Dans ses temps libres il crit des livres et joue du piano Michael GIBBONS Professeur honoraire Science Policy Research Unit SPRU University of Sussex ROY AUME UNI Apr s avoir quitt ses fonctions de secr taire g n ral de l Association des universit s du Commonwealth en ao t 2004 M Gibbons a t nomm professeur honoraire de l University o
239. t nomm sous ministre au nouveau minist re qu b cois de de la Science et de la Technologie qui a t rebaptis plus tard le minist re de l Enseignement sup rieur et de la Science De retour dans le milieu universitaire en 1987 cette fois ci l Universit du Qu bec Montr al M Limoges s est joint l quipe interuniversitaire afin de cr er le Centre de recherche en valuation sociale des technologies partir duquel il a ensuite fond le Centre interuniversitaire de recherche sur la science et la technologie dont il a t directeur De 1989 1990 il a galement occup les fonctions de pr sident de l Association canadienne fran aise pour l avancement des sciences De 1997 2000 il a tenu le r le de pr sident du Conseil de la science et de la technologie MEMBRES DU PERSONNEL DU CRSH APPUYANT LES TRAVAUX DU GROUPE D EXPERTS Marilyn TAYLOR vice pr sidente Subventions et Bourses Fran ois SIMARD chef d quipe Subventions de recherche et de diffusion de la recherche Nicolas GERMAIN agent de programme Subventions de recherche et de diffusion de la recherche 93 ANNEXE 2 D tail sur les comit s d valuation par les pairs des diff rents programmes Bourses Programme Programme de bourses d tudes sup rieures du Canada Joseph Armand Bombardier Bourses de ma trise Nombre de comit s et de membres par comit 1 comit 8 membres Nombre de lecteurs par demande
240. t r ts est important autant que possible de savoir d tecter la les pairs partialit et les conflits d int r ts potentiels des membres des comit s et des appr ciateurs externes Suggestions Financement Offrir plus de subventions financer davantage Offrir davantage de financement permettrait d augmenter le 83 2 6 de projets taux de succ s des candidats Suggestions Evaluation et Rendre le processus d valuation soit 81 2 5 s lection Processus g n ral d valuation parenti rement ferm soit enti rement ouvert les pairs Suggestions Evaluation et s lection Crit res Devenir plus r ceptif et ouvert aux Le CRSH devrait davantage soutenir la recherche innovatrice 2 5 d valuation nouvelles diff rentes m thodes approches de qui ne peut tre financ e ailleurs recherche Suggestions Financement Cr er un programme de financement distinct Les nouveaux candidats chercheurs devraient avoir acc s 72 2 3 pour les nouveaux chercheurs des fonds diff rents et tre valu s selon des crit res diff rents Suggestions Evaluation et Revoir la qualit des appr ciateurs Il faudrait examiner les commentaires des valuateurs pour 2 1 s lection Appr ciateurs externes externes des valuateurs s assurer qu ils ne contiennent pas de propos non professionnels ou insultants Suggestions Evaluation et Inclure plus de membres internationaux dans le Compte tenu que la communaut universitaire canadienne es 62 1 9 s lection Appr c
241. t de nouveaux chercheurs D apr s les r gles du CRSH les candidats pr sentant une proposition en tant que nouveaux chercheurs doivent d montrer qu ils n ont jamais d pos une demande ayant t retenue en tant que chercheur principal ou directeur de projet dans le cadre des subventions ordinaires de recherche SOR des Grands travaux de recherche concert e GTRC ou des subventions strat giques du CRSH De plus ils doivent satisfaire au moins un des crit res suivants 1 avoir acquis leur grade le plus lev pas plus de cinq ans avant la date limite du concours le CRSH ne tient compte que de la date d ach vement du premier doctorat 2 avoir occup un poste universitaire permanent ou menant la permanence pendant moins de cinq ans 3 avoir occup un poste universitaire mais jamais un poste menant la permanence dans le cas des institutions qui offrent des postes menant la permanence 4 avoir vu leur carri re interrompue ou retard e de mani re importante pour des raisons familiales Au cours de notre travail sur le terrain dans le cadre du pr sent rapport nous avons t expos s des points de vue tr s diff rents sur la situation des nouveaux chercheurs 67 D une part on nous a dit par exemple La r ponse aux propositions de recherche des jeunes chercheurs est un probl me tr s grave l un des plus graves que nous avons d apr s ce que j entends ici mon universit
242. t de tous les dossiers 3 attribuent une note finale aux dossiers L agent de programme bd pr pare l bauche des commentaires du comit Le pr sident de comit D cembre approuve les commentaires crits qui seront envoy s aux candidats Ke Pi Novembre 99 ANNEXE 5 Processus de s lection du programme des Alliances de recherche universit s communaut s ARUC Tableau 3 Alliances de recherche universit s communaut s Processus de s lection de 2009 Pr s lection lettre d intention Tous les membres 1 lisent tous les dossiers 2 envoient les notes pr liminaires qu ils ont D cembre accord es aux dossiers pour lesquels ils jouent le r le de lecteur A ou B l agent de programme L agent de programme 1 recueille toutes les notes pr liminaires 2 fait parvenir toutes les notes pr liminaires aux membres R union Ottawa Tous les membres F vrier 1 discutent de tous les dossiers 2 font parvenir leurs commentaires l agent de programme L agent de programme C _ J pr pare l bauche des commentaires du comit Le pr sident de comit approuve les commentaires fournis par crit par Avril les membres de comit Ces commentaires Ke envoy s aux candidats tape f
243. tant que secr taire du comit l agent de programme a plusieurs t ches importantes accomplir Dans cette capacit il propose des solutions possibles lorsque les d lib rations du comit deviennent difficiles d apr s son exp rience au sein de nombreux autres comit s Il surveille aussi les d lib rations afin de s assurer que la s lection s effectue de mani re rigoureuse d apr s les crit res et uniquement sur ce qui est pr sent dans la demande devant le comit il ne permet aucune discussion sans rapport avec le sujet De plus il s assure que les membres du comit quittent la salle lorsqu ils sont en conflit avec une demande faisant l objet d une discussion En outre il agit en tant que personne ressource du comit 43 D claration similaire Les membres nouveaux au d but prennent difficilement la parole c est la force du pr sident du comit que de faire parler tous ceux qui ont quelque chose contribuer Le r le du pr sident est d assurer une grande rigueur une discussion disciplin e de cadrer la discussion et de garder le temps Il doit favoriser l ouverture s assurer que l on revient s rieusement aux dossiers difficiles borderline Le pr sident doit faire en sorte que le comit comprend bien les enjeux de chaque demande il doit aussi viter les manifestations de dogmatisme th orique membre d un comit SOR 50 fournissant de l information sur la poli
244. te ils recevraient les grosses piles de documents pr sident SOR Synth se des r ponses de International Members Participation in the 2008 Standard Research Grants Adjudication document interne du CRSH 12 juin 2008 deux pages 43 l importance de la formation supervision des tudiants au Canada devrait tre soulign e dans le document d orientation 3 2 4 Exigences en mati re de lecture La charge de travail des membres des comit s est consid rable Pour les nouveaux membres des comit s de s lection la t che peut parfois sembler assez d courageante Les entrevues ont montr qu au moins deux enjeux sont ici soulev s premi rement la charge de travail et deuxi mement la nature exacte des exigences en mati re de lecture La t che semble norme lorsque les bo tes arrivent La premi re fois je n avais pas pris conscience du fait que je n avais pas lire tous les dossiers Je n avais pas pris conscience que je n avais pas le faire moins d tre pr sident du comit l exception des dossiers que vous devez lire avec soin et valuer il suffit de lire les r sum s membre d un comit SOR Chaque lecteur avait plus de 30 dossiers valuer Le nombre de dossiers fran ais fait une diff rence il me faut plus de temps pour les lire Je consacre cette t che tout mon temps libre Une ann e notre comit s est rencontr Ottawa pendant une semaine compl
245. tion des agents de programme les appr ciateurs externes tre exclus en raison de la pi tre qualit de leurs valuations e Fournir en ligne des valuations mod les aux appr ciateurs externes RECOMMANDATION 3 All ger et faciliter le travail des appr ciateurs externes e G n raliser l utilisation des outils lectroniques pour effectuer les valuations e Continuer d utiliser des formulaires normalis s dans le cas des valuations externes RECOMMANDATION 4 Conserver et r compenser les appr ciateurs externes e Reconna tre annuellement par lettre adress e aux universit s et personnalis e les contributions de leur corps professoral aux valuations externes et inciter les universit s mieux assumer activement une responsabilit et une reconnaissance institutionnelles l gard de cette fonction e Inviter les excellents appr ciateurs externes apr s deux ou trois ans de service devenir officiellement membres du Coll ge international des valuateurs sp cialis s du CRSH et continuer d agir titre d valuateurs e Am liorer la r troaction l intention des appr ciateurs externes par l change lectronique automatis des valuations d autres appr ciateurs rendues anonymes et par l envoi d information sur l issue de la des proposition s qu ils ont valu e s RECOMMANDATION 5 Accro tre la transparence de la s lection et du r le des appr ciateurs externes
246. tion du programme des Alliances de recherche universit s communaut s ARUC nn ans nn Gate 100 ANNEXE 6 Processus de s lection des Initiatives de d veloppement de la recherche 101 ANNEXE 7 Processus de s lection du Programme de bourses de doctorat 102 ANNEXE 8 Processus de s lection du Programme de bourses postdoctorales 103 ANNEXE 9 Liste des comit s du Programme de subventions ordinaires de recherche 104 ANNEXE 10 Taux de refus des membres de comit potentiels Concours de 2009 du Programme de subventions ordinaires de recherche 106 ANNEXE 11 Pourcentage des demandes de chercheurs individuels et d quipes de recherche retenues par chaque comit Programme de subventions ordinaires de t cherche 2005 2008 jt ns Let Ce EEE Re Se RS R 108 ANNEXE 12 Demandes d appel interjet es par programme 2006 2008 109 ANNEXE 13 Questionnaire du sondage 110 ANNEXE 14 R sultats du sondage ssh nette ut tient tstanonte 121 ANNEXE 1 MEMBRES DU GROUPE D EXPERTS Mich le LAMONT pr sidente Professeure Robert I Goldman en tudes europ ennes Professeure de sociologie et d tudes africaines et afro am ricaines Harvard University Mich le Lamont est entr e Harvard en 2003 apr s avoir enseign Princeton pendant 15 ans Ancienne titulaire d une bourse Guggenheim elle est actuellement pr sidente du conseil des tudes europ ennes une soci t savante rassemblant le
247. tion par les pairs 26 Tableau 6 Nationalit des appr ciateurs et taux de r ponse l gard des subventions ordinaires de recherche concours 2008 PF Nombre Volont Incapacit dappr ciateurs Volont Pays d valuer d valuer pprecia d valuer sollicit s N N N Canada 2 585 43 2 928 39 5 513 41 47 U 1 999 34 3 156 42 5 155 38 39 2 1 3 Acceptation d agir en tant qu appr ciateur externe Malgr le fait que bon nombre des appr ciateurs externes interrog s ont soulign comme l a indiqu l un deux ce qui suit Ce n est pas une t che si exigeante Bien s r il faut lire et penser mais il s agit d un processus gratifiant puisque vous apprenez Cette t che comporte sa propre r compense Je ne fais pas uniquement mon devoir c est galement instructif lorsque la proposition est brillante et comporte de grandes id es Ce processus ne pr sente aucune difficult particuli re il est clair et simple ou Cela fait partie de nos t ches cela fait partie de nos responsabilit s c est quand m me aussi informatif sur les recherches en train de se faire on voit comment la recherche se d veloppe dans notre domaine Il reste que comme l a montr le Tableau 5 l acceptation d agir en tant qu appr ciateur externe demeure tr s faible m me parmi les Canadiens Certaines solutions ont t sugg r es Par exemple
248. tions Admissibilit Tenir compte des interruptions de carri re Certains chercheurs ont d interrompre leur carri re pour 0 3 diverses raisons cong parental raisons personnelles On doit en tenir compte dans le processus d valuation s lection R troaction d cisions rendues externes des d cisions rendues sur le financement Suggestions Financement Allouer plus de fonds des secteurs de Certains chercheurs consid rent que leur secteur de 0 3 recherche particuliers recherche est en d savantag dans le cadre des concours dul CRSH p ex sciences infirmi res patrimoine canadien tudes alimentaires Suggestions Processus de demande Cr er un processus de demande en deux Ajouter une tape obligatoire de lettre d intention pour 0 3 tapes pour r duire l effort li la pr sentation laquelle le candidat recevrait des commentaires r duirait de des demandes beaucoup l effort li la pr sentation des demandes Suggestions Processus de demande Rendre le processus compl tement en ligne Le CRSH doit mettre au point un processus totalement en 0 3 ligne pour la pr sentation des demandes et la formulation de commentaires Suggestions Financement Financer les meilleures demandes sans tenir 0 3 compte de l emplacement ou de la taille de l tablissement du candidai d valuation internationaux centrique pour valuer les projets de recherche Suggestions Evaluation et S assurer que des francophones soient 7 0 2 s le
249. tique les r gles et les r glements du CRSH Qu il suffise de dire que l agent de programme doit accomplir ses t ches avec tact diplomatie et un bon sens de l humour Au moment de la r union du comit de s lection l agent de programme s assure que le comit fournit une solide r troaction sur les demandes Il a besoin de cette r troaction afin d articuler un proc s verbal qui fournira au candidat un r sum satisfaisant de l valuation de sa demande par le comit Par cons quent il n h sitera pas demander au comit des renseignements suppl mentaires s il juge n cessaire de fournir au candidat une r troaction plus approfondie relativement l valuation des crit res 4 1 Traitement collectif des dossiers 4 1 1 Tenue des dossiers l heure actuelle sauf dans le cas de certaines exp riences pilotes les membres des comit s manipulent des bo tes contenant d normes classeurs qu ils re oivent domicile ou au bureau et qu ils transportent ou retournent Ottawa pour leur propre usage pendant la semaine que dure la r union de s lection Bien que dans d autres pays et aussi au Canada certains organismes sont enti rement pass s aux demandes lectroniques certains il y a dix ans et utilisent exclusivement des documents num riques ce n est pas encore le cas au CRSH Les entrevues ont montr que dans les comit s o des CD ont t utilis s plut t que des propositions
250. tites universit s Je suis dans une grande universit mais je connais des personnes dans de petites universit s Il devrait y avoir des crit res diff rents ou une application diff rente des crit res pour les chercheurs des petites universit s M me si le CRSH le dit il y a chaque ann e il y a toujours des membres qui ne le font pas Il n y a pas de crit re sp cifique qui attire l attention l dessus On devrait toujours s assurer que quelqu un vient d une petite universit Dans mon comit ce n est pas toujours le cas pr sident d un comit SOR Les petites universit s et les universit s en p riph rie constituent une v ritable difficult Le comit fait de son mieux mais nous valuons des projets Nous avons eu l impression que nous pourrions accorder des points suppl mentaires aux candidats provenant des petites universit s pr sident d un comit SOR Pour les petites universit s comme la mienne il n existe pas au comit de souci particulier Un bon chercheur dans une petite universit va r ussir s r mais il n a pas le m me soutien Il devrait y avoir un bonus des points acquis au d part Que quelqu un vienne d une petite universit ce n est pas signal l attention du comit il faut compter sur la vigilance des lecteurs Le pr sident et l agent de programme ne se pr occupent pas de cela pr sident d un comit SOR Je pr sume que les cherc
251. tous les cas transmettre ces formulaires en les accompagnant d une lettre normalis e a expliquant le processus g n ral d valuation par les pairs b mettant l accent sur le fait que le comit de s lection est enti rement responsable de la d cision finale et non les appr ciateurs externes ou les lecteurs du comit eux seuls et c rappelant au candidat que la d cision du comit l gard de sa proposition est le r sultat d un concours RECOMMANDATION 29 liminer le stade de s lection universitaire dans le cas du programme des bourses de doctorat RECOMMANDATION 30 noncer des objectifs de politique clairs en ce qui a trait aux jeunes chercheurs et en bout de ligne tablir des taux de r ussite cibles et d finir des m canismes pour financer les demandes des nouveaux chercheurs que le comit de s lection a valu es favorablement RECOMMANDATION 31 Traiter les enjeux li s aux propositions des chercheurs provenant des petites universit s en tant que domaine de responsabilit politique partag avec les institutions et en bout de ligne adopter et mettre en uvre des r gles et des m canismes compl mentaires en mati re de prise de d cision RECOMMANDATION 32 Explorer la possibilit de cr er un programme pilote exclusivement d di au soutien de la recherche transformatrice et in dite risque lev ouvert tous les domaines des sciences humaines tablir cet gard des r gles d
252. u ce premier triage d apr s un quota pr d termin par chaque universit Le Groupe estime que cette situation semble pr occupante L existence de deux voies parall les pour assurer une pr s lection des demandes implique que le processus n est pas le m me pour tous De plus dans le cas des candidats qui doivent d abord passer par l valuation universitaire les diff rences entre les cultures organisationnelles et op rationnelles des universit s impliquent n cessairement un minimum d h t rog n it dans le traitement et parfois ajoute une couche d opacit Enfin comme nous l ont soulign des responsables universitaires interrog s il n est pas toujours facile au niveau local de pr server le processus contre les pr jug s au sein des facult s et les politiques institutionnelles En effet dans certaines universit s on nous a affirm qu on conseille aux tudiants de prendre une ann e sabbatique avant de d poser une demande afin de contourner le syst me interne de s lection Le fait de rapatrier tout le processus d valuation des demandes de bourses doctorales pourrait tripler le nombre de dossiers que recevrait le CRSH aux fins d valuation voir le tableau ci apr s Tableau 10 Demandes de bourses doctorales pr sent es aux institutions et valu es par un comit de s lection du CRSH 2005 2008 Demandes examin es par les Total des demandes re ues par les universit s co
253. u il en soit m me dans les comit s de petite taille la pratique n est pas uniforme Un membre de la haute direction du CRSH nous a affirm en entrevue que les pr sidents devraient lire avec soin au moins tous les dossiers de la zone grise c est dire ceux qui repr sentent des cas limites en termes de probabilit d tre subventionn s tant donn les notes qu ils ont re ues de la part des lecteurs assign s avant la r union Voil qui n est certainement pas compris de tous Lors d une entrevue un pr sident a soulign que son travail consiste g rer la r union les changes entre les membres et obtenir que la discussion se termine par un consensus C est ma t che je dois m assurer que les travaux du comit se font et ce de fa on quitable toutefois je ne sais rien des propositions je n en lis aucune pr sident d un comit SOR Le Groupe estime que les obligations de lecture des membres des comit s de s lection sont si fondamentales dans la conduite de l valuation par les pairs qu elles doivent tre clairement nonc es et que leur mise en uvre doit ensuite tre surveill e 3 2 5 R gles portant sur l change d information Les manuels fournis aux comit s sont clairs en ce qui a trait la confidentialit et nous n avons d cel aucun probl me en mati re de respect de la confidentialit lors de notre examen du processus d valuation par l
254. u de demandes 2 ou tous tous les membres doivent Programme de les AFA les lire d veloppement 1 comit membres f Non 0 S il y a beaucoup de de la recherche 5 membres voir les demandes on nomme sur le Nord com deux lecteurs par mentaires demande Initiatives de 1 comit d veloppement 2 Non 0 6 membres de la recherche Initiatives de d veloppement de la recherche Tcomit Appel de E membres 2 Non 0 propositions sp cial pour la recherche en 95 Programme gestion en administration et en finances Nombre de comit s et de membres par comit Nombre de lecteurs par demande valuation Oui Non Nombre de demandes Commentaires Subventions de recherche Appel de propositions sp cial pour la recherche en gestion en administration et en finances 3 comit s 9 membres valuation faite uniquement la demande du comit R seaux strat giques de connaissances 1 comit 5 6 membres Cours d analyse statistique de l Initiative canadienne sur les statistiques sociales ICSS Acc s aux centres de donn es de recherche 3 membres 2 membres pour le CRSH et 1 membre pour Statistique Canada valuation ponctuelle quand une demande est re ue deux experts en value la valeur scientifique S ils consid rent la demande admissible elle est transmise Statistique Canada qui prend la d cision fi
255. uation par les pairs et la s lection des propositions mais aussi prendre le temps d examiner formellement des questions soulev es dans le cadre de leur pratique et de recommander des moyens d am liorer le processus et ses r sultats Chaque comit de s lection proc de cet exercice le dernier jour de sa r union Cette activit de surveillance exerc e par les valuateurs pairs l gard du processus dans lequel ils sont des acteurs cl s rev t beaucoup d int r t pour assurer le contr le de la qualit et am liorer le rendement et l efficacit Afin de soutenir la vitalit d une telle activit et d en r colter les avantages une r troaction importante et en temps opportun l intention des membres des comit s s impose Toutefois ils ne semblent recevoir que tr s peu de r troaction directe ou ne la recevoir qu assez tardivement Il s agit d une initiative formidable qui ne fonctionne peut tre pas de la mani re la plus optimale 62 Par exemple Nous avons eu une tr s bonne discussion de politique cette ann e Nous y avons consacr deux heures et demie le dernier matin Tous y ont contribu pr sident d un comit SOR La discussion de politique est tr s importante Lors de la derni re r union du comit de s lection nous avons termin plus t t le matin du dernier jour nous voulions avoir une discussion de politique s rieuse Je voulais que chaque membre pr sent
256. uation par les pairs et des m canismes de s lection sp cifiques 60 Dans la m me veine le pr sident d un comit SOR a fait le commentaire suivant Le CRSH n est pas assez accueillant l innovation Les normes d valuation favorisent la poursuite de la science normale Elles ne r compensent pas les comportements risque a peut videmment d pendre de la composition des comit s de leurs membres a peut varier d ann e en ann e Mais je pr f rerais que le crit re soit explicite Si un projet est vraiment risqu il devrait tre valu diff remment Il est vrai que nous d pensons de largent public a explique les prudences Il n y a pas d instructions claires du CRSH l dessus Il devrait y en avoir 6l Voir par exemple aux tats Unis le programme R21 au National Institute of Health ou les r unions Town Hall lanc es par la National Science Foundation pour explorer les avenues de la recherche transformatrice et au Royaume Uni l appel visant mettre des fonds de c t pour mieux soutenir les propositions sp culatives British Academy 2007 p xiii De plus la Germano Research Foundation a cr un instrument de financement sp cial les subventions Reinhardt Kinck Grants afin de permettre d minents chercheurs poss dant des ant c dents scientifiques prouv s de mener bien des projets risque lev exceptionnellement novateurs http www dfe d
257. ue le syst me d valuation par les pairs en vaut largement la peine malgr tous les efforts qu il n cessite Toutefois un peu moins de 50 p 100 des experts consult s peuvent accepter l invitation du CRSH d agir titre d appr ciateurs externes ou de membres d un comit de s lection Chaque ann e pr s de 15 000 pairs potentiels doivent d abord tre identifi s puis contact s Il s agit certainement d une t che de taille et le CRSH doit tre f licit du fait qu il r ussit malgr ces obstacles assurer un processus d valuation par les pairs qui est selon les normes internationales d une qualit minemment lev e Ces derni res ann es on a beaucoup crit sur l puisement du processus d valuation par les pairs On affirme que nombreux syst mes d valuation par les pairs dans le monde croulent sous leur propre poids Le Groupe a port norm ment d attention cet enjeu Bon nombre de nos recommandations visent pr cis ment pr venir cette situation et maintenir en bonne sant le syst me du CRSH en rationalisant certains processus en all geant certains fardeaux et r glements et en rendant plus attirante la participation des pairs 2 1 Appr ciateurs externes Les pairs sont des personnes poss dant la comp tence prouv e de formuler un jugement M me si tous et chacun ne s en rendent pas pleinement compte les appr ciateurs externes
258. ulement du travail ils pourraient participer chaque ann e pendant quelques mois la gestion des politiques ou des subventions strat giques Ils pourraient aussi tre beaucoup plus pr sents et actifs dans les institutions et la communaut des chercheurs l ext rieur du si ge du CRSH Les fonctions publiques des agents de programme Interagir avec la communaut des chercheurs fait d j partie de la t che des agents de programme du CRSH Non seulement interagissent ils avec les candidats sur une base individuelle mais ils assistent aussi aux r unions annuelles et aux colloques pour se tenir au courant des innovations et des d bats intellectuels rencontrer les chercheurs en personne et largir leur r seau ainsi que participer des pr sentations et des ateliers li s aux programmes du CRSH Il s agit de rester en contact avec le domaine sur le plan intellectuel d assurer une meilleure pr sence et une plus grande visibilit de l organisme dans la communaut des chercheurs et d am liorer les communications du CRSH En effet dans les organismes subventionnaires bien g r s les agents de programme sont visibles aupr s de la communaut des chercheurs afin de mieux faire comprendre comment ils fonctionnent La transparence augmente la confiance Pour reprendre les mots de l un de nos interlocuteurs les plus chevronn s Je suis loin d tre certain que la communaut comprend bien le r le des agents de
259. ult s d coule d un manque d exp rience de travail dans ce type de contextes multipartites Cependant dans l ensemble il peut s agir davantage d une question d objectifs de programme et de proc dures encore trop mal d finis et ou de zones grises persistantes entre les organismes Un membre du conseil d administration du CRSH a d clar en entrevue En ce qui a trait aux projets entre conseils des progr s ont t accomplis l an dernier Une structure appropri e est n cessaire entre le CRSNG et le CRSH La gestion doit tre tr s explicite sur les proc dures en place Nous devrons r gler la question de savoir si les demandes en sant devraient relever du CRSH ou des IRSC Le Groupe partage cet avis Dans ce cas ci les probl mes semblent d couler moins des aspects philosophiques ou techniques de l valuation par les pairs que de la n cessit de mieux d finir la politique n cessaire pour g rer les interfaces des organismes subventionnaires et en arriver une entente cet gard 4 5 1 Recommandations li es l valuation des questions interdisciplinaires et multipartites RECOMMANDATION 26 Abolir le comit 15 sur les subventions ordinaires de recherche SOR et habiliter tous les comit s y compris tous les comit s SOR valuer les propositions sortant des fronti res de leur discipline 61 RECOMMANDATION 27 En collaboration avec d autres organismes subventionnaires canadiens
260. ultats des concours 1998 1999 2007 2008 de la derni re d cennie entre 23 et 28 p 100 et est demeur pr s de 25 p 100 de 2006 2008 19 Graphique 2 Nombre de demandes et taux de r ussite des bourses postdoctorales 1999 2008 800 E Demandes E Bourses e Taux de r ussite 28 1 25 1 Th e20 RA 27 25 1 30 253 700 600 500 e 25 1 227 gt 25 lo 20 400 15 300 10 200 100 p 0 0 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 Source CRSH L ann e en chiffres d penses et r sultats des concours 1998 1999 2007 2008 p 46 La situation ne s est pas non plus am lior e de fa on homog ne dans le cas des subventions de recherche comme le montre clairement le tableau suivant Tableau 3 D penses par type de recherche 2000 2008 Ann e Recherche d finie par le chercheur Recherche strat gique 2000 47 541 21 969 2001 52731 22 544 2002 62787 15 335 2003 71207 18 592 2004 79 156 19 953 2005 87 247 25 251 2006 93 287 26 332 2007 84 877 36 898 2008 85 252 37 310 Source Pour 2000 2007 les chiffres sont tir s de CRSH L ann e en chiffres d penses et r sultats des concours 1998 1999 2007 2008 p 11 12 Pour 2008 Chiffres tir s de www tbs sct qc ca est pre 20082009 me bd pub ME 312
261. un comit de s lection et cette initiative s est r v l e positive Nos interlocuteurs qui ont si g des comit s de la Fondation canadienne pour l innovation FCI qui s appuie largement sur les collaborateurs internationaux et les membres des comit s pour mener bien ses valuations ont t impressionn s par la qualit du travail accompli dans ces circonstances ainsi que par la l gitimit et la cr dibilit qu elle conf re aux d cisions de financement Pour reprendre les mots d un haut responsable d une association de recherche canadienne le processus de la FCI montre les avantages de l internationalisation En un sens il d charge les chercheurs canadiens et valide le processus il l ve aussi la barre du niveau de validation En effet bon nombre appr cient la pr sence de membres trangers au sein des comit s de s lection comme moyen d largir la visibilit du CRSH ainsi que des chercheurs canadiens en tablissant un r seau plus intensif avec d excellents chercheurs provenant de l tranger Stabilit roulement Les membres des comit s qui ont si g une premi re ann e de mani re utile et efficace sont invit s si ger une deuxi me et une troisi me ann e La dur e d un mandat est en g n ral de trois ans C est le nombre optimal d ann es pour si ger un comit vous d sirez obtenir une certaine continuit qu au moins la moiti des membres rev
262. urs n implique aucunement que le candidat est exclu de mani re d finitive du groupe des chercheurs r guliers Bon nombre refont une demande et une proportion importante d entre eux r ussissent et deviennent des chercheurs subventionn s Certains interlocuteurs de nos entrevues surtout des responsables universitaires ont soulign que dans ces cas la r troaction du comit du CRSH en fournissant des commentaires utiles a souvent grandement aid les candidats Comme ce processus est actuellement men par le CRSH la fourniture d une r troaction aux candidats est devenue tr s exigeante et repr sente une part importante de la charge de travail 63 des comit s Les membres des comit s peuvent devoir commenter de fa on d taill e plus de 100 propositions pendant leurs r unions C est l une des responsabilit s du pr sident de s assurer que l agent de programme a toute l information dont il a besoin pour faire rapport clairement et fid lement des d lib rations du comit relativement chaque dossier Par la suite l agent de programme consacre de nombreuses semaines la r daction de ces rapports En bout de ligne on devrait en arriver un meilleur quilibre entre la transparence et l utilit par la r troaction fournie aux candidats et le caract re raisonnable de la charge de travail li e l valuation par les pairs Les responsables et le corps professoral des universit s doivent
263. us les autres programmes n cessitant des valuations externes quelques uns n en ont pas besoin des instructions ne sont fournies que par l agent de programme On nous a indiqu information fournie par un agent de programme et un chef d quipe que avant la mise en place de ces formulaires SOR il y a trois ans de nombreuses valuations 27 La pr sidente d un comit th matique a sugg r lors de son entrevue que les directives devraient tre tr s sp cifiques sur la question du budget Elle a aussi mentionn avoir r cemment particip aux tats Unis un institut de six semaines subventionn par la National Science Foundation o l un des cours les plus appr ci s portait sur la pr paration d un budget Il lui a sembl que des ateliers itin rants sur le budget pourraient se r v ler une initiative tr s productive envisager 41 int graient des commentaires recycl s provenant d valuations effectu es dans d autres circonstances Les valuations taient de longueur tr s diff rentes et leur qualit extr mement in gale ce qui cr aient de tr s graves probl mes aux comit s Ces formulaires semblent tr s bien re us par les chercheurs et les institutions cas vraiment rare relativement aux initiatives de ce type du CRSH a comment un responsable universitaire et l on consid re g n ralement que la qualit et l utilit des valuations ont par cons quent grandement augment
264. uses et novatrices Il arrive toutefois que m me lorsque le processus d valuation par les pairs est efficace de nombreux programmes de recherche qui pourraient tre int ressants demeurent sans soutien cause de la raret des ressources C est effectivement le cas au CRSH Le pr sent rapport adopte une approche g n rique plut t que de proc der programme par programme d marche qui donnerait lieu de nombreuses r p titions Cependant il pr te attention d importantes sp cificit s de certains programmes en ce qui a trait l valuation par les pairs Il allie chaque tape les principaux constats du Groupe et en bout de ligne ses recommandations d am lioration L valuation et les recommandations reposent en partie sur une approche comparative qui tient compte des syst mes d valuation par les pairs am ricains australiens britanniques et allemands La partie 1 nonce la position du Groupe sur l importance de ses constats en ce qui a trait au processus d valuation par les pairs du CRSH elle fournit aussi de l information contextuelle de nature g n rale La partie 2 examine les pratiques du CRSH en mati re de s lection des pairs aux fins d valuation des propositions et d octroi des subventions et des bourses de recherche ainsi que de s lection des pr sidents des comit s de s lection La partie 3 porte attention aux instructions et aux directives fournies aux appr ciateur
265. ut au long de notre travail tout en exer ant une parfaite discr tion Nous esp rons que vous trouverez ce rapport utile et qu il r pond vos attentes Veuillez agr er l expression de nos sentiments les meilleurs Mich le Lamont pr sidente du Groupe d experts international l gard des pratiques d valuation par les pairs au Conseil de recherches en sciences humaines du Canada et Robert I Goldman professeur en tudes europ ennes ainsi qu en Sociologie et en tudes africaines et afro am ricaines Harvard University 11 INTRODUCTION Mandat Le mandat du Groupe d experts ci apr s le groupe a t d fini par d cision du conseil d administration du CRSH de la mani re suivante Dans le cadre de ses priorit s strat giques l appui de son objectif en mati re de qualit le CRSH cr e un Groupe d experts compos de personnes reconnues internationalement et hautement respect es pour leur connaissance et leur expertise sur les processus d valuation par les pairs Le Groupe valuera la qualit et l int grit des pratiques d valuation par les pairs du CRSH notamment e les principes et les approches servant concevoir des processus appropri s d valuation par les pairs y compris la s lection des valuateurs et des comit s de s lection relativement aux diff rents types de programmes de subventions et de bourses e la pertinence et l application des crit r
266. ux sont corrects quivalents ce qu ils sont pour les autres chercheurs Quand on examine en comit un projet de jeune chercheur on tient compte de sa situation On n est pas super exigeants pour les CV Par ailleurs j aurais tendance leur donner moins pas plus de 100 000 pour trois ans et plut t subventionner un plus grand nombre membre d un comit SOR et d un comit strat gique Les jeunes chercheurs Il ne fait aucun doute qu il y a une bonne place pour les jeunes chercheurs Le comit tient compte de leur situation et nous obtenons de tr s bonnes propositions de leur part Nous en finan ons un grand nombre nous procurons un tr s bon soutien Au contraire certains chercheurs chevronn s voient leur proposition rejet e parce qu elle n inclut aucune v ritable recherche participative pr sident comit th matique Les nouveaux chercheurs sont quitablement trait s Nos discussions en comit garantissent a les taux de succ s sont 50 50 entre nouveaux chercheurs et chercheurs tablis le crit re 60 40 fonctionne tr s bien membre d un comit SOR Les donn es justifient elles cette s r nit Le tableau suivant fait tat d une situation diversifi e Les comit s ne se comportent pas tous de la m me mani re L an dernier dans le cas de trois comit s les taux de r ussite taient l g rement plus lev s dans le cas des nouveaux venus que dans celui des chercheurs r
267. valuateurs pairs 3 Rendre tous les processus le plus publics et transparents possible pour les chercheurs afin d am liorer la compr hension des activit s du CRSH et de maintenir la confiance et la cote d estime 84 SONDAGE Les r sultats du sondage Web se sont r v l s compl mentaires dans le cadre de notre recherche Ils ont essentiellement confirm que les conclusions provisoires que nous avions tir es de notre analyse de l abondante documentation que nous avait fournie la gestion du CRSH ainsi que des entrevues que nous avons men es correspondaient largement aux perceptions de la communaut des chercheurs universitaires canadiens en sciences humaines Les r sultats du sondage n ont pas contredit de fa on substantielle nos constats Ils nous ont permis de confirmer notre confiance envers la valeur et la cr dibilit du syst me d valuation par les pairs du CRSH Ils nous ont aussi fourni Q 37 dans de nombreux cas un soutien tr s utile et important relativement un grand nombre de nos recommandations Le sondage a donn lieu un r sultat inattendu en ce qui a trait au degr plut t lev d homog n it de la r partition des opinions parmi les disciplines et les domaines de recherche Contrairement l opinion couramment r pandue les diff rences sont plus frappantes entre certaines disciplines ou certains domaines de recherche des sciences humaines et des sciences sociales mais
268. vez pr sent es d autres organismes que le CRSH au cours des 10 derni res ann es Q20 443 4 455 9 9 100 0 De 76 100 De 51 75 2 895 1 264 47 3 20 7 De 26 50 516 8 4 Moins de 25 354 1 092 5 8 17 8 Ne s applique pas aucune demande Tableau 13 Quand vous pr parez une demande de subvention au CRSH quel degr d attention portez vous aux crit res sp cifiques d valuation du programme de subvention Q21a Degr d attention Q21a Aucune attention 1 6 121 Nbre 37 100 0 0 6 Un peu d attention 2 112 1 9 Une attention mod r e 3 814 14 2 Une tr s grande attention 4 4 639 148 80 7 2 6 Ne sais pas Ne s applique pas 5 750 100 0 129 Tableau 14 Quand vous pr parez une demande de subvention au CRSH dans quelle mesure avez vous recours Q22a c Ressources disponibles Jamais 1 a des contacts directs avec l agent responsable du programme au CRSH t l phone courriel b l aide du service bureau de la recherche de votre universit institution c l aide ou aux conseils de coll gues 1 889 33 483 8 284 5 Quelques fois 2 2 860 50 2 078 34 1 693 28 Fr quem ment 3 434 8 1 351 22 1 752 29 Toujours 4 311 5 1 919 31 2 129 35 Ne sais pas Ne s appli que pas 238 4 321 5 283 5 5 732

Promouvoir l`excellence en recherche – Examen mené par un

Contents

Download Pdf Manuals

Related Search

Related Contents

Promouvoir l`excellence en recherche &ndash; Examen men&eacute; par un

Contents

Download Pdf Manuals

Related Search

Related Contents

Promouvoir l`excellence en recherche – Examen mené par un