Evalsed: A avaliação do Desenvolvimento Socioeconómico
Contents
1. Fonte Diez Malagon e Izquierdo com base numa tipologia desenvolvida pela C3E Lyon no mbito do Programa MEANS imp e se naturalmente o caso da avalia o ser executada nos pa ses referidos em primeiro lugar em resposta procura a n vel nacional mais do que com o objectivo de satisfazer necessidades de responsabiliza o externas por exemplo a UE e estes processos de avalia o precederam ou pelo menos desenvolveram se independentemente dos regulamentos dos Fundos Estruturais e dos sistemas de avalia o a eles associados Por m ainda mais surpreendente a natureza descentralizada e multi n vel da avalia o que reflecte as realidades da governan a multi n vel No Reino Unido por exemplo j uma pr tica consolidada a de complementar as avalia es de pol ticas nacionais com avalia es locais que t m como objectivo n o s considerar quest es descentralizadas de presta o e implementa o como tamb m responder a quest es de avalia o com interesse para os benefici rios das pol ticas e dos programas bem como de comunidades locais ONGs e actores de pol tica nacionais Biott and Cook 2000 Os actores da sociedade civil j mobilizados tornam se tamb m uma fonte de procura de avalia o se houver a perspectiva de que os potenciais benef cios se reverter o a seu favor 3 7 A perspectiva da oferta e Tradi es e condi es de partida e Rela es com os sectores da educa2. es e Face ao exposto o melhor aplicar conjuntamente os m todos e t cnicas integrados em quaisquer trabalhos de avalia o espec ficos Basear se num nico m todo ou t cnica poder ser mais fr gil do que obter diversas perspectivas o que se designa muitas vezes por triangula o Quantitativo vs qualitativo uma falsa quest o comum fazer uma distin o entre m todos t cnicas e dados quantitativos e qualitativos De facto esta distin o n o t o clara como pode parecer primeira vista Quando os dados qualitativos das pessoas s o classificados e adicionados tornam se 102 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA quantitativos como por exemplo 50 dos entrevistados afirmou ter usufru do do programa De facto a base de sustenta o de muitas avalia es quantitativas qualitativa A an lise de dados administrativos exige muitas vezes considera es de ordem qualitativa relativamente forma de classificar por exemplo grandes pequenas ou m dias empresas Do mesmo modo os inqu ritos por correio integram dados qualitativos No entanto n o deveremos subestimar o rigor muitas vezes integrado em procedimentos e protocolos anal ticos de aceita o mais generalizada necess rio para converter contributos qualitativos em conclus es quantitativas E por isso que a amostragem a signific ncia estat stica e a distin o entre diferentes tipos de an lis
3. fechada obrigat ria ou est vel e encontra se limitada aos indicadores do programa Os 132 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA indicadores foram pontuados de a por ordem decrescente de interesse Os indicadores s o correspondentes a recursos efeitos resultados e impactos Caixa Propostas de indicadores chave Recursos Interesse Indicador Recursos humanos EE Emprego tempor rio nas empresas que executam o trabalho durante a implementa o empregos x anos N mero de operadores organiza es p blicas e privadas respons veis pela presta o de assist ncia aos benefici rios x N mero de conselheiros FTE mobilizados para aconselhar os benefici rios Recursos financeiros ES Taxa de absor o or amental de fundos alocados ai projectos em termos financeiros particularmente orientados para as mulheres ES projectos em termos financeiros em mercados sectores em r pido crescimento de or amento reservada para medidas de mitiga o ambiental projectos em termos financeiros orientados para as reas mais desfavorecidas Realiza es Interesse Indicador Progresso dos trabalhos a Taxa de conclus o do objectivo i Conformidade com a dura o do projecto Capacidade dos trabalhos terminados N mero de potenciais liga es empresas habita es rede de servi os b sicos distri
4. EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Planeamento efici ncia que garanta a exist ncia de uma justifica o para uma pol tica programa e que os recursos se desenvolvem eficientemente Responsabiliza o demonstrar em que medida que determinado programa alcan ou os seus objectivos e de que forma utilizou os seus recursos Implementa o aumentar a efici ncia dos programas e a efic cia da sua implementa o e gest o Produ o de conhecimento aumentar o nosso entendimento do que efectivamente funciona e em que circunst ncias e de que modo que se pode tornar as diferentes medidas e interven es mais eficazes Refor o institucional e de rede melhorar e desenvolver as capacidades entre os participantes no programa e as suas redes e institui es Em certa medida a estes diferentes objectivos est o associados m todos e t cnicas espec ficos Por exemplo No que diz respeito ao planeamento e efici ncia os m todos est o sobretudo relacionados com a atribui o de recursos e com a economia de custos Ser o adequadas diversas formas de an lise de impacto bem como diferentes formas de an lise custo benef cio Num sentido de gest o mais lato tamb m ser o utilizadas t cnicas orientadas para os objectivos como as caracter sticas de algumas abordagens de quadros l gicos O Manual T cnico Il descreve uma s rie destes m todos e t cnicas Entre eles incluem se por exempl
5. Fonte Estudo de caso sobre a Irlanda no Manual T cnico Ill A Capacita o Administrativa e Institucional para a Avalia o Uma vez estabelecido um sistema de avalia o passam a estar dispon veis op es adicionais em termos de localiza o e de estrutura Por exemplo alguns minist rios ou ag ncias p blicas podem concentrar os seus esfor os de avalia o na sua pr pria unidade central enquanto outros podem basear se em redes internas com uma ou duas pessoas num ponto central e as restantes distribu das pelos diferentes departamentos unidades ou divis es de implementa o pol tica Um exemplo desta estrutura uma rede de consultores de avalia o um em cada um dos Programas Operacionais dos Fundos Estruturais mas sob a coordena o de uma forma transversal a todos os Programas Operacionais de uma unidade central Se a inten o for efectivamente transformar a avalia o numa fun o valorizada no mbito do sector p blico ter necessariamente de reflectir a arquitectura de governa o do respectivo pa s Por exemplo se for importante a participa o de n veis regionais ou federais do governo a avalia o dever por conseguinte estar plenamente integrada nessas estruturas de administra o sub nacional Embora possa n o ser este o principal enfoque da avalia o necess rio conceber novos sistemas de avalia o de raiz com base numa vis o global da forma como ser o posteriormente adaptados n
6. o indicadores de monitoriza o e de avalia o As tipologias mais teis para os programas socioecon micos s o constitu das pela distin o entre indicadores de recursos efeitos resultados e impactos Os indicadores contextuais que podem coincidir em alguns casos com os indicadores de impacto constituem mais uma categoria til Os indicadores de recurso transmitem informa es sobre os meios financeiros humanos materiais organizacionais ou regulamentares utilizados para implementar os programas Os recursos constituem uma responsabilidade conjunta das autoridades de financiamento que os distribuem bem como os operadores que os implementam Os indicadores de recurso s o na sua maioria regularmente quantificados por sistemas de monitoriza o Entre os exemplos de indicadores de recurso incluem se o or amento total quantidade de recursos a absor o or amental anual taxa de absor o de recursos a percentagem de subutiliza o sobreutiliza o esperada a percentagem de financiamento europeu face ao financiamento p blico total o n mero de pessoas a trabalhar na implementa o do programa o n mero de organiza es envolvidas na implementa o Os indicadores de realiza o representam o produto das actividades dos programas Mais precisamente considera se uma realiza o o que se obt m em troca da despesa p blica As realiza es encontram se normalmente sob a responsabilidade dos operadores que
7. o por exemplo para o Parlamento Europeu ou para os parlamentos nacionais para os representantes eleitos a n vel regional ou local para os parceiros socioecon micos para os jornalistas e atrav s deles para os cidad os e para os contribuintes Se o objectivo dos sistemas de indicadores for servir de base comunica o p blica necess rio seleccionar quantificar e publicar um pequeno n mero de indicadores que possam ser facilmente compreendidos por leigos A publica o destes indicadores encontra se geralmente organizada sob a forma de quadros simples acompanhados de coment rios por exemplo num relat rio anual Tamb m podem ser colocadas disposi o informa es mais detalhadas atrav s de um observat rio aberto ao p blico ou atrav s de um sistema de consulta na Internet Ao definir estes indicadores publicamente acess veis dever dar se prioridade a indicadores gen ricos aplic veis a v rias ac es diferentes no mesmo programa e a indicadores padr o que permitam fazer compara es entre programas em diferentes regi es ou pa ses Al m disso estes indicadores devem ser compreendidos por todos os parceiros sem explica es extensas e sem quaisquer falhas na compreens o do seu significado Propostas de indicadores chave de acesso p blico A Caixa Propostas de indicadores chave prop e uma s rie de indicadores que podem ser utilizados como indicadores chave de acesso p blico Esta lista n o
8. representantes de empresas regionais O trabalho destes grupos permitiu seleccionar indicadores com maior capacidade de atrair a aten o do p blico e serem assim mais facilmente compreendidos Caixa Envolvimento dos benefici rios na escolha dos indicadores As autoridades pol ticas da regi o de Benton Harbor USA criaram um sistema de indicadores de contexto com o objectivo de avaliar o desenvolvimento econ mico da rea metropolitana de Berrien Os principais elementos da descri o do desenvolvimento econ mico basearam se numa s rie de entrevistas de focus groups que envolveram os principais empreendedores da regi o Os indicadores escolhidos foram por exemplo Em termos de disponibilidade de capital humano qualificado despesas de educa o por crian a r cio professor estudante taxa de abandono escolar Em termos de crescimento e diversifica o da economia rendimento per capita taxa de emprego no sector industrial valor acrescentado no sector do com rcio ndice de diversidade sectorial taxa de emprego em PME valor e n mero de resid ncias relativamente aos quais foram emitidas autoriza es de constru o Em termos de qualidade de vida o custo de vida relativo a taxa de crimes contra a propriedade e de crimes contra a integridade das pessoas Erickcek G A 1996 The Benton Harbor Area Benchmarking Data System Michigan WE Upjohn Institute As principais fontes de informa es s o os
9. Os relat rios escritos tamb m dever o incluir resultados mais populares para que possam ser adoptados pelos meios de comunica o social Muitos programas produzem as suas pr prias newsletters e estas proporcionam mais uma oportunidade de dissemina o As apresenta es orais Comiss o Directiva e a outras partes interessadas por exemplo em workshops especializados tamb m s o teis Gerir a garantia e o controlo de qualidade Ver tamb m Controlo de Qualidade http Avww pm gov uk files pdf Quality framework pdf Avaliar a qualidade de uma avalia o constitui parte integrante e fundamental do processo de avalia o De facto uma avalia o que n o satisfa a alguns padr es de qualidade m nimos apresenta uma grande probabilidade de enganar os decisores pol ticos e os gestores de programa Contudo avaliar a qualidade de avalia o um processo complexo e dif cil As avalia es realizadas no contexto dos programas e pol ticas de desenvolvimento socioecon mico s o muito diferentes entre si de modo a permitir a exist ncia de algumas regras simples que garantam a qualidade em toda a sua dimens o De um modo geral poder dizer se que a qualidade da avalia o como um todo depende da exist ncia de tr s aspectos distintos mas inter relacionados e a qualidade da fase de concep o e planeamento incluindo a encomenda da avalia o e a qualidade da implementa o da pr pria avalia o e a quali
10. demasiado ambiciosos relativamente ao que a avalia o pode alcan ar em qualquer programa espec fico ou contexto pol tico Num mundo ideal os programas est o bem estruturados os dados administrativos est o sempre dispon veis as avalia es s o pedidas atempadamente os promotores dos programas t m objectivos claramente definidos a filosofia das interven es encontra se devidamente investigada e articulada os recursos adequados colocados disposi o est o em conformidade com as metas definidas as capacidades necess rias est o dispon veis para agregar uma equipa de avalia o os pressupostos pol ticos permanecem constantes no decorrer da vida do programa respectivo e atrav s de um bom planeamento as conclus es da avalia o chegam a tempo de informar as revis es de pol tica e representam oportunidades de reprograma o numa fase anterior ao planeamento Previsivelmente a maior parte das vezes o mundo real n o assim As prioridades pol ticas mudam ou evoluem enquanto os programas est o a decorrer as avalia es ex ante n o foram correctamente realizadas os objectivos dos programas acabam por ser um compromisso entre as prioridades contradit rias dos diferentes parceiros e partes interessadas sabem se quais os indicadores que se pretende recolher mas os dados n o est o dispon veis e o ciclo de avalia o n o se encontra sincronizado com o ciclo pol tico Nestas circunst ncias demasiado familiares a
11. e Institucionaliza o da avalia o desenvolver e integrar a avalia o em sistemas de elabora o de pol tica e no sistema de pol ticas mais abrangente Ver o exemplo na Caixa A capacidade de avalia o na Litu nia Caixa A capacidade de avalia o na Litu nia Antes da sua ades o a Litu nia possu a uma experi ncia de avalia o muito reduzida bem como uma capacidade limitada de avalia o dos Fundos Estruturais A estrat gia adoptada consistiu em centrar a responsabilidade global da avalia o no Minist rio das Finan as envolvendo simultaneamente todos os parceiros num Grupo de Gest o da Avalia o Foi contratado um cons rcio constitu do por consultores locais e estrangeiros para executar um projecto de capacita o em termos de avalia o Entre as medidas adoptadas encontram se e Uma confer ncia regional sobre avalia o organizada para aumentar a consciencializa o e Forma o de peritos e funcion rios p blicos em avalia o e Prepara o de medidas orientadoras e de documentos metodol gicos Fonte Conference Presentation Director EU Programme Management Department Ministry of Finance Lithuania 3 4 A arquitectura dos sistemas de avalia o importante que todos os respons veis pelo desenvolvimento da capacidade de avalia o tenham consci ncia de que est o a desenvolver um sistema onde os diversos elementos interagem enire si e se refor am mutuamente En
12. es aplicadas de modo a assegurar o tratamento adequado dos dados recolhidos etc Tamb m poss vel avaliar a organiza o do processo de monitoriza o Em segundo lugar poder considerar se a qualidade como uma caracter stica dos produtos do processo de avalia o Assim poder analisar se os TdR de acordo com os crit rios j descritos A qualidade dos relat rios de avalia o final e intercalar pode ser 63 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA avaliada no sentido de verificar se eles satisfazem alguns crit rios b sicos de boas pr ticas profissionais e se os dados s o quantitativamente suficientes e suficientemente fidedignos para garantir conclus es s lidas Teoricamente os dois aspectos o processo e o produto est o relacionados um bom processo dever dar origem a um bom produto e vice versa no sentido em que um bom produto dever ser o resultado de um processo de produ o suficientemente bom A Colec o MEANS 1999 referia N o existe um sistema de certifica o profissional em parte alguma do mundo que institucionalize as regras e os crit rios de qualidade Prop em se grelhas de crit rios algo d spares com base nos modelos de avalia o elaborados por diversos autores mas n o existe consenso nesta mat ria Al m disso a natureza dos crit rios referidos nem sempre apresentada de forma clara sempre que se tenta coloc los em pr tica De
13. espera se que os materiais sejam ainda mais desenvolvidos permitindo assim que os utilizadores possam estruturar e configurar o seu pr prio GUIA pessoal adaptado s suas necessidades s fun es de avalia o que possuem e aos programas e pol ticas espec ficos que estiverem a avaliar ou a gerir Conte do O novo GUIA publicado num nico volume apoiado por uma s rie de Manuais T cnicos que proporcionam material mais especializado e aprofundado ao qual poss vel aceder e descarregar da internet O GUIA est dividido em quatro sec es A sec o sobre a avalia o e o desenvolvimento socioecon mico proporciona uma introdu o avalia o e s suas vantagens Come a com uma descri o geral sobre a avalia o e a forma como poder contribuir para a melhoria das pol ticas e dos programas e em ltima inst ncia para o refor o do desenvolvimento socioecon mico Segue se uma introdu o a alguns conceitos b sicos da avalia o a sua hist ria algumas das diferentes tradi es nas quais se baseiam os avaliadores e os diferentes objectivos da avalia o Finalmente discute se as especificidades do desenvolvimento socioecon mico enquanto objecto de avalia o Este processo inclui a selec o das caracter sticas espec ficas da pol tica de desenvolvimento socioecon mico e as suas implica es para a avalia o bem como as principais teorias e conceitos nos quais assentam as pol ticas e o
14. imperfeita os conhecimentos est o misturados e os dados nem sempre est o dispon veis Vale a pena no entanto dar pequenos passos trabalhar com aquilo que est dispon vel e aumentar ainda que ligeiramente a efici ncia e a legitimidade dos programas p blicos Mesmo os resultados mais modestos podem fazer uma grande diferen a sobretudo se integrados numa perspectiva de longo prazo para construir capacidades e permitir avalia es mais ambiciosas no futuro 36 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ndice da Parte II 2 PARTE Il A CONCEP O E IMPLEMENTA O DA AVALIA O 2 1 A concep o e o planeamento da avalia o 2 2 implementa o e a gest o da avalia o 2 3 A utiliza o da avalia o e a gest o do conhecimento 2 4 Regras de ouro 2 1 A concep o e o planeamento da avalia o Avalia o e programa o Planear o trabalho de avalia o Definir as quest es e os crit rios de avalia o Seleccionar m todos de avalia o atribuir responsabilidades e distribuir os recursos e Elaborar os Termos de Refer ncia Avalia o e programa o Na sec o do GUIA relativa avalia o e ao desenvolvimento socioecon mico deu se particular destaque ao facto do desenvolvimento socioecon mico n o sendo uma ci ncia exacta ser complexo e incerto quanto mais n o seja porque existem diversas teorias que individualmente sustentam diferentes est
15. inovadoras onde o xito n o se pode tomar por garantido e onde a implementa o nem sempre linear para al m de exigir uma gest o e um planeamento sofisticado Quando aplicada de forma adequada a avalia o pode contribuir para a gest o de algumas das inevit veis incertezas inerentes a situa es complexas O desenvolvimento socioecon mico como se discutir mais frente neste GUIA certamente complexo e debate se frequentemente com diversas incertezas n o uma ci ncia exacta Seleccionar metas e medidas conceber programas implementar e manter uma din mica de desenvolvimento todas elas requerem a an lise previs o estabelecimento de 1 As partes e os cap tulos n o est o numerados na vers o on line EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA sistemas de feedback e mobiliza o de diferentes institui es ag ncias e grupos demogr ficos A avalia o tornou se uma componente essencial de uma infinidade de iniciativas de desenvolvimento socioecon mico ao constatar que a sua pr tica e os conhecimentos adquiridos t m contribu do efectivamente para esses processos Existem duas implica es importantes se a avalia o for justificada nesses termos Em primeiro lugar se a avalia o for til e aplic vel necess rio que seja vista como uma parte integrante da gest o e da tomada de decis o e efectivamente de todo o processo de responsabilidade democr tica Assim um
16. o do programa precisa presume se a identifica o dos elementos a avaliar e dos crit rios de avalia o torna se arbitr ria e subjectiva Independentemente do m rito destes conhecimentos adquiridos tamb m existe outra forma de ver o problema E precisamente devido exist ncia de diversos objectivos e de programas complexos que a avalia o se torna essencial 37 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Numa situa o ideal estas quest es de avalia o deveriam ser consideradas na fase de formula o do programa e isto deveria ajudar a evitar problemas como objectivos contradit rios Conceptualizar os resultados esperados em termos operacionais e por conseguinte mensur veis por exemplo construindo desde o in cio um sistema de monitoriza o e de indicadores constitui um meio extremamente capaz de ajudar os decisores a formular melhores programas Por isso implicar a avalia o e os avaliadores t o cedo quando poss vel constitui um pr requisito para um bom programa de desenvolvimento socioecon mico importante referir que podem utilizar se diversas t cnicas de avalia o tal como analisar a viabilidade da avalia o construir uma teoria do programa e efectuar uma an lise SWOT desde uma fase inicial para esclarecer as prioridades iniciais e a l gica subjacente s interven es do programa Utilizar t cnicas avaliativas e adoptar uma abordagem avaliativa logo desde o
17. rios contabiliza o das pessoas que utilizam fundos de consultoria focus groups e consulta aos parceiros No entanto tamb m neste caso os dados n o emergem totalmente processados A sua recolha tamb m implicou a aplica o de protocolos e t cnicas que determinam os fins para os quais podem ser utilizados Os dados de utiliza o variam de acordo com os diferentes tipos de utilizadores As informa es de monitoriza o est o limitadas aos dados financeiros Em que medida que as amostras de benefici rios s o representativas Uma vez que todos os dados s o processados e s o resultantes de decis es adoptadas no decurso da recolha os avaliadores necessitam de compreender em que consistiam estas decis es sobretudo quando adoptadas por terceiros tal como acontece com os dados secund rios Este passo nem sempre f cil mas necess rio No que diz respeito aos dados prim rios que s o gerados por ou pr ximo de um programa e da sua avalia o a equipa de avalia o encontra se na melhor posi o para saber quais foram as decis es adoptadas Mesmo neste caso deve fazer se uma distin o entre as formas de dados produzidas directamente por uma avalia o e as formas de dados geradas pelo programa por exemplo atrav s de monitoriza o sobre as quais a equipa de avalia o possui um controlo mais reduzido No entanto mesmo quando os dados s o recolhidos directamente pela equipa de avalia o as suas for as
18. rios de ECD junto do p blico Desenvolvimento da Capacidade de organizar e sistematizar a fun o de Avalia o para funcion rios superiores avalia o com vista constru o de consensos apoiar sistemas de monitoriza o mandatar a avalia o atrav s de decretos financeira e de informa o e regulamentos divulgar li es aprendidas com experi ncias passadas e boas pr ticas de avalia o estabelecer comiss es para avaliar projectos e programas importantes dar forma o a e recorrer a organiza es privadas em exerc cios de avalia o apoiar a forma o universit ria em avalia o incluindo cursos de curta dura o ou semin rios prestar assist ncia t cnica a ag ncias governamentais construir uma rede de avalia o dentro do governo promover a avalia o por ONGs introduzir normas de avalia o prP4Nmmno refor ar a auditoria e a contabilidade realizar avalia es conjuntas com as ag ncias financiadoras divulgar experi ncias nacionais e internacionais de avalia o apoiar a forma o em avalia o em institui es de ensino promover a coopera o transnacional na avalia o consciencializar os decisores POP 97 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A institucionaliza o da avalia o constitui um processo cont nuo que necessita de ser integrado ao longo do tempo com outras ferramenta
19. veis Uma vez que a produ o de conhecimento se tornou mais importante com o empenhamento dos decisores pol ticos na decis o pol tica factual alargou se a utiliza o de diversos tipos de meta an lise Esta forma de an lise refor ada sempre que ao conceber avalia es que possam subsequentemente incluir se em meta an lises se recolha algumas estruturas comuns e dados em todos os casos No que diz respeito ao refor o institucional e de rede reconhecido actualmente que a avalia o n o se destina exclusivamente a satisfazer as necessidades dos gestores de programas e dos financiadores mas que deve pertencer tamb m ao vasto grupo de parceiros Al m disso a implementa o eficaz dos programas depende muitas vezes das capacidades das institui es e organiza es de onde prov m estes parceiros bem como das redes mais alargadas da sociedade civil Muitas vezes os m todos mais adequados nestes casos ser o os participativos com destaque particular para o trabalho de coopera o entre os avaliadores e as institui es e redes envolvidas Estas abordagens participativas s o importantes n o s para formular quest es de avalia o como tamb m para gerar dados e utilizar os resultados da avalia o Por exemplo num contexto de comunidade onde existem diversos interesses e talvez uma falta de perspectivas partilhadas os avaliadores poder o ter necessidade de trabalhar em conjunto com representantes da comunidade
20. veis pela mudan a Ao faz lo a tradi o reconhece que os programas e as pol ticas se encontram integrados em processos sociais e organizacionais estruturados em diversas camadas e que dever ter se em conta a influ ncia destas diferentes camadas bem como de diferentes contextos A nfase encontra se no inqu rito social que explica regularidades interessantes em padr es de contextos mecanismos resultados Os sistemas em estudo s o vistos como abertos Nesta tradi o o enfoque dos avaliadores encontra se nos mecanismos causais subjacentes e na explica o dos motivos pelos quais as coisas funcionam em diferentes contextos E prov vel que o avaliador construa rela es do tipo professor aluno com decisores pol ticos profissionais e participantes As avalia es tem ticas t m tend ncia 21 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA para funcionar de acordo com esta tradi o Os estudos de caso comparativos aprofundados constituem abordagens caracter sticas do trabalho de avalia o na tradi o realista Na pr tica pouco prov vel que os avaliadores se vejam como operando exclusivamente luz de qualquer uma destas tradi es filos ficas mas a tend ncia para uma ou outra dependendo das circunst ncias da avalia o Em termos gen ricos as ferramentas de avalia o utilizadas na tradi o do positivismo ser o teis para efeitos de escrut nio As abordagens realistas aprese
21. Association Estas re nem por norma pessoas de diferentes institui es acad micas administra o p blica centros de investiga o e consultoras com diferentes especializa es disciplinares soci logos economistas planeadores especialistas em ci ncias pol ticas pedagogos etc e diferentes campos de especializa o servi os sociais educa o investiga o e desenvolvimento e claro desenvolvimento socioecon mico Estas sociedades disseminaram se em toda a Europa ao longo dos ltimos anos ver a Caixa Lista de sociedades e associa es de avalia o onde se apresentam algumas das actuais sociedades europeias de avalia o Estas sociedades proporcionam uma oportunidade para a germina o cruzada de ideias a discuss o de problemas partilhados fora do contexto de contratos de avalia o particulares a dissemina o de boas pr ticas e a emerg ncia de normas e c digos de tica comuns Como referido na Parte 1 deste GUIA a maioria das normas de avalia o e c digos de tica emergentes nos ltimos anos decorreram do trabalho das sociedades e associa es de avalia o ver a Caixa Lista de sociedades e associa es de avalia o Caixa Lista de sociedades e associa es de avalia o e Sociedade Europeia de Avalia o http www europeanevaluation org e Sociedade Dinamarquesa de Avalia o http www danskevalueringsselskab dk e Sociedade Finlandesa de Avalia o http Awww finnis
22. Um bom indicador deve proporcionar informa es simples que tanto o prestador do servi o como o utilizador possam transmitir e compreender Esta no entanto uma qualidade necess ria mas insuficiente Os indicadores que se seguem s o exemplos de indicadores facilmente compreens veis taxa de absor o or amental percentagem de empresas regionais assistidas n mero de empregos efectivos criados e n mero de desempregados na rea eleg vel Um indicador poder possuir diversos valores ao longo do tempo A taxa de desemprego por exemplo poder ter um valor partida diferente do valor intercalar atrav s da implementa o de um programa e assim sucessivamente As varia es ao longo do tempo constituem tend ncias Tipos de indicadores Existem diversas tipologias de indicadores e Em rela o s vari veis indicadores completos parciais e complexos e Em rela o ao processamento da informa o indicadores elementares derivados e compostos e Em rela o comparabilidade da informa o indicadores espec ficos gen ricos e essenciais e Em rela o ao mbito da informa o indicadores de contexto e de programa e Em rela o s fases de conclus o do programa indicadores de recurso realiza o resultados e impactos e Em rela o aos crit rios de avalia o indicadores de relev ncia efici ncia efic cia e desempenho e Em rela o ao modo de quantifica o e utiliza o da informa
23. a gest o da avalia o Seleccionar os avaliadores adequados Gerir o processo de avalia o Gerir o processo de comunica o da avalia o Gerir a garantia e o controlo de qualidade Seleccionar os avaliadores adequados O processo de selec o de avaliadores tem de ser transparente A prepara o cuidadosa de uma vers o inicial dos Termos de Refer ncia TdR juntamente com o recurso a uma comiss o de selec o formal a melhor forma poss vel de cumprir com este objectivo Este dever incluir n o s representantes das entidades respons veis pela avalia o mas tamb m um perito independente e sempre que poss vel representantes dos utilizadores concretos e potenciais da avalia o Os membros da comiss o de selec o dever o chegar s suas pr prias conclus es em termos de candidaturas face aos crit rios estabelecidos nos TdR As conclus es dever o ent o ser combinadas Os crit rios incluem normalmente a qualidade do m todo de abordagem proposto a qualidade e a experi ncia da equipa de avalia o e os custos Avaliar a qualidade do m todo proposto A adequabilidade da abordagem e dos m todos propostos para responder s quest es colocadas nos TdR dever o ser aspectos centrais na selec o de candidaturas A comiss o de selec o poder assegurar este princ pio verificando cada uma das candidaturas de acordo com os pontos referidos na Caixa Avaliar a qualidade do m todo de abordagem
24. a uma universidade ou se poss vel a institui o respons vel pela execu o do programa Selec o dos indicadores Selec o dos indicadores mais relevantes Cada um dos actores do programa tem as suas pr prias responsabilidades as suas pr prias reas de tomada de decis o e por conseguinte as suas pr prias necessidades de informa o Consequentemente nem todos os indicadores s o teis a todos os n veis Pelo contr rio considera se normalmente que cada um dos actores necessita de um relat rio operacional com um pequeno n mero de indicadores escolhidos por se considerarem os mais adequados natureza das decis es a tomar Provou se que numa situa o de tomada de decis o n o se pode ter em considera o mais do que cerca de 126 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA dez indicadores de cada vez estas tipologias s o consistentes com as especificadas no documento Common Guidelines for Monitoring and Evaluation Comiss o Europeia 1995 Luxemburgo OPOCE Quando existem demasiados indicadores os decisores ficam inundados com demasiada informa o A heterogeneidade dos programas A experi ncia obtida com os Fundos Estruturais e com os Fundos de Coes o tem vindo a revelar que dif cil seleccionar os indicadores que s o absolutamente necess rios para a monitoriza o e avalia o de um programa Uma vez que os programas s o multi sectoriais e possuem m ltiplos
25. administrativas iniciadas pelos governos nacionais A monitoriza o e avalia o de programas co financiados pela Uni o Europeia constitu ram um factor que incentivou a gest o de desempenho em termos de resultados e impactos Interpreta o e compara o de indicadores Em determinadas situa es os indicadores falam por si mesmos mas isto a excep o Regra geral os indicadores t m que ser interpretados atrav s da compara o ou descri o correspondente Num exemplo a compara o de tr s indicadores mostrou que a forma o apoiada por financiamento da UE n o chegou aos desempregados de longa dura o como deveria ter acontecido ver a Caixa Compara o de diversos indicadores como forma de revelar um fen meno 135 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Compara o de diversos indicadores como forma de revelar um fen meno No mbito da sua avalia o intercalar do FSE nas regi es italianas de Objectivo 1 a ISFOL reuniu e interpretou uma s rie de indicadores de monitoriza o Em determinados casos as compara es feitas entre estes indicadores conduziu a conclus es fortes e claras Por exemplo a parte do programa orientada para os desempregados de longa dura o pode ser medida atrav s de tr s indicadores e encargos planeados com desempregados de longa dura o 18 dos encargos totais planeados e financiamento reservado aos desempregados de longa d
26. avalia o H pessoas que argumentam que sem uma procura legal clara apoiada por mecanismos de conformidade adequados a avalia o n o ser levada a s rio Por outro lado tamb m existe um forte argumento de que uma regulamenta o sem mudan as culturais administrativas e de gest o n o ser eficaz Haver assim uma conformidade simb lica em vez de uma adop o intencional de novas pr ticas ver exemplo na Caixa A cultura de avalia o na Holanda Caixa A cultura de avalia o na Holanda Uma li o que poss vel retirar da experi ncia na Holanda que para que seja poss vel desenvolver uma cultura de avalia o num pa s importante que a motiva o para executar e utilizar a avalia o n o seja orientada meramente por factores externos A motiva o interna do governo Holand s para melhorar as pol ticas p blicas incentivada por no es de credibilidade e de economia da gest o p blica poder de facto ser vista como um factor importante para o sucesso relativo da introdu o e utiliza o do modelo de gest o baseado em resultados Fonte O estudo de caso da Holanda Manual T cnico Ill A Capacita o Administrativa e Institucional para a Avalia o Existem diversas raz es pelas quais os sistemas baseados exclusivamente em regras e regulamenta es poder o n o funcionar e A sua implementa o depende de determinado tipo de san o No entanto a capacidade ou vontade
27. centrados sobretudo nos resultados do programa avaliado sem tentar realizar uma an lise aprofundada dos impactos que ainda n o tiveram tempo de emergir E no entanto poss vel e aconselh vel ter em conta avalia es aprofundadas ou tem ticas de programas anteriores sempre que dispon veis A avalia o intercalar possui uma natureza formativa ou seja produz feedback directo sobre o programa que est a ajudar a melhorar em termos da sua gest o No per odo 2007 2013 a avalia o intercalar foi substitu da pela avalia o interm dia ou cont nua de prefer ncia baseada num plano de avalia o plurianual Esta nova abordagem tem como objectivo ultrapassar os aspectos de rigidez da avalia o intercalar de 2008 e facilitar a avalia o de todas as partes dos programas numa altura em que os respons veis pelos programas necessitam dessas conclus es Avalia o ex post A avalia o ex post recapitula e tece considera es acerca de todo o programa sobretudo em termos dos seus impactos O seu objectivo consiste em justificar a utiliza o de recursos e reportar a efic cia e a efici ncia das interven es e saber em que medida se alcan ou os efeitos esperados Centra se em factores de sucesso ou de fracasso e na sustentabilidade dos resultados e dos impactos Procura retirar conclus es que se pode generalizar e aplicar a outros programas ou regi es Numa situa o ideal os resultados desta avalia o devem estar d
28. controlo de qualidade Este ir permitir a todos os que avaliam a qualidade compreender o que poder representar aspectos positivos e negativos das conclus es da avalia o e retirar li es pass veis de aplica o futura de modo a melhorar a qualidade das avalia es futuras Objectivos coerentes e avali veis A coer ncia dos objectivos do programa anteriormente discutiu se em que medida estes s o espec ficos relacionados com as interven es n o contradit rios etc Tamb m se afirmou que a utiliza o de abordagens como modelos l gicos da teoria dos programas e da teoria da mudan a constituem formas teis para clarificar os objectivos de um programa e a l gica das interven es nas suas fases iniciais antes do lan amento de uma avalia o Nesta fase estamos interessados nos resultados deste processo inicial Em que medida que os avaliadores estavam a lidar com um programa coerente em termos de objectivos e interven es Algumas dificuldades de avalia o resultaram de objectivos mal articulados ou de outros problemas relacionados com a capacidade de avalia o Termos de refer ncia bem redigidos Termos de refer ncia s lidos permitem avalia es eficazes Em certa medida poss vel no momento da sua redac o avaliar a adequa o dos TdR Tamb m se torna mais f cil com algumas pistas identificar aquilo que poderia ser til ter inclu do Este processo importante em termos de aprendizagem
29. da interven o s o duradouros Muitas vezes as avalia es consideram a sustentabilidade das mudan as institucionais bem como os impactos socioecon micos Os crit rios de sustentabilidade tamb m est o relacionados com o conceito de desenvolvimento sustent vel que pode ver se como uma defini o de utilidade sobretudo se conforme referido neste GUIA e no Manual T cnico que o acompanha o desenvolvimento sustent vel for definido como sendo referente manuten o de capitais humanos produtivos naturais e sociais em vez de constituir apenas a manuten o do ambiente para gera es futuras A seguir ser o referidas algumas das quest es de avalia o t picas relacionadas com os principais crit rios Quest es de avalia o relacionadas com os principais crit rios de avalia o e Relev ncia Em que medida que os objectivos do programa se justificam pelas necessidades Poder comprovar se o motivo da sua exist ncia Correspondem as prioridades locais nacionais e europeias e Efic cia Em que medida que os objectivos foram alcan ados As interven es e os instrumentos utilizados produziram os efeitos esperados Poder obter se mais efeitos utilizando instrumentos diferentes e Efici ncia Os objectivos foram alcan ados aos custos mais reduzidos Seria poss vel obter se melhores efeitos ao mesmo custo e Utilidade Os efeitos esperados ou inesperados s o globalmente satisfat rios do ponto de v
30. da avalia o Esta constitui parcialmente uma quest o do f rum criado para esse efeito A materializa o mais bvia talvez seja uma Comiss o Directiva mas tamb m possivelmente reuni es de debate e workshops espec ficos tais como workshops de discuss o destinados a decisores 70 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA pol ticos e a pol ticos locais necess rio avaliar a inclus o dos membros dessas reuni es envolveu se todos os p blicos e partes interessadas correctos No entanto o objectivo destas oportunidades de debate e de troca consiste no di logo e no feedback que eles proporcionam Fez se uma utiliza o adequada das reuni es da Comiss o Directiva As agendas foram adequadas As partes interessadas consideraram que estas oportunidades foram produtivas e que melhoraram a sua compreens o Em ltima inst ncia ajudaram a formular e a melhorar a qualidade e a utilidade da avalia o Disponibilidade de informa o adequada Os avaliadores necessitam de informa o A Parte 4 deste GUIA destaca a import ncia da disponibilidade dos dados e dos sistemas de monitoriza o Sem recursos de informa o adequados dif cil os avaliadores fazerem um bom trabalho E necess rio portanto fazer uma avalia o da adequa o da informa o Obviamente trata se de monitorizar a informa o e os sistemas Muitas vezes os sistemas de monitoriza o destacam as necessidades de pa
31. das autoridades pol ticas competentes sejam elas a Comiss o Europeia a administra o central dos Estados membros ou as autoridades sub nacionais em exercer esta san o s o muitas vezes limitadas Estas limita es poder o decorrer tanto de considera es pol ticas como de capacidades legais ou administrativas e Paralelamente probabilidade limitada de interposi o de san es os requisitos da avalia o s o levados menos a s rio e os documentos e processos de avalia o t m tend ncia para serem menosprezados pelos mesmos organismos que os prescreveram e Os gestores preocupados com as suas responsabilidades quotidianas ir o minimizar o seu compromisso temporal para com a avalia o se esta n o for vista por eles como sendo directamente relevante e til E pouco prov vel que as avalia es concebidas para satisfazer as necessidades de intervenientes externos sejam consideradas importantes e teis As implica es deste ltimo aspecto s o profundas O refor o da procura da avalia o requer em primeiro lugar a mobiliza o de uma coliga o abrangente de parceiros internos incluindo gestores e decisores pol ticos N o se pode criar simplesmente por um ou dois especialistas em avalia o empenhados ou decidindo estabelecer uma pequena unidade central Sempre que for criada uma coliga o deste g nero poss vel 86 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA desenvo
32. de gest o de desempenho Estes sistemas s o uma forma da Nova Gest o P blica que real a os 134 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA resultados e os impactos obtidos faces s formas de gest o mais antigas baseadas na aloca o de recursos e no controlo de resultados Em conson ncia com o esp rito de gest o de desempenho concedida aos operadores uma maior autonomia na utiliza o dos seus recursos Em contrapartida comprometem se eles pr prios com objectivos mais claros no que diz respeito aos resultados e aos impactos a obter Ter o que medir o seu desempenho para procederem auto avalia o e enviar relat rios peri dicos Este novo equil brio entre a descentraliza o e a medi o do desempenho encontra se na base de muitos desenvolvimentos na administra o p blica por exemplo o Performance and Results Act GPRA de 1993 do Governo dos EUA tornou obrigat ria a utiliza o de indicadores em toda a administra o governamental Em muitas regi es europeias a cultura administrativa permaneceu imperme vel descentraliza o e gest o de desempenho e o desenvolvimento dos indicadores de resultado e de impacto geralmente considerado dif cil Os gestores dos programas est o mais familiarizados com os indicadores de recursos e de resultados As mudan as culturais s o por m lentas mas ocorrem seguramente em determinados pa ses sob a press o das reformas
33. de decis o dos clientes da avalia o a diversos n veis 146 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ANEXO B AO GUIA EVOLU O DAS REGRAS DOS FUNDOS ESTRUTURAIS Regulamentos aplic veis entre 1988 93 Regulamentos aplic veis entre 1994 99 Regulamentos aplic veis entre 2000 2006 Regulamentos aplic veis no per odo entre 2007 2013 Regulamentos aplic veis entre 1988 93 Na Comiss o as exig ncias de transpar ncia para com os contribuintes relativamente utiliza o s lida de fundos dos Estados membros foi progressivamente ganhando terreno Esta aspira o reflecte se numa express o simples lutar pela efic cia dos gastos Europeus O Acto nico Europeu adoptado no in cio de 1986 introduziu no Tratado da CEE uma nova sec o V incluindo o artigo 130D Este artigo anunciou a reforma dos Fundos Estruturais com o objectivo de aumentar a sua efic cia no sentido de melhorar a coes o econ mica e social na Comunidade Do mesmo modo em Fevereiro de 1992 o Tratado de Maastricht integrou esta necessidade imperativa de coes o e o Artigo 130B estipula que o Conselho deve definir medidas necess rias para garantir a utiliza o eficaz dos Fundos Em conformidade com estes requisitos os regulamentos relacionados com os Fundos Estruturais os de 1988 no caso da primeira gera o de Fundos Estruturais e os de 1993 no caso da gera o actual passaram a integrar artigos espec fic
34. de duas interven es Este tipo de compara o diz respeito sobretudo aos indicadores de efici ncia por exemplo custos de forma o de um formando custos de cria o de um emprego custos de uma habita o ligada ao sistema de saneamento Por m as compara es nem sempre s o aceit veis para os operadores e gestores de um programa Em particular as compara es de desempenho parecer o injustas aos gestores que trabalham nos contextos mais dif ceis Para tornar as compara es aceit veis os termos de compara o devem ser consideravelmente refinados com o intuito de ter em conta os desafios adicionais das interven es a decorrer em ambientes mais dif ceis Apresentamos um exemplo da forma como esta quest o foi processada no dom nio da educa o na Caixa Exemplo de uma compara o de desempenho aceite pelos operadores A t cnica consiste em reconstituir em cada uma das interven es a comparar um conjunto de diversas interven es semelhantes implementadas noutras regi es num ambiente com graus de dificuldade semelhantes As compara es foram feitas de acordo com a m dia das interven es deste grupo de refer ncia Caixa Exemplo de uma compara o de desempenho aceite pelos operadores A compara o de desempenho entre organiza es de forma o trope a muitas vezes no facto de os diferentes grupos de benefici rios n o terem as mesmas dificuldades A quest o reside em saber como fazer
35. de recursos Na fase ex post a qualidade do trabalho cont nuo de monitoriza o e de avalia o executado pode ser o principal factor limitativo e n o o or amento propriamente dito d Quem executa a avalia o Uma avalia o dever ser realizada por uma equipa externa ou interna Cada uma destas solu es possui vantagens e desvantagens As equipas externas possuem em muitos casos maiores conhecimentos da especialidade e podem ser vistas como independentes o que poder constituir um factor importante para a credibilidade da avalia o Os avaliadores internos possuem um maior grau de familiaridade com os requisitos institucionais e de gest o e poder o ter um acesso mais facilitado a informa es e a recursos humanos essenciais Estes podem contudo n o ser vistos como independentes e podem n o ter conhecimentos especializados Em parte esta quest o est relacionada com decis es acerca do desenvolvimento de capacidades na administra o p blica Algumas pessoas comprometeram se seriamente a longo prazo com a capacidade de avalia o interna localizada junto de unidades especializadas Sempre que estes estejam claramente separados da gest o operacional podem ultrapassar as preocupa es relativamente sua independ ncia Existe uma s rie de abordagens estruturais que se destinam a assegurar a independ ncia dos avaliadores internos face aos gestores de programa Uma dessas abordagens consiste em centrar a f
36. defini es do desenvolvimento socioecon mico nem sempre s o consistentes por m normalmente contemplam os aspectos que se seguem e O desenvolvimento constitui um processo descont nuo que nem sempre pode ser previsto ou controlado Mais do que uma quest o de implementa o constitui uma inicia o e gest o de um processo de mudan a que representa um corte no que poderia de outro modo ter decorrido e Uma dimens o espacial todo o desenvolvimento decorre em algum territ rio e certamente nas interven es dos Fundos Estruturais relaciona se intimamente 25 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA com a pol tica regional Esta dimens o mais forte em alguns programas e prioridades do que noutros por exemplo os programas de desenvolvimento local em zonas rurais e urbanas mas est o sempre presentes Uma base existente o desenvolvimento socioecon mico procura assentar nas funda es j existentes e que s o vistas como tendo mais potencial Isto real a a dimens o temporal o desenvolvimento decorre sempre num momento futuro embora algumas reas de pol tica como sejam o desenvolvimento sustent vel possam ter um horizonte temporal maior do que outras Existe uma dimens o quantitativa e qualitativa trata se quer do crescimento em n meros de rendimento emprego empresas etc como do aumento da qualidade de trabalho ambiente oportunidades de educa o etc Existe um
37. e 4 Monitorizar a capacidade de avalia o do governo Alguns dos tra os diferenciadores da pol tica de avalia o canadiana residem no facto de e Basear se em grande parte na devolu o das responsabilidades para desenvolver e utilizar avalia es junto de departamentos governamentais minist rios e de gestores nesses departamentos e Centrar se numa gest o com base nos resultados como um componente essencial da gest o p blica o que difere por exemplo de um enfoque da responsabiliza o voltado para o passado embora tamb m destaque a responsabiliza o Ver a Caixa Excertos da pol tica de avalia o Treasury Board Conselho do Tesouro P blico do Canad 95 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Excertos da pol tica de avalia o Treasury Board Conselho do Tesouro P blico do Canad Esta pol tica assenta em tr s princ pios fundamentais 1 O princ pio de que alcan ar e reportar com precis o os resultados uma responsabilidade prim ria dos gestores da administra o p blica 2 O princ pio de que uma avalia o rigorosa e objectiva uma ferramenta importante para ajudar os gestores na gest o dos resultados e 3 O princ pio de que os departamentos com o apoio do Treasury Board Secretariat Secretariado do Conselho do Tesouro P blico s o respons veis por assegurar a devida implementa o da avalia o com rigor e disciplina dentr
38. e a avalia o de programas de combate pobreza por exemplo as experi ncias da Great Society nos anos 60 Estas diferentes abordagens definiram algumas das principais conven es de avalia o que continuam a ser utilizadas hoje em dia incluindo estudos quantitativos e experimentais que recorrem a grupos de controlo como base de diversas experi ncias de testes educativos m todos de avalia o econ mica e de rentabilidade e m todos participativos e qualitativos envolvendo os benefici rios dos programas no processo de avalia o Subjacentes a estas diferentes tradi es encontram se quatro grupos principais cujos interesses por vezes concorrem na defini o de prioridades de avalia o Estes incluem e decisores pol ticos por exemplo pol ticos e dirigentes eleitos e interesses profissionais e especializados tais como professores na rea da educa o e cientistas na rea da investiga o e directores e administradores tais como funcion rios p blicos e dirigentes de ag ncias p blicas locais e cidad os e todos os que s o influenciados pela ac o p blica por exemplo os potenciais benefici rios das interven es planeadas Cada um destes grupos chega a determinadas conclus es relativamente forma como a avalia o poder ajud los Por exemplo os decisores pol ticos t m tend ncia para ver a avalia o como uma ferramenta que garante a responsabilidade e a justifica o de decis es pol ticas
39. es dos avaliadores e O relat rio deve incluir uma descri o e avalia o do m todo utilizado que seja suficientemente pormenorizada e auto cr tica de modo a permitir ao leitor avaliar o peso dos dados conducentes s conclus es e Devem utilizar se quadros e diagramas sempre que estes permitam melhorar a apresenta o dos resultados e Devem referir se exemplos de boas pr ticas de interven es para ilustrar os argumentos apresentados mas os relat rios da avalia o n o devem assumir o papel de orienta es de boas pr ticas A press o muitas vezes exercida sobre os avaliadores no sentido de produzir boas hist rias noticiosas frequentemente contra produtiva estes resultados s o vistos com desconfian a tanto pelo p blico como pelos decisores pol ticos e As recomenda es devem ser claras nas ac es de acompanhamento necess rias Canais de comunica o dos resultados de avalia o e alcance dos respectivos utilizadores Os respons veis pela encomenda e pela realiza o da avalia o devem assegurar a transmiss o e utiliza o dos resultados E necess rio identificar cuidadosamente os potenciais utilizadores dos decisores pol ticos ao p blico em geral passando pelos benefici rios e seleccionar os canais de comunica o mais adequados 62 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Os relat rios de avalia o s o normalmente publicados e cada vez mais na internet
40. explica o de forma independente sem interpreta o Tanto os realistas como os construtivistas destacam nas suas formas distintas a necessidade de uma teoria Mas existem raz es mais pr ticas para reconhecer a import ncia da teoria observando a m xima de que n o existe nada t o pr tico como uma boa teoria E apenas com o aux lio da teoria que a avalia o poder analisar as inten es do programa e identificar a l gica de interven o compreender os processos de implementa o e de mudan a ou explicar os efeitos parcialmente compreendidos dos programas em diferentes reas de pol tica Estas teorias s o de diferentes tipos As quatro mais comuns s o e Teoria do programa e Teorias acerca da avalia o e Teorias de implementa o e mudan a e Teoria espec fica de pol ticas Teoria do programa a elabora o de Modelos L gicos utilizados extensivamente no contexto dos programas de desenvolvimento financiados pelo Banco Mundial e pela UE constitui um tipo de teoria de avalia o simples que se centra nos recursos realiza es resultados e impactos do programa A Teoria da Mudan a constitui uma abordagem teoria do programa de acordo com a qual se pretende abrir a caixa negra indo para al m da descri o dos recursos e das realiza es e procurando compreender quais s o as teorias dos actores relativamente s interven es do programa e porque consideram que devem funcionar Teorias sobre as pr
41. inerentes aos recursos aplicados e Permitir que se estabele a um determinado grau de compara o entre os contextos Os decisores pol ticos necessitam de compreender se existem diferentes graus de efic cia das pol ticas nos diferentes locais de interven o As compara es b sicas tornam se mais f ceis se estas puderem ser quantificadas embora no caso do desenvolvimento socioecon mico se possa obter apenas formas de quantifica o relativamente fracas a n o ser que sejam apoiadas por an lises e modela es estat sticas e Permitir que se realizem avalia es mais s lidas de interven es espec ficas As avalia es quantitativas do desenvolvimento socioecon mico mais eficazes centram se em muitos casos em interven es espec ficas vistas independentemente de um processo de desenvolvimento mais amplo que envolve m ltiplos tipos de interven o Por conseguinte as avalia es quantitativas de incentivos s empresas ou de interven es no mercado de trabalho comportam fortes resultados em termos de efeitos dessas interven es espec ficas e Permitir que se fa am an lises de tend ncias ao longo do tempo As medidas quantitativas ao longo do tempo por exemplo recolhendo indicadores comuns numa base regular poder o ajudar a monitorizar as altera es e permitir que se fa a o acompanhamento do processo de desenvolvimento Alguns m todos e t cnicas s o mais obviamente qualitativos ou pelo menos est o
42. informa o e da economia baseada no conhecimento como meios de alcan ar uma maior competitividade e ainda as prioridades do desenvolvimento sustent vel e da igualdade de oportunidades e A ades o de dez novos Estados membros em 2004 tamb m colocou um conjunto de desafios avalia o Os Fundos Estruturais foram introduzidos em sistemas de administra o p blica com uma experi ncia de avalia o relativamente reduzida e consequentemente sem uma cultura de avalia o bem desenvolvida Os autores deste GUIA tiveram em mente durante a sua prepara o as necessidades de desenvolvimento de capacidades em muitos dos novos Estados membros Em termos pr ticos procurou se maximizar o que pass vel de ser EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA alcan ado de uma forma pragm tica com os recursos capacidades disposi es institucionais e fontes de dados dispon veis No seu conjunto estas altera es s o significativas e este GUIA foi elaborado para dar resposta s suas consequ ncias Tamb m foi planeado e redigido de modo a poder prever altera es futuras N o existem motivos para acreditar que o ritmo de altera es nos processos de avalia o e nas pol ticas socioecon micas v abrandar no futuro Assim e de modo a permitir a actualiza o imediata dos materiais o GUIA os Manuais T cnicos e o Gloss rio encontram se dispon veis para acesso e pesquisa atrav s da Internet No futuro
43. mbito relevante O mbito de uma avalia o deve abranger quest es relevantes do ponto de vista dos programas 66 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA No sentido de verificar a relev ncia do mbito de uma avalia o necess rio em primeiro lugar observar se as caracter sticas essenciais do programa foram devidamente descritas e se os problemas e xitos na implementa o do programa foram devidamente clarificados Em segundo lugar uma vez que os resultados e os impactos do programa t m que ser analisados de forma a avaliar em que medida se alcan ou os objectivos do programa necess rio verificar se os mesmos foram inclu dos na avalia o Tamb m necess rio verificar se a avalia o n o sobrestimou outros resultados ou impactos potenciais ou futuros bem como quaisquer efeitos e resultados inesperados ainda que significativos Finalmente o mbito de uma avalia o depende do alvo do programa que se pode definir em termos de reas geogr ficas eleg veis ou grupos alvo n o localizados por exemplo pessoas em situa o de desemprego prolongado E portanto necess rio verificar se e os limites do mbito em termos de reas ou grupos sociais se encontram definidos de acordo com a l gica da interven o e o mbito inclui reas perif ricas ou grupos n o eleg veis que s o no entanto provavelmente afectados pelas interven es avaliadas e em ltimo lugar se a a
44. no sentido de chegar a um consenso relativamente utiliza o dos resultados de uma avalia o Obviamente as abordagens ao refor o institucional e de redes poder o ser adoptadas de forma muito mais directa Por exemplo poss vel efectuar estudos da capacidade administrativa de organiza es parceiras espec ficas para as ajudar a adoptar processos de gest o e sistemas de informa o mais adequados 113 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA 4 5 As op es para diferentes fases de programas pol ticas e Formula o identifica o de necessidades e prioridades e Concep o interven es e organiza o e Implementa o feedback e resultados interm dios e Conclus es resultados efeitos e impactos Introdu o A import ncia do ciclo temporal de implementa o dos programas e das pol ticas tem sido um tema central deste GUIA Nos Fundos de Coes o e nos Fundos Estruturais Europeus este aspecto formalizado em termos de avalia o ex ante intercalar e ex post Al m destas etiquetas espec ficas as fases subjacentes de um programa desde a formula o de pol tica e concep o de programas at implementa o realiza o e conclus o ou obten o de resultados coloca algumas exig ncias avalia o da maioria dos principais programas e Na fase de formula o o enfoque reside na identifica o de necessidades e na clarifica o dos objectivos e Na fase de con
45. o RESERVA DE PERFORMANCE At 31 de Mar o de 2004 uma percentagem de 4 da aloca o indicativa de cada Estado membro retida no in cio do per odo alocada como reserva de performance dos documentos de programa o cujo desempenho a Comiss o considere ser bem sucedido com base nas propostas do Estado membro O desempenho avaliado com base em indicadores efic cia gest o e implementa o financeira que s o definidos pelo Estado membro ap s consulta com a Comiss o Algumas das principais transi es foram e de obriga es de avalia o impostas externamente para uma procura de avalia o induzida internamente decorrente dos pr prios gestores de programas e decisores pol ticos e de um processo de avalia o ligado aos programas no final de um ciclo de programa o a um processo de avalia o totalmente integrado nos programas desde o in cio e das expectativas de que os resultados da avalia o necessitam de ser disseminados em larga escala por motivos de responsabiliza o para uma preocupa o com a utiliza o sistem tica da avalia o no decorrer da implementa o de um programa e de uma perspectiva de acordo com a qual a gest o da avalia o constitu a essencialmente uma quest o de administra o de um contrato para um interesse na forma como a avalia o poder contribuir para a gest o de conhecimento Estas altera es foram acompanhadas por mudan as de respon
46. o liga es claras entre a avalia o por um lado e a programa o e atribui o de recursos por outro Ao longo dos ltimos anos registou se uma evolu o nas regulamenta es dos Fundos Estruturais relativamente avalia o ver a Caixa A Evolu o das Regulamenta es dos Fundos Estruturais Caixa A Evolu o das Regulamenta es dos Fundos Estruturais 1994 1999 2000 2006 AVALIA O EX ANTE Qualquer avalia o ex ante deve ser O Estado membro o primeiro respons vel executada em parceria pela Comiss o e pela avalia o ex ante Ao definir o objectivo pelo Estado membro e dever incluir o da avalia o ex ante dever prestar se impacto ambiental A Comiss o avalia os especial aten o ao impacto sobre o ambiente planos tendo em considera o a avalia o sobre o mercado de trabalho e sobre a ex ante igualdade entre homens e mulheres A avalia o ex ante encontra se integrada nos planos AVALIA O INTERCALAR N o est o estipulados quaisquer princ pios O Estado membro respons vel pela avalia o que exijam a recolha e comunica o de intercalar em parceria com a Comiss o a informa es N o existem quaisquer Comiss o avalia o grau de relev ncia da provis es relativamente defini o do avalia o papel das Comiss es de Acompanhamento Define se o objectivo da avalia o intercalar no processo de avalia o na pr tica o A avalia o intercalar
47. o forma o e universidades e Consultores independentes incentivar novos prestadores e Uma comunidade de avalia o profissional Tradi es e condi es de partida Independentemente de haver um elevado n vel de procura de avalia o a resposta e a celeridade da resposta a essa procura ir depender dos recursos das capacidades e das institui es previamente existentes Em parte como j foi referido anteriormente esta ser uma quest o de oferta interm dia integrada nas rotinas governativas e administrativas No entanto ir depender em grande medida das capacidades dos recursos e das institui es que s o externas ao sistema de gest o p blica e administrativa N o existe uma forma nica de aumentar a oferta de avalia o Existem tr s abordagens as quais se recorre com maior frequ ncia e A constru o de rela es com institui es educativas em particular com universidades 88 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e O desenvolvimento e refor o de uma comunidade de consultores independentes e O apoio ao desenvolvimento de uma comunidade de avalia o profissional Rela es com os sectores da educa o da forma o e as universidades As institui es de ensino e em particular as universidades s o importantes para a perspectiva da oferta de avalia o por duas raz es Em primeiro lugar as universidades s o em muitos pa ses o local natural para institu
48. o de conhecimento e de know how Esta uma forma de construir as capacidades A um n vel micro a prioridade a integra o e a combina o de diferentes capacidades e compet ncias em equipas de avalia o A avalia o n o consiste apenas em olhar para tr s para classificar o sucesso ou o fracasso e para atribuir culpas Ela tem uma contribui o a fazer em cada uma das fases do ciclo dos programas Em particular a avalia o pode desde a sua fase mais precoce refor ar os programas ajudando a seleccionar l gicas de interven o e a revelar fraquezas na concep o do programa permitindo adoptar medidas de correc o desde cedo J n o aceit vel reunir grandes quantidades de dados na cren a de que estes possam proporcionar respostas a todas as quest es de avalia o A dragagem de dados quase sempre ineficiente Isto n o significa que os sistemas de dados n o sejam essenciais estes dever o ser implementados numa fase inicial ver a sec o do GUIA relativamente a A Selec o de M todos e T cnicas Contudo ao serem claras relativamente aos pressupostos e ao basearem se em teorias dispon veis sendo claras relativamente ao tipo de avalia o que necess rio as avalia es podem ser mais focadas e oferecer uma gama mais alargada dos recursos dispon veis O contexto pol tico um enquadramento importante no qual necess rio situar as avalia es Obviamente a pol tica muda ou est a ser co
49. o melhorar o 138 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA or amento ser restringido Este m todo baseia se no princ pio de que n o o erro que deve ser penalizado mas sim a incapacidade de corrigir os erros e Aos operadores com o melhor desempenho concedida uma maior autonomia e um menor controlo e Os operadores com o melhor desempenho receber o apoio para apresentar os seus resultados e efeitos ao p blico em geral e Os operadores que n o tenham obtido um desempenho suficiente s o desqualificados nos procedimentos de selec o para projectos futuros apresentamos um exemplo deste facto na Caixa Selec o de projectos com base na sua efic cia e Aos operadores com o melhor desempenho concedido apoio adicional Caixa Selec o de projectos com base na sua efic cia No mbito do Objectivo 2 do programa correspondente ao per odo entre 1989 e 1993 na regi o do Pays de la Loire F as ac es do FSE foram geridas pelo Conselho Regional Para fazer a gest o do FSE aplicaram um m todo de selec o de projectos baseado na gest o de desempenho O sistema de monitoriza o obriga todas as organiza es que promovem forma o subsidiada a proporcionar ao Conselho Regional uma avalia o da taxa de coloca o dos seus formandos depois de decorrido um per odo de seis meses A candidatura a financiamento secund rio adicional assegurada em primeiro lugar s or
50. objectivos existe uma tend ncia para tentar medir tudo e conceber sistemas de indicadores t o pesados que se torna imposs vel p los em funcionamento Na pr tica imposs vel produzir e utilizar regularmente um volume t o grande de informa es Por exemplo a proposta inicial de um Programa de Fundos Estruturais no Burgundy Fran a era constitu da por mais de 200 indicadores No final destes quantificaram se apenas cerca de 50 Em diversas regi es europeias as avalia es mostraram que algumas dezenas de indicadores s o suficientes para satisfazer as necessidades de informa o das autoridades respons veis pela execu o do programa como por exemplo a Irlanda do Norte Ver a Caixa As recomenda es para uma avalia o reduzir o n mero de indicadores de 330 para 52 Isto n o significa contudo que n o possam ser necess rios indicadores adicionais para satisfazer as necessidades de informa es dos operadores Caixa Recomenda es para uma avalia o reduzir o n mero de indicadores de 330 para 52 O FSE financiou um programa socioecon mico entre 1994 e 1999 na Irlanda do Norte Fez se uma avalia o intercalar deste programa sintetizando seis avalia es individuais dos subprogramas Os respons veis pela concep o do programa seleccionaram 330 indicadores de monitoriza o Estes indicadores foram agrupados numa nica base de dados que se revelou de dif cil utiliza o e criou proble
51. objecto e o mbito da avalia o e Identificar e envolver as partes interessadas e Analisar a teoria do programa e os objectivos pol ticos subjacentes s interven es Definir o objecto da avalia o A decis o de avaliar constitui uma oportunidade para definir os limites do programa em termos das dimens es institucional temporal sectorial e geogr fica Isto designa se mbito da avalia o ou objecto da avalia o Definir o mbito de uma avalia o consiste em colocar a quest o O que que vai ser avaliado O mbito da avalia o pode ser especificado em pelo menos quatro aspectos e institucional n vel europeu nacional ou local e temporal per odo temporal a ser considerado e sectorial social industrial ambiental rural etc e e geogr fico em que parte da territ rio europeu em que regi o cidade reserva natural etc Um programa por sistema delimitado pelos aspectos financeiros e pelo territ rio correspondente bem como pelo per odo de programa o E por m til considerar primeiro o seguinte e Pretende se limitar a avalia o ao financiamento do programa ou incluir outro financiamento nacional regional ou local relacionado num grau mais ou menos elevado directamente com o programa e Pretende se limitar a avalia o a interven es na rea eleg vel ou alargar as observa es a determinadas reas lim trofes com problemas de desenvolvimento semelhantes e Pretende
52. or amentais e a efici ncia que tem por conseguinte de ser medida e descrita A gest o da efici ncia na Comiss o Europeia bem como nos Estados membros reflecte se agora num elemento adicional das obriga es de avalia o nos actuais regulamentos que se encontrem relacionados com a Reserva de Efici ncia Os indicadores de gest o de efic cia e de implementa o financeira t m que ser reunidos de modo a justificar a disponibilidade de fundos retidos no in cio do per odo de programa o Diferentes fontes e tradi es A avalia o possui diversas ra zes n o constitui uma pr tica unificada ou decorrente de um nico conjunto de tradi es Isto resulta em parte da evolu o hist rica da avalia o tanto na Europa como na Am rica do Norte Como j se referiu destacam se normalmente tr s fontes importantes da filosofia da avalia o as iniciativas nos anos 60 da Great Society nos Estados Unidos a inova o educativa e sobretudo a inova o dos curricula nas escolas e o controlo or amental e os sistemas de efici ncia como o PPBS Planning Programming and Budgetary Systems Na realidade estas constituem apenas tr s fontes espec ficas e poder se ia acrescentar a gest o por objectivos a investiga o participativa no desenvolvimento rural e comunit rio e a gest o com base nos resultados entre muitas outras Uma forma de distinguir algumas destas diferentes origens consiste em estabelecer algum distanc
53. os cidad os t m uma maior probabilidade de ver a avalia o como uma ferramenta de responsabilidade democr tica e como uma oportunidade de adequar as interven es p blicas s suas necessidades os directores e os administradores est o em muitas casos preocupados com a implementa o de pol ticas e programas e com a forma como estes s o geridos e se encontram organizados os profissionais por sua vez v em frequentemente a avalia o como uma oportunidade de aumentar a qualidade do seu trabalho ou mesmo a autonomia do seu pr prio grupo profissional Isto n o significa que a avalia o num sentido mais lato enquanto aplica o da investiga o social e econ mica sistem tica fosse totalmente inexistente na Europa ou noutras partes do mundo Contudo era provavelmente mais forte no norte da Europa e em zonas da Europa com liga es mais fortes aos Estados Unidos e ao Canad A partir dos anos 70 a avalia o come ou a enraizar se nos diferentes pa ses europeus mas geralmente com tradi es e nfases distintos Na Escandin via por exemplo onde existe um forte empenho na governa o democr tica a avalia o seguiu no sentido dessa tradi o Em Fran a a avalia o reflectiu at h muito pouco tempo as caracter sticas de um Estado franc s com uma abordagem formal estruturada ao n vel do governo central e uma pr tica mais diversa e din mica aos n veis regional e local Contudo a avalia o nunca foi est
54. os seus limites o seu mbito e a sua relev ncia t m que ser pensados em termos dos tipos de an lises futuras que ser o adoptadas e dos tipos de argumentos que os dados ter o que apoiar 117 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Este mais um argumento para que a avalia o seja pensada cuidadosamente na fase de concep o E necess rio projectar a recolha de dados em conson ncia com a selec o de m todos de an lise Acesso aos dados como actividade planeada A exist ncia de m ltiplas interven es envolvendo diversos parceiros significa que os dados correspondentes a um programa de desenvolvimento socioecon mico ser o mantidos em diversos locais diferentes Fazer simplesmente um mapeamento do local de manuten o dos dados e do que se encontra dispon vel constitui um s rio risco A negocia o e acordo dos termos ao abrigo dos quais os dados ser o fornecidos ou colocados disposi o poder o ser mais complexos Os dados administrativos especificamente poder o estar sujeitos a diversas regras de confidencialidade ou protec o de dados Por vezes os dados administrativos por exemplo s poder o ser divulgados ap s a elimina o das etiquetas de identifica o nomes e c digos postais Mesmo nos casos em que tal n o constitua um problema os organismos administrativos s o em muitos casos zelosos das suas fontes de informa o A negocia o do acesso aos dados constitui
55. ou perspectivadas como sendo suficientemente fortes para serem tidas em considera o por utilizadores como os decisores pol ticos e os gestores de programas Nesta sec o do GUIA tamb m se debatem diversas quest es relacionadas com as provas e com os dados Especificamente os avaliadores utilizam tipos de dados altamente vari veis Alguns dados existem previamente e s o decorrentes de fontes administrativas por exemplo os registos de um servi o local p blico de emprego ou as receitas fiscais de uma determinada rea Um programa atrav s das suas actividades de monitoriza o ir gerar outras fontes de dados De facto a qualidade dos sistemas de monitoriza o responsabilidade sobretudo dos gestores de programa essencial para uma avalia o bem sucedida Por m os pr prios avaliadores ter o que gerar alguns dados por exemplo ao modificar os sistemas de monitoriza o entrevistar gestores de PMES locais ou analisar o conte do de an ncios publicit rios em revistas empresariais A qualidade de muitas avalia es seria refor ada se fosse prestada maior aten o utiliza o de todas as fontes de dados dispon veis Contudo os gestores de programas e os decisores pol ticos tamb m devem estar conscientes da sua obriga o de implementar e disponibilizar fontes de dados que podem ser teis aos avaliadores Este aspecto tamb m n o pode ser deixado para o momento de requisi o da avalia o Como se referi
56. question rios correspondem a este tipo de quantifica o Por exemplo 119 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA determinado perito poder classificar o impacto ambiental de um projecto algures entre 3 e 3 ou ent o poder pedir se a um inquirido para se posicionar numa escala de satisfa o entre 1 e 5 Embora estas formas de quantifica o sejam mais fortes do que as descritas anteriormente s o relativamente fracas em termos das suas possibilidades num ricas e de c lculo e Os dados de rela o ratio data constituem a forma de quantifica o mais forte Esta situa o decorre sempre que for conhecido um ponto zero numa escala Assim n o se trata de uma s rie de intervalos inventada mas sim de algo que se pode medir independentemente Por exemplo os valores monet rios os perfis et rios das popula es os fluxos de exporta o e os ndices de produtividade baseados em resultados anuais constituem normalmente uma forma de dados de rela o Poderia argumentar se que isso a que normalmente se refere quando se fala de dados quantitativos embora seja menos comum em avalia o do que por vezes se possa imaginar O motivo desta descri o relativamente t cnica das diferentes caracter sticas dos dados quantitativos reside na necessidade de real ar que no desenvolvimento socioecon mico a maior parte do que se designa por dados quantitativos de facto relativamente fr gil
57. relat rio dever possibilitar a melhoria da capacidade de avalia o do programa Relat rio claro Os resultados da avalia o podem ser disseminados e transmitidos s partes interessadas por escrito ou oralmente O relat rio final constitui apenas uma forma de divulga o entre muitas outras sendo desej vel uma comunica o cont nua dos resultados A legibilidade do relat rio depende da qualidade da apresenta o dos resultados e dos limites do trabalho executado E necess rio verificar se e relat rio foi escrito de forma clara e estruturado logicamente e utiliza conceitos espec ficos apenas quando absolutamente necess rio e em caso afirmativo se os mesmos est o claramente definidos e a apresenta o os quadros e os gr ficos melhoram a legibilidade e inteligibilidade do relat rio e os limites da avalia o em termos de mbito de m todos e de conclus es s o claramente apresentados e Em muitos casos s se l o resumo do relat rio por isso essencial que este resumo seja claro e conciso Dever apresentar as principais conclus es e recomenda es de forma equilibrada e imparcial Dever ser f cil ler sem necessitar de consultar o resto do relat rio 69 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Crit rios de garantia de qualidade O conjunto de crit rios seguinte relaciona se com o processo e com o contexto global da avalia o garantia de qualidade e n o
58. responder s quest es sobre a in rcia e a desloca o quando a escala de uma interven o ou programa grande em rela o a outras poss veis explica es para os resultados obtidos Este poder n o ser o caso em interven es socioecon micas de menor dimens o Avaliabilidade das quest es de avalia o Assim que as quest es avaliativas forem identificadas a sua viabilidade em termos de avalia o tem que ser considerada E necess rio fazer uma avalia o pr via no sentido de apurar se as quest es avaliativas podem ser respondidas considerando os recursos e os dados dispon veis A equipa de avalia o com o tempo e recursos dispon veis e utilizando ferramentas de avalia o adequadas pode proporcionar respostas cred veis s quest es colocadas Este elemento requer a execu o de um estudo de viabilidade da avalia o Relativamente a cada uma das quest es de avalia o necess rio verificar ainda que resumidamente e se os conceitos s o est veis e se poss vel formular hip teses explanat rias e se poss vel utilizar dados dispon veis para responder quest o sem qualquer investiga o adicional e Seo acesso ao terreno coloca problemas graves Diversos factores podem fazer com que uma quest o se torne dif cil de responder como por exemplo se o programa for muito recente se ainda n o tiver produzido resultados significativos se n o tiver dados dispon veis ou se os dados forem
59. s o essenciais para que os avaliadores sejam vistos como cred veis e tamb m para que seja garantida aos avaliadores a independ ncia necess ria por parte dos que requerem e utilizam as avalia es Este aspecto particularmente importante face aos diferentes e muitas vezes fortes interesses envolvidos na avalia o de programas e de pol ticas Muitos avaliadores j estiverem sujeitos a tentativas de interfer ncia na forma como as avalia es s o executadas Esta interfer ncia pode assumir diversas formas e TdR desequilibrados e Influ ncia indevida num processo de avalia o pelos respons veis pelo programa em avalia o e g uma Comiss o de Gest o dos Fundos Estruturais e Tentativas de seleccionar previamente uma equipa de avalia o de modo a incluir elementos que poder o apresentar o que se consideram ser as respostas mais adequadas 91 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Press o para reformular os resultados e as conclus es de modo a serem menos cr ticos e mais aceit veis para os principais parceiros e A disponibiliza o de dados limitados ou seleccionados Na realidade ningu m est interessado em que isto aconte a Para uma administra o moderna as vantagens de avalia es imparciais e fi veis compensam largamente as aparentes vantagens de relat rios conservadores e prudentes Contudo este aspecto s se torna evidente com o desenvolvimento de uma cultura d
60. se os princ pios do programa est o a ser confirmados e quais as li es a tirar para o futuro Este tipo de avalia o levanta quest es como o que que j se aprendeu acerca do que melhor funciona Os mecanismos de interven o e de mudan a compreendem se melhor E necess rio questionar a l gica do programa e os seus princ pios Ser esta uma forma eficiente de alcan ar os objectivos propostos ou existem alternativas Quais s o as provas de sustentabilidade das interven es e Seo objectivo da avalia o for a capacita o institucional esta dever sobretudo satisfazer as necessidades dos parceiros do programa e de outras partes interessadas Estes pretender o saber como poder o ser mais eficazes de que forma poder o aumentar as suas pr prias capacidades e como que os benefici rios podem tirar o m ximo partido dos pressupostos do programa Este tipo de avalia o coloca quest es como os benefici rios e inclusivamente as comunidades locais est o suficientemente envolvidos na delinea o do programa e das suas medidas O que que poss vel fazer para aumentar a participa o e desenvolver o consenso Os mecanismos do programa apoiam e est o abertos a abordagens ascendentes A aprendizagem como principal objectivo de avalia o Sugere se muitas vezes que a avalia o pode ser vista como tendo um objectivo abrangente ao qual poder o adequar se todos os outros objectivos referidos acima Esta final
61. selec o de m todos e t cnicas decorre directamente do tipo de quest es que se pretende colocar e estas quest es fazem parte de um vasto exerc cio de concep o que inclui a consulta dos parceiros e a avalia o das caracter sticas do programa A selec o em primeiro lugar de m todos e t cnicas e a tentativa depois de os adaptar s quest es para as quais n o foram especificamente escolhidos ir criar sempre problemas As t cnicas seleccionadas devem reflectir o objectivo e o enfoque da avalia o 2 A maior parte das t cnicas possui for as e fraquezas que necess rio reconhecer E sempre que poss vel devem aplicar se as diferentes t cnicas em conjunto para refor ar a an lise e tornar os resultados e as conclus es da avalia o mais fi veis 3 Devido ao car cter distintivo do desenvolvimento socioecon mico ascendente utilizando diferentes combina es de interven es e com adequa o s necessidades territoriais e sectoriais dif cil medir e comparar resultados entre contextos de programas de desenvolvimento socioecon mico O que n o significa que a medi o quantifica o e estat sticas n o sejam relevantes Podem ser ferramentas capazes sempre que se fa a compara es ao n vel do programa de desenvolvimento particular e n o tentem comparar contextos incompar veis 4 Os m todos e t cnicas qualitativos s o adequados ao desenvolvimento socioecon mico devido subtileza e natu
62. sistema de avalia o que funcione correctamente dever ser integrado no ciclo de programa o pol tico sendo por essa raz o que este GUIA presta tanta aten o concep o dos sistemas de avalia o e ao desenvolvimento das capacidades de avalia o nas ag ncias p blicas e nas redes de conhecimento e profissionais Em segundo lugar os avaliadores bem como os requerentes e utilizadores dos resultados da avalia o ter o obrigatoriamente de atingir um equil brio entre os melhores meios dispon veis e as exig ncias de um determinado n vel de pragmatismo No mundo real do desenvolvimento socioecon mico muito raramente existe o tempo ou os recursos OU mesmo os dados necess rios para implementar uma avalia o exaustiva do estado da arte E por isso que este GUIA coloca particular nfase nos tipos de escolha estrat gica que necess rio fazer relativamente avalia o como por exemplo quando que se justificam investimentos mais avultados na avalia o Em que circunst ncias que s o necess rios m todos sofisticados De que forma que a avalia o pode preencher algumas lacunas no conhecimento que num mundo ideal seriam preenchidas inclusivamente antes de se planear uma interven o Melhorar os programas ao longo do tempo Um importante princ pio estruturante transversal a todo o GUIA tem a ver com o horizonte temporal e o prazo das pol ticas Normalmente fala se de um ciclo de interven o p
63. ticas de avalia o Existem cada vez mais documentos sobre as pr ticas de avalia o ou seja sobre o que a avalia o procura fazer e o que parecem ser abordagens eficazes Estas teorias constituem uma filtragem do que se aprendeu com o estudo de avalia es passadas Por exemplo como garantir a utiliza o das 24 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA avalia es como tirar conclus es a partir de determinados indicadores e como atribuir um valor a um programa ou interven o Teorias de implementa o e de mudan a Entre estas incluem se entendimentos sobre altera es de pol tica a dissemina o da inova o o comportamento administrativo e organizacional e a lideran a As teorias resultam sobretudo de ci ncias pol ticas e de estudos organizacionais A sua aplica o na avalia o pode condicionar o sucesso das interven es do programa Teorias espec ficas das pol ticas Existe um corpo te rico associado ao desenvolvimento socioecon mico isto forma como decorre o desenvolvimento espacial e sectorialmente Existem diversos corpos te ricos na maioria das reas de pol tica priorit rias tais como a educa o sa de emprego protec o ambiental etc O Manual T cnico descreve as teorias relacionadas com cada um dos temas e reas de pol tica Uma vez que a concep o de interven es assenta por norma numa filosofia resultante da teoria das reas de pol t
64. todos os potenciais utilizadores e entidades colectivas afectadas pelos seus resultados benefici rios organismos sociais associa es civis etc Nesta perspectiva a avalia o torna se assim um exerc cio destinado a dar resposta s necessidades de informa o dos agentes sociais na sua totalidade e vai inclusivamente ao ponto de promover a sua participa o activa no processo de avalia o Fonte Diez Malagon e Izquierdo Citando uma classifica o das capacidades de avalia o executada pela C3E em Lyon os autores indicam que este tipo de avalia o comum numa fase avan ada da avalia o ver a Caixa A sociedade civil e a procura de avalia o 87 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa A sociedade civil e a procura de avalia o A avalia o come ou por ser um acto social e pol tico e as suas conclus es est o sujeitas a discuss o p blica utiliza o pol tica da avalia o O objectivo fornecer ao p blico informa es acerca da efic cia da utiliza o de recursos p blicos pela administra o Neste contexto a avalia o torna se num instrumento do processo democr tico na medida em que informa os cidad os proporciona responsabiliza o e obt m aprova o social para as interven es do Estado Entre os pa ses onde o desenvolvimento da avalia o atingiu esta fase encontram se a Dinamarca a Holanda a Su cia e o Reino Unido
65. um programa necess rio obter feedback para que os gestores de programa possam identificar problemas e adoptar medidas correctivas Os sistemas de monitoriza o proporcionam grande parte deste feedback No entanto os pr prios sistemas de monitoriza o poder o ajudar a identificar as reas problem ticas que merecem uma investiga o mais pormenorizada Por exemplo o in cio lento de determinados projectos e a subsequente subutiliza o do or amento dispon vel ou a 115 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA retirada de apoio de um importante grupo de parceiros poder justificar estes tipos de actividades de avalia o Sempre que a inova o planeada for particularmente inovadora ou experimental poder justificar se o acompanhamento ou o seguimento do processo de implementa o com algum pormenor Estas actividades de avalia o formativas podem implicar t cnicas como a observa o participante que poderiam ter que ser refor adas atrav s de feedback sistem tico Nesta fase do processo o feedback pode ser muito bem recebido mas tamb m pode representar uma grande amea a S o necess rios diversos tipos de capacidades de comunica o e consultoria para gerir este tipo de feedback de forma construtiva Este tipo de avalia o tamb m pode exigir aos gestores de programa determinadas capacidades Por exemplo poder ser necess rio executar a sua pr pria auto avalia o como parte
66. uma compara o em termos semelhantes H alguns anos uma equipa de avalia o teve que comparar escolas de 133 zonas em diferentes estados dos Estados Unidos A equipa decidiu comparar cada uma das zonas com um grupo de refer ncia de outras 14 escolas com caracter sticas semelhantes em termos de alunos pobreza l ngua materna n vel de educa o dos pais perten a a um grupo minorit rio etc Para constituir os grupos padr o a avalia o combinou uma an lise factorial com pain is de peritos No final da avalia o a validade das compara es de desempenho foi aceite sem quaisquer problemas Henry et al 1992 Evitar os efeitos adversos dos indicadores A utiliza o de indicadores muitas vezes afectada pelo receio de provocar efeitos adversos Existem diversos tipos de efeitos adversos e O efeito de favorecimento ou de filtragem e Converg ncia para a m dia 137 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Efeitos inesperados cujos resultados est o subordinados s pontua es dos indicadores Os efeitos de filtragem poder o ocorrer sempre que o desempenho de organiza es de forma o e de emprego for medida de acordo com a taxa de coloca o de benefici rios Para obter uma melhor taxa de coloca o para os seus benefici rios do interesse das organiza es recrutar pessoas na melhor situa o poss vel que tamb m satisfa am os crit
67. uma forma til de preparar o terreno para a avalia o Assegurar feedback sobre os resultados intercalares A comunica o de resultados intercalares coloca grandes desafios Por um lado muito prov vel que as partes interessadas queiram conhecer os resultados iniciais sobretudo se apontarem os resultados finais como essenciais Ao mesmo tempo a equipa de avalia o poder hesitar em inferir grandes conclus es e apresentar algum nervosismo relativamente ao peso das provas de base nas suas observa es Poder o tamb m embora n o devam perspectivar a elabora o de resultados intercalares como sendo pouco mais do que uma necessidade burocr tica n o pouco frequente serem necess rios relat rios intercalares para activarem pagamentos intercalares O ideal prestar aten o ao relat rio inicial relativamente ao mbito e conte do prov veis dos resultados intercalares bem como metodologia e abrang ncia da sua circula o Poder n o ser adequado n o existir um relat rio intercalar Este processo poder evitar cr ticas suscitadas por resultados da avalia o parciais e n o fundamentados Na melhor das hip teses os resultados intercalares poder o proporcionar um feedback til relativamente metodologia e implementa o por exemplo propor altera es ao processo e ajudar a aumentar o compromisso das partes interessadas e de todos os intervenientes tanto nos programas como na sua avalia o Os res
68. uma tarefa que requer algum tempo Por vezes o processo de aceder s fontes de dados poder ele pr prio gerar dados teis para uma avalia o Por exemplo a disponibilidade dos parceiros para partilhar informa o poder ser vista como um indicador da coer ncia e da for a de uma parceria A recusa constante de partilhar informa es por exemplo sugere que a parceria n o se caracteriza por elevados n veis de confian a Sempre que os avaliadores est o directamente envolvidos na gera o de dados como acontece com diversas fontes de dados prim rios ainda existem problemas de acesso que requerem uma aten o cuidada Alguns exemplos de quest es de acesso incluem Garantia de elevadas taxas de resposta em inqu ritos por amostragem As reduzidas taxas de resposta s o extremamente frequentes na avalia o e isto poder enfraquecer a base de factos dispon veis para retirar conclus es e tecer considera es Existem diversas formas poss veis de aumentar as taxas de resposta como por exemplo e Informar claramente possivelmente atrav s da imprensa local ou especializada qual o objectivo da avalia o em geral e dos inqu ritos em particular e Conceber os instrumentos do inqu rito em linguagem simples e n o em termos t cnicos e Dedicar algum tempo s actividades de acompanhamento tais como cartas telefonemas e re emiss o dos instrumentos do inqu rito para lembrar os n o respondentes depois de decorr
69. vantagens da decorrentes 17 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Seo objectivo da avalia o for a responsabilidade ir sobretudo satisfazer as necessidades dos decisores pol ticos dos financiadores dos programas e dos parlamentos S o estas partes interessadas que depois de aprovar um programa ou uma pol tica pretendem saber o que aconteceu aos recursos atribu dos Este tipo de avalia o coloca quest es como qual o xito deste programa Cumpriu os seus objectivos Os recursos foram aplicados de uma forma eficaz e eficiente e com que impacto e Se o objectivo da avalia o for a implementa o satisfar sobretudo as necessidades dos gestores do programa e dos principais parceiros do programa S o estas partes interessadas que pretendem optimizar a gest o e a implementa o em rela o s quais s o os principais respons veis Este tipo de avalia o coloca quest es como os mecanismos de gest o funcionam eficientemente O n vel de envolvimento por parte dos parceiros o desej vel Os programas encontram se devidamente orientados em termos de elegibilidade A planifica o temporal est a ser cumprida e Se o objectivo da avalia o for a produ o de conhecimento ir satisfazer sobretudo as necessidades dos decisores pol ticos e de planeamento incluindo aqueles que t m como fun o planear novos programas S o estas mesmas partes interessadas que pretendem saber
70. veis para intervir nesse territ rio Esta caracter stica implica necessariamente uma multiplica o das necessidades em termos de indicadores que poderia causar confus o se os programas n o fossem devidamente estruturados Os programas financiados pelos Fundos de Coes o e pelos Fundos Estruturais Europeus encontram se normalmente estruturados de acordo com tr s n veis e o n vel de programa global com o qual est relacionado o objectivo geral como por exemplo o emprego ou o desenvolvimento econ mico Este n vel constitu do por um pequeno n mero de eixos priorit rios normalmente menos de seis que dividem o objectivo global de acordo com as suas dimens es estrat gicas e o n vel de medida de um at v rias dezenas existiu at 2006 e correspondeu unidade b sica de gest o do programa Cada medida possu a um aparelho de gest o espec fico Embora as medidas j n o fa am parte do programa de Fundos de Coes o e Estruturais per se as autoridades de gest o continuam a operar medidas para efeitos de gerir os seus programas e o n vel de projecto muitas vezes algumas centenas que constitu do pela unidade de implementa o do programa uma vez que cada um dos projectos constitui um ponto de articula o entre o programa e os seus benefici rios Aspectos organizacionais envolver utilizadores e fornecedores de informa o Um sistema de indicadores possui uma maior probabilidade de funcionar quando os f
71. 4 99 Reconhecendo este fracasso parcial por insist ncia da Comiss o mas tamb m atrav s do forte mpeto de determinados Estados membros sobretudo da Holanda e do Reino 147 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Unido os novos regulamentos de Julho de 1993 refor aram consideravelmente os requisitos em termos de avalia o Este novo regulamento Artigo 6 do regulamento quadro determina os conceitos de avalia o pr via monitoriza o e avalia o ex post Os Artigos que descrevem pormenorizadamente o conte do dos documentos de programa o entregues pelos Estados membros introduzem o conceito de objectivos espec ficos quantificados sempre que poss vel Do mesmo modo o Artigo 26 dos regulamentos de coordena o apresenta uma cl usula pr via de que ser concedido apoio quando uma avalia o pr via mostrar a obten o de vantagens socioecon micas a m dio prazo face aos recursos mobilizados Na pr tica esta exig ncia muito forte de uma avalia o ex ante uma variante Comunit ria do conceito Brit nico de Value for Money ou seja proveitos proporcionais ao investimento n o foi aplicada de forma muito precisa Em contrapartida a introdu o da avalia o intercalar que n o existia antes foi particularmente bem sucedida O refor o da legisla o europeia no dom nio da avalia o foi claramente um forte incentivo para a dissemina o da ideia de que a aval
72. A redu o da exclus o social o aumento da qualidade dos recursos humanos e a diversifica o de uma economia rural depende geralmente de dados categoriais ordinais e de intervalo Estas medidas n o podem ser consideradas objectivas ou t o s lidas como por vezes se assume que sejam os dados quantitativos Determinados tipos de dados como por exemplo dados relativos competitividade de empresas locais ou participa o no mercado de trabalho podem estar sujeitos a uma an lise mais rigorosa utilizando o que se descreveu acima como dados de rela o Por m estes n veis de rigor ser o menos frequentes na maioria das avalia es nesta rea Como parecem mostrar as distin es anteriores poss vel compreender melhor os dados quantitativos qualitativos como um continuum dos mais quantitativos para os mais qualitativos Os dados categoriais e ordinais podem ser vistos em diversos aspectos como sendo relativamente qualitativos O que se poderia considerar dados puramente qualitativos altamente discut vel talvez constitu do por relat rios ou inst ncias nicas podendo descrever se apenas numa base casu stica Um estudo de caso ou uma hist ria de vida reunidos sem qualquer compara o ou categoriza o pr via poder o corresponder a este ideal qualitativo Por m assim que forem recolhidos diversos exemplos destes casos ou biografias torna se poss vel proceder ao mesmo processo de categoriza o conforme descrito ant
73. ADMINISTRATIVA E INSTITUCIONAL PARA A AVALIA O SOCIOECON MICA 3 1 Introdu o 3 2 A capacidade de avalia o como parte da capacidade institucional 3 3 Em que consiste a capacidade de avalia o 3 4 O desenvolvimento da capacidade de avalia o 3 5 A arquitectura dos sistemas de avalia o 3 6 O refor o da procura de avalia o 3 7 A perspectiva da oferta 3 8 A institucionaliza o da avalia o 3 9 Regras de ouro 3 1 Introdu o Esta sec o do GUIA procura discutir uma das condi es pr vias da avalia o do desenvolvimento socioecon mico que consiste em possuir e desenvolver a capacidade de executar avalia es Come a se por explicar a import ncia da capacidade de avalia o e o que significa Segue se uma descri o resumida das ac es a considerar para refor ar as capacidades incluindo diversas estrat gias consideradas eficazes em diferentes contextos nacionais Discute se a capacidade de avalia o numa perspectiva quer de procura quer de oferta a necessidade que as organiza es t m em requisitar acompanhar e utilizar as avalia es e a necessidade de recursos humanos capacidades e institui es dispon veis para que se possa satisfazer estas necessidades O ponto de partida reside nas necessidades da administra o p blica nacional mas tamb m se reconhece o papel das administra es locais descentralizadas e dos gestores de programas locais bem como da sociedade civ
74. EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A AVALIA O DO DESENVOLVIMENTO SOCIOECON MICO O GUIA EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA O GUIA NDICE GERAL INTRODU O 1 PARTE I AVALIA O E DESENVOLVIMENTO SOCIOECON MICO 1 1 As vantagens da avalia o 1 2 Hist ria e objectivo da avalia o 1 3 Os m todos e respectivas origens 1 4 A avalia o como meio de refor ar o desenvolvimento socioecon mico 1 5 Regras de ouro 2 PARTE Il A CONCEP O E IMPLEMENTA O DA AVALIA O 2 1 A concep o e o planeamento da avalia o 2 2 A implementa o e a gest o da avalia o 2 3 A utiliza o da avalia o e a gest o de conhecimentos 2 4 Regras de ouro 3 PARTE Ill A CAPACITA O ADMINISTRATIVA E INSTITUCIONAL PARA A AVALIA O SOCIOECONOMICA 4 PARTE IV A SELEC O DE M TODOS E T CNICAS ANEXOS Anexo A ao GUIA As principais etapas da avalia o Anexo B ao GUIA Evolu o das regras dos Fundos Estruturais Bibliografia EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA INTRODU O ndice da Introdu o e A avalia o do desenvolvimento socioecon mico A quem se destina este GUIA Porqu outro guia de avalia o Actualiza o da Colec o MEANS Conte do A avalia o do desenvolvimento socioecon mico Este GUIA discute a avalia o do desenvolvimento socioecon mico na Europa com u
75. Existe um Gloss rio que cont m defini es dos termos utilizados no GUIA e nos Manuais T cnicos Todos estes materiais encontram se dispon veis neste website e podem ser descarregados Por outro lado para optimizar a interac o com todos os que se encontram envolvidos em processos de avalia o este site tamb m inclui um f rum uma biblioteca onde se armazena documentos e onde se poder aceder aos mesmos uma sec o de novidades e uma listagem de eventos futuros Pretende se que o site seja um foco de discuss o e debate e que os materiais sejam permanentemente enriquecidos com refer ncias s pr ticas mais actuais EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ndice da Parte 1 1 PARTE I A AVALIA O E O DESENVOLVIMENTO SOCIOECON MICO 1 1 As vantagens da avalia o 1 2 Hist ria e objectivos da avalia o 1 3 Os m todos e respectivas origens 1 4 A avalia o como meio de refor ar o desenvolvimento socioecon mico 1 5 Regras de ouro 1 1 As vantagens da avalia o Avalia es que fazem a diferen a Melhorar os programas ao longo do tempo Conceber programas Seleccionar os instrumentos mais adequados Optimizar a gest o e a aplica o Identificar as realiza es os resultados e os impactos Identificar consequ ncias n o intencionais e efeitos perversos N veis de avalia o pol ticas temas programas e projectos Avalia es que fazem a diferen a Inves
76. GUIA vezes isto poder dever se a motivos s lidos como por exemplo quando este processo decorre da natureza do conte do da pol tica correspondente Por m tamb m poder dever se ao facto de estes avaliadores trabalharem exclusivamente numa rea pol tica espec fica com determinados colegas de avalia o e de pol ticas e t m tend ncia para se isolarem da comunidade de avalia o mais alargada e ignorar conjuntos de m todos que podem ser teis mas com os quais n o est o familiarizados Desenvolvimento local e territorial O desenvolvimento socioecon mico sempre teve uma forte dimens o territorial Ao longo dos ltimos anos o desenvolvimento local influenciado como referido na sec o do GUIA sobre a avalia o e o desenvolvimento socioecon mico por teorias decorrentes da Nova Geografia Econ mica tem vindo a ser perspectivado como sendo cada vez mais importante em termos de realiza o do potencial socioecon mico N o habitual recorrer se a m todos econom tricos na avalia o do desenvolvimento socioecon mico sobretudo porque as interven es e os programas s o geralmente respons veis por uma parte relativamente pequena de recursos efectivos e muitos outros recursos podem representar a sua maioria transfer ncia de pagamentos outros programas etc Os modelos econom tricos s o adequados sempre que os programas abrangem todo um territ rio perante situa es que satisfa am os crit rios que s
77. IA Gerir o processo de avalia o Depois de iniciado o estudo de avalia o existe a tenta o de a organiza o requerente manter um contacto estreito com a equipa de avalia o Esta perspectiva baseia se no facto de uma abordagem de maior afastamento ajudar a assegurar a independ ncia da equipa de avalia o A independ ncia da equipa depende de facto de um conjunto de factores muito mais complexo do que a mera limita o de contactos com o cliente A maior garantia de independ ncia constitu da pela base cient fica e profissional da equipa seleccionada A exist ncia de um grande mercado o aparecimento de normas profissionais e ticas e a cria o de uma comunidade envolvida na avalia o constituem dimens es estruturais importantes que em ltima inst ncia contribuem para a independ ncia Ao gerir avalia es os requerentes e os gestores de programas dever o estar conscientes da exist ncia de uma s rie de factores cont nuos que poder o minar a independ ncia dos avaliadores Factores que influenciam a independ ncia dos avaliadores Todo o trabalho de avalia o requer um determinado grau de independ ncia entre o avaliador e o objecto de avalia o Mesmo em abordagens de auto avalia o as pessoas envolvidas na implementa o das interven es necessitam de obter um determinado grau de distanciamento e independ ncia quer o processo seja ou n o apoiado por avaliadores externos Normalmente o aume
78. a es Caso contr rio poderemos ficar a saber o que funciona mas n o como ou porque funciona Isto requer uma an lise detalhada e muitas vezes qualitativa e Estamos interessados nos impactos em diferentes grupos Os programas ter o muitas vezes diferentes impactos de acordo com os diferentes grupos ou benefici rios alvo A divis o de popula es agregadas em grupos que s o normalmente de dimens es reduzidas permite nos investigar esses impactos diferenciais e Estamos interessados em categorias inovadoras O desenvolvimento frequentemente incerto porque procura implementar algo de novo Apenas ao examinar os detalhes espec ficos do que est a acontecer num contexto de desenvolvimento que ser poss vel identificar as categorias significativas em que os avaliadores t m de se concentrar Mesmo que a avalia o possa recorrer a m todos quantitativos esta fase dever ser precedida por uma fase explorat ria que permite clarificar as categorias relevantes A recolha e utiliza o de dados e de provas Como se deixou claro na sec o do GUIA sobre a avalia o e o desenvolvimento socioecon mico poder o existir entre os avaliadores diversas perspectivas relativamente natureza dos dados e ao que constituem elementos de prova v lidos Os que acreditam na capacidade da observa o objectiva ex os positivistas ter o uma perspectiva diferente dos dados e das provas do que os que est o mais preocupados com a fo
79. a o A Caixa Crit rios de controlo de qualidade e de garantia de qualidade descreve os crit rios de controlo de qualidade e de garantia de qualidade 65 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Crit rios de controlo de qualidade e de garantia de qualidade Controlo de qualidade Crit rios de Garantia de qualidade Crit rios conte do para os resultados finais processuais Satisfa o das necessidades descritas nos Objectivos coerentes e avali veis TdR Relev ncia da cobertura e do mbito Termos de refer ncia bem delineados Concep o e m todos justific veis Processo de selec o de propostas s lido Utiliza o de dados fidedignos Di logo e feedback eficaz ao longo do processo de avalia o An lise consolidada Disponibilidade de informa o adequada Resultados cred veis relacionados com a Boa gest o e coordena o por parte da an lise e com os dados equipa de avalia o Conclus es imparciais n o tendenciosas e Dissemina o eficaz dos com conclus es s lidas relat rios conclus es junto da Comiss o Directiva e gestores pol ticos de programa Relat rio claro com sum rios e dados de Dissemina o eficaz junto das partes suporte em anexo interessadas Os respons veis pelo processo de controlo de qualidade e de garantia de qualidade variam consoante o contexto institucional Em programas sectoriais nacionais poder const
80. a estes s fazem sentido quando contextualizados na an lise das disposi es organizacionais Para o efeito necess rio utilizar m todos de campo descritivos tais como estudos de caso t cnicas de observa o entrevistas e an lise documental Desenvolvimento sustent vel Este constitui uma tem tica comum transversal a praticamente todas as reas de pol tica que implica diversos factores em interac o e que exige consequentemente diversos m todos e t cnicas em qualquer avalia o Isto poder implicar t cnicas econ micas tais como an lises custo benef cio ou modelos de aloca o de recursos e as respectivas consequ ncias Numa avalia o tem tica recente do desenvolvimento sustent vel e os Fundos Estruturais recorreu se a um 107 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA grande n mero de estudos de caso para testar o modelo dos Quatro Capitais do desenvolvimento sustent vel e investigar as suas implica es como t cnica de planeamento e an lise Deu se particular destaque opini o especializada dos avaliadores que possuem uma s lida forma o em aspectos de desenvolvimento sustent vel bem como capacidades de avalia o adequadas Considerando o enfoque prospectivo do desenvolvimento sustent vel em rela o s consequ ncias para as gera es futuras s o particularmente adequados m todos prospectivos como os inqu ritos Delphi uma t cnica de consulta a pe
81. a experi ncia A escolha entre estas estrat gias deve em ltima inst ncia depender das quest es a que determinada avalia o pretende responder Os inqu ritos de satisfa o junto dos benefici rios dos programas e as avalia es participativas junto dos grupos exclu dos utilizar o os dados de opini o de forma bastante diferente 4 7 Cria o de indicadores e sistemas de indicadores O que s o indicadores Os indicadores e a avalia o Selec o de indicadores Avalia o da qualidade Aplica o dos indicadores O que s o indicadores Defini o e caracter sticas de um indicador Poder definir se um indicador como a medi o de um objectivo que se pretende cumprir um recurso que se pretende mobilizar um efeito que se pretende obter um medidor de qualidade ou uma vari vel de um contexto Um indicador produz informa es quantificadas com vista a ajudar os actores relacionados com as interven es p blicas a comunicar negociar ou tomar decis es No mbito da avalia o os indicadores mais importantes est o relacionados com os crit rios de sucesso das interven es p blicas Para ser til um indicador deve possuir preferencialmente as seguintes caracter sticas e A defini o de indicador est estreitamente relacionada com metas objectivos e ou fins pol ticos De facto os indicadores s o de maior utilidade quando os objectivos forem especificados em termos de fins ou marcos aplic veis de ac
82. a agrega o das suas pr prias teorias de programas em vez de se basear num nico exerc cio com decisores pol ticos pode constituir uma abordagem Algumas formas de cria o de teorias de programa como por exemplo a designada abordagem de teoria de mudan a s o concebidas com o intuito de serem participativas e para revelar as perspectivas e as teorias impl citas dos parceiros como actores e n o como meros destinat rios dos recursos dos programas necess rio aplicar t cnicas de avalia o a n vel program tico e n o em termos de interven es individuais Por exemplo pode utilizar se t cnicas de aprecia o dos projectos incluindo an lises de custo benef cio para determinar as escolhas entre as diferentes interven es com vista a alcan ar os mesmos objectivos Tamb m pode ser til avaliar as rela es de compromisso entre as diferentes medidas e interven es Nesta fase tamb m poss vel realizar estudos de s ntese de mecanismos de implementa o anteriores Por exemplo o que que se sabe acerca dos procedimentos administrativos e organizacionais adequados Quais os tipos de estrutura de tomada de decis o e de parcerias mais eficazes Estes tipos de quest es poder o certamente ter uma resposta mais adequada atrav s de estudos de caso comparativos e de revis es da literatura relativamente a avalia es existentes Implementa o feedback e resultados interm dios Ao longo da implementa o de
83. a avalia o constitui um requisito de terceiros e poder haver uma tend ncia de conluio entre os parceiros e os avaliadores Uma avalia o de sucesso requer fortes medidas de confian a que poder o ser refor adas pelos tipos de normas e c digos de tica impostos aos avaliadores descritos mais adiante nesta parte do GUIA e uma inten o por parte dos requerentes do trabalho de observar as conclus es da avalia o e as perspectivas do avaliador e A avalia o do desenvolvimento socioecon mico nunca decorre num ambiente politicamente neutro Os territ rios ou os grupos alvo priorit rios poder o pretender manter a posi o e o xito das interven es anteriores poder ser um factor a considerar no futuro acesso aos recursos Poder haver rivalidades entre os respons veis por diferentes interven es Os requerentes do trabalho de avalia o est o muitas vezes sob press o para apresentar as conclus es do programa e mostrar resultados As circunst ncias e os pap is vari veis em que decorre a avalia o afecta o grau de independ ncia que se poder alcan ar Sempre que o avaliador oferecer sobretudo contributos de investiga o e recolher dados poder alcan ar se um elevado grau de independ ncia Contudo mesmo nestas circunst ncias a escolha das quest es colocadas e o m todo de questionamento poder o condicionar a independ ncia das conclus es Sempre que o trabalho de avalia o for executado sobretudo p
84. a boa gest o e coordena o por parte da equipa de avalia o Independentemente do plano de trabalho e do relat rio inicial estarem bem planeados e serem convincentes todas as avalia es dever o ser convenientemente executadas Os avaliadores dever o seguir os planos e conseguir adaptar se a eventos inesperados que tornam os planos ou alguns dos seus aspectos redundantes E necess rio que as equipas se mantenham unidas que os diferentes componentes de trabalho sejam coordenados e que os seus resultados sejam integrados E necess rio tamb m gerir as rela es com os requerentes da avalia o com os gestores de programa e com uma vasta diversidade de informantes locais de trabalho no terreno institui es associa es e grupos envolvidos Estes aspectos da gest o constituem sobretudo uma responsabilidade da equipa de avalia o e dos seus gestores Contudo tamb m existem elementos que s o partilhados pelos gestores de programa e pelos que requisitaram a avalia o Por exemplo a forma 11 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA como o sistema de requisi o responde a pedidos para adaptar um plano de trabalho elaborado anteriormente n o se encontra sob o controlo apenas da equipa de avalia o Dissemina o eficaz dos relat rios e das conclus es junto da Comiss o Directiva e gestores pol ticos de programa A dissemina o dos relat rios constitui outra responsabilidade p
85. a do contexto Estes t m por exemplo que assumir como base de compara o uma configura o ao longo do tempo i e o mesmo territ rio em 2002 e depois em 2006 e uma configura o no seu contexto regional ou possivelmente tendo em conta outras unidades territoriais correspondentes Estas t cnicas geralmente em forma de modelos prospectivos modelos macroecon micos ou an lises de resultados multivariados dever o ter a capacidade de avaliar as diferen as entre os resultados esperados e reais do desenvolvimento Dever o oferecer respostas a quest es como as tend ncias ao n vel do emprego ou da produtividade das empresas s o diferentes em reas visadas pelos programas comparativamente a outras reas semelhantes A utiliza o de dados comparativos tamb m importante em termos da avalia o da desloca o os efeitos positivos de uma configura o decorrem custa de outros Por exemplo o desenvolvimento num determinado territ rio absorveu simplesmente a inova o e o crescimento ou novas oportunidades para grupos marginalizados em territ rios circundantes Em suma as for as da avalia o quantitativa residem no facto de poder e Permitir que se retire conclus es agregadas Os decisores pol ticos pretendem saber durante o processo se uma pol tica ou programa est a funcionar Os resultados agregados como por exemplo se houve mais pessoas a obter emprego em digamos 100 locais do programa proporcion
86. a e refor ando o capital social A capacidade de avalia o dever prestar aten o vertente de oferta promovendo uma comunidade profissional e especializada de agentes e s institui es redes e mercados que garantam a coloca o de oportunidades de avalia o a concurso e a sua execu o de acordo com elevados padr es de qualidade Entre os principais elementos de uma comunidade de avalia o profissional encontram se a educa o e forma o de avaliadores bem como elevados padr es de qualidade e c digos de tica acordados e partilhados entre os requerentes e os profissionais da avalia o incluindo consultores e acad micos Estas qualidades da oferta desenvolvem se melhor muitas vezes atrav s de sociedades de avalia o nacionais abertas participa o e comprometidas com elevados padr es de qualidade 99 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ndice da Parte IV 4 PARTE IV A SELEC O DE M TODOS E T CNICAS 4 1 Introdu o 4 2 Factores que influenciam a escolha de m todos e t cnicas 4 3 As op es para diferentes tipos de interven o 4 4 As op es para diferentes objectivos de avalia o 4 5 As op es para diferentes fases de programas pol ticas 4 6 A recolha e utiliza o de dados em avalia o 4 7 Cria o de indicadores e sistemas de indicadores 4 8 Utiliza o de indicadores para melhorar a gest o 4 9 Regras de ouro 4 1 In
87. a generalidade 3 5 O refor o da procura de avalia o e Os governos como fonte de procura da avalia o e A sociedade civil como fonte de procura da avalia o Os governos como fonte de procura da avalia o A procura de avalia o o primeiro impulso de lan amento do processo de desenvolvimento de capacidades poder advir maioritariamente de fontes internas ou maioritariamente de fontes externas Em diversos pa ses europeus a Uni o Europeia e particularmente as regulamenta es dos Fundos Estruturais proporcionaram o primeiro impulso pelo que a procura foi inicialmente externa Este foi o caso de pa ses do sul da Europa tais como a Gr cia It lia e Portugal e tamb m o caso da maior parte dos novos Estados membros Esta procura externa constitui em parte um outsourcing das responsabilidades das institui es europeias que se v em obrigadas a demonstrar que s o igualmente respons veis A Comiss o Europeia possui obriga es para com os Estados membros para com o Conselho Europeu e para com o Parlamento Europeu de 84 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA garantir que os recursos colocados disposi o para efeitos de desenvolvimento socioecon mico s o distribu dos de uma forma sensata e que os objectivos pol ticos de uma melhor coes o econ mica e social s o cumpridos Uma vez que os destinat rios dos recursos financeiros s o os mesmos governos que proporciona
88. a pol tica e uma dimens o normativa o desenvolvimento pode prosseguir em direc es distintas e a pol tica estabelece um quadro de prioridades e valores ao abrigo do qual se fazem escolhas Por exemplo o facto de a Estrat gia de Lisboa procurar quer aumentar o emprego quer alcan ar uma economia de conhecimento din mica exprime prioridades de valor Isto tem consequ ncias para a avalia o como por exemplo Entre Os m todos adoptados t m muitas vezes que ser capazes de registar a mudan a e os processos de mudan a incluindo as decis es tomadas no decorrer da implementa o dos programas bem como de medir os resultados Analisar a integra o de diversas medidas num nico territ rio constitui um requisito essencial de avalia o do desenvolvimento socioecon mico A avalia o ex ante a pr programa o ou as avalia es de planeamento necessitam de identificar recursos sobre os quais poder assentar o desenvolvimento Juntamente com medidas quantitativas descri es indicadores e modelos tamb m necess rio avaliar dados qualitativos do conte do padr es de estilo e relev ncia das medidas Os enquadramentos pol ticos e as declara es de valor ou normativas associadas por exemplo relativamente solidariedade social ao desenvolvimento sustent vel e igualdade de oportunidades definem crit rios essenciais para uma avalia o e o que dever constituir o enfoque da avalia o as cara
89. abertas a consequ ncias inesperadas sobretudo no caso de benefici rios alvo necess rio que as avalia es sejam geridas activamente mas de forma sensata Isto ir assegurar que os comiss rios est o conscientes das escolhas que ser necess rio adoptar ao longo do percurso Tamb m ir garantir que os avaliadores obt m o apoio suficiente acesso informa o e dados relativamente s altera es pol ticas e contextuais As pessoas respons veis pela requisi o da avalia o e os gestores do programa s o as pessoas mais adequadas para gerir a avalia o uma vez que t m que estar conscientes do seu hist rico e da sua filosofia N o habitual retirar crit rios a partir de uma avalia o ou seja a partir dos objectivos de um programa fazer uma avalia o positiva ou negativa da evolu o Tamb m importante incluir um conjunto de crit rios mais abrangente decorrente das necessidades sociais Por exemplo este programa til e ajuda as pessoas a 75 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA J4 quem se destina Apoia a equidade ou n o O programa consistente com outras iniciativas pol ticas E implementado de uma forma eficaz e leg tima Manter esta perspectiva mais abrangente assegura que pelo menos relativamente a parte do seu trabalho os avaliadores podem permanecer fora da l gica do programa e assumir uma perspectiva cr tica relativamente quilo que o programa
90. actualmente uma orienta o comum universalmente aceite Embora n o haja ainda um consenso relativamente a todos os componentes de um sistema de garantia de qualidade na avalia o j come amos a verificar um maior enfoque no controlo de qualidade isto para as formas de avaliar a qualidade dos relat rios e das conclus es Esta mudan a foi confirmada por um estudo recente sobre a utiliza o da avalia o pela Comiss o Europeia Caixa Cita o de um estudo da UE sobre a utiliza o da avalia o Caixa Cita o de um estudo da UE sobre a utiliza o da avalia o O estudo tende a apoiar o valor de normas inclusivas que abrangem tanto os interesses dos requerentes da avalia o como os dos avaliadores e cidad os As normas de avalia o europeias mais abrangentes instrumentais e ticas conforme utilizadas pela European Evaluation Society e por diversas associa es de avalia o nacionais na Europa poder o complementar a evolu o para normas desenvolvidas pela Comiss o Europeia e por alguns Governos nacionais The Use of Evaluation in Commission Services Outubro de 2002 A Caixa Crit rios de controlo de qualidade e de garantia de qualidade identifica crit rios quer de controlo de qualidade quer de garantia de qualidade Ambos s o necess rios como forma de avaliar os relat rios e as conclus es da avalia o Normalmente a pessoa respons vel pela gest o da avalia o no organis
91. ade m dia entre os principais centros econ micos Investimentos facilitados aos benefici rios k k Efeito de alavanca gastos do sector privado decorrentes como contrapartida do apoio financeiro recebido Impactos Interesse Indicador Sucesso sustent vel Taxa de coloca o por exemplo de benefici rios individuais a trabalhar ap s 12 meses inc num emprego est vel a longo prazo Taxa de sobreviv ncia por exemplo de unidades econ micas apoiadas ainda activas ap s 12 36 meses Impacto percebido pelos benefici rios Valor acrescentado gerado por exemplo ap s 12 meses em termos de euros ano colaborador Emprego criado ou salvaguardado por exemplo ap s 12 meses equivalente a tempo inteiro Impacto globalmente percebido na rea k k permanecer na rea Atractividade residencial por exemplo de habitantes que pretendem Impacto indirecto Efeitos de arrastamento regionais por exemplo de empresas regionais entre os prestadores de servi os s empresas apoiadas ap s 12 meses 4 8 Utiliza o de indicadores para melhorar a gest o Gest o do desempenho em vez dos recursos Interpreta o e compara o de indicadores Evitar os efeitos adversos dos indicadores A utilidade de um sistema de indicadores Gest o do desempenho em vez dos recursos Um n mero crescente de indicadores tem sido criado para efeitos
92. adores devem ser seleccionados de forma que o programa possa introduzir altera es ao valor do indicador A capacidade das interven es para influenciar determinado indicador conhecida como sensibilidade Consideremos como exemplo uma interven o de apoio exporta o os resultados efectivos das empresas n o constituem um indicador suficientemente sens vel Um indicador melhor seria os resultados efectivos relacionados apenas com novos clientes contactados com o apoio do programa Os resultados produzidos na sequ ncia da aplica o dos indicadores devem ser fi veis e cred veis A fiabilidade costuma aplicar se a factos e n meros e pode definir se como o facto de duas medidas adoptadas por duas pessoas diferentes sob circunst ncias semelhantes produzirem o mesmo valor para o indicador Nos casos em que os indicadores s o quantificados com base nas quest es colocadas por uma pessoa a outra a fiabilidade deixa de poder definir se em termos t o mec nicos embora os testes tenham que ser cred veis A credibilidade depende geralmente da solidez do m todo embora a independ ncia e a reputa o da equipa de avalia o tamb m sejam importantes A utilidade de um indicador depende em grande parte do facto de permitir fazer compara es internas entre diferentes medidas do programa ou compara es externas inter regionais A comparabilidade do indicador constitui por isso um crit rio importante Um outro crit rio de
93. ais preparadas e receptivas Muitas vezes mais f cil para os gestores de programa e para os requerentes da avalia o limitar a aprecia o da qualidade da avalia o s conclus es da pr pria avalia o No entanto este processo de controlo de qualidade proporciona poucas oportunidades de aprendizagem e de melhoria da pr pria forma de gest o da avalia o Uma perspectiva de garantia de qualidade do tipo que se defendeu nesta parte do GUIA proporciona um contexto para explicar as for as e as fraquezas dos resultados ou conclus es de avalia o Tamb m proporciona aos 76 10 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA requerentes da avalia o uma oportunidade para aprender a melhorar todo o processo no futuro Dever considerar se numa fase inicial a forma como as conclus es da avalia o ser o colocadas em pr tica Algumas formas de utiliza o decorrer o directamente das conclus es e recomenda es do trabalho Pode tamb m ser til combinar as avalia es individuais com outros dados para informar as discuss es O processo de avalia o poder trazer vantagens em termos de estrutura o do inqu rito e reflex o institucional A considera o dos factores que influenciam a utiliza o do trabalho de avalia o ir maximizar o seu contributo 77 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ndice da Parte III 3 PARTE Il A CAPACITA O
94. ais prolongado do que o ciclo dos programas EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Ciclos das Pol ticas dos Programas e da Avalia o Revis o de Pol ticas Formula o de Pol ticas Concep o de Programas Conclus es dos Programas Avalia o de viabilidade ex ante Avalia o ex post de resultados Avalia o Cont nua Intercalar Implementa o de Programas Implementa o de Pol ticas J4 A Caixa Ciclos das Pol ticas dos Programas e da Avalia o apenas indicativa obviamente existem mais fases em cada ciclo que podem descrever se de diferentes formas Mas o diagrama mostra alguns dos principais problemas relacionados com os respectivos horizontes temporais comuns na avalia o O c rculo interno come a com a avalia o ex ante que precede o levantamento das necessidades iniciais e a an lise da viabilidade dos programas planeados passa pela avalia o cont nua ou intercalar que documenta o progresso e a implementa o e finalmente termina na avalia o ex post com um enfoque nos resultados Contudo as avalia es ex ante devem contribuir para a concep o dos programas e formula o das pol ticas do mesmo modo que as avalia es intercalares dever o contribuir para a implementa o dos programas e das pol ticas em termos de aplica o destes e de outros programas semelhan
95. aixa socioecon mico para a avalia o Implica es das caracter sticas dos programas de desenvolvimento Caracter sticas do Implica es para a Pr rrentes ia essupostos decorrente avalia o Programa Necessidades de desenvolvimento persistentes e estruturais Natureza a longo prazo da altera o dos objectivos alcan veis ir levar tempo e necessitar de uma mudan a sist mica A avalia o dever captar o in cio da mudan a a longo prazo e implementar sistemas de registo da mudan a ao longo do tempo A avalia o dever considerar o sistema mais vasto bem como resultados espec ficos 27 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Natureza multi dimensional dos programas e das interven es Presume se que as Interven es e as medidas interagem e refor am se mutuamente A avalia o dever analisar a interac o entre diversos programas interven es A avalia o dever considerar a complexidade e as sinergias Programas adaptados s defini es Os programas e as medidas diferem mesmo quando os objectivos s o os mesmos Os contextos tamb m diferem A avalia o necessita de considerar as interven es na sua defini o As avalia es dever o avaliar a relev ncia e ajudar a identificar aquilo que funciona em diferentes contextos E dif cil estabelecer regras gerais Num quadro pol
96. alia o como um exemplo adicional do comportamento oficial pelo que necess rio suscit los Al m disso necess rio convencer todos os parceiros de que ir o retirar algo da avalia o antes de fornecerem acesso com qualquer entusiasmo a quaisquer informa es que retenham O investimento nestes tipos de negocia o far a diferen a em termos de qualidade e de avalia o como um todo A rela o entre quantitativo qualitativo sobrevalorizada Os dados constituem muitas vezes parte de um cont nuo come ando como sendo qualitativos e tornando se ap s a an lise quantitativos As formas mais fracas de dados quantitativos por exemplo categoriza es ou rankings est o mais pr ximas dos dados qualitativos O que necess rio aquando da avalia o dos programas de desenvolvimento socioecon mico que os dados qualitativos possam captar as nuances a experi ncia das pessoas e as opini es e que os dados quantitativos forne am perspectivas por exemplo no sentido de agregar resultados de uma interven o e proporcionar uma perspectiva comparativa Os sistemas de monitoriza o e os indicadores bem concebidos s o um complemento capaz da avalia o Muitas vezes os avaliadores est o 141 12 13 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA dependentes dos sistemas de monitoriza o que s o baseados em indicadores Se estes n o forem aplicados numa fase precoce do ciclo de
97. am material de suporte para essas conclus es Contudo as considera es agregadas n o s o necessariamente capazes de demonstrar que os programas ou alguns dos seus aspectos em particular s o respons veis por estas altera es 103 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Permitir modela es explicativas ou prospectivas Existem diversas t cnicas estat sticas ou de modela o sofisticadas que s o teis na avalia o sobretudo como forma de explicar ou prever embora raramente para definir as rela es causais subjacentes s diferen as Os m todos experimentais e os modelos macroecon micos baseiam se por isso em dados quantitativos por m conforme real ado anteriormente os m todos mais adequados s o geralmente os que t m em considera o o contexto e Proporcionar uma perspectiva global que informa a an lise qualitativa subsequente Com base em medidas descritivas agregadas globais torna se mais claro onde ocorreram subcategorias ou casos inesperados Este aspecto direcciona a aten o para uma segunda fase de an lise muitas vezes qualitativa e Permitir que se fa am estimativas de dimens o e de escala Sempre que estiverem dispon veis dados adequados uma avalia o quantitativa permite calcular a dimens o das mudan as ocorridas no mbito de uma interven o Este factor particularmente importante sempre que for necess rio avaliar se as vantagens compensam os custos
98. ara a avalia o de programas As avalia es tem ticas e os crit rios decorrentes das pol ticas quando aplicados aos materiais dos programas constituem formas habituais de introduzir uma dimens o pol tica na avalia o Existe agora uma tend ncia da avalia o no sentido ascendente bem como para prestar cada vez mais aten o ao n vel pol tico reflectindo uma inten o por parte dos decisores pol ticos em assumir os resultados da avalia o Simultaneamente coloca desafios aos avaliadores que necessitam de ver os resultados do seu trabalho num contexto mais alargado Considerar o n vel pol tico tamb m permite refor ar a avalia o do programa identificando por exemplo os crit rios orientados para os resultados para o sucesso do programa Na sua maioria a avalia o de projectos pelo menos quando os projectos t m uma escala relativamente pequena volta aos promotores dos projectos e a outros intermedi rios A principal excep o s o os projectos de larga escala por exemplo projectos de infra estruturas que possuem muitas das caracter sticas dos programas em termos de complexidade bem como em termos de dimens o Um requisito recorrente para promotores e gestores de projecto que se execute algum tipo de auto avalia o Embora este tipo de avalia o possa n o ter a independ ncia considerada importante para assegurar a credibilidade externa pode mesmo assim constituir um contributo importante no co
99. ara efeitos de escrut nio inspec o ou pr auditoria a independ ncia do avaliador tende a ser superior Sempre que os avaliadores trabalharem em estreita coopera o com as pessoas respons veis pela prepara o das interven es o papel do avaliador caracterizado como sendo o de um amigo essencial Este processo decorre muitas vezes ainda que n o exclusivamente numa fase ex ante ou de um estudo de viabilidade Estas avalia es s o essencialmente estruturas de apoio mas destinam se a destacar dificuldades e fraquezas nas an lises subjacentes a potenciais interven es Sempre que a interven o for de natureza experimental ou executada com base num projecto piloto poder ser dif cil alcan ar uma verdadeira independ ncia Neste caso a interven o relativamente pequena e complexa mas envolve diferentes partes que provavelmente trabalham em conjunto pela primeira vez e o avaliador poder ser um agente animador e catalisador de consenso enquanto avaliador imparcial Em muitos casos o trabalho de avalia o implica uma combina o de processos de revis o e de estudos de caso que podem ser utilizados para estruturar os argumentos A selec o de casos e de exemplos concretos poder restringir uma verdadeira imparcialidade Sempre que um avaliador esteja efectivamente a desempenhar um papel de liga o e feedback auxiliar entre os actores a diferentes n veis governativos necess rio que se tenha em particular at
100. artilhada Em parte depende da capacidade da equipa de avalia o em apresentar resultados de alta qualidade e bem planeados em termos de controlo de qualidade conforme especificado acima Tamb m requer um conhecimento do valor e das oportunidades de divulga o na equipa de avalia o Existe por exemplo uma grande diferen a entre os avaliadores que limitam o seu feedback ao m nimo contratual e os que consideram ser da sua responsabilidade proporcionar um feedback ad hoc sempre que ocorrem novos problemas ou sempre que necess rio solucionar quest es essenciais Este tipo de divulga o tamb m requer sensibilidade para com as necessidades de informa o e interesses dos principais intervenientes Por vezes necess rio redimensionar as conclus es de acordo com os diferentes interesses Por exemplo os gestores de programa t m uma perspectiva diferente das PME locais embora tamb m partilhem determinados interesses comuns Divulga o eficaz junto das partes interessadas necess rio divulgar os relat rios e as conclus es para que estes possam facilitar a aprendizagem das organiza es e ag ncias Os outros grupos comerciais informais e da sociedade civil tamb m estar o interessados nas conclus es da avalia o seja como contribuintes eleitores locais ou potenciais benefici rios de um programa e das suas interven es Um processo de avalia o n o dever ser considerado como conclu do at se implementar u
101. as em vez de tentar influenciar ou adivinhar as conclus es de avalia o A Comiss o Directiva Como vimos a exist ncia de um organismo como uma Comiss o Directiva ou uma Comiss o de Avalia o constitui uma parte importante do processo de gest o da avalia o dos programas de desenvolvimento socioecon mico A experi ncia resultante dos Fundos Estruturais demonstra a vantagem do envolvimento das partes interessadas mais importantes e sobretudo dos parceiros chave e institucionais actores cuja coopera o necess ria para abordar os principais resultados do programa As vantagens de uma Comiss o Directiva abrangente s o apresentadas na Caixa As vantagens de uma Comiss o Directiva inclusiva Caixa As vantagens de uma Comiss o Directiva inclusiva A cria o de uma Comiss o Directiva de avalia o constitu da pelas diferentes 59 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA partes interessadas de um programa permite assegurar uma melhor aceita o da avalia o pelos avaliados criando rela es de confian a um acesso mais f cil informa o e uma melhor compreens o dos factos e dos eventos ocorridos durante a execu o do programa oportunidades de aprendizagem e utiliza o de processos entre as partes interessadas resultantes da interac o com a sua Comiss o Directiva interpreta es e recomenda es que considerem todos os pontos de vista
102. as sem um valor adicional claro para os gestores do programa Por outro lado pode proporcionar uma orienta o bastante necess ria e muito apreciada quer s autoridades com responsabilidade de planeamento quer s equipas de avalia o relativamente aos comportamentos e resultados esperados Certamente com base no pressuposto de que as avalia es deveriam ser executadas e de que a disponibilidade de orienta o 47 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA relativamente ao seu mbito constituiu um est mulo importante para o desenvolvimento da capacidade de avalia o conforme discutido pormenorizadamente na Parte III deste GUIA As orienta es s o particularmente teis para definir os par metros de avalia o em programas relativamente descentralizados onde importante adoptar prioridades crit rios e procedimentos comuns Isto permite assegurar um grau de comparabilidade Estas orienta es t m normalmente sido desenvolvidas por autoridades nacionais ou europeias Tamb m podem ser teis se foram desenvolvidas por gestores de programas ou inclusivamente por avaliadores sempre que for apontada como prov vel a descentraliza o geral do processo de avalia o de um programa individual No desenvolvimento socioecon mico sempre que for comum fazer avalia es participativas e auto avalia es algumas orienta es b sicas poder o ser extremamente eficazes sobretudo se as prioridade
103. as expectativas de emprego das pessoas em situa o de desemprego prolongado melhoraram de forma sustent vel Para muitos decisores pol ticos identificar descrever e quantificar estas realiza es resultados e impactos uma das grandes vantagens da avalia o No entanto para que este processo possa ser realmente proveitoso os decisores pol ticos necessitam de assegurar que existem objectivos claros e uma rela o ponderada entre as interven es e os objectivos dos programas Os gestores de programas por seu turno se necess rio em coordena o com os avaliadores t m de assegurar a exist ncia de sistemas de monitoriza o e de indicadores bem como liga es claras entre os indicadores seleccionados e as metas e objectivos subjacentes Identificar consequ ncias n o intencionais e efeitos perversos Mesmo quando os programas e os instrumentos cumprem os objectivos propostos ocorrer o frequentemente consequ ncias ou efeitos inesperados que podem ser positivos ou negativos Por exemplo o apoio a empreendedores rurais pode ter vantagens tecnol gicas inesperadas para empreendedores urbanos de uma localidade pr xima que operem no mesmo sector ou mercado Por vezes estas consequ ncias inesperadas podem ter um efeito negativo Por exemplo um instrumento concebido para aumentar as expectativas de emprego de determinado grupo no mercado de trabalho pode ter consequ ncias negativas para outro grupo In extremis as
104. as recomenda es da equipa de avalia o seriam mais facilmente aceites quando sugeridas no decorrer das fases de prepara o inicial dos documentos do programa O trabalho dos avaliadores possui fun es de desenvolvimento muitas vezes relacionadas com a assist ncia t cnica e implica a percep o da avalia o como sendo mais til ap s o estabelecimento em concreto de uma parceria Mesmo que o exerc cio de avalia o seja linear os contextos de pol tica externa mudam muitas vezes rapidamente Por conseguinte til assegurar uma liga o eficaz n o s com os membros da Comiss o Directiva mas tamb m com os respons veis pol ticos A oportunidade de envolver sempre que poss vel e inclusivamente de forma indirecta o n vel de direc o estrat gico constitui consequentemente uma outra raz o pela qual o processo dever ser interactivo Um mecanismo simples consiste em especificar a frequ ncia das reuni es da Comiss o Directiva mesmo na fase de elabora o dos TdR E normal a realiza o de no m nimo duas reuni es na fase inicial e para aprovar um primeiro rascunho do relat rio final importante deixar decorrer um determinado per odo de tempo entre a selec o da equipa de avalia o e o in cio do trabalho Sobretudo nos casos em que a selec o implica um convite apresenta o de propostas n o realista esperar que a equipa vencedora possa come ar a trabalhar no dia seguinte
105. as relatam atrav s do sistema de monitoriza o Entre os exemplos de indicadores de realiza o incluem se quil metros de estradas constru dos taxa de evolu o de constru o de uma estrada hectares de terrenos urbanos devolutos reabilitados capacidade de centros de tratamento de res duos constru dos n mero de 122 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA formandos cuja forma o foi financiada pelo programa e percentagem desta forma o cuja qualidade se encontra certificada Os indicadores de resultado representam as vantagens imediatas do programa ou excepcionalmente as desvantagens imediatas para os benefici rios directos Considera se uma vantagem imediata se esta surgir enquanto o benefici rio se encontra em contacto directo com o programa E poss vel observar os resultados completos quando o operador concluir a ac o e encerrar os pagamentos Em termos gerais os indicadores de resultado s o facilmente reconhecidos pelos operadores pelo que s o geralmente quantificados durante a monitoriza o Os indicadores de resultado proporcionam informa es sobre as mudan as que ocorrem e que afectam os benefici rios directos como por exemplo o tempo economizado pelos utilizadores de uma estrada o custo reduzido das chamadas telef nicas as qualifica es obtidas pelos formandos as novas actividades tur sticas geradas por um agricultor a utiliza o de novas capacidades de p
106. as t cnicas e Utiliza se a an lise de vari ncia a an lise factorial e a an lise de clusters para desvendar as semelhan as e as diferen as entre uma amostra de observa es para criar tipologias e para identificar factores ex genos relacionados com a produ o dos impactos e O inqu rito Delphi foi concebido para fazer uma estimativa dos impactos devidamente adequado s avalia es ex ante que se baseiam em dados secund rios A t cnica mobiliza e analisa os dados atrav s da interven o dos peritos E por isso semelhante ao painel de peritos que tamb m adequado a an lise de dados 110 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Os grupos de compara o utilizam se para fazer a estimativa dos resultados efectivos assinalando a diferen a entre um grupo de benefici rios e um grupo de n o benefici rios e A an lise de regress o utiliza se para fazer a estimativa dos resultados efectivos e para determinar se as rela es causais entre a interven o e os seus efeitos s o estatisticamente significativas e Os estudos de caso as entrevistas de grupo e a observa o participante constituem t cnicas de observa o mas tamb m podem ser utilizadas de forma flex vel para realizar a an lise de conte do e comparar e analisar dados E poss vel fazer uma estimativa dos efeitos dentro de um intervalo com m nimos e m ximos de efeitos atrav s de estudos de caso executados entre
107. avalia o fa am sugest es quanto ao que poder o efectivamente realizar face ao or amento dispon vel Este procedimento permitir uma avalia o das propostas com base no crit rio da melhor rela o pre o qualidade value for money para al m de proporcionar aos requerentes da avalia o um maior controlo sobre os gastos Uma alternativa a esta abordagem descendente consiste em permitir aos proponentes que submetam as suas pr prias estimativas com base nas tarefas que consideram ser necess rias Em geral os candidatos devem ter orienta es claras para repartir os custos em categorias b sicas incluindo por exemplo a recolha de dados a prepara o de relat rios o trabalho de campo etc ix Qualifica es necess rias da equipa Os TdR devem especificar um conjunto de requisitos em rela o equipa de avalia o incluindo as capacidades metodol gicas necess rias a experi ncia anterior em trabalhos de avalia o semelhantes o conhecimento do contexto regional e institucional a experi ncia profissional e a especializa o na rea bem como a capacidade de gerir e concluir uma avalia o de forma atempada a Independ ncia da equipa de avalia o 52 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA J foi referida a import ncia da independ ncia em termos de credibilidade factor que pode ser refor ado ao confiar a avalia o a uma equipa externa Tornam se igualmente relevantes
108. avalia o poder mesmo assim dar um grande contributo mas requer uma dupla abordagem Em primeiro lugar os avaliadores t m de estar dispostos a produzir o que efectivamente poss vel dados os recursos e contextos institucionais existentes ao mesmo tempo que t m de reconhecer as limita es do que poss vel afirmar com confian a Corre se o risco de sob as diversas press es contratuais os avaliadores ca rem na tenta o de prometer mais do que podem realmente realizar ou procurarem retirar conclus es mais firmes do que os dados dispon veis permitem Ao mesmo tempo necess rio reconhecer os problemas que surgem quanto aos recursos dados prazos a estrutura do programa o planeamento e as capacidades dispon veis no decorrer de uma avalia o Nesta base uma das conclus es mais importantes de uma avalia o pode ser a identifica o das condi es necess rias para melhorar a qualidade reduzir os incumprimentos aumentar a relev ncia e a utiliza o das avalia es no futuro A responsabilidade de agir com base nestas conclus es pertence aos respons veis que solicitam as avalia es e que gerem os programas Estes aspectos s o componentes essenciais da tarefa de constru o da capacidade de avalia o conforme se discute com algum pormenor na sec o do GUIA relativa Capacita o para a Avalia o e no Manual T cnico lll relacionado com este tema Haver claro determinadas situa es em que as co
109. baseada em provas Existe um forte imperativo para utilizar recursos de forma racional e para aprender com as experi ncias anteriores para que se possa basear as pol ticas em provas Esta constitui efectivamente uma caracter stica essencial da forma como se compreende a avalia o ex ante no mbito dos Fundos Estruturais europeus em que a avalia o pode constituir uma ferramenta poderosa para aprender com a experi ncia de programas anteriores de modo a optimizar as pol ticas no futuro A avalia o pode proporcionar uma s rie de contributos espec ficos ao longo do ciclo dos programas Conceber programas Uma das compet ncias centrais da avalia o consiste na recolha de informa es dos diferentes destinat rios ou partes interessadas tratando se de um aspecto particularmente importante na fase de concep o dos programas Garantir a relev ncia dos programas em termos das necessidades dos respectivos utilizadores essencial nesta fase para a qual a avalia o pode contribuir de uma forma significativa Este contributo da relev ncia n o se limita concep o de programas num determinado momento no tempo Em muitos contextos de desenvolvimento socioecon mico os programas mant m se activos atrav s de um processo cont nuo de feedback de utilizadores potenciais e reais e de outras partes interessadas durante o qual ali s surge frequentemente um momento expl cito de reprograma o Seleccionar os instrumentos
110. bui o por servi os Actividade dos operadores em termos de atrac o e selec o de participantes kk Taxa de selec o de projectos aceites proporcionalmente aos projectos eleg veis kk Taxa de cobertura penetra o da popula o alvo que participou deveria participar no programa de benefici rios pertencentes aos grupos priorit rios por exemplo desempregados de longa dura o crian as com abandono escolar precoce de benefici rios localizados nas reas mais desfavorecidas kk de benefici rios envolvidos em mercados sectores em r pido desenvolvimento kkk kkk de mulheres entre os benefici rios de PME entre os benefici rios Servi os financiados pelo programa kkk N mero de benefici rios individuais que usufru ram de servi os aconselhamento forma o kkk N mero de unidades econ micas empresas unidades agr colas 133 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA armadores viveiros turismo profissional que usufrufram de servi os aconselhamento forma o k k N mero de horas de forma o aconselhamento concedidas aos benefici rios Resultados Interesse Indicador Satisfa o dos benefici rios Taxa de satisfa o de benefici rios que est o satisfeitos ou altamente satisfeitos Vantagens obtidas pelos benefici rios Velocid
111. ca existia uma base de peritos sobretudo na comunidade acad mica qual se recorria para efeitos de avalia o Por m eram inexistentes as empresas checas especializadas na oferta de avalia o as ofertas das empresas estrangeiras eram demasiado dispendiosas e o conhecimento do ambiente checo era inadequado No dom nio pr tico muitas entidades dom sticas tinham experi ncia na prepara o de planos programas metodologias e redac o de pol ticas para apoiar o desenvolvimento socioecon mico Entre estes encontram se o Plano de Desenvolvimento Nacional e os Programas Operacionais Esta experi ncia pr tica de uma rea de avalia o relacionada revelou se extremamente til enquanto base para o desenvolvimento de capacidades de avalia o Considerando os custos elevados da avalia o a necessidade de um conhecimento do ambiente checo e os requisitos relacionados com o desenvolvimento da capacidade de avalia o na Rep blica Checa ao encomendar avalia es ex ante a avaliadores externos foi dada prefer ncia aos contratantes dom sticos Em termos de avalia o estes contratantes eram novos em campo comparativamente aos seus hom logos estrangeiros cujos servi os n o podiam ser utilizados sobretudo porque eram demasiado dispendiosos mas tamb m porque nem sempre havia um conhecimento suficientemente s lido do contexto checo Em muitos casos as empresas checas contratadas para executar a avalia o recrutavam um pe
112. cep o o enfoque reside na identifica o de interven es adequadas e nos procedimentos de gest o da organiza o com capacidade de os realizar e Na fase de implementa o o enfoque reside nos processos de feedback nos resultados interm dios e em proporcionar feedback capaz de incentivar a aprendizagem e Na fase de conclus es ou resultados o enfoque incide nos efeitos ou nos impactos nos territ rios ou benefici rios alvo em rela o s inten es por exemplo decorrentes dos objectivos bem como nas consequ ncias n o esperadas Formula o identifica o de necessidades e prioridades Em termos gerais o desenvolvimento socioecon mico decorre numa de duas perspectivas uma perspectiva positiva relativamente ao potencial de desenvolvimento e uma perspectiva negativa relacionada com as necessidades e os problemas a ultrapassar Os m todos dever o descrever as circunst ncias de base provavelmente em compara o com as circunst ncias de outros locais de desenvolvimento eleg veis Em termos de medidas concretas necess rio adoptar t cnicas como o benchmarking e a an lise de dados administrativos sobre n veis de rendimento qualifica es participa o no mercado de trabalho e caracter sticas de mercado tais como a propor o de actividades econ micas dedicadas s exporta es externas As an lises econ micas do perfil do territ rio ou regi o podem ser teis mas n o s para identificar os fos
113. cesso de produ o dos relat rios de avalia o Relat rios intercalar e final Em algumas avalia es sobretudo nas mais prolongadas existe um relat rio intercalar bem como um relat rio inicial Isto permite a partilha de primeiras impress es e proporciona uma oportunidade de orientar as fases de avalia o subsequentes sempre que as conclus es iniciais determinarem essa necessidade Este aspecto particularmente importante sempre que se prev que as avalia es proporcionem informa es ou conselhos para a gest o do programa Nos fundos estruturais esta fase intercalar inclui se muitas vezes na avalia o intercalar Destaca se assim a vantagem da liga o das avalia es intercalar e ex post Os processos de avalia o cont nua que registam as altera es ao longo do tempo possuem normalmente uma s rie de relat rios intercalares que proporcionam feedback aos gestores de programa e aos decisores pol ticos As vers es em rascunho dos relat rios finais poder o exercer uma fun o de orienta o semelhante sobretudo se exigidas com a anteced ncia suficiente Por m estas orientam sobretudo o relat rio e n o o programa como seria o caso das avalia es intercalares e cont nuas Dever ainda real ar se que em prol da independ ncia as comiss es de direc o que recebem as vers es preliminares dos relat rios finais dever o concentrar se em quest es de precis o e conformidade com as expectativ
114. ci logos planeadores etc Dever incluir se nestes programas quest es espec ficas importantes para a rea do desenvolvimento socioecon mico por exemplo prioridades transversais tas como a sociedade da informa o a igualdade de oportunidades e temas afins Numa fase em que se procede ao planeamento de programas de educa o e forma o importante reconhecer aspectos profissionais da pr tica da avalia o no dom nio socioecon mico O trabalho desenvolvido num contexto que envolve clientes e condi es contratuais a avalia o do que ser mais vantajoso para os gestores de programa o planeamento e a gest o de equipas e a gest o de diversos interesses muitas vezes em situa o de conflito s o todos aspectos que tendem a surgir com maior regularidade num contexto de avalia o do que no ambiente acad mico S o necess rias capacidades profissionais bem como conhecimentos acad micos E poss vel obter este n vel de integra o em ambientes que implicam abordagens de ensino e aprendizagem menos formais como por exemplo workshops semin rios de forma o sess es pr ticas com profissionais est gios com consultores de avalia o visitas de estudo a entidades administrativas com responsabilidades no desenvolvimento socioecon mico etc Alguns pa ses possuem uma tradi o consolidada em que universidades e institutos independentes est o activamente envolvidos em actividades de investiga o relacionada
115. concep o do programa mais tarde poder ser demasiado tarde para criar estes sistemas Os sistemas de indicadores demasiado elaborados podem ser contraproducentes Embora nos programas multi sectoriais e multi objectivos haja uma tend ncia para medir todos os pormenores esta tend ncia dever ser contrariada para limitar os seus custos e permitir usar os seus resultados Os indicadores s o utilizados muitas vezes para efeitos de gest o e de responsabiliza o Pode ser dif cil reutilizar os indicadores exclusivamente desenvolvidos para estes objectivos como parte de uma avalia o Poder haver demasiada press o para delinear as informa es de formas positivas ou pelo menos no sentido de se certificar que as m s not cias n o passam Por outro lado numa cultura de gest o de desempenho bem desenvolvida estes tipos de indicadores podem ajudar a melhorar os conte dos dos programas bem como a sua gest o 142 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ANEXO A AO GUIA AS PRINCIPAIS ETAPAS DA AVALIA O Avalia o ex ante Avalia o intercalar Avalia o ex post Ciclos de programa o sucessivos Avalia o ex ante A avalia o ex ante decorre no in cio do ciclo antes da adop o de um programa Esta forma de avalia o ajuda a garantir que o programa final t o relevante e coerente quanto poss vel As suas conclus es t m como objectivo serem integradas no programa aquan
116. condicionamentos locais e a garantia de consist ncia A centraliza o num minist rio coordenador poder p r em causa a responsabilidade e o apoio da avalia o noutros locais do governo no sector p blico ou entre outros parceiros Uma publica o recente do Banco Mundial indica que isto ter acontecido em alguns pa ses a centraliza o conduziu reduzida utiliza o da avalia o noutras partes do governo em causa Por outro lado uma descentraliza o exacerbada como por exemplo possuir procedimentos de coordena o diferentes para os diferentes programas pol ticas ou territ rios corre o risco de ser incoerente Limitar as fases iniciais do desenvolvimento da capacidade de avalia o a um minist rio piloto poder levantar um problema comum de se criar enclaves de inova o A localiza o do desenvolvimento da avalia o poderia adaptar se de uma forma demasiado pr xima a um nico contexto pol tico e ser inflex vel e dif cil de transferir Este problema ocorreu em alguns Estados membros da UE que fizeram um grande investimento no desenvolvimento das capacidades de avalia o nos Fundos Estruturais considerando depois dif cil alargar os sistemas e pr ticas de avalia o a outros programas financiados a n vel nacional Registaram se casos de pa ses candidatos ades o que adoptaram os seus sistemas de avalia o aos requisitos do PHARE programas de pr ades o e de transi o constatando a dificuldade d
117. corre de contextos nacionais prov vel a exist ncia de escrut nio externo Isto poder assumir diversas formas e Parlamentos a n vel nacional regional ou local que procuram responsabilizar o governo pela implementa o eficiente e eficaz das decis es tomadas e Tribunais de Contas e outros organismos semelhantes que pretendam alargar o seu papel da verifica o da legalidade e do controlo financeiro de forma a integrar no es de efic cia efici ncia e value for money 85 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Ministros das finan as que pretendam relat rios de departamentos aos quais foram atribu das dota es or amentais e Administra o central que financia as actividades ou o investimento das autoridades sub nacionais sob condi o de que estas implementem a avalia o na sua pr tica e ou se abram a alguma forma de escrut nio externo Se o mpeto da avalia o for integralmente externo ou mesmo transposto externamente por ag ncias ou departamentos governamentais a organismos de escrut nio nacional prov vel que a base de sustenta o da constru o da capacidade de avalia o seja fraca Para que a procura seja levada a s rio dever haver um reconhecimento intrinsecamente interessado de que a avalia o mais do que uma obriga o para com interposta pessoa Este princ pio central em debates sobre a necessidade de for a legal ou regulamentar por detr s da
118. cr ticas que t m por objectivo apoiar a mudan a em muitos casos a partir de uma perspectiva de valor como poder o as pol ticas de igualdade de oportunidades ter uma melhor aceita o por parte das PME Ou quais s o as estrat gias eficazes para reduzir a exclus o social Numa situa o ideal as quest es de avalia o devem possuir as caracter sticas que se seguem Cada quest o deve corresponder a uma necessidade real de informa o compreens o e ou identifica o de uma nova solu o Se uma quest o tiver apenas interesse em termos de conhecimento novo sem constituir um contributo imediato para a discuss o p blica ou para o processo de decis o trata se mais de uma quest o de investiga o cient fica e n o deve ser inclu da numa avalia o Cada quest o deve relacionar se com um impacto um grupo de impactos um resultado ou uma necessidade Ou seja diz respeito pelo menos parcialmente a elementos externos ao programa nomeadamente aos seus benefici rios ou ao seu ambiente econ mico e social Se determinada quest o estiver relacionada apenas com a gest o interna de recursos e de realiza es pode provavelmente ser tratada de forma mais eficiente no decorrer de uma monitoriza o ou auditoria Cada quest o refere se apenas a um crit rio de opini o Esta qualidade de uma quest o de avalia o pode por vezes ser dif cil de alcan ar mas a experi ncia tem vindo a demonstrar que se trata de um fact
119. crescentado da avalia o para os decisores consiste em colocar quest es como Quais os objectivos do exerc cio E este o equil brio que realmente se pretende entre as diferentes metas Poder considerar se este n vel de efici ncia como sendo satisfat rio No entanto criar as condi es perante as quais as quest es de avalia o podem ser respondidas o mais precisamente poss vel continua a ser uma meta importante Neste contexto quanto mais preciso for o programa mais expl citas ser o as potenciais compensa es e sinergias entre as diferentes metas e os diferentes objectivos mais exigente ser a l gica do programa mais fi vel ser a teoria do programa i e as rela es causais entre as ac es projectadas e os resultados esperados mais abrangente ser o sistema de indicadores mais coerente ser a execu o da sequ ncia dos resultados interm dios e do processo de implementa o e mais f cil e mais precisa ser a avalia o Este tipo de situa o ideal proporciona an lises s lidas fi veis e teis relativamente ao sucesso ou ao fracasso do programa Ir aumentar a responsabilidade perante o sistema de governan a e desenvolver uma melhor compreens o das formas como se poder atingir a meta geral do desenvolvimento socioecon mico sustent vel Na perspectiva de um potencial avaliador existem vantagens sempre que e As metas sejam t o claras quanto poss vel e os conceitos referidos s o definidos e co
120. cter sticas mais importantes do desenvolvimento socioecon mico destacam se as seguintes Em geral a maioria dos programas de desenvolvimento socioecon mico Procuram resolver problemas estruturais persistentes e aparentemente insol veis ou necessidades de adapta o fundamentais Muitas vezes as ind strias encontram se em sectores em decl nio as empresas n o s o competitivas a administra o p blica possui capacidades limitadas os grupos sociais agora exclu dos j foram exclu dos h muito tempo os sistemas de educa o e forma o possuem uma liga o fraca s necessidades econ micas e as infra estruturas s o regra geral fracas Estas circunst ncias podem ser comparadas com programas onde as interven es s o menos ambiciosas por exemplo onde implicam a introdu o de um novo sistema de qualifica es ou a actualiza o de um sistema rodovi rio existente S o constitu dos por diversas interven es que t m como objectivo refor ar se mutuamente Por exemplo podem combinar infra estruturas com programas de forma o desenvolvimento de pequenas empresas e programas de transfer ncia de tecnologia num nico territ rio Mesmo um programa sectorial ou tem tico espec fico pode incluir diversas interven es ou medidas Isto decorre de uma perspectiva de que muitos problemas estruturais persistentes s o multi 26 poss vel EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA
121. ctiva descendente anacr nica A participa o o envolvimento activo a responsabilidade e a transpar ncia pressup em que os actores da sociedade civil se encontram eles pr prios empenhados na presta o de servi os e na decis o pol tica p blica e tem responsabilidades de efici ncia e capacidade de resposta partilhadas com os governos O desenvolvimento de capacidades tem que incluir actores da sociedade civil para ser fiel l gica e aos valores da reforma do sector p blico Este processo poder alcan ar se atrav s da consulta p blica procurando contribui es para as prioridades de um plano de avalia o anual e garantindo conforme referido anteriormente uma representa o alargada dos interesses das comiss es directivas e dos grupos consultivos Um exemplo interessante desta situa o na Uni o Europeia reside no caso da regi o basca em Espanha onde se fez uma tentativa deliberada em termos de desenvolvimento da avalia o no caso das avalia es do plano de desenvolvimento rural sustent vel do Pa s Basco no mbito dos Fundos Estruturais da UE para adoptar uma concep o de avalia o de natureza participativa ver exemplo na Caixa Capacidade de avalia o participativa Caixa Capacidade de avalia o participativa A avalia o deve em primeiro lugar constituir uma pr tica til a todos os respons veis pela execu o do programa por m tamb m dever proporcionar a mesma fun o a
122. ctrizes e C digos de tica apresenta uma s ntese de um conjunto de normas e c digos de avalia o actuais correspondentes a uma s rie de categorias A maioria sobretudo tratando se dos princ pios decorrentes das Normas Conjuntas da AEA como por exemplo as sociedades de avalia o alem s DeGEval e as African Evaluation Guidelines est orientada principalmente para a execu o t cnica da avalia o pelos avaliadores referem se por exemplo forma de recolha dos dados e apresenta o das conclus es Uma distin o entre directrizes e normas mais rigorosas e 64 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ambiciosas seria tamb m instrutiva Uma outra categoria representada por exemplo pelas normas ou as orienta es das associa es de avalia o canadianas australasi ticas e em certa medida brit nicas incide nos c digos ticos de boas pr ticas em detrimento da execu o t cnica da avalia o Mas tamb m se centra mais na tica dos avaliadores do que em outros intervenientes Mais recentemente surgiu uma nova categoria de orienta es mais direccionada para as administra es e para os requerentes da avalia o do que para os avaliadores Podemos encontrar exemplos disso na OCDE directrizes PUMA e DAC e mais recentemente na Comiss o Europeia Apesar deste conjunto crescente de directrizes normas e c digos referentes qualidade da avalia o n o existe
123. cultura muitas vezes a base do turismo P los de crescimento Esse crescimento pode necessitar inicialmente de uma concentra o a n vel regional que conduza inicialmente a um aumento das disparidades em vez da sua redu o Contudo presume se que estas disparidades sejam posteriormente atenuadas e que o crescimento alastre Estas diferentes teorias subjacentes s prioridades pol ticas como a coes o a Estrat gia Europeia para o Emprego e o Processo de Lisboa possuem implica es na avalia o como por exemplo Dada a import ncia do investimento p blico adicional na teoria de crescimento neo cl ssica importante determinar se o investimento p blico ser de facto suplementar ou se simplesmente substitui ou destitui outros tipos de investimento Como se ver na previs o da adicionalidade a in rcia e a substitui o constituem um elemento comum na avalia o do desenvolvimento socioecon mico Dada a import ncia de orientar novos recursos para as regi es e reas de investimento onde o potencial superior importante que os avaliadores demonstrem em que medida os recursos s o direccionados e de facto atingem os benefici rios pretendidos A interac o entre os m todos de atribui o de recursos baseados na disparidade tem tica e regional tamb m relevante para os avaliadores de programas socioecon micos uma vez que os crit rios tem ticos podem contrariar a orienta o para as regi es e pa
124. cutada de forma rotineira em cada uma das fases de concep o e de programa o da pol tica do planeamento implementa o e ao acompanhamento 80 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Os resultados da avalia o est o integrados no processo de tomada de decis o relativamente s op es de pol tica melhor forma de proceder sua implementa o e oferta e verifica o do que foi verdadeiramente eficaz Os gestores v em a avalia o como um recurso que ir ajud los a melhorar o seu desempenho e a gerir os seus resultados pedido um fluxo regular de avalia es que abrange um vasto espectro de pol ticas e programas Executa se procedimentos de acompanhamento no sentido de assegurar que as recomenda es da avalia o s o devidamente consideradas e quando vi vel que se adoptam medidas conducentes sua interven o Existem procedimentos que permitem agregar os resultados da avalia o e as li es da tiradas para que os gestores de programa e os decisores pol ticos possuam uma base de sustenta o acess vel e uma mem ria organizacional A n vel inter organizacional Existe uma coordena o baseada numa rede de fun es ou unidades de avalia o dedicadas de modo a assegurar a consist ncia necess ria na forma como as avalia es s o requisitadas geridas e executadas em toda a administra o e em ltima inst ncia em todo o sector p blico Exis
125. da adequadamente caso contr rio dever referir se se isso teria sido poss vel No ltimo caso a an lise comparativa dever poder basear se na recolha de dados entre grupos semelhantes ou de controlo Resultados cred veis A credibilidade dos resultados define se aqui como o facto de eles seguirem logicamente e serem justificados pela an lise de dados e interpreta es com base em hip teses explicativas cuidadosamente apresentadas A validade dos resultados dever ser satisfat ria Isto significa que o equil brio entre a validade interna aus ncia de influ ncias t cnicas na recolha e processamento dos dados e a validade externa representatividade dos resultados dever ser justific vel Tamb m necess rio verificar se os resultados da an lise foram produzidos de forma equilibrada e fidedigna 68 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A necessidade de executar uma an lise aprofundada de uma parte do programa coloca o problema da extrapola o a partir de estudos de caso para o programa como um todo Neste contexto necess rio verificar e seas hip teses de interpreta o e extrapola o s o justific veis e se os limites de validade foram definidos e se a selec o de casos e amostras torna poss vel generalizar as conclus es Conclus es imparciais Entre as conclus es incluem se sugest es e at por vezes recomenda es que constituem mais do que resultados E
126. da avalia o consiste em discutir restri es de ordem pr tica como sejam o tempo e os recursos Este muito provavelmente uma das conclus es essenciais da fase de concep o Para que uma avalia o seja til as decis es que podem tomar se e que podem ser informadas pela avalia o devem ser explicitadas da forma mais precisa poss vel Em muitos casos os requerentes n o pretendendo influenciar demasiado a equipa de avalia o est o relutantes em exprimir antecipadamente as altera es que consideram dever ser introduzidas no programa ou as suas d vidas relativamente efic cia de uma ac o espec fica A inten o louv vel n o revelar nada antecipadamente para ver se a equipa de avalia o chega s mesmas conclus es A experi ncia mostra contudo que pouco prov vel que a avalia o possa documentar as decis es pretendidas caso estas n o sejam do conhecimento pr vio de todos aqueles que v o recolher e analisar os dados no terreno A realidade socioecon mica altamente complexa e a equipa de avalia o defronta se com um elevado n mero de observa es e possibilidades de optimiza o Verificar hip teses que possam dadas as circunst ncias ser de pouco interesse para t cnicos gestores ou outras partes interessadas n o realista Identificar e envolver as partes interessadas Como j foi referido o desenvolvimento socioecon mico inclui diversos tipos diferentes de projectos programas e
127. dade do sistema de monitoriza o e dos dados dispon veis Estes aspectos encontram se inter relacionados na medida em que um fraco desempenho do avaliador pode muito provavelmente ser decorrente da fraca qualidade dos dados e ou das falhas da fase de planeamento e concep o Infelizmente as pessoas envolvidas nestes tr s conjuntos de actividades s o diferentes e muitas vezes os seus objectivos bem como os seus crit rios de qualidade tamb m s o diferentes Por exemplo o sistema de monitoriza o concebido para a gest o do programa no dia a dia n o produz necessariamente os dados necess rios para uma avalia o dos impactos Al m disso estes aspectos podem ser vistos de duas perspectivas diferentes Em primeiro lugar poder considerar se a qualidade como uma caracter stica do processo atrav s do qual se executam as actividades de avalia o A avalia o da qualidade poder incluir a forma como a entidade requerente estrutura a decis o para avan ar para uma avalia o como define o seu mbito e os recursos dispon veis Esta an lise poder permitir compreender se os procedimentos adoptados foram adequados aloca o das diferentes responsabilidades se a contribui o das diversas partes interessadas foi tida em considera o etc O mesmo se aplica execu o da avalia o Poderemos focar nos na forma de gest o da equipa bem como na sua interac o com o requerente e com os avaliadores nas verifica
128. das avalia es e modifiquem os programas e a sua orienta o se necess rio e A cria o de f runs onde os gestores os decisores pol ticos e os gestores de avalia o se re nem para discutir os resultados da avalia o e as li es da retiradas e O alargamento da avalia o ao longo de todo o ciclo pol tico desde a identifica o de op es ao planeamento programa o implementa o e reprograma o consulte a Caixa Planeamento do alargamento e aprofundamento da avalia o na Rom nia Caixa Planeamento do alargamento e aprofundamento da avalia o na Rom nia Na Rom nia durante a prepara o para a ades o os esfor os da avalia o concentraram se inicialmente nas fases de financiamento planeamento e concep o das novas pol ticas e programas europeus Os esfor os centraram se igualmente nos programas PHARE e na prepara o para os Fundos Estruturais No entanto elaboraram se planos para desenvolver uma cultura de avalia o que seria relevante para todos os programas dos Fundos Estruturais financiados pela UE O minist rio incumbido da coordena o central encontrava se paralelamente a organizar um programa de moderniza o e de reforma transversal a todos os minist rios Esta medida estava ainda relacionada com planos para numa fase posterior alargar a avalia o a programas e pol ticas de financiamento nacional Fonte Entrevistas a representantes romenos A cria o de uma cul
129. de um processo global de avalia o Os sistemas de monitoriza o tamb m permitem registar os resultados interm dios Partindo do princ pio que foram criados pormenorizadamente quadros l gicos e teorias de programas na fase de concep o dever existir um modelo que permita descrever as metas que se espera alcan ar nas diferentes fases do programa E poss vel utilizar se indicadores como parte integrante deste processo de acompanhamento Conclus es resultados e impactos Os decisores pol ticos por motivos de responsabiliza o e os principais parceiros devido s suas necessidades e compromissos procuram na avalia o uma forma de fornecer informa es sobre os resultados e os impactos no final do ciclo de um programa Os m todos de avalia o procuram comparar os resultados alcan ados com os resultados esperados e os aspectos finais com a base de partida E poss vel implementar uma vasta gama de t cnicas incluindo e Inqu ritos aos benefici rios alvo e Modelos econom tricos ou estat sticos que demonstrem altera es do desempenho econ mico comparativamente aos resultados previstos talvez comparando tend ncias num contexto de desenvolvimento com outros contextos e utilizando modelos desenvolvidos no in cio de um ciclo de desenvolvimento e e Indicadores baseados em dados contextuais ou administrativos fornecidos por autoridades p blicas Nos programas de desenvolvimento local em particular a dime
130. de uma proposta Caixa Avaliar a qualidade do m todo de abordagem de uma proposta Para cada quest o de avalia o Quest o 1 Quest o 2 A proposta da equipa candidata Inclui a recolha de informa es suficientemente relevantes Baseia se em t cnicas anal ticas precisas Tem capacidade para esclarecer os crit rios de avalia o de forma imparcial Poder conduzir a conclus es cred veis Compreendeu se realmente a import ncia das quest es Acima de tudo dever ter se em conta que os processos de avalia o de qualidade do m todo proposto s o qualitativos e n o quantitativos Estes s o constitu dos por 54 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA avalia es que devem ser realizadas por pessoas experientes Muitos dos itens sujeitos a avalia o tamb m s o qualitativos Por exemplo o tamanho da amostragem de um inqu rito e ou de uma s rie de estudos de caso poder ser menos importante do que a qualidade do processo atrav s do qual se extrai a amostra ou se identifica os estudos de caso Avaliar as qualifica es e experi ncia pr via da equipa As qualifica es e a experi ncia pr via da equipa s o sempre importantes sobretudo se os m todos propostos forem experimentais ou n o cumprirem na ntegra as especifica es dos TdR Poderia argumentar se que a avalia o comum e ou os TdR s o muito precisos em termos daquilo que deve
131. dimensionais e s podem ser tratados se estas diversas dimens es mudarem simultaneamente S o concebidos medida das necessidades dos seus contextos comparativamente a muitas interven es p blicas que s o normalizadas em diversos contextos Por isso os programas de in cio de neg cios no norte da Alemanha ou no sul de Portugal podem ter objectivos semelhantes mas muito provavelmente abordam as suas actividades de formas diferentes reflectindo as circunst ncias a hist ria os recursos e estrat gias nacionais ou regionais mais alargadas nesses diferentes territ rios S o no entanto planeados e financiados ao abrigo de um quadro nacional ou transnacional mais alargado Assim apesar de concebidos medida de contextos espec ficos os programas socioecon micos s o muitas vezes orientados por conceitos estrat gias ou pol ticas mais amplas E isto que acontece com os Fundos Estruturais Europeus delineados por um compromisso geral para com a coes o socioecon mica atrav s da redu o de disparidades de PIB per capita e outras condi es em toda a UE O mesmo acontece com muitos programas socioecon micos nacionais e regionais T m uma abordagem ascendente e descendente S o concebidos para responder as necessidades e prioridades de partes interessadas e actores espec ficos que poder o basear se num territ rio ou sector ou ent o envolvidos em prioridades como a protec o ambiental ou a igualdade de oportunidade
132. diversas escolas p s positivistas A mais radical rejeitando a maioria dos pressupostos do positivismo o construtivismo que nega a possibilidade de conhecimento objectivo O realismo por outro lado concentra se na compreens o dos diferentes contextos e das teorias ou enquadramentos que permitem a explica o e a interpreta o Ou seja o construtivismo preconiza que apenas atrav s das teoriza es do observador que se pode compreender o mundo as constru es existem mas n o podem ser necessariamente medidas os factos s o sempre orientados pelas teorias e os factos e os valores s o interdependentes Nesta tradi o os avaliadores e as partes interessadas encontram se no centro do processo de inqu rito O avaliador possui uma grande probabilidade de assumir um papel reactivo interactivo e orquestrativo reunindo diferentes grupos ou partes interessadas com perspectivas divergentes para explora o m tua e para gerar consenso O avaliador desempenha um papel essencial no estabelecimento de prioridades das perspectivas expressas e na negocia o entre as partes interessadas As partes interessadas constituem muitas vezes a fonte de dados mais importante mas podem executar se e utilizar se outros inqu ritos espec ficos e informa es geradas externamente para informar diferen as de perspectiva marcadas O realismo procura abrir a caixa negra das pol ticas e dos programas no sentido de desvendar os mecanismos respons
133. do documento provis rio e A entidade contratante dever evitar a tenta o de influenciar demasiado a formula o das conclus es e recomenda es antes dever desafiar a equipa de avalia o no sentido de justificar as suas conclus es e recomenda es com base nos dados apresentados e Dever dedicar se tempo suficiente aos coment rios escritos e A entidade de gest o dever assumir a responsabilidade pela circula o do relat rio e pela compila o do feedback Comunicar os resultados da avalia o O trabalho de avalia o n o possui quaisquer consequ ncias se os resultados n o forem transmitidos A principal forma de comunica o constitu da por um relat rio escrito Embora a adequabilidade dos meios de comunica o espec ficos varie existem diversas li es de boas pr ticas e O relat rio escrito dever ser redigido de forma clara e concisa Normalmente rondar as cem p ginas incluindo um sum rio Os dados de avalia o pormenorizados tais como estudos de caso e an lise quantitativa devem ser apresentados em anexos ou separadamente e O relat rio deve incluir um sum rio de 5 10 p ginas escrito num estilo adequado aos decisores pol ticos e As rela es entre as conclus es e a an lise dos dados devem ser claras e A redac o provis ria do relat rio deve indicar a base de sustenta o das observa es efectuadas os dados de avalia o ou uma combina o de dados e de opini
134. do processo de avalia o Muitos dos m todos e t cnicas descritos no Manual T cnico Il podem utilizar se com esta finalidade entrevistas individuais inqu ritos focus grupos etc Do outro lado do espectro as partes interessadas podem estar envolvidas na coordena o do estudo completo incluindo a defini o de prioridades as quest es de avalia o e os crit rios associados Muitas vezes isto implica o 41 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA envolvimento da Comiss o Directiva do projecto de avalia o como se ver na discuss o sobre a gest o do processo de avalia o Na pr tica o envolvimento das partes interessadas na maior parte dos programas fica entre os dois Se a participa o das partes interessadas no Comit Directivo estiver restringida aos parceiros sociais e institucionais oficiais uma forma de fornecer feedback a outros actores que podem proporcionar informa es e opini es largamente praticada atrav s da dissemina o de relat rios reuni es ad hoc e instrumentos semelhantes Teorias de programa e modelos l gicos A fase de consulta das partes interessadas tamb m proporciona uma oportunidade de reconstruir a l gica do programa antes do seu lan amento Como foi referido na Parte do Guia existem teorias diferentes e muitas vezes concorrentes subjacentes s interven es neste campo Numa situa o ideal todos os programas ou pol ticas dev
135. do da tomada de decis es A avalia o ex ante centra se em primeiro lugar numa an lise das for as fraquezas e potencial do Estado Membro regi o ou sector correspondente Proporciona s autoridades em causa uma aprecia o sobre se as quest es de desenvolvimento foram correctamente diagnosticadas se a estrat gia e os objectivos propostos s o relevantes e se existe algum tipo de incoer ncia em rela o s pol ticas e orienta es comunit rias se os impactos esperados s o realistas e sucessivamente Tamb m proporciona os fundamentos necess rios para a monitoriza o e avalia es futuras assegurando a exist ncia de objectivos expl citos e sempre que poss vel quantificados Ajuda a especificar os crit rios de selec o relativos selec o de projectos e a garantir o respeito das prioridades comunit rias Finalmente ajuda a assegurar a transpar ncia das decis es proporcionando uma explica o clara das escolhas adoptadas e dos seus efeitos esperados As avalia es ex ante s o executadas no momento em que as autoridades p blicas se encontram envolvidas em discuss es e negocia es acerca do programa futuro Est o por conseguinte sujeitos a fortes constrangimentos press o dos prazos formaliza o vaga do programa proposto para avalia o emendas a esta proposta no decorrer dos trabalhos exig ncias de confidencialidade etc A equipa de avalia o deve por conseguinte poder intervir de forma fl
136. do estudo ou os casos estudados foram seleccionados em rela o aos crit rios definidos e as principais t cnicas de recolha de dados foram implementadas com instrumentos adequados e de forma a garantir um grau apropriado de fiabilidade e validade dos resultados An lise s lida A an lise quantitativa constitu da pela an lise dos dados em forma de quadros ou em qualquer outra forma de an lise estat stica A an lise qualitativa constitu da pela compara o e interpreta o sistem tica de fontes de informa o em forma de refer ncias cruzadas Em ambos os casos necess rio determinar se os m todos de an lise utilizados s o relevantes em termos de tipo de dados recolhidos e se a an lise foi realizada de acordo com as instru es dos manuais t cnicos correspondentes No caso do desenvolvimento socioecon mico as rela es de causa e efeito s o complexas e por conseguinte constituem um desafio muito espec fico para a avalia o necess rio verificar e se as rela es de causa e efeito subjacentes ao programa s o suficientemente expl citas e relevantes de modo a que se possa focar o objecto da an lise e e em que medida a an lise utiliza t cnicas adequadas Por isso recomenda se a compara o do antes e depois ou sempre que n o existirem grupos semelhantes uma compara o entre os benefici rios e um grupo de controlo No primeiro caso esta compara o do antes e depois dever ser executa
137. dos ciclos de programa o da avalia o Caixa Articula o dos ciclos de programa o da avalia o 144 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Programas 1 2 3 EEE A P Ea rm a A l I 4 l l T I l l I l Resultados l l impactos mm T i f po vi 4 E ZEN Avalia o kn intercalar 1 ex post 1 ex ante 2 intercalar 2 ex ante 3 gt gt Feedback Assim uma avalia o ex ante que prepare a adop o de um futuro programa dever poder tirar partido dos resultados do trabalho anterior i e e a avalia o intercalar do per odo que est a chegar ao fim Esta avalia o dever produzir conclus es durante os primeiros anos de actividade e relativamente aos programas seguintes Poder ser conclu da com um relat rio final sobre os efeitos e os resultados do programa actual com base em informa es do sistema de monitoriza o e a avalia o ex post do per odo anterior ao per odo actual possivelmente complementada por avalia es tem ticas e an lises aprofundadas Estas avalia es ter o possibilitado a observa o e an lise dos impactos das interven es anteriores que s o semelhantes s interven es planeadas e ocorreram num contexto parcialmente semelhante Uma vez que a fun o da avalia o intercalar consiste em verificar se os objectivos ainda s o relevantes e se est o em processo de
138. e agrega o e de s ntese que n o s o at picos O desafio nesta rea como em outras reas tem ticas consiste em procurar formas de acrescentar um grande conjunto de diferentes interven es para informar uma aprecia o coerente do que se alcan ou Isto tentar se ia fazer muitas vezes atrav s de indicadores comp sitos embora sujeitos a cr ticas por misturarem alhos 108 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA com bugalhos Em alternativa os avaliadores poder o segmentar este tema em reas espec ficas de interven o medir os resultados alcan ados nesses segmentos espec ficos e posteriormente retirar conclus es qualitativas relativamente evolu o global Prioridades sectoriais e de pol tica Como referido na sec o do GUIA sobre a avalia o e o desenvolvimento socioecon mico determinadas abordagens da avalia o t m tend ncia para estar associadas a determinadas reas de pol tica O mesmo acontece com a selec o de m todos e t cnicas Isto decorre da natureza da rea de pol tica correspondente No sector agr cola na Europa as avalia es dos impactos dos regimes de subs dio produ o tenderiam a ser uma abordagem mais comum do que a avalia o das interven es de recursos humanos Neste ltimo caso seria necess rio incluir na discuss o formas de medir a acumula o de capital humano e impactos no mercado de trabalho Em certa medida por co
139. e mas estar mais dependente de recursos externos para proceder avalia o ex post dos impactos e dos resultados Elaborar os Termos de Refer ncia Os Termos de Refer ncia TdR constituem o documento que serve de base a uma rela o contratual entre o requerente de uma avalia o e a equipa respons vel pela execu o do trabalho Conceber os Termos de Refer ncia constitui inequivocamente um passo vital sempre que necess rio realizar uma avalia o por consultores externos Este trabalho tamb m importante sempre que parte da avalia o for realizada internamente Os TdR poder o referir se quer s opera es de avalia o como um todo quando atribu das a uma mesma equipa quer a uma parte do trabalho de investiga o previsto no projecto de avalia o an lise detalhada de uma quest o avaliativa O documento dos TdR dever ser breve normalmente entre 5 e 10 p ginas complementado se necess rio por anexos administrativos A caixa Estrutura padr o dos termos de refer ncia apresenta um exemplo do conte do dos TdR sendo depois descrito em pormenor Caixa Estrutura padr o dos termos de refer ncia Enquadramento regulamentar mbito da avalia o Principais utilizadores e partes interessadas no estudo Quest es de avalia o e de pesquisa Conhecimentos dispon veis Principais m todos e t cnicas a utilizar Calendariza o Or amento indicativo Qualifica es neces
140. e por exemplo acompanhar os incidentes cr ticos ao longo do tempo incentivar os residentes locais a manter registos di rios criar estudos de painel inqu ritos longitudinais junto dos mesmos inquiridos que s o revistos ao longo das diferentes fases do processo de desenvolvimento e cr ticas avalia o por parceiros locais ver avalia o local estudos de caso abordagem participativa Uma das caracter sticas do desenvolvimento local e territorial a import ncia que atribuem interac o de muitos factores diferentes que contribuem para o processo de desenvolvimento ou pelo contr rio s o respons veis pelo subdesenvolvimento Por isso necess rio que a avalia o do desenvolvimento local e territorial considere m todos que identifiquem descrevam e avaliem as interac es entre as diferentes interven es e as suas contribui es relativas bem como as suas sinergias a sua matriz de impactos cruzados Embora isto possa realizar se recorrendo a indicadores tamb m necess rio desenvolver modelos que mostrem a rela o entre os diferentes factores e as diferentes interven es 4 4 Op es para diferentes objectivos de avalia o Outro conjunto de considera es necess rias para informar a selec o de m todos e t cnicas constitu do pelos diferentes objectivos de avalia o identificados na sec o do GUIA sobre a avalia o e o desenvolvimento socioecon mico Os objectivos s o 111
141. e as abordagens dever o ser suficientemente flex veis para se adaptarem s especificidades das pol ticas dos programas e dos territ rios 6 A capacidade de avalia o poder come ar por centrar se em programas espec ficos como por exemplo os programas financiados pela UE ou os programas que decorrem numa parte espec fica do governo por exemplo 98 10 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA departamentos do governo central mas deve ser concebida de modo que as actividades de avalia o possam ser alargadas e incluir por exemplo programas com financiamento nacional ou regional bem como actividades do governo central A avalia o dever ser dotada de uma configura o adequada para satisfazer necessidades de gest o e de tomada de decis o reais que ir o melhorar a efic cia e a efici ncia da ac o p blica e que representam vantagens concretas para os cidad os e parceiros Embora a avalia o seja inevitavelmente til para satisfazer necessidades de responsabiliza o externas nunca dever ser vista como uma obriga o principalmente externa A inclus o da sociedade civil e a participa o na avalia o seja por consulta seja por representa o directa ir incentivar diferentes interesses ex representantes da comunidade grupos profissionais e sector privado de procura e utiliza o de avalia o refor ando assim a responsabiliza o aumentando a transpar nci
142. e avalia o Assume se por norma que as orienta es profissionais no campo da avalia o incluem um compromisso entre os avaliadores e os requerentes para que e Se aplique os melhores m todos ou os mais adequados e Se promova o auto desenvolvimento e actualiza o de compet ncias e Se tenha em particular aten o os interesses dos parceiros e dos respons veis pol ticos incluindo os gestores de programa e Se assuma uma postura independente que seja imparcial e verdadeira em rela o s provas recolhidas e Se tenha um comportamento tico para com os diversos intervenientes requerentes fornecedores de informa es e de dados potenciais benefici rios de programas e de pol ticas Existem v rias fontes de independ ncia e capacita o profissionais Estas incluem e Uma cultura de avalia o que reforce os padr es de conduta profissionais e Respeito pela independ ncia por parte dos requerentes de avalia o e C digos de tica em rela o aos quais exista um consenso e que sejam por conseguinte amplamente reconhecidos e divulgados e Institui es independentes onde os avaliadores trabalham que poder o conceder as suas considera es um maior peso permitindo lhes resistir a press es externas e Educa o e forma o de elevada qualidade bem como desenvolvimento profissional e Associa es e sociedades profissionais que integrem todos os que est o envolvidos na comunidade da avalia o onde
143. e da sua vida profissional a trabalhar numa rea especializada e a utilizar um conjunto limitado de m todos e t cnicas Este outro argumento a ter em conta para obter um equil brio de capacidades na equipa de avalia o E importante fazer a distin o entre m todos e t cnicas para recolher dados para analisar dados e para transmitir conclus es da avalia o Esta distin o nem sempre feita em parte porque os que realizam avalia es podem estar mais preocupados com uma fase do processo do que com outra Como em tudo necess rio haver um equil brio N o vale a pena investir em m todos sofisticados de recolha de dados se depois a an lise desses mesmos dados for relativamente simplista Os dados nunca s o puros nem nunca ocorrem naturalmente necessitam de ser produzidos Por isso os avaliadores t m que saber de onde prov m os dados e quais as decis es tomadas no decurso da sua produ o No final a for a dos argumentos e as conclus es que se poder retirar dependem das for as e das caracter sticas dos dados utilizados Um aspecto importante da qualidade da avalia o dos dados decorre da forma de acesso aos dados e da forma de negocia o desse acesso Sobretudo nos programas de desenvolvimento socioecon mico existe uma s rie de problemas que necess rio resolver E necess rio que os diferentes parceiros estejam dispostos a partilhar informa es os grupos exclu dos n o confiam muitas vezes na av
144. e de dados entre muitas outras conven es s o essenciais para fazer avalia es quantitativas genu nas Os limites entre os m todos quantitativos e qualitativos tornam se ainda mais difusos quando se trata de distinguir entre m todos de recolha de dados e m todos de os analisar Os dados recolhidos podem ser qualitativos e g entrevistas inqu ritos e observa es e ainda assim analisados quantitativamente Diversos modelos estat sticos por exemplo utilizam dados de entrevistas ou inqu ritos como recursos E s poss vel compreender na ntegra as an lises quantitativas depois de se fazer interpreta es qualitativas do significado dos resultados A natureza do desenvolvimento socioecon mico num contexto europeu em termos gen ricos ascendente com uma combina o de interven es concebidas medida das necessidades espec ficas dos territ rios ou sectores dif ceis de descrever de acordo com categorias padronizadas Isto coloca limites s avalia es quantitativas que procuram fornecer medidas comparativas simples normalmente indicadores ou contagens de resultados e efeitos A aplica o de indicadores ou de outras medidas padronizadas n o poder proporcionar compara es entre os diversos programas locais e sectoriais Devido natureza altamente contextualizada do desenvolvimento socioecon mico os m todos quantitativos mais eficazes s o t cnicas e modelos estat sticos que reconhecem a import nci
145. e reduzido podem ser executadas por operadores nacionais novos no mercado da avalia o e Garantia de que os requisitos financeiros e de aprovisionamento associados aos concursos de avalia o n o sejam demasiado restritivos s o necess rias respostas em per odos de tempo reduzidos garantias banc rias e diversos anos de contas certificadas por auditorias e Enfase em crit rios t cnicos e de know how na elabora o dos TdR e n o em procedimentos administrativos complexos com os quais os consultores com menos experi ncia podem n o estar familiarizados e Reuni es de trabalho com potenciais consultores para esclarecer d vidas e incentivar a participa o em concursos num ambiente competitivo e Apoio colabora o entre consultores de avalia o relativamente isolados de modo a incentivar o trabalho em equipa a forma o de cons rcios e outras redes e associa es profissionais ver abaixo e Reconhecimento por parte dos requerentes de avalia o de que poder o necessitar de uma gest o mais pr tica dos novos contratantes para acelerar a sua aquisi o de conhecimento t cito que os consultores experientes j possuem Uma comunidade de avalia o profissional do interesse dos que requerem e executam avalia es que trabalhem num enquadramento que incentive elevados padr es de qualidade Isto normalmente o que se compreende quando se descreve a avalia o como uma profiss o As normas profissionais
146. e seguem e Os fundos aplicados no mbito do programa s o significativos comparativamente economia do territ rio em causa e e Oterrit rio deve ser suficientemente grande um pa s ou uma grande regi o ou suficientemente fechado uma ilha para que o funcionamento da sua economia seja considerado isoladamente Sempre que estas condi es est o reunidas a equipa de avalia o pode utilizar diversas t cnicas aplicadas no estudo de economias regionais ou em macroeconomia Entre estas incluem se e A an lise das componentes de varia o an lise shift share que consiste em projectar as tend ncias da economia nacional na economia de uma regi o Esta t cnica utiliza se para fazer a estimativa de uma situa o em que a pol tica n o tenha sido implementada Comparando a com uma situa o de aplica o da pol tica poss vel avaliar o impacto global do programa e O modelo input output e os modelos econom tricos que se aplicam para estimar o desenvolvimento econ mico de uma regi o Em termos gerais estas t cnicas aplicam se numa fase ex ante a dois tipos de pressupostos com sem o programa e permitem obter uma perspectiva global dos prov veis impactos macroecon micos Sempre que uma avalia o se encontra relacionada com interven es com um mbito mais definido poss vel efectuar uma an lise aprofundada das rela es causais entre a interven o e os seus efeitos Neste contexto podem utilizar se divers
147. e transferir modelos capacidades e procedimentos institucionais para os Fundos Estruturais Como se pode ver no caso irland s ver o Manual T cnico Ill e a Caixa Experi ncia das avalia es intercalares na Irlanda torna se de algum modo comum verificar que as unidades de avalia o se restringem a programas financiados pela UE no in cio e s posteriormente alargam a sua aplica o a programas financiados atrav s de institui es nacionais 83 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Experi ncia das avalia es intercalares na Irlanda Entre 1992 e 1995 foram criadas tr s unidades de avalia o na Irlanda com um estatuto independente a Unidade de Avalia o de Programas do FSE a Unidade de Avalia o Industrial e a Unidade de Avalia o Agr cola A maioria dos gestores e alguns dos avaliadores das unidades provinham de departamentos governamentais ou de ag ncias associadas e por conseguinte conheciam bem o sistema Esta proximidade facilitou o acesso informa o e em geral as unidades usufrufram de um acesso livre informa o nos diferentes departamentos Em termos de avalia o interna face avalia o externa poder se dizer que estas unidades se tornaram h bridas procurando integrar elementos dos dois tipos de avalia o As unidades eram sobretudo respons veis por executar actividades de avalia o interna centrada em aspectos de gest o dos programas
148. ectivos associados a diferentes formas de estudo tamb m possuem implica es para os m todos e t cnicas seleccionados e Diferentes programas pol ticas Uma avalia o possui requisitos diferentes numa fase de avalia o inicial ex ante numa fase intercalar ou interm dia durante a implementa o de um programa e numa fase ex post ap s a sua conclus o Cada uma destas fases poder exigir diferentes m todos e t cnicas e Diferentes fases do processo de avalia o Numa mesma avalia o necess rio conceber recolher dados analisar os resultados e elaborar as conclus es Cada uma destas actividades est associada a diferentes m todos e t cnicas N o se pretende com isto dizer que existe uma correla o directa entre estas diferentes circunst ncias e contextos com que os avaliadores ir o debater se Por m existem alguns clusters constitu dos por m todos e t cnicas associados aos contextos referidos acima que podem funcionar como pontos orientadores teis para os avaliadores e para os requerentes de avalia o necess rio no entanto prestar particular aten o aos dois aspectos que se seguem e Todos os m todos e t cnicas possuem for as e fraquezas muitas vezes utilizam se em circunst ncias que est o longe de ser as ideais para a sua aplica o Em qualquer processo de avalia o as t cnicas devem ser seleccionadas e aplicadas de modo a explorar as suas virtudes e a reconhecer as suas limita
149. ecutar e a utilizar a avalia o Em resumo estas regras de ouro foram agregadas da seguinte forma 1 necess rio lembrar que a inten o da avalia o melhorar os programas e n o avaliar por avaliar Sempre que projectar uma avalia o pergunte se de que forma que os resultados ir o melhorar a vida dos cidad os a prosperidade e o bem estar das regi es e a competitividade dos actores econ micos Se n o conseguir dar uma resposta positiva a estas quest es talvez deva observar novamente a necessidade de uma avalia o ou pelo menos observar a forma como foi concebida 2 Alinhar os ciclos temporais da avalia o com os ciclos temporais dos programas e das pol ticas uma meta que vale a pena alcan ar E deste modo que se pode assegurar a m xima contribui o das avalia es E melhor realizar uma avalia o incompleta ou imperfeita dentro do prazo do que atingir uma melhoria de 10 na qualidade da avalia o e falhar o prazo oportuno em que os decisores pol ticos e os gestores de programas podem utilizar os resultados da avalia o 3 As diferentes partes interessadas como por exemplo os decisores pol ticos os profissionais os gestores e os cidad os possuem diferentes expectativas em rela o avalia o Se os interesses de uma das principais partes interessadas forem ignorados isto poder enfraquecer uma avalia o porque esta ter uma fraca concep o e ou os seus resultados n o ter o credibi
150. ela sua experi ncia de avalia o e Normalmente os avaliadores pretendem ser ouvidos e ter influ ncia A actividade de avalia o normalmente sumativa e formativa em simult neo e o equil brio entre estes dois factores poder mudar no decorrer da implementa o do trabalho de avalia o Se os requerentes de um trabalho de avalia o se defrontarem com uma nova escolha pol tica poder o entender conveniente alterar os TdR ou 56 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA inclusivamente pedir as impress es iniciais do avaliador Os resultados precoces da avalia o poder o levantar quest es s rias imprevistas e identificar a necessidade de altera es radicais na interven o proposta ou j em fase de implementa o e A interpreta o dos dados concretos depende do entendimento da forma como o mundo funciona O avaliador ter as suas pr prias perspectivas a priori relativamente s consequ ncias prov veis dos diferentes tipos de interven o com base numa combina o de experi ncia directa forma o disciplinar educativa e valores pessoais Nos relat rios finais e no decorrer da justifica o de um m todo proposto estas perspectivas experi ncias e valores pr existentes devem ser explicitados e O avaliador normalmente remunerado Na maior parte dos casos os requerentes da avalia o s o respons veis parcial ou integralmente pelas interven es Nalguns casos
151. em tica com o intuito de analisar as provas existentes em diversas interven es e que procura compreender quais os tipos de interven o concebidos para dar apoio a PME com xito em determinadas circunst ncias constitui um exemplo de uma posi o explanat ria e Uma avalia o centrada e executada localmente com o objectivo de refor ar e construir o consenso entre actores locais no sentido de apoiar as suas agendas e aumentar as suas capacidades constitui um exemplo de uma posi o de abordagem ascendente ou participativa Uma das principais caracter sticas das interven es de desenvolvimento socioecon mico a forma como integram diferentes programas num territ rio ou sector comum Estes programas resultam de diferentes dom nios ou reas de pol tica a educa o e forma o a investiga o e o desenvolvimento tecnol gico o ambiente o desenvolvimento de infra estruturas etc Este um dos diversos desafios com que se defrontam os avaliadores em programas de desenvolvimento socioecon mico como avaliar conjuntos complexos de interven es inter relacionadas e como avaliar n o s a contribui o de cada um dos elementos mas tamb m as sinergias entre eles i e a sua matriz de impactos cruzados Cada um destes dom nios ou reas de pol tica tem os seus pr prios pressupostos e tradi es de avalia o que podem ser dif ceis de articular Existem obviamente boas raz es para o facto de a avalia o assumi
152. em explicitar claramente o conjunto de pressupostos com base no qual poss vel alcan ar a meta desejada no nosso caso o desenvolvimento socioecon mico atrav s dos recursos atribu dos e das interven es financiadas Estes pressupostos devem ser consistentes entre eles e suportados por elementos concretos Na pr tica isto raro sobretudo no mundo complexo do desenvolvimento socioecon mico Um passo adicional no planeamento de avalia o consiste por isso em reconstruir a teoria do programa subjacente ao objecto de avalia o Trata se sobretudo de avaliar a capacidade do programa para alcan ar os seus objectivos esperados ie o desenvolvimento Uma identifica o inequ voca das raz es pelas quais se deve esperar este facto constitui uma condi o pr via importante para colocar as quest es de avalia o correcias Isto real a a forma como a programa o e a avalia o est o inter relacionadas Os gestores de programas e os decisores t cnicos devem estar conscientes da exist ncia de instrumentos dispon veis que ajudam a reconstruir a cadeia que liga os objectivos gerais do programa os objectivos interm dios espec ficos as actividades implementadas pelos respons veis respectivos e finalmente os resultados e as consequ ncias destas actividades A sec o A Selec o de M todos e T cnicas do GUIA e o Manual T cnico Il discute e d exemplos de diversas ferramentas e t cnicas modelos l gicos enquadra
153. emente muitas autarquias aumentaram o or amento dos servi os que revelaram um desempenho mais reduzido na esperan a de elevarem o n vel de efic cia Nestes casos os recursos financeiros retiravam se por vezes aos servi os mais eficazes A utiliza o dos indicadores provocou assim uma redu o nas diferen as atrav s de uma converg ncia para a m dia Constituiu um efeito adverso porque se esperava que os indicadores provocassem a converg ncia do desempenho para a excel ncia Os efeitos adversos surgem inevitavelmente ap s dois ou tr s anos de funcionamento de um sistema de indicadores independentemente de ter sido bem concebido Estes efeitos indesej veis n o s o normalmente previs veis A poss vel emerg ncia de efeitos adversos n o dever constituir um argumento para recusar a medi o do desempenho E poss vel minimizar os efeitos adversos seja corrigindo os indicadores que est o na origem do problema seja criando um procedimento de interpreta o dos indicadores por pain is de peritos E pois importante observar o aparecimento de efeitos adversos e corrigir o sistema sempre que surgirem estes efeitos Cria o de incentivos de desempenho Existem diversas formas de utilizar os indicadores para incentivar a melhoria do desempenho dos operadores Entre estas incluem se e Os operadores com n veis de desempenho reduzidos recebem apoio t cnico espec fico para os ajudar a progredir Se a situa o n
154. en o as normas profissionais e ticas em vigor tanto entre os avaliadores como entre os parceiros 57 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Interac o entre o requerente os parceiros e o avaliador Existe uma s rie de raz es pelas quais a gest o de uma avalia o requer uma interac o cont nua e significativa entre todos os parceiros envolvidos incluindo a pr pria equipa de avalia o Recomenda se uma primeira fase durante a qual a equipa testa e aperfei oa a justifica o declarada da avalia o atrav s da consulta a partes potencialmente interessadas principalmente em todos os exerc cios de avalia o intercalares ex post ou exerc cios de avalia o tem tica Uma fase inicial ou de arranque destina se normalmente a especificar os m todos e o plano de trabalho de forma mais pormenorizada do que era poss vel na fase de proposta A equipa de avalia o s poder normalmente propor uma abordagem operacional detalhada ap s um primeiro estudo do campo e uma an lise dos dados dispon veis Esta parte fundamental de concep o da avalia o dever ser partilhada e acordada com o requerente e as restantes partes interessadas envolvidas A Caixa Avalia o ex ante na Rep blica Checa constitui um exemplo Caixa Avalia o ex ante na Rep blica Checa No mbito da avalia o ex ante do Plano de Desenvolvimento Nacional na Rep blica Checa constatou se que
155. entam a coes o social Exclus o social Centra se nas disparidades entre as pessoas e as comunidades no acesso a oportunidades de servi os emprego e infra estruturas A exclus o social influencia o desenvolvimento econ mico equilibrado e sustent vel o desenvolvimento do emprego e dos recursos humanos a actualiza o e a protec o ambiental e a promo o da igualdade de oportunidades Uma melhor coes o social e econ mica tornou se um dos objectivos priorit rios da UE e constitui um conceito abrangente relacionado com a pol tica de emprego protec o social habita o educa o sa de informa o e comunica es mobilidade seguran a e justi a cultura e lazer Transfer ncia tecnol gica O pressuposto da transfer ncia tecnol gica poss vel atrav s do acesso aos bens p blicos permite s regi es menos desenvolvidas recuperar a capacidade de absorver e imitar luz destas teorias mais importante do que ser o inovador inicial Uma fonte importante de ideias em termos estruturais e regionais decorre do que muitas vezes se designa por nova geografia econ mica Existem duas teorias que s o normalmente associadas a esta escola Vantagem comparativa local Pressup e que as regi es possuem potencial de crescimento ao explorar a sua vantagem comparativa distintiva Isto pode assumir diversas formas em termos negociais bens e servi os e em termos de bens posicionais n o transaccion veis paisagem e
156. ente uma quest o de decidir se necess rio avaliar uma medida em particular um programa em geral ou uma pol tica mais alargada Tamb m se levantam quest es de agrega o e desagrega o decidir se devem dividir se as iniciativas complexas nas suas partes e avaliar o sucesso de cada uma delas ou se prefer vel procurar definir uma medida agregada que poder n o ser muito significativa na pr tica Por 30 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA exemplo poder existir uma nica medida de desenvolvimento sustent vel optimizado Na pr tica prov vel que a escolha da unidade de an lise se caracterize por um compromisso e avalia es de negocia es entre a aprendizagem de aspectos mais espec ficos das interven es e a possibilidade de proporcionar perspectivas pertinentes para o panorama geral e Alguns dos programas e pol ticas utilizados no desenvolvimento socioecon mico podem ser avaliados de acordo com diferentes l gicas e sistemas de valor Em termos globais por exemplo deveria considerar se as disparidades econ micas ao n vel local regional nacional ou europeu Em rela o a prioridades horizontais espec ficas como por exemplo a igualdade de oportunidades dever o estas ser julgadas no mbito de um mercado de trabalho de refer ncia ou tendo em conta crit rios como o equil brio da vida familiar profissional ou as contribui es destas pol ticas para a solidariedade s
157. entes p blicos que possam encomendar as avalia es e que necessitem de uma descri o dos recursos dispon veis incluindo as op es em termos de abordagem e m todos de trabalho e Gestores de programas que pretendam integrar os resultados da avalia o na forma como gerem e planeiam os seus programas e Parceiros de programas cada vez mais envolvidos como parte interessada nas avalia es consultados sobre as agendas de avalia o e que se espera venham a utilizar os resultados da avalia o e Avaliadores muitos dos quais possuem conhecimentos detalhados de reas de avalia o espec ficas mas que possam tirar partido da descri o de um conjunto mais alargado de m todos e abordagens de suporte ao trabalho colaborativo com outros membros de uma equipa de avalia o Embora o GUIA esteja mais orientado para utilizadores e o p blico em geral do que para especialistas tamb m s o abordadas necessidades mais especializadas com uma s rie de Manuais T cnicos de suporte ao conte do do GUIA Porqu outro guia de avalia o EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Actualmente s o muitos os materiais de base textos e guias de avalia o dispon veis medida que as tarefas e a pr tica de avalia o foram se alargando foi se publicando uma biblioteca consider vel de estudos sobre a avalia o Embora esta literatura seja sobretudo proveniente da Am rica do Norte o desenvolvimen
158. eri o da capacidade de avalia o semelhante pelos avaliadores sempre que iniciarem o seu trabalho De certa forma isto poder sobrepor se ou repetir o que j ocorreu na fase de planeamento do programa Contudo neste caso o objectivo diferente destinando se a assegurar a produ o de um plano de avalia o vi vel e a clarificar a forma de utiliza o das conclus es de avalia o Este processo consistente com uma expectativa geral dos avaliadores no sentido de que deveriam preocupar se com a forma como os seus resultados conclus es e recomenda es se utilizam desde a fase mais inicial poss vel do seu trabalho As partes interessadas os gestores de programas e os decisores pol ticos os potenciais benefici rios e os parceiros devem envolver se na avalia o desde as fases iniciais sempre que poss vel Isto ir garantir que o plano e a concep o da avalia o incluem as suas prioridades e ordens de trabalhos Tamb m ir garantir um sentimento de propriedade em rela o s conclus es da avalia o e uma maior probabilidade portanto de as consideraram teis e utilizarem essas conclus es Por outro lado poder ser necess rio ser se selectivo numa fase em que finalmente se determina a ordem de trabalhos da avalia o de modo a manter o enfoque e a garantir que poss vel gerir a avalia o As prioridades mais abrangentes dever o ser formuladas pelas inten es e pela l gica do programa permanecendo
159. eriormente no t tulo sobre dados quantitativos Em termos qualitativos os dados podem ser comparados e eventualmente analisados de acordo com uma s rie de dimens es Sempre que estiver em estudo uma popula o de fen menos relacionados a categoriza o ou classifica o numa escala o mais adequado Por exemplo uma s rie de pessoas uma amostra de empresas ou uma amostra de agregados familiares Por m sempre que estiverem em estudo exemplos nicos ou individuais como sejam uma comunidade rural ou um sector de produ o em particular poder o ocorrer mais compara es ao longo do tempo antes e ap s as medidas ou em rela o a n veis de desempenho ou crit rios externos O objectivo ltimo deste tipo de perspectivas consiste em baralhar a distin o entre dados quantitativos qualitativos A distin o mais forte em termos de inten o anal tica As opini es e as perspectivas das pessoas podem ser nicas e qualitativas ou tipificadas no mbito de uma classifica o mais vasta mas os dados brutos permanecem os mesmos E uma quest o de apurar a forma de processamento dos dados em bruto para efeitos de an lise Os dados quantitativos ser o mais utilizados quando for necess rio 120 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA proceder a uma agrega o e generaliza o os dados qualitativos ser o utilizados sempre que for necess rio descrever a complexidade e os pormenores de um
160. es da avalia o A aplica o de um sistema de acompanhamento sistem tico das conclus es do trabalho de avalia o Este processo chama a aten o para a utiliza o ou n o das conclus es e reduz a tend ncia para uma re aprendizagem da mesma li o A aplica o do processo n o comum Os processos institucionais de realiza o da avalia o N o existem modelos perfeitos E muito prov vel que as conclus es da avalia o sejam teis para os decisores para todos os intervenientes no planeamento e concep o das interven es e para todos aqueles que se encontram envolvidos operacionalmente Perante uma tend ncia de separa o organizativa da avalia o as fun es operacionais e pol ticas podem levar a uma maior independ ncia e qualidade do trabalho de avalia o As preocupa es pol ticas e operacionais podem por exemplo dar demasiado destaque quilo que pode alcan ar se atrav s da avalia o Por outro lado a separa o poder ser menos til se conduzir a um enfoque exagerado na gest o da avalia o e limitar a utiliza o da avalia o Os processos institucionais discutem me mais pormenorizadamente na sec o do GUIA correspondente Capacita o Institucional e Administrativa para a Avalia o J4 poss vel concluir que a cria o de uma cultura de avalia o essencial para a aprendizagem organizativa Entre os principais componentes de uma cultura de avalia o que orienta a
161. es no seio da rede e Uma unidade central localizada num determinado departamento desde o in cio concentrando a o seu trabalho Por m uma vez estabelecida a unidade pretende se disseminar o projecto piloto e mostrar os seus pr prios resultados concretos Esta dissemina o poder ser formalizada quando adoptada a decis o a n vel central de que no futuro todos os minist rios ter o unidades de avalia o Em alternativa poder escolher se um processo mais informal difundir as boas pr ticas e incentivar a sua replica o Ver o exemplo apresentado na Caixa Coordena o da avalia o na Rom nia Caixa Coordena o da avalia o na Rom nia A Unidade de Avalia o da Comiss o de Gest o da Rom nia possui uma s rie de tarefas essenciais incluindo e Presidir e assegurar o Secretariado de um Grupo de Trabalho de Avalia o transversal da Comiss o de Gest o e Coordenar e gerir a avalia o num quadro nacional NRSF e Supervisionar a prepara o de uma estrat gia de avalia o nacional capacidade Fonte Entrevistas com as autoridades romenas Existem vantagens e riscos associados a estas duas abordagens necess rio que uma fun o ou unidade de avalia o central consiga proporcionar um equil brio perfeito entre a garantia de evolu o de um sistema coerente e uma gest o que n o seja demasiado centralizada E necess rio manter um equil brio entre a adapta o dos sistemas aos
162. eta es e hip teses adequadas 8 Conclus es imparciais As conclus es s o justificadas e n o tendenciosas 9 Relat rio claro O relat rio descreve o contexto e o objectivo bem como a organiza o e os resultados do programa de tal modo que a informa o fornecida facilmente compreendida 10 Recomenda es teis O relat rio faz recomenda es teis para as partes interessadas e suficientemente detalhadas para serem implementadas Considerando as restri es contextuais relativamente avalia o o relat rio de avalia o considerado 2 3 A utiliza o da avalia o e a gest o de conhecimento Ver tamb m Gest o de Conhecimento http www undp ora gef 05 index html Executar um trabalho de avalia o e garantir a sua qualidade s compensa se conduzir a uma utiliza o das conclus es da avalia o e contribuir para um melhor conhecimento entre os que t m maior capacidade para tirar partido dele 73 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Existem pelo menos tr s formas diferentes de utiliza o do trabalho de avalia o As utiliza es individuais podem realizar se directamente ou de forma instrumental assumindo se os resultados as conclus es e as recomenda es Na pr tica este processo pouco habitual e sempre que implementado tem tend ncia para decorrer apenas parcialmente Mais frequentemente u
163. eus agentes Existe uma maior sensibiliza o para as actividades de avalia o e os seus resultados bem como uma dissemina o dos relat rios e das conclus es de tal forma que a avalia o vir a ser utilizada de forma regular pelos diversos parceiros em contextos parlamentares na sociedade civil etc apoiando a transpar ncia e a responsabiliza o democr tica 3 4 O desenvolvimento da capacidade de avalia o Em alguns pa ses as capacidades de avalia o evoluem organicamente por um longo per odo de tempo E este o caso de pa ses como o Reino Unido a Holanda e a Su cia Na maior parte dos pa ses no entanto necess ria a adop o de planos e estrat gias 81 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA para que a capacidade de avalia o se torne til num intervalo de tempo bem definido este o caso da maior parte dos novos Estados membros da Uni o Europeia Sempre que se come a a desenvolver a capacidade da avalia o de forma estrat gica necess rio tomar diversas decis es de base Entre as mais importantes incluem se e Arquitectura localizar e estruturar as fun es de avalia o e a sua coordena o e Refor o da procura de avalia o assegurar a exist ncia de uma procura de avalia o eficaz e devidamente gerida e Refor o da presta o de avalia o garantir a implementa o das capacidades e compet ncias com um apoio organizacional adequado
164. ex vel e r pida bem como aplicar t cnicas de an lise de necessidades e simula o de efeitos socioecon micos Avalia o intercalar A avalia o intercalar executada no decorrer da segunda fase do ciclo de programa o durante a implementa o das interven es Dependendo das conclus es da avalia o intercalar poder fazer se ajustes durante o ciclo Esta avalia o analisa criticamente os primeiros efeitos e resultados das interven es Tamb m avalia a gest o financeira do programa e a qualidade da monitoriza o e da sua implementa o Mostra se e de que modo as inten es originais foram executadas e quando aplic vel verifica se foram efectuadas altera es de facto aos objectivos iniciais Comparativamente situa o inicial real a as altera es ao contexto econ mico e social geral e avalia se os objectivos continuam a ser relevantes A avalia o intercalar tamb m analisa se a evolu o das prioridades e pol ticas da Comunidade coloca problemas de coer ncia e ajuda a preparar ajustes e a fazer a reprograma o e a argument los de forma transparente A avalia o intercalar baseia se em grande parte nas informa es retiradas do sistema de monitoriza o mas tamb m na avalia o ex ante e nas informa es sobre o contexto 143 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e sobre a sua evolu o Geralmente consiste em exerc cios breves e exaustivos
165. exto mais alargado posiciona a selec o de m todos e t cnicas neste contexto mais alargado Caixa Selec o de m todos num contexto mais alargado Prioridades Estrat gicas e de E audi Pol tica Caracter sticas Prioridades dos do Programa Parceiros Fase no e nec p Fase da Programa aara o Avalia o Modo de Inqu rito li Disponibilidade e bina de Dados l Avalia o Selec o de M todos Selec o de T cnicas Esta sec o do GUIA permite preencher muitas das c lulas da caixa apresentada acima uma vez que este o nico modo de garantir que a selec o de m todos e t cnicas tenha em considera o todos os factores importantes Os m todos decorrem da escolha de uma concep o de avalia o ou modo de inqu rito estes devem responder a determinados tipos de quest es e s devem ser seleccionados se puderem responder a estas quest es Este aspecto poder parecer bvio mas um dos problemas da pr tica da avalia o reside na tend ncia que os avaliadores e os requerentes t m para privilegiar determinados m todos independentemente de estes serem adequados em termos de proporcionarem respostas s quest es colocadas Referiu se na sec o do GUIA sobre a capacita o para a avalia o que uma boa 101 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA pr tica os requerentes da avalia o proporcionarem espa o aos avaliadores para que estes p
166. formalmente parte dos processos de tomada de decis o das administra es nacionais Building Effective Evaluation Capacity Boyle and Lemaire Eds Transaction Publishers 93 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA 1999 prov vel que a introdu o da avalia o se concentre em primeiro lugar numa parte do governo num nico minist rio ou num conjunto de programas O alargamento da avalia o permite estender as pr ticas de avalia o a outros minist rios ou programas e a outras institui es Em sistemas de avalia o desenvolvidos a avalia o utilizada por parlamentos e organismos de auditoria nacionais bem como por minist rios decisores pol ticos e gestores de programa Uma maior integra o da avalia o nos processos de decis o pol tica e na gest o de programas poder envolver e O planeamento conjunto de pol ticas e de avalia es com base em ciclos plurianuais de consulta e de estabelecimento de prioridades por parte de ag ncias p blicas levando inclus o da avalia o em planos plurianuais ou departamentais e O acompanhamento sistem tico dos resultados e recomenda es da avalia o tornando se dif cil para os gestores interm dios ignorar as avalia es em rela o as quais ter o de pelo menos justificar por que motivo est o ou n o a seguir as recomenda es e Incentivos positivos para que os gestores fa am uso das conclus es
167. formas Permite Ajudar os gestores de programas e outras partes interessadas a compreender melhor o que est a acontecer permitindo lhes optimizar a orienta o a gest o e a implementa o dos seus programas Garantir aos decisores pol ticos que os recursos econ micos est o a ser despendidos nos fins para que foram propostos muito antes da conclus o do programa Proporcionar informa es contextuais que permitam aos avaliadores das pol ticas respons veis pela avalia o da efic cia dos instrumentos pol ticos interpretar de forma mais geral as suas conclus es Valor acrescentado da Comunidade Embora o GUIA n o esteja exclusivamente relacionado com a avalia o das interven es dos Fundos Estruturais europeus muitos dos conselhos s o pertinentes para estes programas Geralmente a avalia o destes programas considera especificamente o valor acrescentado das interven es para a Comunidade N o existe uma forma correcta ou errada de identificar e medir o valor acrescentado da Comunidade e a sua considera o ter que ser concebida medida do contexto e das interven es espec ficas Existem no entanto alguns pontos de partida Em primeiro lugar dever considerar se os princ pios subjacentes interven o Entre estes incluem se os princ pios de parceria subsidiariedade e adicionalidade O processo de planeamento e de implementa o envolveu os parceiros adequados As principais decis es foram to
168. futura i e como melhorar os TdR no futuro A elabora o de TdR deficientes ou incompletos poder levar os avaliadores a distribuir os seus recursos de forma inadequada Tamb m poder conduzir a outros efeitos negativos Uma consequ ncia comum acontece quando as omiss es nos TdR se tornam vis veis no decorrer de uma avalia o e o requerente procura redireccionar a avalia o a meio do processo ou solicitar resultados adicionais que n o foram previamente planeados ou or amentados Processo s lido de selec o de propostas O processo de selec o de propostas foi devidamente orientado Esta constitui tanto uma quest o processual como uma quest o substancial Processualmente dever fazer se uma avalia o da aplica o sistem tica de crit rios relevantes no momento da selec o Substantivamente interessa saber se a decis o tomada foi a correcta Por exemplo tomou se uma decis o para favorecer uma empresa conhecida mas o processo de afecta o de pessoal chave foi inadequado O m todo foi pouco especificado Ou ser que se favoreceu um m todo experimental de alto risco que poderia justificar problemas ocorridos posteriormente Di logo e feedback eficaz ao longo do processo de avalia o Manter um registo da avalia o dar feedback e organizar um f rum para que as partes interessadas possam aprender atrav s do di logo mutuamente e com os avaliadores constitui um pr requisito bem conhecido da qualidade
169. ganiza es com as melhores taxas de coloca o O objectivo deste mecanismo beneficiar as organiza es que est o mais sintonizadas com as necessidades das empresas e que possuem os melhores impactos utilidade de um sistema de indicadores A Caixa Um sistema de indicadores apresentada a seguir resume as principais caracter sticas descritas acima Apresenta um conjunto de pressupostos constitu dos muitas vezes implicitamente ap s a cria o de um sistema de indicadores com a inten o de melhorar o desempenho de um programa A apresenta o real a o facto de a constru o de um sistema de indicadores n o ser efectivamente um primeiro passo Decorrem pelo menos seis outros passos antes de o sistema ser realmente til Caixa Um sistema de indicadores 139 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA O sistema de indicadores constru do Produz as informa es f eseja das Refecte os objectivos e torna os mais leg veis A informa o correctamente interpretada v As informa es s o disseminadas junto do p blico A informa o utilizada enquanto incentivo para um melhor desempenho S o giados os efeitos adver sos Osgestores tomam 7 decis es melhores O desempenho do Ospr prios cidad os programa aumenta 1 podem ter uma opini o LE 4 9 Regras de ouro 1 A
170. gera o de trabalhos de avalia o de qualidade incluem se um pressuposto de que as interven es devem ser concebidas e implementadas de forma a facilitar a posterior avalia o uma aprecia o de um conjunto de objectivos da avalia o um reconhecimento dos limites da avalia o o mbito da interpreta o e a necessidade 74 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA de combinar dados quantitativos e qualitativos e um reconhecimento das necessidades de diferentes utilizadores da avalia o 2 4 Regras de ouro 1 A avalia o da compet ncia dever ser convocada numa fase inicial pelos planeadores do programa Em concreto isto poder ajudar a clarificar os objectivos e a l gica de interven o dos programas Esta actividade apesar de utilizar as compet ncias da avalia o est bastante afastada das actividades de avalia o dominantes E necess rio que ocorra na fase de concep o e planeamento do programa Por m poder facilitar e tornar mais bem sucedida a avalia o posterior Para esse efeito poder implementar se diversas t cnicas tais como aferi o da capacidade de avalia o e prepara o de uma an lise da teoria do programa Geralmente para assegurar a independ ncia da avalia o principal o ideal seria utilizar neste trabalho de planeamento do programa equipas de avalia o ou recursos diferentes dos da avalia o principal Dever executar se uma af
171. geralmente na utiliza o de indicadores gen ricos ou no agrupamento de indicadores por categoria de benefici rios Um sistema mais leve limita a recolha e a circula o de informa es aos elementos mais essenciais a n vel de programa Por outro lado isto significa que a evolu o e os resultados de cada uma das ac es n o ser o monitorizados de forma detalhada e centralizada Tamb m significa que o sistema se centra menos nas decis es a adoptar pelos operadores e mais nas decis es a adoptar pelas autoridades de gest o do programa Indicadores nucleares Na fase de prepara o para a actualiza o da Avalia o Intercalar de 2005 a Comiss o Europeia introduziu o conceito de indicadores nucleares na documenta o de orienta o correspondente A ideia consistia em identificar alguns indicadores b sicos sobretudo resultados que poderiam ser agregados e comparados com precau o entre diversas regi es e Estados membros Os indicadores nucleares foram revistos e desenvolvidos nas orienta es da Comiss o sobre os indicadores no per odo entre 2007 e 2018 Incentivando a utiliza o de indicadores nucleares o documento de orienta o tamb m destaca a necessidade de as autoridades respons veis desenvolverem indicadores de resultados de melhor qualidade em conformidade com os objectivos do programa e com o enfoque estrat gico mais forte do novo per odo de programa o Procurar indicadores de impacto gen rico
172. hevaluationsociety net e Sociedade Francesa de Avalia o http nww sfe asso fr e Sociedade Alem de Avalia o http www degeval de e Sociedade Italiana de Avalia o http www valutazioneitaliana it e Sociedade Espanhola de Avalia o http Avww idr es idr in index intro html e Sociedade de Avalia o do Reino Unido http Anww evaluation org uk 3 8 A institucionaliza o da avalia o Grande parte deste GUIA dedica se inicia o da capacidade de avalia o apontando os motivos da sua import ncia para o desenvolvimento socioecon mico e para uma adequada gest o p blica A institucionaliza o est mais relacionada com a integra o e o aprofundamento da avalia o nas institui es do sector p blico Isto implica normalmente e alargar a avalia o no sector p blico e e obter uma maior integra o dos processos de avalia o e ampliar a sua aplica o nos processos de decis o pol tica e na gest o de programas ver a Caixa Defini o de institucionaliza o Caixa Defini o de institucionaliza o A institucionaliza o da avalia o vista em muitos casos quer como estando assente em regras quer como um processo Segundo Boyle Lemaire e Rist com base nas regras nos procedimentos e nas disposi es organizacionais que as avalia es de pol ticas p blicas s o produzidas e com base no processo de legitima o que as pr ticas da avalia o se tornam
173. ia es qualitativas da medida em que as estrat gias tem ticas se adequam aos crit rios de pol tica tamb m s o teis incluindo por exemplo inqu ritos junto dos benefici rios entrevistas aos parceiros e estudos de caso das altera es verificadas Alguns exemplos destas prioridades tem ticas no contexto dos Fundos Estruturais incluem Igualdade de oportunidades Este aspecto por norma visto em termos de igualdade de oportunidades entre homens e mulheres mas aplicado cada vez mais a outras reas de descrimina o ou desigualdade como sejam as que afectam pessoas portadoras de defici ncia ou outros grupos minorit rios incluindo comunidades tnicas e refugiados Os m todos adequados a esta rea tem tica s o geralmente diferentes a um n vel macro e a um n vel micro Consideremos por exemplo as circunst ncias de emprego das mulheres A um n vel macro as t cnicas quantitativas utilizam se normalmente para registar a evolu o das mulheres no mercado de trabalho por exemplo em termos de participa o percentagem de mulheres activas no mercado de trabalho n veis salariais n veis de desemprego etc Estes m todos poder o incluir inqu ritos postais a an lise de dados administrativos realizada por centros de emprego e a rean lise de dados dispon veis atrav s de inqu ritos junto dos empregadores sobre as taxas salariais E necess rio no entanto abordar determinados aspectos da experi ncia no
174. ia o era inevit vel para obter fundos comunit rios Regulamentos aplic veis entre 2000 2006 Com a terceira gera o de Fundos Estruturais a avalia o da sua efic cia ser refor ada As ac es comunit rias ser o daqui em diante objecto de avalia o ex ante pelos pr prios Estados membros de avalia o interm dia pelos gestores dos programas e de avalia o ex post por iniciativa da Comiss o para avaliar os seus efeitos face aos objectivos os seus objectivos particulares e os seus objectivos de coes o e para analisar o seu impacto sobre problemas estruturais espec ficos A efic cia dos Fundos dever medir se em tr s n veis o efeito geral sobre os objectivos do Artigo 130 A do Tratado particularmente o refor o da coes o econ mica e social o efeito sobre as prioridades propostas nos Planos e fornecidas a cada QCA e os efeitos sobre as prioridades espec ficas seleccionadas para as interven es Poder o ser lan adas avalia es complementares sempre que aplic vel de natureza tem tica com o objectivo de identificar experi ncias que s o transfer veis de um programa para outro Para aumentar a transpar ncia dever colocar se disposi o do p blico relat rios de avalia o mais extensivamente do que no passado Regulamentos aplic veis no per odo entre 2007 2013 Em termos de avalia o a nova organiza o de Fundos Estruturais para o per odo entre 2007 2013 representa uma muda
175. ial onde diferentes sectores pol ticos e fontes de financiamento se integram numa tentativa de optimizar o desenvolvimento socioecon mico de uma rea torna a identifica o das partes interessadas e o seu envolvimento no processo de formula o de programas uma abordagem ascendente um passo essencial de todo o exerc cio Mesmo em programas e projectos mais simples existe sempre uma s rie de actores cujos interesses s o afectados positiva ou negativamente pela actividade planeada ou implementada Em todo o caso no entanto identificar os actores potencialmente afectados em avalia es ex ante os actores realmente afectados em exerc cios intercalares ou ex post e envolvendo os de algum modo no processo de avalia o essencial para ter em conta pontos de vista efeitos indirectos ou consequ ncias n o esperadas que podem ser muito significativas para descrever os efeitos compreender as cadeias de causalidade e analisar os resultados A nfase na identifica o das partes interessadas foi at ao momento aplicada em termos dos seus benef cios pr ticos para melhor compreender o programa para colocar quest es mais pertinentes e para obter informa o de elevada qualidade Contudo existe uma filosofia adicional para proceder identifica o e envolvimento das partes interessadas Os avaliadores juntamente com os gestores do programa t m interesse em assegurar as quest es de propriedade dos resultados de ava
176. iamento em rela o a exemplos espec ficos e analisar as ideias ou teorias centrais subjacentes a estas diferentes tradi es de avalia o Pode fazer se a distin o entre quatro conjuntos principais de ideias e Metodologia e investiga o cient fica Muitos dos m todos e ideias de base utilizados na avalia o s o partilhados com a comunidade de investiga o mais alargada sobretudo nas ci ncias sociais e econ micas Considerando a l gica que integra o teste de hip teses a observa o a recolha de dados e a an lise de dados procura se explica es para os fen menos que se observam Em programas socioecon micos complexos as explica es raramente s o lineares Muito do trabalho dos avaliadores consiste em tentativas de aplicar os recursos conhecidos aos resultados observados e vice versa e Teoria econ mica e escolhas p blicas A reflex o econ mica est presente na avalia o a diversos n veis Incluem se neste caso no es de efici ncia e atribui o de recursos para enfrentar a escassez incentivos e comportamentos institucionais sobretudo microecon micos e estudos macroecon micos que procuram identificar efeitos agregados por exemplo em termos de PIB ou competitividade das interven es pol ticas e Teoria da organiza o e gest o Esta come ou por estar inclu da mais significativamente na avalia o nos ltimos anos medida que o enfoque passou de forma crescente para a implementa o e ap
177. ica tanto til como normal que os avaliadores possuam alguns conhecimentos das teorias relevantes para os temas e reas de pol tica em causa 1 4 AVALIA O COMO FORMA DE REFOR AR O DESENVOLVIMENTO SOCIOECONOMICO A forma como avaliamos depende do que se vai avaliar O contexto das pol ticas da UE Fundamentos te ricos do desenvolvimento socioecon mico Valor acrescentado da comunidade Fazer o melhor num mundo imperfeito A forma como avaliamos depende do que se vai avaliar Este n o o local para analisar em toda a sua abrang ncia a natureza do desenvolvimento socioecon mico Contudo s o necess rias algumas notas introdut rias porque a forma como se avalia est intimamente relacionada com o objecto de avalia o Os avaliadores referem a necessidade de clareza relativamente ao objecto de avalia o e o desenvolvimento socioecon mico constitui um objecto muito particular Obviamente o desenvolvimento socioecon mico integra diversas interven es poss veis incluindo infra estruturas educa o e forma o ci ncia e tecnologia preven o criminal e programas activos do mercado de trabalho em diversas combina es Por m poss vel fazer algumas generaliza es e identific las logo partida prepara os alicerces para pensar e executar avalia es de desenvolvimento socioecon mico O mais importante ainda que bvio que o desenvolvimento socioecon mico se refere ao desenvolvimento As
178. icas nacionais e regionais EUROSTAT e outras bases de dados com manuten o a cargo da DG REGIO e Relat rios anuais de autoridades de desenvolvimento ou federa es de empresas e e Registos administrativos de ag ncias de emprego p blicas reembolso de impostos dados de qualifica es e forma o A exist ncia de todos estes dados exige um esfor o consider vel devendo os avaliadores saber de que forma se reuniu os dados secund rios antes de os poderem utilizar Quais foram as amostras utilizadas Como se definiram os resultados Qual o prazo abrangido Qual a unidade de an lise Ser apenas colocando estas quest es que se pode fazer uma aprecia o da viabilidade da sua utiliza o numa avalia o em particular Normalmente por exemplo a unidade geogr fica relativamente qual se re ne dados administrativos ou estat sticos n o se adequa aos limites do programa de desenvolvimento socioecon mico em quest o mais f cil para um avaliador compreender a origem dos dados prim rios Entre estes poder o incluir se e Monitoriza o dos dados produzidos por um programa como parte das suas obriga es de relat rio perante as autoridades de financiamento e Dados de utiliza o gerados pela utiliza o ou reten o de servi os fundos ou instala es proporcionados por um programa e e Dados recolhidos de centros de desenvolvimento e benefici rios alvo pelos avaliadores atrav s de inqu ritos junto de benefici
179. idade abrangente refere se aprendizagem e nesta perspectiva a avalia o possui como finalidade aprender atrav s de um processo sistem tico a melhorar a concep o implementa o e execu o de pol ticas e programas p blicos Esta nfase na aprendizagem real a uma das principais caracter sticas da avalia o que consistente com as necessidades dos programas de desenvolvimento socioecon mico Como j se constatou nestes programas o conhecimento imperfeito e existe uma necessidade constante de aprender sobre diferentes contextos e sobre a melhor forma de combinar medidas diferentes mais eficientemente Um enfoque na aprendizagem tamb m real a um aspecto importante de uma cultura de avalia o um elemento essencial da capacidade de avalia o discutido mais detalhadamente de seguida E geralmente aceite que para que a avalia o seja devidamente integrada na elabora o de pol ticas necess rio haver uma cultura que 18 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA suporta a aprendizagem e que seja capaz de apreender li es positivas para o futuro tanto a partir de problemas ou mesmo insucessos como de casos de sucesso 1 3 OS M TODOS E RESPECTIVAS ORIGENS e Os eixos metodol gicos e Tr s tradi es filos ficas e Quatro tipos de teoria relevantes para a avalia o A sec o do GUIA intitulado A Selec o de M todos e T cnicas incide nos m todos e ferramenta
180. ido um determinado per odo de tempo Obter acesso a grupos desfavorecidos Todos os que se designam muitas vezes de grupos de dif cil acesso s o por norma essenciais numa avalia o Estes grupos podem desconfiar da ac o oficial e esta situa o pode transpor se para uma avalia o Entre as formas existentes para ultrapassar estes problemas encontram se e Estabelecer a liga o com guardi es da comunidade no sentido de poderem agir como advogados locais de uma avalia o e Produzir instrumentos em diferentes l nguas sempre que se utilizar l nguas minorit rias ou em diversos formatos como Braille ou udio para as pessoas portadoras de defici ncia e Empregar elementos locais pertencentes a estes grupos para recolher informa es gerir focus groups e explicar a avalia o nas suas pr prias redes 118 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Benefici rios e parceiros que pretendem retirar benef cios de uma avalia o Uma das principais raz es da falta de coopera o ou de uma coopera o menos entusi stica a percep o de que os que s o solicitados para cooperar n o ir o retirar quaisquer benef cios deste exerc cio Este facto pode ser ultrapassado ou pelo menos minimizado se e Existir um envolvimento adequado dos benefici rios e dos parceiros nas fases de concep o da avalia o global e na concep o e implementa o piloto de instrumentos em pa
181. idos atrav s de disposi es em parceria avalia o formativa ou intercalar e e avaliar quest es relacionadas com a relev ncia os resultados e a efic cia em termos de custos Desenvolveram se diversas ferramentas de diagn stico para avaliar o grau de institucionaliza o da avalia o e para proporcionar orienta es relativamente forma de se refor ar este aspecto Na Litu nia por exemplo as tipologias da OCDE foram adaptadas de modo a avaliar o grau de institucionaliza o da avalia o Entre os factores considerados por Nakrosis e por membros do Public Policy and Management Institute Instituto de Gest o e Pol ticas P blicas encontram se Aplica o atempada da avalia o em todas as fases da implementa o da pol tica 96 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Grau de centraliza o e Localiza o interna ou externa dos avaliadores e Integra o com o processo de tomada de decis o Esta aplica o de padr es permite a identifica o de for as e fraquezas e um plano de optimiza o O Banco Mundial publicou um quadro de refer ncia para a avalia o de op es sob diferentes condi es Baseia se no reconhecimento de que em qualquer contexto das administra es nacionais as condi es de partida para o desenvolvimento das capacidades de avalia o ir o revelar varia es significativas Nalguns casos a procura sobretudo a procura interna
182. il incluindo consultores universidades comunidades e o sector privado O conte do desta sec o do GUIA baseia se num dos Manuais T cnicos com ele relacionado que inclui estudos de caso da forma como diversos pa ses t m vindo a refor ar ao longo dos anos as suas capacidades de avalia o 3 2 A capacidade de avalia o como parte da capacidade institucional O GUIA j apresentou um panorama ambicioso do que se espera de uma avalia o da forma como dever ser organizada e do que se espera serem os seus resultados A sec o anterior por exemplo oferecia aos sectores da administra o que encomendam ou utilizam as avalia es algumas orienta es sobre como conceber e implementar um processo de avalia o Partiu se do pressuposto de que estariam dispon veis as correspondentes capacidades institucionais e administrativas Tendo em conta os principais objectivos deste Guia define se a capacidade institucional de uma forma abrangente incluindo disposi es legais por exemplo as que regulam o emprego e o aprovisionamento pressupostos normativos por exemplo em termos de igualdade de oportunidades ou concorr ncia aberta governan a por exemplo responsabiliza o democr tica e partilha de responsabilidade entre os diversos n veis administrativos e a sociedade civil bem como disposi es administrativas e organizativas por exemplo a forma como os minist rios est o estruturados e a respectiva distribui o de
183. iliza o implementa o produ o de conhecimento capacita o institucional e Os m todos e t cnicas aplic veis s diferentes fases dos programas e das pol ticas desde a formula o de pol ticas at aos impactos e Os m todos e t cnicas aplicados nas diferentes fases do processo de avalia o o Manual T cnico Il apresenta os m todos e t cnicas desta forma A recolha e a utiliza o de dados com diferentes caracter sticas na avalia o Cria o de indicadores e sistemas de indicadores Utiliza o de indicadores para melhorar a gest o Regras de ouro 4 2 Factores que influenciam a selec o de m todos e t cnicas e A selec o de m todos e t cnicas 100 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Quantitativo vs qualitativo uma falsa quest o e A recolha e utiliza o de dados e de provas A selec o de m todos e t cnicas Como j se real ou nas sec es do GUIA sobre a concep o e a implementa o da avalia o e a capacita o institucional para a avalia o necess rio tomar uma s rie de decis es na concep o da avalia o E necess rio consultar os parceiros mapear a l gica do programa identificar as quest es da avalia o seleccionar crit rios e analisar a viabilidade da proposta A selec o de m todos e t cnicas consiste por conseguinte numa componente essencial em todo este processo A Caixa A selec o de m todos num cont
184. importantes a dissemina o de conclus es e considera o de recomenda es de forma mais r pida e informal e uma maior probabilidade de as recomenda es e conclus es conduzirem ac o e posterior acompanhamento Regra geral a Comiss o Directiva dever incluir quatro tipos de pessoas A gest o estrat gica do programa ou interven o ou seja as entidades financiadoras a vertente pol tica da administra o e sempre que adequado os diferentes n veis de governo Uma abordagem multi n vel com vista a envolver a gest o estrat gica na Comiss o Directiva muito importante uma vez que os programas s o cada vez mais complexos considerando aspectos com diferentes dimens es territoriais A gest o operacional do programa isto todos aqueles cujas actividades s o avaliadas pelo estudo embora para garantir a imparcialidade da Comiss o Directiva a gest o operacional seja normalmente assegurada por gestores s nior um pouco afastados da primeira linha de gest o quotidiana Por m constitui uma tarefa importante dos membros da Comiss o garantir que nenhum membro incluindo os gestores operacionais procura influenciar os resultados da avalia o ou ignorar quaisquer elementos de prova Os parceiros sociais isto os representantes dos principais interesses afectados pelo programa Entre estes poder o incluir se n o s as associa es comerciais os sindicatos e as associa es de interesse ec
185. in cio ir ajudar as partes interessadas a desenvolver uma linguagem comum enquanto a identifica o de alguns resultados interm dios tang veis e mensur veis ir ajudar a fazer o enquadramento geral do processo de implementa o Isto tamb m permite definir marcos que assegurem o registo do processo ao longo da vida do programa Mas mesmo depois de a concep o dos documentos estar conclu da o contributo da avalia o para a programa o pode ser muito importante Nesta fase a avalia o pode ajudar a esclarecer um conjunto confuso de metas e ou uma lista gen rica de poss veis projectos A utiliza o dos designados modelos l gicos ajuda a fazer um registo dos interesses e das prioridades pol ticas das diferentes partes interessadas Se estes modelos forem desenvolvidos em interac o com os avaliadores e com os decisores pol ticos podem inclusivamente conduzir reestrutura o do programa Esta provavelmente a contribui o mais importante da avalia o para a fase de programa o importante chamar a aten o para uma verdade essencial e frequentemente esquecida o valor da avalia o para os decisores pol ticos reside tanto em colocar as quest es correctas como em fornecer respostas precisas Este assunto debatido em seguida com maior detalhe Uma metodologia s lida e dados fi veis s o muito importantes e comportam boas respostas a quest es de avalia o Por m em ltima inst ncia o valor a
186. inadequados Estas 46 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA raz es poder o levar decis o de n o proceder avalia o de a adiar ou de colocar quest es mais realistas Como indica a Caixa Seleccionar quest es de avalia o priorit rias apresentada anteriormente considera es importantes na fase da viabilidade da avalia o constituem as probabilidades de se obter e utilizar os resultados da avalia o Quest es relevantes incluem por conseguinte e As conclus es ser o utilizadas Por quem Para que finalidade decidir discutir informar Quando e politicamente adequado efectuar uma avalia o deste tipo nesta altura espec fica ou neste contexto em particular Existe uma situa o de conflito que possa comprometer o sucesso do exerc cio e Existe algum estudo recente que j tenha respondido maioria das quest es e As prioridades de avalia o s o suficientemente est veis O Manual T cnico Il apresenta um cap tulo dedicado aos requisitos formais de uma an lise da viabilidade da avalia o que ter certamente informa es adicionais teis para os interessados neste tema Seleccionar os m todos de avalia o atribuir responsabilidades e distribuir os recursos Seleccionar os m todos As quest es de avalia o podem ser respondidas de diversas formas A selec o dos m todos por conseguinte crucial para tirar o m ximo partido dos recursos de ava
187. independentes Existe naturalmente uma grande diversidade de outros recursos altamente especializados orientados para reas da avalia o muito restritas a um n vel particularmente exigente Este GUIA destina se a preencher uma lacuna no mercado no sentido de alargar a compreens o de boas pr ticas e de m todos s lidos e apresent los de uma forma acess vel Actualiza o da Colec o MEANS Uma das principais fontes para a elabora o deste guia gen rico foi evidentemente a Colec o MEANS um vasto e imprescind vel conjunto de manuais publicados pela Comiss o Europeia em 1999 A Colec o MEANS tornou se um texto padr o para os avaliadores europeus e alcan ou uma reputa o justific vel gra as ao seu mbito ambi o e alcance De facto uma grande parte desta colec o resistiu passagem do tempo e foi integrado neste GUIA Contudo as condi es tamb m evolu ram desde 1999 Especificamente e Houve grandes transforma es na rea da pr tica de avalia o com a emerg ncia de novas ferramentas de avalia o um papel mais proeminente da componente te rica novas abordagens participativas e qualitativas particularmente relevantes para o desenvolvimento socioecon mico e uma nfase particular na institucionaliza o da avalia o e A pol tica europeia evoluiu sobretudo na sequ ncia da Agenda de Lisboa a partir da qual se discutiu o papel do capital social e humano a import ncia da sociedade da
188. interven es podem inclusivamente ter um efeito perverso conduzindo a interven o numa direc o diametralmente oposta pretendida Por exemplo uma iniciativa destinada a promover o turismo pode caso a base da procura tur stica na regi o n o seja correctamente compreendida minar a ind stria tur stica existente sem criar um mercado adicional Para captar os resultados das interven es socioecon micas essencial incluir as consequ ncias inesperadas e os efeitos perversos Esta tamb m uma das formas em que a avalia o pode contribuir para aprender com a experi ncia sobretudo ao fornecer indica es sobre a execu o das interven es sobre como conceber melhor os programas e como evitar desaproveitamentos nas interven es e efeitos perversos Os n veis de avalia o pol ticas temas programas e projectos 11 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A quest o das interliga es entre pol ticas programas e interven es ou projectos espec ficos essencial na avalia o Muitos programas bons nem sempre representam uma boa pol tica documentos de programa o s lidos n o representam necessariamente bons projectos e bons projectos nem sempre asseguram o sucesso de um programa Contudo a avalia o do programa representa necessariamente um recurso ou contributo para a avalia o de pol ticas tal como a avalia o de projectos representa um recurso ou contributo p
189. iplinares Existe um discurso nacional sobre a avalia o Existem organiza es profissionais de avaliadores Existe um determinado grau de institucionaliza o da avalia o a n vel do governo Existe um determinado grau de institucionaliza o no Parlamento Existem diversas institui es de avaliadores a efectuar avalia es em cada um dos dom nios de pol tica 8 Existe uma fun o de avalia o na institui o de auditoria nacional 9 Existe um equil brio entre as avalia es de resultados e as avalia es de realiza es e de processos NEON NOD International Atlas of Evaluation Editors Furubo Rist and Sandahl Transaction Publishers 2002 O Canad largamente reconhecido como um pa s bem sucedido na institucionaliza o da avalia o nos seus sistemas de gest o p blica e de decis o pol tica a n vel federal i e nacional A responsabilidade geral de coordena o da avalia o reside no Treasury Board Conselho do Tesouro P blico do Canad que dever indicar as orienta es centrais para a avalia o do Governo do Canad e para o efeito dever ver a liga o http www tbs sct gc ca pubs pol degpubs TBM 161 ep pei e aspf Toc505657338 1 Criar um Centro de Excel ncia no sentido de proporcionar lideran a orienta es e apoio pr tica da avalia o 2 Utilizar os resultados da avalia o sempre que necess rio na tomada de decis es do centro 3 Definir normas
190. ipos de avalia o Trata se da distin o entre a avalia o que se destina a avaliar medir e demonstrar a efic cia de pol ticas e programas e a avalia o que procura aconselhar desenvolver e optimizar as pol ticas e os programas Muitas das avalia es pedidas ao abrigo dos Fundos Estruturais Europeus correspondem primeira categoria embora tamb m exista uma expectativa de que as avalia es ex ante e intercalares contribuam para melhorias no programa No entanto muitas das avalia es em contextos de desenvolvimento socioecon mico consistem integralmente em aconselhamento desenvolvimento e melhoria Este GUIA procura adoptar as duas abordagens alargadas apesar de terem diferentes implica es Por exemplo as avalia es externas que procuram avaliar e medir a efic cia est o mais direccionadas para as estruturas de avalia o incluindo a sua independ ncia Por outro lado as avalia es internas est o menos preocupadas com a independ ncia do que em proporcionar informa es e um aconselhamento atempado capazes de consolidar os programas a partir do seu interior E necess rio que os utilizadores deste GUIA tenham esta distin o em mente Quatro tipos de teoria relevantes para a avalia o J observ mos que a teoria se tornou cada vez mais importante na avalia o contempor nea Em parte isto deve se perda de f no positivismo puro onde se assumia que as observa es conduziam ao conhecimento e
191. ir programas de educa o e forma o necess rios para desenvolver conhecimentos e capacidades de avalia o Em segundo lugar muitos dos recursos humanos a trabalhar em institui es e estabelecimentos de ensino j possuem muitos dos conhecimentos subjacentes investiga o social e econ mica recolha e an lise de dados e prepara o de relat rios necess rios para os avaliadores No entanto as perspectivas de ensino e de investiga o ter o de ser complementadas por outros m todos teorias e pr ticas para se tornarem teis avalia o O estabelecimento de rela es de colabora o com universidades e outras institui es de ensino poder contribuir para estimular a oferta de programas de forma o formais educa o cont nua e a cria o de um ou mais centros de excel ncia relacionados com a investiga o por exemplo em gest o do sector p blico ou em desenvolvimento regional e com capacidade para disseminar os conhecimentos Os cursos podem ser orientados para diferentes grupos alvo Por exemplo estudantes graduados em ci ncias sociais e econ micas especialistas em estudos regionais e pol ticos e profissionais do desenvolvimento socioecon mico Dependendo do grupo alvo poder ser mais adequado criar novos cursos especializados ou internalizar os m dulos de avalia o por exemplo integrar as teorias e m todos de avalia o socioecon mica nos curricula formais de economistas engenheiros so
192. isla o ou iniciativas O sistema de indicadores e o ciclo de programas Os indicadores utilizam se no in cio de um ciclo de programas para ajudar a definir territ rios eleg veis para apoio a analisar o contexto regional a diagnosticar problemas econ micos e sociais que necess rio solucionar e a avaliar as necessidades que o programa ter que satisfazer Nesta fase os indicadores como a taxa de desemprego ou as disparidades entre infra estruturas desempenham muitas vezes um papel decisivo A escolha e valida o da estrat gia de interven o integram a segunda fase do ciclo de programa o Nesta fase os respons veis pela concep o do programa devem definir os objectivos de forma precisa e quantific los Os indicadores dependem da quantifica o e tamb m s o muito teis para esclarecer os objectivos A Caixa A defini o de indicadores permite esclarecer os objectivos apresenta um exemplo Caixa A defini o de indicadores permite esclarecer os objectivos Entre as estrat gias utilizadas para sustentar a competitividade das PMES inclui se em muitos casos a presta o de servi os de consultoria Os objectivos destas medidas poder o ser expressos em termos do n mero de empresas que usufruem de determinados tipos de servi os de consultoria O indicador permite n o s quantificar o objectivo mas tamb m definir o servi o esperado Por exemplo a defini o de recep o de um servi o por uma PME p
193. ispon veis quando se planear o programa seguinte isto pelo menos um ano antes do final do programa Por m para que os impactos tenham sido produzidos a avalia o ex post teria que ser realizada dois a tr s anos ap s o final do per odo de programa o Enquanto se aguarda que este per odo passe pedido muitas vezes um relat rio provis rio pouco antes do final do ciclo de programa o em rela o com a avalia o ex ante do ciclo seguinte A an lise de impacto constitui sempre um exerc cio a larga escala se executada sistematicamente As avalia es ex post t m tend ncia por isso para envolver inqu ritos de campo e decorrer por longos per odos entre doze e dezoito meses Ciclos de programa o sucessivos A sequ ncia de tr s fases de avalia o em ciclos sucessivos cria sobreposi es que necess rio organizar da forma mais eficiente poss vel para evitar a sua duplica o O princ pio b sico consiste na combina o do trabalho de avalia o durante um programa com a utiliza o de conclus es de avalia o executadas sobre o programa anterior A continuidade relativa das ac es programadas de um per odo para o seguinte permite utilizar conclus es recentes para considerar a relev ncia das novas medidas propostas O esquema que se segue mostra que poder o decorrer interac es ao n vel das avalia es executadas nas diferentes fases dos diversos programas sucessivos Caixa Articula o
194. ista dos benefici rios directos ou indirectos e Sustentabilidade Os resultados e os impactos incluindo as mudan as institucionais s o duradouros Os impactos ir o continuar se n o houver mais financiamento p blico Estes crit rios n o s o exclusivos Outros crit rios como a equidade a coer ncia a sinergia e a reprodutibilidade tamb m se utilizam frequentemente em avalia o Al m disso os crit rios de avalia o e as quest es de avalia o da decorrentes podem estar relacionados com as consequ ncias negativas e positivas esperadas ou n o esperadas das interven es Embora os programas possuam a sua pr pria l gica e os seus pr prios objectivos est o integrados em pol ticas que definem uma finalidade mais abrangente Podem em ltima inst ncia ser vistos como contribuindo para a inclus o social ou para uma maior competitividade econ mica apesar de o seu objectivo imediato ser a forma o profissional ou a cria o de novas empresas A avalia o tamb m n o pode ser limitada aos objectivos e s prioridades do programa Os avaliadores tamb m devem considerar seriamente os poss veis resultados que n o faziam parte da arquitectura do programa Entre os resultados de um programa que v o al m dos objectivos formais que os avaliadores dever o considerar incluem se 45 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e As experi ncias e as prioridades dos benefici rios que po
195. ituir uma responsabilidade do governo central e em programas de desenvolvimento locais a responsabilidade poder ser dos actores locais Do mesmo modo os m todos de aplica o s o diversos por vezes poder pedir se a pessoas chave para preencher uma grelha e de seguida agreg la por m noutras alturas poder realizar se um workshop ou uma confer ncia para garantir conclus es mais equilibradas Controlo de qualidade crit rios de conte do para os resultados finais Satisfa o de necessidades A avalia o respondeu s quest es inclu das nos TdR de forma satisfat ria e o relat rio proporciona informa es adicionais possivelmente essenciais para os requerentes Em concreto e Os objectivos do programa evolu ram e foram interpretados e analisados e O relat rio abrange o programa completo Em caso negativo a selec o justific vel em termos de prioridades definidas pelos requerentes nos TdR e posteriormente acompanhadas A avalia o transmite feedback til aos gestores do programa e Inclui li es sobre xitos e falhas que poder o ser interessantes para outros programas regi es ou pa ses No caso das avalia es ex post importante verificar se a avalia o consegue atingir um compromisso razo vel entre dois requisitos contradit rios obter informa es rapidamente para introduzir no novo ciclo do programa e n o tirar conclus es precipitadas antes de se observarem todos os impactos
196. ivo como 72 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA foi ao encontro de cada um dos crit rios especificados de seguida 1 Satisfa o de necessidades O relat rio de avalia o responde adequadamente aos pedidos de informa o formulados pelos requerentes e corresponde aos termos de refer ncia 2 Ambito relevante A filosofia do programa as suas realiza es resultados impactos interac es com outras pol ticas e efeitos inesperados foram cuidadosamente estudados 3 Processo aberto As partes interessadas tanto os parceiros do programa como as outras partes interessadas estiveram envolvidas na concep o da avalia o e na discuss o dos resultados de modo a ter em conta as suas diferentes perspectivas 4 Concep o justific vel A concep o da avalia o foi apropriada e adequada de modo a obter resultados no mbito dos seus limites de validade necess rios para responder s principais quest es da avalia o 5 Dados fidedignos Os dados prim rios e secund rios recolhidos ou seleccionados s o adequados e fi veis em termos da utiliza o esperada 6 An lise consolidada Os dados quantitativos e qualitativos foram analisados de acordo com conven es estabelecidas e de forma adequada a responder correctamente s quest es de avalia o 7 Resultados cred veis Os resultados s o l gicos e justificados pela an lise dos dados e por interpr
197. junto de indicadores padr o para diversos programas No mbito da sua responsabilidade de monitoriza o e de avalia o de sete programas co financiados pela Uni o Europeia a Scottish Executive desenvolveu uma s rie de indicadores padr o Alguns destes indicadores est o relacionados com o contexto taxa de emprego e de desemprego produtividade m o de obra rendimento m dio etc Alguns indicadores de efeitos e de resultados tamb m foram normalizados como ilustram os exemplos que se seguem aplic veis s medidas de infra estruturas das empresas Constru o de novos edif cios metros quadrados Edif cios renovados metros quadrados Desenvolvimento de novos s tios hectares Melhoria dos locais existentes hectares Acessos rodovi rios novos melhorados quil metros rea de superf cie em que foram constru das ou melhoradas as rodovias de acesso hectares e Taxa de ocupa o dos novos edif cios percentagem ap s um ano percentagem ap s tr s anos e N mero de centros de forma o criados n mero Para obter um elevado n vel de comparabilidade os gestores de programa escoceses organizaram diversas reuni es nas quais participaram representantes de todos os programas A normaliza o foi o resultado de um longo processo de discuss o colectiva Comunica o p blica Os sistemas de indicadores devem ser teis tomada de decis o Tamb m s o importantes para efeitos de responsabiliza
198. l tica europeia mais alargada que define cada vez mais o conte do dos programas importante referir que as principais orienta es pol ticas est o a delinear as abordagens ao desenvolvimento socioecon mico na Europa uma vez que estas possuem implica es para o enfoque global de uma avalia o e de crit rios espec ficos que poderiam ser aplicados para julgar o xito dos programas Entre os principais factores de delinea o da pol tica dos programas de desenvolvimento socioecon mico encontram se e A pol tica de coes o da Comunidade que tem como objectivo reduzir as disparidades normalmente medida em termos de PIB per capita entre as regi es mais desenvolvidas e as menos desenvolvidas A pol tica tem como objectivo apoiar estas ac es com maior probabilidade de contribuir para a redu o das disparidades econ micas sociais e territoriais na Uni o CEC 2001 F lo atrav s da concentra o de recursos em reas em situa o de atraso Estes fundos s o atribu dos na sua maioria a regi es onde o PIB per capita inferior a 75 da m dia da UE A pol tica n o procura solucionar directamente estas disparidades antes concentra se em interven es que afectam os factores determinantes assumidos da infra estrutura f sica de crescimento econ mico incluindo os transportes os recursos humanos e a capacidade para gerir investimentos e servi os sobretudo atrav s de um sector de PME vi vel uma gest o p b
199. la elabora o dos termos de refer ncia e e todos os que funcionam como elo de liga o entre a administra o e a equipa de avalia o Os respons veis devem possuir um estatuto suficientemente s nior que lhes d acesso directo aos decisores pol ticos a todos os n veis de modo a partilhar com eles os conhecimentos que se espera que o estudo produza Tamb m dever o estar em conson ncia relativamente aos problemas te ricos e metodol gicos da investiga o avaliativa Isto essencial para formar os seus pr prios julgamentos relativamente fiabilidade do produto bem como para colocar as quest es correctas equipa de avalia o 48 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Assim numa situa o ideal os respons veis pela avalia o devem possuir alguma experi ncia em trabalho pr tico de avalia o e t la realizado no passado c Quanto investir dif cil decidir quanto investir numa avalia o numa base a priori Em termos gen ricos no caso de programas de relativa rotina os or amentos necess rios para a avalia o constituem uma pequena parte dos recursos do programa normalmente menos de 1 Por outro lado no caso de interven es que s o relativamente inovadoras e de piloto na mat ria e onde a avalia o possui um forte aspecto de aprendizagem e participa o os custos podem atingir uma propor o relativamente elevada do programa at 10 Existem casos
200. lia o Talvez apenas deste modo que todos aqueles que est o envolvidos levar o a s rio as avalia es ir o agir com base nas recomenda es ou definir o as suas pr prias prioridades de ac o A primeira quest o que se deve colocar depois de o mbito da avalia o ser definido portanto bastante linear Quem s o as pessoas os grupos ou as organiza es interessados na avalia o da interven o e ou interessados no processo ou nos resultados da pr pria avalia o Esta fase no discurso de avalia o conhecida como identifica o das partes interessadas Numa situa o ideal este exerc cio deveria decorrer antes de definir os detalhes da avalia o a realizar tendo em conta os seus pontos de vista poss vel decidir quais s o as quest es mais relevantes a responder Mas mesmo no caso de isso n o ser poss vel por exemplo por n o ser poss vel identificar todas as partes interessadas numa fase inicial desej vel haver algum tipo de envolvimento A segunda quest o que se deveria colocar como que poss vel assegurar que as partes interessadas fornecem os recursos e informa es adequados para a concep o gest o ou conte do do exerc cio de avalia o O envolvimento das partes interessadas pode ocorrer a n veis muito diferentes No m nimo os avaliadores devem certificar se de que as partes interessadas proporcionam elementos dados informa es opini es etc como parte
201. lia o dispon veis Esta normalmente uma escolha operacional que s pode ser finalizada quando o campo de an lise for reconstru do e houver informa es suficientes relativamente disponibilidade dos dados Contudo durante a fase de planeamento necess rio proceder a algumas escolhas A selec o dos m todos influenciada e pela fiabilidade da teoria do programa pelo n vel de consenso entre os parceiros e as partes interessadas pelo tipo de programa a avaliar pela fase no ciclo do programa no qual decorre a avalia o pelo tema ou sector de interven o do programa A selec o do GUIA relativamente selec o dos m todos e t cnicas proporciona informa es adicionais e orienta es relativamente selec o dos m todos O Manual T cnico Il descreve m todos e t cnicas espec ficas e o Gloss rio proporciona uma defini o dos termos utilizados com menor frequ ncia O papel da orienta o O facto de a avalia o nos Fundos Estruturais ser muitas vezes obrigat ria e de tanto a Comiss o Europeia como as autoridades nacionais respons veis pelos fundos distribu rem orienta es acerca de quando e como executar os exerc cios de avalia o constitui uma moeda de duas faces Por um lado existe uma tend ncia para deixar cair em rotina a decis o de se proceder avalia o A avalia o torna se uma obriga o no sentido de apenas dar cumprimento s exig ncias das institui es acima referid
202. lica o de programas e pol ticas Esta linha de reflex o destaca aspectos de concep o organizacional coordena o inter organizacional por exemplo atrav s de parcerias e cons rcios bem como aspectos de motiva o propriedade e participa o e Ci ncias pol ticas e da administra o medida que os programas p blicos e os seus gestores procuram resolver quest es relacionadas com o processo pol tico e com a reforma do sector p blico baseiam se cada vez mais em ideias sobre governan a responsabilidade e cidadania Muitas das ideias centrais da reforma do sector p blico e da nova gest o p blica tais como a transpar ncia e a responsabilidade foram influenciadas por estas perspectivas Al m disso nas 16 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA perspectivas pol ticas contempor neas destaca se a import ncia da constru o de consensos como forma de refor ar a legitimidade da ac o pol tica Consequentemente os avaliadores s o igualmente diversos Poder o ser economistas preocupados com a efici ncia e com os custos consultores de gest o interessados no funcionamento est vel da sua organiza o analistas pol ticos empenhados na reforma e transpar ncia do sector p blico ou cientistas de v rias reas disciplinares preocupados em estabelecer a verdade gerar novos conhecimentos e confirmar rejeitar hip teses Um dos principais problemas enfrentados actualmente pelos ge
203. lica eficaz e atrav s das tecnologias da informa o e A estrat gia de Lisboa e o consequente processo decorrente da sess o especial do Conselho Europeu em Mar o de 2000 acordou toda uma nova estrat gia global com a meta a 10 anos de tornar a Uni o a economia de conhecimento mais competitiva e din mica do mundo em 2010 com capacidade para sustentar o crescimento econ mico com mais e melhor emprego e maior coes o social Embora o processo de Lisboa tenha continuado a evoluir acrescentando o desenvolvimento ambiental sustent vel o empreendedorismo e elementos de competitividade nos Conselhos Europeus subsequentes o n cleo central procura 29 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA integrar correntes bem enraizadas da pol tica europeia Em particular re ne as pol ticas de emprego e de competi o com origem em 1993 no Livro Branco sobre Crescimento Competitividade e Emprego de Delors COM 93 700 final e os sistemas de solidariedade social bem estar e emprego que integram o que frequentemente conhecido como o Modelo Social europeu e Este aspecto foi refor ado pela Estrat gia Europeia para o Emprego que de certa forma se sobrep e e refor a o processo de Lisboa por exemplo destacando dimens es sociais como a reconcilia o do trabalho e da vida familiar e melhorando o emprego de todos aqueles que se encontram em situa o desfavorecida no mercado de trabalho al m de proc
204. lidade O envolvimento dos decisores pol ticos e de todos os respons veis pelos programas permite que os resultados sejam levados a s rio Identifique as suas partes interessadas descubra quais s o os seus interesses numa avalia o e envolva os 4 As avalia es dever o estar totalmente integradas no planeamento e gest o do programa Os gestores de programa t m de pensar na avalia o como um recurso uma fonte de feedback uma ferramenta para aumentar a efici ncia um alerta precoce para os problemas e solu es e uma forma de sistematizar o conhecimento A avalia o n o constitui simplesmente uma imposi o externa Obviamente este tru smo possui implica es para os avaliadores que t m de considerar as preocupa es dos gestores de programa e as suas parcerias e de procurar levar a s rio a sua necessidade de respostas a perguntas dif ceis 5 Obter um bom trabalho dos diversos grupos que constituem a comunidade profissional contempor nea de avalia es requer a constru o de rela es e de equipas As rela es t m de ser constru das ao n vel nacional regional e europeu entre as diferentes tradi es existentes entre os avaliadores sejam 35 10 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA eles cientistas sociais economistas analistas pol ticos ou consultores de gest o Por isso realize confer ncias e apoie o interc mbio profissional no sentido de assegurar a difus
205. lver procedimentos e pol ticas adicionais que reforcem a procura inicial Por exemplo muitas das actividades espec ficas identificadas na sec o anterior do GUIA relacionadas com o pedido e gest o da avalia o tornam se assim importantes A cria o de procedimentos de consulta de gestores e decisores pol ticos durante o desenvolvimento de termos de refer ncia ou de um plano de avalia o anual a cria o de comiss es directivas e a revis o da qualidade de relat rios de avalia o permitem gerar situa es de procura adicional de avalia o Por m o incentivo mais forte decorre da integra o da avalia o nas pr ticas comuns quotidianas das ag ncias p blicas ou dos minist rios governamentais Esta quest o discute se mais pormenorizadamente de seguida ver sec o sobre a Institucionaliza o da avalia o 3 6 A sociedade civil como fonte de procura de avalia o Um sistema de avalia o sustent vel n o pode estar confinado aos governos ou mesmo ao sector p blico A sociedade civil tamb m pode originar procura de avalia o O refor o da avalia o visto muitas vezes como um processo descendente nacional ou mesmo transnacional A responsabiliza o e a aprendizagem decorrem ao n vel dos decisores pol ticos esperando se que outros actores de n veis hierarquicamente inferiores satisfa am os requisitos da comunidade pol tica Em termos de concep o contempor nea de pol ticas esta perspe
206. m enfoque particular nos Fundos Estruturais Europeus Os fundos encontram se organizados em programas e a avalia o decorre nas fases ex ante intercalar e ex post Os programas constituem um meio para atingir objectivos de pol tica mais alargados e a avalia o dos programas contribui para a avalia o das pol ticas Os programas compreendem diversas interven es e projectos e a avalia o ao n vel de determinada medida interven o projecto constitui parte integrante da avalia o dos programas Diversos programas diferentes e os seus respectivos elementos contribuem para os objectivos tem ticos e a avalia o tem tica baseia se na avalia o dos projectos e dos programas Os princ pios referidos neste GUIA aplicam se regra geral avalia o tem tica dos projectos das pol ticas e dos programas socioecon micos Deste modo o GUIA ser til para todos os que tenham que planear encomendar e gerir avalia es tem ticas de pol ticas e de projectos bem como a avalia o de programas A quem se destina este GUIA Os utilizadores deste GUIA s o provenientes das diferentes comunidades activas na avalia o dos programas de desenvolvimento socioecon mico Entre eles incluem se e Decisores pol ticos interessados em saber o que a avalia o lhes poder proporcionar incluindo as for as e as limita es da avalia o bem como os recursos e as capacidades de que necessitam e Administradores p blicos e ag
207. m como experi ncia de trabalho com decisores pol ticos e gestores de programa Por m considera se igualmente importante que exista um sector de consultadoria de avalia o local com consultores locais familiarizados com as institui es as pol ticas e as l nguas nacionais Naturalmente em muitos casos os consultores internacionais tamb m procedem ao recrutamento junto de hom logos nacionais incentivando assim o interc mbio internacional mesmo dentro de uma nica equipa de avalia o Este trabalho conjunto poder constituir um m todo eficaz de transfer ncia de capacidades e de dissemina o de conhecimentos Este factor amplamente reconhecido em diferentes sectores da avalia o Por exemplo em programas de desenvolvimento internacional exige se frequentemente que as equipas de avalia o incluam peritos dos hemisf rios norte e sul Esta pr tica tamb m foi incentivada na UE no mbito de uma no o abrangente de aproxima o entre os 15 Estados membros e os novos Estados membros reflectindo se mais especificamente na composi o das equipas de avalia o constitu das por parcerias internacionais semelhantes sobretudo na contrata o de avalia es multinacionais regionais e sectoriais nos anos que precederam a ades o ver exemplo da Caixa Desenvolvimento das capacidades de avalia o na Rep blica Checa Caixa Desenvolvimento das capacidades de avalia o na Rep blica Checa Na Rep blica Che
208. m o financiamento perfeitamente natural que a avalia o fique pelo menos parcialmente a seu cargo e n o desenvolvida a n vel europeu Um n vel de procura externa da avalia o semelhante j se encontra consolidada quando se trata do desenvolvimento internacional Os financiadores sejam eles pa ses individuais ou ag ncias multilaterais tais como a pr pria UE os bancos internacionais o Banco Mundial o Banco Europeu de Reconstru o e Desenvolvimento etc ou mesmo as ag ncias das Na es Unidas exigem que os benefici rios dos fundos demonstrem que estes foram bem aplicados e utilizados Em paralelo com o factor da responsabiliza o os actores externos que iniciam uma procura de avalia o tamb m est o interessados na efic cia nas boas pr ticas e no value for money proveitos proporcionais ao investimento das ac es ou seja est o interessados na aprendizagem bem como na responsabiliza o Por m esta motiva o ainda mais forte quando o mpeto da avalia o interno A maioria das entidades que entraram no desenvolvimento da capacidade de avalia o por raz es de exig ncia nacional fizeram no como parte de um compromisso com um sector p blico eficaz eficiente transparente e respons vel A avalia o no Canad na Holanda na Su cia e no Reino Unido n o come ou com pedidos externos Antes a procura da avalia o foi induzida por ciclos sucessivos de reformas internas do sector p blico co
209. m o intuito de optimizar a sua gest o e efic cia bem como novas no es de governan a Foi este o caso tamb m das fases iniciais de reforma do sector p blico na Austr lia orientadas sobretudo por uma filosofia assente em resultados reflexo do destaque atribu do avalia o e sua utiliza o Caixa Est mulo da capacidade de avalia o na Austr lia Caixa Est mulo da capacidade de avalia o na Austr lia Foi implementada uma s rie de reformas de gest o do sector p blico nos primeiros anos do novo governo Um aspecto destas reformas foi a vontade de ver os gestores a desenvolverem o seu trabalho com base na descentraliza o de poderes e responsabilidades reflectindo uma filosofia em que os gestores do sector p blico seriam altamente incentivados a melhorar o seu desempenho se lhes fosse dada uma maior autonomia e potencial para gerir os seus departamentos com um menor n vel de controlo por parte da ag ncia central e com um menor grau de interfer ncia Um outro aspecto das reformas consistiu em atribuir aos gestores uma maior capacidade de gest o e esta orienta o estava mais directamente relacionada com fortes press es or amentais The Development of Australia s Evaluation System Keith Mackay World Bank ECD Working Paper 1998 Isto n o significa que a pr pria avalia o interna n o seja muitas vezes externalizada Mesmo quando a for a motriz por detr s da implementa o da avalia o de
210. m programa de divulga o Os requisitos gerais deste tipo de divulga o dever o estar assinalados nos TdR Contudo a responsabilidade n o pertence exclusivamente aos avaliadores Os gestores de programa e os requerentes da avalia o tamb m dever o assumir a sua responsabilidade pela difus o junto das partes interessadas incluindo o p blico em geral Avalia o sint tica A avalia o sint tica recapitula todos os crit rios de qualidade acima referidos dif cil recomendar um peso espec fico a aplicar aos diferentes crit rios uma vez que a sua import ncia varia de situa o para situa o A Caixa Crit rios de controlo de qualidade e garantia de qualidade apresentada anteriormente apresenta uma grelha de controlo de qualidade do relat rio de avalia o A Caixa Grelha de an lise da qualidade do processo de avalia o proporciona uma grelha de garantia de qualidade Nos dois casos utiliza se uma escala de classifica o de 5 pontos Esta escala vai do positivo com a classifica o de muito positivo no extremo ao negativo onde muito negativo se encontra no outro extremo Assim existem duas possibilidades positivas e duas possibilidades negativas e um ponto interm dio onde o equil brio da an lise n o seguro Caixa Grelha de an lise da qualidade do processo de avalia o Por favor classifique o relat rio de avalia o Muito positivo Muito negativo quanto ao modo positivo ou negat
211. ma Crit rios de qualidade aplic veis a cada um dos indicadores O primeiro crit rio de qualidade de um indicador constitu do pela capacidade de o quantificar a intervalos regulares Por vezes um ou mais indicadores inclu dos nos documentos de programa o n o ter o ainda sido quantificados e por conseguinte n o podem determinar a avalia o ou a monitoriza o do programa A disponibilidade dos dados para permitir a quantifica o constitui o factor prim rio a considerar Os indicadores de monitoriza o recursos realiza es e alguns resultados dever o ser quantificados em cada uma das reuni es de monitoriza o ou seja a cada seis ou doze meses Os indicadores de avalia o determinados resultados e impactos bem como indicadores de contexto s o quantificados com menor frequ ncia por norma anualmente ou a cada tr s ou seis anos Depois de um indicador ser quantificado poder levar v rios meses ou mesmo anos at que as informa es sejam realmente utilizadas para monitoriza o e avalia o E muito particularmente o caso de alguns indicadores de contexto decorrentes de publica es estat sticas A actualidade das informa es constitui um importante crit rio de qualidade Por vezes as estat sticas s o publicadas dois ou mais anos ap s a recolha dos dados 129 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Durante a avalia o dos efeitos do programa os indic
212. madas ao n vel adequado mais reduzido As interven es foram complementares quilo que teria ocorrido noutras circunst ncias Em segundo lugar como que se deve ou deveria avaliar o contributo da interven o para a agenda pol tica mais alargada da UE pol tica de coes o Estrat gia de Lisboa Estrat gia Europeia para o Emprego a predomin ncia de g nero etc Em terceiro lugar dever avaliar se a medida em que se registaram impactos sobre as institui es e sistemas incluindo o interc mbio transnacional e a transfer ncia de boas pr ticas ou de predom nio pol tico que s o uma consequ ncia do financiamento da interven o por parte da UE Neste contexto conforme ser discutido na sec o do GUIA sobre a Capacita o para a Avalia o as interven es da UE foram elas pr prias um est mulo para a promo o de uma cultura de avalia o 33 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Em quarto lugar a avalia o do valor acrescentado da Comunidade deve considerar o alcance da complementaridade entre as interven es da UE e os instrumentos de pol tica nacional Para proporcionar uma avalia o equilibrada devem considerar se estes e outros aspectos do valor acrescentado da Comunidade comparativamente aos custos transaccionais complementares Fazer o melhor num mundo imperfeito Tanto os avaliadores como os decisores pol ticos poder o partir de pressupostos
213. mais adequados Um sistema de avalia o bem estruturado e muito particularmente a avalia o ex ante contribuir o para a selec o de interven es ou instrumentos espec ficos no contexto geral de um programa A avalia o pode contribuir de diversas formas para a selec o dos instrumentos podendo assumir a forma de uma an lise econ mica que avalia os benef cios e os custos mais prov veis de um conjunto de instrumentos alternativos ou talvez de grandes projectos Tamb m pode implicar uma avalia o da elegibilidade que procura alinhar interven es espec ficas com determinados crit rios de modo a verificar a sua relev ncia para um determinado programa na sua globalidade ou em termos regulamentares Em alternativa poder existir uma avalia o da clareza e credibilidade da interven o proposta para analisar a sua probabilidade de sucesso Optimizar a gest o e a aplica o Um processo de avalia o plenamente integrado poder representar uma contribui o essencial para a gest o e para a implementa o dos programas Analisando os dados de monitoriza o e investigando as causas subjacentes s dificuldades encontradas a avalia o permite oferecer feedback s entidades gestores dos programas e apoiar a correc o intercalar Mesmo numa primeira fase existem normalmente resultados iniciais sobretudo se existir uma cadeia de implementa o e um modelo l gico bem 10 EVALSED A Avalia o do Desenv
214. mais forte e noutros mais fraca Nalguns casos a disponibilidade de capacidades e de redes de institui es capazes de mobilizar essas capacidades ter uma maior capacidade de responder procura de avalia o do que noutros Independentemente do equil brio entre a procura e a oferta existem estrat gias adequadas que poss vel adoptar para reflectir as circunst ncias prevalecentes O quadro retirado do relat rio do Banco Mundial 1999 apresenta uma s ntese de algumas destas diferentes op es ver a Caixa Menu de algumas op es ECD Evaluation Capacity Development Desenvolvimento da Capacidade de Avalia o Caixa Menu de algumas op es ECD Evaluation Capacity Development Desenvolvimento da Capacidade de Avalia o PROCURA Forte Fraca apoiar a avalia o de pol ticas divulgar m todos e pr ticas de avalia o programas e projectos apoiar a avalia o cont nua de programas estabelecer liga es entre a avalia o o e projectos planeamento estrat gico distribui o de participar em avalia es executadas por recursos e or amentos ag ncias de financiamento externas F recorrer a comiss es de peritos para apoiar o desenvolvimento profissional em O avaliar as pol ticas avalia o R e refor ar a avalia o na legislatura construir uma rede de avalia o no seio T parlamento do governo e ou a n vel regional E divulgar os resultados das avalia es organizar semin
215. mas de manipula o e disponibilidade de informa es Estes problemas reduziram consideravelmente a utiliza o dos indicadores A equipa de avalia o prop s uma solu o que consistia em e Seleccionar uma s rie de indicadores contextuais situados entre os indicadores macroecon micos e os indicadores dos subprogramas Estes indicadores que t m como objectivo reflectir o impacto global do programa dividem se em tr s categorias crescimento econ mico coes o interna e coes o externa e Seleccionar um pequeno n mero de indicadores do programa limitando os aos principais resultados e impactos e Delegar nos operadores a quantifica o e utiliza o dos outros indicadores Desta forma a dimens o do sistema seria reduzida a 52 indicadores directamente relacionados com os principais objectivos do programa As recomenda es foram aplicadas com sucesso Fonte Colin Stutt Consulting 1997 Northern Ireland Single Programme 1994 99 Relat rio intercalar da avalia o externa Uma poss vel abordagem para limitar a dimens o dos sistemas de indicadores sem perder informa es importantes consiste em identificar indicadores gen ricos ou agrupar os indicadores por categorias de benefici rios 127 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Sugest es para limitar a dimens o dos sistemas de indicadores As sugest es para se limitar a dimens o dos sistemas de indicadores baseiam se
216. mentos l gicos teoria de programa teorias da mudan a que podem ajudar na reconstru o da l gica de interven o dos programas e nas cadeias de implementa o Em conjunto com a consulta e a an lise das partes interessadas a aplica o destes m todos pode ajudar a identificar os poss veis aspectos cr ticos da implementa o do programa e por conseguinte concentrar se na avalia o de forma adequada Definir as quest es e os crit rios de avalia o Definir as quest es de avalia o A defini o das quest es de avalia o uma parte essencial da fase inicial de qualquer exerc cio de avalia o As quest es de avalia o podem colocar se a diferentes n veis Podem ser 42 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Quest es descritivas com o intuito de observar descrever e medir a mudan a o que aconteceu Quest es causais que procuram compreender e avaliar as rela es de causa e efeito como e em que medida que as ocorr ncias decorreram do programa Quest es normativas que aplicam crit rios de avalia o os resultados e os impactos s o satisfat rios tendo em conta os alvos as metas etc Quest es prospectivas que procuram prever os acontecimentos resultantes das interven es planeadas as medidas de combate ao desemprego em determinado territ rio ir o originar efeitos negativos para o ambiente ou para os actuais activos empregados Quest es
217. mercado de trabalho de uma forma qualitativa Por exemplo para estudar as condi es de trabalho a entrevista a pessoas empregadas um complemento necess rio para obter m todos de estudo mais integrados A um n vel micro a an lise da experi ncia dos que s o alvo de discrimina o no mercado de trabalho ou as condi es de vida e de trabalho ou casos em que estas n o sejam equilibradas exige m todos qualitativos como as entrevistas estudos de caso focus groups etc Esta ser a nica forma de descrever convenientemente as opini es das pessoas que foram alvo de descrimina o Capacita o institucional e administrativa Como se referiu na sec o do GUIA sobre a capacita o para a avalia o a capacidade institucional e administrativa constitui um aspecto fundamental n o s da capacidade de avalia o mas tamb m da forma como o sector p blico e o Estado respondem a novas exig ncias de responsabiliza o e de transpar ncia No mbito do desenvolvimento socioecon mico j se constatou como as parcerias constituem um elemento dominante da forma como esses programas s o implementados A avalia o da forma como as institui es e as administra es se adaptam bem como da efic cia das condi es de parceria constituem consequentemente outra prioridade tem tica Embora seja poss vel monitorizar os resultados das diferentes institui es e administra es em termos de indicadores de desempenho e efici nci
218. mitem proporcionar uma base de identifica o agrupamento e estabelecimento de prioridades das potenciais interven es Concep o interven es e organiza o A formula o de programas e de pol ticas inclui normalmente a identifica o de condi es de partida e das metas e objectivos pretendidos No entanto n o poss vel especificar as rela es na cadeia que ligam as circunst ncias actuais ao futuro que se pretende Este processo o que decorre na fase de concep o A cria o de teorias de programas ou de modelos l gicos de programas socioecon micos que mostrem as cadeias de implementa o relacionadas com as interven es espec ficas constitui uma forma til de preencher as fases entre as circunst ncias de base e as metas a longo prazo E poss vel complementar a utilza o destes tipos de modelos com outras t cnicas como a avalia o da capacidade de avalia o que v o muito al m dos quadros l gicos envolvendo activamente os gestores de programa e os decisores pol ticos na avalia o do que poss vel proporcionar de forma vi vel Uma vez mais necess rio estar consciente do papel de muitos dos parceiros incluindo cidad os locais em programas de desenvolvimento socioecon mico Torna se assim til combinar a concep o de programas com m todos participativos que tamb m permitem come ar a delinear as fases posteriores de uma avalia o O envolvimento activo de grupos de parceiros n
219. mo requerente deveria assumir a responsabilidade pela aplica o dos crit rios de controlo de qualidade Numa situa o ideal a performance dos crit rios de garantia de qualidade dever ser informada pelas perspectivas dos membros da Comiss o Directiva por outras partes interessadas pela equipa de avalia o pelas pessoas respons veis pela gest o da avalia o e pelo organismo requerente A Comiss o Directiva dever estabelecer os crit rios o mais cedo poss vel na atribui o da avalia o e encontra se normalmente mais bem posicionada para fazer a avalia o global na fase de conclus o do trabalho Por m no caso da garantia de qualidade que assenta em crit rios processuais ser necess rio consultar outras partes interessadas n o necessariamente representadas numa Comiss o Directiva Para efeitos de controlo de qualidade poder ser til consultar peritos ou rbitros externos Destaque se que a aplica o de crit rios de controlo de qualidade crit rios de conte do e garantia de qualidade crit rios de processo se realiza tendo em considera o diferentes objectivos O controlo de qualidade do conte do do relat rio oferece algumas garantias de que o trabalho se realizou de forma adequada e que as suas conclus es s o fi veis A garantia de qualidade do processo de avalia o ir contribuir para conhecer melhor a gest o da avalia o e oferece importantes contributos para melhorar a gest o futura da avali
220. mplementadas e de todo o programa Os termos efic cia e efici ncia utilizam se normalmente por gestores que procuram no contexto da monitoriza o ajuizar acerca dos efeitos em vez de o fazer sobre os resultados ou impactos respectivos De facto as quest es relativamente ao desempenho de um programa s o cada vez mais comuns no mbito da monitoriza o Dada a relev ncia da monitoriza o e da avalia o prov vel que exista um grande conjunto de quest es agrupadas na rubrica desempenho 44 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA O crit rio da utilidade julga os impactos obtidos pelo programa em rela o a necessidades sociais e econ micas mais alargadas A utilidade constitui um crit rio de avalia o muito espec fico uma vez que n o faz qualquer refer ncia aos objectivos oficiais do programa Pode ser prudente formular uma quest o de utilidade sempre que os objectivos do programa estejam mal definidos ou sempre que haja muitos impactos inesperados Este crit rio dever no entanto ser utilizado com cuidado para assegurar que a equipa de avalia o n o selecciona as necessidades ou quest es importantes demasiado subjectivamente Uma forma de precau o contra este risco consiste em envolver outras partes interessadas e em particular os benefici rios na selec o das quest es de utilidade O termo sustentabilidade refere se medida em que os resultados e as realiza es
221. mpreendidos por todos 38 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e Os objectivos est o relacionados com as interven es ou grupos de interven es e com os resultados mensur veis e Se as interven es possu rem diversos objectivos est associado um peso expl cito a cada um dos objectivos e Os objectivos integram alvos cujo alcance pode ser medido Os alvos devem possuir prazos expl citos e devem constituir o resultado da negocia o entre os decisores pol ticos e os respons veis pela implementa o e Existem incentivos que estimulam inequivocamente o cumprimento dos objectivos e Estas condi es ajudam o processo de avalia o a definir crit rios relativamente aos quais preciso julgar se uma interven o pode est direccionada para ou se alcan ou um bom resultado Na pr tica estas condi es s o pouco comuns e como se ver de seguida o pr prio processo de avalia o deve muitas vezes contribuir para a defini o dos objectivos e dos crit rios que reflectem as ambi es definidas para as interven es Seja qual for a origem dos objectivos estes proporcionam um conjunto importante de crit rios relativamente aos quais poss vel julgar o cumprimento das interven es Planear o trabalho de avalia o Esta sec o discute mais precisamente as diversas actividades e quest es necess rias para planear trabalho de avalia o em particular e Definir o
222. n a de uma abordagem obrigat ria para uma abordagem cont nua mais flex vel A avalia o ex ante de todos os programas operacionais ao abrigo do Objectivo de Converg ncia antigo Objectivo 1 continua a ser uma obriga o enquanto os Programas Operacionais ao abrigo do Objectivo de Competitividade Regional antigo Objectivo 2 e do Objectivo de Emprego antigo Objectivo 3 devem ser avaliados por programa por Fundo ou por eixo priorit rio Os Programas Operacionais ao abrigo do Objectivo de Coopera o Territorial devem ser avaliados individualmente ou em grupos A avalia o ex ante dos novos Quadros Nacionais de Refer ncia Estrat gica que substituem o Plano de Desenvolvimento Nacional e o QCA n o obrigat ria mas altamente recomendada pela Comiss o Europeia sobretudo aos Estados membros com Objectivo de Converg ncia 148 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Com base na experi ncia de avalia o intercalar do per odo anterior que mostrou que os prazos impostos eram demasiado r gidos os requisitos demasiado abrangentes e os TdR adaptados de forma insuficiente s necessidades espec ficas a nova avalia o cont nua dever ser mais orientada por necessidades espec ficas de cada pa s do que por Regulamentos Prev se que os Estados membros executem avalia es cont nuas relacionadas com a monitoriza o dos Programas Operacionais o que s necess rio em casos de afastame
223. ncia podem ajudar a refor ar as institui es e as redes quando realizados de forma adequada Assim uma avalia o espec fica n o corresponde necessariamente de uma forma inequ voca a um dos cinco tipos Pelo contr rio prov vel que se aproxime de um dos tipos Ao mesmo tempo prov vel que um sistema de avalia o reflicta elementos de diversos tipos de avalia o Caixa Os Dois Eixos da Avalia o Objectivos e Metodologia 22 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA OBJECTIVOS Planeamento Responsabilidade Implementa o Produ o de For as Efici ncia Conhecimento Institucionais P SOO0OmOUOAMmS De Desenvolviment Participativa Aloca o de Recursos Normas e Metas D Melhoria Mudan a Explica o Na intersec o dos dois eixos dos objectivos e da metodologia existem cinco tipos de avalia o principais S o eles Avalia es alocativas econ micas na intersec o dos objectivos de planeamento e de efici ncia com as metodologias de atribui o de recursos Avalia es orientadas para a gest o efici ncia na intersec o da responsabilidade como finalidade com o estabelecimento de normas e metas enquanto um metodologia Avalia es formativas na intersec o da implementa o e realiza o como objectivo com as metodologias orientadas para a melhoria e para a mudan a Avalia es causai
224. ndi es s o de tal forma deficientes que seria pouco sensato realizar uma avalia o Uma conclus o deste tipo poderia ser alcan ada com base numa an lise de viabilidade da avalia o ver Manual T cnico ll Nestas circunst ncias a razoabilidade de prosseguir com o programa em causa poder ser questionada 34 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A maioria dos programas existe em circunst ncias menos extremas independentemente da imperfei o das circunst ncias Tamb m n o se deve subestimar o valor de informa es sistem ticas mesmo que reduzidos quando nem sequer existiam anteriormente No m nimo o processo de planeamento de uma avalia o de identifica o da l gica de interven o e dos recursos dispon veis e de identifica o dos momentos em que os resultados da avalia o podem contribuir para decis es de reprograma o poder o ajudar a clarificar a reflex o para al m de gerar informa es ou resultados 1 5 REGRAS DE OURO Esta sec o do GUIA apresentou algumas das principais quest es relacionadas com a avalia o do desenvolvimento socioecon mico Integradas nos diversos temas discutidos relativamente s vantagens da avalia o natureza da tarefa de avalia o e aos requisitos espec ficos da pol tica socioecon mica encontram se diversas regras de boas pr ticas de obten o complexa que de acordo com a experi ncia podem ajudar a planear ex
225. neste GUIA Tamb m h m todos que podem ser desenvolvidos de modo a integrar os diversos crit rios das diferentes partes interessadas ver a sec o A Selec o de M todos e T cnicas do GUIA Contudo trabalhar em contexto de parceria tamb m possui implica es para o papel do avaliador ou da equipa de avalia o Estes dever o ser mais do que colectores passivos das diferentes prioridades das partes interessadas Os avaliadores t m de assumir um papel mais activo de modo a apoiar a obten o de consenso tanto no in cio quando as avalia es s o concebidas como no decorrer do ciclo de avalia o incluindo no momento de dissemina o de resultados e de discuss o de conclus es Coordenar negociar e facilitar o consenso tamb m s o capacidades necess rias O contexto das pol ticas da UE Como j se referiu qualquer programa de desenvolvimento socioecon mico insere se no mbito de um contexto pol tico mais complexo Isto aplica se tanto aos Fundos Estruturais Europeus como aos programas a n vel de cada Estado membro Os programas dos Fundos Estruturais possuem as suas pr prias orienta es e prioridades horizontais espec ficas As prioridades horizontais para o per odo 2000 2006 s o emprego e recursos humanos desenvolvimento sustent vel ambiente igualdade de oportunidades para homens e mulheres sociedade da informa o e desenvolvimento local Os Fundos Estruturais tamb m est o integrados numa agenda po
226. normalmente associados recolha de dados qualitativos As entrevistas a observa o participante ou os estudos etnogr ficos os di rios de auto relat rio a an lise de discurso ou de conte do de textos as descri es pormenorizadas de um contexto local com o objectivo de comunicar uma determinada disposi o ou ethos fariam todos parte dessa categoria O mesmo aconteceria com m todos comp sitos como os estudos de caso que t m tend ncia para se basear na maioria das t cnicas espec ficas referidas Nesta sec o do GUIA faz se refer ncia a muitos destes m todos qualitativos entre outros apresentados no Manual T cnico Il No entanto a l gica dominante por detr s da selec o de m todos n o reside na suposta superioridade de um tipo ou outro de t cnica antes reside na sua adequa o aos objectivos Os m todos qualitativos para a recolha e a an lise de dados s o importantes para o desenvolvimento socioecon mico porque e Estamos interessados em processos subtis A qualidade das oportunidades de trabalho a experi ncia de discrimina o uma tend ncia para a inova o e a 104 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA efic cia das parcerias constituem fen menos qualitativos subtis que necess rio captar de forma detalhada e Estamos interessados em contextos Estes s o constitu dos por diversos factores diferentes seja em termos geogr ficos hist ricos culturais estru
227. nquanto os resultados s o t cnicos e podem ser analisados sem demasiado risco de imparcialidade as conclus es e mais ainda as recomenda es s o emitidas com base em julgamentos de valor A qualidade destes por conseguinte decisiva Para responder quest o se as conclus es s o justas isentas de considera es pessoais ou parciais e suficientemente pormenorizadas para serem implementadas em concreto necess rio verificar e se os elementos em que se baseiam as conclus es s o claros e se as conclus es s o operacionais e suficientemente expl citas para serem implementadas e seas quest es controversas s o apresentadas de forma justa e equilibrada As principais quest es como a relev ncia a efic cia e a efici ncia do programa dever o processar se no mbito de uma avalia o e dever o consequentemente ser respondidas de forma adequada O relat rio de avalia o tamb m deve mostrar a adequabilidade do or amento do programa tanto globalmente como em termos de aloca o interna de acordo com os diferentes eixos e medidas Tamb m necess rio estudar quest es essenciais como o valor acrescentado do programa e o progresso em termos de objectivos transversais como coes o subsidiariedade boa governa o desenvolvimento sustent vel e igualdade de oportunidades No caso dos exerc cios ex ante necess rio formular conclus es com vista a alimentar o processo de negocia o do programa avaliado O
228. ns o participativa constitui uma parte importante dos m todos de avalia o O objectivo n o consiste apenas em assegurar a considera o da opini o dos benefici rios consiste tamb m em assegurar que os grupos locais os cidad os e as associa es entre outros possam tecer as suas pr prias considera es relativamente ao xito dos programas Afinal s o as suas considera es juntamente com as t cnicas de auto avalia o que s o importantes devido orienta o ascendente destes programas mais do que as considera es dos avaliadores ou decisores pol ticos baseadas em crit rios mais abstractos 4 6 Recolha e utiliza o de dados em avalia o e Todos os dados s o produzidos e Acesso aos dados como actividade planeada e Dados quantitativos e qualitativos 116 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Todos os dados s o produzidos Os avaliadores dependem do que se designa por dados a mat ria prima que depois de recolhida organizada descrita agrupada contada e manipulada atrav s de diversos m todos e t cnicas Faz se normalmente a distin o entre dados prim rios gerados como consequ ncia directa de um programa ou interven o e dados secund rios gerados para outras finalidades j existentes antes do programa ou interven o Por exemplo entre as fontes de dados secund rios poder o incluir se e Fontes estat sticas tais como estat st
229. nseguinte determinados m todos e t cnicas est o devidamente associados a determinadas reas de pol tica Por exemplo e A avalia o das interven es a n vel dos transportes poder incluir investimentos em infra estruturas em que seria adequado recorrer a an lises do tipo custo benef cio e a outras t cnicas que possam modelar ou descrever os resultados das diferentes aloca es de recursos A utiliza o de sistemas de transportes poder ser coberta de forma mais adequada atrav s da an lise de dados administrativos detidos pelas autoridades ou operadores de transportes A satisfa o dos passageiros por outro lado poder ser captada de forma mais adequada por inqu ritos por amostragem junto dos utilizadores de transportes e Avalia o das interven es de gest o a n vel do ambiente e da energia Uma vez mais poder recorrer se aqui a an lises de custo benef cio na fase de investimento Esta tamb m uma rea onde existem normalmente rela es de compromisso entre as diferentes prioridades como por exemplo as vantagens ambientais e as vantagens para o emprego A descri o e medi o desta situa o de compromisso poderiam por norma ser abrangidas pelo que se designa de estudo de impacte ambiental Uma vez que muitos dos aspectos da pol tica ambiental possuem uma forte dimens o internacional metas da ONU e de Kyoto tamb m comum proceder se ao benchmarking de acordo com estas normas internacionai
230. nstantemente reafirmada em termos diferentes e com prioridades subtilmente mut veis Por m sempre necess rio estar atento s discuss es e s decis es pol ticas de modo a assegurar que as avalia es se adequam s prioridades pol ticas Os crit rios mais alargados que t m de ser concebidos nas avalia es decorrem normalmente do quadro pol tico mais alargado Embora se tenha defendido que todas as partes interessadas s o importantes ver 3 acima a nfase no desenvolvimento socioecon mico d particular destaque a um grupo importante e frequentemente negligenciado os benefici rios destinat rios das interven es do programa Integrar a sua voz como comunidades locais grupos marginalizados e novas entidades econ micas nas avalia es significa mais do que pedir as suas opini es Tamb m significa integrar os seus crit rios e opini es numa avalia o e admitir que a sua experi ncia e benef cios constituem a justifica o das interven es do programa Isto est em conson ncia com a l gica das abordagens ascendentes participativas e descentralizadas que s o t o comuns actualmente no desenvolvimento socioecon mico Tamb m por isso que os m todos reactivos e participativos se transformaram numa parte t o importante do conjunto de ferramentas dos avaliadores Sejamos pragm ticos Vivemos num mundo imperfeito onde os recursos s o limitados os administradores nem sempre s o eficientes a coordena o
231. ntam uma maior probabilidade de gerar perspectivas formativas sobretudo nos casos em que o trabalho de avalia o decorre num contexto onde a pol tica esteja a ser desenvolvida As abordagens construtivistas poder o ser particularmente teis para acertar os programas mas dependem especialmente do grau de confian a e de qu mica entre o avaliador e as partes interessadas importante reconhecer estas diferentes tradi es quanto mais n o seja para ajudar a explicar por que que as abordagens da avalia o podem ser t o diferentes umas das outras Para os avaliadores e para todos aqueles que pedem avalia es certamente til ser claro relativamente s suas prefer ncias e tradi es filos ficas Se os dois eixos da avalia o i e os objectivos da avalia o e a metodologia de avalia o forem inter relacionados poss vel come ar a identificar alguns dos diferentes tipos de avalia o predominantes na avalia o do desenvolvimento socioecon mico Os dois eixos e tipos de avalia o encontram se ilustrados na Caixa Os dois eixos da avalia o Objectivos e Metodologia Obviamente as tarefas de avalia o espec ficas possuem normalmente mais do que um objectivo e poder o aplicar mais do que um tipo de metodologia Por exemplo uma avalia o formativa destinada a melhorar a implementa o de um programa tamb m pode contribuir para a produ o de conhecimento do mesmo modo que os tipos de gest o de efici
232. nte igualdade de oportunidades a opini o dos benefici rios alvo das interven es como forma de evitar a exclus o social constitui um elemento essencial do seu xito Entrevistas inqu ritos focus groups estudos de caso e t cnicas de observa o s o importantes a este n vel mais micro Sociedade da informa o Uma vez mais na sequ ncia de Lisboa e com o refor o da Cimeira de Estocolmo o desenvolvimento de uma sociedade da informa o e de uma economia do conhecimento considerado uma quest o essencial quer em termos de competitividade europeia quer em termos de coes o social Este consequentemente um tema transversal na Europa em termos de diversos aspectos de desenvolvimento socioecon mico Como comum em reas onde a concorr ncia europeia uma quest o o benchmarking com outras partes do mundo sobretudo com a Am rica do Norte e com o Jap o uma t cnica habitual Sempre que s o planeadas interven es em particular como por exemplo as que est o inclu das nas iniciativas eEurope recorre se normalmente a m todos explicativos que procuram demonstrar o antes e o depois dos efeitos das interven es Por m o mbito das interven es poss veis sob a bandeira da sociedade da informa o extraordinariamente vasto Incluem se interven es ao n vel das infra estruturas regionais educa o telemedicina e acesso de grupos desfavorecidos tecnologia Levantam se consequentemente problemas d
233. ntegra pelas pessoas mais qualificadas O tempo atribu do s pessoas mais experientes dever ser suficiente para permitir a supervis o das pessoas que fazem o trabalho de campo O facto de a equipa proposta ter trabalhado em conjunto com xito pertinente Avaliar o pre o A avalia o do pre o proposto pelos servi os constitui um aspecto importante do processo de selec o mas n o dever ser sobrevalorizado Regra geral em quaisquer avalia es que n o sejam completamente de rotina o crit rio financeiro n o dever exceder 20 25 da avalia o global Um segundo aspecto digno de nota que deve ter se em considera o n o s o pre o total como tamb m o custo unit rio por dia das diferentes categorias de colaboradores contratados Por exemplo se 80 do pre o total for despendido em recursos humanos j nior a um per diem digamos reduzido ent o as vantagens deste facto poder o ser comparadas com um cen rio em que 50 do trabalho executado por investigadores mais qualificados experientes que trabalham pelo dobro deste per diem Em alguns pa ses para evitar um decr scimo da qualidade os custos s o considerados n o em termos absolutos mas relativamente m dia proposta pelas equipas candidatas ao trabalho Neste caso se uma oferta for excepcionalmente baixa o candidato poder ter que justificar o motivo deste custo reduzido 55 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GU
234. nterven es e os seus resultados As limita es da tradi o no contexto da avalia o do desenvolvimento socioecon mico decorrem das dificuldades de medi o de muitos dos resultados significativos da complexidade das interac es entre as interven es e outros factores e a consequente aus ncia de perspectivas relativamente quilo que funciona As limita es de uma forma pura de positivismo s o hoje largamente reconhecidas Entre estas encontram se a dificuldade de observar a realidade quando o que se pode observar se encontra normalmente incompleto e por conseguinte necessita de ser interpretado luz de enquadramentos ou teorias a inevitabilidade de efeitos instrumentais segundo a qual o que pode ser observado sempre mediado simplificado ou inclusivamente distorcido pelas ferramentas e t cnicas utilizados na recolha de dados a dificuldade na maioria dos contextos humanos em esperar encontrar regularidades e leis que n o variam de acordo com os contextos locais problemas de complexidade onde os pr prios fen menos mudam na sua interac o muitas vezes de forma imprevis vel e os julgamentos subjectivos e centrados no valor das pessoas que constroem a sua pr pria realidade particularmente importante em muitos contextos de desenvolvimento social onde os problemas como a exclus o social se encontram t o sujeitos a ju zos como os factos irrefut veis Estas limita es do positivismo levaram ao surgimento de
235. ntexto dos programas Por exemplo se um quadro bem estruturado for concebido para a auto avalia o de projectos poder o existir algumas garantias de que os resultados ser o sistem ticos e merecem uma an lise detalhada a n vel do programa Al m disso os requisitos de auto avalia o podem incentivar uma cultura de feedback e de aprendizagem inter e intra projectos com vantagens para o programa como um todo Todos os que desempenhem tarefas de planeamento e execu o de trabalho de avalia o devem clarificar as liga es entre a avalia o de pol ticas de programas de projectos e a avalia o tem tica Os princ pios descritos neste GUIA s o geralmente aplic veis a cada tipo de avalia o 1 2 HIST RIA E OBJECTIVOS DA AVALIA O Uma breve hist ria da avalia o Diferentes fontes e tradi es Os principais objectivos da avalia o A aprendizagem como principal objectivo de avalia o Uma breve hist ria da avalia o A avalia o surgiu como uma rea distinta do exerc cio profissional na Am rica do Norte no per odo p s guerra As tr s correntes mais importantes nessa fase inicial eram a avalia o da inova o na educa o por exemplo a efic cia de novos curricula nas 12 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA escolas a liga o da avalia o aloca o de recursos por exemplo atrav s de um sistema de Planeamento Programa o e Or amenta o
236. nto do grau de independ ncia do avaliador face ao objecto de avalia o ir aumentar a credibilidade dos resultados de avalia o Em quaisquer circunst ncias as possibilidades de conflito de interesse t m que ser minimizadas e sempre que poss vel eliminadas Por vezes esta medida baseia se em declara es formais dos avaliadores e de potenciais avaliadores relativamente aus ncia destes conflitos Por m os avaliadores raramente s o totalmente independentes dos objectos de avalia o e a avalia o nunca isenta de valor Os avaliadores est o sujeitos a toda uma s rie de influ ncias De facto o compromisso do avaliador para com os objectivos da interven o em apre o poder aumentar a qualidade dos resultados da avalia o bem como a probabilidade de os resultados conduzirem a um maior desenvolvimento socioecon mico Os factores que influenciam a independ ncia do avaliador s o diversos e nem todos eles s o f ceis de evitar Por vezes as influ ncias externas da avalia o em curso podem trazer vantagens e Os avaliadores tendem a ser benevolentes com os objectivos de desenvolvimento socioecon mico das interven es subjacentes Poder o provavelmente residir no territ rio em causa ou ter sido seleccionados em parte pela sua empatia com o grupo alvo da interven o Muitas vezes os avaliadores s o seleccionados pelos seus conhecimentos aprofundados na mat ria ou rea pol tica e contactos bem como p
237. nto significativo dos objectivos iniciais dos programas e das propostas de revis o dos programas Globalmente os Programas de Fundos Estruturais para 2007 2013 devem ser mais estrat gicos centrados nos objectivos globais de longo prazo que consequentemente se traduzir o pelos Estados membros em medidas e objectivos mais operacionais e de curto prazo Do mesmo modo a avalia o tamb m dever centrar se em contextos espec ficos dos pa ses e na satisfa o das necessidades de decisores pol ticos bem como do p blico em geral 149
238. o a an lise input output e a an lise de efici ncia Relativamente responsabiliza o os m todos consistem sobretudo em avaliar o desempenho de acordo com determinados n veis ou metas e aplicar crit rios relevantes para o xito e desempenho Na sua forma mais directa este aspecto aproxima se do que se considera em termos cl ssicos o trabalho dos auditores E poss vel fazer compara es com n veis de execu o de diversas formas Por exemplo poss vel utilizar indicadores para comparar os resultados reais com os esperados Tamb m poss vel fazer compara es com exemplos externos atrav s do benchmarking Embora n o haja uma forma f cil de fazer as compara es a um n vel externo como acontece muitas vezes no mbito espec fico do desenvolvimento socioecon mico poss vel efectuar compara es numa base de antes e depois mostrando as altera es ao longo do tempo Regra geral as avalia es maioritariamente relacionadas com a responsabiliza o tendem a real ar medidas financeiras e monet rias e t cnicas quantitativas Por m isto nem sempre acontece uma vez que os decisores pol ticos geralmente consideram til dispor de materiais ilustrativos dos casos e descri es qualitativas dos resultados do desenvolvimento para apoiar descri es mais abstractas em termos financeiros ou mesmo monet rios No que diz respeito implementa o alguns m todos comuns procurar o descrever os processos e o
239. o da sua jurisdi o A gest o orientada para os resultados A gest o orientada para os resultados a principal responsabilidade dos gestores da administra o p blica Os gestores devem ser respons veis pelo seu desempenho perante a equipa de gest o hierarquicamente superior perante os ministros perante o Parlamento e perante os canadianos A avalia o como ferramenta de gest o A avalia o decorre num ambiente complexo que inclui parcerias com outras organiza es federais com outros n veis de governo com o sector privado ou com entidades sem fins lucrativos Al m disso medida que a implementa o dos programas passa para outras jurisdi es a import ncia da avalia o das pol ticas subjacentes aumenta A avalia o dever contribuir para implementar melhorias nas pol ticas bem como para a concep o e implementa o de programas Neste contexto os departamentos dever o integrar a disciplina da avalia o na gest o do ciclo de vida das pol ticas dos programas e iniciativas para e desenvolver quadros de responsabiliza o e de gest o com base nos resultados com vista a obter pol ticas programas e iniciativas novos ou melhorados e implementar uma monitoriza o cont nua do desempenho e pr ticas de medi o do desempenho e avaliar quest es relacionadas com as fases iniciais de implementa o e de administra o das pol ticas programas ou iniciativas incluindo os que s o desenvolv
240. ocial Muitas das grandes quest es de avalia o que se pode colocar relativamente a estas pol ticas e a pol ticas semelhantes n o podem ser respondidas ao n vel do programa Por exemplo para estimar a extens o da converg ncia nos diversos Estados membros e nas diversas regi es normalmente necess rio recorrer a an lises comparativas de dados a n vel europeu relacionadas com o crescimento econ mico com a produtividade e com os rendimentos pessoais Por m as avalia es do programa podem contribuir para a interpreta o dessas avalia es de pol tica a larga escala Tamb m podem proporcionar alguns dados de tipo diferente nomeadamente o que est a acontecer realmente no terreno a defini o do alvo das medidas a qualidade e a quantidade dos recursos e das realiza es do programa as reac es e satisfa o das partes interessadas e a forma como os programas s o geridos e implementados Fundamentos te ricos do desenvolvimento socioecon mico J referimos que uma rea te rica relevante na avalia o dos programas de desenvolvimento socioecon mico consiste no pr prio desenvolvimento Os principais conjuntos de pressupostos e de teorias utilizados para explicar e interpretar os resultados dos programas socioecon micos decorrem da reflex o contempor nea acerca do desenvolvimento socioecon mico Embora tradicionalmente provavelmente at ao final dos anos 70 o elemento em destaque fosse a gest o da proc
241. oder incluir apenas trabalhos de consultoria significativos num total superior a 5 dias de consultoria Depois de definido e adoptado o programa implementado A sua monitoriza o e avalia o s o efectuadas numa base cont nua e em fases intercalares Nesta fase os indicadores s o indispens veis para divulgar de uma forma simples e condensada informa es exigidas pelos gestores de programa Normalmente os indicadores permitem monitorizar o ritmo de aplica o dos or amentos o grau de cumprimento da calendariza o prevista a propor o de popula o eleg vel alcan ada a taxa de satisfa o dos benefici rios e o n mero de empregos criados 124 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA O ciclo de programa o termina com uma avalia o ex post que possui como uma das suas principais fun es reportar os resultados do programa em termos de quais as metas alcan adas Recomenda se vivamente a utiliza o de indicadores nesta fase na medida em que permite a transmiss o de informa es simples apreendidas imediatamente pelo p blico em geral como por exemplo o custo por cada emprego criado ou a taxa de coloca o de desempregados apoiados Indicadores para programas integrados A maioria dos programas socioecon micos adopta estrat gias integradas ou seja procura seleccionar todos os problemas que afectam um determinado territ rio e utiliza todos os instrumentos dispon
242. ois seleccionar a equipa que prop e a metodologia mais promissora A seguir os que seleccionam a equipa ter o necessariamente de ter a capacidade de avaliar a qualidade metodol gica de uma proposta vii Calendariza o A calendariza o da avalia o dever ser definida tendo em conta diversas restri es sobretudo as que est o relacionadas com a calendariza o das tomadas de decis o e a sua poss vel utiliza o Tamb m necess rio integrar os principais prazos gerados pelos procedimentos inerentes aos convites apresenta o de propostas e s fases de recolha inicial de dados Recomenda se que as dimens es gerais do exerc cio sejam definidas nos TdR e que se reserve o primeiro per odo normalmente entre 10 20 da dura o da avalia o geral para o planeamento detalhado do trabalho Esta fase dever terminar com um Relat rio Inicial onde se descreve a concep o das actividades bem como uma calendariza o detalhada Tamb m se recomenda que se fa a uma previs o dos diferentes resultados pretendidos do exerc cio que devem incluir um refer ncia espec fica submiss o de uma vers o provis ria do relat rio final permitindo assim que haja tempo suficiente para sugest es de altera es e correc es antes do t rmino do estudo viii Or amento indicativo Recomenda se a apresenta o de um or amento indicativo permitindo posteriormente que os candidatos ao concurso aberto para a realiza o da
243. ol tica que se inicia quando se formulam as pol ticas e os programas com elas relacionados e que continua com o planeamento e atribui o de recursos a concep o de programas a sua implementa o e a concretiza o das suas realiza es e resultados A linguagem da avalia o segue em muitos casos este ciclo como se pode verificar atrav s dos termos de avalia o como ex ante intercalar e ex post utilizados normalmente nos Fundos Estruturais europeus Estes termos encontram se descritos no Anexo A Utiliza se uma l gica semelhante na distin o feita geralmente entre realiza es efeitos resultados e impactos Antes de se voltar s caracter sticas espec ficas do desenvolvimento socioecon mico ser apresentada a contribui o da avalia o poss vel em cada uma das fases do ciclo pol tico Como se pode ver no diagrama apresentado na Caixa Ciclos das Pol ticas dos Programas e da Avalia o existem tr s ciclos temporais diferentes importantes para todos os que est o envolvidos na avalia o Em primeiro lugar o ciclo da avalia o que decorre em diferentes momentos e em fases distintas dentro de um segundo ciclo e depois o ciclo dos programas que gera ele pr prio uma procura por estes diferentes momentos de avalia o Existe ainda um terceiro ciclo o ciclo das pol ticas que d forma e influencia os programas bem como inevitavelmente os requisitos da avalia o Normalmente o ciclo das pol ticas m
244. olvimento Socioecon mico O GUIA estruturados Assim a avalia o da implementa o permite destacar alguns resultados desde o in cio Por m muitas das quest es emergentes nestas fases iniciais de implementa o est o relacionadas com os processos como que os diferentes parceiros interagem como s o tomadas as decis es e como se elaboram os planos e de que modo se procura sedimentar novas parcerias e disposi es organizacionais A avalia o destes processos incluindo descri es lineares podem ser teis para todos os parceiros bem como para os gestores e os principais financiadores Identificar as realiza es os resultados e os impactos Os programas de desenvolvimento socioecon mico t m que demonstrar resultados desde muito cedo Nas fases mais preliminares prov vel que estes assumam a forma de realiza es outputs como por exemplo o n mero de empresas que recebem financiamento para actualizar os seus equipamentos ou os n meros relativos a pessoas desempregadas a receber forma o No entanto os decisores pol ticos procuram rapidamente resultados mais substanciais tornar as empresas mais competitivas ou criar emprego para os desempregados Espera se que estes resultados outcomes possuam um maior impacto relacionado com os objectivos das pol ticas e dos programas pelo menos a longo prazo Isto permite avalia o colocar quest es como o crescimento das empresas regionais foi sustentado Ou
245. on mico mas tamb m os organismos institucionais e ou sociais respons veis por aspectos horizontais espec ficos tais como o ambiente a igualdade de oportunidades o turismo e a protec o dos consumidores etc Os peritos ou seja pessoas com conhecimentos substanciais ou metodol gicos que possam ser teis para definir as quest es de avalia o ou interpretar os resultados A presen a de peritos independentes na Comiss o Directiva poder ser extremamente importante para proporcionar contributos considerados teis para a equipa de avalia o bem como para inaugurar o debate conducente a li es mais gen ricas a retirar do exerc cio O papel principal da Comiss o Directiva consiste em assegurar uma avalia o til e de alta qualidade Para isso deve facilitar o trabalho dos avaliadores por exemplo dando acesso a informa es e contactos e elaborando quest es de avalia o e quest es chave relativamente s quais considera que deve ser informada A Comiss o Directiva n o dever tentar influenciar os avaliadores no sentido de omitir determinados dados ou chegar a conclus es da sua prefer ncia que n o sejam fundamentadas pelos dados da avalia o A Comiss o Directiva tamb m deve supervisionar o processo de comunica o dos resultados da avalia o Gerir o processo de comunica o da avalia o 60 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA A comunica o constitui uma pa
246. onde at 5 do or amento do programa se destinou a avalia es que fazem eficazmente parte da estrat gia de implementa o de gest o como por exemplo nos casos em que a avalia o inclui um forte elemento formativo destinado a apoiar os gestores e as partes interessadas relativamente ao seu trabalho A forma mais adequada para determinar o or amento deve basear se em crit rios como a natureza e o mbito do trabalho necess rio Uma avalia o s lida requer contributos por parte de bons avaliadores e n veis significativos de compromisso tanto por parte de dos que solicitam o trabalho como dos parceiros Na pr tica os programas socioecon micos t m tend ncia para incorrer desnecessariamente em despesas sempre que as avalia es dizem respeito a aspectos de rotina mas n o investir o suficiente quando os programas s o inovadores Este obviamente um risco sempre que se pretende que a avalia o tenha sobretudo uma finalidade de responsabiliza o ou de monitoriza o Os recursos or amentais n o devem constituir um factor limitativo da qualidade de uma avalia o Contudo existem retornos progressivamente mais reduzidos Na fase ex ante o tempo dispon vel para informar a formula o de programas e os dados dispon veis podem ser limitados Na fase intercalar a dimens o dos inqu ritos aos benefici rios e a dimens o da consulta aos parceiros e s partes interessadas ter o uma enorme influ ncia sobre a necessidade
247. operadores que implementam o programa em campo A sua participa o poder assegurar que o sistema pragm tico uma vez que est o familiarizados com as possibilidades pr ticas e com os limites da recolha de dados Tamb m aconselh vel envolver os operadores num teste preliminar do sistema de indicadores O procedimento recomendado come a com a selec o de alguns operadores volunt rios que participar o na concep o do sistema Estes volunt rios devem representar todos os componentes do programa Eles ajudam a seleccionar os indicadores no sentido de os definir e de planear o processo de recolha de informa es Exprimem as suas necessidades em termos de feedback de informa es frequ ncia e forma como as informa es lhes s o transmitidas O teste inclui uma quantifica o inicial de todos os indicadores por operadores volunt rios A dura o normal destes testes de um ano Dependendo das conclus es do teste e depois de efectuar as modifica es necess rias o sistema validado As defini es e os procedimentos de recolha e restitui o de dados s o claramente determinados e preparado o manual As informa es relacionadas com o contexto s o retiradas dos dados estat sticos por isso aconselh vel envolver um perito com conhecimentos exaustivos e recentes de dados estat sticos capazes de explora o na concep o do sistema Conforme o caso este perito pertence a um instituto de estat stica ou
248. or essencial para a utilidade da avalia o Sem crit rios de opini o claramente identificados desde o in cio o relat rio de avalia o final raramente proporciona conclus es claras Finalmente deve notar se que nem todas as quest es colocadas pelos requerentes da avalia o e pelos gestores de programa s o adequadas enquanto quest es de avalia o Algumas s o demasiado complexas aplic veis a longo prazo e exigem dados que n o est o dispon veis Outras quest es nem sequer requerem esfor os de avalia o mas podem ser tratadas atrav s de sistemas de monitoriza o existentes consultoria de gestores ou recurso a processos de auditoria ou outros sistemas de controlo Crit rios de avalia o As quest es de avalia o que incluem crit rios de opini o pertencem a uma das quatro categorias seguintes As que est o relacionadas com a relev ncia do programa As que est o relacionadas com a sua efic cia As que est o relacionadas com a sua efici ncia e As que est o relacionadas com a sua utilidade Estas quatro categorias principais est o representadas na caixa Seleccionar quest es de avalia o priorit rias 43 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Seleccionar quest es de avalia o priorit rias Sociedade Necessidades Economia Problemas 4 Ambiente Quest es Efeitos Resultados Pula e a P mE AA Objectivos d Recursos Reali
249. ordo com a defini o do indicador e O indicador medido regularmente til possuir informa es de situa es onde as defini es precisas de indicador foram aplicadas consistentemente Numa situa o ideal os dados devem estar dispon veis desde antes da adop o ou implementa o da interven o Por m as pr prias interven es exigem muitas vezes a recolha de novos dados e medido numa base independente prefer vel que as informa es sejam recolhidas por ag ncias que n o sejam directamente respons veis pela interven o ou legisla o e A medida baseia se em dados fi veis Na pr tica os indicadores raramente apresentam todas estas caracter sticas e pode ser necess rio reunir provas de uma s rie de fontes distintas incluindo e Os recursos e a calendariza o do processo de programa o e As fontes secund rias e As fontes prim rias incluindo inqu ritos aos parceiros e Informa es administrativas Muitas destas informa es poder o ter sido recolhidas para outros efeitos que n o o da avalia o Um indicador quantifica um elemento considerado relevante para a monitoriza o ou avalia o de um programa Por exemplo 1 200 desempregados de longa dura o 121 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA fizeram forma o financiada pelo programa ou 75 dos participantes nos cursos de forma o est o satisfeitos ou altamente satisfeitos
250. organizada pela papel principal das Comiss es de entidade que coordena o programa Acompanhamento tem consistido em correspondente e executada por um nomear os avaliadores avaliador independente Deve estar conclu da at 31 de Dezembro de 2008 Para facilitar as diversas avalia es a entidade que a coordena deve criar um sistema de recolha de dados financeiros e estat sticos necess rio para as avalia es intercalares e ex post e deve proporcionar as informa es necess rias para executar a avalia o ex post A Comiss o de Acompanhamento analisa os resultados da avalia o intercalar e pode propor altera es ao programa em fun o dos mesmos No final de 2005 a avalia o intercalar actualizada atrav s da prepara o do terreno para as opera es que se seguem A actualiza o da avalia o intercalar tamb m designada de avalia o final AVALIA O EX POST 14 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Dever ser realizada uma avalia o ex A Comiss o o principal respons vel pela post numa parceria entre a Comiss o eo avalia o ex post em parceria com o Estado Estado membro com o intuito de avaliar o membro impacto das medidas adoptadas face aos Define se o objectivo da avalia o ex post objectivos propostos A avalia o ex post realizada por um avaliador independente num prazo de tr s anos ap s o final do per odo de programa
251. ornecedores e utilizadores das informa es foram envolvidos na sua cria o Em contrapartida um grupo fechado de especialistas ser tentado a construir um sistema dispendioso tecnicamente ideal que poder nunca funcionar de forma satisfat ria No que diz respeito aos utilizadores dever assegurar se o apoio expl cito do mais elevado n vel de autoridade de gest o do programa E por isso aconselh vel criar um grupo de futuros utilizadores do sistema e atribuir lhe a fun o de definir os indicadores Dever ent o nomear se uma equipa para apoiar o grupo e desempenhar as fun es de secretariado Por norma os membros da equipa pertencem autoridade de gest o do programa Estes dever o possuir os recursos humanos e financeiros necess rios A equipa deve sobretudo garantir que o sistema de indicadores reflecte claramente os objectivos do programa e beneficia a comparabilidade E prefer vel que a mesma equipa que respons vel pela cria o de indicadores seja posteriormente respons vel pela implementa o do sistema O p blico tamb m pode estar envolvido na concep o do sistema de indicadores Um exemplo de envolvimento dos benefici rios na escolha de indicadores da experi ncia americana regi o de Benton Harbor ver a Caixa Envolvimento dos benefici rios na escolha de indicadores come ou com uma s rie de focus groups envolvendo 125 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA
252. os e A posi o explanat ria que consiste em explicar o sucesso e os impactos do programa e em fazer afirma es causais relativamente ao que funciona quando e como funciona e A posi o formativa ou orientada para a mudan a que proporciona um feedback positivo e mais complexo no sentido de apoiar a auto correc o da monitoriza o durante a vida de um determinado programa e A posi o participativa de desenvolvimento que procura desenvolver redes comunidades e territ rios recorrendo a m todos participativos de abordagem ascendente Todos estes enfoques metodol gicos podem ser teis para a avalia o pois permitem ver diferentes aspectos Estes s o familiares para aqueles que t m experi ncia na avalia o de programas e de pol ticas Por exemplo e Uma an lise custo benef cio utilizada na fase de aprecia o do projecto um exemplo da posi o de atribui o de recursos e Um estudo de indicadores que procure avaliar se um determinado programa cumpriu os seus objectivos constitui um exemplo da posi o baseada em padr es ou alvos e Uma avalia o intercalar ou uma avalia o cont nua realizada com o objectivo de proporcionar feedback no sentido de permitir aos parceiros e aos gestores do 19 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA programa registar e se necess rio reorientar os seus programas constitui um exemplo de posi o formativa e Uma avalia o t
253. os seguintes aspectos e Implementar procedimentos administrativos que apoiam a independ ncia dos avaliadores seleccionados e Solicitar uma confirma o da inexist ncia de conflitos de interesse relativamente a potencial equipa Estas condi es dever o encontrar se especificadas nos TdR Ao mesmo tempo tamb m se deve descrever a forma como os avaliadores poder o ter acesso a colaboradores essenciais do programa em causa e sua administra o bem como a informa es necess rias para desempenhar o seu trabalho As quest es relativamente independ ncia dos avaliadores discutem se mais pormenorizadamente de seguida b Perfil da equipa de avalia o No mbito dos Fundos Estruturais europeus existem cada vez mais organiza es presentes no mercado da avalia o incluindo empresas de consultoria locais nacionais ou internacionais O sector comercial respons vel pela maioria do mercado embora os centros de investiga o universit rios tamb m representem uma propor o significativa Optar por uma empresa de consultoria ou pelo departamento de uma universidade pode ter implica es em termos de abordagem e por conseguinte em termos dos resultados da avalia o Os acad micos t m a vantagem de serem vistos como independentes e altamente cred veis devido aos seus pr prios requisitos institucionais e profissionais Por outro lado as empresas privadas t m em muitos casos mais disponibilidade em termos de tempo e e
254. os sobre a avalia o sobretudo o Artigo 6 do regulamento quadro e o Artigo 26 do regulamento de coordena o O Artigo 6 Par grafo 2 dos regulamentos de 1988 estipulou que para avaliar a efic cia das interven es estruturais os impactos das ac es Comunit rias devem ser avaliados ex ante e ex post Por isso as candidaturas a apoio pelas autoridades competentes devem incluir as informa es necess rias de modo a poderem ser avaliadas pela Comiss o Estes primeiros regulamentos adoptados pelo Conselho em 19 de Dezembro de 1988 diziam respeito a planos de desenvolvimento regional que tinham que ser entregues at 1 de Janeiro de 1989 Para muitas institui es de administra o nacional e regional a necessidade de estabelecer programas plurianuais constituiu em si uma esp cie de revolu o Al m disso a maioria das autoridades competentes e os servi os da Comiss o n o possu am as capacidades de avalia o necess rias pelo menos no que diz respeito avalia o dos Fundos Estruturais Consequentemente as avalia es executadas no per odo entre 1989 e 1993 n o apresentavam uma qualidade muito elevada apesar dos esfor os de muitos actores sobretudo na Comiss o Observou se especificamente que o quadro definido por esta primeira vers o dos regulamentos n o permitiu criar condi es adequadas implementa o da fase de avalia o ex ante de forma regular Regulamentos aplic veis entre 199
255. ossam determinar o seu m todo de abordagem preferido e de facto para que as primeiras fases de uma avalia o permitam elaborar um relat rio inicial com a revis o e discuss o da concep o da metodologia das t cnicas da recolha de dados etc Infelizmente esta flexibilidade nem sempre assegurada No entanto presumimos nesta sec o do GUIA que os avaliadores ter o margem de manobra suficiente para seleccionar m todos e t cnicas adequados e que os requerentes da avalia o ser o informados de acordo com crit rios e conhecimentos semelhantes acerca de quais os m todos adequados a cada um dos objectivos Ap s a selec o de uma concep o de avalia o abrangente a selec o de m todos e t cnicas espec ficos ter que considerar ainda assim as realidades dos programas e das pol ticas bem como uma s rie de factores contextuais Por exemplo e A forma da interven o socioecon mica Referiu se na sec o do GUIA relacionada com a avalia o e o desenvolvimento socioecon mico que as caracter sticas de um objecto de avalia o neste caso um tipo de interven o de desenvolvimento socioecon mico s o factores importantes que determinam a concep o da avalia o e Tipo de objectivos da avalia o As avalia es podem ter objectivos bastante diferentes da responsabiliza o optimiza o da gest o e explica o do que efectivamente funciona e em que circunst ncias Estes diferentes obj
256. pend ncia constitui um ingrediente essencial da avalia o Em primeiro lugar inclui todos os que gerem e encomendam avalia es todos os que est o interessados nos resultados da avalia o ao n vel do programa e da implementa o da pol tica bem como todos os respons veis pela execu o da avalia o No entanto a avalia o n o uma fun o independente necessita de um enquadramento institucional e tem de estar integrada nos procedimentos institucionais Especificamente a capacidade das institui es p blicas de executarem avalia es constitui parte integrante dos requisitos mais abrangentes que cada Estado tem que satisfazer para dar resposta s necessidades econ micas e sociais contempor neas De facto verifica se que os sectores em que se tem desenvolvido mais intensamente a capacidade de avalia o s o precisamente os que a consideram uma parte integral de uma estrat gia mais abrangente de inova o e moderniza o do sector p blico Esta necessidade de construir uma capacidade institucional e administrativa est por vezes impl cita mas constitui cada vez mais um objectivo transversal expl cito das pol ticas de desenvolvimento socioecon mico Este objectivo decorre de duas condi es 1 Ultrapassar a falta de efici ncia da administra o p blica tradicional passando para uma abordagem de gest o p blica baseada em boas pr ticas de gest o n o s do sector p blico mas tamb m aplicando os p
257. pol ticas o que significa que o n mero de actores ou partes interessadas normalmente bastante elevado A experi ncia de avalia o parece mostrar que este aspecto est longe de ser um obst culo para uma boa avalia o Pelo contr rio oferece oportunidades que devem ser exploradas de modo a colocar as quest es mais adequadas e dar as respostas mais teis As actividades no terreno influenciam o n mero de partes interessadas envolvidas na cria o das pol ticas Em particular a nfase no princ pio do partenariado baseia se na perspectiva de que o envolvimento de institui es n o governamentais e actores da sociedade civil ir aumentar a qualidade do desenvolvimento socioecon mico quer do ponto de vista de defini o de um vasto conjunto de objectivos quer em termos de facilitar o processo de implementa o Entre outros factores que refor aram a tend ncia para o envolvimento de grupos de institui es e actores grandes e diversificados incluem se a influ ncia de parcerias verticais e horizontais o surgimento de governan a multin vel e a aplica o de subsidiariedade o estabelecimento de prioridades pol ticas transversais como o 40 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA desenvolvimento sustent vel ou a igualdade de oportunidades e o reconhecimento do papel desempenhado pelo capital social no desenvolvimento socioecon mico O aparecimento do desenvolvimento local e territor
258. por conseguinte n o seguir simplesmente um quadro padr o com par grafos provis rios pr redigidos Dever reconhecer se que a defini o do mbito a clarifica o dos utilizadores da avalia o e a decis o das capacidades necess rias numa equipa de avalia o encontram se entre as decis es mais importantes que se deve adoptar no decurso de uma avalia o Era normal ver a utiliza o da avalia o como estando limitada a agir sobre as recomenda es e sobre os relat rios finais Compreende se agora que a utiliza o da avalia o pode ser apoiada e decorre ao longo da avalia o A denominada utiliza o de processo ou de di logo dever envolver as partes interessadas na concep o da avalia o desde o in cio Existem inclusivamente avalia es cujas conclus es e recomenda es s o rejeitadas mas as partes interessadas sobretudo as principais partes interessadas envolvidas na Comiss o Directiva consideram no entanto a avalia o til Poder ajud los a clarificar o seu pr prio racioc nio e a sua pr pria compreens o do programa e despoletar ideias inovadoras para melhorar o programa Este processo de comunica o cont nuo proporciona um contexto espec fico para a dissemina o dos relat rios e das conclus es da avalia o A promo o do di logo no decurso de uma avalia o apresenta uma grande probabilidade de garantir que quando as partes interessadas receberem os relat rios estar o m
259. poss vel partilhar experi ncias e discutir problemas pr ticos e O desenvolvimento e aplica o de normas de qualidade por parte dos profissionais e requerentes de avalia o como por exemplo as que foram indicadas na sec o anterior deste GUIA ver a Caixa Normas de avalia o Caixa Normas de avalia o O estudo tende a apoiar o valor de normas abrangentes que incluem os interesses dos requerentes da avalia o dos avaliadores e dos cidad os As normas de avalia o europeias mais abrangentes instrumentais e ticas conforme utilizadas pela European Evaluation Society e por v rias outras associa es de avalia o nacionais na Europa poder o complementar a passagem para normas desenvolvidas pela Comiss o Europeia e por alguns Governos nacionais A Utiliza o da Avalia o nos Servi os da Comiss o Direc o Geral do Or amento Outubro de 2002 Na pr tica muitas destas caracter sticas desej veis de uma comunidade de avalia o profissional poder o ser incentivadas ao abrigo de uma sociedade nacional de avalia o ou associa es Est o dispon veis diversos materiais sobre sociedades de avalia o nacionais e regionais em diversos websites de avalia o internacionais Ver em particular o IOCE International Organisation for Cooperation in Evaluation e o IDEAS 92 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA International Development Evaluations
260. primeiro lugar pelas medidas ou temas com implica es significativas em termos de tomada de decis o Por exemplo medidas com um or amento muito elevado medidas inovadoras e temas considerados estrat gicos Em muitos casos a configura o dos indicadores n o se faz de raiz e sempre que poss vel os sistemas e os indicadores devem ser consistentes com os que j se encontram em funcionamento 130 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Aplica o dos indicadores Utiliza o dos indicadores para fazer compara es entre programas A utiliza o de indicadores para fazer compara es v lidas entre programas importante mas tamb m dif cil Isto deve se a diversos factores como a diversidade das interven es num programa a diversidade de contextos regionais ou a incompatibilidade de defini es Por exemplo dependendo das regi es e dos programas as viagens tur sticas podem ser contabilizadas em termos do n mero de visitas ou do n mero de noites de estadia os formandos podem ser contabilizados em termos de n mero de participantes no curso de forma o ou em horas de forma o efectivas e a protec o ambiental pode ser medida em termos de n mero de projectos n mero de s tios ou n mero de hectares protegidos poss vel procurar e assegurar a comparabilidade atrav s de interc mbios entre os gestores em diferentes regi es ou pa ses O programa INTERREG proporciono
261. qualidade de um indicador a normatividade Os indicadores devem estar relacionados com os resultados que podem ser considerados satisfat rios ou n o Os indicadores devem evitar a ambiguidade Todos os valores dos indicadores devem assim ser comparados com uma norma por exemplo objectivos a cumprir norma a ultrapassar ou m dia europeia a atingir Um bom indicador deve ser compreendido por todos os que o utilizam Para os decisores e para o p blico o significado do indicador deve ser o mesmo para os gestores de programa e para os promotores do projecto Deve reflectir de forma precisa o conceito que se pretende medir Isto designa se muitas vezes por validade Crit rios de qualidade aplic veis totalidade do sistema de indicadores Prop e se os crit rios que se seguem para avaliar os sistemas de indicadores e Os indicadores seleccionados devem abranger uma propor o suficientemente grande das medidas do programa Esta cobertura deve ser igual ou superior a tr s quartos das despesas previstas e O sistema deve ser constitu do por um bom equil brio entre os indicadores das diferentes categorias e O sistema de indicadores deve ser simples O crit rio de selec o exige que se respeite a capacidade dos gestores de programas para absorver informa es As informa es devem por isso limitar se a um m ximo de algumas dezenas de indicadores e A relev ncia do sistema implica que os indicadores sejam desenvolvidos em
262. r fazer se a qualidade dos recursos humanos e o pre o s o os aspectos que interessam realmente Contudo embora esta afirma o possa ser considerada verdadeira o inverso n o se aplica Sempre que o processo de candidatura pede aos candidatos que proponham a metodologia que considerem adequada para a execu o do exerc cio o maior perigo consiste no facto de se prestar demasiada aten o originalidade da abordagem e n o prestar a aten o suficiente capacidade dos candidatos para cumprir realmente os resultados prometidos As capacidades da equipa dever o corresponder metodologia proposta de modo a evitar problemas que possam surgir no decurso da implementa o da avalia o Contudo existe o perigo de discrimina o da entrada de novos agentes e por conseguinte poder dificultar a cria o e ou manuten o de mercados concorrentes Uma forma til de considerar a proposta de uma equipa pedir exemplos anteriores do seu trabalho Adicionalmente este processo poder ser apoiado pelo pedido de refer ncias de clientes de avalia o anteriores ou seja a possibilidade de consultar pessoas concretas Finalmente sempre adequado prestar aten o n o s presen a de recursos humanos altamente qualificados na equipa mas tamb m ao momento em que estar o preparados para se dedicar a este exerc cio Uma vez que as avalia es s o extremamente morosas o trabalho de campo n o poder ser desempenhado na
263. r determinados perfis em diferentes reas de pol tica Estas diferen as reflectem tendencialmente caracter sticas metas e expectativas pol ticas espec ficas em diferentes reas de pol tica que afectam os tipos de medidas ou indicadores utilizados e todo o estilo de avalia o comum Por exemplo os processos de avalia o de interven es nas reas da ci ncia e tecnologia tendem para a utiliza o de indicadores bibliom tricos como medida dos resultados de investiga o enquanto a avalia o das interven es educativas depende em grande parte das medidas de desempenho dos estudantes Em algumas reas pol ticas poder existir uma tradi o em que os gestores de programa executam a sua pr pria avalia o relativamente s interven es por si geridas E o caso por exemplo do desenvolvimento internacional onde a avalia o consiste frequentemente em avalia es administrativas de projectos de campo por parte de gestores respons veis por um portef lio de projectos num pa s ou sector espec fico em vias de desenvolvimento Noutras reas de interven o pol tica o envolvimento directo na avalia o de gestores com responsabilidades nos projectos seria questionado em termos da sua independ ncia e objectividade E pr tica comum solicitar uma avalia o econ mica de projectos infra estruturais antes de comprometer recursos Este procedimento ser menos habitual no caso de projectos onde os investimentos em infra es
264. r ou a retrair o desempenho do programa a filosofia do programa e o processo de implementa o Uma t cnica consiste em pedir a um painel de peritos para analisar os elementos quantitativos e qualitativos integrados da situa o para interpretar as medidas de desempenho ver a Caixa Pain is de peritos para avaliar o desempenho dos Centros de Investiga o Universit rios 136 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Pain is de peritos para avaliar o desempenho dos Centros de Investiga o Universit rios Os pain is de peritos foram utilizados durante algum tempo para avaliar o desempenho de centros de investiga o universit rios no Reino Unido O trabalho de todos os centros de investiga o no Reino Unido monitorizado em termos quantitativos e avaliado periodicamente por pain is de peritos Na sua avalia o os peritos consideram indicadores por exemplo o n mero de publica es mas tamb m elementos puramente qualitativos por exemplo qualidade de cada uma das quatro melhores publica es de cada investigador A avalia o tem como resultado a classifica o das equipas de investiga o numa escala de 1 a 5 com a classifica o de uma estrela A aloca o de financiamento p blico est directamente relacionada com esta classifica o Bone amp Carter 1997 A interpreta o dos indicadores utiliza muitas vezes compara es entre o desempenho
265. ra os benefici rios em situa o de maior atraso Em muitos casos a avalia o dos programas contribui para responder a grandes quest es pol ticas atrav s de uma compreens o qualitativa do que se passa realmente no terreno Por exemplo muitas das ideias e teorias subjacentes ao desenvolvimento socioecon mico real am a import ncia da tecnologia como recurso para o crescimento Os processos de avalia o de um programa socioecon mico neste quadro pol tico necessitam assim de 32 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Esclarecer quais os tipos de investimento tecnol gico que est o a decorrer por exemplo a n vel de infra estruturas capacidades investimento das empresas em novo equipamento Avaliar a qualidade destes investimentos em termos por exemplo da sua relev ncia absor o e utilidade percebida pelos actores locais e regionais Procurar dados relativamente efici ncia rapidez e grau de consenso com que estas medidas tecnol gicas est o a ser implementadas Identificar os tipos de resultados preliminares e altera es consequenciais que parecem estar a surgir na sequ ncia destes recursos e contribui es Considerar em que medida as inova es observadas parecem ser sustent veis e em que medida est o a ser desenvolvidas novas capacidades em vez de vantagens unilaterais Este tipo de informa o qualitativa e do terreno poder ser til para a avalia o de diversas
266. ra uma rea de pol tica p blica e para os seus programas Os objectivos de avalia o reconhecidos com maior frequ ncia s o e Planeamento efici ncia garantir a exist ncia de uma justifica o para uma pol tica programa e que os recursos se desenvolvem eficientemente e Responsabilidade demonstrar em que medida que determinado programa alcan ou os seus objectivos e de que forma utilizou os seus recursos e Implementa o aumentar a efici ncia dos programas e a efic cia da sua implementa o e gest o e Capacita o institucional melhorar e desenvolver as capacidades entre os participantes nos programas e as suas redes e institui es Estes diversos objectivos de avalia o s o do interesse dos diferentes intervenientes e tamb m t m tend ncia a serem associados a diferentes tipos de quest es de avalia o Por exemplo e Se o objectivo for planeamento efici ncia ir satisfazer sobretudo as necessidades dos decisores pol ticos e dos decisores do planeamento bem como dos cidad os S o estas as partes interessadas que estar o preocupadas com a forma como os recursos p blicos se distribuem entre objectivos concorrentes e como se aplicam depois de distribu dos Estas partes interessadas colocam quest es como ser esta a melhor utiliza o dos fundos p blicos Existem utiliza es alternativas dos recursos que proporcionam mais vantagens Existe uma correspond ncia entre os custos implicados e as
267. ramas de desenvolvimento socioecon mico e dos pressupostos que cont m Um aspecto deste quadro que deve ser destacado diz respeito s parcerias por o desenvolvimento socioecon mico ser t o multifacetado agregando diferentes interven es de diferentes dom nios pol ticos e envolvendo diferentes ag ncias e actores formais e informais que as parcerias se tornaram muito importantes na avalia o A maioria dos programas resultantes do n vel europeu baseia se em parcerias tal como acontece com os programas de apoio nacional e regional De facto nos programas dos Fundos Estruturais o Princ pio do Partenariado integra se nos regulamentos do programa As parcerias colocam desafios particulares avalia o Os parceiros partilham sempre alguns compromissos comuns caso contr rio n o se envolveriam em programas de desenvolvimento socioecon mico No entanto tamb m possuem os seus pr prios interesses Estes interesses comuns e espec ficos exigem que as avalia es e os gestores de programa integrem nos seus planos o que partida 28 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA possam parecer objectivos crit rios e quest es de avalia o contradit rios Em certa medida as avalia es podem lidar com este fen meno integrando cuidadosamente os diferentes contributos dos parceiros A forma como isto se pode processar ir ser analisada na sec o A Concep o e Implementa o da Avalia o
268. rat gias de desenvolvimento que n o s o necessariamente compat veis entre si O planeamento da documenta o constitui em primeiro lugar e sobretudo uma parte essencial do ciclo de planeamento e de projecto e como tal uma contribui o fundamental para a pol tica de desenvolvimento socioecon mico Tamb m s o contudo documentos pol ticos que normalmente t m de obter o acordo dos diversos agentes a diferentes n veis territoriais e com valores metas e prioridades muito diferentes N o novidade por isso que estes documentos s o em muitos casos vagos que procuram cobrir todos os ngulos poss veis do problema de uma forma por vezes gen rica mesmo que isto signifique dividir em partes muito pequenas os recursos dispon veis e que alguns dos objectivos neles identificados s o contradit rios entre si para n o dizer absolutamente incompat veis Este perigo est sobretudo presente quando a complexidade dos programas aumenta como acontece com a nova gera o de pol ticas de desenvolvimento socioecon mico com destaque para a abordagem territorial o nfase na sustentabilidade a necessidade de parcerias alargadas e ou de diversos princ pios dominantes De acordo com uma perspectiva tradicional estas incertezas tornam a tarefa de avalia o de resultados dos programas de desenvolvimento socioecon mico mais dif cil se n o imposs vel Sem metas claras uma teoria de interven o coerente e uma concep
269. rcerias e Um n vel social que integra considera es avaliativas na sociedade civil incluindo organiza es profissionais bem como no sector p blico Existem transversalmente a todos estes n veis regulamenta es legisla o recursos normas e factores institucionais que pressup em necessariamente determinadas condi es e mecanismos organizacionais Existem diversos indicadores da capacidade de avalia o sobretudo condi es que se espera estejam dispon veis para que um sistema de avalia o seja sustent vel Embora n o seja vi vel tentar implementar todas estas condi es ao mesmo tempo vale a pena descrever um estado ideal que permita o planeamento de uma estrat gia de implementa o Numa situa o ideal seria de esperar que se encontrasse as seguintes condi es embora os exemplos que se seguem n o sejam exaustivos ou abrangentes A n vel individual Existem pessoas em todos os n veis de administra o com experi ncia e capacidades de avalia o e este factor refor ado e renovado por actividades de recrutamento e forma o adequados bem como de desenvolvimento profissional Est o dispon veis orientadores de recursos formativos cursos de forma o e diplomas a n vel nacional ou regional muitas vezes oferecidos por universidades organismos de forma o privados e organismos profissionais disposi o de profissionais e requerentes A n vel organizacional A avalia o exe
270. recursos 78 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA ver Desenvolvimento da capacidade institucional e administrativa no Manual T cnico Esta sec o do GUIA centra se na forma como se procede cria o dessa capacidade para que as ambi es da avalia o sejam mais pratic veis de modo a contribuir efectivamente para o desenvolvimento socioecon mico As capacidades n o podem ser criadas de um momento para o outro e o processo implica custos Por m as potenciais vantagens da avalia o s o suficientemente abrangentes para justificar o investimento inicial sendo necess ria a inova o dos custos recorrentes quer em termos de produtos quer em termos de processos de avalia o O desenvolvimento de capacidades requer tempo e n o poss vel implementar os sistemas necess rios ao mesmo tempo Estes sistemas t m que ser alimentados a longo prazo de modo a proporcionarem benef cios sustent veis O desenvolvimento da capacidade de avalia o tem que ser uma preocupa o partilhada pela comunidade respons vel pelas decis es pol ticas mais alargada Os decisores pol ticos e os respons veis pela concep o de programas dever o em primeiro lugar estar convencidos de que existe uma necessidade de avalia o Ao mesmo tempo embora o seu apoio seja essencial n o se dever permitir que se tornem detentores do processo Conforme se real ou v rias vezes ao longo deste GUIA a inde
271. rem ser utilizados e em muitos casos o que come a por ser informa o qualitativa transforma se em dados quantitativos atrav s de diversos m todos anal ticos Por m mesmo ap s a aplica o de diversos m todos de an lise as caracter sticas e a pondera o dos dados quantitativos s o diferentes O que se designa por dados quantitativos pode assumir diferentes formas como por exemplo e Pode n o ser mais do que uma forma de descrever categorias Os dados categoriais ou nominais n o t m valor num rico antes os n meros s o utilizados para fazer a distin o entre as diferentes categorias Assim Grupo 1 2 3 e 4 poder o ser r tulos aplicados a quatro conjuntos diferentes de PME distinguidos pelos sectores em que operam e Ligeiramente mais fortes em termos de quantifica o poder o ser os dados ordinais relativamente aos quais se sabe que alguns itens s o mais ou menos maiores ou mais pequenos do que outros Por exemplo algumas empresas poder o estar em crescimento enquanto outras poder o estar em decl nio e este factor pode ser utilizado como fonte de dados mesmo que n o seja poss vel calibrar ou ter acesso s diferen as precisas entre o crescimento e o decl nio de cada empresa e Um modo de quantifica o ainda mais forte poder decorrer quando se coloca diferen as relativas numa escala onde se poder conhecer os intervalos na escala Diversos itens e sistemas de classifica o e pontua o nos
272. reza hol stica do que se procura 140 10 11 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA realizar e s diferen as entre contextos que necess rio descrever em termos qualitativos A natureza participativa da capacidade de desenvolvimento local relativamente ao potencial e s ambi es dos cidad os e dos parceiros locais particularmente adequada aos m todos qualitativos e aos m todos participativos As prioridades tem ticas que s o muito comuns em programas europeus colocam verdadeiras dificuldades aos avaliadores Uma vez que os decisores pol ticos pretendem compreender a forma como as suas pol ticas como um todo t m xito faz se muitas vezes press o para integrar resultados e encontrar uma forma comum de descrever ou inclusivamente avaliar o que est a acontecer Isto n o pode muitas vezes fazer se Por vezes apenas as descri es qualitativas que funcionam E necess rio ter cuidado para n o misturar alhos e bugalhos Existe muitas vezes uma tens o entre seleccionar avaliadores que t m vastos conhecimentos acerca de uma rea de pol tica espec fica e avaliadores cujas capacidades de avalia o s o mais gen ricas Numa situa o ideal numa equipa de avalia o procura se incluir estes dois conjuntos de conhecimentos e de experi ncia Os requerentes devem estar conscientes dos perigos inerentes contrata o de avaliadores que viveram a maior part
273. rinc pios decorrentes das organiza es privadas e sem fins lucrativos mais bem sucedidas Muitas das limita es assumidas quanto efici ncia dos organismos da administra o p blica encontram se disfar adas no designado movimento da Nova Administra o P blica NPM que preconiza a reforma a moderniza o a descentraliza o e a privatiza o entre outras como solu es para o sector p blico O NPM tem como objectivo melhorar os resultados a implementa o e o Value for Money proveitos proporcionais ao investimento Este processo tamb m se descreve mais em pormenor em Desenvolvimento da capacidade institucional e administrativa 2 Ultrapassar a dist ncia percebida e a separa o dos organismos p blicos da sociedade em geral e assim abrir a decis o pol tica contribui o dos parceiros externos dos representantes da sociedade civil e dos cidad os a orienta o global para a governan a democr tica A difus o da avalia o pode contribuir para as duas condi es que se seguem 19 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Em primeiro lugar a identifica o sistem tica das melhores alternativas bem como uma cuidadosa considera o da possibilidade de os programas em curso passados e futuros alcan arem os seus objectivos de uma forma eficiente Esta situa o foi identificada na sec o anterior como sendo uma contribui o importante para a avalia o que pode
274. rios de elegibilidade Por conseguinte os operadores tendem a filtrar ou favorecer os benefici rios cuja empregabilidade superior Este efeito indesej vel porque concentra o apoio nos que t m relativamente menos necessidades Apresentamos um exemplo da forma como os indicadores provocaram uma redu o das diferen as atrav s de uma converg ncia para a m dia na Caixa Efeitos adversos de um sistema de indicadores de gest o de desempenho converg ncia para a m dia em vez da converg ncia para a excel ncia Um indicador tamb m pode incentivar um comportamento conducente a um desempenho inferior norma Este processo decorre sempre que os indicadores premiarem resultados indesejados ou sempre que o sistema d origem a que os operadores trabalhem para os indicadores em vez de trabalharem para os resultados Caixa Efeitos adversos de um sistema de indicadores de gest o do desempenho converg ncia para a m dia em vez da converg ncia para a excel ncia O sistema de indicadores da British Audit Commission Comiss o de Auditoria Brit nica organiza a quantifica o de cerca de duas centenas de indicadores de efeitos e de resultados relacionados com os servi os oferecidos pelos munic pios Os indicadores s o compar veis entre autarquias e publicados anualmente na imprensa local Este sistema permite criar uma imagem muito forte da cidade quando um destes servi os regista um desempenho insuficiente Consegquent
275. rito estrangeiro para transmitir conhecimentos sobre os processos de avalia o geralmente aplicados de uma forma informal e para garantir o cumprimento com as normas europeias Estes cons rcios cumpriam assim com o que se esperava das suas actividades pr ticas Uma conclus o positiva foi o facto de as opera es das empresas checas que n o integravam quaisquer peritos externos obterem 90 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA praticamente os mesmos resultados Em Avalia o do Quadro Comunit rio de Apoio Checo Mario Hladek David Grolig com Eva Pisova Chefe da Unidade de Avalia o Praga Setembro de 2004 Alguns dos novos consultores ser o provenientes de ou estar o parcialmente baseados em universidades mas outros n o Tamb m uma caracter stica das novas abordagens da gest o p blica que este processo se encontre associado cria o de uma s rie de novos mercados para servi os de consultoria Nessa medida a promo o do sector da consultoria independente possui vantagens mais amplas do que a avalia o considerada isoladamente Existem diversas abordagens para incentivar a emerg ncia de consultores nacionais Entre estas incluem se e Requerentes de avalia o que insistem em or amentos de cons rcios ou parcerias que incluem sempre alguns consultores locais e A adapta o de contratos de avalia o de forma que avalia es de risco relativament
276. ritos acerca das suas opini es ou os m todos de previs o Anteriormente identificou se a categoria Prospectiva como uma classe importante ou modo de inqu rito em investiga o e estudos de avalia o O desenvolvimento sustent vel constitui um bom exemplo de uma situa o em que este modo de inqu rito importante Contudo o mbito do que se pode incluir no desenvolvimento sustent vel levanta problemas familiares de agrega o e de s ntese Como ser poss vel encontrar um m todo de descri o ou um indicador comp sito que resuma tudo o que se concretizou em tantas interven es diferentes Este um dilema t pico noutras reas tem ticas de grande abrang ncia Promo o da inclus o social A redu o das disparidades em toda a UE tem sido um tema consistente das pol ticas da UE Este aspecto foi refor ado com a Estrat gia de Lisboa o que se encontra devidamente exemplificado atrav s da Estrat gia Europeia de Emprego que destaca a inclus o social e uma maior coes o social Utiliza se normalmente grandes conjuntos de m todos tais como a defini o de metas e t cnicas espec ficas como indicadores para medir e orientar a coes o social Estes utilizam se nos Planos de Ac o Nacional sobre Inclus o Social e correspondentes relat rios que os Estados membros t m vindo a preparar desde 2001 Para al m disso existe aqui espa o para m todos mais qualitativos e participativos Como referido relativame
277. rma como as percep es e a teoria influenciam as observa es ex os construtivistas Neste GUIA adoptamos uma perspectiva pragm tica J se assumiu uma tend ncia para a adop o de um quadro de refer ncia realista que embora valorize a observa o a investiga o emp rica e a medi o desde que sejam pass veis de aplica o pr tica tamb m se centra nos diferentes contextos em que decorrem os fen menos e nas teorias utilizadas para explicar estes fen menos Ao mesmo tempo e em determinados circunst ncias tamb m se reconhece a import ncia das filosofias 105 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA construtivistas sobretudo em contextos de exclus o social e de desenvolvimento de tipo ascendente em que dever dar se prioridade experi ncia aos interesses e s considera es dos participantes nos programas Tamb m n o se elimina completamente algumas das li es que as grandes conquistas da ci ncia e da investiga o positivistas alcan aram com a sua nfase no questionamento sistem tico e na interpreta o cuidadosa das provas Os cientistas gostam de utilizar o termo dados fazendo frequentemente distin es entre os tipos de dados i e a mat ria prima da investiga o e as informa es que t m de ser processadas para serem teis As provas levam nos um passo mais frente ao ajustar as informa es transformando as em formas que se podem considerar fi veis
278. rodu o utilizadas por uma empresa e a satisfa o das empresas que receberam a presta o de servi os de consultoria E no momento em que os benefici rios recebem apoio ou servi os do programa que se pode quantificar os resultados Executa se medi es directas por exemplo contabilizando o n mero de formandos recrutados no decorrer da forma o ou ent o pede se aos benefici rios directos para especificar as vantagens obtidas por exemplo atrav s de um inqu rito distribu do no final da consultoria Os indicadores de impacto representam as consequ ncias do programa para al m da sua interac o directa e imediata com os benefici rios Uma categoria inicial de impactos agrupa as consequ ncias do programa para os benefici rios directos que surgem ou duram at m dio prazo impactos espec ficos como por exemplo o tr fego numa estrada um ano ap s a sua abertura a taxa de formandos colocados depois de decorridos doze meses os empregos sustent veis criados numa unidade industrial constru da com o apoio do programa e a taxa de sobreviv ncia das empresas criadas com o apoio do programa Alguns impactos n o s o previs veis spin offs mas raramente s o criados indicadores de impactos imprevis veis Uma segunda categoria de impactos constitu da por todas as consequ ncias que afectam a curto ou m dio prazo as pessoas ou organiza es que n o s o benefici rios directos Estes impactos podem ser semelhan
279. rte importante do processo de avalia o prefer vel gerir a comunica o como um processo cont nuo uma oportunidade de di logo e acumula o de conhecimentos em vez de apostar todos os esfor os de comunica o num grande exerc cio de dissemina o nico ap s a elabora o de um relat rio final A comunica o dever por conseguinte incluir e Uma melhoria do conhecimento do trabalho de avalia o a ser implementado e Transmiss o de feedback relativamente aos resultados intercalares e Circula o e gest o de feedback relativamente aos relat rios e conclus es provis rios por ex instrumentos de recolha de dados e Comunica o dos resultados e conclus es da avalia o Melhorar a percep o e compreens o do trabalho de avalia o a ser implementado Quando a equipa de avalia o estiver definida til transmitir informa es sobre a calendariza o e metodologia s partes interessadas O per odo de inicia o deve utilizar se como uma oportunidade de explicar a abordagem planeada e de trocar opini es relativamente utilidade das quest es de avalia o e ao xito prov vel das propostas apresentadas Al m das informa es formais transmitidas s partes interessadas talvez atrav s da Comiss o Directiva a divulga o de informa es gerais junto do p blico e dos benefici rios por exemplo em forma de comunicados imprensa ou informa es acerca de websites tamb m poder representar
280. rticular Esta medida ir garantir que por exemplo os gestores de PME vejam as suas quest es de avalia o como estando inclu das na agenda da avalia o e por conseguinte percepcionem os resultados como sendo importantes para eles mesmos e S o dadas garantias de que todos os que colaboram ir o obter feedback Poder assumir a forma de um relat rio dispon vel publicamente de uma carta de feedback com um resumo ou um convite para uma reuni o de discuss o de feedback ap s a conclus o da avalia o A qualidade dos dados e a disponibilidade dos guardi es dos parceiros e dos benefici rios para cooperar ser um factor determinante para a qualidade dos dados e em ltima inst ncia da avalia o como um todo Vale a pena prestar aten o e proceder ao planeamento como parte integrante da recolha dos dados e selec o dos m todos Dados quantitativos e qualitativos J se destacou a import ncia de nos basearmos num conjunto completo de m todos e t cnicas de avalia o incluindo os quantitativos e qualitativos em simult neo Agora descrevem se resumidamente algumas das caracter sticas dos dados em termos dos seus factores diferenciadores qualitativos e quantitativos Em primeiro lugar essencial reiterar a import ncia de se estabelecer uma distin o entre dados recolhidos e dados analisados Como j foi referido necess rio que praticamente todos os dados sejam produzidos e processados para pode
281. s Os indicadores de impacto s o indispens veis na avalia o mas s o dif ceis de conceber e de quantificar A excep o do n mero de empregos criados particularmente raro encontrarem se indicadores de impacto gen ricos na programa o de documentos apresentam se alguns exemplos na Caixa Exemplos de indicadores de impacto gen ricos Caixa Exemplos de indicadores de impacto gen ricos 128 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Ac es Grupos de impactos Indicadores Gen ricos Investimentos industriais ZA R Moderniza o do sector do artesanato Diversifica o Sectorial Valor acrescentado gerado em sectores em crescimento Capital de risco paraas PME ES SEX lt A ER DRA P a Internationaliza o S das PMEs Inova o N mero de inova es em unidades econ micas apoiadas Desenvolvimento REAd N das empresas em Avalia o da qualidade A utilidade de indicadores muito maior se a sua qualidade aumentar constantemente A avalia o desempenha um papel importante na avalia o da qualidade dos sistemas de indicadores e na recomenda o de formas de os melhorar Embora n o haja um m todo normalizado para realizar este controlo de qualidade prop e se uma abordagem com base nos crit rios que se seguem divididos em dois grupos crit rios de qualidade aplic veis a cada um dos indicadores e crit rios de qualidade a todo o siste
282. s e A avalia o das interven es da justi a criminal e dos direitos humanos conforme previsto em diversas interven es da agenda pol tica em rela o justi a liberdade e seguran a da Comiss o no per odo p s Tampere tem tend ncia para acompanhar as altera es a n vel de resultados ao longo do tempo ex em termos de migra o e asilo analisando dados administrativos e realizando estudos de cidad os tanto na UE como em pa ses terceiros ex as potenciais v timas de tr fico humano e A avalia o das interven es activas de pol ticas de mercado de trabalho e de educa o e forma o recorre a inqu ritos aos benefici rios e estudos por pain is ou por coorte que permitem acompanhar os impactos a curto e longo prazo dos programas As avalia es nestas reas de pol tica tamb m utilizam em grande medida m todos experimentais No Manual T cnico descreve se uma gama mais completa de temas e prioridades de pol ticas em termos de tipos de m todos de avalia o dados e indicadores que se aplicam geralmente E necess rio no entanto repetir o alerta lan ado anteriormente Os avaliadores que trabalham intensivamente em determinadas reas pol ticas tais como o ambiente transportes recursos humanos ci ncia e tecnologia e desenvolvimento de PMEs t m tend ncia a ficarem presos a determinados m todos e t cnicas Muitas 109 EVALSED A Avalia o do Desenvolvimento Socioecon mico O
283. s Estes actores s o vistos como parceiros no sector do desenvolvimento socioecon mico De facto em muitos programas socioecon micos que adoptam uma abordagem de desenvolvimento local estes parceiros assumem a lideran a na defini o de prioridades concebendo programas e implementando e eventualmente gerindo as realiza es do programa Estando comprometidos com a mudan a estrutural e sist mica os programas de desenvolvimento socioecon mico nem sempre conseguem alcan ar os seus objectivos de longo prazo num nico per odo de programa o Al m disso uma vez que possuem ambi es a longo prazo estas pol ticas e estes programas preocupam se normalmente com a sustentabilidade e a viabilidade dos resultados do desenvolvimento Ser por essa raz o que geralmente os programas de desenvolvimento socioecon mico n o s incluem resultados ou realiza es convencionais como sejam sistemas de transportes optimizados ou novos cursos de forma o mas incluem igualmente objectivos relacionados com a reforma das disposi es institucionais e das capacidades administrativas que garantam a sustentabilidade destes resultados para as gera es futuras relacionar directamente estas caracter sticas do desenvolvimento socioecon mico com a avalia o A Caixa Implica es das caracter sticas dos programas de desenvolvimento socioecon mico para a avalia o apresenta uma s ntese de algumas das principais rela es C
284. s fases mais precoces do planeamento E por isso importante incluir cl usulas acerca da forma como os resultados da avalia o ser o utilizados nos TdR Se houver envolvimento do utilizador por exemplo numa Comiss o Directiva ou de Acompanhamento isto deve ser mencionado iv Quest es de avalia o e de investiga o Foi referido que poss vel responder a diferentes quest es de avalia o e de pesquisa descritivas causais cr ticas prescritivas ou normativas e que podem utilizar se diferentes crit rios para formular as opini es de avalia o E importante definir as quest es de avalia o mas tamb m importante limitar o n mero de quest es que a avalia o tem como objectivo responder Centrar a avalia o numa lista de quest es limitada mas relevantes para o requerente garante um melhor controlo de qualidade v Conhecimentos dispon veis Os TdR devem incluir uma revis o do actual estado da arte sobre o programa e os seus efeitos Esta dever incluir extractos ou refer ncias sobre documentos de programa o listas de an lises anteriores e avalia es com extractos relevantes uma descri o do sistema de monitoriza o implementado quantifica o dos indicadores e os diversos relat rios e bases de dados dispon veis junto dos servi os de gest o da interven o Este invent rio importante para que as equipas de avalia o possam ajustar os seus m todos propostos vi Principais m todo
285. s ou t cnicas de avalia o Aqui centramo nos sobretudo nas ra zes ou alicerces subjacentes a estes m todos e ferramentas Descrevem se cinco grandes perspectivas metodol gicas e de seguida a forma como estas se encontram ligadas a escolas filos ficas mais gerais discutidas na maioria das ci ncias econ micas e sociais aplicadas Muitas destas discuss es filos ficas destacam a centralidade da teoria na avalia o que se tem tornado cada vez mais importante ao longo dos ltimos anos Por isso procede se a uma revis o breve dos motivos pelos quais a teoria importante para a avalia o do desenvolvimento socioecon mico e das diferentes formas que este pode assumir Estes alicerces metodol gicos e filos ficos s o a base de algumas das principais categorias ou fam lias de m todos que se discutir na sec o do GUIA A Selec o de M todos e T cnicas e que s o aqui apresentados Os eixos metodol gicos Em termos de metodologia observando as diferentes abordagens de avalia o descritas acima poss vel distinguir cinco posi es metodol gicas e A posi o de atribui o de recursos que diz respeito utiliza o eficiente dos recursos tanto prospectivamente em termos de planeamento como retrospectivamente em termos da forma como os recursos s o utilizados e Os padr es ou alvos que est o relacionados com a avalia o do sucesso e do desempenho de acordo com a aplica o de determinados crit ri
286. s rias da equipa Estrutura da proposta Regras de submiss o e crit rios de adjudica o 50 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA i Enquadramento regulamentar necess rio explicitar o enquadramento legal contratual e institucional de um programa Isto inclui por exemplo regulamenta es das autoridades nacionais ou da Uni o Europeia Dever esclarecer se se determinada avalia o obrigat ria e legalmente necess ria ou se executada porque os gestores do programa a perspectivam como sendo importante Os TdR dever o especificar quem iniciou o projecto de avalia o e sempre que for relevante quem esteve envolvido na formula o do resumo da avalia o Tamb m se dever especificar os motivos e as inten es subjacentes Por exemplo a inten o uma altera o da mudan a de pol tica Em caso afirmativo porqu A inten o modificar os procedimentos de implementa o A inten o redistribuir fundos ii mbito da avalia o J foi referida a import ncia de se definir o mbito da avalia o Os TdR devem esclarecer o projecto programa pol tica tema a avaliar o per odo em apre o o ponto do ciclo pol tico programa no qual se define a avalia o e a rea geogr fica de refer ncia do estudo iii Principais utilizadores e partes interessadas no estudo Foi real ada a import ncia de identificar a utiliza o e os utilizadores da avalia o na
287. s causais priorit rio neste tipo de avalia o E necess rio verificar se a avalia o analisa de forma adequada as rela es de causa e efeito nas quest es mais essenciais Dados fidedignos Os avaliadores utilizam dados existentes dados secund rios do sistema de monitoriza o e de outras fontes de informa o ou ent o dados prim rios recolhidos para a avalia o Neste caso os m todos utilizados para recolher e processar os dados escolha e aplica o das ferramentas utilizadas para este efeito constituem factores muito importantes para a fiabilidade e validade dos resultados 67 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Para avaliar a fiabilidade dos dados utilizados necess rio verificar se e as fontes de informa o dispon veis e a fiabilidade destes dados foram identificadas e Os estudos pr vios e fontes de informa o retiradas do sistema de monitoriza o foram utilizados de forma ptima e as t cnicas utilizadas para recolher os dados seleccionados foram exaustivas e adequadas para responder s quest es de avalia o Independentemente de a recolha de dados ter utilizado t cnicas quantitativas ou qualitativas ou uma combina o das duas necess rio questionar se e a combina o de dados qualitativos e quantitativos adequada a uma an lise v lida do fen meno e as popula es utilizadas na recolha de dados foram correctamente definidas e as amostras
288. s com a formula o de pol ticas e pr ticas implementadas e onde existir consequentemente uma bacia de capacidades qual se pode recorrer para aumentar a oferta de avaliadores num prazo relativamente curto No entanto mesmo nesses pa ses isso poder implicar transforma es culturais entre todos os que est o habituados a um ritmo e a um estilo de investiga o mais acad mico Nestes casos o aumento da oferta de avalia o levar algum tempo a mobilizar se come ando talvez com workshops e semin rios de sensibiliza o passando posteriormente a tarefas espec ficas de pequena escala que permitir o aos potenciais avaliadores testar novas formas de trabalhar num ambiente pol tico 89 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Consultores independentes incentivar novos prestadores Em diversas reas da avalia o existe um mercado internacional para a avalia o Este o caso dos processos de avalia o de desenvolvimento socioecon mico Existem grandes consultoras internacionais que se candidatam a concursos de avalia o numa diversidade de pa ses e n o apenas no local onde se encontram sediadas Est por isso a tornar se cada vez mais frequente que os novos operadores a entrar em novos mercados de avalia o sejam provenientes destas consultoras internacionais Estes possuem o potencial para importar uma ampla experi ncia espec fica em termos internacionais e de pol tica be
289. s de planeamento e avalia o por exemplo avalia o de impactos t cnicas de planeamento de projecto e outras vias de identifica o divulga o e implementa o de boas pr ticas por exemplo consulta p blica descentraliza o nos parceiros locais Ao mesmo tempo n o se pode ignorar potenciais obst culos institucionaliza o da avalia o e Em primeiro lugar conforme se tem vindo a destacar nesta sec o do GUIA a avalia o mais s lida quando vista como parte integrante do desenvolvimento institucional e da reforma do sector p blico Se n o se cumprir com estas altera es organizacionais e culturais em simult neo ser mais dif cil institucionalizar a avalia o e Em segundo lugar um processo de institucionaliza o coerente exige recursos financeiros e humanos A institucionaliza o pode ser minada se houver um investimento insuficiente nas capacidades e nos sistemas de gest o das unidades de avalia o especializadas e Em terceiro lugar o empenhamento pol tico de alto n vel igualmente essencial no processo de institucionaliza o da avalia o Este particularmente o caso quando o processo inevitavelmente moroso e necessita de ser desenvolvido por fases As altera es de direc o sempre que ministros ou oficiais mudam podem constituir um grande obst culo ao desenvolvimento bem sucedido das capacidades de avalia o Como noutras sec es do GUIA apresentamos de seguida um re
290. s e t cnicas a utilizar Cada avalia o ter os seus pr prios m todos espec ficos em princ pio os mais relevantes para o seu mbito e para o seu conte do Geralmente n o uma boa pr tica especificar integralmente os m todos e as abordagens mas antes deixar uma margem de manobra consider vel para que os proponentes de uma avalia o possam indicar de que forma pretendem proceder Para os requerentes de uma avalia o a prioridade consiste em especificar o que consideram ser as suas necessidades em termos de resultados como por exemplo obter respostas face s quest es chave Poder o ou n o 51 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA especificar m todos particulares consistentes com as suas inten es como por exemplo a necessidade de um inqu rito aos benefici rios A escolha recai por norma na manuten o de um grau de flexibilidade suficientemente grande que permita aos que respondem aos TdR se possam diferenciar em termos de relev ncia e clareza nas suas propostas metodol gicas Este aspecto particularmente importante na fase de selec o uma vez que avaliar as qualidades metodol gicas das propostas uma etapa crucial para seleccionar o avaliador adequado Sempre que poss vel do ponto de vista administrativo o melhor procedimento quanto a este aspecto consiste em estabelecer um or amento ver abaixo e descrever apenas as principais linhas metodol gicas dos TdR para dep
291. s experimentais s o considerados importantes No entanto a natureza diversificada e de abordagem ascendente das interven es socioecon micas a forma como estas se combinam em determinada configura o e os diferentes locais e contextos onde decorrem os programas dificultam a aplica o das experi ncias tradicionais excepto em circunst ncias muito pouco habituais E por isso que o racioc nio realista com destaque para a influ ncia do contexto sobre os resultados se tornou mais comum nestes tipos de avalia o Coloca se assim algumas quest es mais complexas o que que funciona para quem como e em que circunst ncias Os m todos e t cnicas adequados para o efeito implicam normalmente uma compara o entre os diferentes casos seleccionados para evidenciar interven es alternativas e contextos alternativos Estas compara es podem basear se em estudos de caso bases de dados que estruturam configura es de interven es resultados contextos ou uma s rie de outras t cnicas com capacidade para captar e descrever estes diferentes aspectos de desenvolvimento socioecon mico Entre a comunidade de avalia o geralmente aceite que os conhecimentos fi veis raramente decorrem de uma nica avalia o Existe por isso um interesse crescente em realizar estudos de s ntese e diversos tipos de meta an lise que procuram reunir as informa es de um grande n mero de avalia es medida que estas v o estando dispon
292. s experimentais na intersec o da produ o de conhecimento como objectivo com as metodologias que procuram oferecer explica es Avalia es participativas na intersec o do refor o institucional ou das redes como objectivo com as metodologias de desenvolvimento social organizacional Estes tipos n o podem ser aplicados de forma r gida mesmo que isso ajude a posicion los de forma aproximada Por exemplo a avalia o formativa tamb m pode ajudar a refor ar as institui es e contribuir para que a equipa de gest o cumpra as metas e as avalia es alocativas econ micas podem contribuir para os fins de responsabilidade e produ o de conhecimento bem como para o planeamento e decis es ex ante relativamente efici ncia Por m estes tipos captam algumas das principais correntes de pensamento sobre a avalia o e o desenvolvimento socioecon mico Referimos por exemplo a import ncia da gest o do desempenho da participa o e do refor o das capacidades E todos estes factores se encontram integrados nos tipos de avalia o identificados neste mbito 23 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Estes cinco tipos de avalia o oferecem um ponto de partida til para a discuss o de m todos e t cnicas na sec o A Selec o de M todos e T cnicas do GUIA e dos Manuais T cnicos que o acompanham Uma distin o importante destaca se nesta diversidade de finalidades m todos e t
293. s forem desenvolvidas em colabora o com os actores locais Decis es sobre os recursos essenciais As avalia es tamb m podem ser vistas como uma tentativa de cr tica retrospectiva das escolhas dos gestores dos programas Em muitos casos t m a sensa o de que j sabem a maior parte do que os avaliadores lhes v o dizer Torna se por essa raz o importante logo partida envolver as autoridades pol ticas ou pelo menos a gest o de topo juntamente com os principais parceiros externos do programa no planeamento da avalia o Isto n o significa envolv los nas decis es mais t cnicas mas sim assegurar que estes t m a possibilidade de exercer influ ncia em rela o s quatro quest es fundamentais que se seguem e Quais as raz es da avalia o e Quem o respons vel pelo exerc cio geral e Quanto despender no estudo e Quem ir realizar o trabalho a Quais as raz es da avalia o Esta a quest o mais fundamental Como j foi referido existem diferentes finalidades gerais poss veis num estudo de avalia o existem diferentes objectivos espec ficos e existem diferentes quest es de avalia o poss veis Assegurar que os decisores de topo bem como os parceiros mais relevantes do programa partilham a escolha que se reflecte nos termos de refer ncia proporciona uma maior credibilidade a todo o exerc cio b Quem o respons vel Envolve e os membros do Comit Directivo e os respons veis pe
294. s programas e que os avaliadores necessitam de ter em considera o A sec o dedicada concep o e implementa o da avalia o explora v rias quest es pr ticas relacionadas com a concep o e implementa o das avalia es Come a por analisar quest es relacionadas com a concep o da avalia o incluindo o seu planeamento a defini o de quest es de avalia o e a selec o dos m todos mais adequados bem como a encomenda e a implementa o de um trabalho de avalia o De seguida aborda quest es relacionadas com a gest o do processo de avalia o ap s a fase da sua concep o o que inclui a selec o de avaliadores e a fun o das Comiss es de Acompanhamento que dever o gerir as vias de comunica o entre todas as partes envolvidas bem como assegurar um elevado n vel de qualidade da avalia o A sec o dedicada capacita o administrativa e institucional aborda diversas quest es relacionadas com o desenvolvimento das capacidades institucionais de avalia o e as estrat gias que se poder o adoptar para o seu refor o O conceito central desta parte do Guia estrutura se em torno de um modelo idealizado que sugere quatro etapas no desenvolvimento das capacidades incluindo uma discuss o sobre as capacidades internas das administra es bem como as capacidades externas das parcerias e das redes profissionais A sec o a selec o de m todos e t cnicas apresenta um vasto conjunto de m
295. s resultados internos para proporcionar feedback aos respons veis pela implementa o dos programas Muitos destes m todos e t cnicas ser o baseados em estudos organizacionais e de pol tica Poder fazer se compara es entre o desempenho das diferentes unidades administrativas por exemplo no sentido de saber se as diferentes regi es ou munic pios est o a evoluir mais ou menos Os estudos de caso das disposi es organizacionais e de parceria ir o ajudar a compreender as for as e as fraquezas das diferentes abordagens de implementa o Geralmente estes tipos de m todos implicam o que se designa de m todos e t cnicas de avalia o formativa Estes colocam um destaque particular sobre o avaliador no sentido de proporcionar feedback de formas que ser o teis e que ir o ajudar os gestores de programa a transformar os dados emergentes em ac es pr ticas 112 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e No que diz respeito produ o de conhecimento os m todos estar o mais pr ximos dos utilizados pelos investigadores acad micos Estes estar o sujeitos a exig ncias de maior rigor representatividade e interpreta o cuidada dos resultados sobretudo nos casos em que estes possam ser inconsistentes Normalmente para efeitos de produ o de conhecimento os avaliadores t m que responder quest o O que que funciona Numa perspectiva positivista esta seria uma rea onde os m todo
296. sabilidade entre os diferentes actores ao n vel europeu nacional e regional e pelo alargamento ao coordenador da parceria A gama de potenciais interessados na avalia o alargou se assim no sentido de incluir por exemplo autoridades locais parceiros sociais e grupos da sociedade civil A reforma dos Regulamentos dos Fundos Estruturais ver Anexo B para a terceira gera o de programas 2000 2006 ao mesmo tempo que devolve muitas das obriga es de avalia o s autoridades respons veis dos Estados membros exige que estas avalia es sejam utilizadas tanto numa fase ex ante como novamente numa fase intercalar A revis o das avalia es intercalares decorre at s avalia es finais Esta combina o de responsabilidades delegadas com escrut nio externo por estruturas de governa o mais elevadas comum em avalia es nacionais do desenvolvimento socioecon mico Ao longo dos ltimos anos surgiu igualmente uma forte tend ncia para a reforma da administra o p blica e a introdu o de conceitos de gest o de efici ncia em diversos pa ses europeus bem como na pr pria Comiss o Europeia ver Sound and Efficient 15 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Management conhecido como SEM 2000 e o relat rio Spending more Wisely Implementation of the Commissions Evaluation Policy Recentemente este processo avan ou estabelecendo a rela o entre as decis es financeiras e
297. sde ent o contudo muitas coisas mudaram Especificamente conforme ilustrado na Caixa Normas Directrizes e C digos de Etica cada vez mais pr tica comum definir normas de boas pr ticas na avalia o Estas foram elaboradas por organismos internacionais tais como a OCDE Governos Nacionais por exemplo o Departamento Italiano de Economia e Finan as ou associa es profissionais tais como associa es nacionais de avalia o Muitos deles decorrem de esfor os anteriores realizados nos Estados Unidos pela American Evaluation Association AEA Guiding Principles for Evaluators 1992 e o Joint Committee on Standards for Educational Evaluation Program Evaluation Standards 1994 Caixa Normas Directrizes e C digos de tica USA Program Evaluation Standards 1994 Joint Committee on Standards for Educational Evaluation Program Evaluation Standards Deutsche Gesellschaft fr Evaluation DeGEval Standards fr Evaluation 2001 Soci t canadienne d valuation SC Lignes directrices en mati re d thique Guideline for Ethical Conduct Switzerland SEVAL Evaluation Standards The African Evaluation Guidelines 2000 American Evaluation Association AEA Guiding Principles for Evaluators Australasian Evaluation Society AES Guidelines for the Ethical Conduct of Evaluations UK Guidelines for good practice PUMA Best Practice Guidelines Italy Treasury Guidelines A Caixa Normas Dire
298. se limitar a avalia o ao financiamento atribu do no mbito do ciclo de programa o em causa ou em certa medida incluir o financiamento de ciclos anteriores 39 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA normalmente til adoptar uma defini o relativamente rigorosa do mbito da avalia o A experi ncia mostra que durante o processo de avalia o as partes interessadas podem querer analisar quase tudo Para obter conclus es a avalia o dever limitar se a uma an lise do programa e das suas interdepend ncias mais essenciais relativamente a outras pol ticas e interven es p blicas Este risco de alargamento do mbito particularmente elevado no caso das avalia es ex ante Estas podem tornar se exerc cios de previs o ou especula o muito afastados do objecto da avalia o Numa avalia o ex ante melhor limitar rigorosamente o mbito da avalia o s propostas do programa Os requerentes da avalia o n o est o muitas vezes dispostos a restringir o mbito da avalia o s quest es que pretendem cobrir Uma poss vel contribui o dos avaliadores consiste em identificar as quest es mais centrais para o xito do programa como resultados prov veis das teorias dos programas de desenvolvimento que identificam a l gica de interven o e as cadeias de implementa o Por vezes a melhor forma de estabelecer prioridades entre as quest es de avalia o e o enfoque
299. serem alcan ados ser necess rio basear se em primeiro lugar nos dados do sistema de monitoriza o e ainda e na avalia o ex ante e sobretudo no diagn stico realizado relativamente ao contexto socioecon mico prevalecente antes do in cio do programa e que necess rio actualizar e na avalia o ex post do programa anterior cujas conclus es relativamente s mesmas reas de interven o podem servir como base de refer ncia A avalia o ex post baseia se em dados de gest o e de monitoriza o e em estudos de campo que ajudam a observar e a analisar os impactos reais e sustent veis das interven es Baseia se na avalia o ex ante na medida em que tem que reportar o alcance dos objectivos Baseia se na avalia o interm dia sobretudo para identificar o sucesso ou os fracassos identificados nesta fase No que diz respeito ao facto de a avalia o necessitar de retirar conclus es da experi ncia de programas anteriores para melhorar programas futuros uma solu o interessante consiste em definir um plano de avalia o plurianual conforme recomendado pela Comiss o Europeia para o per odo 2007 2013 e para os novos 145 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Estados membros em 2004 2006 A ideia consiste em identificar as diferentes avalia es poss veis e em definir a sua data e o seu conte do relativamente aos prazos e s agendas pol ticas para efeitos de tomada
300. socioecon mico como objecto de avalia o Por exemplo e Muitas das pol ticas e dos programas por exemplo desenvolvimento sustent vel empreendedorismo etc constituem objectos comp sitos complexos Por isso o desenvolvimento sustent vel agrega recursos econ micos e sociais bem como recursos naturais e capacidades humanas A sociedade da informa o e do conhecimento combina elementos organizacionais tecnol gicos e institucionais A avalia o destes elementos coloca problemas metodol gicos relativamente forma como se deve definir o objecto bem como relativamente ao modo de ajuizar se as melhorias ou as metas foram alcan adas e Nos Fundos Estruturais europeus e noutras interven es de desenvolvimento socioecon mico as prioridades horizontais s o refor adas adicionalmente por pol ticas transversais e muitas iniciativas socioecon micas requerem a integra o de recursos medidas e mecanismos de implementa o Estas iniciativas baseadas em diversas medidas decorrem em contextos sobrepostos que podem ser espaciais institucionais ou sectoriais Avaliar medidas integradas e a forma como as suas partes integrantes interagem faz parte da complexidade que caracteriza os programas de desenvolvimento socioecon mico e Devido em parte ao facto de os objectos comp sitos e integrados estarem sujeitos a avalia o dever colocar se muitas vezes o problema da escolha da unidade de an lise mais adequada Esta parcialm
301. sos existentes em determinadas actividades Tamb m podem utilizar se para demonstrar a exist ncia de potencial de novas actividades sobretudo nos casos em que a base de compara o reside noutro territ rio ou regi o com algumas caracter sticas id nticas ao local onde est a ser planeado o desenvolvimento Modelos estat sticos e macroecon micos mais sofisticados tamb m permitir o estabelecer compara es com contextos id nticos territ rios ou sectores semelhantes talvez noutros pa ses que podem utilizar se para efeitos explicativos numa fase posterior do desenvolvimento Considerando a import ncia dos parceiros no planeamento e oferta de programas de desenvolvimento socioecon mico s o teis m todos que permitam o envolvimento dos parceiros numa fase inicial Estes poder o incluir desde focus groups com m todos consultivos ou participativos consultas locais reuni es p blicas etc at t cnicas mais 114 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA formais como uma an lise SWOT realizada junto de diferentes grupos de parceiros para mostrar o que consideram ser importante alterar e com que objectivos Apesar de muitos dos conte dos do estabelecimento de prioridades decorrerem do sistema pol tico tamb m poss vel utilizar m todos que permitem aprofundar as considera es do que necess rio incluindo por exemplo o mapeamento de quest es ou o mapeamento de conceitos que per
302. ssuem os seus pr prios crit rios de efic cia do programa poder o n o estar em conformidade com os dos criadores do programa e dos decisores t cnicos e Os efeitos perversos que n o sejam simplesmente n o pretendidos mas que podem de facto estar em contradi o com as inten es do programa reduzindo as oportunidades em vez de as aumentar e exportando o emprego em vez de o criar e e Os resultados sugeridos por outra investiga o e avalia o possivelmente com base em teorias de desenvolvimento socioecon mico ou em experi ncias comparativas de outros pa ses Isto constitui por isso um argumento para que a avalia o n o seja exclusivamente orientada para os objectivos mas que por vezes se encontre ao lado da l gica dos programas e adopte uma natureza independente e inclusivamente cr tica Esta n o contudo uma justifica o para ignorar os objectivos do programa mas antes um argumento para ir mais longe na prossecu o da aprendizagem e da melhoria do programa Um conjunto de conceitos normalmente aplicado s avalia es decorre da teoria econ mica incluindo e Adicionalidade a interven o foi suplementar quilo que decorreria noutras circunst ncias e In rcia a interven o gerou realiza es resultados e impactos que teriam de qualquer forma decorrido e Desloca o a interven o causou redu es do desenvolvimento socioecon mico noutros locais A avalia o pode contribuir para
303. st o mais preocupadas em satisfazer as expectativas do requerente A escolha global n o dever depender tanto das origens institucionais da equipa de avalia o mas sim das compet ncias pretendidas i e da sua experi ncia das suas capacidades e dos seus conhecimentos pr vios Tamb m dever solicitar se aos proponentes que indiquem de que forma as diferentes experi ncias capacidades e conhecimentos numa equipa ser o integradas e incentivadas de modo a funcionar em conjunto x Estrutura da proposta Para facilitar a adjudica o e de modo a proporcionar orienta o aos potenciais candidatos os TdR deve especificar de que modo a proposta dever ser estruturada indicando possivelmente o n mero m ximo de p ginas para cada uma das sec es do documento xi Regras de submiss o e crit rios de adjudica o A proposta dever indicar o prazo a forma de envio correio fax e mail per odo de validade da proposta etc Tamb m dever indicar os crit rios de aprecia o das propostas Os TdR devem especificar por exemplo em pontos percentuais a import ncia relativa atribu da e qualidade da abordagem metodol gica e s qualifica es e experi ncia pr via da equipa e aos custos obviamente importante que estes crit rios de selec o sejam aplicados sistematicamente ap s a recep o das propostas 53 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA 2 2 A implementa o e
304. ste GUIA Como forma de apoio ao GUIA tamb m foi preparada uma s rie de Manuais T cnicos de particular interesse para especialistas e profissionais da rea O Manual T cnico intitula se Temas e reas de Pol tica Considera prioridades tem ticas importantes tais como o desenvolvimento sustent vel a sociedade da informa o a inclus o social e a igualdade de oportunidades bem como o conjunto das reas de pol tica no mbito das quais s o implementadas as interven es com vista promo o do desenvolvimento socioecon mico S o apresentados e descritos os tipos de m todos de avalia o dados e indicadores adequados a esses temas e reas de pol tica e fornece se alguns exemplos da sua aplica o O Manual T cnico Il M todos e T cnicas de Avalia o inclui a an lise pormenorizada de um vasto conjunto de ferramentas e t cnicas tanto quantitativas como qualitativas que se consideram adequadas em diferentes fases do processo de avalia o O Manual T cnico Ill Capacita o Administrativa e Institucional para a Avalia o inclui estudos de caso sobre o desenvolvimento das capacidades de avalia o na UE nomeadamente na It lia Holanda e Irlanda e refer ncias a outras experi ncias regionais nacionais e internacionais incluindo os pa ses aderentes Servem para ilustrar as orienta es apresentadas no GUIA e t m como objectivo incentivar o desenvolvimento das capacidades de avalia o
305. stores ou requerentes de avalia es consiste em reunir uma equipa adequada ou um conjunto de compet ncias que poder representar uma s ntese de todas estas tradi es este assunto aprofundado na sec o Concep o e Implementa o do GUIA em que se discute o perfil da equipa de avalia o e a selec o dos avaliadores mais adequados A um n vel sist mico por exemplo a n vel nacional ou europeu em geral uma das principais fun es da constru o de capacidades de avalia o construir pontes entre estas diferentes partes das comunidades de avalia o profissionais Confer ncias redes e organiza es profissionais que re nem os avaliadores constituem uma forma de aumentar a familiaridade entre todos aqueles que prov m de diferentes tradi es bem como uma forma de transferir e partilhar know how conhecimentos e experi ncias este aspecto tamb m desenvolvido em profundidade na sec o Concep o e Implementa o do GUIA Apesar das diferen as existentes nas origens e tradi es da avalia o poss vel distinguir alguns dos principais tipos de avalia o Estes t m tend ncia para ocorrer em torno de dois eixos principais O primeiro eixo relaciona se com os objectivos da avalia o e o segundo est relacionado com as metodologias de avalia o Os principais objectivos da avalia o As avalia es contribuem sempre para um objectivo mais vasto que consiste em contribuir em particular pa
306. sumo das principais li es retiradas em termos de regras de ouro que se destinam a todos os que procuram refor ar as capacidades de avalia o 3 9 Regras de ouro 1 A avalia o ter maior utilidade e aplica o quando estiver plenamente integrada enquanto fun o em sistemas de apoio administrativo e institucional que procuram igualmente incluir parceiros da sociedade civil E isto que se entende como capacidade de avalia o 2 A capacidade de avalia o poder desenvolver se organicamente ao longo do tempo mas na maioria dos contextos nacionais e internacionais necessita de ser devidamente planeada conscientemente introduzida e ser provida dos recursos adequados 3 O princ pio da independ ncia e da imparcialidade constitui um princ pio essencial a integrar nas fun es de avalia o considerando os interesses adquiridos que podem influenciar a execu o das avalia es e as suas conclus es 4 A capacidade de avalia o constitu da por elementos a n vel individual organizacional inter organizacional e societal que dever o refor ar se mutuamente A capacidade de avalia o dever ser concebida como um sistema 5 As actividades de avalia o devem ser coordenadas de uma forma transversal a todos os n veis das administra es de modo a garantir a coer ncia e a proporcionar uma base de sustenta o para o desenvolvimento de capacidades e para a profissionaliza o Ao mesmo tempo os procedimentos
307. tem requisitos para que os processos de avalia o decorram de acordo com um enquadramento legislativo pol ticas articuladas e no mbito de actividades reguladoras por exemplo auditorias ou revis es parlamentares Existe um mercado bem definido com regras claras para que as potenciais entidades de avalia o possam organizar se para responder a concursos concluir trabalhos de avalia o atempadamente desenvolver conhecimentos especializados sectoriais e t cnicos e compreender as prioridades das pol ticas e os clientes dos programas Existe uma cultura de avalia o que valoriza elevados padr es profissionais a independ ncia a aprendizagem com a experi ncia e as pol ticas constitu das com base em factos concretos A n vel societal Mant m se um di logo aberto e sistem tico entre os decisores pol ticos e os especialistas da avalia o no sentido de identificar e escrutinar as prioridades da avalia o Existe uma comunidade de avalia o pr tica cujos membros podem trabalhar em universidades ou consultoras ou ent o trabalhar como consultores e agentes de avalia o independentes partilhando no entanto as mesmas normas e c digos de tica Existem associa es de avalia o que agregando em torno de si todos os que requerem prestam utilizam a avalia o refor am uma cultura de avalia o disseminam boas pr ticas e contribuem para salvaguardar a independ ncia das fun es de avalia o e dos s
308. tenta alcan ar e relativamente forma como o faz A import ncia das quest es de avalia o no processo de concep o da avalia o n o pode ser sobrevalorizada Antes pelo contr rio existe a tenta o de recolher grandes quantidades de dados e de produzir por vezes indicadores tecnicamente sofisticados que contribuem muito pouco para a aplica o pr tica ou pol tica Existe obviamente um problema na formula o das quest es de avalia o de tal forma que prov vel dar lhes uma resposta Embora esta seja uma quest o t cnica e esta parte do GUIA tenha apresentado sugest es relativamente forma adequada de formula o das quest es tamb m existe uma preocupa o constante com a utiliza o Dever procurar colocar quest es que algu m considerar teis No entanto a utiliza o n o deve definir se de forma demasiado restrita N o nos referimos s utiliza o instrumental da avalia o que os gestores possuem Tamb m nos referimos a poss veis formas de utiliza o da avalia o por grupos de cidad os e da sociedade como forma de apoiar os processos democr ticos e a responsabiliza o Especific mos com algum pormenor o conte do e a forma de um documento ideal de Termos de Refer ncia para uma avalia o Isto faz parte da quest o geral da concep o e as escolhas que poder adoptar se na fase de concep o podem influenciar a qualidade e a orienta o de toda uma avalia o E importante
309. tes No final do ciclo de avalia o as avalia es ex post devem contribuir para a revis o das pol ticas Colocar estes dois ciclos em paralelo seria o ideal mas isto nem sempre acontece As avalia es ex ante podem decorrer demasiado tarde para contribuir para a concep o dos programas e menos ainda para a formula o de pol ticas Os resultados das avalia es ex post podem ser obtidos demasiado tardiamente para contribuir para a revis o das pol ticas As altera es de pol tica e programa o tamb m podem decorrer sempre que estiver a ser executada uma avalia o comum em programas nacionais e europeus de desenvolvimento socioecon mico Isto pode por exemplo conduzir EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA altera o dos objectivos ou prioridades ap s a configura o dos sistemas para medir os resultados e inclusivamente ao encerramento de determinados projectos ou interven es objecto de avalia o Uma das vantagens do envolvimento de decisores pol ticos e agentes de planeamento na concep o da avalia o consiste em operar uma aproxima o entre todas estas actividades interligadas Em geral este GUIA est particularmente interessado na avalia o de programas mais do que na avalia o de pol ticas embora n o seja em muitos casos tarefa f cil separ los Esta quest o torna se particularmente relevante numa era que se designa frequentemente a da pol tica
310. tes por exemplo o aumento da qualidade de vida das pessoas que vivem pr ximo de uma zona industrial devoluta reabilitada o aumento da qualidade das praias junto a um centro de tratamento de res duos ou poder o alastrar a pessoas ou organiza es que n o se encontram ao abrigo do programa como o caso dos impactos macroecon micos Pode dividir se os mecanismos de propaga o de impactos em duas categorias efeitos de mercado por exemplo impacto sobre os prestadores ou subcontratantes das empresas assistidas e efeitos n o mercantis por exemplo o impacto positivo da imagem melhorada da regi o ou o impacto negativo da deteriora o do ambiente Uma vez que os efeitos n o mercantis ou externalidades n o se reflectem no sistema de pre os sobre o qual os actores socioecon micos individualmente baseiam as suas pr prias decis es e que estas decis es representam consequ ncias econ micas para outros actores ser particularmente til considerar estes efeitos no contexto de um programa p blico Devido ao fosso temporal ou sua natureza indirecta os operadores n o poder o reconhecer facilmente os impactos durante a sua gest o quotidiana do programa Os indicadores de impacto s o por isso quantificados apenas de vez em quando normalmente no decorrer de avalia es Uma forma de determinar os impactos realizar um inqu rito junto de benefici rios directos por exemplo um ano ap s abandonarem o programa As q
311. tica em nenhum destes pa ses Por exemplo a experi ncia de avalia o francesa evoluiu consideravelmente com os requisitos da reforma or amental que surgiram depois de 2000 Em muitos pa ses o enfoque e a escala da actividade de avalia o reflectiram as pol ticas de mudan a dos diferentes governos Por exemplo no Reino Unido a avalia o aumentou consideravelmente com a mudan a de governo em 1997 Os Fundos Estruturais europeus constitu ram um dos principais indutores de dissemina o da pr tica de avalia o em toda a UE Em cada uma das etapas do ciclo de programa o ex ante intercalar ex post existem objectivos e responsabilidades claros Reconhece se muitas vezes que a introdu o da avalia o em diversos pa ses do sul da Europa foi resultante dos requisitos das regulamenta es dos Fundos Estruturais Apesar de um in cio reservado em 1988 existe agora uma abordagem avalia o dos Fundos Estruturais sofisticada 13 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Esta abordagem inclui e uma obriga o legal das entidades financiadoras e dos gestores de programas para com a avalia o e responsabilidade partilhada entre os diferentes n veis hier rquicos do governo no processo de avalia o global e um processo de avalia o inter relacionado que decorre em diversas etapas ex ante intercalar ex post e envolvimento de diversos parceiros nos programas e na sua avalia
312. tico mais alargado Cada um dos programas de desenvolvimento socioecon mico prop e de certa forma os objectivos de um quadro mais alargado Os avaliadores poder o retirar crit rios destes quadros mais alargados a um n vel mais elevado bem como dos objectivos de programas espec ficos As parcerias da base para o topo s o importantes Os parceiros da base para o topo s o sempre importantes Por vezes articulam as necessidades e as prioridades atrav s de conhecimentos locais regionais e possuem frequentemente a voz dominante na concep o e implementa o A avalia o tem de aplicar m todos participativos e da base para o topo Sempre que os actores locais regionais s o dominantes e g desenvolvimento territorial local a avalia o deve suportar actividades de autogest o direc o Sustentabilidade Os programas dever o incluir altera es sist micas no sentido de apoiar a sustentabilidade dos seus resultados A avalia o dever centrar se nas altera es sist micas incluindo o desenvolvimento de capacidades que influenciam a sustentabilidade A caixa come a por explicar a raz o pela qual determinados assuntos aparecem em destaque neste GUIA A nfase dada ao registo da mudan a a longo prazo ao desenvolvimento de capacidades s interac es e sinergias entre as medidas e aos m todos participativos resulta directamente das caracter sticas dos prog
313. tiliza se cumulativamente diversas avalia es ou avalia es individuais em conjunto com outros dados e opini es de modo a informar debates e a influenciar a tomada de decis o O trabalho de avalia o estimula assim o processo de discuss o desafio e contra desafio dos dados e da sua interpreta o Mesmo quando os resultados de avalia o n o s o utilizados o processo de inicia o e reflex o da avalia o poder ser til na medida em que oferece oportunidades de trocar informa es clarificar o racioc nio e desenvolver enquadramentos A medida em que a avalia o utilizada e o seu impacto s o influenciados por uma s rie de factores Os processos organizativos da dissemina o O tempo e os recursos dispon veis para a dissemina o e o grau de acompanhamento do processo por todos os respons veis pelo trabalho influenciam a compreens o a comunica o e a utiliza o das conclus es A qualidade do trabalho de avalia o Sempre que os padr es de avalia o forem elevados n o poss vel negligenciar facilmente os resultados O envolvimento das partes interessadas nas diferentes etapas do ciclo de avalia o juntamente com os avaliadores e os administradores essencial para incentivar a utiliza o da avalia o O envolvimento dos directores e gestores s nior Ajuda a garantir que a atribui o de pol ticas e de recursos bem como a sua aplica o pr tica s o influenciadas pelas conclus
314. tir tempo dinheiro e esfor os na avalia o tem que se justificar em termos da diferen a que ir induzir no sucesso de pol ticas e programas a avalia o n o constitui um fim em si mesmo No desenvolvimento socioecon mico o que se pretende em termos de interven o pol tica optimizar as condi es econ micas e sociais de pessoas regi es ou sectores Evidentemente cada programa socioecon mico possui a sua pr pria filosofia espec fica em que por exemplo alguns dar o destaque reabilita o dos centros urbanos outros moderniza o de sectores industriais obsoletos ou em decl nio outros ainda integra o de grupos desfavorecidos e outros diversifica o em zonas rurais Todas estas prioridades entre muitas outras encontram se amplamente representadas nos programas dos Fundos Estruturais europeus No entanto a justifica o da avalia o em todos estes casos a mesma poder se aplicar m todos e processos de avalia o de uma forma que venham efectivamente a optimizar a qualidade de vida a prosperidade e as oportunidades disposi o dos cidad os De modo a que possa efectuar altera es efectivas a esse n vel necess rio que a avalia o coloque quest es e forne a respostas relevantes para as partes interessadas nos programas quer sejam administradores decisores pol ticos ou benefici rios A contribui o da avalia o de programas potencialmente superior em reas de pol tica
315. to da avalia o na Europa muitas vezes em resposta aos requisitos dos Fundos Estruturais despoletou uma grande diversidade de novas publica es A Comiss o Europeia publicou Orienta es de Metodologia detalhadas sobre indicadores a avalia o ex ante a avalia o macroecon mica etc espec ficas e em estreito paralelismo com a Regulamenta o dos Fundos Estruturais Existe tamb m um Regulamento Financeiro que exige uma avalia o ex ante e ex post de todos os programas financiados pela UE de cumprimento obrigat rio As autoridades p blicas ao n vel dos Estados membros tamb m publicam orienta es destinadas a todos os que avaliam pol ticas e programas de desenvolvimento socioecon mico nacionais e europeus As obriga es de avalia o e as orienta es publicadas por todos os que partilham a responsabilidade de programas de desenvolvimento socioecon mico est o sujeitas a altera es E essencial que a avalia o seja colocada em estreita articula o com as circunst ncias em que decorre o desenvolvimento socioecon mico e com as principais op es pol ticas que necess rio informar E fundamental esclarecer que este GUIA n o substitui outros recursos pelo contr rio sempre que necess rio baseia se e faz refer ncia a esses recursos Este GUIA destina se a um p blico mais vasto e pretende apresentar pr ticas e abordagens de avalia o neste tipo de programas e reas de interven o pol tica
316. todos e t cnicas de avalia o real ando as suas for as e limita es bem como a sua adequabilidade Os m todos e t cnicas s o descritos de acordo com uma diversidade de 5 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA enquadramentos diferentes tipos de programas socioecon micos diferentes etapas dos programas diferentes etapas no processo de avalia o e diferentes objectivos de avalia o Finalmente s o apresentados os diferentes tipos de dados quantitativos e qualitativos sistemas de indicadores e fontes de dados aos quais se recorrem durante um processo de avalia o Cada uma das sec es do GUIA termina com uma s rie de regras de ouro que destacam quer as boas pr ticas quer alguns princ pios emp ricos recomendados a todos os que gerem requisitam executam e utilizam avalia es Contudo regra geral este GUIA procura n o ser demasiado prescritivo Isto deve se em parte ao facto de em muitos casos n o haver uma nica forma correcta de avalia o e cada uma das diferentes abordagens possuir as suas for as e as suas limita es em diferentes contextos Tamb m em termos pragm ticos as condi es ideais pr vias de avalia o n o existem na maioria dos casos seja devido falta de dados problemas de calendariza o ou disponibilidade de capacidades Fazer o melhor que se pode enquanto se procura melhorar as capacidades de avalia o no futuro um tema transversal a e
317. tomada de decis o Face s incertezas com que se debate a escolha do contratante a maioria dos candidatos ir necessitar de v rias semanas para planear e constituir a equipa que ir efectivamente fazer o trabalho Existem pelo menos duas formas de garantir esta flexibilidade e atrasar a efectiva assinatura do contrato e por conseguinte a data de in cio do trabalho e deixar um per odo adequado para o Relat rio Inicial Papel do Relat rio Inicial 58 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA O Relat rio Inicial um documento que estabelece e a identifica o das principais partes interessadas e as quest es de avalia o mais importantes elaboradas e possivelmente reafirmadas e os m todos a utilizar e um plano de trabalho pormenorizado com a divis o de tarefas entre os diferentes membros da equipa e o calend rio de trabalho finalizado incluindo as diferentes etapas e e os resultados e conclus es intercalares e finais Este documento deve ser discutido e acordado com a Comiss o Directiva na primeira reuni o ap s o in cio do trabalho e posteriormente actualizado de forma cont nua Representa ao longo de todo o exerc cio o principal ponto de refer ncia do processo de garantia de qualidade ver abaixo uma vez que especifica de forma pormenorizada o que poder esperar se do exerc cio quais os momentos de execu o das diferentes actividades e qual o pro
318. tornar se um potente utilit rio para a moderniza o do sector p blico com vista a uma maior economia e uma maior capacidade de resposta junto dos cidad os Em segundo lugar a abertura da caixa negra administrativa ao escrut nio dos parceiros externos bem como a considera o dos interesses dos parceiros e dos cidad os por exemplo incluindo grupos da sociedade civil nas comiss es directivas consultas sobre os resultados e as conclus es da avalia o etc constitui uma incorpora o dos princ pios de governan a democr tica Uma vez que o pedido de avalia o sistem tica dos programas p blicos permite aumentar a confian a dos cidad os no governo contribui para o aumento e manuten o do capital social Uma vez que as teorias contempor neas de desenvolvimento socioecon mico assentam sobretudo na mobiliza o de potencial e recursos com base territorial end genos estes aumentos do capital social ajudam a promover o desenvolvimento socioecon mico sustent vel 3 3 Em que consiste a capacidade de avalia o A capacidade de avalia o multifacetada e necessita de ser integrada a diversos n veis diferentes que se refor am mutuamente Por exemplo existe Um n vel individual constitu do pelas capacidades e compet ncias necess rias Um n vel organizacional de procedimentos e estruturas de gest o Um n vel inter organizacional que liga organismos p blicos e privados atrav s de redes processos e pa
319. tre estes elementos encontram se por exemplo divis es ou unidades respons veis nos departamentos procedimentos e protocolos pol ticas de recursos humanos e pessoal sistemas de tecnologias da informa o etc Nestas circunst ncias necess rio que exista um respons vel que ir delinear uma estrat gia Geralmente a responsabilidade pelo menos nas fases iniciais do desenvolvimento da capacidade de avalia o pertence a uma unidade dedicada da administra o central Esta responsabilidade poder pertencer a um departamento de planeamento s Finan as a um departamento coordenador ao gabinete do Primeiro Ministro ou a um departamento respons vel pelos Fundos Estruturais da UE Na fase inicial do desenvolvimento das capacidades de avalia o encontram se normalmente dois tipos de arquitectura e Uma fun o ou unidade de avalia o central que tamb m est associada desde o in cio a uma rede de outras unidades centradas noutros minist rios sectores ou programas A unidade central proporciona uma organiza o abrangente onde s o acordadas as directrizes e os procedimentos b sicos bem como protocolos de 82 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA requisi o e aprovisionamento p blico Uma vez estabelecido um sistema a unidade central continua a orientar os trabalhos mas as restantes unidades passam a ter uma autonomia cada vez maior representando as suas pr prias prioridad
320. trocinadores e agentes de financiamento externos Tamb m necessitam de poder ajudar os gestores de programas e uma avalia o mostra normalmente esta necessidade Os avaliadores tamb m necessitam de se basear em dados administrativos secund rios recolhidos pelas autoridades locais regionais e nacionais muitas vezes para outros fins Muita da informa o de uma avalia o mantem se na mente dos principais informadores sobretudo no caso de informa o contextual e qualitativa considerada importante n o s para compreender o programa mas tamb m para interpretar dados mais formais De um modo geral para avaliar a qualidade do processo e o contexto da avalia o necess rio haver primeiro uma avalia o da exist ncia de informa o e em segundo lugar se a mesma foi colocada disposi o Por exemplo em alguns programas poder haver dados dispon veis tais como dados administrativos de emprego a n vel local ou minutas das comiss es de gest o de projectos ou subprogramas espec ficos mas dif ceis de aceder Tamb m poder acontecer que o informador chave se recuse a fornecer informa o aos avaliadores talvez devido a rela es fracas entre as partes interessadas e as administra es Neste contexto a avalia o relativamente disponibilidade de informa o e de dados junto dos avaliadores poder ela pr pria fornecer dados acerca do estado concreto da coopera o entre a parceria e inter ag ncias Um
321. trodu o Esta sec o do GUIA descreve os m todos e as t cnicas dispon veis para a avalia o do desenvolvimento socioecon mico Os m todos e t cnicas espec ficos s o descritos no Manual T cnico Il Numa sec o anterior do GUIA A Concep o e o Planeamento da Avalia o a concep o da avalia o foi considerada em termos gerais Aqui centrar se nas escolhas que s o necess rias adoptar quer em termos de categorias abrangentes de m todos quer em termos de t cnicas espec ficas dentro dessas categorias A aplica o de m todos e t cnicas levanta inevitavelmente quest es relativamente origem de dados e de provas concretas nas quais se baseiam os avaliadores Aqui consideram se essas fontes de dados n o s em termos de como poder o ser analisadas mas tamb m em termos de como poder o ser localizadas ou inclusivamente criadas no caso de n o existirem previamente Esta sec o do GUIA come a por considerar o contexto em que decorre a selec o de m todos e t cnicas a distin o algo difusa entre dados quantitativos e dados qualitativos e a forma de obten o e utiliza o dos dados concretos As subsec es seguintes descrevem e Os m todos e as t cnicas aplic veis aos diferentes tipos de interven es socioecon micas incluindo as principais prioridades tem ticas e as diferentes reas de pol tica e Os m todos e t cnicas dos diferentes objectivos da avalia o planeamento responsab
322. truturas constituem uma parte mais reduzida dos investimentos ou recursos totais aplicados para apoiar uma interven o em particular Tr s tradi es filos ficas Existem tr s tradi es filos ficas subjacentes s abordagens metodol gicas alargadas da avalia o utilizadas em programas de desenvolvimento socioecon mico O positivismo constituiu a base filos fica da ci ncia dominante a partir do s culo XVIII A tradi o do positivismo defende essencialmente a cren a de que poss vel obter conhecimentos objectivos atrav s da observa o A aplica o dos mesmos instrumentos de observa o por pessoas diferentes deveria permitir chegar s mesmas conclus es sempre que a an lise fosse realizada por t cnicas objectivas levando aos mesmos resultados independentemente da pessoa respons vel pela aplica o da t cnica As tradi es positivistas procuram descobrir regularidades e leis tal como acontece nas ci ncias naturais As explica es assentam na agrega o de elementos individuais nos 20 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA seus comportamentos e interac es Isto constitui a base do reducionismo segundo o qual o todo compreendido analisando as partes a base de m todos de inqu rito e de modelos econom tricos utilizados em avalia o Na melhor das hip teses estes m todos podem proporcionar provas quantific veis das rela es entre os recursos aplicados nas i
323. tura de avalia o uma express o que tem como objectivo deixar claro que um sistema de avalia o consolidado consiste em mais do que apenas uma organiza o estrutural Por exemplo e Existe um compromisso para com a melhoria e a aprendizagem e Existe uma tend ncia para evitar uma cultura de culpabiliza o que desincentiva a aprendizagem e Os decisores pol ticos est o comprometidos com pol ticas assentes em provas concretas no sentido lato e de forma mais ambiciosa e Existe um empenho na excel ncia na manuten o de elevados padr es de qualidade e na melhoria cont nua 94 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA e A avalia o utilizada como um elemento num processo geral que visa a transpar ncia e a m ltipla responsabiliza o dos cidad os e das comunidades bem como dos Ministros e dos parlamentos e O governo e o sector p blico est o empenhados numa adapta o cont nua no sentido de se transformarem numa organiza o de aprendizagem ver a Caixa Avaliar o desenvolvimento da capacidade de avalia o Caixa Avaliar o desenvolvimento da capacidade de avalia o Os autores de um estudo comparativo internacional da capacidade de avalia o utilizaram os nove crit rios que se seguem para avaliar a dimens o da capacidade de avalia o A avalia o decorre em diversos dom nios da pol tica Existe uma oferta de avaliadores locais em diferentes reas disc
324. turas econ micas grupos sociais disposi es institucionais clima tend ncias do emprego hist rias de desenvolvimento do passado etc e a forma como interagem em contextos de desenvolvimento espec ficos s podem ser descritos em termos qualitativos Al m disso necess rio definir todo o processo de desenvolvimento em termos de contexto com vista a usufruir de processos de aprendizagem transfer veis e Estamos interessados em opini es humanas Estas poder o ser constitu das pelas opini es dos parceiros cuja l gica de interven o e teorias de programa os avaliadores possam pretender suscitar Ou ent o poder o ser constitu das pelas opini es e pelas experi ncias dos benefici rios alvo do desenvolvimento socioecon mico e Estamos interessados em percep es de tipo ascendente Entre estas poder o incluir se as ambi es de desenvolvimento de actores de base pequenas empresas autoridades municipais associa es profissionais e as expectativas e experi ncias de intervenientes locais num contexto de desenvolvimento local Estas informa es de tipo ascendente s o dif ceis de ajustar a categorias de tipo descendente altamente diversificadas e s o necess rios conhecimentos qualitativos e Estamos interessados em explicar rela es causais Para aprender com o desenvolvimento e para o replicar necess rio compreender o que se passa dentro da caixa negra para ir al m dos recursos aplicados e das realiz
325. u diversas oportunidades de fazer este tipo de compara o ver a Caixa A coopera o como forma de gerar compara es transnacionais Caixa A coopera o como forma de gerar compara es transnacionais As regi es de Pays de la Loire Fran a e Emilie Romagne It lia organizaram reuni es bilaterais em 1997 1998 para discutir o seu trabalho de avalia o no dom nio do turismo rural Durante dois semin rios de dois dias as regi es analisaram as suas respectivas ac es e definiram em conjunto um diagrama l gico de efeitos resultados e impactos Propuseram se indicadores comuns com o objectivo de permitir compara es inter regionais A comparabilidade muitas vezes mais f cil de alcan ar e mais til a todos os n veis se for resultante de um esfor o colectivo coordenado a um n vel geogr fico superior Esta abordagem tem a vantagem de multiplicar as possibilidades de compara o como tamb m de permitir a agrega o de indicadores a n vel regional ou nacional O Gabinete Escoc s criou uma s rie de indicadores padr o aplic veis a sete programas escoceses ver a Caixa Um conjunto de indicadores padr o para diversos programas Apesar de se ocupar sobretudo dos indicadores contextuais e menos com a avalia o a Urban Audit representa um exemplo dos esfor os adoptados para conseguir a comparabilidade 131 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA Caixa Um con
326. u na sec o do GUIA sobre a concep o e a implementa o da avalia o a implementa o de sistemas b sicos de dados dever fazer parte do planeamento dos programas bem como das avalia es 4 3 As op es para diferentes tipos de interven o e Avalia o das prioridades tem ticas e Prioridades sectoriais e de pol tica e Desenvolvimento local e territorial Avalia o das prioridades tem ticas Um tipo de interven o espec fico caracter stico do desenvolvimento socioecon mico e inclu do de forma transversal nos Fundos Estruturais e de Coes o Europeus descrito como uma prioridade tem tica Isto ocorre sempre que existe uma estrat gia global que se espera inserir ou mais formalmente integrar numa diversidade de interven es A avalia o de tem ticas requer a agrega o de provas provenientes de diversas interven es espec ficas para compreender as formas como as prioridades estrat gicas est o a ser cumpridas Isto poder implicar a constru o de ndices que s o posteriormente acrescentados em diversos contextos Por m normalmente dif cil encontrar indicadores significativos que possam funcionar em diferentes contextos As avalia es tem ticas possuem por isso uma grande probabilidade de procurar diferentes medidas em diferentes contextos para depois avaliar qualitativamente o seu resultado 106 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA global As aval
327. uest es colocadas poder o ser relativas a factos por exemplo quantos 123 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA empregos novos foram criados desde que foi recebido o apoio ou a opini es por exemplo quantos empregos se poderia ter perdido se n o tivesse sido atribu do o apoio Os indicadores e a avalia o Os indicadores desempenham uma s rie de pap is teis na avalia o A sua utiliza o comum no que diz respeito avalia o do programa sobretudo sempre que os objectivos s o expressos em termos operacionais claros A utiliza o de indicadores faz normalmente parte de uma avalia o As informa es proporcionadas devem ser cuidadosamente interpretadas luz de outros factos de modo a poder retirar se conclus es de avalia o Os indicadores possuem potencial para contribuir para a avalia o dos programas socioecon micos de diversas formas e A an lise da pontua o dos indicadores pode utilizar se para sustentar uma filosofia de interven o e uma atribui o de recursos e Os indicadores podem ser utilizados para comparar recursos e resultados de modo a avaliar a efici ncia e Os indicadores podem ser utilizados para comparar resultados reais com resultados esperados de modo a avaliar a efic cia e Os indicadores podem ser utilizados para comparar recursos relativos a impactos e por conseguinte permitir a avalia o do valor valor acrescentado de pol ticas leg
328. ultados que possam representar quest es e apontadores poder o satisfazer um objectivo de aprendizagem importante em termos de avalia o Circula o e gest o do feedback sobre os relat rios e resultados preliminares A elabora o do relat rio final provis rio constitui ffequentemente uma fase dif cil quer para os avaliadores quer para as partes interessadas Aquilo que constitu a anteriormente uma previs o abstracta dos resultados ou das realiza es torna se agora concreto e por vezes um elemento intimidador e desanimador As partes interessadas sobretudo as que t m responsabilidades na gest o do programa poder o ser tentadas a desacreditar os resultados que n o sejam do seu agrado Os avaliadores por seu lado poder o criar argumentos com base num n mero limitado de dados ou ser insens veis import ncia pol tica do que apresentam sobretudo na fase provis ria Produzir um 61 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA relat rio final considerado aceit vel pela equipa de avalia o e pela organiza o respons vel pela encomenda e respeitado pelas partes interessadas envolvidas no processo poder representar um enorme desafio e exigir uma grande disponibilidade de tempo As sugest es que se seguem poder o facilitar o processo e A estrutura do relat rio dever ser acordada o mais cedo poss vel e A Comiss o Directiva dever constituir o principal f rum de discuss o
329. uma selec o de interven es a n vel de projecto Uma vez que o desenvolvimento local come a com a an lise do potencial da capacidade e das necessidades locais a sua avalia o particularmente adequada a m todos participativos que suscitam aos parceiros e aos cidad os locais as suas prioridades atitudes e comportamentos E nestas condi es de desenvolvimento local que o envolvimento activo dos parceiros locais numa avalia o incluindo a auto avalia o participativa e avalia es orientadas para a capacita o mais til Estas abordagens est o cuidadosamente alinhadas com estrat gias de desenvolvimento comunit rio elas pr prias muitas vezes desenvolvidas em contextos de desenvolvimento local Obviamente a an lise das bases de refer ncia socioecon micas actuais permite recorrer gama tradicional de an lises econ micas e estat sticas Al m disso as compara es transversais a diversas reas muitas vezes privilegiadas por exemplo o benchmarking requerem a aplica o de ndices e medidas padr o de modo a avaliar as realiza es e os resultados O desenvolvimento local em particular em muitos casos entendido como um processo que ao longo do tempo atravessa uma s rie de fases em que cada uma das fases ir influenciar a fase seguinte Por essa raz o os m todos de avalia o dos processos que acompanham o desenvolvimento ao longo do tempo s o particularmente teis Entre estes podem incluir s
330. un o de avalia o numa unidade organizacional ou 49 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA divis o individual por exemplo de planeamento ou estrat gia e n o no departamento operacional Outra consiste em assegurar que os n veis mais elevados de gest o separados tanto das opera es como da avalia o se encontram explicitamente envolvidos no seguimento das recomenda es e conclus es de avalia o Isto pode funcionar como um contrapeso a qualquer tend ncia de ignorar os relat rios de avalia o mantendo por exemplo todas as partes respons veis pelo acompanhamento envolvidas Por m a independ ncia n o constitui apenas uma quest o estrutural Desenvolver uma filosofia de independ ncia junto dos avaliadores internos e apoiar uma filosofia semelhante junto dos avaliadores externos poder constituir uma forma importante de garantir a independ ncia em termos de comportamento Al m disso desenvolver uma cultura de avalia o junto das unidades administrativas relevantes com capacidade de auto cr tica e aberta aos novos dados e a ideias de melhoria tamb m pode permitir refor ar a independ ncia da fun o de avalia o Poder haver l gicas diferentes mais adequadas s diferentes fases do ciclo de avalia o e dos programas Pode ser prefer vel basear se mais nos recursos internos para obter contribui es para uma avalia o formativa ou para realizar exerc cios ex ant
331. ura o 11 do total de financiamento alocado e financiamento realmente despendido com os desempregados de longa dura o 8 do total de financiamento utilizado A compara o destes n meros mostra claramente que os desempregados de longa dura o foram desclassificados com xito ao longo de cada uma das fases de implementa o do programa Para um leitor comum que visse o quadro de indicadores e estes tr s n meros isoladamente estas informa es n o teriam qualquer significado Para identificar o problema de o financiamento n o chegar aos desempregados de longa dura o foi necess rio dividir estes tr s indicadores em termos de dura o da situa o de desemprego do benefici rio directo e para a ISFOL comparar os tr s tipos de informa es entre si Sempre que poss vel til comparar os indicadores do programa tais como quil metros de auto estradas constru dos com os indicadores de contexto correspondentes por exemplo quil metros auto estrada existentes na regi o Este tipo de informa es pode ser apresentado de forma concisa atrav s de indicadores da decorrentes que mostram os resultados ou os efeitos dos programas como uma percentagem do indicador de contexto Para serem teis em avalia o os indicadores de contexto devem ser utilizados juntamente com conclus es qualitativas Para interpretar os indicadores necess rio considerar o contexto como um todo os factores que ajudam a promove
332. ura atrav s de subs dios regionais e outras subven es por exemplo subs dios de desemprego a corrente actual est mais orientada para a oferta ou para as capacidades Isto pode assumir diversas formas mobilizando recursos subutilizados aumentando as capacidades e o valor dos recursos existentes e transferindo novos recursos para uma regi o ou sector Alguns exemplos destas teorias e pressupostos contempor neos mais comuns incluem e Economia do conhecimento O conceito de uma economia caracterizada pela produ o dissemina o e aplica o da informa o e do know how como sendo produtos e a utiliza o geral de novos modos de produ o constitu dos pela aplica o de informa o e conhecimento na produ o de produtos e servi os e Capital humano Reconhece que os recursos humanos em particular as taxas de literacia e de educa o sa de geral e esperan a de vida criam condi es de produtividade que permitem aos grupos sociais transformar o seu capital humano em maior prosperidade econ mica e Capital social Uma vez mais relacionado com o bem estar humano mas a um n vel social em vez do n vel individual atrav s das redes sociais e institucionais incluindo por exemplo parcerias e associa es que apoiam uma ac o social 31 EVALSED A Avalia o do Desenvolvimento Socioecon mico O GUIA eficaz Isto inclui confian a social normas e redes bem como sistemas pol ticos e legais que sust
333. urar melhorar a empregabilidade e contribuir para o pleno emprego A Estrat gia Europeia para o Emprego tamb m est relacionada com os Fundos Estruturais e existe um compromisso no sentido de concertar ac es com os Planos de Ac o para o Emprego dos Estados membros S o estes tipos de correntes pol ticas que influenciam a natureza do desenvolvimento socioecon mico num contexto europeu As rela es entre estas diversas pol ticas e os Fundos Estruturais s o sobretudo evidentes no caso dos novos Estados membros destacando se por exemplo as medidas ambientais relacionadas com a estrat gia de desenvolvimento sustent vel endossada pelo Conselho Europeu de Gotemburgo e as prioridades de recursos humanos relacionadas especificamente com a agenda de Lisboa na orienta o da Comiss o Europeia Comunica o da Comiss o Orienta es Indicativas Adicionais para os Pa ses Candidatos Ades o COM2008 110 final Embora possa haver diferen as de nfase entre aqueles que destacam a solidariedade e aqueles que privilegiam a desregulamenta o do mercado de trabalho de consenso alargado que o desenvolvimento necessita de integrar as dimens es econ mica e social As avalia es de desenvolvimento socioecon mico devem portanto ter em conta este objecto de avalia o muito espec fico Por m a descri o das tend ncias pol ticas acima referida tamb m destaca alguns dos desafios avalia o colocados pelo desenvolvimento
334. valia o considera o programa avaliado isoladamente ou inclui as suas interac es com outros programas Europeus ou nacionais Concep o justific vel Este crit rio relaciona se com qualidades t cnicas da avalia o As escolhas metodol gicas dever o decorrer das quest es de avalia o A avalia o deve al m disso fazer a melhor utiliza o poss vel de an lises e investiga o existente E necess rio colocar tr s tipos de quest es e Os conhecimentos relevantes foram devidamente recolhidos e utilizados e A constru o do m todo e a escolha de ferramentas justificam de facto de forma adequada a resposta s quest es de avalia o e As situa es de refer ncia escolhidas contrafactuais ou semelhantes foram as adequadas para fazer compara es v lidas Qualquer relat rio de avalia o dever incluir uma descri o do m todo utilizado e definir claramente as fontes dos dados Do mesmo modo deve descrever se claramente os limites do m todo e as ferramentas utilizadas E necess rio verificar se e o m todo se encontra descrito de forma suficientemente pormenorizada para avaliar a qualidade e a validade dos dados recolhidos e das ferramentas utilizadas se encontra claramente identificada e os dados dispon veis correspondem s ferramentas utilizadas Uma vez que a an lise causal dos efeitos constitui a quest o mais importante das avalia es ex post o m todo utilizado para analisar estas rela e
335. za es A TE EA gt syald ao Relev ncia X Efici ncia e A Efic cia No E Utilidade Sustentabilidade O termo relev ncia no contexto de uma avalia o refere se adequabilidade dos objectivos expl citos do programa em rela o aos problemas socioecon micos que devem solucionar Na avalia o ex ante as quest es de relev ncia s o muito importantes uma vez que o enfoque se encontra na escolha da melhor estrat gia ou na justifica o da estrat gia proposta Na avalia o intercalar o objectivo consiste em verificar se o contexto socioecon mico evoluiu da forma esperada e se a evolu o coloca em causa um objectivo em particular O termo efic cia designa a verifica o dos objectivos formulados no programa se est o a ser alcan ados quais os sucessos e as dificuldades e se as solu es seleccionadas s o as adequadas bem como qual a influ ncia dos factores externos com origem fora do programa O termo efici ncia avaliado comparando os resultados obtidos ou de prefer ncia os impactos produzidos e os recursos mobilizados Por outras palavras os efeitos obtidos est o em conformidade com os recursos aplicados Os termos economia e minimiza o de custos s o muitas vezes equiparados efici ncia As quest es b sicas das avalia es intercalares e mais especificamente das avalia es ex post dizem respeito efic cia e efici ncia das interven es i
Download Pdf Manuals
Related Search