efectivas - Poverty Action Lab
Contents
1. Gracias Guillermo Cruces povertyactionlab org2. Distribution of t statistic with different sample sizes Using Bootstrap sampling and estimation n 1000 10000 100000 gt 100000 Efecto de tener dos hijos del mismo sexo en la oferta laboral femenina Censo de USA 1980 Cruces Tortarolo amp Pinto 2011 Simulaciones efecto pequeno muestras cada vez mas grandes estad stico t gt 2 0 kdensity t025_ 500 kdensity t025_ 5000 kdensity t025 10000 Mayor muestra mayor significatividad a mismo efecto C mo cambia el poder con el tama o muestral Dado un nivel de significancia y una magnitud de efecto PROMEDIO MUJERES E PROMEDIO HOMBRES emu significance A mayor muestra menor varianza de mi estimador y por tanto mayor poder PROMEDIO MUJERES PROMEDIO HOMBRES exams significance Poder 64 PROMEDIO MUJERES EE PROMEDIO HOMBRES V Oower PROMEDIO MUJERES PROMEDIO HOMBRES significance Poder 91 PROMEDIO MUJERES EE PROMEDIO HOMBRES power En resumen hasta ahora e Dos tipos de errores de decisi n e Siempre tenemos control sobre el error de tipo Es el umbral de decisi n que nosotros escojamos usualmente 5 una dos colas e NO siempre controlamos el error de tipo Il Con encuentas ya realizadas el n mero de observaciones est determinado aunque podemos calcular el Efect
3. Est el cero en ese intervalo El error est ndar del estimador captura tanto el tama o de la muestra como la variabilidad del resultado Regla IC de 95 es Efecto 2 Error Estimaci n inexacta variabilidad muestral etc Errores que podemos cometer En general hip tesis nula no hay efecto en gral queremos rechazarla Tipo 1 Rechazar una hip tesis nula verdadera lobo 596 implica 1 de 2O Tipo Il No rechazamos una hip tesis nula falsa Para nuestras intervenciones Tipo II implica que el programa tiene impacto pero no lo hallamos El problema es que podemos cometer error de dos tipos USTED CONCLUYE Rechazo HO No rechazo HO Programa tiene efecto Programa no tiene efecto Error tipo Programa tiene sells anar efecto caci LA VERDAD Error tipo Programa no E tiene efecto El problema es que podemos cometer error de dos tipos USTED CONCLUYE Rechazo HO No rechazo HO Programa tiene efecto Programa no tiene efecto Error tipo Programa tiene sells anar efecto caci LA VERDAD Error tipo Programa no tiene efecto El problema es que podemos cometer error de dos tipos USTED CONCLUYE Rechazo HO No rechazo HO Programa tiene efecto Programa no tiene efecto Error tipo Programa tiene sells anar efecto O S LA VERDAD Error tipo Programa no E tiene efecto PODER Tama o muestr
4. 3 sal 1 542 1 n2 n1 1 00 Estimated required sample sizes nl 1781 n2 1781 Si tuvi ramos menos varianza sampsi 50 55 sd 31 78 power 0 8 onesided Estimated sample size for two sample comparison of means Test Ho ml m2 where ml is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha 0 0500 one sided power 0 8000 m1 50 m2 55 sal DS sd2 s 46 n2 n1 UU Estimated required sample nl 500 n2 500 Si el efecto fuera el triple sampsi 50 65 sd 60 power 0 8 onesided Estimated sample size for two sample comparison of means Test Ho ml m2 where ml is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha 0 0500 one sided power 0 8000 m1 50 m2 65 sdl 60 542 60 n2 n1 1 00 Estimated required sample sizes nl 198 n2 198 Si aceptamos menos poder 0 7 sampsi 50 55 sd 60 power 0 7 onesided Estimated sample size for two sample comparison of means Test Ho ml m2 where ml is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha 0 0500 one sided power 0 7000 m1 50 m2 55 sdl 60 sd2 60 n2 n1 1 00 Estimated required sample 1 1356 n2 1356 Y si ahorramos en la encuesta Con 1000 casos seguro estamos bien o no sampsi 50 55 sd 60 n 500 a 0 05 onesided Estimated power for two sample comparison of means Test Ho ml m2 where m
5. 4 3 2 1 0 1 2 3 4 5 6 Grande El miembro promedio del grupo de tratamiento tuvo un mejor resultado gue el percentil 79 del grupo de control il T T 4 3 2 1 0 12 3 45 6 La pregunta de hoy Qu tan grande debe ser la muestra para detectar de manera cre ble una diferencia entre dos grupos PODER C lculo anal tico 3 Ingredientes esenciales hasta ahora Tama o muestral Nivel de significancia 5 10 Poder m nimo deseado 80 90 Efecto m nimo estandarizado 0 2 DS 0 5 DS Ingredientes para un c lculo de poder estadistico Lo que necesitamos Nivel de significatividad El nivel y la variabilidad del efecto El efecto que queremos encontrar D nde obtenerlo Convencional 5 1 etc En cuanto m s bajo m s grande la muestra para el mismo poder De encuestas anteriores en situaciones similares A mayor variabilidad mayor muestra necesaria para el mismo poder Cu l es el menor efecto que justificar a una respuesta de pol tica En cuanto menor el efecto mayor la muestra para el mismo poedr Cuidado Pensar en t rminos de la realidad el efecto puede ser mayor a cero estad sticamente pero irrelevante Una relaci n muy sencilla entre ellos N 4 4 1 Valor cr tico t asociado poder 1 Para poder k 80 t1k 0 84 Valor cr tico de t asociado a nivel de significancia a Para 0 0 05 ta 1 666 Magnitud de Efecto
6. ABDUL LATIF JAMEEL Poverty Action Lab TRADUCIENDO LA INVESTIGACION EN ACCION El tama o muestral en evaluaciones aleatorias Guillermo Cruces CEDLAS Universidad Nacional de La Plata povertyactionlab org Agenda del curso Evaluaciones de impacto Qu son Por qu hacerlas Cu ndo hacerlas Marco l gico indicadores y medici n del impacto Por qu aleatorizar C mo aleatorizar El tama o muestral Implementar una evaluaci n An lisis e inferencia Agenda del curso Evaluaciones de impacto Qu son Por qu hacerlas Cu ndo hacerlas Marco l gico indicadores y medici n del impacto Por qu aleatorizar C mo aleatorizar El tama o muestral Implementar una evaluaci n An lisis e inferencia RESUMEN Y OBJETIVOS Resumen de la exposicion e Introducci n al m todo cient fico e Repaso Estimaci n prueba de hip tesis significancia estadistica e Poder Tama o muestral Magnitud del efecto Otros factores que influyen en el poder Varianza aglomerados y otros e Algunos aspectos pr cticos Objetivos de la clase 1 Refrescar entender elementos b sicos de estadistica Estimaci n Prueba de hip tesis Significancia estad stica 2 Concepto clave en evaluaciones aleatorias Poder y los factores que lo influyen Tama o muestral efectos m nimos detectables Aglomerados y otros factores 3 Asignar
7. Estandarizado Magnitud de Efecto Desviaci n Est ndar C mo cambia N cuando t1 k Valor cr tico de t asociado a poder 1 k Para poder k 80 t1k 0 84 Valor cr tico de t asociado a nivel de significancia a Para 0 0 05 ta 1 666 Magnitud de Efecto Desviaci n Est ndar Ejercicio Imagine que usted quiere dise ar un experimento para estudiar el impacto de la tecnolog a por ejemplo semillas de alto rendimiento sobre la productividad agr cola Estime cu ntos agricultores necesita si quiere encontrar un efecto en el rendimiento por hect rea de 10 dado un rendimiento promedio de 50 kilos hect rea y una desviaci n est ndar de 60 kilos hect rea Parametros Ejercicio e DE 60 e ME 10 de 50 5 MEE 5 0 083 Ejercicio Poder 0 8 sampsi 50 55 sd 60 power 0 8 onesided Estimated sample size for two sample comparison of means Test Ho ml m2 where ml is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha 0 0500 one sided power 0 8000 m1 50 m2 55 sdl 60 542 60 n2 n1 1 00 Estimated required sample sizes nl 1781 n2 1781 Ejercicio Poder 0 8 MEE sampsi 0 0 083333 0 8 onesided sd 1 Estimated sample size for two sample comparison of means Test Ho ml m2 where ml is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha 0 0500 one sided power 0 8000 m1 0 m2 08333
8. al La tirania del poder Bland BMJ 2008 La idea del poder estadistico es decepcionantemente sencilla Vamos a realizar un estudio donde evaluaremos la evidencia usando pruebas de hip tesis Decidimos entonces cu n grande es el efecto que queremos detectar es decir qu tama o de efecto valdr a la pena conocer A partir de eso elegimos un tama o muestral de manera que si este fuera el efecto real en la poblaci n una alta proporci n de las muestras posibles producir an una diferencia estadisticamente significativa La pregunta de hoy e Poder probabilidad de que una prueba de hip tesis rechazar la hip tesis nula cuando sta es falsa probabilidad de no cometer un error de tipo Il Un poder del 80 nos dice que en 80 de los experimentos con este tama o de muestra realizados en esta poblaci n si hay un efecto lo encontraremos en nuestra muestra para el nivel de significatividad que definimos La pregunta de hoy e Entre otras cosas implica Qu tan grande debe ser la muestra para detectar de manera cre ble una diferencia entre dos grupos Intuici n Entre m s grandes son nuestros grupos muestrales M s nos aproximamos a las caracter sticas de la poblaci n reducimos nuestra incertidumbre y por tanto M s probable concluir que hay una diferencia dado que en la poblaci n si existe tal diferencia Ejemplo de estimaci n con datos observacionales
9. glomerados e Dise os en conglomerados son experimentos en que unidades sociales o conglomerados en vez de personas se asignan aleatoriamente a grupos de intervenci n e La unidad de aleatorizaci n por ejemplo el colegio es m s amplia que la unidad de an lisis por ejemplo estudiantes Aleatorizar a nivel de colegio y utilizar pruebas a nivel de ni o como indicador de impacto O go N Ku e rus goj S go U O qo Oo ED W O No A N Unidad de aleatorizaci n 216 individuos Te a aaa ttt 11 1944 PVT ada 11 AE Lb Unidad de aleatorizaci n unidades o O N O T Q O D JJ S DO O O VY 0 O O O o OS cr D N Dise o de conglomerado intuici n Muchas razones pr cticas para hacer esto Costos monetarios y pol ticos Menor riesgo de contaminaci n contagio o error administrativo Tipos de intervenci n maestros para muchos alumnos etc Pero tambi n tiene costos Si la respuesta se correlaciona dentro de un grupo se obtiene menos informaci n de la medici n de varias personas en el grupo Las estimaciones de cluster ajustan por esta correlaci n como si fuera un n mero de observaciones efectivas Es m s informativo medir a personas no relacionadas En mejor tener 200 encuestas 2 por conglomerado en 100 conglomerados que 100 por conglomerad
10. l is the mean in population 1 and m2 is the mean in population 2 Assumptions alpha one sided ml m2 sdl sd2 sample size nl n2 nz nl Estimated power power Poder y tama o de muestra Programa Optimal Design 3 0 NB Diferencia two sided N1 N2 2261 2002 3001 Total number of subjects PODER Otros aspectos Tres consideraciones pr cticas que afectan los requerimientos muestrales 1 2 Hay datos de l nea de base La asignaci n al tratamiento es a nivel individual o a nivel grupal por ejemplo colegio o municipio Se cumple total o parcialmente con el protocolo de asignaci n experimental 1 Hay datos de linea de base Dada una magnitud de efecto esperado y un tama o muestral hay mayor poder si hay covariables de l nea de base que tengan poder explicativo sobre indicador de resultado Dicho de otra forma dado una MEE y poder deseado requiero menos tama o muestral para detectarlo menos SSS Lo que importa es la varianza residual despues de eliminar el efecto de la covariable relevante 1 Hay datos de linea de base La co variable de l nea de base con mayor poder explicativo es el indicador de impacto medido en l nea de base Por ejemplo si quiero medir impacto de programa educativo sobre puntaje en pruebas es buena idea administrar el examen tambi n en l nea de base 2 Asignaci n a nivel individual o a nivel de grupo Con
11. n de inocencia en la justicia la norma es Hip tesis del evaluador investigador No hay diferencia en estatura promedio entre hombres y mujeres No hay diferencia en el resultado Y entre beneficiarios y no beneficiarios del programa X La evidencia debe demostrar lo contrario Hip tesis que testeamos en general efecto 0 Ejemplo son en promedio m s altos los hombres que las mujeres PROMEDIO MUJERES Significance Ejemplo son en promedio m s altos los hombres que las mujeres PROMEDIO MUJERES PROMEDIO HOMBRES emosIgnitICance Ejemplo Programa simulado Efecto en participaci n laboral poblaci n Tenemos toda la poblaci n 1 000 000 tab 025 if d Percent 237 500 262 500 a pd ind tab 025 LE Percent 250 000 250 000 025 0009994 25 02 0007067 707 33 Ejemplo Programa simulado Muestra de 10000 Gen s uniform tab 025 if d amp s lt 0 01 Percent 0206407 0099686 5005978 0070559 Intervalo 95 0011003 0401812 Estimaci n El efecto estimado es s lo v lido para nuestra muestra Cada muestra dar una respuesta diferente C mo usamos nuestra muestra para realizar afirmaciones sobre toda la poblaci n Un intervalo de confianza del 95 nos dice que para el 95 de las muestras de ese tama o que tomemos de esa poblaci n el efecto estimado hubiera ca do en ese intervalo
12. o M nimo Detectable con esa muestra y los DE PODER Magnitud del efecto y su variabilidad En resumen hasta ahora e En dise os experimentales podemos determinar cu nto error de tipo Il vamos a tolerar gt C lculos de poder e Entre mayor sea la diferencia promedio entre los dos grupos mayor el poder menor el error de tipo dada la muestra que tenemos C mo elijo con anterioridad una magnitud de efecto e Cu l es el efecto menor que justificaria el programa que se est realizando e Si el efecto es menor que eso no nos interesar a mucho probar que sea diferente a cero no es econ micamente significativo e En contraste si cualquier efecto m s grande que ese justificara adoptar este programa queremos poder distinguirlo de cero Magnitud de efecto en programas similares Si diferencia observada en estatura fuera de 1 DS PROMEDIO MUJERES La hipotesis nula se rechazaria solo el 26 de las veces Si diferencia observada en estatura fuera 3 DS cuanto ser a el poder PROMEDIO MUJERES PROMEDIO HOMBRES Significance Poder 91 PROMEDIO T MUJERES La hip tesis nula se rechazaria el 91 de las veces Simulaciones muestra fija efectos cada vez mas grandes estad stico t gt 2 0 2 X kdensity t025 500 kdensity t05 500 kdensity t1 500 Mayor efecto mayor significatividad a mi
13. o en dos conglomerados Caso extremo dentro de cada aglomerado son todos iguales Correlacion perfecta intra clase 24 unidades Poder efecto detectable y numero de grupos Optimal Design File Design Help 2 level CRT Minimum detectable effective size vs J a n P P R ee sare acts 403 602 Total number of clusters Poder y correlacion al interior de los grupos Optimal Design __ File Cluster Randomized Trial Multi site Trials Multi site Cluster Randomized Trials Repeated Measures CRT Repeated Measures Help a 0 050 n 1 0 40 p 0 00 82 121 Number of clusters Valores de r rho correlaci n intra clase e Al igual que los porcentajes r debe estar entre O y 1 e Al trabajar con dise os en conglomerados es mas deseable un r menor A veces es bajo O 0 05 0 08 pero puede ser alto 0 62 Algunos ejemplos del tama o muestral Empoderamiento de las mujeres Read India de Pratham Balsakhi de Pratham Programa de Profesores Adicionales en Kenia Desparasitaci n en Kenia Rajasthan 100 Bengalia Occidental 161 280 aldeas Mumbai 77 escuelas Vadodara 122 escuelas 210 escuelas 75 escuelas 1996 encuestados 2813 encuestados 17 500 ni os 10 300 ni os 12 300 ni os 10 000 ni os 30 000 ni os Consecuencias de los conglomerados e Los resultados para las personas dentro de un conglomerado
14. pueden estar correlacionados Dise o Debemos tomar en cuenta los conglomerados al planificar el tama o muestral Entre mayor la correlaci n se vuelve m s importante tener un mayor n mero de conglomerados en el experimento dado un n mero de encuestas fijo Consecuencias de los conglomerados e Es fundamentla establecer un n mero adecuado de grupos de asignaci n aleatoria e Incluso el n mero de individuos al interior de los grupos a veces importa menos que el n mero total de grupos e Importa el n mero de unidades tratadas 3 Se cumple total o parcialmente con el protocolo de asignaci n experimental e Tal como los hicimos c lculos de tama o muestral asumen que todos los participantes hacen lo que el protocolo de asignaci n ordena Algunas personas asignadas al tratamiento pueden no tomarlo y algunos asignados a control pueden buscar c mo y recibir tratamiento Por ejemplo en programa de becas PACES en Colombia s lo 50 de estudiantes asignados a la beca inicialmente la manten an 3 a os m s tarde 3 Se cumple total o parcialmente con el protocolo de asignaci n experimental e Esto implica que m nimo tama o muestral para detectar un impacto dado debe ser CUATRO veces mayor En general tama o muestral m nimo incrementa con el rec proco del cuadrado de la diferencia en cumplimiento entre tratamiento y control 1 c s ALGUNOS ASPECTOS PRACTICOS Errores comunes y
15. recursos escasos en una evaluaci n Maximizar la probabilidad de encontrar efectos de programas que funcionan M TODO CIENT FICO M todo cient fico Propuesta J PAL e Aplicaci n del m todo cient fico a las ciencias sociales e El m todo cient fico implica 1 Proponer una hip tesis 2 Dise ar estudios experimentales para probar la hip tesis Aleatorizaci n Los m todos experimentales solucionan el problema fundamental de la identificaci n no podemos observar la misma unidad tratada y sin tratamiento simult neamente e La aleatorizaci n elimina el sesgo pero no elimina el ruido e No basta con encontrar dos unidades equivalentes y comparar resultados e Funciona por la ley de los grandes numeros Planeando la aleatorizaci n La identificaci n requiere la comparaci n de resultados esperados para dos grupos de manera creible Usaremos la estadistica para realizar las pruebas de hip tesis Pero para esto necesitamos datos Cu ntos datos ESTIMACION PRUEBA DE HIPOTESIS Y SIGNIFICANCIA ESTADISTICA Prueba de hip tesis e C mo probamos las hip tesis en ciencias sociales Realizamos pruebas tests de hip tesis En el caso de un tratamiento y dos grupos Diferencia en promedios de resultados Otros momentos Con paneles diferencias en cambios Prueba de hip tesis En estad stica aplicada evaluaci n en lugar de la presunci
16. smo N Efectos estandarizados e Unidades t picas de medida son absolutas Cms puntos ocurrencias etc e No es lo mismo una diferencia de 20cms cuando desviaci n est ndar variabilidad es 20cms que cuando es 40cms e Efecto estandarizado es magnitud del efecto dividida por desviaci n est ndar de la variable de resultado Sus unidades son desviaciones est ndar La importancia de la variabilidad de los resultados Alta precisi n efectos claros Low Standard Deviation El mean 50 O mean 60 O lt ku LL O mm O m O KN gt wo NO Y Y V O O O O O N Number El mean 50 O mean 60 C o E S o o o E 99 5 E 5 ouenboij Menos claro High Standard Deviation El mean 50 O mean 60 Frequency Number Magnitud del efecto estandarizado Pegue a El miembro promedio del grupo modesta de tratamiento tuvo un mejor resultado que el percentil 58 del grupo de control Modesta El miembro promedio del grupo grande de tratamiento tuvo un mejor resultado que el percentil 69 del grupo de control E A EE
17. tentaciones e Latragedia de un buen programa con buena estrategia de evaluaci n con problemas de poder Tama o de muestra Sobre optimismo en magnitud de efectos Pocos aglomerados mala estimaci n de rho e Cada vez menos com n instituciones donantes y de evaluaci n requieren c lculos de poder e Tentaciones Y si probamos 25 tratamientos diferentes Leer el manual de instrucciones Por suerte tenemos el toolkit Duflo et al y mucha experiencia en ciencias sociales epidemiolog a no hay excusas para los errores mas sencillos Pero muchas veces nuestros programas tendr n efectos esperados peque os y o tendremos fondos limitados Aprovechar la interacci n de los factores que vimos hoy clusters covariables etc para maximizar el poder de las evaluaciones mediante dise os muestrales m s sofisticados PERO NO HAY MAGIA Poder es planificar Riesgo para la salud de su evaluacion Ante cualquier duda consulte a su estadistico a amigo a Objetivos de la clase 1 Refrescar entender elementos b sicos de estadistica Estimaci n Prueba de hip tesis Significancia estad stica 2 Concepto clave en evaluaciones aleatorias Poder y los factores que lo influyen Tama o muestral efectos m nimos detectables Aglomerados y otros factores 3 Asignar recursos escasos en una evaluaci n Maximizar la probabilidad de encontrar efectos de programas que funcionan
Download Pdf Manuals
Related Search