Home

implementação de uma avaliação nacional de

Contents

1. Fonte Representa o dos autores Nota N 45 escolas n 7 escolas cinza Hoje programas de computador como o Excel e o SPSS Statistical Pa ckage for the Social Sciences entre outros oferecem ferramentas para a extra o de amostras Essas ferramentas podem ser bastante limitadas em escopo como no caso do Excel ou bastante amplas como no caso do SPSS O Exerc cio 8 2 usa o SRS como ferramenta de aprendizagem para extrair uma amostra de 400 alunos a partir de uma lista hipot tica de alunos para fins de exemplo AMOSTRAGEM ALEAT RIA SISTEM TICA Na amostragem aleat ria sistem tica SYS as unidades s o selecionadas da base amostral em intervalos regulares necess rio haver um interva lo amostral e um in cio aleat rio Quando o tamanho da popula o N um m ltiplo do tamanho da amostra n cada k unidade selecionada em que o intervalo k igual a N n Os ajustes simples a esse m todo es 78 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL t o dispon veis se N n o for um m ltiplo exato de n O in cio aleat rio r um n mero aleat rio nico que varia de 1 a k As unidades selecio nadas s o r r k r 2k r n 1 k Como na SRS cada unidade tem uma probabilidade de inclus o igual a 1 k mas ao contr rio da SRS nem toda combina o de unidades n tem uma possibilidade igual de ser selecionada A
2. Fonte Exemplo do autor usando o software Access mover os campos destacados ou voc pode liberar a tecla shift e mover as caixas com as teclas de seta Voc pode tamb m selecionar campos m ltiplos usando a fun o clicar e arrastar do mouse para lacar os campos desejados Observe que poss vel arrastar a barra Form Footer para baixo ao colocar o cursor no alto da caixa Form Footer e usar a fun o clicar e arrastar para lev la posi o desejada 5 Os campos tamb m podem ser redimensionados ao se clicar neles e alterar sua forma Destaque as caixas que voc deseja redimensionar e ent o arraste as se tas nos cantos ou nos lados das pequenas caixas pretas destacadas para chegar forma desejada Figura 10 8 B do exerc cio 6 Salve as mudan as CTRL S antes de sair do formul rio 146 S RIE PESQUISAS DO BANC EXERCICIO 10 9 O MUNDIAL SOBRE AVALIACOES DE DESEMPENHO EDUCACIONAL Inserindo Dados no Formul rio Siga estas etapas para inserir dados no formul rio i Abra Open MY SOLUTIONS MATHS_3A_DATA ACCDB com as mudan as salvas dos exerc cios anteriores Abra FRM YR3 MATHS DATA no menu All Access Objects em Form View visualiza o default Insira os dados demogr ficos do aluno Figura 10 9 A do exerc cio do caderno de teste do primeiro aluno no formul rio junto com suas respostas que podem ser obtidas no resumo de respostas aos itens desse a
3. Fonte Exemplo do autor usando o software Access ID iz Registro Registro a10 Completo Duplicado Fonte Representa o dos autores Para excluir um registro selecione o clicando na fileira que cont m os dados a serem suprimidos Na op o Home selecione Delete na se o Records Tome bastante cuidado nesse processo O Access n o permite Undo de uma exclus o Para minimizar exclus es acidentais o Access perguntar se voc deseja excluir o registro ver Figura 13 3 Clique em Yes para excluir o registro IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 181 A consulta Find Duplicates tamb m mostra se o mesmo StudID foi inserido para dois alunos ver Figura 13 4 Essa situa o pode ocorrer quando um analista usa uma rotina incorreta de copiar e colar ou quan do um valor foi alterado por engano A Figura 13 5 mostra como fazer a modifica o em README DOCX FIGURA 13 3 Exclus o de um Registro Microsoft Office Access xj You are about to delete 1 record s l IF you click ves you wori t be able to undo this Delete operation A RR ES Fonte Mensagem de advert ncia do software Access FIGURA 13 4 Mesmo ID de Aluno para Dois Alunos pe Find duplicates for tbl National Assessment Example ame UniquelD StudentID Given Name Family_Name School Code l School_Name z 4755 Lee Pillar 85 Riverview Primary School 3 755 Lee Papillo 85
4. Sylvia Acana est frente da Avalia o Nacional do Progresso em Educa o NAPE de Uganda Foi professora de Ci ncias de escola secund ria e autoridade na Comiss o Nacional de Exames de Uganda Arcana pres tou apoio t cnico na rea de avalia o para o Economic Policy Research Centre e Save the Children membro do comit executivo da Associa o Internacional para a Avalia o do Aproveitamento Escolar IAEA e vice presidente do Board of Governors do Loro Core Primary Teachers College Tem mestrado em m tricas educacionais e avalia o Jean Dumais chefe do Grupo de Consultas Estat sticas do Statistics Canada e estat stico de pesquisas na filial de metodologia do institu to Tem interesse especial por avalia es educacionais Recentemente Dumais supervisionou a implementa o das atividades de amostragem e estimativa do estudo comparativo de treinamento de professores TE DS M da Associa o Internacional para a Avalia o do Aproveitamen to Escolar e da Pesquisa Internacional sobre Ensino e Aprendizagem da Organiza o para Coopera o e Desenvolvimento Econ mico OCDE Tamb m atuou como rbitro de amostragem em v rias avalia es inter nacionais educacionais comparativas Chris Freeman diretor de pesquisas no Conselho de Pesquisas Edu cacionais da Austr lia Seu trabalho concentra se em aspectos de ava lia es em grande escala na maioria dos estados e territ rios da Aus tr lia
5. 4 747 Fonte Compila o dos autores a Os dados em n vel de cidade n o foram analisados no exerc cio b Estes arquivos t m vers es WesVar 112 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Estrutura do Diret rio dos Arquivos de Amostragem NAEA SAMPLING SRS400 NATASSESS MYSAMPSOL Arauivos BASE 2STG4400 RESPOSTAS CLASS SAMPLE CENSO PPSRESPONSES CIDADES os T RESP2STGFINAL WT RESP2STG WTJK PROV NCIAS SCHOOLALLOC stuDenrsasaeLe NATASSESS H ESCOLAS H ASSIGNJK SRSRESPONSES LH N PPS SAMPLE RESPSRSFINAL TURMAS OF SCHOOLS WwT E ALUNOS H CLASS_FRAME Fonte Representa o dos autores a SPSS e WesVar PREPARA O VALIDA O E GERENCIAMENTO DE DADOS Chris Freeman e Kate O Malley Parte III aborda as tarefas geralmente reali zadas em uma avalia o nacional pelos ana listas envolvidos na limpeza de dados S o usados exemplos e exerc cios para demonstrar os processos empreen didos O principal objetivo criar condi es para que a equipe de ava lia o nacional desenvolva e implemente um conjunto sistem tico de procedimentos para garantir que os dados da avalia o sejam corretos e confi veis Em www elsevier com br implementacao voc encontrar exemplos de arquivos com erros t picos de levant
6. Identificadores O caderno de avalia o corresponde nicos a uma e apenas uma entrada nas bases amostrais e formul rios de monitoramento Os registros duplicados foram removidos Os registros ausentes foram verificados Documenta o Hist rico As c pias dos arquivos de dados do arquivo antes e depois do processamento hist rico da foram arquivadas limpeza de dados README Os registros completos dos processos DOCX e das sa das foram mantidos As rotinas descritas nesta se o s o apoiadas por exerc cios pr ticos apresentados em arquivos na pasta de Exerc cios em www elsevier com br implementacao As solu es ou arquivos corrigidos podem ser examinados na pasta Solu es dos Exerc cios Para ajudar a dominar as principais habilidades de limpeza de dados o leitor precisa implementar o sistema de arquivamento descrito a seguir f cil de ser acompanhado Etapa importante Salvar os Arquivos do site em seu Disco R gido ou Servidor Em seu disco r gido ou servidor crie uma pasta chamada NAEA DATA CLEANING ou similar e copie os arquivos do site para esta pasta Crie uma nova subpasta chamada MY SOLUTIONS que ser usada para salvar todas as solu es dos seus exerc cios a fim de que sejam comparadas com os arquivos localizados nas pastas EXERCISE SOLUTIONS Voc agora deve ter tr s pastas dentro da pasta NAEA Data Cleaning EXERCISES EXERCISE SOLUTIONS e MY SOLUTIONS Desse
7. EXERC CIO 9 1 Inser o de Dados da Avalia o Nacional em um Livro de C digo Se voc ainda n o o fez siga as instru es no Exerc cio 7 1 para salvar os arquivos do site em seu disco r gido ou servidor Siga ent o estes passos 1 Abra NAEA DATA CLEANING EXERCISES SAMPLE TEST PAPER 3A DOCX 2 Abra NAEA DATA CLEANING EXERCISES MATHS 3A CODEBOOK TEMPLA TE XLSX As informa es demogr ficas na aba do STUDENT QUESTIONNAIRE e os primeiros sete itens Q3Aq01 a Q3Aq07 na aba MATHS 3A ITEM CODE BOOK j foram preenchidos Clique na segunda aba na parte inferior da tela do Excel 3 Usando estes primeiros sete itens como guia preencha as informa es de campo para os sete itens restantes Q3Aq08 a O3Aq14 e salve o arquivo como MATHS 3A CODEBOOK em sua pasta MY SOLUTIONS O livro de c digo completo da folha de Matem tica 3a est em um arquivo chamado MATHS 3A CODEBOOK SOLUTION XLSX na pasta EXERCISE SOLUTIONS Use esse arquivo para verificar suas respostas Clique na segunda aba para verificar as informa es do item CAPITULO GERENCIAMENTO DE DADOS REGISTRO DE DADOS O or amento e o grau de especializa o determinar o o m todo usado para coletar e registrar os itens de dados dos testes Os m todos dispo n veis incluem a coleta on line de dados a digitaliza o de folhas com marca es ticas e a digita o manual A maioria dos sistemas de ava lia o nacional especialme
8. Excerto dos Dados 15 PPS SCHOOL SAMPLE EX sav DataSetB PASW Statistics Data Editor File Edt View Data Transform Analyze Graphs Utilities Add ons Window Help m BLS Fee ca Bos Bek A A hie town 4 region provinc density town school nbclass schoal size avoclass schoolid Ms 553 535 510 467 Fonte Exemplo do autor usando o software SPSS 102 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Agora que a amostra das escolas est selecionada a fase seguinte con siste em selecionar uma sala de aula por escola Essa fase similar amostra aleat ria simples que foi extra da antes selecionando se uma unidade secund ria uma classe por unidade prim ria selecionada por escola O arquivo CLASSES cont m a informa o relevante sobre tur mas em todas as escolas n o apenas as selecionadas Na vida real o coor denador da avalia o nacional de cada escola criaria uma lista de salas de aula eleg veis e a enviaria ao coordenador do exame ou seria instru do a extrair uma amostra aleat ria de uma turma eleg vel de acordo com uma s rie prescrita de procedimentos de avalia o nacional Nas etapas seguintes o SPSS usado para selecionar uma turma em cada escola Primeiro a amostra de 120 escolas deve ser consolidada no arquivo da turma para gerar uma lista de todas as salas de aula eleg veis para cada escola selecio
9. o As taxas de resposta e de participa o seriam computadas usando se a pseudoescola 1111 e n o as escolas originais 1011 e 1013 separadas O peso de estima o seria aplica do pseudoescola usando se sua medida combinada de tamanho TABELA 17 4 Base Amostral Medida de tamanho Medida cumulativa ID da escola da escola Area geografica do tamanho 1001 75 1 75 1002 60 2 135 1003 50 2 185 1004 40 1 225 1005 40 2 265 1006 35 1 300 1007 15 1 315 1008 20 3 335 1009 30 2 365 1010 30 3 395 1011 15 2 410 1012 10 2 420 1013 5 2 425 1014 5 2 430 1015 2 3 432 Fonte Compila o dos autores 240 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Embora mantenha a cobertura em um n vel timo essa estrat gia introduz ru dos que podem ser indesej veis nas estat sticas dentro da escola e entre as escolas Muitas an lises psicom tricas tentam distinguir entre a contribui o da escola e a contribui o do aluno para a pontua o da avalia o em an lises multin vel sob a suposi o de que a con tribui o da escola a mesma para todas as crian as que frequentam a mesma escola e possa variar de escola para escola Reunir escolas pe quenas em uma pseudoescola maior pode introduzir uma variabilidade de escola para escola em um modelo que espera que essa contribui o seja fixa para todos os membros de uma nica unidade A
10. o universidades e institui es de pesquisa Os CNs devem estar familiarizados com os conceitos chave da medi o educa cional e com o curr culo ou construto a ser avaliado Devem ter profun da experi ncia na elabora o de testes bem como no gerenciamento de projetos e na gest o de grandes grupos de pessoas Devem ter forte capacidade de lideran a e boas aptid es de comunica o Entre algumas das principais responsabilidades do CN podem estar e Interc mbio com organiza es e organismos nacionais envolvidos com educa o e elabora o de relat rios para uma comiss o de coor dena o nacional e Administra o do pessoal e or amento em cada fase da avalia o e Fornecimento de treinamento e lideran a para os redatores de itens e Revis o de testes question rios e outros materiais correlatos para garantir que os conte dos sejam adequados e livres de preconceitos por exemplo relativos a homens e mulheres alunos de reas urba nas e rurais ou pertencimento a um grupo tnico e Fornecimento de aconselhamento sobre a interpreta o dos resulta dos dos testes e Coordena o e garantia da qualidade das publica es que seguem a avalia o nacional e Gest o das rela es p blicas incluindo a realiza o de semin rios de sensibiliza o e conscientiza o durante e ap s a avalia o nacional Coordenador nacional assistente Talvez seja necess ria a presen a de um coordenador nacional assis
11. o alvo O uso eficaz de dados auxiliares no est gio de estima o tem tr s exig ncias b sicas e Os dados auxiliares devem ser bem correlacionados com as vari veis da pesquisa e As fontes externas de informa es sobre a popula o devem ser exatas e As informa es auxiliares devem ser coletadas para todas as unida des amostrais respondentes somente se os totais da popula o forem conhecidos Em geral as informa es auxiliares usadas para a p s estratifica o como o n mero de pessoas por g nero e grupo et rio ou o n mero de alunos que fazem aulas de matem tica avan ada ou de artes e idiomas s o obtidas das fontes oficiais censo nacional Minist rio da Educa o mas s o conhecidas da equipe de amostragem ou disponibilizadas a ela somente como totais da popula o e n o como valores individuais para cada membro da popula o Na p s estratifica o esses totais da popu la o devem ser comparados com suas estimativas correspondentes da amostra o que significa que a informa o deve ser coletada para cada indiv duo amostrado como parte da se o de antecedentes do questio n rio ou do caderno de teste Os ganhos de efici ncia das estimativas que usam dados auxiliares de pendem do grau de correla o das vari veis com os dados auxiliares disponi veis Os dados n o devem somente ser confi veis a fonte externa de dados tamb m deve pertencer mesma popula o alvo e basear se em concei
12. o de uma avalia o nacional Portanto crucial manter os dados dessas avalia es o mais seguros poss vel por ques t es de confidencialidade e para impedir que os dados sejam alterados inadvertida ou intencionalmente por aqueles que tenham acesso a eles Quando os dados est o no formato eletr nico importante pensar em definir n veis de acesso aos dados em rede e em um computador indi vidual Al m disso o banco em que os dados s o armazenados deve ter seguran a que pode ser implementada de duas formas distintas embora n o mutuamente excludentes pela aplica o de uma senha do banco de dados e pelo acr scimo de seguran a no n vel de usu rio 174 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Aplica o de uma senha de banco de dados Quando uma senha configurada para um banco de dados os usu rios ser o alertados para inseri la antes que possam usar o aplicativo A fun o de senha restringe o acesso ao sistema queles com conhecimento da senha Em sua forma mais b sica cada banco de dados pode ter uma senha A defini o de uma senha para um banco de dados Access requer que ele seja aberto no modo de uso exclusivo Para abrir o banco de da dos para uso exclusivo feche o banco e em seguida reabra o usando as instru es fornecidas na mensagem de advert ncia Figura 12 1 Uma vez que o banco de dados esteja aberto de forma exclusiva a senha pode ser configurada
13. 1 m s 40 05 01 04 05 02 04 Identificar e entrar em contato com os participantes Determinar uma data apropriada para a reuni o Providenciar transporte local hospedagem reuni o e merenda Enviar os convites Especificar um contexto de avalia o 1 m s 120 05 01 04 05 02 04 Selecionar amostra de escolas 2 meses 160 05 02 04 05 04 04 Especificar a popula o alvo Entrar em contato com o Departamento Educacional para obter dados da escola Preparar procedimentos de amostragem da escola e entre escolas Selecionar a amostra Finalizar a amostra Desenvolver instrumentos 4 meses 640 20 02 04 30 06 04 Desenvolver editar e finalizar itens e guias de pontua o Identificar redatores de item Indicar redatores de item Treinar redatores de item Fazer um esbo o dos itens do teste itens da amostra e manual de administra o Revisar itens do teste 16 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL TABELA 1 1 Trecho de um Plano de Projeto de Avalia o Nacional continua o Horas de Atividade principal trabalho Data de Data e subatividades Dura o necess rias in cio de fim Pessoa Conduzir o piloto dos itens do teste Desenvolver guias de pontua o Pontuar os itens do teste Ap s a revis o formal selecionar o conjunto final
14. e Falta de disposi o adequada de assentos para o teste e N o observ ncia dos limites de tempo e O aplicador do teste ou outros d o assist ncia aos alunos e C pia por parte dos alunos Baixas taxas de participa o Altas taxas de participa o s o necess rias em uma avalia o nacional para fornecer informa es v lidas sobre o aproveitamento dos alunos no sistema educacional Os estudos da Associa o Internacional para a Avalia o do Aproveitamento Escolar IEA por exemplo exigem a uma taxa de par ticipa o de pelo menos 85 para escolas e alunos ou b uma taxa combi nada o produto da escola e da participa o dos alunos de 75 ver a Parte IV A TEA tamb m define o limite superior de exclus es por motivos como a localiza o distante da escola e incapacidade em 5 da popula o alvo desejada Em um esfor o para melhorar o n vel de coopera o escolar em um pa s sess es de reposi o foram realizadas em uma data posterior para os alunos que estiveram ausentes na primeira sess o de testes Essa experi ncia sugere que os alunos e as escolas tenderam a cooperar mais plenamente quando perceberam que os aplicadores de teste continuariam voltando at que todos os alunos selecionados houvessem sido testados GARANTIA DE QUALIDADE Para monitorar a qualidade da aplica o do teste o aplicador deve preencher um formul rio de aplica o do teste Quadro 4 2 depois que o trabalho em 48 S RI
15. o mais alta do que os que moravam em reas rurais Essa amostra apre senta uma propor o bastante grande de meninos que moram em reas urbanas o que ajudaria a explicar a diferen a entre os dados do censo e as estimativas da amostra para uma propor o relativamente elevada de meninos com pontua es acima de 230 em matem tica Al m disso o valor verdadeiro computado para a popula o quando era conhecido por exemplo no in cio do ano escolar Conse quentemente h registros no arquivo censo para os quais nenhuma informa o est dispon vel a saber os desistentes e para os quais todas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 247 as pontua es s o zero Esses valores nulos trazem a pontua o m dia para baixo Se as estat sticas sobre a popula o pudessem ser atualizadas para representar a popula o na poca da avalia o o que poderia ser feito removendo se do arquivo do censo os alunos com uma pontua o igual a zero em matem tica as compara es mostrariam que os resultados da pesquisa se aproximam muito dos valores verdadeiros bem dentro das margens de erro Esse resultado mostrado na Tabela IV B 3 Essa riqueza de informa es raramente est dispon vel para os plane jadores de pesquisa gerentes ou analistas TABELA IV B 3 Compara o de Estimativas Calculadas com e sem os Pesos para Valores do Censo poca da Avalia o Amostra Aleat
16. ro suficiente Todos os lacres dos cadernos de testes estavam intactos antes da distribui o Havia espa o adequado para os alunos trabalharem sentados e sem distra es O aplicador tinha um cron metro ou rel gio O aplicador do teste tinha uma quantidade adequada de l pis e outros materiais 2 Atividades da sess o de testes O aplicador do teste seguiu risca o roteiro que lhe foi designado durante a a prepara o dos alunos b a distribui o dos materiais e c o in cio do teste Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS continua o O aplicador do teste registrou corretamente o comparecimento dos alunos A dura o do teste correspondeu ao tempo permitido O aplicador do teste recolheu os cadernos de teste individualmente de cada aluno 50 3 SERIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL QUADRO 4 3 continua o Impress es gerais Durante a sess o de testes o aplicador caminhou pela sala para garantir que os alunos trabalhassem na se o correta do teste e se comportassem corretamente Em sua opini o o aplicador do teste respondeu s perguntas dos alunos de forma adequada Voc viu alguma evid ncia de alunos tentando trapacear no teste por exemplo copiando respostas de um vizinho Entrevista com o coordenador da escola Voc recebeu a encomenda correta de itens O coordenador nacional respondeu s sua
17. 1 4101 1199901 NE 1 nual 1 1 inm 14 1 2 mM 111 2 pe N U 26 2 1 20 521 2 ma mE 1wa 1 inm 25 0 3 198 101 2 pr gs uz 2 1 20 521 3 TO 1199903 NE inva 1 inm 31 2 wW 21 B2 pe N A zo 2 1 20 521 4 101 1109908 NE lard 1 1 non 47 o 3 VM SB pr a 2 26 2 1 20 5 4101 1101105 NE al 1 4 19019 51 0 3 B 897 062 par 8 u 26 2 1 20 21 6 1101 1101905 NE Tua 1 inm EU O 1 x5 188 52 pa T 2 261 2 120 521 4101 1101907 NE ua 1 inm Tu 0 3 EM 16 2 par 7 Au 26 2 1 20 521 8 4101 1109908 NE 1 eval 1 11011 EM O 1 W 25 142 pe Mu 261 2 1 20 5 3 101 119108 NE 1 nual 1 1 inm ds 0 3 TF 213 1102 par a a 26 2 1 20 5 W 1101 momone 1wa 1 1101 04 418 B2 pr Mou 28 2 120 5 10 1101111 NE Tail tmn n 1 97 25 1012 pa su 26 2 120 5 12 01 1109912 NE Iua 1 inm zg 2 W 719 2 pr 7 a zm 2 120 58 E 1101 1109913 NE Tua 1 4 80009 0 Im B I2 par T a 26 2 12 5 u 101 1101114 NE Tua 1 inm UE 1 2 OT 62 pr a a 26 2 1 20 521 ES MO MOMISME tua To vom 451 1 E 20 17 2 per q us 2 1 20 sx 5 1101 1105116 NE 1 nual 1 11016 0 315 15 112 2 par n a 26 2 1 20 5 Fonte Exemplo do autor usando o software SPSS Feche todos os arquivos de dados abertos sem salv los 202 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL AJUSTE DE PONDERA O PARA N O RESPOSTA Todas as pesquisas s o afetadas pela n o resposta que ocorre quando toda informa o solicitada ou parte dela sobre unidades amostradas n o est dispon vel por alguma raz o
18. A amostragem da avalia o nacional ou o pessoal da rea de estat sti ca deve usar a seguinte f rmula para calcular o efeito do desenho deff Kish 1965 Lohr 1999 deff 1 roh x M 1 em que M o tamanho do conglomerado turma e roh a taxa de ho mogeneidade ou correla o intraclasse Para um roh 0 25 e tamanho da turma M 35 deff 1 0 25x 35 1 1 8 5 9 5 As estimativas do roh podem ser obtidas a partir das avalia es nacio nais anteriores de s ries similares ou adjacentes Se esses dados n o esti verem dispon veis as estimativas podem ser obtidas dos resultados dos exames p blicos ou emprestadas de avalia es de um pa s vizinho con duzidas em um pa s com caracter sticas educacionais similares Quando as unidades vizinhas s o semelhantes a sele o de muitos conglomera dos pequenos estatisticamente mais eficiente do que selecionar alguns conglomerados maiores No exemplo de Sentz o desenho recomendado selecionar deter minado n mero de escolas e pegar uma turma inteira como um conglo merado em cada escola selecionada Embora essa abordagem seja usada em grande parte por quest es administrativas h um pre o substancial a pagar em fun o da efici ncia estat stica porque as correla es intra classe e os tamanhos grandes de turma tendem a tornar os efeitos do desenho mais elevados ESTRATIFICA O A SRS e a SYS dos elementos e dos conglomerados s o m todos sim
19. ES DE DESEMPENHO EDUCACIONAL EXERC CIO 7 1 continua o O arquivo SCHOOLS SAV a base amostral provis ria das escolas em Sentz Voc pode abri lo no visualizador do SPSS seguindo as instru es do SPSS dadas aqui As palavras chave e as instru es do SPSS est o em caixa baixa Para ler a base amostral da escola na barra de menu escolha as seguintes op es File Open Data Look in BASE FILES SCHOOLS SAV Open Verifique se Data View e n o Variable View est selecionado na parte inferior da tela Verifique o registro n mero 6 Voc deve ver que a escola 1202 est na regi o Nordeste prov ncia 1 cidade 2 e a escola n mero 2 na cidade Essa escola tem tr s turmas com um total de 153 alunos na 82 s rie para um tamanho m dio de turma de 51 0 alunos Figura 7 1 A do exerc cio FIGURA 7 1 A EXERC CIO Dados da Escola Sentz JO0OLS sav DataSet1 PASW Statistics Data Editor File Edt View Data Transform Analyze Graphs ities Add ons Window Help 1 schookd fno schoolid region province density town school nbclass school size avgclass aot NE 1 rural 1 1 2 89 44 5 2 1102 NE 1 rural 1 2 2 111 55 5 3 1103 NE 1 rural 1 3 4 221 55 3 4 1104 NE 1 rural 1 4 4 214 53 5 5 1201 NE 1 rural 2 1 2 109 54 5 De im NE 1 rural 2 2 3 153 51 0 7 1203 NE 1 rural 2 3 3 145 487 8 1204 NE 1 rural 2 2 105 52 5 9 130 NE 1 rural 3 1 3 143 47 7 w i NE 1 rural 3 2 3 140 467 11 1601 NE
20. Fonte Compila o dos autores Local do treinamento O local para treinamento dos aplicadores de teste depender principal mente do tamanho do pa s e do n mero de aplicadores Se poss vel o melhor oferecer treinamento em um local central Em um pa s de grandes dimens es talvez o treinamento tenha de ser realizado em v rios locais CAPITULO APLICACAO EM ESCOLAS ste cap tulo descreve o papel do aplicador do teste Em seguida aborda os problemas fre quentemente encontrados na aplica o do teste e os procedimentos para melhorar a qualidade do exerc cio APLICADOR DO TESTE Se os aplicadores de teste forem externos escola devem seguir os pro cedimentos convencionais para visitas escolares incluindo relat rios para o escrit rio do diretor da escola se houver Em algumas avalia es nacionais a aplica o do teste feita ao mesmo tempo em todas as escolas geralmente durante um ou dois dias Em ou tras os aplicadores de teste deslocam se de escola para escola por um cur to per odo Neste ltimo caso preciso cuidado para manter a seguran a dos materiais de teste e assegurar que informa es relacionadas ao teste n o sejam trocadas entre as escolas A tenta o de se obterem informa es sobre os testes antes da aplica o tende a ser grande em sistemas educa cionais com uma tradi o de avalia o com consequ ncias significativas pois nessa situa o alguns professores podem
21. Ref No 98 0028 Chestnut Hill MA International Study Center Boston College 1998b Manual for International Quality Control Monitors Doc Ref No 98 0023 Chestnut Hill MA International Study Center Boston College 1998c Sampling Design and Implementation for TIMSS 1999 Countries Sur vey Operational Manual Doc Ref No 98 0026 Chestnut Hill MA Interna tional Study Center Boston College UNESCO United Nations Educational Scientific and Cultural Organization 1997 International Standard Classification of Education ISCED Paris UNESCO
22. S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL TABELA III A 1 Exerc cios Nome do arquivo Programa Explica o DATA VERIFICATION EXERCISE Excel 2007 Realizar compara es l gicas XLSX para verificar se as c lulas s o id nticas DATA SET 1 SAV SPSS Executar comandos de frequ ncia e corrigir registros de arquivos com erros MATHS 3A CODEBOOK Excel 2007 Adicionar todos os valores do TEMPLATE XLSX livro de c digo para os ltimos sete itens SAMPLE TEST PAPER 3A DOCX Word 2007 Usar como ferramenta de refer ncia para a cria o do livro de c digo SCHOOLS XLSX Excel 2007 Importar a lista de escolas para o banco de dados do Access STUDENTQUESTIONNAIRE DOCX Word 2007 Usar como exemplo de question rio do aluno em uma avalia o nacional Fonte Compila o dos autores TABELA III A 2 Solu o dos Exerc cios Nome do arquivo Programa Explica o DATA VERIFICATION EXERCISE Excel 2007 Solu o para verifica o l gica SOLUTION XLSX da compara o DATA_SET_1_SOLUTION SAV SPSS Solu o para corre o da tarefa dos erros dos dados MATHS 3A CODEBOOK Excel 2007 Solu o para a tarefa da cria o SOLUTION XLSX do livro de c digo MATHS 3A DATA SOLUTIONT1 Access 2007 Solu o para a tarefa de cria o ACCDB da tabela e do formul rio MATHS 3A DATA SOLUTION2 Access 2007 Solu o das tarefas de ACCDB exporta o de dado
23. Selecione SchoollD GivenName FamilyName e SchoolName Figura 13 1 B do exerc cio porque permitir o identificar com facilidade qualquer registro que pre cise de corre o e ent o clique em Next O Access recomendar um nome para a consulta nesse argumento Encontrar duplicatas para TBL MATHS 3A DATA CLEANED IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 179 EXERC CIO 13 1 continua o FIGURA 13 1 B DO EXERC CIO Campos Adicionais da Consulta Find Duplicates Query Wizard Do you want the query to show fields in additon to those with duplicate values For example if you chose to look for duplicate City values you could choose CustomerName and Address here Fonte Exemplo do autor usando o software Access 6 Selecione View the results e ent o Finish BUSCA DE REGISTROS DUPLICADOS A realiza o de uma consulta para encontrar eventual duplica o em uma tabela pode retornar um ou mais registros duplicados quando os dados tiverem sido inseridos incorretamente em diversas ocasi es Essa situa o pode ocorrer quando um digitador perde a concentra o e insere dados do mesmo caderno duas vezes ou quando os cadernos j tabulados s o colocados acidentalmente na pilha dos n o tabulados e inseridos de novo Observe que os dados apresentados nas Figuras 13 1 13 2 13 4 e 13 5 s o de uma avalia o fict cia Eles s o usados para demonstrar as sa das de uma consult
24. e Gerry Shiel Educational Research Centre St Patrick s College Dublin O trabalho foi realizado sob a dire o geral de Ruth Kagia diretora de Educa o e de sua sucessora Elizabeth King e Robin Horn geren te Human Development Network Education Group todos do Banco Mundial Robert Prouty iniciou o projeto e o administrou at agosto de 2007 Marguerite Clarke assumiu o projeto desde ent o e o gerenciou at as fases de revis o e publica o Somos gratos pelas contribui es do grupo de revis o Al Beaton Boston College Zewdu Gebrekidan Consultor Eti pia Eugenio Gonzalez Educational Testing Service Kelvin Gregory New South Wales Board of Studies Louis Rizzo Westat e Carlos Rojas Banco Mundial Marguerite Clarke e Robin Horn ofereceram coment rios adi cionais valiosos Hilary Walshe ajudou a preparar as v rias vers es deste documento Tamb m recebemos contribui es e apoio de Peter Archer Jung Hwan Choi Mary Rohan Hans Wagemaker e Hana Yoshimoto Gostar amos de agradecer s seguintes organiza es pela permiss o para a reprodu o de seus materiais Australian Council for Educatio nal Research International Association for the Evaluation of Educa tional Achievement e Statistics Canada Projeto gr fico edi o e produ o do livro foram coordenados por Janice Tuten e Paola Scalabrin do Escrit rio de Publica es do Banco Mundial A impress o foi coordenada por Nora Ridolfi O Austr
25. este decimais requerem um livro de c digo permite que o nome espa o para a v rgula de da escola tenha um m ximo de 20 decimal letras Ausentes Este o c digo dado para valores Coment rio Informa es adicionais que auxiliar o o pessoal para registro dos dados gerente de dados e analista em interpretar os dados podem ser inclu das aqui Fonte Compila o dos autores 99x siemyos o opuesn 10 ne op O dusxg ajuo ajuasne 6 odynu g p p c e z z L L 6 8 L E 6 8 p e T N OW SOAISSpe Lobyeo sejuasne SOPEP 66 6 66 4 ve 66 00 N yD elugnbes 90bved zu sne eso 6 66 GpL gt 9AeW gt G E Jegtode 6 66 v VL 666 000 N a enbou sobveo OJSUINU Sequesne SOPEP 66 66 f 8c 66 00 N YO ep oeiped vobyeo ajuasne 6 o dynu g p p c e z 2 L L 6 8 L v 68 r eT l NI OW BIB PED cobveD sejussne sopep 6 sojdnjnw g Hey 7 4eses SUeN Z ye 6 8 L e 6s v e Z L N OW eye siew zobveo sejuasne SOPEP 66 66 4 Sl 66 00 N yo LL 7y Lobveo JOJeA ap sojnjoy sequasny sosoppeses oneuo sepIjea sopeq od wa op oduwes seysodsoy ep od WON VE e gt jewsei op oBipo gt ap oa eg ewe op sud op sodwies eed s op OfIpos ap JAM IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 123 O Exerc cio 9 1 demonstra como inserir os dados da avalia o nacio nal em um livro de c digo
26. o do desenho ajuste para n o resposta e pondera o final para cada aluno selecionado por turma escola prov ncia 4 896 RESP2STGWTJK Identificadores vari veis de antecedentes pontua es situa o da participa o pondera o do desenho pondera o final estrato JK e replica o JK para cada aluno selecionado por turma escola e prov ncia 4 896 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 111 TABELA II A 1 Descri o dos Conte dos das Pastas continua o Arquivos SRS400 Descri o ou conte dos arquivos SPSS N mero de registros pontua es situa o da participa o pondera o do desenho ajuste para n o resposta e pondera o final para cada aluno selecionado STUDENTSR Identificadores vari veis de antecedentes 400 SAMPLE e pondera o do desenho para cada aluno selecionado SRSRESPONSES Identificadores vari veis de antecedentes 400 pontua es situa o da participa o e pondera o do desenho para cada aluno selecionado RESPSRSFINALWT Identificadores vari veis de antecedentes 400 Arquivos NATASSESS NATASSESS Descri o ou conte dos vers es SPSS e WesVar Identificadores vari veis de antecedentes pontua es de matem tica pontua es derivadas pondera o da estima o e pondera o normalizada estrato JK e replica es JK N mero de registros
27. o e outros interessa dos no sistema educacional O Volume 1 Avalia o dos n veis de desempenho educacional des creve os principais objetivos e caracter sticas das avalia es nacionais de desempenho escolar e visa principalmente aos formuladores de pol ticas e respons veis pela tomada de decis o na educa o O Volume 2 abor da a formula o de dois tipos de instrumentos de coleta de dados para exerc cios de avalia o nacional testes de aproveitamento dos alunos e question rios de antecedentes Este terceiro volume da s rie Implementa o de uma avalia o nacional de desempenho educacional concentra se nas tarefas pr ticas envolvidas na implementa o de um exerc cio de avalia o nacional em grande escala in cluindo instru es detalhadas sobre log stica amostragem limpeza e gest o de dados Como os Volumes 2 e 4 da s rie este destina se principalmente a equipes de economias em desenvolvimento e economias emergentes res pons veis pela realiza o de um exerc cio de avalia o nacional O Volume 4 aborda a forma de gerar informa es sobre os itens de teste e pontua o de testes e como relacionar os resultados dos testes a outros fatores educacionais Por fim o Volume 5 abrange a forma de escrever relat rios baseados nas conclus es da avalia o nacional e como usar os resultados para aprimorar a qualidade da pol tica educacional e tomada de decis o O Volume 5 reveste se de import ncia especi
28. o plano de amostra est detalhado e a sele o da amostra pode prosseguir Em Draw sample selection options clique em Yes e fase All 1 Clique em Custom value e digite 1234321 para obter a amostra que aparecer mais tarde nesta se o caso contr rio clique em A randomly chosen number para obter uma nova amostra Clique em Next Em Draw sample output files selecione External file e nomeie o MYSAMPLSOL STUDENTSRSAMPLE Clique em Save e em seguida em Next Em Completing the sampling wizard escolha Save the design to a plan file and draw the sample Clique em Finish 98 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 8 2 continua o As primeiras vari veis do arquivo NMYSAMPLSOLISTUDENTSRSAMPLE devem parecer aquelas exibidas na Figura 8 2 A do exerc cio Em alguns exemplos a ordem das vari veis pode diferir daquela que mostrada aqui FIGURA 8 2 A DO EXERC CIO Vari veis de Sele o SRS schoolid studentid region province density town school nbclass class classid E 1101103 NE 1 rural 1 2 1 11011 2 1101 1101203 NE 1 rural 1 1 2 2 11012 3 1103 1103218 NE 1 rural 1 3 4 2 11032 4 nos 1103236 NE 1 rural 1 3 4 2 11032 Continua class size student age gender InclusionProd SampleWeig PopulationSiz SempleSize SampleWeig SampleWeig ability 1_ htCumulative et 1 htt ht Final 1 1 41 3 13 1 ot 69 14 27654 400
29. os membros da comiss o precisam viajar longas dist ncias e pernoitar no local para participar das reuni es Como observado no Volume 1 a CNC deve realizar um n mero limitado de reuni es A necessidade de reuni es tende a ser maior nos est gios inicial e final da avalia o DESENHO DE UMA AVALIA O NACIONAL A equipe indicada para realizar uma avalia o deve desde o in cio trabalhar em estreita colabora o com a CNC se uma comiss o tiver sido criada A equipe de avalia o nacional e a CNC juntamente com a ag ncia financiadora geralmente o Minist rio da Educa o devem chegar a um acordo quanto aos objetivos desenho geral e escopo da avalia o levando em conta os recursos dispon veis incluindo pessoal e or amento O esbo o do desenho pode ser confiado CNC ou equipe de avalia o nacional O desenho deve abranger as seguintes decis es IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 13 e Indicar as perguntas sobre pol tica a serem abordadas e Especificar a popula o alvo a ser avaliada e Indicar se a avalia o deve basear se em uma amostra ou na popula o alvo inteira censo e Identificar as reas ou os constructos curriculares a serem avaliados e Descrever os instrumentos de coleta de dados testes e question rios juntamente com os m todos a serem usados para coletar os dados e Atribuir responsabilidade pelo desenvolvimento de testes e questio n rios
30. plo espera se que as pontua es do teste ou taxas de resposta apresentem dife ren a substancial para meninos e meninas ou para reas urbanas e rurais essas categorias podem ser consideradas nos ajustes de n o resposta No caso atual um r pido exame dos resultados n o sugeriu que esses fatores tenham sido parti cularmente importantes Por isso os ajustes para n o resposta ser o feitos dentro de cada turma Se por exemplo uma turma tiver originalmente 42 alunos e 1 de les saiu da escola e 3 estavam temporariamente ausentes os pesos originais s o multiplicados agora por 42 42 3 42 39 1 0769 O aluno que saiu da escola manteria o peso original justificando os outros alunos que deixaram a escola IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 209 EXERC CIO 14 6 continua o O arquivo IMYSAMPLSOLIPPSRESPONSES SAV cont m as respostas e ponde ra es do desenho para a amostra de dois est gios dos alunos O processo para computar os fatores de ajuste para n o resposta id ntico quele usado antes para a amostra aleat ria simples As respostas precisam ser contadas por turma e por escola e as instru es demonstrar o a hierarquia da amostra Na aus ncia de informa es que indiquem que a n o resposta completamente uniforme em toda a popula o pode ser aconselh vel fazer os ajustes em n vel local e n o em n vel global Realize as seguintes etapas para
31. quando o teste restringido a um grupo particular como a 3 s rie nes te caso Por exemplo pode haver um campo para indicar que o aluno tem um livro did tico Se a maioria dos alunos tem um livro did tico de ci ncias o valor default pode ser ajustado para 1 a fim de indicar tem um livro did tico de ci ncias Neste caso os dados seriam inse ridos nesse campo somente se o aluno n o tiver um livro did tico de ci ncias Alternativamente pode se ajustar o default para um c digo inv lido fora da escala de respostas para assegurar que uma entrada seja obrigat ria Nesse caso o valor default inserido automaticamente para todos os registros novos e o valor ent o substitu do quando os dados s o incorporados Se entretanto um aluno ou um respondente n o der uma resposta consideram se dados ausentes e o valor para 136 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 10 4 Defini o de Valores Default Siga estas etapas para definir valores default 1 Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB Abra TBL YR3 MATHS DATA em Design View Insira a vari vel Gender ap s a vari vel YearLevel e defina Data Type para Number e ON Na coluna Description insira Gender 1 Boy 2 Girl 8 multiple response 9 missing 5 Na rea Field Properties defina Default value para 7 Figura 10 5 B no pr ximo exerc cio Ao ajustar o v
32. ria Simples Valor verdadeiro Estimativa correta Estimativa incorreta Vari vel de in cio do ano usando pesos ignorando pesos interesse escolar erro amostral erro amostral N 27 368 27 437 331 378 M dia de idade 14 00 13 98 0 04 13 98 0 04 todos Propor o gt 230 0 26 0 25 0 02 0 25 0 02 em matem tica Nscnih s 13 665 12 920 722 178 M dia de idade 14 01 14 05 0 06 14 05 0 06 meninos Pontua o m dia 224 00 223 1 1 0 223 1 1 0 em matem tica meninos Fonte Compila o dos autores ESTIMANDO ERROS AMOSTRAIS COM T CNICAS DE i REAMOSTRAGEM a maioria dos desenhos complexos dese nhos que n o sejam de amostragem aleat ria simples ou amostragem aleat ria siste m tica dif cil derivar a f rmula exata da vari ncia e mais dif cil ainda program la Em muitos casos a implementa o pr tica do desenho de amostragem cria situa es que tornam imposs vel o uso da f rmula exa ta de vari ncia S o necess rios m todos aproximados por m eficazes e confi veis de se estimar a vari ncia amostral Uma classe de tais m todos chamada de amostragem replicada ou reamostragem Gru pos aleat rios replica o repetida balanceada jackknifing e bootstrapping est o entre os m todos mais conhecidos de estima o da vari ncia de reamostragem Um m todo particularmente inteligente de aproxima o da vari ncia foi derivad
33. stica e procedimentos apropriados de campo tenham sido desenvolvidos e implementados A amostragem probabil stica requer que cada unidade na popula o de interesse a popula o para a qual se buscam estimativas tenha uma probabilidade conhecida n o igual a zero de ser selecionada para compor a amostra amostragem probabil stica n o requer que todas as 76 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL unidades tenham a mesma probabilidade de sele o mas sim que tenham uma probabilidade de ser selecionadas Em uma avalia o nacional as unidades relevantes s o os alunos seus professores diretor e escola AMOSTRAGEM ALEAT RIA SIMPLES Quando todas as unidades t m a mesma probabilidade de sele o o esquema de amostragem faz parte de um grupo maior de esquemas de amostragem chamados m todos iguais de amostragem probabil stica A popula o de interesse pode ser de 10 escolas Os nomes das escolas s o escritos em peda os de papel id nticos que s o depositados em uma cai xa Os peda os de papel id nticos s o embaralhados e 2 dos 10 peda os s o sorteados da caixa Em tese cada escola tem 2 chances em 10 ou 1 em 5 de ser selecionada O ponto de partida para todos os desenhos de amostragem probabilis tica a amostragem aleat ria simples SRS A SRS um m todo de se le o composto por uma etapa que garante que cada amostra poss vel de tamanho n tenha uma possib
34. uma medida do grau com que uma estimativa de amostras poss veis e diferentes do mesmo tamanho e dese nho usando o mesmo estimador diferem uma da outra Em uma avalia o nacional baseada em amostra os erros amostrais devem ser calculados A finalidade deste cap tulo ilustrar como a va ri ncia amostral erros amostrais estimada na maioria das pesquisas de avalia o e apontar a import ncia de se incorporar corretamente o dese nho da amostra nessa estima o O cap tulo explica como as estimativas de erro amostral podem ser obtidas com facilidade usando se a replica 226 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL o quando em vez de selecionar uma amostra de tamanho n k amos tras independentes do tamanho n k s o selecionadas A variabilidade entre as estimativas da amostra k ent o usada para estimar a vari ncia amostral ver Anexo IV C Os erros amostrais baseados no desenho da avalia o de Sentz s o estimados usando se o WesVar Exerc cio 16 1 EXERC CIO 16 1 Estima o da Vari ncia Jackknife para uma Amostra PPS Se voc ainda n o instalou o WesVar em seu computador deve faz lo agora Siga as instru es contidas no Anexo IV D e recomece o exerc cio neste ponto 1 Para Sentz voc necessita primeiro preparar as replica es computar os pesos jackknife e atribu los s escolas As instru es para criar 60 zonas jackknife duas escolas por z
35. uma unidade ser exclu da aleatoriamen te e o peso do estrato restante ser ajustado de acordo incluindo ajustes para n o resposta ou p s estratifica o As unidades nos outros estratos JK mant m seus pesos originais A Tabela IV C 2 ilustra como as s ries n 2 de pesos JK s o constru das supondo que n o foi feito nenhum ajuste aos pesos para manter o exemplo mais simples Como foi feito com a amostragem replicada produz se uma estimativa para cada s rie de pesos JK e a vari ncia entre essas estimativas com putada como base para o erro amostral estimativa da amostra cheia as estimativas jackknife e a vari ncia amostral s o respectivamente wI yous Dus El Yomplexo 7 Yu Su 3 J VERES J Aog A E e Vix orgie gt re o ai j l em que J o n mero de estratos JK Alguns estat sticos preferem usar a m dia de estimativas replicadas em vez da estimativa da amostra cheia na computa o da vari ncia esti mada Se J for grande isso n o far muita diferen a Se n for mpar ser preciso fazer ajustes de modo que duas unidades sejam tratadas como uma na determina o aleat ria da unidade a ser ex clu da ou mantida Um especialista em amostragem deve ser consultado nessa situa o Agora o exemplo anterior pode ser examinado usando a estima o de vari ncia JK no lugar da amostragem replicada A tabela de dados pode ser reorganizada e os pesos replicados JK e as est
36. 00 27654 00 24 00 1 00 2 4448 00 27654 00 19 00 1 00 3 9511 00 27554 00 41 00 1 00 4 2222 00 27654 00 10 00 1 00 5 5908 00 27654 00 26 00 Erber Fonte Exemplo do autor dentro do software SPSS IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 93 EXERC CIO 8 1 continua o y Salve esse arquivo no diret rio MYSAMPLSOL como se segue Selecione File Save as Look in MYSAMPLSOL Digite SCHOOLALLOC como nome do arquivo Clique em Save Em seguida clique em File Close Voc tamb m pode fechar a s rie de dados PROVINCES sem salvar nenhuma mudan a que tenha feito a Se o minist rio ou comiss o de coordena o especificou que fosse dada prioridade a determinadas estimativas subnacionais tais como regi es alguma forma de aloca o des proporcional pode ser mais eficiente custa de uma precis o ligeiramente inferior para as estimativas nacionais Uma situa o desse tipo deve ser discutida com um estat stico expe riente porque tamb m pode afetar as decis es sobre estratifica o b O SPSS17 foi usado para preparar todos os programas e exemplos SPSS18 tem algumas mudan as menores os detalhes de algumas fun es ou itens do menu podem ter mudado por exemplo a instru o next n o mais necess ria para fechar alguns submenus De pendendo das op es selecionadas durante a instala o SPSS18 pode compilar automatica mente um registro muito ti
37. AVALIA ES DE DESEMPENHO EDUCACIONAL uma avalia o como para o aumento da probabilidade de que seus resul tados tenham um papel na forma o de pol ticas e tomada de decis es Quarto uma CNC pode ajudar a solucionar problemas administrativos e financeiros que surgirem durante a implementa o da avalia o Por fim a comiss o pode ter um papel importante para lidar com poss veis rea es negativas dos pol ticos avalia o os quais podem temer que a publica o dos resultados provoque o debate pol tico que refletir em seu mandato ou dos representantes dos professores que podem perce ber a avalia o como uma nova forma de responsabiliza o A composi o de uma CNC variar conforme o sistema educacional dependendo da organiza o e estrutura de poder do sistema Prev se que a comiss o tenha representantes do Minist rio da Educa o espe cialmente analistas de pol tica e corpos curriculares da ag ncia que im plementa a avalia o de professores formadores de professores e pais e dos principais grupos tnicos religiosos e lingu sticos ver o Volume 1 Avalia o dos n veis de desempenho educacional O tamanho da comiss o deve refletir a necessidade de equil brio entre o n mero m nimo das partes interessadas que devem ser representadas e os custos e esfor os log sticos necess rios para se organizarem reuni es da co miss o Este ltimo aspecto especialmente relevante em um pa s no qual
38. Clique em Open Para limpar a base amostral da turma primeiro clique na aba Variable View no canto inferior esquerdo da tela do SPSS Assinale a linha avgclass e delete a vari vel fa a um clique com o bot o direito e Clear Assinale a linha InclusionProbability 1 e delete a vari vel Assinale a linha SampleWeightCumulative 1 e delete a vari vel Assinale PopulationSize 1 e renomeie a PopulationSize1 Assinale SampleSize 1 e renomeie a SampleSize1 Assinale SampleWeight 1 e renomeie a Weight1 Assinale a linha SampleWeight Final e delete a vari vel Salve o arquivo como MYSAMPLSOL CLASS_FRAME e clique na aba Data View O CLASS FRAME deve se parecer com a base mostrada na Figura 8 7 A do exerc cio FIGURA 8 7 A DO EXERC CIO Base Amostral Limpa da Turma fle Edt yew Qata Transform Analyze Graphe tities Addons Window Help 1 schoolid 1101 schoolid region province density town school nbclas school_size ALLOC Population Sample Weight1 E soe ES E Jo Sae Size J 1 NE 1 rural 1 2 89 24 T A 261 11011 4 2 101 NE 1 ual 1 1 2 89 24 Mu 261 11012 48 Gay 1103 NE 1 rural 1 3 4 221 24 a A 1 05 11031 57 a no ne 1 rural 1 3 4 221 24 7 A 1 05 11032 52 5 no ne 1 rural 1 3 4 221 24 Mu 1 05 11033 55 6 1103 NE 1 rural 3 4 221 24 T ok 1 05 11034 57 7 1104 NE 1 rural 1 4 4 214 24 su 1 08 11041 56 RS 1104 NE 1 rural 1 4 4 214 2 au 1 08 11042 54 9 1104 NE 1 rural 1 4 4 214 24
39. DE DESEMPENHO EDUCACIONAL 221 EXERC CIO 15 1 continua o 8 Clique em Read values from variable Selecione Population Sizes na caixa Units no canto superior direito Mova PopulationSize de Variables para Read values e clique em Next No painel Summary clique em No do not add another stage seguido de Next Em seguida clique em Finish 9 Agora siga os comandos Analyze Complex Samples Descriptives Selecione o arquivo que voc acabou de criar MYSAMPLSOL SRS_PLAN Se lecione MYSAMPLSOL RESPSRSFINALWT como a s rie de dados clique em Continue e OK Mova Age Math e MAT230 de Variables para Measures Clique em Statistics e verifique se Means e Standard Error est o assinalados Clique ent o em Continue seguido por OK Uma pequena janela de sa da ser exibida na janela Output do SPSS Figura 15 1 B do exerc cio FIGURA 15 1 B DO EXERC CIO Estat stica Descritiva para Idade e Matem tica a Ee Gi yew Cole yowo pri Firma Aie am es Addons Winco Hi ie ga vew n i gt an sv eae O a 3 E E Comper samples Desenpaves MISSING JCOFESANALYSIS CLASIMI SING EX LIVE E na Elm J Brim hg eiai a F UB Atr Dataset Complex Samples Descriptives T Ly Unwvariate Statieues ffs 5 e bataset7 C Vorments and Settings cl6 deoktop AKA Samp Ling MYSMAPL Mm 41 ya Unwvariate Statistics fe Standard Cm lag e aT Mea aye 1386 047 u ie math 7
40. M AGE ser acrescentado lista Com puted Statistics Fa a o mesmo com MATH e MAT230 Voc pode mudar os r tulos como fez antes Agora clique na seta verde ou clique em Requests Run Workbook Requests para executar a solicita o Figura 16 1 A do exerc cio IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 227 EXERC CIO 16 1 continua o 4 Clique no cone open book ou em Requests View Output e expanda a visuali za o at que voc possa clicar no bot o GENDER para ver os resultados como indicados na Figura 16 1 B do exerc cio Observe que computar e exibir as estatis ticas pode levar algum tempo O programa termina sua execu o quando o cone View Output aparece no cone Requests FIGURA 16 1 A DO EXERC CIO Execu o de uma Solicita o no WesVar a WesVar WorkBook New Workbook fe fay WorkB ook Title 1 Table Request One Request Name T able Request One Generated Statistics Input Data C Documents and Settngs GD6 Browse Output Control SubSet STATUS paticpart Detal Analysis Vanables Computed Stabstics Full Weight FINALWEI M AGE MEANIAGE Sanpla TAF M MAT230 MEANIMAT 230 Replicate Weights JK01 JK60 M_MATH MEAN MATH ID STUDENTI i Table Set 1 FPC Factor fot used GENDER Method JK2 Cells Cell Functions Standardized Rates Add Table Set Single Add Table Set Multiple Fonte Exemplo do autor usando o softw
41. MATH em Source Variables e clique em gt para mov la para Range of Ori ginal Variables Digite gt 230 em Range of original variables e digite 1 em MAT230 11 Mova o cursor para a segunda linha e em MATH gt 230 insira MATH lt 230 e atribua o c digo 0 12 Clique em OK e em OK outra vez para executar a cria o da va ri vel bin ria Salve o arquivo usando o mesmo nome 13 Ainda na mesma tela clique em Format Label IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 263 Pesos de Replica o do WesVar EEE Tare ieiz Ore Des font Wrden teto alix olule am s simia e Ea Smia puta 0 ie tema O hese gt fare ET eel e ce el pros J E em E sj ums Fonte Exemplo do autor usando o software WesVar 14 15 Lo 17 18 Destaque GENDER de Source Variables Digite Girl como r tulo para o valor 0 e digite Boy como r tulo para o valor 1 digite Total como r tulo para o valor Marginal Figura IV D 4 Destaque MAT230 em Source Variables Digite Math score be low 230 como r tulo para o valor 0 e digite Math score at least 230 como r tulo para o valor 1 digite Total como r tulo para o valor Marginal Destaque RESP em Source Variables Digite Nonresponse como r tulo para o valor 0 e digite Participant como r tulo para o valor 1 digite Total como r tulo para o valor Marginal Clique em OK e salve sobrescreva o arquivo em MY
42. Mu 1 08 11043 54 10 1104 NE 1 tural 1 4 4 214 24 Mu 1 08 11044 50 120 NE a rural 2 2 3 153 24 Mu 1 52 12021 58 2 102 NE 1 rural 2 2 3 153 24 Mu 1 52 12022 43 3 1m NE 1 rural 2 2 3 153 24 au 1 52 12023 52 14 1203 NE 1 rural 2 3 3 146 24 Mu 159 12031 45 15 103 NE 1 tural 2 3 3 146 24 su 1 59 12032 45 16 1208 NE 1 rural 2 3 3 146 24 T A 1 59 12033 54 17 1301 NE 1 rural 3 1 3 143 24 MU 1 62 13011 49 Fonte Exemplo do autor usando o software SPSS 106 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 8 8 PPS Estratificado sem Reposi o Sele o de Escolas Sele o de uma Turma por Escola Para selecionar uma turma por escola use os seguintes comandos Data Sort cases Mova SCHOOLID CLASSID para Sort by Clique em OK Abra Analyze Complex samples Select a sample Selecione Design sample e escolha um nome para salvar o arquivo por exemplo 2STAGE 1 Clique em Next Em Design variables fa a o seguinte Mova SCHOOLID para Stratify by Mova CLASSID para Clusters Digite um nome em Stage Label por exemplo STAGE2 Clique em Next Em Sampling Method escolha Simple Random Sampling e clique em without re placement Clique em Next Em Sample size escolha counts clique em value e digite 1 Em seguida clique em Next Em Output variables selecione population size sample size e sample weight Cli que em Next Em Summary clique em No porque n o
43. Obtidas 100 E S 75 3 3 Ke E 50 o D iv E Q 9 25 e o 0 popula o alvo popula o alvo popula o nacional nacional desejada nacional definida obtida pesquisa escolas abrangidas unidades exclu das dentro das escolas E escolas exclu das Fonte Representa o dos autores A comiss o de coordena o nacional tamb m pode querer identificar os grupos subnacionais de interesse que definir por exemplo em termos de regi o ou g nero Ap s haver determinado a popula o alvo definida e possivelmente os subgrupos de interesse a equipe de avalia o na cional ou seus peritos da amostragem devem ent o construir uma base amostral apropriada CRIA O DA BASE AMOSTRAL ste cap tulo apresenta a ferramenta mais sim ples para a amostragem de pesquisas a base amostral O cap tulo mostra como a base amostral e a popula o podem ser muito semelhantes ou completamen te diferentes assim como as propriedades de uma base eficaz Por fim o cap tulo introduz a avalia o de demonstra o conduzida em Sentz A BASE AMOSTRAL Em uma situa o ideal uma base amostral uma lista abrangente com pleta e atualizada que a inclui os alunos da popula o alvo definida e b cont m informa es que ajudam a ter acesso aos alunos No caso de uma avalia o nacional de aproveitamento escolar a disponibilidade de uma lista de todos os a
44. Probabilidade Proporcional ao Tamanho Unidade Prim ria de Amostragem Statistical Analysis Software Statistical Package for Social Sciences Amostragem Aleat ria Simples An lise de Dados da Pesquisa Amostragem Aleat ria Sistem tica Tend ncias Internacionais no Estudo de Matem tica e Ci ncias INTRODU O import ncia de se obterem evid ncias sobre a qualidade da educa o n o apenas sobre o oferecimento desta mas tamb m sobre a aprendizagem dos alunos tem sido tema relevante da pol tica educa cional em todo o mundo desde a d cada de 1990 Por um per odo con sider vel evid ncias baseadas em percep es t m sugerido que mui tas crian as se beneficiam pouco de sua experi ncia de escolaridade principalmente se essa experi ncia se limitar apenas a alguns anos no sistema educacional No entanto os governos passaram a reconhecer a necessidade de informa es mais objetivas e sistem ticas sobre o sucesso das escolas em transformar recursos em aprendizado dos alunos Essas informa es s o necess rias para a obter um retrato adequado dos n veis nacionais de aproveitamento escolar especialmente em reas curri culares chave b comparar os n veis de aproveitamento das subpopula es por exemplo meninos e meninas grupos de linguagem ou grupos tnicos alunos das reas urbana e rural que podem ter implica es significativas no julgamento da equidade do sistema c acompanhar a evolu o
45. Resposta Estimativas da Pesquisa Ajustadas para N o Resposta Antes e Depois do Ajuste para P s Estratifica o Base Amostral com Medidas Diferentes de Ordem de Tamanho Dentro dos Estratos Base Amostral para 10 Escolas e Pondera es de Desenho Associadas se Selecionadas Base Amostral Ajustada Base Amostral Base Amostral Modificada Dados de Sentz Baseados no Censo Compara o de Estimativas Calculadas com e sem os Pesos para Valores do Censo Come o do Ano Escolar Amostra Aleat ria Simples Compara o de Estimativas Calculadas com e sem os Pesos para Valores do Censo poca da Avalia o Amostra Aleat ria Simples C lculo da Vari ncia Amostral Estimada de Y Usando a Amostragem Replicada Prepara o para a Estima o de Vari ncia Jackknife Estima o da Vari ncia Amostral Usando Jackknifing 130 188 188 195 207 207 213 214 216 236 237 237 239 240 245 246 247 250 253 254 ISCED JK MOS NAMA CN NSC PASW PPS PSU SAS SPSS SRS SUDAAN SYS TIMSS ABREVIA ES Gerente de Dados Associa o Internacional para a Avalia o do Aproveitamento Escolar Identificador Associa o Internacional para Avalia o do Aproveitamento Escolar Classifica o Internacional Normalizada da Educa o Jackknife Medida do Tamanho Avalia o Nacional de Aproveitamento em Matem tica Coordenador Nacional Comiss o Nacional de Coordena o Software de An lise Preditiva
46. SYS pode selecionar apenas as amostras em que as unidades s o separadas por k Assim sob esse m todo somente as amostras poss veis de k podem ser extra das da popula o Como uma ilustra o da SYS suponha que um pesquisador em uma prov ncia com uma popula o de N 36 escolas tenha de extrair uma amostra do tamanho n 12 escolas O intervalo de amostragem seria k N n 36 12 3 Em seguida o investigador seleciona um n mero aleat rio que varia de 1 a 3 o valor para k Suponha que seja 1 As esco las selecionadas para a amostra s o aquelas numeradas 1 4 7 31 e 34 Com uma popula o de tamanho 36 existem somente tr s amostras poss veis SYS de tamanho 12 enquanto h mais de 1 2 bilh o de amos tras aleat rias simples poss veis do mesmo tamanho A SYS pode ser usada quando n o existe nenhuma lista pr via das unidades da popula o Nesse caso uma base conceitual pode ser cons truida pela amostragem de cada k unidade at que o final da popula o seja alcan ado Por exemplo se uma turma de aproximadamente 50 alunos for selecionada mas n o houver nenhuma lista de turmas e for necess ria uma amostra de alunos de um a tr s o aplicador do teste pode receber um n mero de in cio aleat rio que varia de 1 a 3 Suponha que o n mero seja 2 Quando o aplicador chegar sala de aula selecio nada come ar por um canto predeterminado da sala por exemplo primeiro lugar esquerda da fileira dianteir
47. Sciences gravem automaticamente as mudan as feitas aos dados durante o uso do progra ma a manuten o de um arquivo ReadMe durante o projeto impor tante de modo que um registro de todas as mudan as feitas em todos os programas e opera es esteja armazenado em um lugar O arquivo ReadMe chamado README DOCX na pasta EXERCISE SOLUTIONS um exemplo da documenta o que suporta os proces sos de limpeza de dados veja o Anexo III A CONSIST NCIA ENTRE ARQUIVOS Muitas avalia es nacionais inserem cada registro de dados duas vezes A finalidade da dupla digita o haver duas s ries de dados que possam ser comparadas entre si para encontrar casos de erros de digita o Se a avalia o nacional requerer uma metodologia de dupla digita o pre ciso verificar a exatid o de cada arquivo e corrigir os dados originais O Exerc cio 11 1 cont m as respostas de seis alunos extra das de uma s rie de dados muito maior que foram digitadas duas vezes e comparadas para fins de exatid o Por quest es de economia e prati cidade o Excel foi usado para comparar as respostas desse exerc cio Normalmente programas de menor disponibilidade como o WinDem ou programas mais caros como o m dulo SPSS Data Entry seriam usados para verifica es de consist ncia entre arquivos Usar o Excel dessa maneira n o requer que os dados importados para esse programa sejam usados para qualquer an lise adicional O Excel usado apenas c
48. Se n o houver nenhuma possibilidade de que essas escolas venham a conseguir qualquer aluno eleg vel a tempo para a avalia o devem ser removidas da base amostral Em geral se s o necess rias estimativas separadas para os estratos se r o necess rios n veis iguais de precis o da amostragem para cada estra to Tal precis o geralmente requer a amostragem de um n mero igual de escolas em cada estrato n o obstante o tamanho do estrato Como cada estrato deve ter um m nimo de duas escolas participantes para permitir a estimativa do erro amostral ver Anexo IV C o n mero alocado para a sele o deve ser ajustado para a n o resposta prevista Os membros da equipe de avalia o nacional encarregados da amos tragem s o respons veis por assegurar que a amostra da escola esteja alo cada corretamente Eles devem consultar um especialista em amostra gem Tais especialistas s o encontrados frequentemente em minist rios al m do da Educa o como o escrit rio estat stico nacional ou o minis t rio respons vel por pesquisas domiciliares nacionais Um especialista em amostragem pode fornecer aux lio em quest es como quantas esco las devem ser inclu das por estrato e o que fazer quando um estrato tem poucas escolas O Exerc cio 8 1 trata mais profundamente da aloca o nos estratos Outras estrat gias de amostragem que requerem informa es muito mais detalhadas sobre as unidades individuais est o al m do escopo deste ca
49. Start Programs SPSS 2 Selecione File Open database New Query 3 A janela Database Wizard aparecer Selecione MS Access Database da lista ODBC Data Sources Em seguida clique em Next 4 A janela ODBC Driver Login aparecer Clique no bot o Browse e navegue at onde seu banco de dados Access est armazenado NAEA DATA CLEANING MY SOLUTIONS Selecione seu banco de dados MATHS_3A_DATA ACCDB clique em Open e ent o clique em OK 5 A tabela tbl Yr3 Maths Data aparecer na caixa Available Tables Um duplo clique nesse cone ou um clique na seta direita dessa caixa recuperar todos os campos dessa tabela Figura 10 10 A do exerc cio Clique em Next FIGU Database RA 10 10 A DO EXERC CIO Importa o do Arquivo de Dados Select Data Select me Bets you want to retneve Them cick the arrow button or drag Me elds to the Retieve Feiss hst Tip Selecng a tatis selects ai of te Belts Avatatia Tadios Remove Fisias in tia Crer a a Sopttetanames snow ly Tables piyes PI Bmonyms ff Seater tattes Fonte Exemplo do autor usando o software Access IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 151 EXERC CIO 10 10 continua o A 6 A tela seguinte permite que voc limite o n mero dos casos recuperados por meio da especifica o de crit rios de sele o Se voc quiser importar todos os casos clique em Next 7 A tela seguinte permite que voc edit
50. Value Veacation Rute The error message that appears when you Validation Text enter a value prohibited by the validation Required Yes rule Press FI for help on validation text Allow Zero Length No Indexed Yes No Duplicates Unicode Compression No IME Mode No Control IME Sentence Mode None Fonte Exemplo do autor usando o software Access 4 Use a tecla Tab at chegar ao campo Data Type Isso deve levar caixa de di logo Field Properties abaixo da tabela Nota Alguns dos itens listados em Field Properties t m setas suspensas Clique no lado direito do campo associado a cada item para obter a seta suspensa 5 Clique na seta suspensa J direita da c lula Data Type na fileira StudID As op es de tipos de dados dispon veis no Access aparecer o 6 Selecione Text a partir do menu suspenso usando o mouse ou as teclas de seta no teclado Observe que embora o ID real esteja no formato num rico deve comportar se como texto de modo que os conte dos da c lula apare am exata mente como foram inseridos Assim por exemplo um n mero ID com um d gito inicial O permanecer como est O formato mostrado na rea Field Properties o default atribu do pelo Access para uma chave preliminar automaticamente atribu da desse tipo de dados Figura 10 2 A do exerc cio 7 Use a tecla Tab para chegar Description Column e digite Student ID na c lula 8 Como indicado na Etapa 6 o Access ter optado automaticame
51. a Neste exemplo a contagem est atualizada Em algumas situa es pode haver um retar do de tempo entre a cria o da base amostral por exemplo no m s 1 do ano escolar e a conclus o dos testes por exemplo no m s 10 O n mero de alunos pode mudar devido a fatores tais como migra o natural novas chegadas e partidas Nessas situa es preciso ter uma contagem atualizada IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 211 EXPORTA O E IMPORTA O DE DADOS LIMPOS A etapa final do processo de limpeza e pondera o de dados consiste em exportar a s rie de dados limpa em um formato que seja apropriado an lise O SPSS Statistical Package for the Social Sciences importa da dos do Access e em v rios formatos de texto O SAS Statistical Analysis Software importa dados nos formatos Access e SPSS al m de muitos outros formatos de texto O WesVar aceita arquivos do Access EpiDa ta Epi Info SAS SPSS e Stata P S ESTRATIFICA O USO DE INFORMA ES AUXILIARES PARA APRIMORAR ESTIMATIVAS COM O AJUSTE DOS PESOS DE ESTIMA O A pondera o do desenho multiplicada pelo fator de ajuste para n o resposta pode ser usada para produzir os pesos finais e as estimativas amostrais das caracter sticas desejadas Entretanto s vezes a informa o sobre a popula o pesquisada est dispon vel em outras fontes por exemplo nas estat sticas mais recentes sobre matr culas Essa inf
52. a abrir o arquivo correto de resposta b computar o tamanho da amostra no ltimo est gio da amostragem o tamanho da turma e n mero de respondentes c computar um fator de ajuste para n o resposta em n vel da turma e d computar os pesos finais Primeiro leia o arquivo PPSResponses File Open Data Look in MYSAMPLSOL PPSRESPONSES SAV Open 2 Crie um marcador para resposta e conte o numero de casos de resposta Sele cione Transform Recode into Different Variables Mova STATUS para Input Variable Digite RESP em Output Variable Name Se voc quiser pode digitar um r tulo Clique em Change Clique em Old and New Values Em Old Value clique em Value e digite absent respeitando as letras mai s culas e min sculas Em New Value digite o n mero 0 Clique em Add Em Old Value clique em All other values na parte inferior da tela Em New Value digite o n mero 1 Clique em Add Clique em Continue Clique em OK Selecione Data Aggregate Mova SCHOOLID CLASSID para Break variable em Aggregated variables clique em Number of cases Digite CLASS SIZE em vez de manter o default N BREAK Em Save clique em Add aggregated variables to active dataset Em Options clique em Sort file before aggregating Clique em OK Selecione Data Aggregate novamente Mova RESP para Break variable e adi cione o a SCHOOLID CLASSID que ainda deve estar na caixa de di logo da etapa precedente Em Aggregated variables
53. amostragem IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 99 O desenho de amostra recomendado para Sentz tem duas fases C l culo da amostra estratifica o e aloca o da amostra de primeira fase para o estrato j foram feitos O exerc cio prossegue agora com a sele o da amostra O processo geral de amostragem que leva sele o de uma turma selecionada aleatoriamente por escola a partir de uma amostra de escolas selecionadas aleatoriamente est esbo ada no Exerc cio 8 3 Como o exerc cio envolve diversas etapas para facilitar a leitura divi dido em v rias etapas Exerc cios 8 3 a 8 8 Os arquivos de base amostral das escolas e de aloca o de escolas s o consolidados no Exerc cio 8 4 Uma vez que a consolida o dos arquivos de escolas e da aloca o de escolas esteja conclu da a primeira fase da sele o amostral pode come ar Isso requer uma sele o de 120 escolas veja o Exerc cio 8 1 de um total de 227 escolas Exerc cio 8 5 EXERC CIO 8 3 PPS Estratificado sem Reposi o Sele o de Escolas Leitura de Arquivos de Escola e Aloca o de Escolas A sele o da amostra deve ser feita de forma independente em cada estrato neste caso dentro de cada prov ncia Alguns arquivos de resposta foram colocados na pasta 257G4400 para facilitar essa tarefa Uma aloca o de amostra j foi computada e armazenada e deve ser especificada aqui Voc j completou a tarefa
54. arquivo j classificado para a estratifica o impl cita uma t cnica consiste em usar a escola imediatamente depois ou imedia tamente antes da escola selecionada na lista classificada supondo que a escola esteja dispon vel para atuar como uma escola de reposi o Essa estrat gia n o elimina o vi s de n o resposta mas pode mant lo em um n vel m nimo se a classifica o estiver de fato relacionada aos resulta dos Uma escola selecionada para a amostra principal nunca pode ser usada como escola de reposi o para outra escola selecionada mas n o respondente Uma escola de reposi o pode ser marcada como substi tuta para duas escolas consecutivas selecionadas por exemplo quando a taxa amostral for muito elevada em um estrato e o n mero de escolas dispon veis para reposi o for insuficiente Nessa situa o a escola de reposi o pode ser usada somente uma vez As escolas de reposi o podem ser um recurso tranquilizador Entre tanto as equipes de avalia o nacional podem ajudar a limitar o uso de escolas de reposi o ao procurar incentivar todas as escolas originalmen te selecionadas a participarem IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 235 ESTRATIFICA O CLASSIFICA O DA BASE AMOSTRAL E SELE O DA AMOSTRA A maioria dos estudos sobre avalia o nacional usa um desenho estra tificado multiest gio Esse tipo de desenho foi ilustrado no Cap tulo 8 Como indicado
55. avalia o do desempenho edu cacional Kellaghan Greaney e Murray 2009 o ltimo livro da s rie fornece diretrizes para descrever os resultados de uma avalia o na cional em relat rios t cnicos comunicados de imprensa sess es in formativas para formuladores de pol tica e relat rios para professores e grupos de especialistas Considera tamb m como os resultados da avalia o nacional podem ser usados para orientar a pol tica e gest o educacional influenciar o curr culo e pr ticas em sala de aula e sensi bilizar o p blico para quest es educacionais Seu conte do de espe cial relev ncia para a os respons veis pela prepara o de relat rios de avalia o e pela comunica o e divulga o dos resultados e b usu rios dos resultados formuladores de pol tica gestores educacio nais e funcion rios das escolas Este volume Implementa o de uma avalia o nacional de desempe nho educacional como os Volumes 2 e 4 concentra se nas tarefas pr ticas envolvidas na execu o de um programa de avalia o nacional em grande escala Tem quatro partes A Parte I Log stica de uma Avalia 4 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL o Nacional fornece uma vis o geral das tarefas envolvidas como as atividades essenciais de uma avalia o s o organizadas e implementadas quais recursos humanos e outros recursos s o necess rios e quais tarefas ocorrem a
56. clique em Number of cases Digite CLASS RESP para o n mero de respondentes em vez de manter o default N BREAK Em Save clique em Add aggregated variables to active dataset Em Options clique em Sort file before aggregating Clique em OK 210 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 14 6 continua o 3 Compute o fator de ajuste para n o resposta Selecione Transform Compute Variable Digite NRESADJ em Target Variable Digite CLASS SIZE CLASS RESP em Numeric expression Clique em If Clique em Include if case satisfies condition Digite RESP 1 Clique em Continue Clique em OK Selecione Transform Compute Variable Digite NRESADJ em Target Variable Digite 0 em Numeric expression Clique em If Clique em Include if case satisfies condition Digite RESP 0 Clique em Continue Clique em OK Clique em OK outra vez 4 Compute peso final da estima o No menu selecione Transform Compute Va riable Digite FINALWEIGHT em Target Variable Digite DesignWeight NRESADJ em Numeric expression Clique em If Clique em Include all cases Clique em Continue Clique em OK Salve os resultados do ajuste para n o resposta pondera o do desenho no arquivo AMYSAMPLSOLIRESP2STGFINALWT SAV para uso futuro A Figura 14 6 A do exerc cio mostra um excerto do arquivo de dados da amostra PPS com os ajustes finais de peso e os pesos finais apresentados nas duas l
57. computada Assinale Table Set 1 mova GENDER de Source Variables para Selected e clique em Add as New Entry Se necess rio clique em para expandir Table Set Clique no modo Cells no painel esquerda O painel direita exibir todas as c lulas que ser o produzidas para aquela tabela em Cell Definition assinale 1 digite Meninos no painel Label e clique em Add as New Entry Fa a o mesmo para a c lula 2 que se refere s meninas Figura 16 2 C do exerc cio 230 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 16 2 continua o FIGURA 16 2 A DO EXERC CIO Workbook WesVar Antes da Fase An lise o WesVar WorkBook New Workbook DER File View Requests Windows Help xXx elile alal malol 2 Descriptive Request One Title WorkBookTileT Options Generated Statistics Input Data C Desktop WesVar data NATASSESS var Output Control rA Analysis Variables MATHPC MATHRS A workbook consists of multiple table MATHSS requests or and regression requests Transtormed Variables Correlations By New Request Table Regression Descriptive Stats Fonte Exemplo do autor usando o software WesVar FIGURA 16 2 B DO EXERC CIO Estat stica Descritiva WesVar para MATHPC WesVar Output File for WorkBook Title 1 File View Help BS aja mivja Bar e 2 WerkBook Title 1 Statistics Deseo Rea Ove E MATHPC N 4747 51713 00 Extremes Missin
58. de 27 654 estudantes Essa compara o pode ser examinada no Anexo IV B CONCLUS O Este cap tulo limitou se estima o na amostragem aleat ria simples O SPSS Complex Samples pode ser usado para computar as estimativas e seus erros de amostragem em desenhos complexos Entretanto pode ser dif cil usar esse software nessa situa o espec fica e requereria uma compreens o relativamente profunda de amostragem de pesquisas Uma abordagem e um software alternativos s o propostos no Cap tulo 16 ver tamb m o Anexo IV C COMPUTA O DE ESTIMATIVAS E SEUS ERROS AMOSTRAIS A PARTIR DE AMOSTRAS COMPLEXAS stimativas produzidas a partir de uma pesqui sa est o sujeitas a dois tipos b sicos de erros erros amostrais e erros n o amostrais Os er ros n o amostrais incluem erros de medida erros de tend ncia erros de resposta e similares Quando esses erros s o sistem ticos frequen temente geram vieses e dif cil mensur los Quando s o aleat rios podem ser estimados com trabalho e recursos generosos Em avalia es nacionais os erros n o amostrais s o causados por fatores humanos tais como a supervis o inadequada durante a aplica o do teste por erros cometidos durante a limpeza e registro de dados por falta de esfor o para responder a testes ou question rios ou por respostas falsas aos itens do question rio Os erros amostrais por outro lado n o s o atribu veis a fatores humanos O erro amostral
59. de duas maneiras A primeira envolve clicar no cone abl na barra de ferramentas da op o Form Design Tools Design e clicar na rea do formul rio em que o campo deve ser adicionado Nota Se o cone n o estiver vis vel aperte o bot o do martelo e alicate na barra de ferramentas e ele aparecer O tamanho e a forma do r tulo e caixa de texto al m das propriedades dos campos ser o ajustados para os valores default Eles devem ser redimensionados ou alterados manualmente se precisarem fi car id nticos aos r tulos e caixas de texto j existentes no formul rio Em seguida ajuste a fonte de controle para a caixa de texto dando um clique com o bot o direito na caixa de texto caixa direita selecionando Proper ty Sheet na op o Design selecionando a aba Data e ent o escolhendo a fonte relevante do menu suspenso Control Source Esses passos mudar o os conte dos da caixa de texto de Unbound para a fonte relevante A segunda maneira e a mais r pida de adicionar outro campo re quer copiar CTRL C o r tulo e a caixa de texto e ent o col los CTRL V no formul rio Essa c pia ser id ntica em todos os aspectos aos dados originais e pode ser adicionada mediante a sele o e a colagem dos grupos em vez de apenas conjuntos simples de r tulos e caixas de texto Em seguida o nome do texto e os dados das vari veis podem ser mudados para os valores requeridos Os r tulos e as caixas de texto ser o colados a
60. de nascimento usada para identificar nascimento do alunos em dados longitudinais aluno Idade do aluno Num rico A idade pode ser codificada agrupada ou em anos registrada como dado discreto Idioma falado Num rico O idioma geralmente codificado como se segue pelo aluno 1 idioma nativo 2 idioma estrangeiro Fonte Compila o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 131 A Tabela 10 1 apresenta uma lista das vari veis t picas nomes de cam po que s o comuns em avalia es nacionais Essas vari veis permitem a an lise dos dados por grupos por exemplo desempenho de alunos de 5 anos comparado com o desempenho de alunos de 6 anos ou o desempe nho dos meninos comparado com o das meninas A lista n o exaustiva Em alguns estudos nacionais e internacionais tais como a Avalia o Na cional do Progresso em Educa o o Programa Internacional de Avalia o de Alunos e o Estudo das Tend ncias Internacionais no Estudo de Mate m tica e Ci ncias a lista das vari veis extensa Inser o de informa es de campo na tabela em branco O Access e outras bases de dados em geral requerem um n mero de sequ ncia ao qual os dados possam ser relacionados Tabelas vinculadas podem ser criadas usando o identificador do aluno na avalia o ID Para as finalidades do Exerc cio 10 2 o ID do aluno tem o nome de campo StudID usado como um valor em se
61. de que a uni dade seja escolhida em uma amostra variam geralmente de estrato para estrato porque dependem de como a amostra alocada a cada estrato Para calcular as probabilidades de inclus o para a maioria dos desenhos de amostra devem se considerar o tamanho da amostra e o tamanho da popula o em cada estrato Para fins de exemplo considere uma popu la o de N 1 000 escolas estratificadas em dois grupos rural e urbano O grupo ou estrato urbano tem N 250 escolas e o estrato rural tem N 750 escolas Se a SRS for usada para selecionar n 50 escolas do primeiro estrato e n 50 escolas do segundo a probabilidade de uma escola do primeiro estrato ser selecionada m 50 250 1 5 e a probabilidade de uma escola do segundo estrato ser selecionada m 50 750 1 15 As escolas t m assim probabilidades diferentes de in clus o dependendo de sua localiza o ou estrato Nesse exemplo uma escola de rea urbana tem mais probabilidade de ser selecionada do que uma escola de rea rural A aloca o da amostra de avalia o nacional aos estratos pode ser uma tarefa dif cil Com or amento fixo e conhecimento limitado se que o conhecimento existe das caracter sticas das unidades de interesse a maior parte da teoria sobre estratifica o e aloca o de amostra tima de uso limitado Com frequ ncia necess rio recorrer s considera es pr ticas e procurar conselhos de especialistas para elaborar um
62. de uma unidade e produzir uma estimativa da caracter stica de interesse usando essa amostra reduzida medida que cada unidade exclu da existir o tantas r plicas quanto unidades prim rias na amos tra cheia O erro amostral estimado ao se computarem as diferen as ao quadrado entre cada uma das estimativas replicadas e a estimativa da amostra cheia como o exemplo da amostragem replicada descrita na se o anterior Se a amostra cheia compreende por exemplo 150 escolas seria preciso realizar 150 estimativas replicadas e computa es entediantes Para reduzir e simplificar as computa es poss vel sobrepor um desenho de amostragem jackknife ao desenho original de amostragem Ao se manterem as unidades prim rias por exemplo as escolas na or dem em que apareceram na base amostral a probabilidade sistem ti ca proporcional amostragem do tamanho usada quase sempre em avalia es internacionais as duas primeiras unidades s o unidas para formar um estrato JK ent o as unidades 3 e 4 s o unidas em seguida 252 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL as unidades 5 e 6 e assim por diante No fim do processo os estratos n 2 JK ter o sido formados cada um contendo duas unidades Cada par tratado agora como um estrato independentemente da estratifica o original alguns estratos JK provavelmente coincidir o com os estratos originais Em cada estrato JK
63. do formul rio podem agora mudar de posi o no formul rio 4 Selecione os campos que voc quer mover para um lugar diferente no formul rio e use o mouse fun o clicar e arrastar ou as teclas de seta no teclado para mover o campo para a posi o desejada Figura 10 8 A do exerc cio Ao clicar no primei ro campo por exemplo StudlD e manter a tecla shift pressionada enquanto clica em outros campos poss vel selecionar campos m ltiplos Lembre se de soltar a tecla shift e de colocar o cursor dentro de uma das caixas selecionadas antes de FIGURA 10 8 A Mover Campos de Formul rios Studid I I I Q3Agos c m GivenName i Pi Q3Aq06 E E Aa EE I EEE EAmilyN re i r i F A 3 4 E sy E SchoolName Q3AGos L i J l w u lt Yeartevel I L I JE Gender oy 2 sita I I I I I Q3Aq13 Q3Aq02 E i E f ji ji Q3Aq03 Q3Aq04 Q3Aqi4 Fonte Exemplo do autor usando o software Access IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 145 EXERC CIO 10 8 continua o o Ei rm YR3 MATHSIDATA Studio po Sh GivenName FamilyName SchoolName al YearLevel am Gender Age ae p a ee e TestLanguage i aa Seager fa e 0 Q3Aq04 cadar
64. do aproveitamento ao longo do tempo e d orientar decis es de pol tica e de gest o relativas ao fornecimento de recursos O procedimento utilizado para se avaliar o aprendizado dos alunos em n vel de sistema chamado avalia o nacional Sua administra o 2 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL uma atividade complexa que exige uma variedade de habilidades e insta la es O componente central da avalia o a coleta de dados nas esco las principalmente atrav s de respostas aos instrumentos de avalia o e question rios de alunos em grupos No entanto as atividades come am bem antes da coleta de dados e se estendem muito al m dela preciso indicar uma institui o respons vel pela coleta de dados tomar decis es sobre quest es de pol tica e de pesquisa a serem abordadas e desenhar e fazer pilotos com os testes e question rios Na prepara o para o teste real necess rio identificar popula es e amostras de escolas e alunos entrar em contato com as escolas e selecionar e treinar os administrado res do teste Ap s a aplica o do teste ser necess rio muito tempo e esfor o para preparar os dados para an lise realizar as an lises elaborar os relat rios e divulgar os resultados da avalia o Embora muitos sistemas educacionais desde 1990 tenham se compro metido em fazer uma avalia o nacional poucos tiveram a ampla gama de compet ncias t cnicas nec
65. e Especificar as perguntas espec ficas a serem abordadas nas an lises e Atribuir responsabilidade para a prepara o de relat rios finais e ou tros documentos por exemplo relat rios para os formuladores de pol tica e decidir o n mero de c pias de cada relat rio e Especificar atividades de divulga o para garantir que o sistema educa cional seja informado e se beneficie dos resultados da avalia o Uma quest o que deve ser levada em conta no desenho de um estudo a necessidade de se monitorar a mudan a ao longo do tempo repetindo a avalia o em uma data futura Al m disso importante considerar se a avalia o ser realizada em mais de uma s rie escolar para fornecer infor ma es sobre aproveitamento em n veis diferentes do sistema educacional O or amento alocado e os servi os de apoio que podem ser fornecidos sem nenhum custo adicional tamb m devem ser levados em conta PLANEJAMENTO Um plano detalhado para a implementa o da avalia o nacional deve ser formulado com base no desenho geral e refleti lo O plano do projeto um documento que apresenta as atividades tarefas dura o crono gramas e pessoas envolvidas O plano deve e Especificar o escopo da avalia o nacional e Identificar as principais atividades e tarefas e Alocar recursos para cada atividade em termos dos indiv duos res pons veis e Desenvolver uma programa o com datas de in cio e de conclus o para cada
66. e as informa es dos alunos v m de TBL MATHS 3A DATA CLEANED Selecione as informa es da escola a partir de tbl Schools porque uma fonte mais fidedigna para informa es sobre a escola do que TBL MATHS 3A DATA CLEANED que foi extra da das capas dos cadernos de teste 172 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 12 3 continua o 8 Destaque a coluna YearLevel dos campos na Figura 12 3 C do exerc cio clicando na pequena caixa cinza acima do nome do campo Mantenha o cursor na pequena caixa cinza de modo que ele se transforme em uma seta branca clique e arraste essa coluna posi o de fim ap s as vari veis tbl Schools Essa a o garantir que a vari vel YearLevel seja mostrada no final da folha de dados resultante FIGURA 12 3 C DO EXERC CIO Vari veis de Consulta F Quem TBL_MATHS 34 DAT tbl Schools p SchoollD a W Scnoolcode StudiD SchoolName Girenhiame Address FamilyName Suburb SchoolName Zone Yeartevel 4 Field StudiD GwenName FamiyName thi_Schools Table TEL MATHS 3A DATA TEL MATHS 3 TA TBLMATHS JA DATA toi Schools Sort snow E a E Criteria or Fonte Exemplo do autor usando o software Access 9 Se necess rio clique sobre um espa o aberto para remover o destaque 10 Execute a consulta clicando no cone vermelho na barra de ferramentas do Access A folha de dados resultante deve ser parecid
67. e estruturas por exemplo informa es sobre os diretores da escola professores turmas dentro das escolas e alunos nas turmas As unidades de cada camada devem ser corretamente identi ficadas quando forem adicionadas base ou s bases O objetivo final criar um conjunto de identificadores que permitam a localiza o e o monitoramento de cada indiv duo e de cada institui o ao longo de todo o processo de avalia o O Quadro 2 1 na Parte I apresenta exemplos de sistemas de identifica o num rica usados em avalia es nacionais ESTUDO DE CASO SENTZ Em www elsevier com br implementacao voc encontrar alguns arqui vos com a base amostral e dados de amostra necess rios para o estudo de caso de Sentz Uma descri o resumida dos arquivos pode ser encon trada no Anexo II A Acompanhe o estudo de caso ver Exerc cio 7 1 passo a passo para se familiarizar com as etapas necess rias ao desenho e sele o de uma amostra de avalia o nacional Sentz est prestes a adotar um programa plurianual de avalia o nacio nal de aproveitamento escolar Em Sentz a escolaridade obrigat ria at o t rmino do n vel 2 ensino b sico da Classifica o Internacional Nor malizada da Educa o ISCED UNESCO 1997 O Minist rio pretende definir os n veis de aproveitamento dos alunos nos v rios est gios do siste ma educacional a come ar pela 8 s rie Ele especificou que o letramento deve ser medido durante cada av
68. equivocadas por exemplo sobre o nexo de causali dade e os relat rios talvez forne am informa es inadequadas sobre os aspectos t cnicos do estudo conte do dos testes de desempenho m todos utilizados ou erro e tendenciosidade nas estimativas Este cap tulo descreve o pessoal as instala es e os equipamentos b sicos necess rios em uma avalia o nacional para ajudar a prevenir esses problemas con 20 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL tribuindo assim para a qualidade do exerc cio O planejamento para o controle da qualidade precisa come ar pelo planejamento do projeto REQUISITOS DE PESSOAL Como princ pio geral o pessoal n o precisa apenas ter aptid es espe cializadas deve tamb m estar comprometido e de mente aberta atento aos detalhes e disposto a trabalhar horas adicionais al m do hor rio de trabalho normal Do ponto de vista da adequa o t cnica e efici ncia esses atributos s o mais importantes que o tempo de servi o em um r g o p blico ou em uma institui o acad mica O n vel de financiamento fornecido para a avalia o nacional deter minar em grande medida o n mero de funcion rios chave e seu n vel de aptid o A proposta de projeto ou planejamento pode ajudar a escla recer os pap is e fun es dos membros da equipe Assim a identifica o da popula o alvo por exemplo s rie escolar e das reas curriculares ou constructos a
69. iw iu ou is wR n ay am 6 1 um NE wian 5 J u o m 2 mon 7 3 1 tH un ME in 4 mw u ou us x 2 ex 2 uu ME em 4 u e iu quis uz x ov am 610 9 ms ME went 15 in N Mu 18 uu N 11 4m 653 u un E sm 4 1 i n 7T u 1 um a vam 5 15 1802 e mm 5 no u quo wD x 1 30 ss w C uaan u a qu R sa x 1 308 iza 7 106 ME ut 5 i 2 om us as 1 am 562 Fonte Exemplo do autor usando o software SPSS EXERC CIO 14 3 Adicionando Resultados do Teste para uma Amostra Aleat ria Simples de 400 Alunos Os resultados fict cios do teste para todos os alunos de 8 s rie est o armazenados em IBASE FILES RESPONSES Na vida real seriam inseridos ap s a aplica o do teste e a limpeza de dados em algum momento ap s o c lculo das pondera es iniciais do desenho Nessa pr xima etapa voc combinar o arquivo que cont m os 400 alunos selecionados com o arquivo dos resultados do teste para esses alunos Mais uma vez voc estar classificando e fazendo a fus o de arquivos IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 199 EXERC CIO 14 3 continua o 1 Leia e classifique o arquivo RESPONSES usando os seguintes comandos File Open Data Look in BASE FILES RESPONSES SAV Open Selecione Data Sort cases e mova STUDENTID para Sort by Clique em OK 2 Leia e classifique o arquivo que cont m a amostra aleat ria simples de alunos da mesma maneira File O
70. matem tica dentro de cada p s estrato n o mudou mas que a propor o de professores de matem tica na po pula o total que envolve mais de um p s estrato sim As estimativas revisadas da pesquisa s o apresentadas na Tabela 14 6 216 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Existem m todos mais complexos de ajuste de pesos mas eles est o al m do escopo desse tratamento de amostragem Para quest es mais complexas a equipe de amostragem da avalia o nacional pode desejar consultar um especialista em amostragem para escolher o m todo mais apropriado de ajuste a uma dada situa o Para concluir observe que n o se fez nenhuma tentativa de p s es tratificar os dados de Sentz Possivelmente ap s uma an lise inicial dos resultados ponderados podem ter sido detectadas diferen as que teriam conduzido a uma decis o motivada pela disponibilidade de informa es precisas e atualizadas no sentido de realizar a p s estratifica o em uma ou mais vari veis chave TABELA 14 6 Estimativas da Pesquisa Ajustadas para N o Resposta Antes e Depois do Ajuste para P s Estratifica o P s estratifica o Funcion rios Homens Mulheres Total Antes do ajuste N mero 3 x 5 2 15 6 62 4 78 0 Numero de professores 5 2 36 4 41 6 de matematica Propor o de 0 33 0 58 0 53 professores de matem tica Ap s o ajuste N mero 3 x 5 2 x 2 69 42 36 78 N mero de
71. mero de registros Alunos Idade e g nero de cada aluno em cada turma de cada escola com todos os outros marcadores geogr ficos 27 654 Respostas Idade g nero notas de aproveitamento situa o socioecon mica e situa o de participa o de cada aluno em cada turma escola cidade grau de urbaniza o prov ncia e regi o 27 654 Censo Idade g nero notas de aproveitamento situa o socioecon mica de cada aluno em cada turma como se todos tivessem participado 27 654 Arquivos 2STG4400 Descri o ou conte dos arquivos SPSS N mero de registros SCHOOLALLOC N mero de escolas alocadas para cada prov ncia 5 ASSIGNJK SCHOOLID JKZONE JKREP e duas vari veis temporais 120 PPS SAMPLE OF SCHOOLS Escolas selecionadas com pondera o de primeira fase 120 CLASS FRAME Lista das turmas dispon veis para amostragem entre 120 escolas selecionadas 397 CLASS SAMPLE Turmas selecionadas das escolas selecionadas com pondera o de primeira fase pondera o de segunda fase e pondera o total do desenho 120 PPSRESPONSES Identificadores vari veis de antecedentes pontua es situa o da participa o e pondera o do desenho para cada aluno selecionado por turma escola prov ncia 4 896 RESP2STGFINAL WT Identificadores vari veis de antecedentes pontua es situa o da participa o pondera
72. na 6 s rie durante qualquer parte de um ano esco lar espec fico ou de refer ncia Entretanto a comiss o pode especificar que a popula o alvo definida deve ser limitada aos alunos matriculados na 6 s rie em 31 de maio de um ano de refer ncia nas escolas com pelo menos 10 alunos nessa s rie Dos pontos de vista log stico e or ament rio seria impratic vel avaliar alunos em escolas menores Al m disso a comiss o de coordena o estaria ciente de que alguns alunos da 6 s rie teriam abandonado a escola ou migrado durante o ano escolar e seria invi vel tentar encontrar e avaliar esses alunos A Figura 6 1 descreve uma situa o razoavelmente comum em que a popula o alvo desejada definida barra esquerda A popula o alvo foi reduzida por meio da omiss o de determinadas categorias de escolas como escolas em reas remotas ou escolas muito pequenas ou ainda escolas que atendam a crian as com necessidades especiais e dos resul IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 65 tados em uma popula o nova a popula o alvo definida barra inter medi ria O tamanho dessa popula o pode ser reduzido ainda mais principalmente pela identifica o de unidades exclu das por exemplo estudantes com necessidades especiais em escolas participantes no dia do teste tendo por resultado a popula o obtida coluna direita Porcentagem de Alunos nas Popula es Desejadas Definidas e
73. o permitido deixar de registrar sua entrada Neste caso ajuste o valor para No As ltimas cinco propriedades Indexed Unicode Compression IME Mode IME Sentences e Smart Tags podem ser deixadas intactas com os valores default 9 Insira a vari vel SchoolName usando os mesmos procedimentos Considere as propriedades do campo que s o necess rias e certifique se de que sejam consis tentes com as informa es contidas em seu livro de c digo Todos os campos de dados foram ajustados para tipos de dados do texto A se o intitulada valores default trata da incorpora o e da defini o de tipos de dados num ricos A vari vel seguinte YearLevel S o dados num ricos com um valor v lido de 3 10 Insira o nome de campo YearLevel use a tecla Tab para chegar ao campo Data Type e selecione Number do menu suspenso A vari vel YearLevel um indicador da s rie cursada pelo aluno que faz a avalia o As vezes as turmas s o mistas e nem todos os alunos est o na 3 s rie isto as turmas compreendem a 22 e 3 s ries ou a 3 e 42 s ries e voc deseja filtrar as informa es desses dados Abordaremos como tratar as propriedades de campo para YearLevel no Exerc cio 10 5 11 Selecione Office Button Save ou CTRL S para salvar a tabela Valores default aconselh vel incluir um valor default quando o operador de registro de dados n o fez uma mudan a O default pode ser o valor esperado
74. o de Tabelas E quem tbl Maths 33 Data CLE tbl Schools ra SchoollD SchoolCode StudID SchoolName GivenName Address FamilyName Suburb SchoolName Zone YearLevel Condor Fonte Exemplo do autor usando o software Access A linha entre SchoollD e SchoolCode indica que essas vari veis foram seleciona das como o crit rio que une as duas tabelas Ambas as tabelas foram vinculadas e qualquer outro dado que esteja dispon vel em outra s rie de dados pode agora ser combinado selecionando se os dados de cada tabela e arrastando os para o espa o de trabalho abaixo ou clicando duas vezes sobre ele 6 Fa a um duplo clique nas seguintes vari veis de TBL MATHS 3A DATA CLEA NED StudlD GivenName FamilyName e Yearlevel Nota Voc pode tamb m selecionar e arrastar vari veis m ltiplas com uma a o usando a tecla shift enquan to seleciona os nomes das m ltiplas vari veis e em seguida arrastar os nomes destacados para o espa o de trabalho As funcionalidades usuais de arrastar e soltar do Microsoft aplicam se ao Access 7 Inclua todas as vari veis de tbl Schools Fa a um duplo clique no asterisco acima da vari vel SchoolCode em tbl Schools o que levar todas as vari veis para a ta bela de consultas Essas vari veis devem agora aparecer nos campos abaixo e a fi leira chamada Table indicar a fonte dos dados veja a Figura 12 3 C do exerc cio As informa es da escola v m da tabela tbl Schools
75. o de uma parte ou de todo o conte do poder o ser consideradas viola o da lei aplic vel O Banco Internacional para Reconstru o e Desenvolvimento Banco Mundial estimula a dissemina o desta obra e normalmente permitir com rapidez a reprodu o de trechos deste relat rio Para obter permiss o de fotoc pia ou reimpress o de qualquer parte deste livro envie um pedido contendo informa es completas para Copyright Clearance Center Inc 222 Rosewood Drive Danvers MA 01923 USA telefone 978 750 8400 fax 978 750 4470 Internet www copyright com Todas as outras perguntas sobre direitos e licen as inclusive direitos subsidi rios devem ser dirigidas ao Office of the Publisher The World Bank 1818 H Street NW Washington DC 20433 USA Fax 202 522 2422 e mail pubrights O worldbank org 2012 The International Bank for Reconstruction and Development The World Bank Todos os direitos reservados e protegidos pela Lei n 9 610 de 19 02 1998 Copidesque Shirley Lima da Silva Braz Revis o Edna Cavalcanti e Roberta Borges Editora o Eletr nica Est dio Castellani Elsevier Editora Ltda Conhecimento sem Fronteiras Rua Sete de Setembro 111 16 andar 20050 006 Centro Rio de Janeiro RJ Brasil Rua Quintana 753 8 andar 04569 011 Brooklin S o Paulo SP Brasil Servi o de Atendimento ao Cliente 0800 0265340 sac elsevier com br ISBN 978 85 352 6159 2 Edi o original
76. o e estima o A ordem das vari veis em sua tela pode ser diferente Ob serve a vari vel status que indica o status do aluno na poca do teste Role a tela para baixo e observe que alguns alunos estiveram ausentes da escola no dia do teste e que outros abandonaram ou mudaram de a escola desde a data em que gerou as listas de alunos Absenteismo desist ncia e transfer ncia s o problemas t picos em pesquisas de avalia o nacional 200 EXERC CIO 14 3 continua o FIGURA 14 3 A DO EXERC CIO Excerto dos Resultados do Teste para uma Amostra de Alunos i SRSResponses sav DataSet41 PASW Statistics Data Editor Ele gdi View Dato Transtom Analyze Grophs Lites Addons Window Hep SUAR ot htk A d BOM VOS t class 2 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Visibie 73 4 schoolid ncia rn province Fic town school nbclass class nbeley student age gender socec geog math eee 1 NO 1101103 NE 1 qual 2 1 13 1 2 105 m 2 no 110103 ne 1 na 2 2 48 8 e 4 3 18 2B 3 1103 1103218 NE 1 rural 4 2 52 te 13 4 1 108 216 Continued onics lang status CLASSID Population Sample Sample Size Size Weight 1 58 195 participant 11011 27654 400 6314 2 134 214 participant 1012 27654 4009 aja 3 131 212 participant 11032 27654 am Ba qu Fonte Exemplo do autor usando o software SPSS EXERCICIO
77. o resposta A pon dera o do desenho ajustada para n o resposta w o produto da nr pondera o do desenho e do fator de ajuste da n o resposta Wy WA 2x 1 25 2 5 Cada respondente agora representa 2 5 alunos na avalia o nacional em compara o com 2 0 alunos se todos os alunos tivessem respondido Por tanto um peso final de 2 5 atribu do a cada unidade no arquivo de dados O Exerc cio 14 5 apresentado com fins pedag gicos Esse exemplo mostra como lidar com a quest o de ponderar os alunos que embora tenham sido amostrados n o participaram da avalia o nacional Se se supuser que todos os n o respondentes em uma avalia o na cional s o semelhantes em fun o das caracter sticas medidas na avalia o ent o o mesmo fator de ajuste para n o resposta pode ser aplicado a todos os grupos respondentes Entretanto h frequentemente uma boa raz o para supor que os subgrupos diferem em suas propens es de resposta e caracter sticas Por exemplo alunos de escolas rurais podem estar ausentes da escola com mais frequ ncia do que alunos em escolas urbanas ou meninos e meninas podem indicar taxas de resposta diferen tes Um ajuste aplicado a todos os respondentes provavelmente levaria a resultados tendenciosos Nesses casos ajustes separados para n o res posta devem ser realizados dentro de cada estrato 204 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL E
78. os testes devem ter conhecimento adequado do assunto que est sendo testado Em muitos pa ses s o usados profes sores para corrigir os testes Entretanto o recrutamento de professores pode ser dif cil no per odo escolar quando eles podem ter disponibili dade apenas fora do hor rio escolar Algumas avalia es nacionais uti lizam pessoas da banca examinadora Outras contratam os servi os de profissionais do Minist rio da Educa o ou de estudantes universit rios Independentemente de sua forma o ou condi o as pessoas que corri gem testes devem ser treinadas especificamente para corrigir os testes da avalia o nacional em quest o Um membro da equipe principal deve monitorar diariamente a qualidade da corre o dos testes e dispensar os servi os de pessoas que n o fa am corre es adequadas INSTALA ES As pessoas envolvidas na aplica o de uma avalia o nacional precisam de espa o para trabalhar e de uma gama de equipamentos Espa o para o pessoal Os membros da equipe principal precisam de escrit rios que sejam se guros e equipados com computadores preciso espa o para os livros e arquivos Os membros da equipe que trabalham em meio per odo tam b m requerem algum espa o de escrit rio Como as avalia es nacionais costumam prever v rios encontros com especialistas no assunto redato res de itens e outros recomenda se acesso a uma sala que seja grande o suficiente para acomodar reuni es de g
79. oyuewe p1009 Op auojaja euojajo op oz w u epal epepuoudg ap eq ap eq sneis ap OJSUINU SUION 059J9pus swoN Je 02S3 ojusueyueduioDy ap oLg nuJOJ jpuopeN otdeipeay be vViaaVL IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 39 ORGANIZA O DOS INSTRUMENTOS O Coordenador Nacional ou a pessoa por ele indicada deve verificar a qualidade de todos os testes question rios e manuais para garantir que Erros de ortografia e de digita o sejam removidos O tamanho da fonte nos cadernos de teste seja grande o suficien te Fontes de tamanho grande s o especialmente importantes para as crian as Uma fonte tamanho 14 pontos recomendada para as 32 e 4 s ries e uma fonte tamanho 12 recomendada para as s ries pos teriores Um conjunto de testes nacionais de aproveitamento utiliza fonte tamanho 16 para a 1 e 2 s ries fonte tamanho 13 para a 34 42 e 5 s ries e fonte tamanho 12 para a 6 s rie N meros nas perguntas ou nos itens devem usar uma fonte maior O espa amento adequado seja usado entre linhas de texto Os diagramas sejam simples e claros Sempre que poss vel devem estar na mesma p gina que o texto a eles relacionado Uma pessoa qualificada respons vel pelo registro de dados que este ja familiarizada com programas de computador como Microsoft Office deve digitar os testes question rios e outros materiais Secret rias de manuscrit
80. pesquisados ou testados As unidades amostradas na primeira fase s o chamadas unidades prim rias de amostragem PSUs de forma similar h unidades secund rias de amostragem e unidades terci rias de amostragem 96 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Amostragem Multiestagio Fonte Representa o dos autores Muitas avalia es nacionais de aproveitamento escolar empregam um desenho de duas fases para escolas como PSUs e de alunos como unidades secund rias de amostragem Esse desenho corresponde a um dos planos de amostragem considerados para o estudo de caso de Sentz Alguns pa ses maiores estendem o desenho a tr s fases selecionando pri meiro as reas geogr ficas dentro das quais o desenho de duas fases que acabou de ser descrito implementado Dentro das escolas a unidade selecionada frequentemente a turma porque os administradores de grandes escolas acreditam que testar uma turma alvo inteira causa me nos inconveniente que testar alunos individualmente selecionados em turmas alvo diferentes na escola A Figura 8 5 apresenta uma amostra de alunos em tr s est gios tr s de sete bairros s o selecionados na fase 1 em seguida tr s quatro e duas escolas s o selecionadas na fase 2 finalm
81. projeto inicial at a elabora o do relat rio A equipe de avalia o nacional necessitar dos servi os de um analista de dados no est gio de pr teste de desenvolvimento do teste Nessa eta pa os itens do teste s o aplicados a uma amostra de alunos semelhante quela que far o teste O pr teste abordado em detalhes no Volume 2 desta s rie Desenvolvimento de testes e question rios para avalia o do desempenho educacional O analista deve ser capacitado a empregar os pacotes de software apropriados an lise dos resultados do pr teste Ele deve trabalhar em estreita colabora o com os redatores de itens e especialistas no assunto para selecionar os itens do conjunto de itens pr testados que ser o inclu dos no teste aplicado na avalia o nacional A experi ncia sugere que a sele o do hardware apropriado e do sof tware especializado obten o da libera o do governo do doador ou de outros fundos requisi o de equipamento e software se necess rio e sua instala o e operacionaliza o podem levar uma quantidade de tem 58 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL po consider vel A equipe de avalia o nacional precisa assegurar que foi realizada provis o no or amento para adquirir e manter o hardware bem como para itens como papel e cartuchos de tinta Idealmente o hardware e software apropriados devem estar em funcionamento antes do pr teste Muita
82. s o descritos neste cap tulo Os estimadores podem ser usados para qualquer desenho de amostra de probabilidade seja ele simples por exemplo amostragem aleat ria simples ou amostragem aleat ria sistem tica ou mais complexo O importante que o peso fi nal de cada unidade leve em conta corretamente o projeto de amostra ESTIMANDO UM TOTAL DA POPULA O Para obter estimativas corretas para dados da popula o da avalia o nacional preciso aplicar os pesos finais corretos aos dados A nota o estat stica para calcular estimativas apresentada no Anexo IV A Os procedimentos de estima o s o ilustrados no Exerc cio 15 1 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 219 EXERC CIO 15 1 7 Estima o para SRS400 Este exerc cio envolve a constru o de tr s estimativas de interesse dos formuladores de pol ticas para toda a popula o de uma amostra aleat ria simples SRS400 a o n mero total de alunos b sua m dia de idade e c a propor o que obteve pontua o igual ou superior a 230 em matem tica Em seguida tr s estimativas ser o feitas para a subpopula o meninos g nero 1 o n mero total de meninos sua m dia de idade e sua pontua o m dia em matem tica Os dados necess rios est o armazenados em MYSAMPLSOL RESPSRSFINALWT SAV As estimativas devem referir se popula o na poca da avalia o Em consequ n cia embora os desist
83. sele o aleat ria das turmas do primeiro estrato geraria com frequ ncia amostras de alunos fortes em matem tica independentemente das turmas que foram seleciona das Da mesma forma o segundo estrato resultaria em uma sele o de alunos que em geral eram relativamente fracos em matem tica Com a amostragem aleat ria estratificada a amostra de cada um dos tr s es tratos deve dar um resultado que seja representativo dos estratos como um todo e quando os resultados s o combinados deve fornecer uma estimativa precisa para a prov ncia como um todo A estratifica o pode aumentar a precis o das estimativas relativas SRS De acordo com Cochran 1977 p 90 se cada estrato for homog neo onde as medidas variem pouco de uma unidade para a outra uma estimativa precisa de qualquer m dia de estrato pode ser obtida a partir de uma amostra pequena nesse estra to Essas estimativas podem ent o ser combinadas em uma estimativa precisa para a popula o inteira IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 87 A estratifica o particularmente importante no caso de popula es obl quas isto quando a distribui o dos valores de uma vari vel de interesse n o sim trica mas se inclina direita ou esquerda Por exemplo a base amostral de primeira fase pode ser apenas uma lista das escolas que cont m n meros de matr culas aproximados mas desa tualizados Nesse caso uma estimati
84. serem avaliados indicar o conhecimento e as aptid es que ser o exigidas dos redatores de itens enquanto a decis o de basear a avalia o em uma amostra e n o em toda a popula o indicar a neces sidade de uma pessoa especializada em amostragem de probabilidade Alguns membros da equipe por exemplo redatores de item aplica dores de testes ou pessoal para registro dos dados ser o empregados temporariamente em v rias etapas Esta se o descreve o papel de fun cion rios chave ou essenciais por exemplo o coordenador nacional bem como os pap is de pessoal adicional tais como administradores de testes necess rios para realizar a avalia o Coordenador nacional O Coordenador Nacional CN deve fornecer orienta es gerais e lide ran a em todos os est gios de planejamento e implementa o da avalia o nacional O CN precisa tomar provid ncias para que a avalia o e Aborde as quest es fundamentais de pol ticas solicitadas pelo minis t rio IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 21 e Seja tecnicamente adequada e Seja realizada dentro do prazo e do or amento O CN deve ser um indiv duo respeitado na comunidade educacional e ter acesso aos principais interessados ligados educa o e s principais fon tes de financiamento Ele deve ser capaz de enxergar o panorama geral Os CNs s o recrutados em bancas de exames p blicos minist rios nacionais de educa
85. size fa a o seguinte Escolha Read values from variable Mova ALLOC para essa caixa de sele o Clique em Next IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 101 EXERC CIO 8 5 continua o Em Output variables selecione population size sample size e sample weight Clique em Next Em Summary clique em No porque n o h nenhum outro est gio de amostragem para agora e clique em Next Agora o plano de amostra est detalhado e a sele o da amostra pode prosseguir Em Draw sample selection options clique em Yes e fases All 1 Clique em Custom value e digite 1234321 para obter a amostra que aparece mais tarde nessa se o do Volume 3 Caso contr rio clique em A randomly chosen num ber para obter uma nova amostra Clique em Next Em Draw sample output files selecione External file e nomeie o MYSAMPLSOL PPS SAMPLE OF SCHOOLS Se o SPSS n o aceitar prontamente o nome do ar quivo clique em Browse primeiro para selecionar o subdiret rio e digite o nome do arquivo Clique em Save e em seguida em Next Em Completing the sampling wizard escolha Save the design to a plan file and draw the sample Por fim clique em Finish Se a amostra rec m selecionada n o aparecer na tela abra o arquivo AMYSAMPLSOLAPPS SAMPLE OF SCHOOLS A Figura 8 6 apre senta um trecho das primeiras linhas dos dados de MYSAMPLSOL PPS SAMPLE OF SCHOOIS que deve aparecer em sua tela
86. ticas estejam interessados nas estat sticas de todos os tamanhos de institui es mas o material de teste t o volumoso que tr s cadernos precisam circular entre os alunos testados Os pesquisadores ou investigadores que traba lham na avalia o podem ter de fazer an lises que requeiram a partici pa o de pelo menos 15 crian as em cada escola criando cinco grupos de rod zio para os tr s cadernos Nessa situa o as escolas pequenas criar o um problema adicional A lista das escolas pode ser similar lista apresentada na Tabela 17 4 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 239 As escolas 1012 1013 1014 e 1015 n o t m alunos suficientes para atender a todas as exig ncias da avalia o Al m disso essas escolas n o s o todas da mesma rea Agora a base amostral pode ser classificada pela rea e medida do tamanho de modo que seja mais f cil ver onde as solu es se encontram e qual a melhor forma de criar pseudoescolas se necess rio Se as escolas 1011 e 1013 estiverem pr ximas uma da outra e as escolas 1012 e 1014 tamb m estiverem em cidades vizinhas a base amostral poderia ser reorganizada conforme apresentado na Tabela 17 5 Uma vez unidas as v rias escolas que formam a pseudoescola s o tra tadas como uma nica unidade amostral Por exemplo se a pseudoescola 1111 for selecionada todos os alunos das escolas originais 1011 e 1013 seriam convidados para a sess o de avalia
87. v rias taxas de resposta e de participa o Embora n o exista nenhuma regra universal para definir o que bom e o que ruim determinado padr o passou a ser reconhecido e usado nos estudos mais importantes sobre avalia o internacional A Associa o Internacional para Avalia o do Aproveitamento Esco lar usa a seguinte regra em muitas de suas avalia es e 85 n o ponderado da amostra original de escolas isto antes da reposi o e e 85 n o ponderado da amostra de alunos das escolas participantes amostra original ou reposi o ou e 75 ponderado para a participa o combinada de escolas e alunos isto participa o da escola multiplicada pela participa o do aluno em escolas participantes poss vel elaborar outras regras entretanto quanto mais baixa a par ticipa o de escolas ou de alunos maior a probabilidade de vi s NOTA O ESTAT STICA PARA C LCULO DE ESTIMATIVAS ara dados qualitativos e quantitativos a esti mativa do n mero total de unidades na popula o pesquisada calculada adicionando se os pesos finais ajustados das unidades respondentes N gt wy resposta em que i a i unidade de resposta na amostra w seu peso final ajusta do e isso somado a todas as unidades respondentes Para dados quanti tativos a estimativa de um valor total como a despesa total o produto do peso final w e do valor y para cada unidade re
88. variables Escolha CLASSES a partir do Open dataset Clique em Continue Clique em Match cases on key variables Mova SCHOOLID de Excluded variables para Key variables Clique em Active dataset is keyed table Clique em OK e ent o clique em OK no vamente Essas etapas modificar o o PPS SAMPLE OF SCHOOLS e adicionar o informa es de n vel de sala de aula mesmo para as escolas que n o tenham sido selecionadas Esses registros devem ser removidos Para remover os registros desnecess rios use o Filter e retenha aqueles casos em que PROVINCE tenha um valor num rico como se segue Data Select Cases Use filter variable Mova PROVINCE para Use filter variable Clique em Copy selected cases Digite um nome como CLASS FRAME e clique em OK Feche e n o salve a PPS SAMPLE OF SCHOOLS modificada Traga a s rie de dados CLASS FRAME para a tela de visualiza o e salve a usando os seguintes comandos File Save as Look in AMYSAMPLSOLN Digite CLASS FRAME como nome de arquivo e clique em Save cada escola selecionada foi constru da ou obtida A etapa seguinte se lecionar uma turma por escola para testar Esse procedimento similar amostra aleat ria simples extra da mais cedo selecionando uma unidade secund ria uma turma por unidade prim ria selecionada por escola A Figura 8 7 mostra como seria a apar ncia do CLASS FRAME Antes de extrair a amostra entretanto a base amostral da turma
89. 00 6914 2 ma rors ne 1 rural 1 1 2 2 nor 3 1 Z4 40 8 14 3 11031103218 NE rural 1 4 2 vor 52 18 13 1 27654 40 6914 4 1103 1103238 NE 1 rural 1 3 4 2 18032 8 3 15 O 27664 40 6914 5 1041904249 NE 1 rural 1 4 4 2 11042 54 49 13 O 64 4m 69 6 NOM 1104337 NE 1 rural 1 4 4 3 vos sas 1 ZA 40D 691 E 121 1201103 NE 1 rural 2 1 2 1 om g 63 13 1 27654 40 6914 8 1201 1201211 NE 1 rural 2 1 2 2 1012 2 13 1 27654 400 6914 9 022m 1 rural 2 3 3 13 2 2 14 1 27654 400 6914 O 131203145 NE 1 rural 2 3 3 1 10 GS 4513 O 26 40 Bu 1203 1203325 NE 1 rural 2 3 3 3 108 Ss 25 15 O 2654 0 BA 2 sm 1204130 NE 1 rural 2 4 2 1 104 F 3 O 265 40 u 13 ma 1204223 NE 1 rural 2 4 2 2 1082 4 2315 O 264 400 6914 MM 011301204 NE 1 rural 3 1 3 2 1912 2 3 O 26 40 tou 15 13011301206 NE 1 rural 3 1 3 2 1912 5 amp 614 O 27654 40 6914 16 10 1301242 NE 1 rural 3 1 3 2 13012 2 42 14 1 27664 400 E914 Fonte Exemplo do autor usando o software SPSS Quando a estratifica o uma caracter stica do projeto de amostra os estratos s o considerados popula es distintas cada qual fornecendo a pr pria parte da amostra cheia Daqui os pesos do desenho s o com putados independentemente para cada estrato de acordo com o desenho de amostragem usado em cada estrato Suponha que uma popula o de N 1 000 escolas esteja dividida em dois estratos urbano e rural na base amostral da pesquisa O estrato urbano composto de N
90. 1 rural 6 1 4 208 2 0 12 1602 NE 1 rural 6 2 3 158 52 7 na mem NE 1 rural 6 3 3 169 530 14 1401 NE 1 urban 4 1 2 81 40 5 15 1402 NE 1 urban 4 2 3 9 30 3 16 1403 NE 1 urban 4 3 4 144 3 0 17 1404 NE 1 urban 4 lt 4 130 32 5 18 1405 NE 1 urban 4 5 3 104 347 19 1406 NE 1 urban 4 6 3 108 3 0 Fonte Exemplo do autor usando o software SPSS O SPSS n o permite uma sess o aberta sem uma s rie ativa de dados Para esco lher a s rie de dados SCHOOLS sem fechar o SPSS clique nas op es File New Data e um conjunto de dados em branco aparecer na tela Em seguida traga a s rie de dados SCHOOLS de volta para a tela e clique em File Close para fechar SCHOOLS a A vers o 17 usada aqui foi lan ada originalmente como SPSS Durante 2009 e 2010 as vers es lan adas receberam o nome Predictive Analytic Software PASW IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 73 Mapa de Sentz Nordeste Prov ncia 1 Prov ncia 3 Grand River Prov ncia 4 Sudoeste Fonte Representa o dos autores As crian as em Sentz podem frequentar uma escola local at o nivel 2 da ISCED segundo est gio de instru o b sica ensino b sico inclu sive As 227 escolas que oferecem instru o nesse n vel compreendem 27 654 alunos em 702 turmas de 8 s rie O ISCED n vel 3 ensino se cund rio oferecido nas capitais regionais o ISCED n vel 4 ensino p s secund rio n o su
91. 14 4 Adicionando Resultados de Teste a um Desenho PPS O processo de adicionar resultados de teste a um desenho PPS similar ao de adi cionar resultados de testes para os alunos SRS400 Entretanto neste exemplo as sequ ncias de amostragem s o importantes primeiro as escolas foram amostradas em seguida as turmas e por fim os alunos Essa estrutura influencia a forma como os arquivos s o classificados e unidos Este exerc cio corresponde s atividades de captura de dados de uma avalia o nacional real Para come ar voc precisa abrir o arquivo com todas as respostas relativas aos 27 654 alunos da 8 s rie Essas respostas ser o ent o combinadas aos alunos amostrados das turmas amostradas e os regis tros coincidentes ser o retidos 1 Leia e classifique o arquivo RESPONSES como se segue File Open Data Look in BASE FILES RESPONSES SAV Open Selecione Data Sort cases e mova SCHOOLID CLASSID para Sort by Clique em OK 2 Leia e classifique o arquivo que cont m a amostra de 120 turmas como segue File Open Data Look in MYSAMPLSOL CLASS_SAMPLE SAV Open IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 201 EXERC CIO 14 4 continua o Selecione Data Sort cases e mova SCHOOLID CLASSID para Sort by Clique em OK 3 Una as respostas e a amostra de turmas Exclua algumas vari veis estranhas e retenha apenas os registros da amostra Traga o arquivo R
92. 400 escolas e o rural de N 600 escolas A Tabela 14 1 mostra que a amostra total do tamanho n 200 nos dois TABELA 14 1 Amostra Aleat ria Simples Estratificada com Aloca o Igual Estrato Tamanho da Tamanho Fra o de amostragem popula o da amostra probabilidade de inclus o Urbano N 400 n 100 m 1 4 Rural N 600 n 100 n 1 6 Total N 1 000 n 200 Fonte Compila o dos autores 196 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL estratos foi igualmente alocado a cada estrato A probabilidade de inclu s o ou fra o de amostragem neste caso para o estrato urbano igual a n N 100 400 1 4 0 25 A fra o de amostragem para o estrato ru ral igual a n N 100 600 1 6 0 167 No arquivo da amostra cada escola no estrato urbano tem uma pondera o do desenho de w4 4 e cada escola no estrato tem uma pondera o do desenho de w 6 Para a amostragem multiest gio a pondera o total do desenho cal culada ao se pegar o inverso da probabilidade de sele o em cada est gio ou fase e multiplic lo Suponha que uma amostra por conglomerados de dois est gios selecione uma amostra aleat ria simples de n 10 entre N 100 escolas na primeira fase e uma amostra aleat ria simples de m 30 alunos dentro de cada escola conglomerado na segunda fase em que o n mero de unidades dentro de cada conglomerado N 60 A probabil
93. 43 EXERC CIO 10 7 E Cria o de um Formul rio Neste exerc cio voc aprender como criar um formul rio 1 Abra MY SOLUTIONS MATHS_3A_DATA ACCDB com as mudan as salvas dos exerc cios anteriores 2 Destaque a tabela TBL YR3 MATHS DATA no menu esquerda A seguir na op o Create clique em Form ver Figura 10 7 A do exerc cio FIGURA 10 7 A DO EXERC CIO Cria o de um Formul rio de Registro de Dados 3 as e E Database Database Access 2007 Microsoft Access Home Create External Data Database Tools ES PE E m Pa m RES ES otn a imm a labes fEl N et c E a SharePoint Table Form spie Sad rar o E epon Que Goey Maas p tul tpi 1 Templates Lists Design Form Mems h More Forms Design E Report wizard Design Wizard Design Tables Forms Reports Other Tu Fonte Exemplo do autor usando o software Access O programa criar automaticamente um formul rio com os campos que correspon dem queles na tabela original como mostrado na Figura 10 7 B do exerc cio FIGURA 10 7 B DO EXERC CIO Campos de Formul rio Gerados Automaticamente J TABLE YR 3 MATHS DATA T Studia amaos 7 7 GivenName asa os 7 FamilyMame Q3Aq07 7 SchooiName asaqon 7 Quagos 7 asaqic 7 a saqii 7 Testianguage asagi 7 asago asaqis 7 Qsaqo asaqgis 7 7 7 7 7 7 7 asago 7 azaqos 77 Fonte Exemplo do autor usando o software Access 3 Salve o formul rio clicando em Offi
94. 60 45 JE MATII0 25 Fonte Exemplo do autor usando o software SPSS Para computar as estimativas para o dom nio meninos e n o para a popula o completa voc pode usar o arquivo SRS plan que acabou de criar e ir direto para o comando Descriptives e especificar uma subpopula o como segue Analyze Complex Samples Descriptives Selecione o arquivo que voc acabou de criar MYSAMPLSOL SRS_PLAN Em seguida selecione JMYSAMPLSOLIRESPSRSFINALWT como a s rie de dados Clique em Continue e OK Mova Age Math e MAT230 de Variables para Measures Mova Gender de Varia bles para Subpopulations Clique em Statistics e verifique se Means e Standard Error est o assinalados Clique ent o em Continue seguido por OK 222 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 15 1 continua o Os resultados para meninas GENDER 0 e meninos GENDER 1 est o na tabela de sa da na Figura 15 1 C do exerc cio FIGURA 15 1 C DO EXERC CIO Estat stica Descritiva para Idade e Matem tica por G nero Complex Samples Descriptives Daraset7 Documents and SettingsyGUsiDesktopVIAEA Sampling MYSMAPL Univariate Statistics C EE Estimate Mean ag math MAT230 Subpopulation Descriptives Univariate Statistics Fonte Exemplo do autor usando o software SPSS ESTIMANDO UMA MEDIA DE POPULA O Para uma vari vel quantitativa a
95. 69 14 69 14 2 43 3 15 1 01 69 14 27654 400 69 14 69 14 3 2 18 13 1 or 69 14 277654 400 69 14 69 14 4 52 36 15 0 0 69 14 27654 400 69 14 69 14 Fonte Exemplo do autor dentro do software SPSS a Um n mero inicial um n mero usado como ponto de partida por programas que com putam n meros pseudoaleat rios cada n mero inicial gerar uma sequ ncia nica de n meros pseudoaleat rios b Esse o valor inicial usado neste exemplo V rios pacotes de software com destaque para SPSS SAS Statistical Analysis Software e Stata t m suas pr prias ferramentas de sele o de amostra O SPSS oferece um conjunto de procedimentos chamados Complex Sample O Stata oferece um n mero de scripts e o SAS pro p e cinco procedimentos criados especificamente para se trabalhar com desenhos complexos de amostra O Research Triangle Institute criou um grande n mero de rotinas SAS chamadas SUDAAN Survey Data Analysis a fim de processar e analisar dados complexos de pesquisa O software WesVar da Westat Inc pode ser obtido gratuitamente no site da Westat Os usu rios devem observar contudo que o WesVar n o extrai amostras aleat rias A fun o de amostragem do Excel apre senta limita es quando este livro foi escrito os resultados pareceram obl quos em algumas circunst ncias Uma equipe de avalia o nacional deve procurar a orienta o de um estat stico de amostragem antes de selecionar um pacote de software para
96. A n o resposta pode ocorrer quando a escola ou o aluno se recusam a participar quando a escola n o pode ser encontra da quando os alunos est o ausentes ou quando a informa o obtida n o pode ser usada A maneira mais f cil de lidar com a n o resposta ignor la Entretanto a n o compensa o das unidades que n o deram respostas con duz ao vi s A n o compensa o poderia por exemplo resultar na subesti ma o ou superestima o dos n veis m dios de aproveitamento dos alunos da quantidade de matr culas nacionais ou do tamanho do corpo docente A maneira mais comum de lidar com a n o resposta total ajustar as pondera es do desenho segundo a suposi o de que as unidades respon dentes representam unidades respondentes e n o respondentes Esse ajuste razo vel supondo se que para as caracter sticas medidas na pesquisa os n o respondentes sejam como os respondentes As pondera es do desenho dos n o respondentes s o ent o redistribu das entre os respondentes Essa etapa costuma ser realizada usando se um ajuste para n o resposta O fator multiplicado pela pondera o do desenho para produzir uma pondera o ajustada para n o resposta como ilustrado no exemplo a seguir O fator de ajuste para n o resposta geralmente definido como a re la o entre a soma dos pesos na amostra original e a soma dos pesos das unidades respondentes A equipe de amostragem deve consultar os respons veis pela apli
97. A recodifica o e a rotulagem labeling n o s o necess rias nesse est gio Feche a tela e retorne para o arquivo WesVar e para a tela WesVar workbook creation Voc tamb m pode abrir um New WesVar Workbook e selecionar NATASSESS NATASSESS var como arquivo de dados WesVar Clique em Open e ent o clique em Descriptive Statistics Clique em Analysis Variables no painel esquerda e mova as tr s vari veis de interesse neste caso MATHPC math percent correct MATHRS math raw score e MATHSS math scale score de Source Variables para Selected Clique no bot o com a seta verde para executar a solicita o Figura 16 2 A do exer c cio e no cone do livro aberto ou clique em Requests View Output para ver a sa da Expanda clicando em Para obter os dados para MATHPC clique no e em Statistics Figura 16 2 B do exerc cio Essa solicita o gera um grande n mero de estat sticas univariadas para MATHPC m dia percentil vari ncia da popula o e outras estat sticas b sicas ponderadas junto com seus erros amostrais estimados onde apropriado como indicado na Figura 16 2 C do exerc cio Observe que o WesVar n o calcula a moda Feche a janela de sa da Destaque WorkBook Title 1 no painel esquerda e clique em Table seguido por Add Table Set Single No painel esquerda clique em Computed Statistics assinale MATHSS em Source Variables e clique em Block Mean a pontua o m dia de matem tica ser
98. ATA_SET_1 SAV em sua pasta MY SOLUTIONS 3 A partir do menu Analyze selecione Descriptive Statistics Frequencies 4 A partir da lista de vari veis na janela Frequencies que apareceu selecione a vari vel Q3Aq02 e clique sobre a seta ou fa a um duplo clique no nome da vari vel para traz la lista de vari veis no lado direito Figura 11 2 A do exerc cio Nota Voc pode selecionar mais de uma vari vel por vez EXERC CIO 11 2 continua o FIGURA 11 2 A DO EXERC CIO Execu o de um Comando Frequency para Encontrar Valores Inv lidos IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 159 x Er 034903 034903 034904 034904 E 034905 034905 034905 034906 034907 034907 034908 034908 034909 034908 Variable s Charts Format La B 034910 034910 v Display frequency tables ox peste _ eset coco mp Clique em OK Fonte Exemplo do autor usando o software SPSS 6 Os seguintes resultados devem aparecer agora na janela de resultados do SPSS Fi gura 11 2 B do exerc cio O n mero de respostas frequ ncia para cada valor de item incluindo valores n o inseridos pelo usu rio e valores em branco no sistema apresentado na coluna Frequency Tamb m s o dadas as respectivas porcentagens porcentagens v lidas e porcentagens cumulativas para essas respostas O exemplo mostra um va
99. ATH para Input Variable Digite MAT230 em Output Variable Name Se voc escolher tamb m pode digitar um r tulo Clique em Change 3 Clique em Old and New Values Em Old Value clique em Range value through HIGHEST e digite 230 Em New Value digite o n mero 1 Clique em Add Em Old Value clique em All other values na parte inferior da tela Em New Value digite o n mero 0 Clique em Add Continue e OK 220 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 15 1 continua o Antes que voc possa produzir estimativas precisa filtrar por exclus o os n o partici pantes e usar o peso de estima o Use os seguintes comandos Data Select Cases If condition is satisfied If 4 Mova STATUS para a caixa no canto superior direito Digite participant e clique em Continue Em Output clique em Filter out unselected cases seguido por OK 5 Agora voc usar o assistente do SPSS para percorrer as etapas requeridas para a estima o assim como fez com a amostragem Certifique se de que somente os participantes tenham sido filtrados por inclus o Siga os comandos Analyze Complex Samples Prepare for Analysis Create a Plan File 6 Clique em Browse para localizar MYSAMPLSOL Figura 15 1 A do exerc cio Di gite SRS plan para nomear o arquivo Em seguida clique em Save e Next 7 Mova FinalWeight de Variables para a caixa Sample Weight e cl
100. Access como ferramenta para minimi zar erros de registro de dados e mostra como preparar um modelo para registro de dados Ela abrange as regras de valida o para minimizar a codifica o e a introdu o de dados incorretas TABELA 10 1 Vari veis Normalmente Coletadas ou Capturadas em Avalia es Nacionais Nome da vari vel Tipo de campo Dados Descri o ou uso ID Aluno Num rico O identificador individual e original do aluno criado antes da aplica o do teste e usado para encontrar registros combinar arquivos e assim por diante Nome Texto O nome do aluno registrado Sobrenome Texto O sobrenome usado para classifica o e relat rio Nome da Escola Texto O nome da escola registrado ID nacional da Alfanum rico O identificador da escola registrado conforme escola usado em arquivos administrativos nacionais ID da escola Num rico O identificador individual e original da escola criado na amostragem usado para encontrar registros estabelecer a correspond ncia entre arquivos combinar registros de alunos com suas respectivas escolas e assim por diante Nome do Texto A identifica o da turma ou s rie usada professor ID da turma Texto ou A identifica o da turma ou s rie usada num rico G nero do aluno Texto ou O g nero pode ser codificado como texto M ou F num rico ou n mero 1 masculino 2 feminino Data de Data A data
101. Add as New Entry Assinale o nodo For no painel esquerda Mova M MATHSS para o lado direito e mova SUM WTS de volta para a fonte Variables Figura 16 2 D do exerc cio Agora execute a solicita o clicando no bot o da seta verde Para ver as estat sticas clique no cone do livro aberto ou Requests View Output e clique em GENDER no Table Set expandido FIGURA 16 2 D DO EXERC CIO Computando Diferen as entre Entradas de C lula WesVar WorkBook New Workbook ESTES a Fie View Requests Windows Help A x S tal ala oale E WerkBook Title 1 For ieee One ousa Unida Selected Generated Statistics SUM_WTS sda M MATHSS Output Control gt Analysis Variables MATHPC J MATHRS lt lt MATHSS Transtomed Variables Comelations Sum of Weights Analysis Variables By 7 Value I Value 5 Table Request One Percent Percent Options M How Percent Tl How Percent Generated Statistics M Column Percent Column Percent Output Control Analysis Variables Computed Statistics M_MATHSS MEAN MATHSS Table Set 1 GENDER Cells BOYS GIRLS Coll Functions DIFF BOYS GIRLS Stardardizod Rates Fonte Exemplo do autor usando o software WesVar 232 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 16 2 continua o Finalmente para ver os resultados clique no cone do livro aberto ou Requests View Output e v para o nodo relevan
102. CHOOLID para seu lugar clique em Ascending e OK Salve o arquivo usando os seguintes comandos File Save as MYSAMPLSOL ASSIGNJK Clique em Save Voc pode comparar sua solu o com o ar quivo de backup fornecido em 2STG4400 Nesse momento as zonas JK e os n meros JK replicados foram criados e atribu dos s escolas participantes Essa informa o agora precisa ser anexada a IMYSAMPLSOLN RESP2STGFINALWT SAV o arquivo de respostas e de pesos com o qual voc come ou Se necess rio abra esse arquivo Se j estiver em seu espa o de trabalho traga o para a tela de visualiza o e n o feche o arquivo ASSIGNJK 260 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Selecione os seguintes comandos Data Merge files Add varia bles Escolha ASSIGNJK em Open dataset e clique em Continue Clique em Match cases on key variables e mova SCHOOLID de Excluded variables para Key variables Se desejado mova todas as vari veis desnecess rias CLASS PopulationSizel SampleSizel PopulationSize2 SampleSize2 CLASS SIZE CLASS RESP e NRESADJ de New active dataset para Exclu ded variables Clique em Non active dataset is keyed table e clique duas ve zes em OK Salve o arquivo como MYSAMPLSOL RESP2STGWTJK Feche o SPSS 5 Agora o arquivo de respostas cont m pelo menos STUDENTID SCHOOLID as v rias pontua es o sinalizador RESP FINAL WEIGHT JKZONE e JKREP
103. D Em seguida clique em Next 7 Natela Select variables to store in new table destaque todas as vari veis na cai xa esquerda CTRL A Clique em uma das setas na tabela direita para trazer todas as vari veis para a caixa Table TBL MATHS 3A DATA CLEANED Figura 12 1 A do exerc cio FIGURA 12 1 A DO EXERC CIO Sele o de Vari veis para Exportar a Export to Database Wizard Select variables to store in new table To save a varisbio n a field place E inthe Variasie to Save coum Use the arrow buttons or drag and drop Click on the rawe Sink name type or with to wat Check the bone net io s feki to designan E as a peimary key fink PAGAN Statstice DATA SET 1 SOUMON sov DataSett able tbi Maths Sn CLEANED 4 feroa D amp D owe A orvenrame Llcirertime varchar send rima O Foerstyisame varchar Neatevet D vent evet datio E lage Dage coube A STestargueze C TestLenguegs souble 4 piam O caco double OIA D caas othe Q Right click on a variate for more information User Missing Values O Epon es vad vasos O Expert cumerio user missing values ns nuls end export string user missing values as black spaces Fonte Exemplo do autor usando o software SPSS 8 Clique em Next e em seguida em Finish O SPSS exportou os dados para o Access e criou a nova tabela TBL MATHS 3A DATA CLEANED e essa tabela agora aparece no menu All Access Objects em seu banco de dados Access 168 S RIE PES
104. E PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL QUADRO 4 2 Formul rio de Aplica o do Teste Preencha um formul rio para cada sess o de testes Nome do aplicador do teste ID da Escola Nome da escola Nome da turma Pessoa de contato da escola Primeira sess o de testes Sess o de reposi o de testes se aplic vel Data do teste Hora do teste Hora de in cio Hora de t rmino Detalhes Aplica o dos materiais de teste Sess o de testes 1 Sess o de testes 2 Sess o de testes 3 Sess o de testes 4 1 Houve alguma circunst ncia especial ou epis dio incomum durante a sess o N O SIM Por favor forne a os detalhes 2 Os alunos tiveram problemas espec ficos com o teste por exemplo o teste foi muito dif cil o tempo n o foi suficiente problemas com o idioma teste cansativo as instru es n o foram claras N O SIM Por favor forne a os detalhes 3 Houve algum problema com os materiais de teste por exemplo erros p ginas em branco linguagem inadequada omiss es nos formul rios de acompanhamen to dos alunos n mero insuficiente de testes ou question rios N O SIM Por favor forne a os detalhes Fonte TIMSS 1998a Reproduzido com permiss o IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 49 cada escola tenha sido conclu do O formul
105. ELSEV IER Pesqu Vincent Greaney Thomas Kellaghan IMPLEMENTA O DE UMA VOL 5 INI 3 N VOLUME AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL CG BANCO MUNDIAL CAMPUS iisas do Ba nco Mu ndial sobre A valia es de 2 De se em penho Educacional 66609 Preencha a ficha de cadastro no final deste livro e receba gratuitamente informa es sobre os lan amentos e as promo es da Elsevier Consulte tamb m nosso cat logo completo ltimos lan amentos e servi os exclusivos no site www elsevier com br ean Bee sto Wigs on a Lea J SPEUR EE PEA ETA Ph ee ELSEVIER IMPLEMENTA O DE UMA AVALIAGAO NACIONAL DE DESEMPENHO EDUCACIONAL Pesquisas do Banco Mundial sobre Avalia es de Desempenho Educacional Vincent Greaney Thomas Kellaghan VOLUME 3 Tradu o SABINE H LLER E BANCO MUNDIAL Z io CAMPUS Do original Implementing a National Assessment of Educational Achievement Copyright O 2012 by The International Bank for Reconstruction and Development The World Bank Publicado originalmente em Ingl s pelo Banco Mundial Em caso de discrep ncias prevalecer a vers o original em ingl s Esta obra foi elaborada pela equipe do Banco Internacional para Reconstru o e Desenvolvimento Banco Mundial As afirma es interpreta es e conclus es aqui contidas n o expressam necessariamente a opini o dos diretores executivos da inst
106. ENHO EDUCACIONAL TABELA IV B 2 Compara o de Estimativas Calculadas com e sem os Pesos para Valores do Censo Come o do Ano Escolar Amostra Aleat ria Simples Vari vel de interesse Valor verdadeiro in cio do ano escolar Estimativa correta usando pesos erro amostral Estimativa incorreta ignorando pesos erro amostral N 27 654 27 437 331 378 M dia de idade 14 00 13 98 0 04 13 98 0 04 todos Propor o gt 230 0 25 0 25 0 02 0 25 0 02 em matem tica Ne ss 13 807 12 920 722 178 M dia de idade 14 01 14 05 0 06 14 05 0 06 meninos Pontua o m dia 221 69 223 1 1 0 223 1 1 0 em matem tica meninos Fonte Compila o dos autores As estimativas da amostra aleat ria simples e dos dados do censo se r o comparadas agora Como essa uma amostra aleat ria simples as estimativas n o ponderadas coluna extrema direita na Tabela IV B 2 e as estimativas ponderadas coluna do meio de m dias e propor es s o iguais esse resultado esperado para m dias e propor es mas n o para totais A popula o que foi criada para este livro cont m propor es quase iguais para meninos e meninas Os dados foram arranjados de modo que os meninos tivessem pontua es mais altas em matem tica do que as meninas as meninas tiveram pontua es mais altas em outras disciplinas e os alunos que moravam em cidades tiveram pontua
107. ESEMPENHO EDUCACIONAL 137 N o deve haver nenhum valor 6 por exemplo porque ele n o represen ta uma resposta poss vel As regras de valida o envolvem a inser o de c digos na aplica o de registro de dados para assegurar que somente as respostas v lidas sejam inseridas Se um operador digitar um dado errado e tentar inserir um valor fora do intervalo um c digo curinga o programa n o aceitar o valor e alertar o operador para inserir um valor dentro da escala v li da No Access as regras de valida o s o definidas dentro das proprieda des do campo O Exerc cio 10 5 mostra como usar essas propriedades EXERC CIO 10 5 Uso da Regra de Valida o e Propriedades de Valida o de Texto O seguinte exerc cio descreve como usar a regra de valida o 1 Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB 2 Abra tbl_Yr3_Maths_Data em modo Design View 3 Para a vari vel YearLevel ajuste o Default Value para 7 Clique no campo Va lidation Rule e na rea Field Properties insira o seguinte gt 1 AND lt 5 Esse valor permite as turmas de n veis mistos Se as turmas tiverem alunos em v rias s ries por exemplo uma turma com alunos da 2 e 32 s ries sendo ensinados simultaneamente poss vel fazer os alunos responderem ao mesmo teste para comparar o desempenho das duas coortes O ajuste da regra de valida o pa ra valores entre 1 e 5 permitir isso Validation Text o pr ximo camp
108. ESPONSES para a tela Selecione Data Merge files Add varia bles Escolha CLASS SAMPLE em Open dataset e clique em Continue Clique em Match cases on key variables Mova SCHOOLID e CLASSID de Excluded variables para Key variables Clique em Non active dataset is keyed table Clique em OK e ent o clique em OK novamente As vari veis tamanho da popula o tamanho de amostra e pesos devem aparecer agora no arquivo de resposta Retenha os registros amostrados ao selecionar Data Select Cases Mova DesignWeight para Use filter variable Clique em Copy selected cases e digite PPSResponses na caixa Dataset name e ent o clique em OK Traga PPSResponses para a tela e clique na aba Variable View As seguintes vari veis n o ser o necess rias e podem ser ignoradas nbclass class size school size alloc Salve o arquivo como MYSAMPLSOL PPSRESPONSES SAV A Figura 14 4 A do exercicio apresenta um excerto dos resultados do teste com base na amostragem aleat ria de dois est gios com PPS FIGURA 14 4 A DO EXERC CIO Excerto dos Resultados do Teste Baseados na Amostragem Aleat ria de Dois Est gios File Edt Wew Data Inmsim awe Gaps ies Ag gns Window Help an Dca Fhe SE 65 1 Design Weight TEA 521057415730337 schoohd stadertr rog prourc SeNSty town schoo class classd stud BE gender socec gesp math cics lang sta Poguiaton Sampis Wight Population Sample Weight Denga a e Sw Sei 1 Sw S 2 Weg
109. ISBN 978 0 8213 8589 0 CIP Brasil Cataloga o na fonte Sindicato Nacional dos Editores de Livros RJ G825i Greaney Vincent Implementa o de uma avalia o nacional de desempenho educacional Vincent Greaney e Thomas Kellaghan tradu o Sabine Holler Rio de Janeiro Elsevier 2012 23 cm Tradu o de Implementing a national assessment of educational Inclui bibliografia ISBN 978 85 352 6159 2 1 Testes e medidas educacionais 2 Avalia o educacional Kellaghan Thomas II T tulo Ill S rie 12 3498 CDD 371 262 CDU 37 091 26 AGRADECIMENTOS ma equipe liderada por Vincent Greaney Consultor Human Development Network Education Group World Bank e Thomas Kellaghan Consultor Educational Research Centre St Patrick s Col lege Dublin preparou a s rie de livros intitulada Pesquisas do Banco Mundial sobre Avalia es de Desempenho Educacional da qual este o terceiro volume Outros colaboradores da s rie s o Sylvia Acana Ugan da National Examinations Board Prue Anderson Australian Council for Educational Research Fernando Cartwright Statistics Canada Jean Dumais Statistics Canada Chris Freeman Australian Council for Educational Research J Heward Gough Statistics Canada Sara J Howie University of Pretoria George Morgan Australian Council for Educational Research T Scott Murray Data Angel Canada Kate O Malley Australian Council for Educational Research
110. ISE SOLUTION XLXS 156 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 11 1 continua o O resultado de valida o na Figura 11 1 A do exerc cio mostra duas compara es FALSAS no campo Nome indicando erros de digita o nos nomes Outros cinco erros nos outros campos de dados precisam ser verificados mediante consulta aos cadernos de teste originais As corre es aos dados devem ser feitas na tabela relevante no banco de dados do Access e todas as corre es registradas no arquivo README DOCX conforme defi nido na se o Documenta o deste cap tulo CONSIST NCIA DENTRO DE ARQUIVOS A consist ncia entre arquivos refere se aos processos de verifica o e seu objetivo determinar a maior exatid o poss vel dos dados Mesmo com um modelo abrangente de registro de dados ainda assim poss vel ocorrerem erros ou dados incompletos Por exemplo uma avalia o na cional pode ter sido aplicada na 32 e 7 s ries mas as turmas mistas com essas s ries tamb m podem ter participado As respostas v lidas para o campo S rie devem ser somente 2 3 4 6 7 e 8 Se a regra de valida o especificasse que somente os valores num ricos entre 2 e 8 inclusive seriam v lidos um valor incorreto de 5 poderia ser digitado incorreta mente e n o seria identificado pela regra de valida o Em geral quando s o encontradas inconsist ncias nos dados a nic
111. L EXERCICIO 14 2 continua o Abra o arquivo com os seguintes comandos File Open Data Look in MYSAMPLSOL CLASS_SAMPLE SAV Open Selecione Transform Compute Variable Digite DesignWeight em Target Varia ble Digite Weight1 Weight2 em Numeric expression Clique em OK Para ajustar o formato da vari vel DesignWeight altere o modo de exibi o para Va riable View aba inferior esquerda e verifique se o formato tem duas ou tr s casas decimais Retorne para Data View e salve o arquivo CLASS SAMPLE Os dados do arquivo CLASS SAMPLE que incluem a pondera o do desenho em formato de dois decimais s o indicados na Figura 14 2 A do exerc cio Voc pode salvar o arquivo CLASS SAMPLE em MYSAMPLSOL para uso futuro FIGURA 14 2 A DO EXERC CIO Dados do Arquivo de Amostra da Turma fie EM View Cute Tronshem Ansa Cephe UUs Addons Window Help Snb8 0 7 39 SUNS AOS Vo schoo nehoch segon provnce deemty ioan achoa MEINE sehen ALLOC Fondation Same Wet casd cians Pogutation Sampie WO Danigeienghe wee Sert ndo size See Sire mo me 1 nea 1 1 7 D u au wm onm an 7 2 1 2 1999 me 1 wa 3 4 m x qu 195 193 2 4 1 i 2 3 va E 1 wa 1 im u ou w nous s 1 am in woe ns 2 sos u au is uma 1 39 ass 5 w Me 1 ui 3 gt u N ou 1 wD su 2 1 o ME ned j w a au w mos 4 30 1 7 o e vm 4 3 mu au us mw OM 4 4 am ou 1 ua ME vin 4 4 iw au ou mw x ov am 9 ul ME vm 4
112. ME DOCX 162 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 11 3 continua o FIGURA 11 3 B DO EXERC CIO Registro do Valor Correto ti My Data Set 1 sav DataSet 1 PASW Statistics Data Editor lO x Fle Ed View Data Transform Analyze Grophs Lilies Addons Yindow Help SHA E 60 ERR A Gh BLS JS y 1 Gender 1 Visible 23 of 23 Variables SchoollD GivenName FamilyName SchoolName 1 4106 4106321 Simon Patchatt Thornfield Primary School 3 ii a 2 1294 1294302 Aaron Anama Eaglehawk Primary School 3 1 2 3 1294 1294505 Ahley Laptar Eaglehawk Primary School 3 1 3 4 1294 1294808 Aimee Nupbat Eaglehawk Primary School 3 1 1 Fonte Exemplo do Autor usando o software SPSS FIGURA 11 3 C DO EXERC CIO Atualiza o do README DOCX Stud ID Vari vel Valor dos dados Valor reparado 4106321 G nero Dados em branco 1 Fonte Representa o dos autores 8 Para as demais vari veis com valores em branco ou valores 7 digite o c digo apropriado para resposta em branco por exemplo 9 ou 99 e fa a as atualiza es no documento ReadMe Voc pode comparar suas mudan as com aquelas do cumentadas na se o de Modifica es dos Dados do README DOCX na pasta EXERCISE SOLUTIONS Cria o de novas vari veis Os estudos de avalia o nacional podem usar informa es fornecidas por outras fontes que n o os alunos professores ou escol
113. O ACCESS O SPSS tem uma fun o que exporta dados para um banco de dados Access Para os objetivos do Exerc cio 12 1 foi criado um arquivo SPSS com todas as corre es necess rias feitas aos erros nos dados brutos que foram descobertos no Cap tulo 11 O arquivo corrigido est localizado em NAEA DATA CLEANING EXERCISE SOLUTIONSIDATA SET 1 SOLUTION SAV Nota No caso de importar dados de outra fonte para o Access preciso prestar aten o para que os nomes de campo n o contenham espa os ou caracteres especiais por exemplo amp Se houver espa os ou ca racteres especiais eles devem ser substitu dos pelo caractere tra o baixo IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 167 EXERC CIO 12 1 Exporta o de Dados do SPSS Para o Access O exerc cio a seguir demonstrar como exportar dados do SPSS para o Access 1 Abra NAEA DATA CLEANING EXERCISE SOLUTIONS DATA_SET_1_SOLU TION SAV 2 Na barra de ferramentas escolha File Export to Database A partir da caixa ODBC Data Sources assinale MS Access Database e clique em Next ou fa a um duplo clique em MS Access Database 4 Na tela ODBC Driver Login procure a base de dados que voc criou antes MY SOLUTIONS MATHS_3A_DATA ACCDB Clique em Open e ent o clique em OK 5 Na tela Choose how to export the data selecione a ltima caixa Create a new table 6 Na caixa Name digite TBL MATHS 3A DATA CLEANE
114. O BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL amostragem por conglomerado e a estratifica o sejam m todos de agrupar unidades na popula o na amostragem estratificada amostras de unidades s o extra das dentro de cada estrato enquanto na amostragem por conglo merados as amostras de conglomerados s o extra das e todos no conglo merado s o avaliados A estratifica o geralmente aumenta a precis o da estimativa no que diz respeito SRS enquanto o aglomerando geralmente a diminui porque as unidades vizinhas costumam ser similares Para maior efici ncia estat stica de uma estrat gia de amostragem no que diz respeito SRS deve haver forte homogeneidade dentro de um estrato isto as unidades dentro de um estrato devem ser similares com respeito vari vel do interesse e os estratos devem ser t o diferen tes quanto poss vel quanto mesma vari vel de interesse Geralmente esse objetivo conseguido se as vari veis de estratifica o forem correla cionadas com a vari vel de interesse da pesquisa tal como o aproveita mento em letramento e a localiza o em rea rural e urbana O exemplo de tr s turmas matem tica humanas e poss veis alu nos que abandonar o antes de concluir j dado para a amostragem por conglomerados pode ser estendido para a ilustra o Suponha que as listas provinciais de turmas possam ser organizadas em tr s estratos cor respondendo aos tr s tipos de turmas A
115. PLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 3 Os Volumes 2 3 e 4 fornecem detalhes passo a passo sobre o desenho e implementa o de uma avalia o nacional e sobre a an lise dos dados coletados na avalia o Eles s o destinados principalmente a equipes dos pa ses em desenvolvimento respons veis pela realiza o de uma avalia o O Volume 2 Desenvolvimento de testes e question rios para avalia o do desempenho educacional Anderson e Morgan 2008 descreve o desenvolvimento de testes de aproveitamento question rios e manuais de administra o O livro acompanhado por um CD com itens de aproveitamento e de question rio extra dos de avalia es nacionais e internacionais e por um manual de administra o do teste em ingl s O Volume 4 Analyzing Data from a National Assessment of Educatio nal Achievement Cartwright e Shiel a ser lan ado tem duas partes A primeira tem por objetivo ajudar os analistas a realizar an lises b sicas dos dados coletados em uma avalia o nacional A segunda metade do livro trata da gera o de dados de n vel de itens usando a teoria cl ssica dos testes e modelagem de resposta ao item O livro acompanhado de um CD que possibilita aos usu rios aplicar procedimentos estat sticos aos conjuntos de dados e verificar seus n veis de dom nio em rela o s solu es representadas em imagens de captura de tela no texto O Volume 5 O uso dos resultados da
116. PS dessas quatro escolas seriam 500 600 400 600 200 600 e 100 600 Essa aproxima o da amostragem pode ser aplicada s bases amostrais em n vel de escola e tamb m s bases amostrais fundamentadas em rea tais como listas das prov ncias ou das cidades se os dados apropriados do MOS forem conhecidos AMOSTRAGEM MULTIEST GIO Em muitas pesquisas de popula o humana o acesso direto aos indiv duos n o poss vel Pode n o haver um registro atualizado central das pessoas ou se existir seu uso pode ser rigidamente regulado ou estar fora do alcance dos indiv duos que respondem pesquisa Essa situa o quase sempre o caso das avalia es educacionais de alunos dentro das salas de aula dentro das escolas dentro das cidades ou dentro de outras jurisdi es O acesso indireto aos membros da popula o alvo pode ser vi vel com a utiliza o de uma t cnica chamada amostragem multiest gio Na amostragem multiest gio prepara se uma lista de unidades gros seiras como unidades geogr ficas ou escolas em pesquisas educacionais e algumas dessas unidades s o amostradas Para cada unidade amostrada prepara se uma lista de unidades menores tipicamente endere os ou casas ou em pesquisas educacionais professores ou alunos Em segui da uma amostra dessas unidades menores selecionada dentro de cada unidade selecionada antes e o processo continua at que a equipe de amostragem identifique os indiv duos a serem
117. PSS Statistical Package for the Social Sciences quando a amostra foi selecionada Voc pode observar isso ao acessar o arquivo SR 400 e abrir o arquivo STUDENTSR SAMPLE usando os seguintes comandos File Open Data Look in MYSAMPLSOL STUDENTSRSAMPLE SAV Open O resultado deve ser semelhante aos dados da Figura 14 1 A do exerc cio ap s a a remo o das vari veis autom ticas que n o ser o necess rias a saber Inclusion Probability 1 SampleWeightCumulative 1 e SampleWeight Final b renomear essas vari veis que ser o teis mais tarde no processo a saber PopulationSize Sample Size e SampleWeight e c salvar o arquivo Esse passo de limpeza id ntico ao que foi feito anteriormente com as amostras da escola e turma ver o Exerc cio 8 3 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 195 EXERC CIO 14 1 continua o Voc pode salvar o arquivo STUDENTSRSAMPLE em MYSAMPLSOL para uso futuro FIGURA 14 1 A DO EXERC CIO Dados no Arquivo Amostral dos Alunos STUDENTSRSAMPLE sav DataSet PASW Statistics Data Leitor De Gat View Dats Trenstom Awaye Gape Sites Ad ges Window ip 3 province 1 Visible 17 of 17 Varia schoolid studentid region prownce density town school nbclass class classid class si stude ago gender Population Sampla Sampla l 14 a RE mi Size Size Weight 1 101 1101103 NE 1 rural 1 1 2 1 101 3 93 1 27654 4
118. QUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL _ que permitido Como o SPSS n o permite esses caracteres em seus nomes de campo voc n o deve encontrar esse problema ao exportar e importar dados entre o SPSS e o Access IMPORTA O DE OUTROS DADOS RELACIONADOS Como j observado algumas informa es importantes n o coletadas no teste em papel do aluno sobre a escola o sistema ou os alunos podem ser armazenadas em um arquivo central oficial Esses dados podem facilitar compara es de desempenho estadual ou regional ou incluir outras in forma es importantes relativas aos grupos Em alguns pa ses por exem plo as informa es sobre os pais ou os antecedentes do aluno podem ser mantidas em bancos de dados oficiais de departamentos centrais O Exerc cio 12 2 mostra como esses dados podem ser importados para o Access e como usar as consultas queries para vincular dados de EXERC CIO 12 2 Importa o de Dados da Escola para o Access As etapas a seguir mostrar o como importar dados da escola do Excel para o Access 1 Abra ANAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB com as altera es do exerc cio anterior salvas 2 Na op o External Data selecione Excel da se o Import Clique no bot o Browse e navegue at INAEA DATA CLEANING EXERCISES SCHOOLS XLSX 4 Destaque a planilha SCHOOLS XLSX e clique em Open Em seguida clique em OK para importar os dados para uma n
119. Riverview Primary School New Record M 4 10f2 b Mb SK No Filter Fonte Exemplo do autor usando o software Access Documenta o da Corre o de Erros no ID do Aluno D rs Ane Fonte Representa o dos autores 182 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 13 2 Uso de uma Consulta para Encontrar Duplicatas para Localizar Nomes Duplicados de Alunos i Este exerc cio demonstra como usar a consulta Find duplicates no Access Abra MY SOLUTIONS MATHS_3A_DATA ACCDB com as mudan as salvas dos exerc cios anteriores Na op o Create selecione Query Wizard na se o Other O Access apresenta ent o uma caixa de di logo chamada New Query Selecione Find Duplicates Query Wizard e ent o clique em OK Selecione TBL MATHS 3A DATA CLEANED e clique em Next Selecione GivenName FamilyName e SchoollD Figura 13 2 A do exerc cio Em seguida clique em Next FIGURA 13 2 A DO EXERC CIO Campos com Valores Duplicados Which fields might contain duplicate information For example if you are looking for cities with more than one customer you would choose City and Region fields here Available fields Duplicate value fields E Funar z2 usa ess emo fc fit fita 5 Natela seguinte selecione StudlD e SchoolName como as vari veis que voc quer no relat rio ver Figura 13 2 B do
120. S 11 Trecho de um Plano de Projeto de Avalia o Nacional 1 2 Lista de Verifica o para Financiamento da Avalia o Nacional 2 1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplica o de Testes 3 1 Avalia o Nacional Formul rio de Acompanhamento Escolar 3 2 Lista de Verifica o do Conte do das Embalagens 5 1 Tabela de Exemplo que Descreve Caracteristicas dos Professores da Escola Primaria 7 1 Elementos Essenciais de uma Base Amostral para uma Avalia o Nacional HA Descri o dos Conte dos das Pastas 9 1 Explica o dos T tulos de Colunas no Livro de C digo 96 101 104 112 118 120 122 126 175 180 180 181 181 181 189 261 262 263 264 265 15 17 29 38 42 59 69 109 121 10 1 IILA 1 NLA 2 14 1 14 2 14 3 14 4 14 5 14 6 17 1 17 2 17 3 17 4 17 5 IV B 1 IV B 2 IV B 3 IV C 1 IV C 2 IV C 3 Vari veis Normalmente Coletadas ou Capturadas em Avalia es Nacionais Exerc cios Solu o dos Exerc cios Amostra Aleat ria Simples Estratificada com Aloca o Igual Amostra Aleat ria Simples Estratificada Popula o Urbana e Rural Tamanhos de Amostra e Taxas de Resposta Amostra Aleat ria Simples Estratificada Popula o Urbana e Rural Tamanhos de Amostra Taxas de Resposta e Pesos Ajustados para N o Resposta Pesquisa da Escola Distribui o P s Estratos da Equipe de Funcion rios por G nero Estimativas de Pesquisa Ajustadas para N o
121. SAM PLSOL Feche essa janela 264 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Source Variables Label GENDER Min 0 Max 1 Type Numeric missing missing 0 Num 0 GIRL 2479 Missing 0 1 BOY 2417 Hecodail f MARGINAL TOTAL 4896 E n a Recode Details Fonte Exemplo do autor usando o software WesVar Quaisquer mudan as como recodifica es ou formatos podem ser feitas a partir dessa janela clicando se em Open WesVar Data File esquerda na tela do WesVar e selecionando se o arquivo de que voc necessita Para computar estimativas voc precisa clicar no New Wes Var Work book no lado direito da tela do WesVar Figura IV D 5 Informa es valiosas podem ser encontradas no guia de usu rio do WesVar Voc pode agora recome ar o Exerc cio 16 1 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 265 FIGURA IV D 5 WesVar Tela de Abertura co WesVar v5 1 17 File Utility Windows Help E 2 Elo New WesVar Data File New WesVar Workbook Fonte Exemplo do autor usando o software WesVar REFER NCIAS Anderson P and G Morgan 2008 Developing Tests and Questionnaires for a Na tional Assessment of Educational Achievement Desenvolvimento de Testes e Question rios para Avalia o do Desempenho Educacional Washington DC Banco Mundial Cartwright F and G Shiel Forthcomi
122. Seu trabalho em n vel nacional inclui o Programa Nacional de Avalia o Alfabetiza o e Matem tica pesquisas em reas curriculares relacionadas a ci ncias e coordena o na implementa o de programas da OCDE Tamb m est intimamente ligado a programas nacionais de monitoramento na regi o do Pac fico Sul e Oriente M dio Suas atuais reas de interesse incluem o impacto dos palpites chutes nas avalia es nacionais em grande escala J Heward Gough estat stico de pesquisas por amostragem e at re centemente era consultor estat stico s nior no Grupo Estat stico de Consultas do Statistics Canada Tem ampla experi ncia no desenvol vimento de metodologia de pesquisa e consultoria estat stica incluindo cinco anos no Centro Latino Americano e Caribenho de Demografia CELADE Gough ministrou cursos em m todos estat sticos t cnicas de amostragem e metodologia estat stica para o Statistics Canada para clientes externos no Canad e para escrit rios estat sticos nacionais na Col mbia Cuba Eritreia Peru e Z mbia Participou de um projeto de desenvolvimento de habilidades estat sticas em Burkina Faso Vincent Greaney consultor educacional Foi especialista l der em edu ca o no Banco Mundial e trabalhou na frica na sia e no Oriente M dio Ex professor fellow de pesquisa no Centro de Pesquisas Edu cacionais no St Patrick s College em Dublin e professor visitante da Fulbright na Western Mic
123. Stud ID Vari vel Valor dos dados Valor reparado 2152410 Q3Aq02 13 3 Fonte Representa o dos autores Se voc executar novamente o procedimento Frequency etapas 3 e 5 ver que agora n o aparece nenhuma listagem para o valor 13 e que as ocorr ncias da terceira resposta do item C Sarah aumentaram de 286 para 287 na s rie de dados Os exemplos de registro de dados no Cap tulo 10 usaram 7 como va lor default para itens de m ltipla escolha Como 7 era um valor inv lido um valor 7 para itens de m ltipla escolha indicaria que nenhum valor foi registrado pelo digitador O comando Frequency apresentado no Exerc cio 11 2 pode ser usado para encontrar valores em branco do sistema de modo que os valores possam ent o ser inseridos nessas c lulas ap s consulta ao caderno de teste original do aluno ver Exerc cio 11 3 EXERCICIO 11 3 Uso do Comando Frequency para Encontrar Valores em Branco tt IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 161 Voc pode usar o comando Frequency para encontrar valores em branco como se segue Abra ANAEA DATA CLEANING MY SOLUTIONS MY DATA SET 1 SAV com as mudan as salvas dos exerc cios anteriores 2 Execute o comando Frequency como demonstrado no exerc cio anterior dessa vez transferindo todas as vari veis de G nero para Q3Aq14 na lista de vari veis 3 Da Tabela de Frequ ncia de G nero Figura 11 3 A do exe
124. TA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 141 EXERC CIO 10 6 continua o 4 Insira as propriedades de campo para o segundo item no teste de matem tica Tamb m uma pergunta de matem tica de m ltipla escolha com quatro op es Figura 10 6 B do exerc cio FIGURA 10 6 A DO EXERC CIO Dados de Itens de Campo Pergunta 1 A Field Name i Data Type Description Studio Text Student ID GivenName Text Given name of student FamilyName Text Family name of student SchoolName Text Name of student s school YearLevel Number Student Year Level Gender Number 1 Boy 2 Girl 8 multiple response 9 missing Age Number L age lt S 2 age is 8 3 age is 9 4 age gt 9 8 multiple response 9 missing Testianguage Number 1 Yes 2 No 8 multiple 9 missing Ex O34Ag01 Number Question 1 2 digits 9S missing o Fiesa Properies General Look Field Sue Long Integer Format Decimal Paces Auto Input Mask Caption Default Value n A field name can be up to 64 characters long Validation Rute lt 100 including spaces Press FI for help on tietd Vabdation Text 2 digits 99 missing names Required ves Indexed No Smart Tags Tex Align General Fonte Exemplo do autor usando o software Access FIGURA 10 6 B DO EXERC CIO Dados de Itens de Campo Pergunta 2 O TABLE VR 3 MATHS DATA Field Name Data Type Description Gender Number 1 Boy 2 Girl 8 multiple respons
125. Tabela 14 5 TABELA 14 5 Estimativas de Pesquisa Ajustadas para N o Resposta Homens Mulheres Total N mero de funcion rios 3x5 2 15 6 62 4 78 0 N mero de professores de matem tica 5 2 36 4 41 6 Propor o de professores de matem tica 0 33 0 58 0 53 Fonte Compila o dos autores Os pesos ajustados para n o resposta levaram a uma estimativa de aproximadamente 16 homens e 62 mulheres que trabalham na escola com uma estimativa de 33 de homens e 58 de mulheres na escola que ensinam matem tica Suponha que ap s a condu o da pesquisa a ag ncia externa tenha constatado que 42 homens e 36 mulheres estavam trabalhando na escola na poca da pesquisa As estimativas produzidas pela pesquisa foram bastante diferentes desses valores verdadeiros A ag ncia decidiu que suas estimativas deveriam ser consistentes com o n mero conhecido de homens e mulheres Ela tamb m acreditava que a disciplina de especializa o do professor poderia estar relacionada ao g nero Se informa es espec ficas sobre o g nero dos professores esti vessem dispon veis na poca do desenho da amostra a ag ncia poderia ter estratificado por g nero O que a ag ncia pode fazer IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 215 A amostra pode ser estratificada ap s o fato para criar o que se co nhece como pesos p s estratificados para que sejam usados durante a estima o O peso p s estr
126. Tudo que preciso fazer abrir o WesVar computar os pesos de replica o JK e salvar o arquivo WesVar para uso futuro Abra o WesVar Clique em New WesVar Data File Selecione o diret rio apropriado em Look in Selecione MYSAMPLSOL RESP2STGWTJK da janela do diret rio Todas as vari veis dispon veis aparecer o na janela Source Variables Figura IV D 1 Clique em Done se a janela pop up Create Extra Formatted Variables aparecer Clique em Full Sample e mova FINAL WEIGHT para essa janela o nome da vari vel pode estar truncado como FINALWE D se desejar voc pode enviar STUDENTID para a caixa ID Clique em Variables e clique em gt gt para mover todas as vari veis restantes para a janela correta se desejar as vari veis desnecess rias podem ser colocadas de volta na janela esquerda usando lt Salve o arquivo em sua pasta MYSAMPLSOL Voc pode usar o mesmo nome porque o formato e extens o s o exclusivos dos arquivos WesVar e n o ser o confundidos com os originais do SPSS IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 261 Lista de Vari veis Dispon veis ao WesVar Data File RespZstgWTX spsswin E y O Fie Data Format windows Help C Fyll Sample Frae cp fs TUOENTI CLASSO DESIGNWE Method C BRR Ci C su C FAY C JKn Fonte Exemplo do autor usando o software WesVar 6 Agora antes que qualquer tabela possa ser computada o Wes Var deve criar
127. VALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 175 Mensagem de Advert ncia do Uso Exclusivo You must have the database open for exclusive use to set or remove the database password W To open the database exclusively close the database and then reopen it by clicking the Microsoft Office Button and using the Open command In the Open dialog box cick the arrow next to the Open button and then select Open Exclusive Le Para definir ou remover a senha do banco de dados necess rio que ele esteja aberto para uso exclusivo Para abrir o banco de dados de forma exclusiva feche o e reabra o clicando no bot o Microsoft Office e usando o comando Abrir Na caixa de di logo abrir clique na seta ao lado do bot o Abrir e selecione Abrir Exclusivo Fonte Mensagem de advert ncia do software Access de usu rio Esse problema pode ser evitado com a cria o de uma c pia backup do banco de dados sem prote o de senha antes do in cio desse processo O backup deve ser armazenado separadamente at que a adi o da seguran a em n vel de usu rio ao banco de dados original tenha sido realizada com sucesso Nesse est gio a c pia backup sem senha de ve ser eliminada No Access a seguran a em n vel de usu rio pode ser adicionada a um banco de dados clicando se em Users and Permissions User Level Se curity Wizard na aba Data base Tools e seguindo se o processo passo a passo mostrado pelo Assistente do Aplicativo Com
128. XERC CIO 14 5 ia Ajuste de Pondera o para N o Resposta Para uma Amostra Aleat ria Simples de 400 Alunos Alguns alunos na amostra de 400 alunos selecionados da base amostral de acordo com o desenho n o foram testados A equipe de amostragem deve fazer ajustes para as n o respostas Deve considerar dois tipos distintos de n o participantes Primeiro alguns alunos podem n o estar presentes para o teste por terem abandona do a turma e a escola permanentemente Um aluno nessa situa o receber o status de desistente ou n o frequenta mais a escola nos arquivos de dados Nesse caso poss vel que algu m sugira mant los na base amostral sem alterar seus pesos mas dar lhes pontua es de O nos testes Isso pode ser considerado uma penalidade bastante severa pelo uso de uma base amostral desatualizada Os alunos pertenciam popula o quando a base amostral foi criada mas n o faziam mais parte da popu la o na poca da avalia o que a popula o qual as estimativas realmente se referem Uma pr tica comum entretanto ajustar o peso dos desistentes para 0 e remov los da base de dados em um momento oportuno Essa estrat gia sup e que o aluno se transferiu para outra escola e ainda tem uma possibilidade de fazer parte da avalia o ou de ser representado por algu m na amostra Nenhum ajuste feito nos pesos dos estudantes participantes Segundo alguns alunos podem ter estado temporariamente ausentes p
129. a selecionar o segundo aluno o quinto e assim por diante Se na realidade a turma tiver 46 alu nos a amostra ser composta pelos alunos 2 5 8 e 44 Nenhum aluno receber o n mero 47 ou 50 Se a turma tivesse 54 estudantes a amostra seria estendida para incluir os alunos 47 50 e 53 Essa t cnica usada com frequ ncia quando um aplicador de teste ou entrevistador pode viajar a campo somente uma vez Observe que a parte aleat ria da amostragem feita antes da visita s escolas A Figura 8 2 apresenta uma amostra aleat ria sistem tica de 7 escolas extra das de uma popu la o de 45 unidades IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 79 Amostra Aleat ria Sistem tica de Escolas LN Fonte Representa o dos autores Nota N 45 escolas n 7 escolas cinza fase 6 in cio 4 AMOSTRAGEM POR CONGLOMERADOS A amostragem por conglomerados o processo de selecionar aleatoria mente grupos completos conglomerados de unidades da popula o a partir da base da pesquisa Em geral uma estrat gia de amostragem de menos efici ncia estat stica do que a SRS porque tem uma vari n cia amostral maior para um dado tamanho de amostra A amostragem por conglomerados entretanto apresenta divers
130. a t rio entre O e 1 Se os n meros aleat rios forem exibidos como Os e Is aumente o n mero de casas decimais na aba Variable View Agora voc pode criar as r plicas JK Selecione Data Sort Cases ent o mova JKZONE RAN DOMPICK para Sort by Clique em classificar como Ascending e ent o em OK IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 259 Selecione Data Identify Duplicate Cases e mova JKZONE para Define matching cases by Se necess rio remova todas as outras vari veis que possam estar nesse painel Em Variables to Create a criar clique em Last case in each group is primary Pri maryLast e OK Como o WesVar espera que as r plicas sejam numeradas a par tir de 1 en o de 0 os c digos replicados precisam ser modificados usando os seguintes comandos Transform Recode into Diffe rent Variables Mova PrimaryLast para Input Variable e digite JXREP em Output Variable Name Se voc quiser pode digitar um r tulo Clique em Change e ent o em Old and New Values Em Old Value clique em Value e digite 0 Em New Value digite o n mero 1 e clique em Add Em Old Value clique em All other values Em New Value digite o n mero 2 Clique em Add Con tinue e OK Observe que todos os valores PrimaryLast 0 foram transformados para valores JXREP 1 e todos os valores 1 foram transformados em 2 Escolha Data Sort Cases no menu Remova JKZONE e RANDOMPICK da caixa Sort by e mova S
131. a estrat gia vi vel de aloca o de amostra Duas estrat gias comuns de aloca o de amostra s o a aloca o igual e b aloca o proporcional Com aloca o igual cada estrato recebe o mesmo n mero de unidades de amostra esse m todo recomendado para estratos equilibrados Na aloca o proporcional cada estrato recebe uma parte da amostra correspondente sua parte da popula o Esse m todo a op o preferida quando as estimativas nacionais s o de grande interesse A aloca o igual pode n o ser t o boa quanto a aloca o proporcional para estimativas nacionais mas pode ser prefer vel se as estimativas de dom nio forem necess rias e se houver correspond ncia entre os estratos e os dom nios A aloca o igual tamb m pode ajudar a assegurar que unidades suficientes componham a amostra para cada dom nio ou estrato 90 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Se a aloca o proporcional for usada a amostra das escolas deve ser alocada de modo que o n mero de alunos na amostra em cada estrato seja proporcional ao n mero de alunos na popula o em cada estrato Algumas escolas podem ter uma medida de tamanho MOS equivalente a zero para a popula o alvo Elas devem permanecer na base amostral se tiverem alguma possibilidade de adquirir alunos eleg veis no per odo de teste Tamb m devem receber um valor MOS preliminar de um e ser inclu das nos totais relevantes
132. a op o extrair o documento fonte original o teste do aluno e corrigir o erro Essa necessidade de dupla verifica o a raz o principal para assegurar que o pessoal respons vel pelo registro dos dados tenha acesso f cil aos testes e question rios originais O SPSS est facilmente dispon vel e consequentemente foi usado na se o seguinte para verificar a consist ncia entre os arquivos Outros programas que podem executar essa tarefa com efici ncia s o WinDem STATISTICA e SAS Statistical Analysis Software Consist ncia demogr fica dos dados nome da escola Os erros de grafia em cadernos de teste e em question rios n o s o ra ros e podem causar problemas de gerenciamento de dados Uma causa IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 157 comum de erro quando um aluno escreve o nome da escola errado ou o abrevia e o operador de registro de dados copia o erro do cader no de teste do aluno Esse tipo de erro n o um problema quando os identificadores do estudante ou IDs que incluem um c digo da escola s o atribu dos antes que os testes e os question rios sejam enviados s escolas N o incomum que os cadernos dos alunos apresentem varia es de nome da mesma escola Por essa raz o a correspond ncia e a fus o dos arquivos s o feitas com mais efic cia usando se o ID da escola mantido da base amostral e n o o nome fornecido pelos alunos que respondem ao tes
133. a a dados duplicados no Access Os dados fict cios foram usados nesses casos porque a vari vel Studen tID em nossos dados n o permitiria a ocorr ncia de valores duplicados e assim uma consulta sobre dados duplicados baseada no StudentID retornaria um valor nulo O Exerc cio 13 1 n o teve nenhum ID duplicado porque StudID foi definido como chave prim ria e dados duplicados n o s o permitidos no campo de chave prim ria e portanto a consulta do exerc cio n o 180 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL encontrou nenhum registro que atendesse aos crit rios da busca Para um exemplo de como as duplicatas s o exibidas veja a Figura 13 1 Os resultados da Figura 13 1 sugerem que os dados foram registrados por engano Quando uma consulta retorna uma duplicata preciso veri ficar a validade de ambos os registros Se os padr es de resposta do aluno forem id nticos altamente prov vel que o registro seja duplicado Os registros entretanto devem ainda ser comparados com as fontes originais de dados os testes em papel do aluno Um registro do erro no README DOCX exibido na Figura 13 2 com a corre o subsequente net Find duplicates for tbl National Assessment Example 5 x UniquelD StudentiD Given Name Family Name School Cod School Name 2510 Paul Nguyen 99 Park St School 1510 Paul Nguyen 99 Park St School New Record 4 4 1of2 T E K No Filt Search z
134. a avalia o Nesse caso preciso tomar provid ncias para obter essa permiss o Pode ser suficiente solicitar aos pais para res ponderem somente no caso de recusarem a permiss o participa o de seus filhos Se os pais n o responderem o consentimento est impl cito Este cap tulo descreve as etapas preparat rias para a aplica o de uma avalia o nacional Essas etapas envolvem o contato com as escolas a organiza o de instrumentos e a prepara o de escolas ESTABELECENDO CONTATO COM AS ESCOLAS Se necess rio deve se obter a autoriza o do Minist rio da Educa o ou da autoridade regional de educa o antes de estabelecer contato com as 36 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL escolas Quando feito contato com as escolas e elas s o convidadas a participar recomenda se pedir que confirmem o recebimento do convi te comunica o inicial deve ser acompanhada de forma regular at o dia anterior ao teste A escola deve ser solicitada a indicar uma pessoa de contato pessoa de contato da escola ou coordenador para a avalia o A equipe de avalia o nacional deve esfor ar se para garantir um bom relacionamento com as autoridades locais de educa o caso existam Comunica o com as escolas Muitas escolas sobretudo no n vel prim rio preferem receber cartas que podem ser arquivadas Em Uganda a ag ncia nacional de avalia o envia cartas a toda
135. a com aquela contida na Figura 12 3 D do exerc cio O resultado da consulta fornece um registro por fileira com todos os dados conhecidos sobre o aluno em um nico arquivo Esse arquivo pode ent o ser interrogado para a limpeza final antes de ser exportado para os analistas de dados como uma s rie de dados limpa FIGURA 12 3 D DO EXERC CIO Resultado da Pergunta 4106303 Sara 4106 Thornfield Prin Bourke Road Thornfield 3965320 Max 3965 Southharbour 1 Harbour Drivi South Harbou 4002107 Nakeya Hoppman 4002 St Margaret F quem StudiO GivenName FamilyName SchoolCo SchoolName Address Suburb Zone Year 4106101 Dylan fali 4106 Thornfield Prin Bourke Road Thornfield 4 4002410 Nathaniel MacDonald 4002 St Margaret s P 1001 Day Stree Ambervale 3 5716 Ellen Knught 4106 Thornfield Prin Bourke Road Thornfield 4 309 Nathan Kummuhp 4002 St Margaret s P 1001 Day Stree Ambervale 3 431 Taj Trapp 4106 Thornfield Prin Bourke Road Thornfield 4 4106909 Dylan Davuap 4106 Thornfield Prin Bourke Road Thornfield 4 4106936 Emma Paponja 4106 Thornfield Prin Bourke Road Thornfield 4 4106404 Sean Caughy 4106 Thornfield Prin Bourke Road Thornfield 4 4 3 001 Day Stree Am 3965219 Makyla Upaac 3965 Southharbour 1 Harbour Drive South Harbor ww Fonte Exemplo do autor usando o software Access 11 Selecione o Office Button Save e salve a consulta como qry_student_ amp _scho ol_data_combined e clique em OK 12 Obser
136. a de testes costuma ser a fonte mais co mum de erro em uma avalia o nacional preciso prestar aten o es pecial s etapas de sele o treinamento e supervis o dos aplicadores de testes e question rios Acima de tudo as pessoas designadas para essa tarefa devem ser confi veis respons veis e comprometidas Os aplicadores de testes devem e Garantir que professores e outros funcion rios n o estejam presentes na sala quando os testes estiverem sendo aplicados IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 29 TABELA 2 1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplica o de Testes Categoria Vantagens Desvantagens Professores T m qualifica o profissional Podem ter dificuldade para desaprender pr ticas usuais por exemplo ajudar os alunos e aprender novas maneiras de lidar com os alunos Est o familiarizados com as crian as Podem sentir que tamb m est o sendo avaliados e tentar ajudar as crian as se a sua pr pria turma estiver sendo avaliada Podem ser menos dispendiosos do que outros especialmente em termos de deslocamento e subsist ncia Pode ser dif cil e dispendioso organiz los e trein los Costumam ser fluentes no idioma local ou da rea Inspetores e instrutores de professores Costumam ter experi ncia em sala de aula Ficar o envolvidos como parceiros na avalia o nacional o que pode deix los int
137. a em Matem tica no WesVAr WesVar Output File for WorkBook Title 1 E WotkBook Tie p mamoe E o a Analysis Variables DIFF N MATESS VALUE 0 89 3 189 358 525 Computed Statistics E Tabie Sel 1 4 GENDER Fonte Exemplo do autor usando o software WesVar A diferen a estimada muito pequena diff 0 89 e o valor t associado 0 89 3 189 0 279 o que torna a diferen a estatisticamente n o significativa valor p 0 781 gt 0 05 T PICOS ESPECIAIS ste cap tulo abrange algumas quest es adicio nais de amostragem relacionadas a dificulda des problemas e erros geralmente encontrados em estudos sobre avalia o nacional Esses t picos incluem o tratamento das n o respostas estratifica o classifica o da base amostral e sele o da amostra tratamento de escolas de tamanho excessivo e de tamanho reduzido e padr es para julgar a adequa o de taxas de resposta em uma avalia o nacional N O RESPOSTA N o h um modo universal ou uniforme que seja melhor para lidar com a n o resposta Em uma pesquisa social geral as raz es para a n o res posta em uma parte do pa s por exemplo fechamento de escolas por causa do mau tempo podem ser diferentes daquelas em outra parte do pa s por exemplo descontentamento geral com as autoridades locais A magnitude a causa e o impacto da n o resposta s o quase imposs veis de predizer o que dificulta o desenvolvimen
138. a parte Eles listam as principais fontes reconhecidas de erros de dados que se n o forem solucionados podem comprometer a con fian a na integridade dos dados Lista de Verifica o Resumida dos Processos de Limpeza de Dados Documentos Componente ou processos Quest es chave Verificado Formatos de Livro de c digo Tipos de dados definidos dados do teste Dados obrigat rios definidos Comprimento dos campos definidos O livro de c digo do teste corresponde ao conte do do teste Coleta de Software para Formatos de dados de campo dados registro de consistentes com as defini es do dados livro de c digo As rotinas de valida o no software de registro de dados foram estabelecidas Adjudica o de erros da captura Limpeza de Verifica es Fus o de dados de fontes diferentes dados entre arquivos Rotinas para assegurar a exatid o e a integralidade dos dados Houve presta o de contas de todos os registros Verifica o C digos curinga foram verificados de dados e C digos incorretos foram retificados verifica es entre arquivos Dados obrigat rios ausentes foram verificados IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 115 Documentos Componente ou processos Quest es chave Verificado Outros campos de dados ausentes foram corrigidos Rotinas para assegurar a exatid o e a integralidade dos dados
139. a porcentagem de alunos na amostra em cada estrato deve ser mais ou menos como a porcentagem dos alunos na popula o em cada estrato Ao concluir as seguintes etapas do SPSS voc poder e Examinar informa es em nivel de prov ncia e Calcular os totais das prov ncias e Calcular um total nacional e Calcular a aloca o proporcional de um tamanho de amostra de n 120 escolas para os estratos prov ncias e Armazenar toda essa informa o para uso posterior Primeiro abra o arquivo PROVINCES usando os seguintes comandos File Open Data Look in BASE FILES PROVINCES SAV Open Voc vera um MOS total PROV_SIZE para as partes rurais e urbanas de cada provin cia O total nacional tamb m ser necess rio Logo uma vari vel dummy COUNTRY sera criada e ajustada para 1 como se segue Selecione Transform Compute Variable Digite COUNTRY em Target Variable Digite 1 em Numeric expression e clique em OK Selecione Data Aggregate Em seguida mova COUNTRY PROVINCE para Break variables Em seguida mova PROV SIZE para Summaries of variables 92 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 8 1 continua o Clique em Function e selecione Sum Clique em Continue Clique em Name amp Label Digite PROV TOT como nome e clique em Continue Clique em Create a new dataset e digite um nome PROVTOT Clique em OK Voc deve ver os dados PROV_TOT para
140. a turma aleat ria de cada escola selecionada Exerc cio 8 8 No exemplo de Sentz todos os alunos das turmas selecionadas s o examinados porque as turmas s o de tamanho moderado Em um pa s no qual as turmas fossem muito maiores por exemplo mais de 50 alu nos talvez fosse preciso selecionar uma amostra dos alunos de cada turma selecionada talvez 25 a 30 por turma O desenho da amostra se transformaria ent o em um projeto de tr s fases Em Sentz a ter ceira fase amostra de alunos das turmas amostradas invis vel neste ponto Isso ficar evidente quando surgir a n o resposta ver a Parte IV deste volume As fases seguintes no processo da avalia o consistem em entrar em contato com as escolas e fazer os arranjos administrativos e organizar os materiais com cada escola participante de modo que os instrumentos de avalia o possam ser aplicados aos alunos selecionados Ap s a aplica o da pesquisa os dados da avalia o nacional ser o tabu lados e limpos ver a Parte III deste volume IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 105 EXERCICIO 8 7 PPS Estratificado sem Reposi o Sele o de Escolas Limpeza da Base Amostral Agora a base amostral da escola pode ser submetida ao software Complex Samples para a extra o de uma turma aleat ria de cada escola selecionada mediante o uso dos seguintes comandos File Open Data Look in MYSAMPLSOL CLASS_FRAME SAV
141. ado para definir os campos e formatos de dados de forma consistente com aquelas descritos no livro de c digo Esse 128 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 10 1 continua o FIGURA 10 1 B DO EXERC CIO Layout do Desenho da Tabela de Banco de Dados AR Access Objects O EB TABLE YR 3 MATHS DATA Search p Field Name Data Type Description Tobie PE AutoNumber O TABLE YR 3 MATS DATA f Field Properties Genera Lookup Fielo Sze Long Integer New Values Incenert Format Capbon Indexes ves No Duptcsteg Smart Tags Text Alegre General Fonte Exemplo do autor usando o software Access A coluna Field Name usada para listar as vari veis no livro de c digo Cada vari vel deve ser registrada em uma linha separada O nome do campo n o deve incluir espa os ou outros caracteres ilegais como pontos de exclama o pontos de interroga o pontos finais ou v rgulas A coluna Data Type geralmente usa Text para as vari veis alfa vari veis que tenham palavras como respostas ou Number para as vari veis num ricas Caso voc colete a data de nascimento em seus dados Date Time ser o registrados como o tipo de dados A coluna Description usada a fim de descrever ou documentar uma vari vel para ajudar os outros usu rios a compreenderem o significado da vari vel Al m disso qualquer formul rio que se baseie na tabela usar os c
142. ados outras equipes usam pacotes de base de dados tais como Access e Excel Exemplos de registro de dados usando o Access s o apresentados na Parte III deste volume As necessidades de mob lia preveem cadeiras adequadas para as pes soas que ficar o por um longo per odo registrando dados e mesas com pridas para organizar os testes e question rios Cada pessoa encarregada do registro de dados tamb m precisa ter um espa o de trabalho adequa do a para o material que precisa ser registrado b para o material que foi registrado e c para os documentos com problemas a serem discuti dos com o supervisor gerente de dados ou l der Equipe para o registro de dados O gerente de dados tem papel crucial no processo de registro de dados e deve ser consultado constantemente Ele deve se poss vel estar envol vido na sele o do pessoal para registro dos dados Um gerente de dados competente geralmente identifica os problemas causados por pr ticas ineficientes de trabalho ou por inexperi ncia O gerente de dados deve ser respons vel por adquirir e assegurar a adequa o do hardware e do software usados no registro de dados Se poss vel a equipe de avalia o nacional deve empregar pessoal experiente no registro dos dados e que 56 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL seja meticuloso em seu trabalho Embora a contrata o de indiv duos inexperientes a um pagamento reduzido possa parecer
143. al mas as recompensas superam em muito o trabalho extra requerido As escolas foram estratificadas nas avalia es nacionais por localiza o idioma afilia o religiosa fonte de financiamento e grau de urbaniza o A experi ncia mostra que a estratifica o em um n mero excessi vo de crit rios contraproducente Na verdade as exig ncias impostas pela estratifica o frequentemente aumentam o tamanho da amostra Al m disso o n mero de unidades que acabam no estrato errado pode aumentar com o n mero dos estratos especialmente aquelas que se baseiam em uma informa o mais tempor ria ou menos confi vel tal como o n mero de membros da equipe de funcion rios ou matr cula do aluno Dependendo da situa o algumas avalia es nacionais usam uma duas ou mais vari veis de estratifica o A estratifica o pode melho rar a efici ncia estat stica e total reduzindo o tamanho e o custo da amostra e mantendo o n vel de confiabilidade Esse curso de a o requer o trabalho de um estat stico de pesquisa acostumado a lidar com esses problemas A Figura 8 4 ilustra uma amostra aleat ria estratificada de 45 escolas usando uma vari vel de estratifica o de tr s n veis Uma popula o pode ser estratificada pela vari vel para a qual os dados est o dispon veis a todas as unidades da base amostral antes da avalia o Essa informa o pode ser t o simples quanto o endere o da escola que possibilitaria a e
144. al para os respons veis pela elabora o de relat rios de avalia o ou pela comu nica o ou utiliza o de seus resultados medida que os leitores percorrem este terceiro volume da s rie Pesqui sas do Banco Mundial sobre Avalia es de Desempenho Educacional torna se evidente que a implementa o eficaz de um exerc cio de avalia o nacional uma tarefa complexa que requer conhecimentos habilidade e recursos consider veis Ao mesmo tempo pesquisas mostram que o retorno de ava lia es nacionais bem implementadas pode ser substancial em termos da qualidade da informa o fornecida sobre os n veis de desempenho do aluno e sobre fatores escolares e extraescolares que possam ajudar a aumentar os n veis de aproveitamento Por outro lado o custo de uma avalia o na cional mal implementada pode produzir informa es equivocadas sobre os n veis de aproveitamento dos alunos e fatores correlatos A implementa o de boa qualidade pode aumentar a confian a dos formuladores de pol tica e de outros interessados na validade dos resultados da avalia o Tamb m pode aumentar a probabilidade de que os formuladores de pol tica e ou tras partes interessadas utilizem os resultados da avalia o nacional para desenvolver planos e programas eficazes destinados a aprimorar a qualidade educacional e os resultados de aprendizado dos alunos Marguerite Clarke Especialista S nior em Educa o OS AUTORES E ORGANIZADORES
145. ala es necess rias para o registro de dados garantia de qualidade limpeza e armazenamento de dados Os procedimentos para limpeza e gerencia mento de dados s o descritos em detalhes na Parte III deste volume ver tamb m TIMSS 1998 Instala es para o registro de dados Durante o planejamento da fase de registro de dados importante ter em mente o or amento dispon vel e a data limite para a entrega dos IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 55 dados Por meio do c lculo do tempo necess rio para registrar e verificar os dados em cada teste por exemplo para um caderno de teste de ma tem tica e um caderno de teste de linguagem e cada question rio por exemplo os question rios do aluno e do professor poss vel estimar o tempo necess rio para registrar ou digitar e verificar todos os dados Essa estimativa dar uma orienta o aproximada de quantas pessoas se r o necess rias para o registro dos dados de modo a concluir a tarefa a tempo Ap s determinar quantas pessoas ser o necess rias recomenda se fornecer um computador para cada uma respons vel pelo registro dos dados al m de um computador para o supervisor Idealmente os com putadores devem estar ligados a uma rede Algumas equipes de avalia o nacional usam software feito sob encomenda como o WinDem ou o EpiData da Associa o Internacional para Avalia o do Aproveitamen to Escolar para o registro dos d
146. alia o A primeira avalia o nacional deve tamb m aferir o aproveitamento dos alunos em matem tica e ci ncias As avalia es futuras incluir o outras reas do curr culo Sentz tem duas regi es geogr ficas distintas o Nordeste e o Sudoeste que s o separadas pelo Grand River ver Figura 7 1 A capital nacional Capital est situada na regi o Sudoeste O Nordeste tem tr s prov ncias prov ncias 1 3 e 5 e 21 cidades enquanto o Sudoeste tem duas pro v ncias prov ncias 2 e 4 com um total de 12 cidades O termo cidade abrange cidades cidades pequenas ou reas rurais compostas por fazen das e vilarejos Cada prov ncia dividida em uma rea urbana e uma rea rural com exce o da prov ncia 4 no Sudoeste que tem apenas uma rea rural Cada cidade classificada como urbana ou rural IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 71 In cio Em seu disco r gido ou servidor crie uma pasta chamada NAEA SAMPLING ou algo similar Crie cinco subpastas diferentes dentro de NAEA SAMPLING As subpastas s o BASE FILES MYSAMPLSOL My Sampling Solutions SRS400 25TG4400 e NA TASSESS para uma amostra de avalia o nacional real que usaremos mais adiante Copie os arquivos para as subpastas BASE FILES SRS400 25TG4400 e NATASSESS da pasta SPSS VERSION em www elsevier com br implementacao Voc usar a pas ta MYSAMPLSOL para arquivar seus resultados ap s ter terminado um exerc
147. alian Council for Educational Research o Bank Netherlands Partnership Program o Educational Research Centre em Dublin o Irish Educational Trust Fund o Statistics Canada e o Russia Education Aid for Development READ Trust Fund Fundo Fiduci rio Russo de Aju da Educa o para o Desenvolvimento FF READ deram seu apoio generoso prepara o e publica o da s rie PREF CIO edir os resultados do aprendizado dos alu nos necess rio para monitorar o sucesso de um sistema escolar e melhorar a qualida de da educa o Informa es sobre o desempenho dos alunos podem ser usadas para subsidiar uma ampla variedade de pol ticas e decis es educa cionais incluindo formula o e implementa o de programas para apri morar o ensino e o aprendizado em salas de aula identifica o de alunos com dificuldades a fim de que possam obter o apoio necess rio e presta o de assist ncia t cnica e treinamento adequados onde for mais necess rio A s rie Pesquisas do Banco Mundial sobre Avalia es de Desempenho Educacional da qual este o Volume 3 concentra se nos procedimentos mais atualizados a serem seguidos a fim de garantir que os dados tais como resultados de testes e informa es sobre antecedentes e contexto produzidos por um exerc cio de avalia o nacional em larga escala sejam de alta qualidade e abordem as quest es de interesse para os formulado res de pol tica respons veis pela tomada de decis
148. alidade 47 5 TAREFAS POSTERIORES APLICA O 51 Corre o do teste 51 Registro de dados 54 An lise de dados 57 Elabora o de relat rio 58 PARTE II METODOLOGIA DE AMOSTRAGEM ESCOLAR Jean Dumais e J Heward Gough 6 DEFINI O DA POPULA O DE INTERESSE 63 7 CRIA O DA BASE AMOSTRAL 67 A base amostral 67 Estudo de caso Sentz 70 8 ELEMENTOS DA TEORIA DA AMOSTRAGEM 75 Amostragem aleat ria simples 76 Amostragem aleat ria sistem tica 77 Amostragem por conglomerados 79 Estratifica o 83 Aloca o da amostra atrav s dos estratos 88 Amostragem com probabilidade proporcional ao tamanho 93 Amostragem multiest gio 95 Extra o de amostras 97 I A AMOSTRAGEM PASTAS E ARQUIVOS 109 PARTE IlI PREPARA O VALIDA O E GERENCIAMENTO 10 11 12 13 ILA DE DADOS Chris Freeman e Kate O Malley LIVROS DE C DIGO GERENCIAMENTO DE DADOS Registro de dados Prepara o de um modelo de registro de dados usando o Microsoft Access VERIFICA O DE DADOS Documenta o Consist ncia entre arquivos Consist ncia dentro de arquivos IMPORTA O E FUS O DE DADOS Os perigos da transfer ncia de dados entre programas Exporta o de dados do SPSS para o Access Importa o de outros dados relacionados Fus o de dados de tabelas diferentes usando consultas do Access Controle de vers o Seguran a dos dados DADOS DUPLICADOS Usando o Access para verificar a exist ncia de IDS duplicados Busca de registros dup
149. alor default fora do intervalo de respostas v lidas obrigat rio inserir uma resposta para a vari vel Gender significando que o operador de registro de dados n o pode pular essa vari vel Se o caderno de testes n o traz a informa o o operador de registro de dados ser obrigado a inserir um 9 para representar os dados ausentes O ajuste do intervalo de respostas v lidas apresentado na se o Valida o os dados ausentes s o introduzidos No Exerc cio 10 4 o valor default ajustado para 7 que est fora da escala v lida das respostas para indicar onde o operador de registro de dados fez uma mudan a e onde n o fez Se for necess ria uma entrada para determinado campo o operador de registro de dados precisa inserir um c digo que esteja dentro da escala de respostas v lidas por exemplo 1 A 2 B 3 C 4 D 8 du plicado 9 ausente Valida o Valida o o processo de assegurar que somente dados plaus veis pos sam ser inseridos em um campo Em nome da efici ncia recomend vel definir regras de valida o para essa fonte de dados a fim de minimizar a quantidade de corre es a serem feitas no est gio da verifica o Uma pergunta de m ltipla escolha com quatro op es deve ter ape nas os valores 1 2 3 ou 4 8 para respostas m ltiplas ou 9 para ne nhuma resposta Esses valores comp em a escala de respostas v lidas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE D
150. amento de dados que permitem que o leitor pratique os procedimentos descritos As solu es para os dados do exerc cio junto com os arquivos limpos que cont m os dados do teste s o fornecidas para permitir que o leitor compare e verifique os produtos ou resultados dos exerc cios O aplicativo Access 2007 da Microsoft usado nesta se o para o registro de dados e a valida o de dados enquanto o SPSS Statistical Package for the Social Sciences e em menor escala o Excel 2007 s o usados para verifica o dos dados Alternativamente um m dulo es pecializado de registro de dados no SPSS pode ser usado para executar as fun es de registro de dados que s o realizadas pelo Access nesta se o Independentemente da abordagem empregada uma vez que os dados sejam capturados devem ser importados para o SPSS para pro 114 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL cedimentos de limpeza e verifica o Os tr s aplicativos citados nesta se o s o usados para limitar os perigos inerentes transi o de dados de um programa para outro N o obstante a transposi o de dados inevitavelmente traz consigo possibilidades de ocorr ncia de erros e a transfer ncia de dados entre programas deve ser mantida a um m nimo poss vel Esse t pico abordado em mais detalhes em partes posteriores desta se o A seguinte lista de verifica o resume os assuntos abordados nos ca p tulos dest
151. amostral antes da sele o da amostra alternar a ordem de classifica o por tamanho de um estrato impl cito para o seguinte A Tabela 17 1 mostra como esse tipo de clas sifica o realizado N o obrigat rio classificar a base desse modo mas isso melhora a similaridade das escolas de reposi o e das escolas selecionadas e deve reduzir o vi s de n o resposta Esse tipo de classifica o pelo tamanho tamb m aumenta as possibilidades de selecionar escolas de todos os ta manhos dentro de cada estrato expl cito minimizando a varia o de estrato para estrato e aumentando assim a precis o das estimativas 236 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL TABELA 17 1 Base Amostral com Medidas Diferentes de Ordem de Tamanho Dentro dos Estratos Estrato Estrato Medida do ID da Endere o Nome do Outra vari vel expl cito impl cito tamanho escola postal diretor da base 1 1 Pequena 1 1 s e 1 1 GRANDE 1 2 GRANDE 1 1 Pequena 1 Pequena 1 ist pa 1 3 GRANDE 2 1 Pequena H 3 N Fonte Compila o dos autores Nota Na coluna 3 todas as escolas no pa s no primeiro estrato as primeiras tr s fileiras de dados s o classificadas em ordem de tamanho da menor para a maior N o poss vel listar todas as escolas em cada estrato nessa figura O s mbolo representa as escolas entre a menor e a maior ESCOLAS DE TAMANHO GRANDE A
152. an lise deve ser feita de acordo com a estrutura original da escola Essa quest o deve ser discutida pelos gerentes da pesquisa pelos estat sticos da pes quisa e pelos analistas da avalia o antes que se fa a a sele o final de amostragem TABELA 17 5 Base Amostral Modificada Escolas originais Pseudoescolas Medida de Medida ID da Medida Medida ID da tamanho da rea cumulativa pseudo do cumulativa escola escola geogr fica do tamanho escola tamanho do tamanho 1007 15 1 15 1007 15 15 1006 35 1 50 1006 35 65 1004 40 1 90 1004 40 90 1001 75 1 165 1004 75 165 1013 5 2 170 1111 20 185 1011 15 2 200 1111 1014 5 2 175 1112 15 200 1012 10 2 185 1112 1009 30 2 230 1009 30 230 1005 40 2 270 1005 40 270 1003 50 2 320 1003 50 320 1002 60 2 380 1002 60 380 1015 2 3 382 1115 22 402 1008 20 3 402 1115 1010 30 3 432 1010 30 432 Fonte Compila o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 241 PADR ES PARA JULGAR A ADEQUA O DAS TAXAS DE RESPOSTA Como observado anteriormente as exclus es tais como escolas em ilhas remotas ou escolas muito pequenas s o limitadas frequentemente a 5 da popula o alvo desejada antes que se divulgue algum aviso de publica o dos resultados Ap s as escolas terem participado ou terem sido substitu das e os dados da amostra terem sido coletados poss vel computar
153. anteriormente poss vel usar os estratos para assegurar que determinados tipos de escola sejam selecionados na amostra por exemplo por prov ncia e que determinado tamanho de amostra seja alocado a cada grupo por exemplo 75 escolas por prov ncia Esses es tratos s o chamados expl citos Tamb m poss vel usar outros crit rios para os quais n o seja necess rio o mesmo n vel de precis o ou a repre senta o proporcional suficiente por exemplo cidades dentro de uma prov ncia ou financiamento dentro de uma prov ncia Esses estratos s o chamados impl citos Na pr tica os estratos impl citos s o vari veis clas sificadoras dentro de estratos expl citos Por fim n o obstante a t cni ca de sele o da amostra usada como a amostragem aleat ria simples a amostragem aleat ria sistem tica ou a probabilidade proporcional ao tamanho a base amostral deve ser classificada pelo tamanho da escola antes da sele o da amostra A classifica o pelo tamanho melhorar a sele o de escolas de reposi o Uma caracter stica comum do processo de sele o o uso da amos tragem aleat ria sistem tica Alguns pa ses a usam com probabilidade igual enquanto outros a usam com probabilidade proporcional ao tama nho da escola Claramente a classifica o da base amostral deve ser feita dentro de cada estrato expl cito porque isso corresponde estratifica o implici ta Uma maneira til de classificar a base
154. ar que os dados pare am plaus veis e que as pontua es e categorias de resposta estejam dentro de limites aceit veis Ela fornece a oportunidade de verificar respostas problem ticas aos itens do teste e do question rio Os dados tamb m podem ser verificados quanto a eventuais padr es sugestivos de c pia das respostas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 57 Armazenamento de dados Ap s o t rmino da avalia o pode ser necess rio armazenar os dados por v rios anos Muitas institui es de pesquisa consideram que cinco anos um per odo apropriado para o armazenamento Em alguns pa ses os testes e question rios s o digitalizados e os dados s o armazenados em formato eletr nico AN LISE DE DADOS Nesta se o s o levantadas algumas quest es de log stica que podem influenciar a qualidade e a efici ncia da an lise de dados O Volume 4 a ser publicado trata da gera o de itens estat sticos e de resultados da pontua o de testes al m da an lise para a gera o de dados na elabo ra o de pol ticas Um membro central da equipe com compet ncia comprovada em estat stica inclusive de psicometria deve ser o respons vel pela an lise de dados Outros indiv duos podem ajudar essa pessoa Embora nem sempre seja poss vel empregar um estat stico em tempo integral os ser vi os de um estat stico ser o necess rios em muitos est gios do processo de avalia o desde o
155. are WesVar FIGURA 16 1 B DO EXERC CIO Estimativas da Popula o para Vari veis Idade e Matem tica por G nero WesVar Output File for Workilook Title 1 Fie View Heb wa ae alvial Eai Work Book Title 1 TABLE GENDER Table Request One Analysis Venables Compured Statetics 13888 12 Table Set 81 1 SUN UTS VALUE 13443 94 EE MARGINAL SUN UTS VALUE 27332 06 o RAS VALUE 13 98 2 MAS VALUE 14 02 MARGINAL EAT VALUE 14 00 0 17 0 38 Tes 0 26 o MATE VALUE 214 55 1 N MATH vE 224 15 MARGINAL N MATH VALUE 219 30 Fonte Exemplo do autor usando o software WesVar 228 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL A teoria que respalda a estima o do erro amostral n o est dentro do escopo deste cap tulo mas o leitor interessado pode buscar livros di d ticos sobre teoria da amostragem ver por exemplo Lohr 1999 para um relato detalhado dos m todos de estima o baseados em desenho ou livros did ticos dedicados an lise de dados de pesquisas complexas ver por exemplo Lehtonen e Pahkinen 1995 O procedimento para calcular pesos jackknife descrito no Anexo IV D Existem outros m todos tais como bootstrapping e replica o repetida balanceada por m n o ser o abordados aqui Quando a amostra grande o bastante e o n mero de estratos moderado existem outras estrat gias de jackknifing Em muitos pro gramas de avalia o inter
156. are usado neste volume Por esse motivo a se o de verifica o de dados no Cap tulo 11 descreve como usar o Excel para detectar erros de digita o Valida o de dados A valida o de dados um processo que ajuda a evitar a ocorr ncia de erros quando os dados s o inseridos no banco de dados da avalia o nacional A maioria dos aplicativos para registro de dados incluindo o WinDem Access e Excel inclui rotinas de valida o a cada c lula de registro de dados para ajudar a minimizar os erros Essas rotinas ad vertem automaticamente o encarregado pelo registro de dados quando detectam algum problema com um valor espec fico que esteja sendo inserido Os m dulos b sicos do SPSS parecem n o oferecer esse n vel de controle sobre o registro de dados Alguns erros comuns na digita o de dados s o a omiss o aus ncia de uma resposta a digita o de respostas no campo errado ao pular uma resposta e ent o registrar os dados de todas as outras respostas nas colunas erradas erro de digita o digitar uma resposta diferente daque la indicada pelo aluno e duplica o dos registros de um aluno por erro ou porque o aluno respondeu a v rios cadernos de teste Os m todos de identifica o de erros s o descritos no Cap tulo 11 130 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL PREPARA O DE UM MODELO DE REGISTRO DE DADOS USANDO O MICROSOFT ACCESS Esta se o demonstra o uso do
157. as Entre essas informa es est o o n mero oficial de identifica o a regi o adminis trativa da escola e se a escola participou de um projeto piloto espec fico Algumas dessas informa es podem ser fornecidas pelo Minist rio da Educa o por um sistema de gerenciamento de informa es educacio nais Outras vari veis de interesse para a equipe da avalia o podem ser vari veis derivadas n o diretamente coletadas junto aos alunos seus professores ou escolas mas obtidas como uma combina o dos elemen tos de dados dispon veis nos cadernos Mesmo que a s rie de dados seja criada com o Access as vari veis derivadas podem ser computadas no SPSS As Partes II e IV deste vo IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 163 lume fornecem diversos exemplos sobre a cria o de vari veis no SPSS usando os comandos de menu Transform Compute Variable que podem facilmente ser adaptadas para atender a necessidades espec ficas tais como criar um ndice do n vel de instru o parental que se baseie nos n veis de instru o mais elevados alcan ados pela m e e pelo pai A cria o de novas vari veis pode levar a erros melhor evitar mani pular muitos arquivos e registros Quando vari veis derivadas s o criadas no SPSS poss vel economizar um tempo consider vel ao aplicar um comando que pode ser revertido a muitos registros IMPORTA O E FUS O DE DADOS o Cap tulo 10 f
158. as vantagens distintas Primeiro a amostragem por conglomerados pode reduzir significativa mente o custo do levantamento de dados principalmente se a popula o da escola estiver espalhada por um pa s de grandes dimens es Por exemplo uma avalia o nacional que envolva a amostragem de 1 000 alunos de 32 s rie em escolas a uma taxa de 25 em cada uma das 40 es colas selecionadas ser muito menos dispendiosa do que a amostragem de 1 000 alunos da mesma s rie espalhados aleatoriamente pelo pa s 80 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Segundo nem sempre pr tico fazer a amostragem de unidades indi viduais da popula o s vezes a amostragem de grupos das unidades de popula o ou conglomerados por exemplo salas de aula inteiras muito mais f cil ou pode ser necess ria por raz es administrativas Por fim a amostragem por conglomerados apoia a produ o das estimativas por exemplo aproveitamento m dio por sala de aula ou por escola A Figura 8 3 fornece um bom exemplo de uma amostra de tr s conglome rados escolares envolvendo 19 escolas extra da de uma popula o de 45 escolas agrupadas em 7 conglomerados A amostragem por conglomerados um processo em duas etapas Pri meiro a popula o agrupada em conglomerados Os conglomerados naturais como escolas ou salas de aula podem j existir Segundo uma amostra dos conglomerados selecionada e todas as uni
159. aterial em uma sala deve ser limitado a uma regi o por vez medida que o trabalho de cada regi o for conclu do os testes corrigidos podem ser enviados para o registro de dados 52 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL O monitoramento do n mero de instrumentos que s o corrigidos manualmente ou registrados em uma base de dados para corre o ele tr nica no per odo de uma hora permite que se estime quanto tempo o processo provavelmente levar QUADRO 5 1 F Formul rio de Acompanhamento de Instrumentos Nome da escola N mero da escola N mero do instrumento A N mero do instrumento B Hor rio de in cio Hor rio de t rmino Nome e c digo do respons vel pela corre o Nome e c digo do respons vel pela garantia de qualidade Fonte Compila o dos autores Esse m todo tamb m pode ajudar a fornecer uma estimativa razo vel dos custos Um formul rio simples como o exemplo contido no Qua dro 5 1 permite o acompanhamento da velocidade e a exatid o da cor re o quando todos os testes da mesma escola s o corrigidos Uso de guias de pontua o A equipe de desenvolvimento do teste encarregada de preparar os guias de corre o Os guias para corre o pontua o de itens abertos devem especificar com clareza os tipos de respostas que s o ou n o aceit veis Entretanto os guias podem ter de passar por modifica
160. atificado W o produto do peso ajustado para n o resposta w e do fator de ajuste de p s estratifica o O fator de ajuste p s estratifica o computado para cada p s es trato Esse fator corresponde rela o do n mero de unidades da po pula o no p s estrato N com o n mero estimado de unidades da popula o no p s estrato N que estimado usando as pondera es do desenho ajustadas para a n o resposta Embora esse exemplo se apli que SRS a mesma f rmula N N pode ser usada para pondera o de desenhos mais complexos Neste exemplo os fatores de ajuste de p s estratifica o s o N 42 P s estrato 1 homens 2 69 N 15 6 P s estrato 2 mulheres women 36 058 N 62 4 women Quando aplicados ao peso ajustado para n o resposta os fatores de ajuste de p s estratifica o geram os seguintes pesos finais p s estrati ficados men N P s estrato 1 homens Whose men Up X 5 2 X 2 69 14 men N oomen P s estrato 2 mulheres Vpost women Wnr X 5 2x 0 58 3 women Com o uso dos pesos p s estratificados as estimativas do n mero de homens e mulheres s o agora consistentes com os totais conhecidos de homens e mulheres na escola e com a medida em que o g nero se re laciona com o n mero e a propor o de disciplinas que o professor ensi na podendo se obter melhorias consider veis na precis o Observe que a propor o de professores de
161. atividade 14 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL O plano deve ser uma refer ncia para o projeto inteiro e uma base para monitorar seu progresso A CNC pode por exemplo usar o plano para ve rificar discrep ncias entre os prazos realmente cumpridos e os prazos esti pulados no planejamento o que ajudaria na administra o da avalia o A Tabela 1 1 apresenta o exemplo de uma se o do plano de projeto desenvolvido para a frica do Sul O plano geral que abrangeu um n mero muito maior de atividades do que as apresentadas aqui referiu se ao per o do compreendido entre o in cio de 2004 at dezembro de 2006 O plano para a avalia o nacional deve levar em conta a programa o para a libera o dos recursos N o recomend vel recrutar pessoal e contratar servi os e equipamentos at estarem assegurados os recursos financeiros para os custos recorrentes e de capital Muitos planos de avalia o nacional t m estimativas de tempo impra tic veis Em pa ses em desenvolvimento em especial uma grande va riedade de problemas deve ser prevista quanto a atrasos na contrata o de pessoal identifica o de especialistas qualificados obten o de dados atualizados e corretos sobre escolas e n mero de alunos treinamento de funcion rios locais em tarefas espec ficas por exemplo reda o de itens amostragem an lise estat stica realiza o de pilotos e desenvolvimento de v
162. aula utilizada para a avalia o seja grande o suficiente para acomodar todos os alunos selecionados para realizar os testes com espa o suficiente entre eles para impedir a comunica o com os outros e a c pia A pessoa de contato da escola d apoio equipe de avalia o organizando tudo o que for necess rio para garantir o bom andamento da avalia o na escola Pessoas encarregadas do registro de dados Algumas equipes de avalia o nacional utilizam profissionais de registro dos dados para registrar ou captar os dados dos testes e question rios As pessoas selecionadas para executar essa tarefa devem ter experi ncia e ser r pidas e precisas no registro de dados O registro descuidado dos dados pode comprometer a qualidade da avalia o Uma alternativa para o registro de dados pela pr pria institui o a contrata o dos servi os de uma ag ncia externa Nesse caso um ou mais membros da equipe de avalia o devem verificar a qualidade do trabalho com regularidade O controle de qualidade essencial seja o registro de dados realizado internamente ou por terceirizado Scanners eletr nicos est o sendo cada vez mais utilizados para registrar dados de testes e question rios que em seguida s o arquivados para limpeza e an lise de dados Em alguns pa ses no entanto o acesso a scanners ou a servi os de manuten o de backup necess rios n o est dispon vel Aplicadores de testes Em alguns pa ses os profess
163. ca o do teste e definir o n mero de n o respondentes em cada escola Os dados sobre os n o respondentes devem estar dispon veis em um registro como um formul rio de acompanhamento de alunos ver Quadro 4 1 A equipe de amostragem pode usar essa informa o para computar os fatores de ajuste apropriados Suponha que uma amostra aleat ria simples de n 20 estudantes tenha sido selecionada de uma turma de N 40 alunos O n mero de unidades respondentes simbolizado por n Da amostra alvo original de 20 alunos somente n 16 alunos completaram a avalia o Para de terminar a pondera o do desenho e o peso ajustado para n o resposta nas unidades respondentes necess rio cumprir as seguintes etapas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 203 e Primeiro calcule as probabilidades de inclus o para uma amostra aleat ria simples n 20 1 T D N 40 2 Portanto a pondera o do desenho para cada unidade amostrada Wa 2 e Segundo calcule o fator de ajuste para n o resposta Como somente n 16 pessoas de n 20 selecionadas forneceram a informa o soli citada o tamanho final da amostra 16 Se supusermos que as unida des respondentes podem ser usadas para representar as unidades res pondentes e n o respondentes o fator de ajuste para n o resposta 2 20x2 A amostra 12 5 Sw 16x2 resposta e A ultima etapa computar o peso ajustado para n
164. cada uma das cinco prov ncias Verifique as janelas de resultados porque eles podem aparecer em uma janela diferente Untitled PROVTOT O dado PROV TOT para a prov ncia 2 4 448 Traga os dados PROVTOT que voc acabou de criar para a tela de visualiza o e se lecione Data Aggregate Em seguida mova COUNTRY para Break variables Em seguida mova PROV TOT para Summaries of variables Clique em Function e selecione Sum Clique em Continue Agora clique em Name amp Label Digite COUNTRY TOT como nome e clique em Continue Clique em Add aggregated Por fim clique em OK Voc deve ver um total nacional de 27 654 na tela Data View Agora a s rie de dados PROVTOT cont m os totais nacionais e da prov ncia A alo ca o das prov ncias de 120 escolas pode agora ser computada e os resultados armazenados para uso futuro Esse exerc cio usa a fun o RND para obter valores de n meros inteiros Selecione Transform Compute Variable Em seguida digite ALLOC em Target Variable Digite RND 120 PROV TOT COUNTRY TOT em Numeric expression Clique em OK O arquivo que cont m a aloca o de amostra agora se parece com o exibido na Fi gura 8 1 A do exerc cio FIGURA 8 1 A EXERC CIO Aloca o de Amostra Sentz Untitled2 PROVTOT PASW Statistics Data Editor File Ed View Data Transform Analyze Graphs Utilities Add ons Window Help 1 COUNTRY 1 00 COUNTRY province PROV_TOT COUNTRY_TOT 1 5665
165. cas podem buscar estimativas de aproveitamento para subgrupos da popula o chamados dom nios e tamb m para a popula o total Eles podem por exemplo desejar comparar n veis de aproveitamento de alunos em prov ncias ou em regi es diferentes ou de meninas e meninos ou de alunos que fre quentam tipos diferentes de escolas p blicas ou particulares A cria o de estimativas para subgrupos chamada estimativa do dom nio 88 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Se forem necess rias estimativas de dom nio o desenho da amostra deve garantir que o tamanho da amostra para cada dom nio seja adequado Idealmente os estratos devem corresponder aos dom nios de interesse Evitando amostras ruins A estratifica o ajuda a evitar uma amostra ruim ou incomum Na SRS a sele o da amostra deixada inteiramente ao acaso A amostragem estratifi cada tenta restringir amostras potencialmente extremas ao procurar garantir que determinadas categorias da popula o de alunos estejam inclu das na amostra Por exemplo se uma avalia o nacional enfatizou os efeitos do tamanho da escola no aproveitamento escolar o desenho da amostra pode incluir a estratifica o por tamanho da escola A equipe de avalia o nacional de Sentz considerou v rias op es de estratifica o Limitar a base amostral s duas regi es Nordeste e Sudoeste foi considerada uma op o inadequada p
166. ce button Save ou CTRL S Mude o prefixo de tbl que indica uma tabela para frm_ para indicar que este o formul rio para TBL YR3 MATHS DATA e clique em OK O layout de formul rio mostrado na Figura 10 7 B do exerc cio pode n o ser apropria do para a inser o r pida de dados Em alguns casos providenciar para que as c lulas do formul rio aceitem os dados de itens de forma similar ao layout do caderno de teste ou folha de respostas pode facilitar a inser o de dados 144 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 10 8 Mudan a do Layout do Formul rio Para alterar o layout do formul rio siga estas etapas 1 Abra MY SOLUTIONS MATHS_3A_DATA ACCDB com as mudan as salvas dos exerc cios anteriores 2 A partir do menu All Access Objects do lado esquerdo da janela abra FRM_ YR3 MATHS DATA no Design View Os campos do formul rio podem agora ser editados adicionados ou exclu dos 3 D um clique com o bot o direito sobre o formul rio no painel esquerdo Sele cione todos os campos no formul rio usando a fun o clicar e arrastar do mouse para la ar todas as caixas de texto no formul rio Voc pode selecionar todas as caixas de texto pressionando CTRL A Selecionar Tudo A partir da se o Form Design Tools Arrange da op o clique em Remove na rea de Control Layout Isso remover o layout anterior aplicado aos controles e os campos
167. cia Jackknife para uma Amostra PPS 16 2 Calculo de Diferencas de G nero em um Teste de Matematica FIGURAS 6 1 Porcentagem de Alunos nas Popula es Desejadas Definidas e Obtidas Tel Mapa de Sentz 8 1 SRS sem Reposi o de Escolas 8 2 Amostra Aleat ria Sistem tica de Escolas 8 3 Amostra por Conglomerados de Escolas 8 4 Amostra Aleat ria Estratificada das Escolas 143 144 146 150 155 158 161 167 168 170 178 182 194 197 198 200 204 208 219 226 229 65 73 77 79 80 85 8 5 Amostragem Multiest gio 8 6 Excerto dos Dados 8 7 Class Frame HA Estrutura do Diret rio dos Arquivos de Amostragem 9 1 Exemplo de uma P gina Inicial do Teste 9 2 Livro de C digo do Question rio para Informa es Demogr ficas do Aluno Antecedentes 9 3 Livro de C digo do Teste para Campos de Itens de Matem tica 3a 10 1 Modelo de Registro de Dados Access 2007 12 1 Mensagem de Advert ncia do Uso Exclusivo 13 1 Registros Duplicados Identificados 13 2 Documenta o da Corre o de Erros no ID do Aluno 13 3 Exclus o de um Registro 13 4 Mesmo ID de Aluno para Dois Alunos 13 5 Documenta o da Corre o de Erros no ID do Aluno NLA Estrutura de Diret rio dos Arquivos de Limpeza e Gerenciamento de Dados IV D 1 Lista de Vari veis Dispon veis IV D 2 Zonas Jackknife no WesVar IV D 3 Pesos de Replica o do WesVar IV D4 WesVar Cria o de R tulos IV D 5 WesVar Tela de Abertura TABELA
168. cio A estrutura sugerida de arquivos pode ser vista na Figura II A 1 do Anexo II A Os varios exerc cios s o organizados de modo que voc possa trabalhar com o estudo de caso e complementar o trabalho j realizado e arquivado em MYSAMPLSOL Entretanto tamb m poss vel come ar a partir de um dos arquivos permanentes localizados em SRS400 ou em 2STG4400 essa op o impedir a realiza o de an lises a partir de arquivos incompletos ou incorretos de exerc cio Para evitar desperdi ar esfor os mais tarde tenha bastante cuidado ao criar a pasta NAEA SAMPLING e suas subpastas A menos que seja instru do a proceder dessa forma n o use a op o de salvar automa ticamente e n o sobrescreva os arquivos permanentes nas subpastas Desse ponto em diante voc deve trabalhar com os arquivos localizados em seu disco r gido ou servidor Se for necess rio pode abrir os arquivos de respostas contidos em www elsevier com br implementacao medida que progredir pelas v rias tarefas ou exerc cios voc estar acessando criando e armazenando os arquivos equivalentes em seu disco r gido ou servidor Observe que o SPSS17 incluindo os m dulos adicionais Complex Samples foi usado para criar esse estudo de caso Vers es anteriores do SPSS podem mostrar ligeiras diferen as na apresenta o ou nas op es do menu O m dulo opcional Complex Samples do SPSS necess rio para realizar alguns dos exerc cios Os motivos para as escol
169. clicando se em Set Database Password na aba Database Tools inserindo a senha desejada nas caixas de texto e clicando em OK Desse ponto em diante o Access alertar o usu rio para a necessidade de uma senha antes de permitir que o banco de dados seja aberto Adi o de seguran a em n vel de usu rio ao banco de dados A adi o de n veis distintos de permiss o ou seguran a em n vel de usu rio a um banco de dados um modo eficaz de restringir o uso e a manipula o dos dados a determinados usu rios do sistema Por exem plo indiv duos cuja nica tarefa consista em inserir dados em uma fer ramenta de registro de dados n o necessitam ter acesso a nenhuma das funcionalidades que permitam que a modifica o do desenho deste ou de qualquer outro objeto do banco de dados Logo a seguran a em n vel de usu rio deve ser ajustada para impedir que esses indiv duos modifi quem o banco de dados de qualquer maneira que seja estranha s tarefas que foram incumbidos de realizar A defini o de seguran a em n vel de usu rio deve ser uma das l timas a es no desenho de um banco de dados porque depois de sua aplica o pode ser dif cil fazer modifica es adicionais no sistema e os usu rios precisar o ter acesso aos novos objetos criados A aplica o desse tipo de seguran a deve ser feita de maneira organizada porque algu m pode facilmente ficar exclu do do sistema ao se definirem n veis IMPLEMENTA O DE UMA A
170. da Educa o pesquisadores instrutores de professores e outras partes inte ressadas importantes Os professores em atividade devem ser inclu dos especialmente se forem distribu dos a eles boletins de not cias com os resultados A equipe de avalia o nacional deve analisar os coment rios recebidos fazer uma revis o onde for necess rio e finalizar os relat rios para sua distribui o A equipe de avalia o nacional ter a responsabilidade de assegurar que seja feita uma provis o or ament ria para cobrir os custos de for mata o de texto e prepara o de tabelas mapas e gr ficos al m da impress o de c pias dos relat rios A equipe tamb m ter de coordenar a prepara o e a produ o dos relat rios finais e assegurar que as gr 60 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL ficas tenham tempo adequado para entregar as vers es publicadas dos relat rios em uma data predeterminada A equipe deve revisar os ma nuscritos e fazer acompanhamento posterior para se certificar de que as mudan as apropriadas tenham sido feitas A experi ncia sugere que em pa ses em desenvolvimento o processo da prepara o desde o primeiro esbo o at o lan amento oficial de um relat rio final pode levar de tr s a seis meses A equipe de avalia o nacional deve planejar uma coletiva de im prensa no dia marcado para a divulga o dos resultados e convidar as partes interessadas da rea d
171. da clique em OK Observe o n mero 19 sob o t tulo EFFSAM em que RESP 0 Esse n mero indica que 19 membros da amostra foram n o respondentes entre os 400 alunos selecionados 3 Compute o fator de ajuste para n o resposta NRESADJ e o peso da estima o Selecione Transform Compute Variable no menu de comandos Digite NRESADJ em Target Variable Digite SampleSize EFFSAM em Numeric expression Clique em If Clique em Include if case satisfies condition Digite RESP 1 clique em Continue e ent o clique em OK Selecione novamente Transform Compute Variable no menu de comandos Digite NRESADJ em Target Variable Digite O em Numeric expression Clique em If Clique em Include if case satisfies condition Digite RESP 0 Clique em Continue depois clique em OK e ent o em OK novamente Selecione novamente Transform Compute Variable no menu de comandos para verificar o peso da estima o Digite FINALWEIGHT em Target Variable Digite SampleWeight NRESADJ em Numeric expression Clique em If Clique em Include all cases Clique em Continue Clique em OK Voc ver que o peso final da estima o O para os alunos ausentes e aproxima damente 72 6 dependendo do n mero de n o respondentes na amostra para os participantes e desistentes 206 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 14 5 continua o f Se o ajuste para n o resposta e peso final for
172. dades dentro dos conglomerados selecionados s o inclu das na pesquisa por exemplo to dos s o testes aplicados A base amostral da pesquisa pode determinar o m todo de amostragem Se as unidades da popula o forem naturalmente Amostra por Conglomerados de Escolas Nota N 7 conglomerados 45 escolas n 3 conjuntos 19 escolas unidade Fonte Representa o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 81 agrupadas ser mais f cil criar uma base amostral desses grupos e realizar a amostragem do que tentar criar uma lista de todas as unidades individuais na popula o Por exemplo uma lista das escolas pode ser o nico dado dispon vel para uma equipe de avalia o nacional Na Figura 8 3 cada uma das sete reas retangulares separadas por linhas cont nuas representa uma rea da escola Tr s reas escolares fo ram selecionadas por um m todo de amostragem aleat ria e todos os alunos nas reas selecionadas mostradas em cinza devem ser testados Esse m todo de amostragem requer a visita a tr s reas geogr ficas com pactas apenas mas gera amostras em 19 escolas A SRS por outro lado requereria a visita a sete escolas geograficamente dispersas como a SYS ver Figuras 8 1 e 8 2 H um n mero de consi
173. de aloca o de amostra Exerc cio 8 1 e usar esses dados na tarefa seguinte Tal aloca o ser anexada base amostral antes que a sele o das escolas siga adiante Comece clas sificando os arquivos por prov ncia Novamente para reproduzir o resultado amostral que ver mais tarde voc deve usar o valor inicial dado ao SPSS A amostra fica arma zenada em um arquivo chamado 2STG44001PPS SAMPLE OF SCHOOLS Primeiro leia e classifique a base amostral da escola usando os seguintes comandos File Open Data Look in BASE FILES SCHOOLS SAV Clique em Open e selecione Data Sort cases Mova PROVINCE para Sort by e clique em OK A seguir leia e classifique o arquivo de aloca o da escola usando os seguintes co mandos File Open Data Look in MYSAMPLSOL SCHOOLALLOC SAV Clique em Open Selecione Data Sort cases Mova PROVINCE para Sort by e clique em OK 100 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 8 4 PPS Estratificado sem Reposi o Sele o de Escolas Consolida o de Arquivos de Escola e Aloca o de Escolas No SPSS a ordem em que os arquivos s o manipulados importante o arquivo maior base amostral da escola deve aparecer na tela quando os menus do comando forem clicados Traga o arquivo SCHOOLS para a tela selecione o arquivo como se segue Data Merge files Add variables Escolha SCHOOLALLOC de Open dataset e cl
174. de dados Recomenda se verificar todos 158 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL os campos para ver se h anomalias independentemente das regras de valida o de dados que estejam em vigor na poca do registro de dados Nota O valor inv lido de 13 para o campo Q3Aq02 apresentado no Exerc cio 11 2 teoricamente n o deveria ser poss vel com as regras de valida o de dados definidas no Access na fase de registro de dados To davia ele apresentado como exemplo de um valor inv lido para fins de exerc cio C lulas em branco no sistema Como regra geral a s rie de dados n o deve conter nenhum espa o em branco A base amostral e os procedimentos de valida o devem per mitir todas as respostas poss veis inclusive a n o resposta em geral 9 99 ou 999 dependendo do comprimento do campo Os espa os em branco est o sujeitos a interpreta es equivocadas e podem trazer incerteza sobre os dados Um espa o em branco pode ser interpretado como aus ncia de dados ou que o operador de registro de dados tenha cometido um erro ou esquecido de inserir os dados no caso daquela c lula ou ainda que nenhuma resposta era exigida ou esperada por conta de padr es de salto Uso do Comando Frequency no SPSS Este exerc cio ensina como usar o comando Frequency no SPSS 1 Abra NAEA DATA CLEANING EXERCISES DATA_SET_1 SAV 2 Selecione File Save As e salve o arquivo como MY_D
175. de dados com verifica es ou rotinas de valida o para detectar erros de digita o Essas verifica es ou rotinas reduzem sig nificativamente a quantidade de dados registrados de forma incorreta Os dados por exemplo podem ser verificados enquanto est o sendo registrados quanto exist ncia de c digos curinga ou seja c digos que s o incorretos ou registros com erros de digita o que s o inv lidos ou est o fora do intervalo de resposta prevista em determinado campo Por exemplo se um digitador registrou um em vez de 4 caracteres que est o na mesma tecla o programa emitiria imediatamente um aviso ao operador de que o valor inv lido para essa c lula particular Essas roti nas de valida o s o demonstradas mais adiante neste cap tulo IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL EXERC CIO 10 1 Cria o de um Banco de Dados Gi Ma pa Contacts Issues e o n Projects Sales ppeine FR Office Online What s new in Access 2007 The new Access 2007 contains more powerful tocts to help you quickly track report and share information in a manageable environment Learn more about the new features and improvements is conter 127 1 Abra o Access 2007 e clique no cone Blank Database Getting Started with Microsoft Office Access RA Faadty Students More on Office Online Training Templates Downloads Get the latest content
176. de itens do teste e itens da amostra Terminar a arte final e o layout do teste Estimar o tempo permitido para cada teste Preparar o manual de administra o e guias de pontua o Fonte Adaptado de Howie 2004 Alternativamente dado um or amento predeterminado podem ser feitas adapta es a um desenho inicial Se poss vel especialistas em ava lia o e os respons veis pelas decis es financeiras devem ser envolvidos nas discuss es or ament rias Ao desenvolver um or amento todas as principais atividades inclu das no desenho da avalia o devem ser listadas e os cronogramas e cus tos devem ser alocados a cada item atividade e subatividade ou tarefa Greaney e Kellaghan 2008 Ilon 1996 Esse processo pode levar v rios dias As circunst ncias e os custos variar o extensamente de pa s para pais As tarifas nacionais de pagamento para tipos espec ficos de tarefa s o normalmente levadas em considera o Em alguns exemplos ser necess rio fazer ajustes para refletir a escassez de aptid es em reas profissionais chave tais como a an lise estat stica Cumpre fazer uma provis o or ament ria para prov veis aumentos salariais durante o tem po de vig ncia da avalia o normalmente de dois a tr s anos para infla o e para eventos inesperados conting ncias IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 17 Lista de verifica o de financ
177. dera es a serem feitas quando se leva em conta a amostragem por conglomerados Para que as estimativas sejam estatisticamente eficientes as unidades dentro de um conglomerado de vem ser t o diferentes quanto poss vel Se as unidades dentro de um conglomerado forem muito similares tendem a fornecer informa es semelhantes Infelizmente unidades dentro de um conglomerado ten dem frequentemente a ter caracter sticas similares e s o mais homog neas do que as unidades selecionadas aleatoriamente na popula o geral Em consequ ncia normalmente necess ria uma amostra maior para se conseguir um n vel fixo de precis o que seria o caso da SRS Algumas escolas ou sistemas educacionais organizam as turmas levando em conta fatores como a compet ncia percebida dos alunos em reas do curr culo Nessa situa o uma escola pode por exemplo ter um n mero suficiente de alunos em determinado n vel para formar tr s turmas Uma turma pode ser composta de alunos sobre os quais recaia a expectativa se gundo os resultados dos anos anteriores ou seus interesses expressos de continuar seus estudos em matem tica ou ci ncias outra pode ser com posta de alunos que tenham aptid o ou prefer ncia pela rea de humanas e uma terceira turma pode ser composta por alunos para os quais a expec tativa que n o continuem por muito tempo na escola Nessa situa o seria esperado que a maioria dos alunos da primeira turma se sa sse bem em tes
178. des menores Segundo esse plano todas as unidades teriam alguma possibilidade de ser selecionadas mas as unidades maiores e mais informativas recebe riam tratamento preferencial Supondo o exemplo de uma popula o de 12 escolas 4 com 100 estudantes e 8 com 50 estudantes cada poss vel extrair uma amostra de alunos selecionando as escolas grandes com pro babilidade 1 4 ou 100 400 e as escolas menores com probabilidade 1 8 ou 50 400 As escolas maiores teriam duas vezes mais probabilida de de ser selecionadas do que as escolas menores mas todas elas teriam alguma probabilidade de ser selecionadas Na amostragem probabil stica cada unidade da amostra representa de terminado n mero de unidades na popula o de tal maneira que a amos tra como um todo representa a popula o inteira O n mero de unidades da popula o representadas por uma unidade da amostra chamado seu peso amostral Quando a amostra for extra da com probabilidade igual por exemplo duas escolas selecionadas com probabilidade 1 10 cada ent o cada escola selecionada representar o mesmo n mero de escolas na popu la o Do mesmo modo na amostragem probabil stica desigual o n mero das escolas na popula o representada por uma escola da amostra variar de acordo com as possibilidades que a escola tinha de ser selecionada quanto mais chances de ser selecionada menor o peso amostral e vice versa Os principais estudos internacionais de aproveitamen
179. dos 4 O Excel realiza uma compara o l gica para verificar se as c lulas s o id nticas Esse processo informa VERDADEIRO se os valores correspondentes forem id n ticos e FALSO se os valores diferirem O resultado das rotinas de verifica o na planilha Verifica o mostrado na Figura 11 1 A do exerc cio FIGURA 11 1 A DO EXERC CIO Resultado da Verifica o a We o Data Verification Exercise xisx Compatibility Mode Microsoft Excel x Ce 2 nome Insert Page layout Formulas Data Review View Developer Get Started Acrobat ox S do Arial o Em ee Ei General Dy Seinsets Ez fez pede a rula EE a s gt aa et fl A x 7 Eg a A Ey 38 28 Ex Format Ph Clipboard Font G Alignment 5 Number fa Cells Editing H16 a Se A B c D E F Gi MA 1 Validation Coding Excel 2 Family Gean name name Q06 3 4 FALSE TRUE TRUE TRUE 5 TRUE TRUE TRUE FASE TRUE THe TRUE TRUE 6 TRUE TRUE TRUE TRUE TRUE TRUE FALSE FALSE 7 FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE 8 TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE 9 TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE 10 FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE Mermi Finaldata Punch 2 verification CI A Ready ZJ Erpe Fonte Exemplo do autor usando o software Excel 5 Salve a planilha CTRL S A solu o trabalhada para este exerc cio encontra da aqui NAEA DATA CLEANING EXERCISE SOLUTIONS DATA_VERIFICA TION_ EXERC
180. dos os dados dos formul rios de teste dos alunos mas nenhum dado foi inserido Agora um modelo de registro de dados deve ser preparado para a tabela a fim de ajudar a assegurar o registro de dados consistente e preciso No Access esse modelo chamado de formul rio Os Exerc cios 10 6 10 7 10 8 e 10 9 tra tam de v rios aspectos da inser o de dados e prepara o de formul rios EXERC CIO 10 6 Inser o de Dados de Itens de Campo em um Banco de Dados Este exerc cio ensina como inserir dados de itens de campo em um banco de dados 1 Abra My SolutionsiMaths 3a data accdb com as mudan as salvas dos exer c cios anteriores 2 Abra tbl Yr3 Maths Data em modo Design View 3 Insira as informa es relevantes do campo para o primeiro item Q3Aq01 Mais uma vez ser preciso consultar seu livro de c digo completo ou a solu o do livro de c digo fornecido na pasta EXERCISE SOLUTIONS Uma sugest o Este item uma pergunta de resposta constru da Defina Field Properties dos dados de resposta para Required defina um Default Value de 77 e inclua uma Validation Rule e Validation Text Compare suas respostas com aquelas dadas na Figura 10 6 A do exerc cio Nota Para os tipos de dados num ricos Field Size ir automaticamente para Double ou Long Integer Este um ajuste interno que permite que opera es matem ticas sejam computadas nesses dados Permita que o default seja aplicado IMPLEMEN
181. e 9 missing Age Number 1 age amp 2 ageis 8 3 age is 9 4 age gt 9 8 multiple response 9 missing TestLanguage Text 1 Yes 2 No 8 multiple 9 missing Q3Aq01 Number Question 1 2 digits 99 missing aago Number Question 2 MC 1 4 or 8 multiple or 9 missing v Field Properties General Lookup Field Size Long Integer Format Decimal Places Auto Input Mask Caption Default Value 7 A field name can be up to 64 chaeacters long Validation Rule 1042 Or3 Or 4 Or8 Ord induding spaces Press F1 for heip on field Validation Text Question 2 MC 1 4 0r8 multiple or9 missing names Required Yes Indexed No Smart Tags Text Alga General Fonte Exemplo do autor usando o software Access O procedimento de copiar e colar pode ser usado para reproduzir as informa es do item 2 para outros itens de m ltipla escolha tais como Q3Aq07 Q3Aq08 Q3Aq09 e assim por diante onde as op es da resposta s o id nticas por exem plo o texto nos campos Validation Rule e Validation Text para esses itens 142 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 10 6 continua o Da mesma forma voc pode copiar e colar as informa es de uma tela de Field Property para outra Por exemplo poss vel copiar a regra de valida o e mate rial do texto de valida o para cada pergunta de m ltipla escolha para cada outra pergunta de m ltipla escolha copiando o ca
182. e Campos Adicionais no Banco de Dados 10 4 Defini o de Valores Default 10 5 Uso da Regra de Valida o e Propriedades de Valida o de Texto 10 6 Inser o de Dados de Itens de Campo em um Banco de Dados 25 32 37 41 45 48 49 52 71 91 97 99 100 100 102 105 106 123 127 131 134 136 137 140 10 7 Cria o de um Formul rio 10 8 Mudan a do Layout do Formul rio 10 9 Inserindo Dados no Formul rio 10 10 Importa o de Dados para o SPSS 11 1 Verifica o de Dados Usando o Excel 11 2 Uso do Comando Frequency no SPSS 11 3 Uso do Comando Frequency para Encontrar Valores em Branco 12 1 Exporta o de Dados do SPSS Para o Access 12 2 Importa o de Dados da Escola para o Access 12 3 Cria o de uma Consulta Simples no Access 13 1 Como Gerar uma Consulta para Encontrar Duplicatas no Access 13 2 Uso de uma Consulta para Encontrar Duplicatas para Localizar Nomes Duplicados de Alunos 14 1 Pondera o do Projeto para uma Amostra Aleat ria Simples de 400 alunos 14 2 Pondera o do Desenho para uma Amostra PPS de Escolas e Turmas 14 3 Adicionando Resultados do Teste para uma Amostra Aleat ria Simples de 400 Alunos 14 4 Adicionando Resultados de Teste a um Desenho PPS 14 5 Ajuste de Pondera o para N o Resposta Para uma Amostra Aleat ria Simples de 400 Alunos 14 6 Ajuste do Peso para N o Resposta para uma Amostra PPS 151 Estima o para SRS400 16 1 Estima o da Vari n
183. e an lise Eles tamb m podem s vezes solicitar aconselhamento de profissionais mais experientes para fazer seus julgamentos E devem estar sempre prepara dos para adaptar sua pr tica segundo a evolu o dos conhecimentos e da tecnologia que inevitavelmente ocorrer nos pr ximos anos NOTAS 1 Em 2009 10 o software SPSS era chamado de Predictive Analytic Software PASW software de an lise preditiva 2 O site http www westat com westat statistical software WesVar index cfm LOG STICA DE UMA AVALIA O NACIONAL Sarah J Howie e Sylvia Acana Parte I fornece uma vis o geral das tarefas en volvidas na implementa o de uma avalia o nacional Descreve o importante papel que uma comiss o nacional ou consultiva com representantes dos principais interessados no sistema educacional pode desempenhar na formula o planejamento e implementa o de uma avalia o e na comunica o de seus resultados S o identificadas as pessoas e as instala es necess rias para realizar uma avalia o e s o descritas as atividades envolvidas na prepara o para uma avalia o na administra o das escolas e ap s a administra o Ser necess rio fazer escolhas em momentos distintos na avalia o dependendo das circunst ncias locais mas os procedimentos adotados precisar o sempre atender aos padr es b sicos Caso contr rio a qualidade da avalia o e portanto o valor de seus resultados ficar o compr
184. e delete a vari vel Salve o arquivo como MYSAMPLSOL CLASS_SAMPLE e clique na aba Data View O CLASS SAMPLE deve se parecer com a base mostrada na Figura 8 8 A do exer c cio FIGURA 8 8 A DO EXERC CIO Sele o de uma Turma por Escola at CLASS SAMPLE sav DataSet7 PASW Statistics Data Editor E Transform aniyre Grohe tios Adios Window tie fi schon nor schoolid region provinci density town school nbclass school ALLOC Population Sample Weight SENECA j in Sizei_ Sizet i 1 NE 1 weal 1 2 24 qu 26 2 1 20 2 1103 NE 1 rural 1 3 4 24 47 24 105 4 1 400 3 1104 NE 1 rural 1 4 4 214 24 a7 24 1 08 4 1 400 4 1202 NE 1 rural 2 2 3 153 24 47 24 152 3 1 3 00 MR 1x5 NE 1 wl 2 3 3 1466 2 au 159 3 1 30 Ba 1301 NE 1 rural 3 1 3 143 24 47 24 162 3 1 300 7 1403 NE 1 urban 4 3 4 144 24 47 24 161 4 1 400 8 1404 NE 1 urban 4 4 4 19 24 47 24 170 4 1 400 Rg 1407 NE 1 urban 4 7 4 146 24 47 24 159 4 1 400 10 1409 NE 1 urban 4 9 3 107 24 47 24 217 3 1 300 tt mn NE 1 urban 4 3 112 24 47 24 207 3 1 3 00 12 1413 NE 1 uban 4 13 a 182 24 sou 15 4 1 400 13 1415 NE 1 urban 4 15 4 142 a4 47 a4 163 4 1 400 14 1417 NE 1 urban 4 17 4 15 24 47 24 150 4 1 400 15 1502 NE 1 urban 5 2 3 13 24 47 24 205 3 1 300 16 1504 NE 1 urban 5 4 3 Es 24 47 24 276 3 1 300 17 1506 NE 1 urban 5 6 4 165 24 47 24 141 4 1 400 Fonte Exemplo do autor usando o software SPSS As turmas selecionadas nas escolas eleita
185. e educa o para participar A equipe deve fazer uma provis o or ament ria para cobrir os custos relacionados coletiva de imprensa Em pelo menos um pa s os rep rteres esperam ter suas despesas pagas pelos organizadores desses eventos Se uma equipe de avalia o nacional almeja contar com a presen a do ministro da Edu ca o ou de outros funcion rios seniores respons veis pela formula o de pol ticas no lan amento do relat rio deve fazer o convite com ante ced ncia considerando a agenda ocupada dessas pessoas METODOLOGIA DE AMOSTRAGEM ESCOLAR Jean Dumais e J Heward Gough Parte II descreve como definir a popula o que deve ser examinada na avalia o nacio nal S o descritas abordagens distintas de amostragem Grande parte da se o dedicada metodologia para a sele o de uma amostra que ser representativa dos alunos no sistema educacional A nfase recai sobre o aprender fazendo Os leitores s o conduzidos pelas v rias etapas da amostragem para trabalhar em um conjunto de tarefas concretas apresentadas no texto e para usar os ar quivos de dados contidos em www elsevier com br implementacao Eles podem verificar suas respostas comparando as com as respostas corretas que s o apresentadas nas imagens de captura de tela apresentadas no texto Os arquivos se baseiam em dados de avalia o nacional de um pa s fict cio Sentz DEFINI O DA POPULA O DE INTERESSE ste cap tulo a
186. e m todos de amostragem probabil stica A Parte III Prepara o Valida o e Gerenciamento de Dados descreve os procedimentos de limpeza e gerenciamento de dados co letados em uma avalia o nacional Esses procedimentos s o elementos essenciais de um processo de garantia de qualidade Tamb m descreve como exportar e importar dados isto tornar os dados dispon veis em um formato apropriado para usu rios de softwares estat sticos como Mi crosoft Access SPSS WesVar e Microsoft Excel O principal objetivo dessa se o criar condi es para que a equipe de avalia o nacional desenvolva e implemente um conjunto sistem tico de procedimentos para garantir que os dados da avalia o sejam corretos e confi veis IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 5 Ap s a amostragem aplica o do teste e registro e limpeza de dados o pr ximo passo consiste em preparar os dados para an lise A Parte IV Pondera o Estima o e Erro Amostral descreve uma s rie de passos importantes na pr an lise incluindo a produ o de estimativas com puta o e utiliza o de pesos na pesquisa al m de estimativas de com puta o Os exerc cios desenvolvem o trabalho realizado anteriormente sobre o conjunto de dados Sentz na Parte II A se o que aborda c l culo de estimativas descreve como elas e seus erros de amostragem s o calculados a partir de amostras simples e complexas tai
187. e nomes e propriedades das vari veis Para fins deste exerc cio voc deixar os valores default como est o e clicar em Next 8 A tela final mostrar a sintaxe SPSS que pode ser usada para executar essa impor ta o Se importa es id nticas ou importa es similares com pequenas emen das forem executadas no futuro cole a sintaxe para uso ou modifica o futura Por ora deixe a op o Retrieve the data have selected selecionada Clique em Finish Observe que as colunas Variable View Label Values e Missing est o em branco Recomenda se que essas colunas sejam preenchidas antes do in cio da an lise dos dados A tabela do Access importada para o SPSS no Exerc cio 10 10 con ter apenas os dados inseridos manualmente nos exerc cios anteriores Para economizar tempo uma s rie de dados foi criada e importada para o SPSS chamada de DATA SET 1 SAV na pasta EXERCISES Esse arquivo SPSS cont m 297 registros e alguns erros deliberados que foram adicionados e que ser o abordados nos exerc cios seguintes Os dados para as colunas Label Values e Missing na Variable View tamb m fo ram adicionados Observe tamb m que uma coluna SchoolID foi adicio nada para essa s rie de dados As Partes I e II deste volume abrangeram como criar e usar n meros de identifica o da escola ao conduzir avalia es nacionais veja as p ginas 25 e 71 As instru es sobre como criar vari veis derivadas s o fornecidas nas Par
188. e o problema mais prejudicado o projeto de toda a avalia o nacional Desde o in cio a equipe de avalia o nacional deve garantir que as escolas da amostra sejam de fato aquelas nas quais os alunos est o sendo avaliados sabido que em determinado pa s funcion rios do distrito insistiram ap s a amostra nacional ter sido escolhida que eleitorados pol ticos diferentes fossem representados na sele o final Algumas equipes descobriram esco las fantasma falsas ap s o uso de fontes de dados nacionais para fins de amostragem O aplicador do teste e a pessoa de contato da escola devem definir que os alunos que respondem aos testes sejam de fato aqueles que foram selecionados para participar da avalia o As listas de escolas ou os dados de matr culas podem ser aumentados especialmente em situa es IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 47 em que bolsas de estudo se baseiam em dados de matr culas dos alunos N o incomum que os professores queiram substituir alunos ao argumento de que somente os atrasados foram selecionados A seguir outros problemas identificados na aplica o e Data do teste coincide com um evento da escola e Os alunos realizam a primeira parte do teste e deixam a escola antes da segunda parte e Os professores e alunos chegam atrasados e Os professores e at mesmo o diretor insistem em permanecer na sala enquanto os alunos est o fazendo o teste
189. econ mica no longo prazo eles podem acabar custando mais do que os profissionais Registro de dados e garantia da qualidade Os modelos de grava o de dados para cada instrumento devem ser pre parados assim que os instrumentos forem desenvolvidos O modelo a matriz dentro da qual os dados s o digitados Os modelos t m apar ncia diferente conforme o software de grava o de dados empregado A Parte III deste volume fornece detalhamento consider vel sobre como criar e usar um modelo para a inser o de dados N o se recomenda alterar um modelo depois que o registro de dados tenha come ado O pessoal para registro dos dados cometer erros Como parte da garantia da qualidade a equipe de avalia o nacional deve decidir ao estimar as exig ncias or ament rias qual porcentagem talvez entre 6 e 10 dos registros de teste ser inserida duas vezes Essa dupla inser o pode determinar se h um problema disseminado ou se a maioria de erros pode ser atribu da a um ou dois respons veis pelo registro dos dados Limpeza de dados Quando o registro de dados for conclu do os testes e question rios de vem ser cuidadosamente armazenados de maneira sistem tica porque poss vel que alguns documentos tenham de ser consultados durante a limpeza de dados A limpeza de dados que tratada em detalhes na Par te III uma etapa entediante mas muito importante do processamento de dados Ela prev verifica es para assegur
190. ei o porque n o cobrir exatamente a popula o alvo definida Algumas entradas da base podem n o corresponder s reais unidades da popu la o alvo As entradas da base de escolas podem conter mais escolas do que as existentes na popula o real uma situa o conhecida como sobrecobertura que ocorre por exemplo quando uma escola fecha ou se funde com outra entre a poca da cria o da base amostral e a coleta de dados Al m disso alguns elementos da popula o alvo podem estar au sentes da base amostral subcobertura por exemplo quando uma escola n o est listada na base ou foi erroneamente classificada como fora do escopo Os elementos cobertos pela base amostral constituem a popula o a partir da qual a amostra da pesquisa selecionada normalmente s o conhecidos como a popula o pesquisada Os elementos essenciais de uma base amostral s o apresentados na Tabela 7 1 As bases amostrais podem assumir v rias formas O seguinte exemplo se baseia em uma popula o alvo desejada de todos os alunos matriculados em escolas prim rias durante qualquer parte do ano escolar de refer ncia e em uma popula o alvo definida de alunos matriculados em escolas pri m rias em 31 de maio do ano de refer ncia Nesse exemplo a base amostral se baseou na lista do Minist rio da Educa o de todos os alunos matricula dos em escolas prim rias em 15 de abril do ano de refer ncia Essa aborda gem deve ser adequada contanto
191. em indicados como inteiros voc pode mudar o n mero de casas decimais vis veis indo aba Variable View e alterando o formato l Cada respondente representa agora 72 6 alunos Salve o arquivo como MYSAMPLSOL RESPSRSFINALWT SAV Esse arquivo ser usado para computar estimativas mais tarde Feche todos os arquivos de dados aber tos restantes sem salvar O exemplo a seguir examina uma situa o em que existe uma dife ren a na taxa de resposta entre alunos das reas urbanas e rurais por exemplo ao fazer um teste de matem tica tendo por resultado a ne cessidade de ajustes diferenciais para n o resposta a serem aplicados s duas s ries de dados Durante a avalia o nacional embora as amostras de tamanho 100 tenham sido extra das para representar as popula es urbana e rural somente n 85 alunos no estrato urbano e n 70 alunos no estrato rural fizeram o teste de matem tica Tabela 14 2 Os resultados das etapas seguidas para calcular as taxas de ajuste para n o resposta s o apresentados a seguir e A pondera o do desenho em cada estrato w 4 para o estrato urbano e w 6 para o estrato rural e Os fatores de ajuste para n o resposta para cada estrato foram calcu lados como segue Estrato 1 urbano A dota 1 177 85x4 Estrato 2 rural Ae M s 1 428 70x6 e Os pesos ajustados para n o resposta para cada estrato o produto da pondera o do desenho e o fator de ajuste para n o resp
192. enas manter um registro para cada escola participante Abra Data Identify Duplicate Cases e ent o mova SCHOOL ID para Define matching cases by Em Variables to Create clique em First case in each group is primary e clique em OK Em seguida abra Data Select Cases e clique em If Condition is satisfied Clique em If e mova Indicator of each first mat ching case PrimaryFirst para a caixa direita seta azul Digite 1 Clique em Continue Em Output clique em Copy Selected to New Dataset e digite um nome por exemplo Responding Schools e clique em OK 3 Traga esse RespondingSchools para a tela de visualiza o Clique na aba Variable View na parte inferior da tela e exclua todas as vari veis com exce o de SCHOOLID Retorne para Data View somente uma vari vel ser exibida SCHOOLID come ando por 1101 e terminando com 5603 como 1202 e ltima entrada Atribua agora as zonas JK e os n meros JK replicados s esco las Como 120 escolas est o participando haver 60 zonas JK Selecione os comandos Transform Compute Variable e digite JKZONE em Target Variable Em seguida digite RND Casenum 2 em Numeric Expression e clique em OK A seguir selecione Transform Compute Variable novamente e digite RANDOMPICK em Target Variable e rv Uniform 0 1 em Numeric Expression Clique em OK Nesse momento voc deve ver 120 escolas em 60 pares nu merados de 1 a 60 e cada escola tamb m exibe um n mero ale
193. entadas e duas das oito restantes ESCOLAS DE TAMANHO REDUZIDO Muitos pa ses com popula o rural substancial t m um n mero relati vamente grande de escolas pequenas Suponha que as escolas menores na base tenham t o poucos alunos digamos menos de 10 cada uma que n o forneceriam informa es suficientes sobre a escola O tamanho m nimo do conglomerado decidido pela psicometria do teste pelo n mero de cadernos usados na avalia o e por outros par metros que est o fora do processo de amostragem Alguns estudos de avalia o recomendam que as escolas abaixo de al gum limite por exemplo cinco alunos por turma sejam exclu das Essa estrat gia concentrar a coleta onde os tamanhos da escola e da turma sejam suficientes para garantir uma avalia o econ mica e modelagem e an lises de confian a Entretanto a exclus o das escolas menores pode levar a algumas quest es s rias de subcobertura em pa ses ou nas reas de pa ses que tenham muitas escolas rurais pequenas A exclus o tam b m pode esconder dos analistas e formuladores de pol ticas problemas ou peculiaridades das escolas menores Como alternativa alguns especialistas em amostragem recomendam que as escolas pequenas que estejam pr ximas sejam reunidas para for mar pseudoescolas seja atrav s da uni o de muitas escolas pequenas seja atrav s da uni o de uma escola grande e uma escola pequena Suponha que em uma avalia o os formuladores de pol
194. ente alguns alunos de cada es cola s o selecionados fase 3 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 97 EXTRA O DE AMOSTRAS Chegou a hora de selecionar as amostras para os dois desenhos para Sentz a a refer ncia SRS de 400 alunos ver Exerc cio 8 2 e b a amostra de 4 400 alunos que usa o desenho recomendado de duas fases EXERCICIO 8 2 Sele o do SRS de 400 Alunos As seguintes instru es extraem uma amostra aleat ria simples de tamanho n 400 alunos da base amostral completa armazenada no diret rio SRS400 Se voc quiser reproduzir essa mesma amostra ter de especificar o valor inicial que o SPSS recebeu ao criar essa amostra Escolha File Open Data Look in BASE FILES STUDENTS SAV Clique em Open Use ent o os seguintes comandos Analyze Complex samples Select a sample Selecione Design a sample e escolha um nome para salvar o arquivo por exemplo SRS400 Clique em Next Pule Design variables Clique em Next outra vez Em Sampling Method escolha simple random sampling e clique em without repla cement Em seguida clique em Next Em Sample size escolha counts clique em value e digite 400 Em seguida clique em Next Em Output variables selecione pelo menos population size sample size e sample weight Clique em Next Em Summary clique em No porque nao ha mais nenhuma outra fase de amostragem Em seguida clique em Next Agora
195. entes permane am no arquivo e tenham pesos finais porque pertenciam base amostral inicial n o contribuem para as estimativas Na poca da avalia o todas as suas caracter sticas t m valor zero incluindo uma vari vel dummy conceitual e pertencem popula o que est sendo avaliada que igual a zero Atribuir valor zero s suas caracter sticas equivale a pensar na popula o avaliada como um dom nio de estima o dentro da popula o definida pela base amostral Logo os registros dos desistentes devem ser exclu dos do arquivo final que ser usado para computar as estimativas finais Os nicos contribuidores diretos para as estimativas s o os alunos que realmente foram avaliados que tamb m representam os ausentes por meio dos ajustes que conduziram aos pesos finais Na compila o de estimativas preciso levar em conta o status participante ou ausente de cada aluno e usar a vari vel STATUS como filtro Tamb m preciso criar uma vari vel dummy MAT230 porque os formuladores de pol ticas est o interessados em obter informa es sobre os alunos que tiraram pelo menos 230 no teste de matem tica 1 Para come ar o exerc cio abra o SPSS recupere a s rie de dados e crie MAT230 Os detalhes de como criar MAT230 no WesVar s o apresentados nos passos 8 a 12 do Anexo IV D Siga os comandos File Open Data MYSAMPLSOL RESPSRSFINALWT Open Transform Recode into Different Variables 2 Mova M
196. equerem ajustes ao jackknife ou outros m todos de reamostragem como a replica o repetida balanceada CRIA O DE ZONAS E R PLICAS JACKKNIFE E COMPUTA O DE PESOS JACKKNIFE WesVar usado com uma variedade de desenhos de amostras complexas em que a amostragem aleat ria simples produziria estimativas com vi s preciso ter um arquivo de dados com pesos replicados antes de criar um novo workbook Comece transferindo os dados de um arquivo SPSS para um novo arquivo WesVar Seu arqui vo SPSS deve incluir as vari veis de que voc precisa para conduzir as an lises no WesVar preciso ter um arquivo de dados com pesos re plicados antes de criar um novo workbook O programa pode calcular esses pesos As instru es a seguir o orientar o durante a cria o de pesos jackk nife para o desenho de pesquisa de dois est gios a partir do arquivo de respostas Observe que o SPSS foi usado para criar informa es impor tantes de amostragem que o WesVar usa para criar os pesos replicados para a an lise dos dados da avalia o nacional 1 Leia o arquivo de respostas do SPSS que cont m os pesos seguindo estes comandos File Open Data Look in MYSAMPLSOL RESP2STGFINALWT SAV Open 258 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL 2 Como os pesos replicados s o criados para escolas a lista de es colas participantes pode ser derivada do arquivo de respostas preciso ap
197. eressados nos resultados Podem ser excessivamente autorit rios Podem sentir se tentados a realizar atividades de inspe o al m da aplica o de testes Costumam conhecer a localiza o da maioria das escolas Costumam ser mais dispendiosos do que os professores Podem achar que n o precisam seguir as instru es detalhadas no manual Estudantes universit rios Est o prontamente dispon veis especialmente durante as f rias escolares Podem n o ser muito confi veis Costumam seguir instru es Talvez n o tenham a autoridade necess ria para lidar com os gerentes diretores e outros Tendem a suportar condi es adversas de viagem melhor do que os outros S o dif ceis de responsabilizar Muitas vezes querem ter uma oportunidade de trabalho Podem n o ser fluentes no idioma local S o relativamente menos dispendiosos Talvez n o comuniquem um senso de respeito e autoridade diante dos alunos 30 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL TABELA 2 1 Vantagens e Desvantagens de Categorias de Pessoal para a Aplica o de Testes continua o examinadora Categoria Vantagens Desvantagens Pessoal de T m qualifica o profissional Podem ser muito autorit rios avalia o especialmente se est o ou banca acostumados a supervisionar exames p blicos Reportam se diretamente autoridade que o
198. ers es finais de testes de aproveitamento obten o de permiss o para administrar testes e question rios impress o de materiais e limpe za de dados As estimativas de tempo baseadas em estudos internacio nais sobre aproveitamento ou estudos em pa ses industrializados tendem a ser inadequadas porque esses estudos normalmente n o encontram problemas como dificuldades nos sistemas de comunica o e transporte interrup es no fornecimento de energia el trica e pr ticas e restri es de trabalho que limitam o tempo que os indiv duos podem dedicar s tarefas de avalia o nacional ELABORA O DE OR AMENTO fundamental ter um or amento realista e obter financiamento suficiente para avalia es em larga escala Diversos esfor os de avalia o nacional fa lharam por causa de proje es or ament rias insuficientes Como n o exis te nenhuma f rmula pronta para estimar o custo de uma avalia o nacional IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 15 a equipe de avalia o nacional pode come ar com um or amento inicial baseado nas v rias fases do projeto e a seguir aprimor lo O desenho da avalia o deve refletir o or amento dispon vel TABELA 1 1 Trecho de um Plano de Projeto de Avalia o Nacional Atividade principal e subatividades Dura o Horas de trabalho necess rias Data de Data in cio de fim Pessoa Planejar e conduzir reuni o com a CNC
199. es amostrais antes da aplica o da avalia o Inser o de campos adicionais Para criar campos adicionais no banco de dados primeiro reabra a tabela criada no Exerc cio 10 1 no modo Design View O Exerc cio 10 3 ensi na o leitor a inserir os dados demogr ficos do aluno 134 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 10 3 Cria o de Campos Adicionais no Banco de Dados Este exerc cio descreve as etapas para a cria o de campos adicionais no banco de dados 1 Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB 2 Abra TBL_YR3_MATHS_DATA em modo Design View 3 Insira as vari veis GivenName e FamilyName na segunda e na terceira fileiras na coluna Field Name O programa optar automaticamente pelo tipo de dados Text e a caixa de di logo Field Properties automaticamente abrir de modo que voc possa inserir as regras de registro de dados Voc pode deslocar se entre todas as reas nesta tela usando a tecla Tab move o cursor para a c lula seguinte ou usando o mouse para selecionar o campo relevante 4 Insira as informa es sobre o nome de campo na rea Description para informar os outros usu rios sobre os conte dos do campo incluindo aqueles encarregados do registro de dados veja a Figura 10 3 A do exerc cio FIGURA 10 3 A DO EXERC CIO Acr scimo do Campo de Dados do Aluno T TABLE VR 3 MATHS DATA Field Name studid Text Stude
200. es de come ar a inserir os dados Os erros podem facilmente ser corrigidos nessa fase por m mais dif cil detect los poste riormente Se diversas pessoas estiverem inserindo dados atribua a cada uma delas uma c pia distinta do formul rio Access de modo que seja poss vel controlar cada uma delas s vezes um dos operadores de registro de dados pode ser descuidado Acionar a tecla Tab entre as c lulas faz com que o campo seguinte seja selecionado automaticamente no modo Edit de modo que os dados incorporados sobrescrevam o valor default Usar a tecla Tab ap s o campo final em um registro aciona o registro seguinte para entrada FIGURA 10 9 D DO EXERC CIO Exemplo de Tentativa de Inserir Dados Inv lidos z frm Yr3 Maths data rd StudiD 1294311 GivenName Ahmed FamilyName Ballata SchoolName Eaglehawk School YearLevel 6 Gender 7 Age 7 A Must be in Year 3 or mixed Year 3 dass Testlanguage 7 Gaz me Q3Aq01 77 Q3Aqg08 7 Q3Aq02 7 aago 7 Q3Aq03 7 Q3Aq10 7 Q3Aq04 77 Q3Aqli 7 Q3Aq05 77 7 Q3Aq12 7 Q3Aq06 77 Q3Aq13 77 Q3Aq07 7 Q3Aqi4 7 Fonte Exemplo do autor usando o software Access IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 149 Inser o de Novos Campos ou Adi o de Campos ao Modelo s vezes preciso criar mais campos por exemplo se o modelo for criado com 12 itens e o teste tiver 30 itens Os novos campos podem ser adicio nados
201. es de popu la o se situam em cada agrupamento e do n mero de conglomerados que fazem parte da amostragem Uma medida padr o dessa efici ncia na reali dade inefici ncia chamada de efeito do conglomerado ou efeito do dese nho Um valor 1 significa que o desenho em quest o t o eficiente quanto a SRS Se o efeito do desenho for muito superior a 1 como geralmente ocorre na amostragem por conglomerados o desenho menos eficiente Uma amostra por conglomerados com um efeito de desenho 5 necessitaria extrair uma amostra cinco vezes maior do que uma amostra aleat ria sim ples para gerar estimativas de precis o compar vel O valor do efeito do desenho depende de dois fatores a o n me ro de unidades no conglomerado n mero de alunos na turma nesse exemplo e b o grau em que os alunos da mesma turma se assemelham uns aos outros mais do que se assemelham queles em outras turmas ou escolas no que diz respeito a alguma vari vel ou a vari veis a serem medidas Esta ltima medida conhecida como correla o intraclasse ou como roh taxa da homogeneidade ou ainda como rho No caso de pontua es no teste de matem tica que esse exerc cio entende como a vari vel mais importante da avalia o nacional de Sentz essa correla o intraclasse chega frequentemente a 0 25 ou 0 30 O valor do roh seria provavelmente diferente para outras vari veis IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 83
202. es ligeiras ap s a aplica o do teste porque alguns estudantes talvez tenham dado respos tas que n o foram listadas no est gio de desenvolvimento do teste Nesse caso a tarefa de modificar o guia n o deve ser deixada aos cuidados dos respons veis pela corre o ou por registrar os dados no computador A equipe de desenvolvimento do teste a respons vel final por indicar se respostas inesperadas a um item aberto s o adequadas Um guia de cor IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 53 re o separado que deve ser finalizado antes do in cio do processo de corre o deve ser fornecido para cada idioma usado na avalia o O CD que acompanha o Volume 2 Desenvolvimento de testes e question rios para avalia o do desempenho educacional cont m exemplos de guias utilizados para a corre o de itens Corre o Os respons veis pela corre o e pelo registro de dados precisam de es pa o adequado para se sentar confortavelmente importante ter um sistema claro em vigor para lidar com os materiais dada a grande quan tidade de material que est sendo processada a fim de evitar desordem Constatou se que permitir que dois respons veis pela corre o traba lhem lado a lado mais eficiente e resulta em menos conversa f til durante a corre o O procedimento permite tamb m que quem est corrigindo esclare a as eventuais d vidas com o colega A sala em que se faz a corre o deve te
203. ess rias para realizar as v rias tarefas envol vidas Como resultado muitas avalia es t m sido de qualidade insufi ciente A s rie Pesquisas do Banco Mundial sobre Avalia es de Desem penho Educacional da qual este o Volume 3 foi planejada para abordar a quest o da melhoria da qualidade das avalia es nacionais A nfase da s rie est em procedimentos de vanguarda que precisam ser seguidos na implementa o dos componentes de uma avalia o para assegurar que os dados fornecidos sobre o aprendizado dos alunos sejam de alta qualidade e abordem as preocupa es dos formuladores de pol ticas respons veis pela tomada de decis o e outros interessados no sistema educacional O Volume 1 Avalia o dos n veis de desempenho educacional Grea ney e Kellaghan 2008 descreve os principais conceitos e procedimen tos de avalia o nacional e destina se principalmente a formuladores de pol tica e respons veis pela tomada de decis o na rea educacional As quest es abordadas s o os prop sitos e as caracter sticas principais de uma avalia o nacional os motivos para a realiza o de uma avalia o e as principais decis es que precisam ser tomadas no desenho e planeja mento de uma avalia o Avalia es internacionais de aproveitamento dos alunos que compartilham muitas caracter sticas processuais com as avalia es nacionais como amostragem administra o e m todos de an lise tamb m s o descritas IM
204. estimativa de um valor m dio na popu la o por exemplo a m dia de idade dos alunos obtida adicionando se o produto do valor da amostra e do peso a cada unidade respondente Esse n mero dividido ent o pela soma dos pesos Em outras palavras a estimativa da m dia na popula o a estimativa do valor total para uma vari vel quantitativa dividida pela estimativa do n mero total das unidades na popula o gt 5 resposta lt p yu N resposta IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 223 ESTIMANDO UMA PROPOR O DA POPULA O Para dados qualitativos a estimativa da propor o das unidades na po pula o pesquisada que tem uma dada caracter stica C obtida adi cionando se os pesos para as unidades que tenham essa caracter stica e dividindo se esse total pela soma dos pesos para todos os respondentes Uma vari vel dummy q pode ser usada para indicar se a i unidade tem y 1 ou n o tem q 0 a caracter stica de interesse Em outras pala vras a estimativa da propor o na popula o a estimativa do n mero total de unidades que t m a caracter stica determinada dividida pela estimativa do n mero total de unidades na popula o gt W Q D __ resposta c P yw N resposta ESTIMANDO SUBGRUPOS DA POPULA O As estimativas podem ser necess rias para subgrupos que costumam ser chamados de dom nios na literatura de amostragem Es
205. exclu dos As raz es para a exclus o podem estar relacionadas a custo aus ncia de estradas isolamento geogr fico ilhas remotas ou regi es montanhosas desordem civil escolas que atendem a poucos alunos ou a crian as com necessidades especiais Os elementos restan tes da popula o formar o a popula o alvo definida a popula o que pode ser abrangida razoavelmente pela equipe de avalia o nacional Estudos internacionais sobre aproveitamento escolar publicam rotinei ramente dados sobre as popula es alvo desejadas e definidas para cada pa s participante As exclus es devem ser m nimas e n o devem ser usadas como meio de obter uma amostra por conveni ncia Os estudos internacionais costumam ajustar o limite superior das exclus es em 5 da popula o alvo desejada Os dados provenientes de pa ses que n o atendam a esse crit rio v m acompanhados de uma advert ncia no relat rio O n o atendimento do crit rio de exclus o em uma avalia o nacional pode ser destacado por um coment rio como o seguinte Os dados das esco las secund rias de reas rurais na regi o Y devem ser interpretados com cautela porque tr s reas remotas representativas foram exclu das da pesquisa Recomenda se que a comiss o de coordena o nacional desempenhe papel chave na tomada de decis o sobre a popula o a ser avaliada Ela poderia por exemplo definir a popula o alvo desejada como todos os alunos matriculados
206. exerc cio Essa a o permitir identifi car com facilidade a exist ncia de nomes duplicados Em seguida clique em Next Nomeie essa consulta como Find duplicates for TBL MATHS 3A DATA CLEA NED names Selecione ent o View the results e clique em Finish O relat rio IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 183 EXERC CIO 13 2 continua o FIGURA 13 2 B DO EXERC CIO Campos Adicionais da Consulta Do you want the query to show fields in addition to those with duplicate values For example if you chose to look for duplicate City values you could choose CustomerName and Address here Additional query fields cores cma net Leh Fonte Exemplo do autor usando o software Access FIGURA 13 2 C DO EXERC CIO Resultado da Consulta GivenName FamilyNam SchoollD StudlD SchoolName H Crokar 3870 3870204 Oxenford State School Jack Crokar 3870 3870305 Oxenford State School Fonte Exemplo do autor usando o software Access do Access ver Figura 13 2 C do exerc cio mostra que esse arquivo de dados pode ter um registro duplicado porque dois alunos da mesma escola t m o mes mo nome e receberam IDs de aluno diferentes O digitador deve verificar os ca dernos de teste originais ou a lista de alunos na escola em quest o para ver se de fato dois alunos com o mesmo nome fizerem o teste ou se um dos registros um erro de duplica o Se o
207. exo de amostra O usu rio interessado pode consultar re senhas cr ticas profissionais sobre software estat stico ver por exemplo http www fas harvard edu stats survey soft survey soft html IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 229 EXERCICIO 16 2 C lculo de Diferen as de G nero em um Teste de Matem tica Neste exerc cio como voc fez com o arquivo de demonstra o no Exerc cio 16 1 preciso criar uma vers o do WesVar no arquivo e computar os pesos de replica o jackknife para ela antes de qualquer outra coisa Abra o WesVar clique em New WesVar Data File e selecione NATASSESS NA TASSESS SAV Role a tela at Source Variables para localizar e mover a pondera o do desenho WGTPOP para a caixa Full Sample e STUDID para a caixa ID Mova todas as vari veis restantes para a caixa Variables Salve o arquivo como NATASSESS NATASSESS var Clique no bot o scale para criar os pesos de replica o Como esses dados da ava lia o foram coletados sob um plano de amostragem complexa como descrito ante riormente use duas unidades jackknife por estrato jackknife Clique em JK2 para se lecionar Method voc tamb m pode mudar o prefixo dos pesos de replica o para JK Mova JKINDIC para a caixa VarUnit isso que NATASSESS chama de unidade jackknife e mova JKZONE ou seja o estrato jackknife para a caixa VarStrat Clique em OK para criar os pesos e salvar o arquivo
208. fa a a rolagem para baixo A rea de trabalho e os tamanhos da tabe la podem ser alterados colocando o cursor nas bordas das tabelas e clicando e arrastando FIGURA 12 3 A DO EXERC CIO Adicionando Tabelas Consulta ueri 5 Query2 Y EEE Tables Both TBL MATHS 3A DAT Quenes Both a tbl_Schools SchoollD StudlD GivenName FamilyName SchoolName Yearlevel Y SchoolCode SchoolName Address Suburb Zone Field Table Sort Show Criteria or TEL MATHS 3A DATA CLEANED tbi Schools Fonte Exemplo do autor usando o software Access IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 171 EXERC CIO 12 3 continua o 4 Natabela TBL MATHS 3A DATA CLEANED selecione a vari vel SchoollD Obser ve que como os dados contidos nessas duas tabelas vieram de fontes diferentes n o t m exatamente o mesmo nome da vari vel SchoollD e SchoolCode Entretanto cont m a mesma informa o em id ntico formato Ambos s o dados num ricos Em bora seja prefer vel usar nomes comuns para as vari veis isso nem sempre poss vel porque s vezes as s ries de dados s o mantidas por ag ncias diferentes 5 Consolide as tabelas ao clicar e arrastar a vari vel SchoollD em TBL MATHS 3A DATA CLEANED at a vari vel SchoolCode em tbl Schools e ent o solte o mou se veja a Figura 12 3 B do exerc cio FIGURA 12 3 B DO EXERC CIO Consolida
209. g N A eee Minimum 0 07 S MATHRS Mexinum 0 99 E MATHSS 1 0 16 0 16 0 005 5 0 25 0 25 0 008 10 0 31 0 30 0 011 25 0 43 0 42 0 011 50 0 57 0 58 0 012 75 0 71 0 7 0 011 90 0 81 0 81 0 007 95 0 85 0 86 0 007 99 0 93 0 93 0 009 Mean 0 57 0 57 0 008 GeoMean 0 53 0 53 0 009 Sum 2705 44 29475 80 428 337 Variance 0 035 0 036 0 001 cy 0 326 0 332 N A Skewness 0 133 0 153 0 044 Kurtosis 2519 933 0 756 0 047 Fonte Exemplo do autor usando o software WesVar IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 231 EXERC CIO 16 2 continua o FIGURA 16 2 C DO EXERC CIO WesVar Rotulagem de C lulas WesVar WorkBook New Workbook PEE lt gt File View Requests Windows Help 2 x e aja jim WorkBook Tithe 1 2 E Descriptive Request One Cell Definition Grid View Options GENDER Generated Statistics queen Output Control Analysis Variables MARGINAL MATHPC MATHRS MATHSS Transformed Variables Correlations By Table Request One Options Generated Statistics Labet GIRLS Output Control Analysis Venables Computed Statistics M_MATHSS MEGNIMATHSS Table Set 41 Add as New Entry j GENDER Canent Entry Cells BOYS Cea Functions Standardized Rates Fonte Exemplo do autor usando o software WesVar Clique em Cell Functions painel esquerda digite Diff Boys Girls na caixa Function Statistic e clique em
210. ga seguros e confi veis os materiais s o entregues na resid ncia dos aplicadores de teste s vezes as equipes de administradores viajam em uma van e s o levadas junto com os materiais necess rios at as escolas QUADRO 3 2 FRA Embalagem de Instrumentos A seguir est o procedimentos t picos para a embalagem de instrumentos e Agrupar os cadernos em conjuntos de 20 unidades e Organizar as unidades em ordem antes de embal las em envelopes e Verificar manualmente um n mero de amostras quando os cadernos forem con tados por m quina e Incluir testes adicionais para circunst ncias inesperadas por exemplo alunos adicionais e Usar materiais de embalagem fortes mas acess veis por exemplo envelopes de pl stico e Anotar o conte do de cada pacote e acrescentar as assinaturas dos embaladores s folhas medida que cada conjunto de itens embalado e Rotular cada pacote de forma clara e vis vel e Adicionar um adesivo ou sinal colorido para mostrar que o processo de embala gem foi conclu do e Rotular cada caixa em pelo menos dois lados e Preparar uma lista de verifica o dos conte dos da embalagem ver Tabela 3 2 para que os aplicadores de teste possam confirmar que t m os materiais neces s rios e Fazer um pacote de materiais para cada escola e Colocar os materiais para um distrito em uma caixa ou saco resistente Fonte Compila o dos autores Manual de aplica o do teste Visand
211. h nenhuma outra fase de amostragem a ser executada nessa base amostral e clique em Next Agora o plano de amostra est detalhado e a sele o da amostra pode prosseguir Em Draw sample selection options clique em Yes e todas as fases All 1 Clique em Custom value e digite 1234321 para obter a amostra que aparece neste manual Caso contr rio clique em A randomly chosen number para obter uma nova amostra Clique em Next Em Draw sample output files selecione External file e clique em Browse para ga rantir que voc esteja usando o diret rio correto Nomeie seu arquivo como MY SAMPLSOLICLASS SAMPLE e clique em Save Clique em Next Em Completing the sampling wizard escolha Save the design to a plan file and draw the sample Clique em Finish Agora traga a amostra de turmas para a tela e limpe o arquivo usando os seguintes comandos File Open Data Look in MYSAMPLSOL CLASS_SAMPLE SAV Clique em Open Clique na aba Variable View no canto inferior esquerdo da tela do SPSS IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 107 EXERC CIO 8 8 continua o Assinale a linha InclusionProbability_1_ e delete a vari vel Assinale a linha SampleWeightCumulative_1_ e delete a vari vel Assinale PopulationSize_1_ e renomeie a PopulationSize2 Assinale SampleSize_1_ e renomeie a SampleSize2 Assinale SampleWeight_1_ e renomeie a Weight2 Assinale a linha SampleWeight_Final_
212. has de estratifica o aloca o de amostra esquema de se le o de amostra e v rios outros conceitos chave bem como terminologia e abrevia turas relacionadas s o explicados medida que forem introduzidos O gerente de pesquisa de Sentz conseguiu obter junto ao Minist rio da Educa o uma lista das 227 escolas no pa s que oferecem ensino de 8 s rie A lista organizada por regi o prov ncia densidade urbana ou rural cidade e escola Cada escola na lista tem um n mero de identifica o schoolid composto por prov ncia d gito es querda cidade segundo d gito e escola dentro da cidade dois d gitos direita Por exemplo a escola identificada pelo n mero 1413 est situada na prov ncia 1 cidade 4 De modo similar para turmas dentro das escolas neste caso as turmas de 8 s rie em uma escola ser criado um n mero de identifica o para a turma adicionando se um d gito direita do identificador da escola 14131 14132 14133 e assim por dian te Dois outros d gitos s o adicionados para identificar os alunos dentro de sua turma Se por exemplo a turma tiver 43 alunos voc usaria 1413101 1413102 1413143 Para cada escola o Minist rio forneceu o n mero de turmas de 8 s rie nbclass o n mero total das crian as matriculadas em turmas de 8 s rie medida de tamanho ou school size e o tamanho m dio da turma avgclass 72 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA
213. higan University em Kalamazoo Michigan Greaney membro do Hall da Fama de Leitura da International Reading Association Suas reas de interesse incluem avalia o treinamento de professores leitura e promo o da coes o social por meio da reforma de livros did ticos Sarah J Howie diretora do Centro para Avalia o e professora de Educa o na Universidade de Pretoria Na frica do Sul coordenou avalia es internacionais em alfabetismo de leitura matem tica ci n cias e tecnologia de informa o e de comunica es Al m de fornecer treinamento em pesquisa em v rios pa ses Howie participa de comit s internacionais e nacionais respons veis por monitorar e avaliar a qualida de educacional Suas reas de interesse profissional incluem a avalia o em grande escala avalia o de alunos e avalia o de desempenho e de programas Thomas Kellaghan consultor educacional Foi diretor do Centro de Pesquisas Educacionais no St Patrick s College Dublin e fellow da Academia Internacional de Educa o Trabalhou na Universidade de Ibadan na Nig ria e na Queen s University em Belfast Suas reas de in teresse em pesquisa incluem avalia o e exames desvantagem educacio nal e relacionamentos entre casa e escola Kellaghan foi presidente da Associa o Internacional para a Avalia o do Aproveitamento Escolar Trabalhou em projetos relacionados a quest es de avalia o na frica sia Am rica Latina e Or
214. i o o segundo a zona o terceiro o distrito e o ltimo a escola O n mero 5342 refere se escola n mero 2 que est localizada no distrito 4 na zona 3 na regi o 5 2 S o utilizados seis d gitos O primeiro d gito indica a prov ncia os tr s d gitos seguin tes indicam o n mero da escola e os dois ltimos d gitos s o o c digo de identifica o do aluno Por exemplo aluno n mero 200537 refere se a um aluno situado na provin cia 2 na quinta escola da lista e o 37 na lista de chamada da turma Fonte Compila o dos autores Designer gr fico Um designer gr fico respons vel por dar apar ncia profissional a todos os testes question rios manuais e relat rios associados com a avalia o nacional Ele deve fornecer as representa es pict ricas ligadas aos itens dos testes bem como tabelas e gr ficos e outros recursos visuais uti lizados em relat rios Algumas fontes de profissionais experientes s o editoras e gr ficas Um designer gr fico deve estar dispon vel quando necess rio e deve ser informado antecipadamente sobre a prov vel data de entrega do trabalho O CD que acompanha o Volume 2 Desenvolvi mento de testes e question rios para avalia o do desempenho educacional cont m exemplos de itens de teste bem apresentados com materiais de apoio pict ricos e gr ficos Tradutores Muitos pa ses t m grandes popula es de alunos que n o t m o mesmo idioma e nesse caso os instrument
215. iamento A lista de verifica o apresentada na Tabela 1 2 apresenta os princi pais itens de despesa normalmente associados a uma avalia o nacional Como as circunst ncias variar o de pa s para pa s alguns itens talvez n o sejam relevantes para algumas avalia es TABELA 1 2 Lista de Verifica o para Financiamento da Avalia o Nacional Fonte de financiamento Fundos destinados Outros N o Itens avalia o nacional fundos financiado Pessoal Instala es e equipamentos Desenho do contexto de avalia o Desenho e desenvolvimento do instrumento Treinamento por exemplo reda o de itens coleta de dados Teste piloto Tradu o Impress o Comiss o nacional de coordena o Viagens locais at escolas Coleta de dados Pontua o de dados aberta Registro de dados Processamento e limpeza de dados An lise de dados Elabora o de relat rios Impress o de relat rios Comunicado de imprensa e publicidade Confer ncia sobre resultados Materiais de consumo Comunica es Atividades subsequentes Fonte Compila o dos autores 18 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Em alguns pa ses a coleta de dados para uma avalia o nacional con sumiu 50 do or amento enquanto em outro pa s o registro dos dados usou aproximadamente 20 do o
216. idade de sele o na primeira fase n 10 l T Ay N 100 10 e a probabilidade de sele o na segunda fase n 30 1 t N 60 2 Assim a pondera o do desenho para cada aluno selecionado ineo O70 Ti T Para o desenho de amostragem de tr s est gios usado no estudo de caso de Sentz escolas turmas e alunos por meio da n o resposta em que a probabilidade de sele o para o aluno i Ty no est gio k a pon dera o do desenho para esse aluno school _ weight x class _ weight x student _weight school _ weight x class _ weight x 1 Observe que a amostra conforme desenhada inicialmente para Sentz selecionou todos os alunos em turmas selecionadas de modo que IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 197 student weight 1 Assim o desenho parece ter apenas dois est gios Entretanto a import ncia do terceiro est gio fica evidente mais tarde quando se constata que nem todos os alunos selecionados realmente par ticiparam da avalia o nacional Neste exemplo os pesos do terceiro est gio t m de ser ajustados para a n o resposta ver a se o seguinte O Exerc cio 14 2 mostra como calcular a pondera o do desenho para uma amostra probabil stica proporcional ao tamanho PPS Os Exerc cios 14 3 e 14 4 mostram como adicionar os resultados do teste EXERC CIO 14 2 Pondera o do Desenho para uma Amostra PPS de Escolas e Turmas No desenho de doi
217. idade t cnica da equipe de avalia o nacional 24 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Gerente de dados Em ltima an lise o gerente de dados GD tem uma dose consider vel de responsabilidade pela qualidade dos dados utilizados nas an lises Em par ticular respons vel pela precis o dos dados especificamente pela correta codifica o limpeza e grava o dos dados dos testes e question rios Precisa ter conhecimentos pr ticos de Microsoft Word Excel e Access bem como de SPSS e WesVar ideal que tamb m tenha experi ncia em gerencia mento de dados seja nomeado no in cio da avalia o e esteja envolvido em amostragem desenho e codifica o dos instrumentos Com o consentimento do CN e juntamente com o estat stico da pesquisa que esteja trabalhando no desenho e na base de amostragem o GD prepara o esquema de numera o e os procedimentos que ser o utilizados durante a avalia o Esse esquema deve ser aplicado a escolas turmas e alunos O esquema de numera o um componente chave do controle de qua lidade Ele necess rio para as atividades de amostragem e deve ser imple mentado o mais tardar no momento da sele o da amostra Cabe ao GD assegurar que os livretos question rios e folhas de respostas se houver dos alunos possam ser identificados ao numer los antes de enviar os materiais para a administra o A numera o pr via fundamental para moni
218. idation Text Required Indexed Smart Tags Text Align Gender 1 Boy 2 Girl 8 multiple response 9 missing No No General Fonte Exemplo do autor usando o software Access names IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL EXERC CIO 10 5 continua o 139 FIGURA 10 5 C DO EXERC CIO Valida o para Valores Codificados Idade Field Name Data Type Description FamilyName Text Family name of student SchoolName Text Name of student s school YearLevel Number Student Year level Gender Number Gender 1 Boy 2 Girl 8 multiple response 9 missing Number 1 age lt 8 2 age is 8 3 age is 9 4 age gt 9 8 multiple response 9 missing Mage Field Properties m General Lookup Field Size Format Decimal Places Input Mask Caption Default Value Validation Rule Validation Text Required Indexed Smart Tags Text Align Tlong Integer Auto 7 10r20r30r40r50r9 1 age lt 8 2 age is 8 3 age is 9 4 age gt 9 E multiple response 9 mis Yes No General Fonte Exemplo do autor usando o software Access A field name can be up to 64 characters long including spaces Press F1 for help on field names FIGURA 10 5 D DO EXERC CIO Valida o para Valores de Texto Idioma do Teste Field Name Data Type Description YearLevel Number Student Year level Gender Number Gender 1 Boy 2 Girl 8 multiple resp
219. iente M dio Kate O Malley fellow de pesquisa do Conselho de Pesquisas Educa cionais da Austr lia Tem estreita rela o com uma s rie de avalia es nacionais na Austr lia e com as avalia es trienais c vica e de cidadania e avalia es de letramento em linguagem do ICT o Programa Nacional de Avalia o Alfabetiza o NAPLAN e Avalia o de Conhecimentos sobre Ci ncias Essenciais na Escola Secund ria ESSA O Malley coor denou o componente australiano do Segundo Estudo sobre Tecnologia da Informa o na Educa o SITES da IEA e a Pesquisa Internacional sobre Ensino e Aprendizagem TALIS da OCDE al m de ser coautor dos relat rios para esses dois projetos SUM RIO AGRADECIMENTOS PREF CIO OS AUTORES E ORGANIZADORES ABREVIA ES INTRODU O PARTEI LOG STICA DE UMA AVALIA O NACIONAL Sarah J Howie e Sylvia Acana 1 PREPARA O PARA A AVALIA O NACIONAL DESENHO E PLANEJAMENTO Comiss o Nacional de Coordena o CNC Desenho de uma avalia o nacional Planejamento Elabora o de or amento 2 PESSOAL E INSTALA ES NECESS RIAS EM UMA AVALIA O NACIONAL Requisitos de pessoal Instala es 11 11 12 13 14 19 20 31 3 PREPARA O PARA APLICA O NAS ESCOLAS 35 Estabelecendo contato com as escolas 35 Organiza o dos instrumentos 39 Prepara o das escolas 40 4 APLICA O EM ESCOLAS 43 Aplicador do teste 43 Problemas comuns na aplica o 46 Garantia de qu
220. ifica o Por exemplo se os meninos tendem a res ponder muito menos do que as meninas o ajuste para n o resposta em termos de urbaniza o pode n o ser t o eficaz quanto o ajuste por g nero Naturalmente tal ajuste requer que o g nero esteja dispon vel nas listas de alunos por turmas para cada turma amostrada A consulta a um estat stico pode ser recomend vel porque esses ajustes s vezes s o mais delicados do que parecem e podem afetar a maneira como os pesos de replica o devem ser computados ver Cap tulo 16 Ao calcular o fator de ajuste para n o resposta poss vel perceber que o fato de que algumas unidades amostradas alunos na pr tica es tarem fora do escopo isto n o fazem parte da popula o alvo uma considera o importante Por exemplo um menino com defici ncia de aprendizagem pode frequentar uma turma regular por causa de uma po l tica nacional de integra o escolar Essa crian a entretanto deveria ter 208 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL sido exclu da da avalia o nacional porque seguiu um curr culo reduzi do ou adaptado e n o fazia parte da popula o alvo O c lculo do ajuste para n o resposta deve basear se em unidades dentro do escopo porque unidades fora do escopo na amostra geralmente representam outras uni dades fora do escopo na base amostral O exemplo anterior sup e que todos os n o respondentes estejam dentro do espa
221. ilidade igual de ser selecionada Consequente mente cada unidade na amostra tem a mesma probabilidade de inclus o Essa probabilidade x igual a n N em que N o n mero de unidades na popula o e n o tamanho da amostra No exemplo do par grafo anterior como n 2 e N 10 m 1 5 A Figura 8 1 descreve uma amostra aleat ria simples de 7 escolas extra da de uma popula o de 45 escolas A amostragem pode ser feita com ou sem reposi o A amostragem com reposi o permite que uma unidade seja selecionada mais de uma vez esse m todo n o costuma ser usado na pr tica A amostragem sem reposi o significa que uma vez que uma unidade uma escola ou um aluno tenha sido selecionada n o pode ser escolhida outra vez A SRS com reposi o e a SRS sem reposi o s o praticamente id nticas se o tamanho de amostra for uma fra o muito pequena do tamanho da po pula o porque a possibilidade de a mesma unidade aparecer mais de uma vez na amostra pequena Em geral a amostragem sem reposi o gera resultados mais precisos e operacionalmente mais conveniente Por v rias raz es apenas a SRS normalmente n o tem um custo ra zo vel nem pr tica em pesquisas nacionais realizadas em larga escala IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 77 SRS sem Reposi o de Escolas
222. ima de N 78 funcion rios da escola Para fins de exemplo suponha que essa informa o auxiliar que poderia ser usada para estratifica o n o estava dispon vel na fase de desenho TABELA 14 4 Pesquisa da Escola Distribui o P s Estratos da Equipe de Funcion rios por G nero P s estrato 1 P s estrato 2 N mero de Grupo homens mulheres respondentes Todos os funcion rios 3 12 15 Professores de matem tica 1 7 8 Fonte Compila o dos autores Al m das informa es sobre g nero foram coletadas informa es so bre a idade e a disciplina de especialidade de cada respondente Das n 25 pessoas originais n 15 responderam A Tabela 14 4 apresenta dados espec ficos sobre g nero na amostra da equipe de funcion rios e de professores de matem tica Observe o seguinte e A probabilidade de inclus o para cada unidade amostrada foi ge 2080 N 78 consequentemente a pondera o do desenho foi w4 1 7 3 12 214 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL e O fator de ajuste para n o resposta supondo que todos na pesquisa tiveram a mesma probabilidade de responder isto havia um grupo de n o resposta foi A W 15 e O peso ajustado para n o resposta foi w A 312x167 52 Assim todos os respondentes tiveram o mesmo peso ajustado para n o resposta w 5 2 Esses pesos foram usados para produzir as esti mativas de pesquisa mostradas na
223. imativas JK com putados conforme indicado anteriormente A Tabela IV C 3 mostra as 10 escolas da Tabela A4 3 1 organizadas em pares JK e indicando qual unidade de cada par foi escolhida aleatoriamente para ser mantida ou exclu da Os pesos replicados JK s o ent o computados seguindo se a seJojne sop ogejdwop 9Juo 1 sur l I ps KM IM Aenm amp en Aya wa fim A lt N engewnsg MXZ M Uma u u f en MWE yM 0 4 M a c u pu Lu l u _ O eM M Mm 0 L L A L UM pot v v v ee M eM WEM L Z 4 tm v A E _ e Ca E M um MEM 0 L EX EM z E M eM O Mm 0 Z A Mm Z L Law ol f E ME eM MXC MM L L K im L aum Mm euojesje MF Ir ejoosa ap Saiu m jeu 1 epesjsowe oesnpxa apepiun ojeusa w eanewnsy os d ejo2sg sopeoida sos d SJJWpper enuepueA op oeseunsy e esed oeseiedaig T A ViaIVL seJojne sop ogejdwop 3 U04 L ve E SE Z EE c sE L SE g pe Ssengeuinsa 0 OL OL OL OL ln a S OL Lv OL Oc OL OL OL OL epnueia L S OL Ov 6 L cc LL LL LL epi ue N A v L LE 8 OL 0 OL OL OL EINE L v OL ce L 6 6 8l 6 6 epnueia A 6 9c 9 OL OL 0 OL OL ENEE L OL cv S OL OL OL oc OL ERUEN A g OL 8E v 8 8 8 0 8 etn es 4 8 ve OL OL OL OL Oc epnueia f L OL Le A 8 8 8 8 0 SEMPE L L 8 Lc L ajelee le eee ee sopeoijdos sosad Buygiwpper
224. ion rios bem como com os livros de c digos O ponto de partida para qualquer an lise de um instrumento de ava lia o o planejamento A equipe de avalia o nacional deve fazer um planejamento de forma a assegurar que a maneira pela qual os dados s o coletados produza as informa es necess rias e que os dados estejam dis pon veis em um formato acess vel O livro de c digo do teste define de que maneira os dados coletados na avalia o ser o registrados para a an lise O livro de c digo define as informa es sobre cada componente do teste e ajuda o pessoal de registro dos dados e os analistas a compreen derem o que deve ser esperado em cada campo de dados O livro de c digo deve ser preparado em conjunto pelos desenvolvedores do teste e pela pessoa com responsabilidade total pelo registro de dados Da mesma forma o livro de c digo do question rio do aluno define como os dados do question rio s o registrados Tipicamente os dados do 118 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL question rio referem se a itens demogr ficos tais como g nero contexto e antecedentes sobre o idioma falado ou profiss es dos pais e s o geral mente armazenados em separado dos dados de aproveitamento do aluno porque os dados do question rio costumam conter um n mero substancial de respostas qualitativas que podem precisar ser codificadas ou analisadas de forma diferente Um exemplo de instrumen
225. ional estejam limpos insistir na aplica o de pr ticas eficazes na fase de coleta A pessoa respons vel pelo registro de dados deve ser um membro do grupo que elabora o livro de c digo porque isso ter impacto fundamental na qua lidade dos processos de registro de dados Certificar se de que procedi mentos e processos corretos sejam implementados na fase de registro de dados pode reduzir sensivelmente o tempo e o custo necess rios para corrigir dados defeituosos 4 Documente todas as mudan as e vers es Seja meticuloso ao re gistrar todas as mudan as que s o feitas em rela o aos dados durante o processo de limpeza de dados e mantenha um registro preciso das ver s es criadas e de qual vers o cont m os arquivos finais dos dados limpos para an lise NOTA 1 Esta vers o 17 do SPSS tamb m chamada de Predictive Analytic Software ou PASW 17 durante 2009 e 2010 CAP TULO LIVROS DE C DIGO o fazer a limpeza e a an lise de dados pre ciso estar sens vel s e orientado pelas necessidades de informa o dos membros das equipes de avalia o nacional respons veis por preparar os relat rios finais As pessoas envolvidas na prepara o de dados t m a responsabili dade espec fica de assegurar que os formatos de dados forne am o n vel necess rio de detalhe que os analistas requerem Essas pessoas devem tamb m estar bastante familiarizadas com os conte dos dos cadernos de testes e quest
226. ique em Continue Clique em Match cases on key variables Mova PROVINCE de Excluded variables para Key variables Mova COUNTRY PROV TOT e COUNTRY TOT de New active dataset para Excluded variables Clique em Non active dataset is keyed table e por fim clique em OK Clique em OK se a seguinte mensagem de advert ncia aparecer Warning Keyed match will fail if data are not sorted in ascending order of key variables A vari vel ALLOC deve aparecer agora como a ltima vari vel da s rie de dados SCHOOLS Por seguran a nesse momento voc pode salvar o arquivo SCHOOLS em seu arquivo MYSAMPLSOL SCHOOLS EXERCICIO 8 5 PPS Estratificado sem Reposi o Sele o de Escolas Sele o de Escolas Verifique se seu arquivo SCHOOLS est na tela de visualiza o Ent o use os seguin tes comandos Analyze Complex samples Select a sample Selecione Design sample e escolha um nome para salvar o arquivo por exemplo 2STAGE 1 Se o SPSS n o aceitar prontamente um nome clique em Browse e sele cione o subdiret rio MYSAMPLSOL em seu drive antes de digitar o nome do arquivo Clique em Next Em Design variables fa a o seguinte Mova PROVINCE para Stratify by Mova SCHOOLID para Clusters Digite um nome em Stage Label por exemplo STAGE1 Clique em Next Em Sampling Method fa a o seguinte Selecione PPS Systematic Mova SCHOOL SIZE para Measure of size Read from variable Clique em Next Em Sample
227. ique em Next Clique em Equal WOR seguido por Next Nesse momento o programa pode emitir um aviso de que a se o est incompleta avance para terminar a se o FIGURA 15 1 A DO EXERC CIO Assistente de Prepara o para An lise i Analysis Preparation Wizard Welcome to the Analysis Preparation Vizard The Analysis Preparation Wizard helps you describe your complex sample and choose an estimation method You wif be asked to provide sample weights and other information needed for accurate estimation of standard errors Your selections wil be saved to a plan file that you can use In any of the analysis procedures in the Complex Samples Option A What would you ike to do reste a plan tile Choose this option if you nave Fie Sample deta but have not crested te Browse plan file A E O Eat a plan the Choose this option if you want to wf add remove or modify stages of A an existrg plan It you already have a plan file you can skip the Analysis Preparation Vizard and go directly Ce to any of the analysis procedures in the Complex Samples Option to analyze your sample Fonte Exemplo do autor usando o software SPSS a Esta etapa pode ser diferente no SPSS18 Talvez seja preciso modificar a instru o ou o formato da vari vel condi o Voc pode por exemplo converter STATUS para uma vari vel num rica usando TRANSFORM IMPLEMENTA O DE UMA AVALIA O NACIONAL
228. ir escolas essa possibilidade deve ser discutida com IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 37 o estat stico de amostragem para que sejam empregados procedimentos adequados de amostragem e as escolas de reposi o sejam adequadamente selecionadas Em hip tese alguma a sele o de escolas substitutas deve ser deixada a crit rio do administrador do teste ou de funcion rio da escola local Esse t pico discutido na Parte II deste volume QUADRO 3 1 Exemplo de uma Carta para as Escolas Prezado a 7 Estou escrevendo para solicitar seu apoio para a Avalia o Nacional de Aproveita mento em Matem tica 2012 NAMA que est sendo realizada pelo Centro Nacional de Pesquisas Educacionais Como de seu conhecimento o n vel de aproveitamento dos alunos em matem tica no sistema educacional avaliado a cada cinco anos Em outubro de 2012 ser o co letados dados de alunos da 6 s rie em 160 escolas de todo o pa s Os alunos ser o testados por dois per odos de 1 hora durante a terceira semana de outubro Sua esco la foi selecionada aleatoriamente para participar desse importante estudo nacional Seu inspetor escolar local ir visit lo nos pr ximos dois meses para responder a quais quer perguntas que o a sr a queira fazer e para discutir a participa o de sua escola As datas exatas dos testes ser o confirmadas pela r dio local Um representante do Centro Nacional de Pesquisas Educaci
229. itam ser contados e comparados com o tamanho pretendido da amostra Os pesos dos alunos amostrados s o ajustados de acordo com seu status de participa o e os pesos finais s o armazenados em MySamplSol SRSResponses para uso futuro IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 205 EXERC CIO 14 5 continua o 1 Leia o arquivo SRSResponses usando os seguintes comandos File Open Data Look in MYSAMPLSOL SRSRESPONSES SAV Open 2 Crie um marcador para respostas e conte o numero de casos de resposta Use os seguintes comandos Transform Recode into Different Variables Em segui da mova STATUS para Input Variable Digite RESP em Output Variable Name Se desejar voc pode digitar um titulo explicativo na caixa Label Clique em Change Clique em Old and New Values Em Old Value clique em Value e digite absent respeitando mai sculas e min sculas Em New Value digite o n mero 0 Clique em Add Em Old Value clique em All other values na parte inferior da tela Em New Value digite o n mero 1 Clique em Add Clique em Continue e ent o em OK Selecione Data Aggregate no menu Mova RESP para Break variable Em Aggre gated variables clique em Number of cases Digite EFFSAM para effective sam ple em vez de manter o default N BREAK Em Save clique em Add aggregated variables to active dataset Em Options cli que em Sort file before aggregating e em segui
230. itui o ou dos governos que eles representam O Banco Mundial n o garante a exatid o dos dados inclu dos nesta publica o As fronteiras cores denomina es e outras informa es mostradas em qualquer mapa neste estudo n o implicam nenhuma opini o da parte do Banco Mundial em rela o situa o jur dica de qualquer territ rio bem como o endosso ou a aceita o de suas fronteiras This work was originally published by The World Bank in English as National Assessments of Educational Achievement Volume 3 Implementing a National Assessment of Educational Achievement in 2012 This Brazilian Portuguese translation was arranged by Elsevier Brazil Elsevier Brazil is responsible for the quality of translation In case of any discrepancies the original language will govern The findings interpretations and conclusions expressed here in are those of the author s and do not necessarily reflect the views of the Executive Directors of The World Bank or the governments they represent The World Bank does not guarantee the accuracy of the data included in this work The boundaries colors denominations and other information shown on any map in this work do not imply any judgement on the part of The World Bank concerning the legal status of any territory or the endorsement or acceptance of such boundaries Direitos e permiss es O material contido nesta publica o protegido por direito autoral A c pia e ou transmiss o sem permiss
231. izados e n o utilizados sejam mantidos em seguran a e devolvidos ao centro de avalia o nacional Essa etapa importante porque alguns itens e em alguns casos o teste completo podem ser utilizados em uma avalia o nacional subsequente Se alguns professores e alunos tiverem acesso pr vio a esses itens a credibilidade da avalia o subsequente es taria comprometida O papel ou as anota es utilizadas pelos alunos durante o teste tamb m devem ser devolvidos ao escrit rio nacional de avalia o Instru es de embalagem devem ser fornecidas para os aplica dores do teste ver Quadro 3 2 Os m todos de devolu o de materiais tendem a ser semelhantes aos m todos de entrega Instru es claras devem ser fornecidas sobre como organizar as devolu es das escolas para o centro de avalia o nacional necess rio que haja um espa o consider vel para acomodar as devolu es Os instrumentos devolvidos devem ser separados e colocados em prateleiras claramente identificadas Testes e question rios devem ser armazenados de modo que possam ser facilmente recuperados para o registro e a limpeza de dados Todas as devolu es devem ser registradas em um livro de devolu es ou em uma base de dados do computador n o em um peda o de papel PROBLEMAS COMUNS NA APLICA O Problemas associados aplica o de uma avalia o nacional tendem a variar de pa s para pa s tanto em natureza quanto em magnitude Quanto mais grav
232. l de todos os procedimentos e scripts executados AMOSTRAGEM COM PROBABILIDADE PROPORCIONAL AO TAMANHO A amostragem de probabilidade desigual ocorre quando as probabilida des de sele o diferem de uma unidade para a outra Por exemplo cida des maiores ou escolas maiores podem ter informa o mais diversificada porque t m mais alunos do que cidades ou escolas menores Em con sequ ncia o conselheiro de avalia o nacional pode dar prioridade na forma de uma probabilidade mais elevada de sele o a unidades maio res em detrimento das menores Cidades ou escolas menores podem em alguns exemplos gerar poucas informa es adicionais e os custos do levantamento de dados podem ser quase t o dispendiosos quanto para unidades maiores Em nome da economia a equipe de amostragem pode sentir se tentada a restringir a amostragem s unidades maiores talvez at limitar a sele o s 5 ou 10 cidades ou escolas maiores Se isso acontecer as unidades menores n o ter o nenhuma possibilidade de ser selecionadas na pr tica A amostra n o uma amostra probabil stica da popula o definida ou da base amostral dispon vel porque muitas esco las foram exclu das 94 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Uma abordagem alternativa seria adotar um plano de amostragem probabil stica desigual que desse uma probabilidade mais elevada para as unidades maiores e uma probabilidade menor s unida
233. licados Usando o Access para verificar a exist ncia de nomes duplicados LIMPEZA E GERENCIAMENTO DE DADOS PASTAS E ARQUIVOS PARTE IV PONDERA O ESTIMA O E ERRO AMOSTRAL 14 Jean Dumais e J Heward Gough COMPUTAGAO DO PESO DAS UNIDADES AMOSTRAIS Pondera es de desenho Ajuste de pondera o para n o resposta 117 125 125 130 153 153 154 156 165 165 166 168 169 173 173 177 177 179 185 187 193 193 202 Exporta o e importa o de dados limpos 211 P s estratifica o uso de informa es auxiliares para aprimorar estimativas com o ajuste dos pesos de estima o 211 15 COMPUTA O DE ESTIMATIVAS E SEUS ERROS AMOSTRAIS A PARTIR DE AMOSTRAS ALEAT RIAS SIMPLES 217 Estimando um total da popula o 218 Estimando uma m dia de popula o 222 Estimando uma propor o da popula o 223 Estimando subgrupos da popula o 223 Conclus o 224 16 COMPUTA O DE ESTIMATIVAS E SEUS ERROS AMOSTRAIS A PARTIR DE AMOSTRAS COMPLEXAS 225 17 T PICOS ESPECIAIS 233 N o resposta 233 Estratifica o classifica o da base amostral e sele o da amostra 235 Escolas de tamanho grande 236 Escolas de tamanho reduzido 238 Padr es para julgar a adequa o das taxas de resposta 241 IV A NOTA O ESTAT STICA PARA C LCULO DE ESTIMATIVAS 243 IV B UMA COMPARA O DOS DADOS SRS400 E DOS DADOS DO CENSO 245 IV C ESTIMANDO ERROS AMOSTRAIS COM T CNICAS DE REAMOSTRAGEM 249 Uso da amos
234. lor 13 que n o uma resposta v lida para esse item FIGURA 11 2 B DO EXERC CIO Valores suspensos para a Vari vel O3Aq02 Estat sticas Q3Aq02 N Validos 291 Em branco 6 Q3Aq02 Frequ ncia Percentual Percentual Percentual V lido Cumulativo V lido A Lea 1 0 3 0 3 3 B Maria 0 7 0 7 1 0 C Sara 286 96 3 98 3 99 3 D Kari 1 0 3 0 3 99 7 13 1 0 3 0 3 100 0 Total 291 98 0 100 0 Em branco 8 2 0 7 9 3 1 0 System 1 0 3 Total 6 2 0 Total 297 100 0 Fonte Exemplo do autor usando o software SPSS 160 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 11 2 continua o 7 Retorne janela Data View da folha de dados original do SPSS destaque a coluna que cont m os dados da vari vel Q3Aq02 e selecione Edit Find CTRL F 8 Digite 13 no campo Find e clique em Find Next Esse comando encontra o valor inv lido na s rie de dados que neste caso pertence ao aluno Jamap StudlD 2152410 No contexto de uma avalia o nacional a resposta para esse item seria compara da com a resposta dada no caderno de teste e o valor mudado de acordo Neste exemplo mude o valor na c lula Q3Aq02 desse aluno para 3 e salve CTRL S a mudan a 9 Fa a a mudan a apropriada no arquivo README DOCX como exibido na Figura 11 2 C do exerc cio FIGURA 11 2 C DO EXERC CIO Trecho do Arquivo README DOCX
235. luno apresentado na Figura 10 9 B do exerc cio Nota Essa informa o seria em geral extra da diretamente do caderno do aluno mas para economizar espa o foi criado um resumo das respostas do aluno Os dados Figura 10 9 C do exerc cio ser o salvos automaticamente na tabela que voc criou para o formul rio neste caso TBL YR3 MATHS 3A DATA medida que os dados forem inseridos a tabela expande se para aceitar mais registros FIGURA 10 9 A DO EXERC CIO Dados do Aluno a Serem Inseridos no Formul rio 2007 MATEM TICA 3A ID do Aluno 1294302 Aarow Nome Eaglehawk School Anama Sobrenome Nome Escola S rie ex 3 s rie 3 Voc menino ou menina A Menino Menina Quantos anos voc faz este ano menos de 8 48 9 mais de 9 Voc costuma falar outro idioma al m do lt idioma do teste gt em casa 4 Sim Nao Fonte Representa o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 147 EXERCICIO 10 9 continua o FIGURA 10 9 B DO EXERC CIO Resumo das Respostas do Aluno aos Itens Campo Tipo Resposta do Aluno Q3Aq01 CR 15 Q3Aq02 MC 3 Q3Aq03 MC 4 Q3Aq04 CR 28 Q3Aq05 CR 1 Q3Aq06 CR 24 Q3Aq07 MC 2 Q3Aq08 MC 1 Q3Aq09 MC 3 Q3Aq10 MC 2 Q3Aq11 TM 1 Q3Aq12 CR 1 Q3Aq13 MC Q3Aq14 MC 1 Fonte Exemplo do aut
236. lunos matriculados nas s ries escolares de in teresse permitiria que a equipe da amostragem escolhesse diretamente uma amostra dos alunos Em muitos pa ses imposs vel obter uma lista t o completa e atuali zada mesmo quando a administra o p blica central como o Minist rio da Educa o conduz a avalia o Esses pa ses podem ter de recorrer a fontes alternativas da informa o ou construir a pr pria base completa e atualizada 68 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Uma alternativa para a obten o de uma lista detalhada completa e atualizada a cobertura parcial atualizada da popula o alvo poss vel obter acesso indireto a uma lista de alunos selecionando se primeiro as escolas e depois seus alunos De fato isso significa que as listas de alunos s o necess rias somente no caso das escolas selecionadas para participar da avalia o nacional Em muitos pa ses o ministro da Educa o ou autoridade equivalente ser a fonte preliminar de informa o para construir a base amostral Essa lista provavelmente conter um identificador nacional da escola o nome e o endere o da institui o o nome do diretor da escola um n mero de telefone as s ries abrangidas o tamanho da equipe de funcio n rios a matr cula do aluno e possivelmente a fonte de financiamento e tipo de instru o fornecido Na pr tica a base amostral geralmente ter algum grau de imperf
237. m materiais n o autorizados para a sala As condi es da escola determinar o as op es de distribui o de assentos O aplicador do teste deve verificar se as mesas est o livres de livros e outros materiais antes do teste As ava lia es nacionais que utilizam mais do que uma forma de teste reduzem a possibilidade de c pia exigindo que os alunos sentados perto uns dos outros recebam vers es diferentes do teste Formul rio de monitoramento dos alunos O desenho de uma avalia o nacional vai especificar como ser feita a sele o dos alunos em uma escola Se for especificada a sele o de uma turma completa isso pode ser feito antes da aplica o realizada pelo cen tro de avalia o nacional ou o aplicador do teste pode receber instru es sobre a forma de selecionar a turma Se o desenho da avalia o especifica a sele o de alunos de todas as turmas da s rie relevante o centro de avalia o nacional pode selecionar os alunos antes da aplica o ou o aplicador do teste ser instru do sobre como eles devem ser selecionados Durante a aplica o do teste o aplicador deve preencher um for mul rio de acompanhamento do aluno que enviado para as escolas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 45 QUADRO 4 1 E Formul rio de Monitoramento dos Alunos Nome da escola ID da Escola ID da turma Nome da turma S rie Nome ID Data de G nero Exclu d
238. ma falado regularmente ou 2 para No outro idioma n o falado regularmente ver Figura 10 5 D do exerc cio FIGURA 10 5 A DO EXERC CIO Exemplo da Regra de Valida o Field Name Data Type Description a studio Text Student ID GivenName Text Given name of student FamilyName Text Family name of student SchoolName Text Name of student s school BB yeartevel Number Student Year level Gender Number Sender 1 Boy 2 Girl 8 multiple response 9 missing Field Properties General Lookup Field Size Long integer Format Decimal Places Auto Input Mask Caption Default Value 0 A field name can be up to 64 characters long Validation Rule gt 1 And lt induding spaces Press Fi for help on field Validation Text Must be in Year 3 or in Year 3 class nomes Required ves Indexed No Smart Tags Text Align General Fonte Exemplo do autor usando o software Access FIGURA 10 5 B DO EXERCICIO Exemplo do Texto de Valida o G nero Field Name Data Type Description a FamilyName Text Family name of student SchoolName Text Name of student s school YearLevel Number Student Year level EB Gender Number Gender 1 Boy 2 Girl 8 multiple response 9 missing X field Properties Gener Lookue Field Size Long Integer Format Decimal Places Auto Input Mask Caption Default Value 7 A field name can be up to 64 characters long Validation Rule 10r20r80r9 including spaces Press Fl for help on field Val
239. me A corre o deve ser feita na tabela N o deve ser feita na consulta 9 Em TBL MATHS 3A DATA CLEANED digite o n mero 1 ap s k em Jack no primeiro registro Fa a o mesmo com o 2 no segundo registro ver Figura 13 2 E do exerc cio FIGURA 13 2 E DO EXERC CIO Como Diferenciar Nomes Duplicados School Stud GvenName Famiyilam SchooName Yearlevel Gender 3870 3870204 Jacki Crokar Oxenford State School 3 A WO Wa Crokar Oxenford State School 3 2 Fonte Exemplo do autor usando o software Access 10 Registre as duas mudan as no README DOCX Figura 13 2 F do exerc cio FIGURA 13 2 F DO EXERC CIO Duplicatas no README DOCX Stud ID Vari vel Valor do Dado Valor reparado 3870204 Nome Jack Jacki 3870305 Nome Jack Jack2 Fonte Representa o dos autores 11 Repita a consulta para verificar se o erro encontrado em Jack Crokar foi corrigido A consulta n o deve retornar nenhum resultado Nota Para repetir a consulta fa a um duplo clique na consulta Find duplicates TBL MATHS 3A FINAL NA MES no menu All Access Objects Queries IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 185 USANDO O ACCESS PARA VERIFICAR A EXIST NCIA DE NOMES DUPLICADOS O Access tamb m usado para procurar nomes duplicados na mesma escola Exerc cio 13 2 Se for definido que existem duas listas com o mesmo nome mas IDs de aluno diferentes na escola os cade
240. mento dispon vel ajudar a determinar a quantidade e a qua lidade do equipamento t cnico Algumas equipes de avalia o nacional por exemplo nos minist rios da educa o ou em universidades podem ter acesso a equipamentos eletr nicos como computadores software como Microsoft Office e SPSS impressoras fotocopiadoras scanners e aparelhos de fax Outras equipes podem ter de comprar ou alugar al guns equipamentos O software adequado pode aumentar a precis o e a efici ncia especialmente em reas como registro e grava o de dados limpeza e an lise de dados al m do design gr fico NOTA 1 Alguns pa ses podem empregar termos diferentes PREPARA O PARA APLICA O NAS ESCOLAS p s a sele o da amostra o Coordenador Nacional deve informar s escolas que foram selecionadas para a avalia o nacional o mais rapidamente poss vel Convid las a participar um gesto de cortesia A experi ncia reunida at hoje sugere que a grande maioria das escolas p blicas nos pa ses em desenvolvimento est disposta a participar de uma avalia o nacional Em alguns pa ses as escolas t m a op o de se recu sar a participar prov vel que as escolas particulares n o inclu das em muitas avalia es nacionais tenham essa op o Em muitas jurisdi es a op o de recusa n o poss vel para as escolas p blicas Em alguns pa ses a permiss o dos pais necess ria para que seus filhos participem de um
241. mpo Q3Aq02 CTRL C que est destacado na Figura 10 6 B do exerc cio e colando o CTRL V na posi o corre ta por exemplo Q3Aq07 Mude o Field Name por exemplo para Q3Aq07 e repita o processo para cada pergunta de m ltipla escolha no teste 5 Insira as propriedades de campo para os itens restantes at o item 14 A Figura 10 6 C do exerc cio mostra o formato da tabela para todas as 14 perguntas e tamb m para os dados demogr ficos Ele destaca a estrutura da Pergunta 11 Q3Aq04 um item de resposta constru da O operador de registro de dados insere a resposta real do aluno ou 99 se o aluno n o respondeu pergunta Os dados dos itens do teste ser o tabulados mais tarde quando todos os dados forem verificados e validados FIGURA 10 6 C DO EXERC CIO Estrutura de Campo para Todos os Dados Demogr ficos e de Item Field Name Data Type Description 4 StudiD Text Student ID ia GivenName Text Given name of student FamilyName Text Family name of student SchoolName Text Name of student s school YearLeve Number Student Year Level Gender Number 1 Boy 2 Girl 8 multiple response 9 missing Age Number l age lt 8 2 age is 8 3 age is 9 4 age gt 9 8 multiple response 9 missing TestLanguage Number 1 Yes 2 No 8 mult ple 9 missing Q3Aq01 Number Question 1 2 digits 99 missing Q3Aq02 Number Question 2 MC 1 4 or 8 multiple or 9 misssing Q3Aq03 Number Question 3 MC 1 4 or 8 multiple o
242. nacional as estimativas s o computadas por um servi o central de maneira padronizada e o m todo usado pode ser diferente daquele descrito aqui Quando se espera que os pa ses participantes gerem as pr prias estimativas a estrat gia descrita no Exerc cio 16 1 costuma ser adotada por causa de sua simplicidade H limita es entretanto para o que o jackknifing pode fazer O jackk nifing bastante eficiente em estimar vari ncias para totais e fun es cont nuas de totais por exemplo rela es propor es ou coeficien tes de correla o Ele n o t o bom em rela o a estat sticas descon t nuas n o lineares ou de ordem por exemplo coeficientes de Gini ou medianas Se essas estat sticas forem de interesse recomenda se consultar um especialista em amostragem para determinar a melhor abordagem de replica o Os exemplos no Exerc cio 16 2 foram criados usando se o arquivo de dados da avalia o nacional dispon vel no arquivo SPSS NATASSESSN NATASSESS SAV Esse arquivo de dados tamb m a fonte dos dados usados na Parte I do Volume 4 a ser publicado Uma observa o final de cautela o mercado de software oferece uma ampla variedade de softwares de processamento de dados e estat stica Um n mero consider vel desses produtos incluindo aqueles que alegam ser especializados no processamento de pesquisas fornecer resultados imprecisos se n o se levar em conta que a pesquisa se baseou em um desenho compl
243. nada Exerc cio 8 6 O procedimento similar quele de anexar a aloca o de amostra base amostral da escola que foi extra da mais cedo ver Exerc cio 8 4 Com a conclus o do Exerc cio 8 6 as escolas a serem selecionadas em cada estrato foram identificadas e a lista de salas de aula eleg veis para EXERC CIO 8 6 PPS Estratificado sem Reposi o Sele o de Escolas Identifica o de Turmas Elegiveis Leia e classifique a base amostral da escola por SCHOOLID usando os seguintes comandos File Open Data Look in JMYSAMPLSOLIPPS SAMPLE OF SCHOOLS SAV Ent o clique em Open Selecione Data Sort cases Mova SCHOOLID para Sort by Clique em OK Leia a lista de salas de aula e classifique a por SCHOOLID usando os seguintes co mandos File Open Data Look in BASE FILES CLASSES SAV Clique em Open Nota A escola 1101 tem duas turmas uma com 41 alunos e outra com 48 alunos Selecione Data Sort cases Mova SCHOOLID para Sort by Clique em OK IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 103 EXERC CIO 8 6 continua o Fa a a fus o do arquivo de base amostral da escola e do arquivo de aloca o das escolas outra vez para o SPSS o arquivo que est vis vel na tela e qual a tabela chaveada ver instru es a seguir Traga o arquivo PPS SAMPLE OF SCHOOLS para a tela Use ent o os seguintes comandos Data Merge files Add
244. ng Analyzing Data from a National Assess ment of Educational Achievement Washington DC Banco Mundial Cochran W G 1977 Sampling Techniques 3rd ed New York Wiley Greaney V and T Kellaghan 2008 Assessing National Achievement Levels in Edu cation Washington DC Banco Mundial Howie S J 2004 Project Plan Documento n o publicado Centre for Evaluation and Assessment Pretoria Ilon L 1996 Considerations for Costing National Assessments Em National Assessment Testing the System P Murphy V Greaney M E Lockheed and C Rojas orgs pp 69 88 Washington DC Banco Mundial Kellaghan T V Greaney and T S Murray 2009 Using the Results of a National Assessment of Educational Achievement Uso dos Resultados da Avalia o do Desempenho Educacional Washington DC Banco Mundial Keyfitz N 1957 Estimates of Sampling Variance Where Two Units Are Selected from Each Stratum Journal of the American Statistical Association 52 280 503 12 Kish L 1965 Survey Sampling New York Wiley Lehtonen R and E J Pahkinen 1995 Practical Methods for the Design and Analy sis of Complex Surveys New York Wiley 268 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Lohr S L 1999 Sampling Design and Analysis Pacific Grove CA Duxbury Press TIMSS Trends in International Mathematics and Science Study 1998a Manual for Entering the TIMSS R Data Doc
245. ns A experi ncia sugere que os professores que atuam em sala de aula e t m bom dom nio do curr culo s o redatores de itens competentes uma boa ideia garantir que os professores sejam provenientes de diferentes tipos de escolas incluindo escolas em reas rurais e remotas Acad mi cos funcion rios respons veis por exames p blicos e inspetores escola res t m sido utilizados para elaborar itens piloto para algumas avalia es nacionais Todavia a experi ncia nem sempre tem sido positiva porque essas pessoas muitas vezes n o t m contato com a realidade da sala de aula e podem ter expectativas altas sobre os padr es de aproveitamento dos alunos que n o correspondam realidade IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 23 Os redatores de itens devem ser treinados em como analisar o curr culo desenvolver objetivos de aprendizagem identificar os equ vocos e erros mais comuns dos alunos redigir itens que forne am informa es de diagn stico e avaliar a qualidade dos itens do teste piloto tanto em termos de conte do quanto de propriedades estat sticas Eles normal mente s o recrutados em regime de meio per odo Ap s um per odo de experi ncia poss vel que o coordenador de elabora o de testes pre cise dispensar os servi os de algumas pessoas que n o consigam redigir itens adequados ou que sejam descuidadas em termos de aten o aos detalhes ou de arquivamento Estat s
246. nt ID GivenName Text Given name of student EB Famityname Text Family name of student v Field Properties e E Gener koowa O O E Field Size 2 Format Input Mask Caption Default Value Validation Rule A field name can be up to 64 characters long Validation Text including spaces Press F1 for help on field Required ves names Allow Zero Length No fe Indexed No Unicode Compression Yes IME Mode Mo Control IME Sentence Mode None Smart Tags Fonte Exemplo do autor usando o software Access 5 Mude Field Size em Field Properties para 20 caracteres para as duas vari veis ver Figura 10 3 A do exercicio O comprimento do campo sera definido pelo campo Width usado no programa de capta o de dados e no livro de c digo Nota poss vel aumentar a largura do campo e o comprimento da vari vel se no pa s de aplica o do teste forem comuns nomes com mais de 20 caracteres 6 Para a vari vel GivenName deixe todas as propriedades restantes do campo com seus valores default 7 Para a vari vel FamilyName mude a propriedade Required para Yes na caixa suspensa a fim de indicar que preciso registrar um sobrenome IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 135 EXERC CIO 10 3 continua o A 8 Para o campo Allow Zero Length se os dados forem opcionais o default Yes permitido Entretanto alguns campos devem ter essa propriedade ajustada para No a fim de indicar que n
247. ntar o n vel de confian a Tamb m s o identificados erros comuns em avalia es nacionais para cada componente As quest es poder o ser usadas para compor uma lista de verifica o a ser usada por uma equipe de avalia o nacional para avaliar a qualidade de seu trabalho Medidas espec ficas de garantia da qualidade geralmente s o cons tru das em v rios componentes de uma avalia o nacional desenvol vimento de testes aplica o de testes nas escolas pontua o dos itens do teste entrada de dados e limpeza de dados Medidas para treinar desenvolvedores de testes e respons veis pela corre o e para verificar a qualidade da pontua o est o descritas no Volume 2 Desenvolvimento de testes e question rios para avalia o do desempenho educacional Ques t es relacionadas com a garantia da qualidade da aplica o do teste nas escolas que exige uma fiscaliza o especial por ser uma rea em que o distanciamento dos padr es pode ocorrer com facilidade s o abordadas no Cap tulo 4 deste volume Procedimentos para lidar com quest es de qualidade no registro de dados limpeza de dados e gerenciamento de dados s o descritos na Parte II Cap tulos 9 a 13 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 7 Embora existam padr es para a realiza o de uma avalia o nacional os respons veis pela implementa o precisar o em alguns momentos usar seu discernimento por exemplo na amostragem
248. nte crian as sul africanas sublinharam palavras que n o entende ram durante a fase de testes piloto A informa o ajudou a modificar itens para o estudo principal Os servi os de tradutores s o normal mente necess rios apenas durante a prepara o da vers o piloto e a vers o final de testes e question rios e quando os relat rios est o sendo preparados para publica o Pessoa de contato da escola A pessoa de contato da escola ou o coordenador pode ser um professor ou orientador da escola mas n o deve estar ministrando aulas aos alu nos selecionados para a avalia o Frequentemente o diretor da escola desempenha esse papel A pessoa de contato da escola atua como ponto de contato para a equipe de avalia o nacional e ajuda a garantir que o pessoal da escola esteja ciente da avalia o Escolhe o local do teste de fine hor rios e datas dos testes com os alunos e seus professores e recebe a equipe de avalia o no dia do teste A pessoa de contato da escola deve coordenar o preenchimento dos formul rios de acompanhamento dos IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 27 alunos e distribuir os question rios sobre os professores e sobre a escola Ele respons vel por garantir que todos os materiais dos testes sejam recebidos e mantidos em seguran a e em seguida devolvidos ao cen tro nacional ou regional ap s a administra o dos testes Tamb m deve procurar garantir que a sala de
249. nte aqueles com recursos limitados usa a di gita o para registrar dados Um modelo bem preparado Figura 10 1 possibilita que os digitadores registrem os dados com precis o e rapi dez Esse modelo de registro de dados foi preparado no Access 2007 e o procedimento descrito no Exerc cio 10 1 Embora a configura o do procedimento de registro de dados leve tempo esse geralmente um tempo bem gasto porque os procedimentos deficientes s o as fontes mais comuns de erro de dados Digita o Simples A digita o simples envolve um digitador que transcreve as respostas do aluno para um banco de dados eletr nico na prepara o para a an lise Esse m todo em geral o menos oneroso mas tamb m o mais arrisca 126 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Fl R o A Modelo de Registro de Dados Access 2007 frm_Yr3_Maths_data Studio GivenName FamilyName SchoolName Yearlevel 7 Gender 7 Age 7 7 TestLanguage Q3Aq01 77 a3aqos 7 Q3Aq02 o 4 a3aqos 7 Q3Aq03 7 a3aqio 7 Q3Aq04 7 Q3aqi1 7 Q3Aq05 771 aag 7 034006 7 03Aq13 77 Q3Aq07 7 Q3Aqi4 7 Fonte Exemplo do autor usando o software Access do em termos de exatid o dos dados a menos que haja procedimentos eficazes de valida o dentro do programa al m de supervis o rigorosa dos digitadores Alguns programas de limpeza de dados suportam um nico m to do de registro
250. nte por um conjunto de valores na rea Field Properties uma vez que Text foi seleciona do do menu Data Type No campo Field Size digite 7 que o comprimento do ID do aluno neste exemplo Defina o campo Required para Yes e o campo Allow Zero Length para No Os campos restantes podem permanecer inalte rados 9 Selecione Office button Save IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 133 EXERCICIO 10 2 continua o 10 A qualquer momento voc pode fechar a tabela usando o cone XE no canto superior direito da tabela pouco acima da barra de rolagem vertical Nota Esse icone distinto do bot o fechar no canto superior direito da janela inteira Cli car nesse cone fechar todo o banco de dados Clique no bot o fechar da tabela para fechar a tabela A tabela aparece agora como cone no menu Tables no lado esquerdo da janela Figura 10 2 B do exerc cio FIGURA 10 2 B DO EXERC CIO Menu da Tabela com Tabela Salva tbl Yr3 Maths Data fg 9 22 or Nicrosatt Acces me ass Sta ESSE pede Nl Tee ES St a e rara ai Xu al ul pp ES S san tj Tt Biter j Watse Pa LHi Chard lt Fonte Exemplo do autor usando o software Access refer ncia r pida para se fazerem buscas no banco de dados em algumas das rotinas de limpeza StudID uma vari vel num rica que identifica um aluno no banco de dados do Access O ID do aluno foi criado nas bas
251. nvolvimento de exames p blicos teriam as compe t ncias necess rias para uma avalia o nacional s o necess rias abor 6 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL dagens muito diferentes no desenvolvimento de testes para sele o de estudantes e no desenvolvimento de testes para descrever os n veis de aproveitamento do sistema educacional Quaisquer que sejam os an tecedentes conhecimentos ou habilidades das pessoas que realizam uma avalia o nacional h necessidade de estudos ou opini es realizados talvez por um consultor externo para avaliar a qualidade de alguns dos componentes da avalia o por exemplo os testes utilizados para avaliar o desempenho dos alunos ou a adequa o dos procedimentos de amos tragem que foram usados A garantia de qualidade requer um conjunto planejado e sistem tico de a es para apresentar evid ncias de que uma avalia o nacio nal foi implementada em elevado padr o profissional No Cap tulo 5 do Volume 1 Avalia o dos n veis de desempenho educacional identificada uma s rie de quest es relevantes para a confian a que as partes interessadas podem ter nos resultados de uma avalia o S o identificadas atividades para os cinco componentes de uma avalia o nacional desenho implementa o an lise de dados elabora o de relat rios e divulga o e utiliza o dos resultados e s o feitas sugest es de atividades que podem aume
252. o O ajuste para n o resposta deve ser realizado separadamente para grupos com respondentes similares onde cada grupo de respondentes representa os n o respondentes nesse grupo A equipe de amostragem pode ser aconse lhada a consultar um especialista em amostragem para poder identificar os grupos de resposta mais apropriados a uma avalia o espec fica O Exerc cio 14 6 mostra como calcular o ajuste de peso para uma amostra PPS EXERC CIO 14 6 Ajuste do Peso para N o Resposta para uma Amostra PPS Ao calcular os pesos para a avalia o nacional de Sentz segundo o desenho PPS de dois est gios suponha que todas as escolas e turmas selecionadas tenham respon dido Na pr tica isso provavelmente n o ocorrer e os ajustes adicionais de peso ser o necess rios de modo que as escolas participantes justifiquem as escolas n o respondentes na amostra Como no caso do exemplo SRS deve se fazer uma previs o para a n o resposta den tro de turmas selecionadas Mais uma vez voc deve distinguir entre os desisten tes que permanecem no arquivo com pontua es 0 no teste e os ausentes provis rios que s o tratados como n o respondentes Os pesos dos integrantes restantes da turma devem ser ajustados na forma padr o O ajuste calculado da mesma maneira que no exemplo do SRS exceto que as turmas devem ser consideradas nas computa es 1 Determine os grupos mais apropriados de resposta para o ajuste Se por exem
253. o Desistente Sess o Sess o de do do nascimento reposi o aluno aluno Fonte Compila o dos autores com os cadernos de teste e question rios Informa es deste formul rio ser o necess rias nas fases de limpeza e an lise de dados por exemplo na pondera o de dados As informa es registradas no documento de acompanhamento geralmente incluem nome de cada aluno o n mero identificador atribu do ID data de nascimento g nero e registro de presen a nas sess es de testes individuais e se for o caso sess es de re posi o ver Quadro 4 1 Se o teste exigir mais do que uma sess o a presen a do aluno deve ser registrada para cada sess o O formul rio do Quadro 4 1 inclui uma coluna que identifica os alu nos exclu dos Esses alunos podem ter uma defici ncia ser imigrantes re centes ou n o estar familiarizados com o idioma utilizado no teste e por tanto est o dispensados sob a justificativa de que a avalia o seria injusta em rela o a eles O formul rio tamb m inclui uma coluna que identifica desist ncias ou seja alunos que foram listados na popula o compilada no in cio do ano escolar mas que posteriormente deixaram a escola 46 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Devolu o dos instrumentos O aplicador do teste deve garantir que todos os testes e question rios util
254. o Tend ncias Internacionais no Estudo de Matem tica e Ci ncias TIMSS as escalas psicom tricas s o centradas em 500 com desvio padr o estabelecido em 100 Logo para um tamanho de amostra igual a 400 o coeficiente de varia o das pontua es estimadas aproximadamente 1 e os intervalos de confian a para a preval ncia de caracter sticas desconhecidas s o de 5 pontos percentuais ELEMENTOS DA TEORIA DA AMOSTRAGEM ste cap tulo descreve os elementos funda mentais da teoria da amostragem incluindo a amostra aleat ria e algumas das t cnicas de amostra aleat ria mais importantes como amostragem estratificada amostragem multiest gio e amostragem por conglomerados A amostragem probabil stica costuma ser usada quando s o necess rias estimativas confi veis e v lidas de determinadas caracter sticas da popula o a partir de uma amostra porque permite estimar a precis o vari ncia amostral ou erro padr o dessas estimativas Essas caracteris ticas podem ser expressas como contagens por exemplo n mero de crian as entre 10 e 15 anos como totais por exemplo matr culas totais em escolas de ensino b sico ou como propor es por exemplo pro por o de crian as que vivem em domic lios cuja renda anual est abaixo da linha nacional de pobreza Todas essas caracter sticas podem ser esti madas a partir de uma amostra contanto que tenham sido selecionadas segundo um esquema de amostragem probabil
255. o a efici ncia e a limita o do n mero de documentos que os aplicadores de teste precisam carregar consigo as principais informa es relacionadas com tempo prepara o dos alunos embalagem e devo lu o de testes e question rios e as instru es para sua aplica o de vem ser inclu das em um documento o manual de aplica o de testes 42 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL As instru es que ser o lidas em voz alta para os alunos devem ser im pressas em fonte grande e em negrito A pessoa encarregada de treinar os aplicadores de teste deve ler todo o manual com pelo menos uma amos tra dos aplicadores de teste antes do treinamento formal dos aplicadores selecionados N o importa o grau de qualifica o que os aplicadores ale guem ter n o se deve permitir que leiam o manual por conta pr pria No Volume 2 Desenvolvimento de testes e question rios para avalia o do desempenho educacional o desenvolvimento do manual de aplica o do teste descrito em detalhes TABELA 3 2 Lista de Verifica o do Conte do das Embalagens N mero Item Embalado Recebido Devolvido 40 Cadernos dos alunos 40 Question rios dos alunos 45 Lapis 45 Borrachas 5 Cadernos extras 5 Question rios extras 45 El sticos 3 Envelopes endere ados ao remetente 2 Formul rios para aplica o do teste 1 Formul rio de monitoramento dos alunos
256. o desenho 1 500 500 830 3 x 500 0 5533 2 50 550 830 3 x 50 5 5333 3 50 600 830 3 x 50 5 5333 4 40 640 830 3 x 40 6 9167 5 40 680 830 3 x 40 6 9167 6 35 715 830 3 x 35 7 9048 7 35 750 830 3 x 35 7 9048 8 30 780 830 3 x 30 9 2222 9 30 810 830 3 x 30 9 2222 10 20 830 830 3 x 20 13 8333 Medida de tamanho Medida cumulativa ID da escola da escola do tamanho Pondera o do desenho 1 500 500 500 500 1 0000 2 50 50 330 2 x 50 3 3000 3 50 100 330 2 x 50 3 3000 4 40 140 330 2 x 40 4 1250 5 40 180 330 2 x 40 4 1250 6 35 215 330 2 x 35 4 7143 7 35 250 330 2 x 35 4 7143 8 30 280 330 2 x 30 5 5000 9 30 310 330 2 x 30 5 5000 10 20 330 330 2 x 20 8 2500 Fonte Compila o dos autores Se um especialista em amostragem sugerir essa estrat gia tamb m pode recomendar que sejam selecionadas duas turmas da escola 1 Observe que essa sele o ter o efeito de aproximar os pesos para as unidades restantes o que resultar em um erro amostral menor Se ap s a remo o da escola 1 for comprovado que a escola 2 causa problema similar ela tamb m seria removida e a base amostral e a amostra seriam 238 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL corrigidas da maneira ilustrada previamente Naturalmente a amostra aumentaria para quatro unidades duas unidades autorrepres
257. o medida extra uma maneira eficaz de se manter a par das mudan as em curso no processo de instala o da seguran a pressionar CTRL Print Scrn a cada est gio da instala o Essa a o copia a janela atual que ent o pode ser colada em um documento Word DADOS DUPLICADOS ste cap tulo aborda a quest o dos dados du plicados em especial como verificar a exis t ncia de identificadores duplicados IDs e registros duplicados USANDO O ACCESS PARA VERIFICAR A EXIST NCIA DE IDS DUPLICADOS muito f cil inserir o registro de um aluno duas vezes em um arquivo de dados Se a a o n o for detectada os dados extras distorcer o os resultados Os dados que incluem o ID de um aluno devem ser verifi cados para assegurar que cada aluno tenha somente um registro Essa verifica o aplica se mesmo que a equipe de avalia o nacional tenha criado IDs originais porque o pessoal para registro dos dados pode inad vertidamente ter duplicado um ou mais registros Embora as regras de valida o criadas em exerc cios anteriores para a vari vel StudID n o permitissem a cria o de IDs duplicados recomenda se empregar os se guintes procedimentos como um mecanismo de verifica o O Exerc cio 13 1 mostra como usar rotinas do Access para verificar a exist ncia de IDs duplicados 178 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 13 1 Como Gerar uma Consulta para Encon
258. o na janela Field Properties Permite que o criador do banco de dados alerte o operador do registro de dados sobre a incid ncia de c digos ou valores inv lidos que est o sendo inseridos no momento do registro de dados 4 Clique no campo Validation Text e insira o seguinte Must be in Year 3 or mixed Year 3 class ver Figura 10 5 A do exerc cio Essa a mensagem de erro que apa recer se o operador de registro de dados tentar inserir um valor fora da escala v lida 5 Complete Validation Rule e Validation Text para a vari vel Gender Aqui g nero codificado como 1 para Boy 2 para Girl 8 para resposta m ltipla e 9 para au sente ver Figura 10 5 B do exerc cio O caderno de teste registra Age em quatro categorias O c digo 1 representa Age is less than 8 o c digo 2 representa Age is 8 o c digo 3 representa Age is 9 e o c digo 4 representa Age is greater than 9 A Figura 10 5 C do exerc cio mostra como esses dados ser o inseridos 138 EXERC CIO 10 5 continua o S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL O campo seguinte indica se um idioma exce o daquele do texto por exemplo ingl s falado regularmente em casa O texto usado para respostas base amostral do c digo frequentemente escrito na coluna Description Observe que para a va ri vel TestLanguage as respostas do aluno est o codificadas como 1 para Yes outro idio
259. o no final da d cada de 1950 Keyfitz 1957 e adaptado mais tarde para se transformar na estima o jackknife A esti ma o jackknife usada frequentemente em pesquisas de avalia o de aproveitamento internacional em grande escala USO DA AMOSTRAGEM REPLICADA Na amostragem replicada o estat stico da pesquisa seleciona amostras independentes k de tamanho n k em vez de uma amostra de tamanho 250 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL n Para cada uma dessas amostras k ou r plicas produzida uma es timativa da caracter stica do interesse mediante o uso de pesos A va riabilidade entre as estimativas da amostra k ent o usada para estimar a vari ncia amostral A estimativa t da caracter stica de interesse tal como um total uma m dia uma propor o ou mediana dada pela m dia das estimativas produzidas para cada r plica j k r j l A vari ncia amostral estimada de t Var t dada pela seguinte ex t a press o 2 1 amp t t Var t _ E kD Observe que essa express o a da forma s n Suponha que um desenho de tr s est gios escolas turma e alunos seja usado para estimar o n vel geral de letramento de alunos da 102 s rie Em vez de selecionar uma amostra de tamanho n 10 e de usar as f rmulas exatas para estimar Var Y os pesquisadores selecionam complexo duas amostras de tamanho n 5 A Tabela IV C 1 mostra a
260. o usar a amostragem com a probabilidade proporcional ao tamanho a pondera o do desenho diretamente afetada pelo tamanho da unidade amostral Unidades muito pequenas ter o pesos muito grandes e inver samente unidades muito grandes ter o pesos muito pequenos Algumas unidades podem at mesmo ter pesos inferiores a um Nessa situa o a pr tica comum escolher a unidade com certeza e refazer a amostra gem para o restante da base amostral Por exemplo considere o estrato de N 10 escolas na Tabela 17 2 para o qual uma amostra de n 3 escolas necess ria e a pondera o do desenho que cada escola teria se fosse selecionada Se a escola 1 que responde por mais de 50 dos alunos na base amostral fosse selecio nada sua pondera o do desenho seria inferior a um Para lidar com o problema seria poss vel decidir que essa escola est selecionada e que representar somente a si pr pria A escola 1 chamada unidade de au torrepresenta o Ent o seria necess rio selecionar duas escolas das nove restantes como mostrado na Tabela 17 3 IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 237 TABELA 17 2 Base Amostral para 10 Escolas e Pondera es de Desenho Associadas se Selecionadas Medida de tamanho Medida cumulativa Fonte Compila o dos autores TABELA 17 3 Base Amostral Ajustada ID da escola da escola do tamanho Pondera o d
261. ometidos Muitos dos t picos abordados na Parte I ser o apresentados mais de talhadamente em partes posteriores deste volume bem como em outros volumes da s rie PREPARA O PARA A AVALIA O NACIONAL DESENHO E PLANEJAMENTO ste cap tulo descreve as principais quest es a serem consideradas no desenho de uma ava lia o nacional Apresenta a import ncia da cria o de uma comiss o para supervisionar o desenho e a implemen ta o identifica a seguir quest es essenciais do planejamento e conclui com uma descri o de quest es or ament rias COMISS O NACIONAL DE COORDENA O CNC Em muitas embora n o em todas avalia es nacionais o Minist rio da Educa o indica uma Comiss o Nacional de Coordena o CNC ou Comiss o Consultiva a fim de supervisionar o desenho e a implementa o da avalia o Essa comiss o apresenta diversas vantagens Primeiro pode ajudar a assegurar que a avalia o tenha status e credibilidade aos olhos dos rg os p blicos institui es de treinamento de professores organiza es que representam professores e de outras partes interessa das na comunidade Segundo pode contribuir para a identifica o das principais quest es de pol tica a serem abordadas na avalia o Terceiro pode servir como canal de comunica o entre as partes interessadas da rea educacional uma considera o importante tanto para o desenho de 12 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE
262. omo ferramenta para destacar poss veis erros nos dados do Access e esses dados s o atualizados manualmente no banco de dados do Ac cess Portanto esse m todo limita as poss veis oportunidades de erro existentes ao se transferirem dados de uma aplica o para outra Nota Durante uma avalia o nacional real deve se criar uma c pia backup do banco de dados original pr editada Esse registro inicial pode ser um recurso incalcul vel especialmente se surgirem perguntas sobre poss veis mudan as equivocadas IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 155 EXERC CIO 11 1 Verifica o de Dados Usando o Excel As seguintes etapas possibilitar o que voc verifique dados usando o Excel 1 Abra NAEA Data Cleaning Exercises Data Verification Exercise xlsx Obser ve que os dados das duas fontes est o colocados em duas planilhas separadas chamadas Dados Finais e Punch 2 A Planilha 3 Verifica o ser usada para verificar os dados 2 Selecione o bot o do Office Salvar como e salve o arquivo como MY_DATA_ VERIFICATION XLSX em sua pasta MY SOLUTIONS 3 Na planilha Verifica o digite a f rmula na c lula A4 com a seguinte sintaxe Final data A4 Punch 2 1A4 Essa formula comparar o dado na c lula A4 da planilha Da dos finais com o dado na c lula A4 da planilha Punch 2 Clicar e arrastar essa f rmula sobre todas as c lulas criar f rmulas similares para toda a s rie de da
263. omparadas e as discrep ncias foram resolvidas A folha de verifica o tamb m ajudou a identificar os respons veis pela corre o que cometiam erros s rios com certa regularidade Recomenda se a realiza o de intervalos durante o trabalho pois a qualidade da corre o e do registro dos dados pode ficar comprometida se os respons veis ficarem cansados e perderem a concentra o Reco menda se tamb m que sejam fornecidos lanches adequados Em uma avalia o nacional os respons veis do governo pela corre o amea aram entrar em greve porque n o haviam recebido lanche entre as refei es s vezes quando itens de m ltipla escolha s o corrigidos poss vel que os respons veis pela corre o n o consigam ler ou compreender al gumas respostas ou podem ter duas respostas para determinado item Em vez de deixar a solu o desses problemas para a fase de registro de dados os respons veis pela corre o devem resolv los logo e registrar suas decis es No caso de n o se chegar a um acordo a decis o final cabe ao avaliador l der Quando itens de m ltipla escolha s o corrigidos pelo computador os procedimentos para lidar com respostas duplas far o parte do programa de corre o REGISTRO DE DADOS A aten o ao detalhe e o registro cuidadoso dos dados ajudar o a reduzir o tempo gasto na limpeza de dados e na retifica o de erros Essa se o esbo a os princ pios gerais que se relacionam com a equipe e as inst
264. ona e para computar os pesos de replica o s o dadas no Anexo IV D As instru es do SPSS podem facilmente ser modificadas para trabalhar com tamanhos diferentes de amostra O arquivo MYSAMPLSOL RESP2STGWTJK cont m as respostas os pesos finais da estima o e as zonas jackknife e unidades jackknife 2 Obtenha estimativas para m dia de idade pontua o m dia em matem tica e propor o de alunos com uma pontua o em matem tica de pelo menos 230 para a popula o geral de alunos e para os meninos As indica es s o dadas de modo que as estimativas de vari ncia jackknife sejam computadas usando se o WesVar 3 Abra o WesVar Ent o se necess rio veja as etapas 8 a 17 no Anexo IV D para ter instru es sobre como criar a vari vel derivada MAT230 e como adicionar alguns r tulos a RESP2STGWTJK Salve a s rie de dados Clique em New WesVar Workbook e selecione MYSAMPLSOL RESP2STGWTJK Voc pode digitar um nome para o workbook para refer ncia futura Lembre se de salv lo Clique em Table em seguida clique em Subset Detail e digite STATUS partici pant na caixa Subpop string Clique em Add Table Set Single Verifique se Missing RS2 e RS3 n o est o clica dos e que apenas Value esteja clicado Mova GENDER de Source Variables para Selected e clique em Add as New Entry Clique em Computed Statistics no painel esquerda e clique em AGE em Source Variables Em seguida clique em BlockMean
265. onais aplicar o teste e um pequeno questio n rio aos alunos e tamb m solicitar que voc e o professor da turma respondam a question rios Todas as informa es coletadas em sua escola ser o tratadas com sigilo e os resultados de alunos ou escolas individuais n o ser o revelados As infor ma es coletadas ser o utilizadas pelo Minist rio da Educa o para ajudar a identi ficar os pontos fortes e fracos de aprendizado no sistema O minist rio solicita essas informa es para ajudar a melhorar a qualidade do aprendizado de nossos alunos e o NAMA conta com o apoio e a aprova o do Sindicato Nacional de Professores O A sr a n o precisa fazer preparativos especiais para a avalia o mas por favor in forme os alunos uma semana antes da avalia o Os alunos n o precisam preparar se para o teste Cada aluno receber um l pis para responder ao teste e ao question rio e ser autorizado a ficar com o l pis ap s a conclus o da avalia o Sinceramente Diretor Centro Nacional de Pesquisas Educacionais Fonte Compila o dos autores z spepuoud oes oe3imnsgns ap sejoosy spepuoud ogs ensoule ep sed e sepeuoldejas sejoos3 e 28661 SSWIL ep opeidepy oquos g l4 c c c 9389 op siem zew sop siem zew equedojued ogu ejooso ep ejo gt so ep Jopeu ejoosa ep ejoos3 eejoDsa ep ejeq o u wiq 2 sop ojmu no ajuedinieg
266. onse 9 missing Age Number l age lt 8 2 age is 8 3 age is 9 4 age gt 9 8 multiple response 9 missing EB Testtanguage Number 1 Yes 2 No 8 multiple 9 missing Field Properties General Lookup Field Size Format Decimal Places Input Mask Caption Default Value Validation Rule Validation Text Required Indexed Smart Tags Text Align Long Integer Auto 10r20r80rB0r9 1 Yes 2 No multiple 9 missing No No General Fonte Exemplo do autor usando o software Access A field name can be up to 64 characters long induding spaces Press Fl for help on field names 6 Preencha os campos Default Rule Validation Rule e Validation Text para as va ri veis Age e TestLanguage e salve a tabela CTRL S 140 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Prepara o da tabela para receber dados de item A maior parte do tempo gasto no registro de dados envolve a inser o das respostas aos itens do teste e aos question rios aplicados na avalia o nacional O processo de prepara o da tabela para os dados de item similar ao usado para as informa es demogr ficas do aluno O tipo de campo para cada resposta geralmente num rico Os dados de tipo de texto s o usados para registrar respostas que envolvem palavras sen ten as e trechos mais longos Inser o de dados Neste est gio foi criada a tabela em que ser o registra
267. onte dos desse campo de des cri o como instru o para o pessoal respons vel pelo registro dos dados e o texto aparece na base do formul rio quando cada c lula espec fica de registro de dados for selecionada Dupla digita o Embora a dupla digita o seja dispendiosa e consuma tempo fre quentemente recomendada como o m todo para minimizar erros de registro de dados A t cnica envolve dois operadores independen tes que devem registrar todos os dados e depois comparar suas sa IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 129 das para identificar inconsist ncias A raz o fundamental para essa metodologia identificar erros de digita o O erro mais dif cil de controlar o de digita o Se o encarregado do registro de dados de uma metodologia de chave nica digitou por exemplo 2 em vez de 3 quando ambas s o respostas v lidas n o h como detec tar esse erro Se nenhum operador cometer erro os arquivos ser o id nticos Entretanto se um operador digitar uma resposta errada haver uma discrep ncia entre os dados A verifica o de dados entre arquivos pode ser feita com programas de software como SPSS Data Entry module UltraEdit com capacidades UltraCompare Win Dem e Excel Os tr s primeiros programas apresentam solu es f ceis de usar e confi veis para a quest o da consist ncia entre arquivos mas s o complementos onerosos ao pacote de softw
268. op oleuonsanD sazuapa gt sjuy oun y op se gt ijeJsBowsd saoseusoju esed ouguonsano Op oipo ap osn IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL TABELA 9 1 Explica o dos T tulos de Colunas no Livro de C digo 121 Termo Explica o Coment rio Campo Esse o nome que identifica as informa es contidas na c lula de dados por exemplo Nome O campo do nome deve ser original e significativo Tipo de pergunta Tr s tipos de pergunta s o poss veis MC M ltipla escolha CR Resposta constru da ou resposta curta TM Resposta que requer o julgamento do professor As CRs num ricas podem ser corrigidas por programas de an lise como SPSS Tipo de Dados Identifica o formato dos dados no campo em geral os dados s o num ricos N ou texto T Alguns programas se referem aos tipos de dados de texto como string ou alpha As vari veis num ricas do SPSS s o desdobradas em categorias nominais ordinais e de escala Respostas v lidas A lista completa de respostas previstas e aceit veis que podem ser encontradas nos dados para este campo Outros valores s o inv lidos e devem ser investigados duplicados tipicamente 8 e ausentes tipicamente 9 Caracteres O n mero m ximo de caracteres que Observe que os valores podem ser coletados neste campo que incluem lugares especificado aqui Por exemplo
269. opuesn jeaysowy epueueA ep oesewsy eDAl VISEVL IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 255 orienta o dada anteriormente Com a r plica 1 como exemplo no es trato 1 JK a unidade 1 JK exclu da e seu peso JK replicado transfor ma se em zero consequentemente para compensar a perda da unidade 1 JK o peso JK replicado da unidade 2 JK corresponde a duas vezes seu peso 20 2 x 10 Como nenhuma das unidades restantes foi alterada seus pesos JK replicados s o iguais ao seu peso final correspondente O mesmo procedimento aplicado por sua vez a cada par JK Aqui a pontua o m dia estimada 5 wi 8x21 10x 47 Y an lexo yw 8 10 348 a primeira estimativa ay Dus Ox 21420 x 274 410 x 47 ya 0 20 8 10 replicada Y 35l eas cinco estimativas JK replicadas variam de 33 2 a 35 3 para uma vari ncia J e E A estimada de Vy Yoomplero YP Y omple 3 6 avarianciaJK estimada 3 4 quando as diferen as s o medidas em torno da m dia das estima tivas JK replicadas Como j mencionado poss vel mostrar que o jackknifing como fei to aqui fornecer aproximadamente estimativas de vari ncia sem vi s desde que a quantidade Y estimada represente uma caracter stica pa dr o tal como uma soma uma m dia uma rela o ou um coeficiente de correla o Estimativas de quantidades como medianas percentis e coeficientes de Gini r
270. or doen a por terem de ajudar os pais ou por alguma outra raz o Esses alunos registrados com o status ausente podem ser considerados verdadeiros n o respondentes Eles ain da est o na popula o e em outro dia teriam sido testados Podem ser considerados perdas ao acaso Assim os pesos dos membros restantes da amostra incluindo aqueles que abandonaram permanentemente a escola os desistentes porque est o na base amostral e eram membros da popula o na poca em que as pondera es de desenho foram definidas devem receber um ajuste de pondera o para n o res posta Mais tarde quando as estimativas para a popula o pesquisada forem com putadas os elementos n o respondentes da amostra ausentes desistentes e outros ser o filtrados A equipe de amostragem deve obter informa es sobre o status de participa o de cada aluno amostrado participante ausente desistente ou algum outro status da equipe de coleta de dados para cada escola e aluno participante Essa informa o ter de ser regis trada e inclu da no arquivo da amostra de maneira similar descrita aqui As respostas dos alunos e sua pondera o do desenho para o desenho SRS s o arma zenadas em MYSAMPLSOL SRSRESPONSES A vari vel STATUS indica quem um n o respondente A vari vel RESP criada como marcador para resposta ou n o resposta Como o SRS n o usa informa es sobre escolas ou turmas somente os ca sos no arquivo necess
271. or usando o software SPSS FIGURA 10 9 C DO EXERC CIO Registro 1 com os Dados Inseridos frm Yr3 Maths data StudiD 1294302 GivenName Aaron FamilyName Anama SchoolName Eaglehawk School YearLevel 3 Gender 1 Age 2 TestLanguage 1 Q3AqQ01 15 Q3Aq08 1 Q3AqQ02 3 Q3AqQ03 3 Q3Aq03 4 Q3Aq10 2 Q3AQq04 28 G3Aqu 1 Q3Aq05 1 Q3Aql2 1 Q3Aqg06 24 Q3Aq13 99 Q3Aq07 1 Q3Aq14 1 Fonte Exemplo do autor usando o software Access 148 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERC CIO 10 9 continua o Sempre que feita uma entrada inv lida uma caixa de di logo alerta o operador sobre o erro Na Figura 10 9 D do exerc cio por exemplo o operador de registro de dados tentou inserir 6 no campo YearLevel quando os nicos valores v lidos s o 2 3 e 4 Se crit rios incorretos de valida o forem especificados no desenho original da tabela por exemplo somente valores de 1 2 3 ou 9 s o definidos como v lidos quando 4 deve tamb m ser uma resposta v lida e estiverem impedindo o operador de registro de dados de inserir um valor v lido poss vel corrigir os crit rios de valida o adi cionando esse valor v lido s propriedades da tabela na visualiza o do desenho da tabela que o formul rio est atualizando veja o Exerc cio 10 6 para obter instru es sobre o ajuste de regras de valida o Procure testar sua tabela e formul rio ant
272. oram apresentadas rotinas para minimizar os erros de registro de da dos usando o Access A Parte II abordou a cria o das vari veis derivadas usando os comandos de menu Transform Compute Variable no SPSS Statistical Package for the Social Scien ces Com essas rotinas terminadas se as vari veis adicionais tiverem sido criadas fora do Access interessante importar os arquivos de volta ao Access de modo a permitir a fus o dos dados Este cap tulo descreve o processo de exporta o de dados do SPSS para o Access e fornece al gumas rotinas teis de verifica o OS PERIGOS DA TRANSFER NCIA DE DADOS ENTRE PROGRAMAS Sempre preciso tomar cuidado ao se transferirem dados entre arquivos ou uni los de fontes diferentes porque podem ocorrer erros Esses erros podem ser impl citos ou expl citos Erros impl citos surgem porque os programas armazenam ou codificam dados de maneira diferente e com isso alguns dados podem ser irrevogavelmente perdidos ou alterados no processo de transfer ncia Um erro comum ocorre quando o tipo de item para um campo de dados em um aplicativo difere daquele em outro aplicativo Por exemplo algu m pode escolher armazenar determinados dados num ricos como texto de modo que os d gitos sejam armazena 166 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL dos exatamente como foram digitados Esse m todo bastante usado para manter a integridade de um n mero iden
273. ores de sala de aula aplicam os testes de ava lia o nacional em seus pr prios alunos Com elevada frequ ncia no en tanto professores diferentes daqueles que ensinam aos alunos que est o respondendo aos testes ou indiv duos externos escola s o encarregados 28 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL dessa tarefa Pr ticas locais de trabalho n veis de recompensa financeira e disponibilidade de pessoal desempenham papel importante na sele o dos aplicadores de testes Entre o pessoal respons vel pela aplica o de testes est o professores incluindo os professores aposentados inspe tores escolares instrutores de professores funcion rios encarregados de exames p blicos e estudantes universit rios especialmente alunos dos cursos de Educa o e Psicologia Em alguns pa ses a coleta de dados encaminhada a uma institui o especializada nessa atividade Os candi datos a aplicar testes devem ter as seguintes caracter sticas e Boa aptid o de organiza o e de comunica o e Experi ncia de trabalho em escolas e Confiabilidade capacidade e disposi o para seguir as instru es risca Algumas poss veis vantagens e desvantagens do uso de pessoal com forma o diferente encontram se resumidas na Tabela 2 1 O forneci mento de orienta es claras e treinamento intensivo pode ajudar a resol ver as eventuais desvantagens existentes Como a aplica o inadequad
274. orma o tamb m pode ser incorporada ao processo de pondera o Existem duas raz es principais para usar dados auxiliares na estima o Primeiro frequentemente importante fazer com que as estima tivas amostrais correspondam aos totais da popula o conhecida Por exemplo pode ser desej vel fazer com que os n meros estimados de alunos do sexo masculino e feminino correspondam aos n meros oficiais de meninos e meninas matriculados na escola Segundo a p s estratifica o pode aprimorar a precis o das estimativas Lembre se de que se costuma considerar que um estimador com uma va ri ncia amostral pequena uma medida de erro amostral considerado exato Na fase de desenho entretanto informa es auxiliares devem estar dispon veis para todas as unidades na base amostral Na estima o os dados auxiliares podem ser usados para aumentar a precis o das estimativas desde que os valores das vari veis auxiliares sejam coletados para as unidades pes quisadas e os totais ou estimativas da popula o estejam dispon veis para essas vari veis auxiliares em outra fonte confi vel 212 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL As informa es auxiliares tamb m podem ser usadas para corrigir taxas diferentes de n o resposta em subgrupos da popula o Elas ainda podem ajudar a ajustar as inadequa es de cobertura que ocorrem quan do a popula o pesquisada difere da popula
275. orque n o forneceria dados com informa es suficientes para os formuladores de pol ticas Em vez disso a equipe optou pela estratifica o por prov ncia tr s no Nordeste e duas no Sudoeste O c lculo de estimativas seria um processo simples de adi o quando as estimativas em n vel de prov ncia estivessem dispon veis Al m disso se os arquivos para cada estrato de prov ncia forem classi ficados por densidade de cidade isto urbana ou rural antes da sele o das escolas a amostragem sistem tica seja com probabilidade igual ou com probabilidade proporcional ao tamanho da cidade garantir que algumas escolas de reas urbanas e algumas de reas rurais sejam sele cionadas gerando estimativas de dom nio razoavelmente eficientes se a an lise urbana comparada com a an lise rural for considerada impor tante A equipe de avalia o nacional percebeu que era desnecess rio usar as cidades diretamente como estratos teria gerado 33 estratos um n mero com apenas duas escolas eleg veis ALOCA O DA AMOSTRA ATRAV S DOS ESTRATOS Ap s a popula o ser dividida em estratos a equipe de avalia o nacio nal com a orienta o do conselheiro de amostragem deve determinar IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 89 quantas unidades de amostra devem ser usadas para cada estrato Essa etapa conhecida como aloca o da amostra As probabilidades de inclus o isto a probabilidade
276. os talvez precisem ser traduzidos evidente que os tradutores devem ter um alto n vel de compet ncia nos idiomas envolvidos na tradu o e devem estar familiarizados com o conte do do material que traduzem aconselh vel ter um m nimo de 26 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL dois tradutores por idioma Ambos podem traduzir o mesmo teste ao mesmo tempo comparar os resultados e onde surgirem inconsist n cias dialogar para chegarem a um acordo Esse processo denominado tradu o simult nea Uma alternativa pedir a algu m para traduzir do primeiro idioma para o segundo e em seguida entregar o teste tra duzido a outro tradutor que ent o traduzir do segundo idioma para o primeiro As vers es s o comparadas e as discrep ncias s o resolvidas por meio de di logo Esse processo denominado retrotradu o Ape sar dos melhores esfor os dos tradutores por v rias raz es incluindo diferen as estruturais entre os idiomas muito dif cil ou at mesmo imposs vel obter a equival ncia perfeita entre um teste e sua vers o traduzida Os testes piloto proporcionam uma boa oportunidade para a re mo o de termos ou palavras linguisticamente dif ceis Em Gana por exemplo pediu se aos alunos que traduzissem algumas palavras do ingl s para os idiomas locais durante um teste piloto a fim de se iden tificarem as palavras comumente mal interpretadas De forma seme lha
277. os utilizadas por bancas examinadoras t m experi ncia consi der vel tanto na disposi o das perguntas e dos gr ficos que as acompa nham quanto em garantir a seguran a dos testes Algumas medidas de economia de custos nessa fase incluem Prepara o de cadernos de teste para caber em um n mero par de p ginas Revis o cuidadosa especialmente das vers es finais o que pode aju dar a evitar a reimpress o dos cadernos de testes por causa de erros gr ficos ou tipogr ficos s rios Dar gr fica tempo suficiente para imprimir os testes e question rios evitando o pagamento de horas extras quando o trabalho tem de ser conclu do em um prazo relativamente curto ou quando a gr fica tem outras prioridades Tr s pessoas independentes devem revisar as vers es finais de todos os materiais utilizados em uma avalia o nacional Esse sistema pre 40 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL fer vel a pedir que o mesmo revisor examine os documentos tr s vezes Quando as tiragens s o pedidas devem ser solicitadas c pias adicionais de cada pacote para as escolas antecipando se necessidade de escolas substitutas e de alguma perda O Volume 2 desta s rie Desenvolvimento de testes e question rios para avalia o do desempenho educacional tem uma extensa se o sobre layout e impress o PREPARA O DAS ESCOLAS L deres eficazes de equipes de avalia o nacional fazem
278. osta foram Estrato 1 urbano Wai W414 4 x 1 177 4 706 Estrato 2 rural Wrp2 Wary 6 x 1 428 8 571 Assim cada respondente no estrato urbano do arquivo de amostra re cebe um peso final de 4 706 e cada respondente no estrato rural recebe IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 207 um peso final de 8 571 ver Tabela 14 3 Ou seja cada aluno da rea rural representou aproximadamente 4 7 alunos da rea urbana enquan to cada aluno da rea rural representou aproximadamente 8 6 alunos TABELA 14 2 Amostra Aleat ria Simples Estratificada Popula o Urbana e Rural Tamanhos de Amostra e Taxas de Resposta Tamanho da Tamanho da N mero de Estrato popula o amostra respondentes Urbano N 400 n 100 n 85 Rural N 600 n 100 n2 70 Fonte Compila o dos autores TABELA 14 3 Amostra Aleat ria Simples Estratificada Popula o Urbana e Rural Tamanhos de Amostra Taxas de Resposta e Pesos Ajustados para N o Resposta Tamanho da Tamanho da N mero de Pondera o Peso Estrato popula o amostra respondentes do desenho ajustado Urbano N 400 n 100 n 85 4 4 706 Rural N 600 N 100 Ng 70 6 8 571 Fonte Compila o dos autores Em alguns exemplos o ajuste para a n o resposta pode ser poss vel ou necess rio nas classes definidas por vari veis outras do que aquelas usadas para a estrat
279. ou 8 27 x 11 69 polegadas Na maioria das vezes os livretos s o agrupados por turma e por escola Se um livreto de testes de determinada mat ria tem 1 5 mil metro de espessura e a amostra na cional inclui 5 mil alunos necess rio haver um m nimo de 7 5 metros de espa o de armazenamento Ser necess rio espa o adicional de armazenamento para livretos de testes em outras mat rias curriculares para question rios de alunos e de professo res e para manuais de administra o e dos coordenadores da escola bem como para correspond ncia material de embalagem e outros documentos relacionados com a avalia o nacional Fonte Compila o dos autores Equipamentos e suprimentos A quantidade e a natureza dos equipamentos e materiais que s o ne cess rios variam de acordo com a dimens o da avalia o nacional e das condi es locais O equipamento b sico essencial inclui IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 33 e Telefones mesas cadeiras escaninhos estantes mesas de embala gem arm rios e carrinhos para transporte de instrumentos e Material de escrit rio folhas de papel blocos de papel cartuchos de impress o discos fitas furadores tesouras grampeadores canetas l pis fita adesiva barbante etiquetas cola e canetas de ponta grossa e Papel para embalagem e caixas ou sacos e Ve culos para transporte dos testes e outros materiais conforme ne cess rio O or a
280. ova tabela do Access 5 Destaque Sheet 1 e em seguida clique em Next 6 Deixe a caixa First row contains column headings assinalada e clique em Next 7 Atela seguinte permite que voc especifique informa es para os dados que esta importando Para as finalidades deste exerc cio clique apenas em Next 8 Essa tela permite que voc fa a os ajustes preliminares para essa tabela de dados Clique em Choose my own Primary Key e selecione SchoolCode no menu sus penso Em seguida clique em Next 9 Salve a tabela como tbl Schools Em seguida clique em Finish Sua tabela de dados importados sobre a escola aparecer agora na se o Tables do menu All Access Objects IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 169 tabelas diferentes Neste exemplo os outros dados a serem importados e vinculados se relacionam s escolas e s o armazenados em um arquivo central do Excel chamado SCHOOLS XLSX O campo SchoolName deste arquivo pode tamb m ser usado para todas as finalidades de relat rios oficiais que pedem que o nome da escola seja anotado corretamente por exemplo para imprimir o nome da escola no certificado de teste de um estudante no lugar do campo SchoolName na tabela dos dados de resposta do aluno que pode ser grafado errado pelo aluno e por isso deve ser usado apenas para fins de verifica o Depois que todos os dados a serem consolidados ou interrogados forem importados no formato tabela
281. p s a coleta de dados A Parte II Metodologia de Amostragem Escolar apresenta uma metodologia para a sele o de uma amostra de alunos que ser represen tativa dos alunos no sistema educacional Ser o descritos os princ pios subjacentes amostragem bem como os procedimentos detalhados que podem ser implementados em praticamente qualquer avalia o nacio nal Os leitores podem acompanhar os procedimentos de amostragem trabalhando com um conjunto realista de materiais de treinamento e verificando seu progresso mediante a consulta de imagens capturadas de telas e arquivos de dados com solu es Em www elsevier com br implementacao voc encontrar arquivos de dados de suporte Para reproduzir as v rias etapas da avalia o de demons tra o o usu rio precisar do programa SPSS Statistical Package for the Social Sciences Pacote Estat stico para as Ci ncias Sociais incluindo o m dulo de Amostras Complexas eo WesVar de Westat O SPSS tamb m usado para algumas se es de an lise no Volume 4 O software Wes Var e seu manual de usu rio podem ser obtidos no website do Westat Uma descri o de como definida a popula o de interesse seguida por todos os passos envolvidos na cria o de uma base de amostragem Ser apresentado o caso de um pequeno pa s fict cio Sentz cujos dados ser o utilizados para os v rios exerc cios Essa parte do volume termi na com uma descri o dos conceitos b sicos
282. p tulo IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 91 EXERC CIO 8 1 C lculo do Tamanho da Amostra e Aloca o aos Estratos De acordo com as informa es mais recentes dispon veis do Minist rio da Educa o de Sentz espera se que o tamanho m dio da turma seja de aproximadamente 37 alunos As sugest es dos colegas em pa ses vizinhos com caracter sticas educacio nais similares sugerem que a correla o intraclasse para a pontua o de matem tica escolhida como a principal vari vel alvo tende a estar entre 0 25 e 0 30 Essa taxa de homogeneidade iguala se a um efeito do desenho em algum lugar entre 10 e 12 Ao calcular o tamanho da amostra a equipe de amostragem optou pelo ponto m dio dessa escala 11 Assim para obter um tamanho de amostra eficaz equivalente a 400 abaixo da SRS seria necess ria uma amostra de 4 400 alunos para o desenho proposto Como o plano envolve a escolha de uma nica turma por escola seleciona da a equipe deve selecionar 4 400 37 118 9 escolas Com finalidade pr tica esse n mero pode ser arredondado para at 120 escolas O Minist rio da Educa o havia recomendado que a equipe de avalia o nacional otimizasse a precis o das estimativas nacionais Logo a equipe usou uma aloca o de amostra proporcional ao tamanho dos estratos neste caso as cinco prov ncias em que o MOS a medida relevante do tamanho Segundo essa abordagem de alo ca o
283. padr o real usado na maioria das avalia es nacionais Os arqui vos com as respostas est o na pasta 2STG4400 assim chamada porque o desenho ser uma amostra de dois est gios com um tamanho previsto de 4 400 alunos O desenho inclui a estratifica o geogr fica ou admi nistrativa nesse caso as cinco prov ncias de Sentz O desenho da amos tra envolver a sele o inicial das escolas Fase 1 seguida pela sele o de uma turma por escola selecionada Fase 2 Caso os pesquisadores queiram isolar o efeito dos professores no desempenho dos alunos do desempenho da escola mais de uma sala de aula seria selecionada Se estiverem interessados apenas no efeito da escola a amostra de alunos deve ser selecionada a partir da s rie alvo completa independentemente da turma Por raz es or ament rias e pr ticas Sentz decidiu examinar uma sala de aula inteira de cada escola O tamanho desejado da amostra de alunos se baseia na informa o dispon vel sobre o tamanho da turma a correla o intraclasse os efeitos previstos do desenho e as necessidades anal ticas e de relat rio da avalia o Na primeira fase as escolas s o alocadas em propor o ao n mero de alunos eleg veis em cada prov n cia e s o selecionadas segundo a probabilidade sistem tica proporcional amostragem do tamanho PPS Em seguida realiza se uma amostra aleat ria simples de uma turma inteira por escola NOTA 1 Em algumas avalia es principais tais com
284. para o Access poss vel criar consultas para procurar informa es criar novas tabelas com informa es espec ficas ou realizar outras investiga es sobre os dados para verificar seu conte do e qualidade A se o a seguir descreve dois processos essenciais de limpeza de dados O primeiro descreve a fus o dos dados de dois arquivos um processo que pode levar muito tempo e mostrar se suscet vel a erros usando outros programas de software como o Excel Portanto extremamente importan te criar um arquivo nico para servir como nica fonte de dados para todas as an lises nacionais de avalia o nacional A segunda se o descreve como usar o Access para procurar registros duplicados Os digitadores e even tualmente os operadores do scanner s vezes se distraem e inserem de forma acidental a mesma informa o duas vezes A menos que seja usada uma rotina espec fica para verificar a exist ncia de duplica es essa forma de problema de limpeza de dados com frequ ncia dif cil de detectar FUS O DE DADOS DE TABELAS DIFERENTES USANDO CONSULTAS DO ACCESS Como os testes em papel ou folhas de resposta dos alunos cont m rela tivamente pouca informa o sobre antecedentes que poderiam ser teis para os formuladores de pol ticas interessados nos resultados de uma avalia o nacional pode ser necess rio ter acesso a outras fontes de in forma o sobre escolas e alunos Os exerc cios anteriores descreveram o proce
285. pen Data Look in JMYSAMPLSONSTUDENTSRSAMPLE SAV Open Selecione Data Sort cases e mova STUDENTID para Sort by Clique em OK 3 Una as respostas e a amostra de alunos Exclua algumas vari veis estranhas e re tenha apenas os registros da amostra Na vida real essas a es corresponderiam s fases de coleta de dados e captura de dados Traga o arquivo RESPONSES para a tela Selecione Data Merge files Add varia bles Escolha STUDENTSRSAMPLE em Open dataset e clique em Continue Clique em Match cases on key variables e mova STUDENTID de Excluded variables para Key variables Clique em Non active dataset is keyed table Clique em OK e ent o clique em OK novamente As vari veis PopulationSize SampleSize e SampleWeight devem agora aparecer como vari veis da s rie de dados RESPONSES A maioria dos registros tem c lulas vazias Voc reter os registros para os 400 alunos da SRS e n o para todos os alunos Use os seguintes comandos Data Select Cases Use filter variable Mova PopulationSize para Use filter variable Clique em Copy selected cases Digite SRSResponses na caixa Dataset name e clique em OK Feche RESPONSES e n o salve nada Traga SRSResponses para a tela e salve o ar quivo como MYSAMPLSOL SRSRESPONSES SAV A Figura 14 3 A do exerc cio cont m o arquivo de dados salvo de tr s alunos que inclui um trecho dos resultados do teste para a amostra de 400 alunos pronto para pondera
286. perior e o n vel 5 primeiro est gio do ensino su perior est o dispon veis somente na Capital Nesse estudo de caso s o demonstrados dois projetos de amostra O primeiro um caso para refer ncia uma amostra aleat ria simples de 400 alunos da lista nacional O n mero foi selecionado porque o tamanho de amostra alvo eficaz na maior parte das pesquisas sobre avalia o educacio nal nacional e internacional A pasta SR 400 do material encontrado em www elsevier com br implementacao cont m os arquivos com as respos tas para essa amostra Em geral imposs vel executar um desenho de amos tragem aleat ria simples SRS por causa da aus ncia de uma lista com a base amostral completa e atualizada de todos os alunos eleg veis Al m disso mesmo que uma lista desse tipo estivesse dispon vel o projeto SRS 74 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL seria muito oneroso porque envolveria a sele o de alunos em um n mero muito grande de escolas envolvendo apenas um ou dois alunos em escolas selecionadas A aplica o dos testes e das medidas de controle da qualidade absorveria grande parte do or amento da avalia o nacional O exemplo de SRS usado aqui principalmente com fins pedag gicos e para permitir a compara o dos resultados usando essa abordagem com os resultados de um desenho real ou recomendado O segundo desenho referenciado como desenho recomendado o projeto
287. pesos de replica o para computar o erro amostral Ainda na mesma tela clique no bot o scale ou clique em Data Create weights Em Source Variables mova JKZONE para VarStrat mova JKREP para VarUnit e clique em JK2 em Method Se voc cli car em OK o prefixo de replica o ser o RPL padr o mas voc pode mud lo para JK como exibido na Figura IV D 2 Clique em OK e aceite sobrescrever o arquivo 7 O WesVar adicionou pesos de replica o para a estima o do erro amostral e o arquivo agora se parece com a Figura IV D 3 8 Ainda na mesma tela clique no bot o recode o bot o com a seta para baixo na parte superior da tela ou clique em Format Re code 262 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Zonas Jackknife no WesVar E Create Weights RESP2STGWTJK var Original Data File D NAEA SAMPLING MyS amplSol RES Method C BRR Full Sample Weight FINALWEI C JK1 E a C JK2 Replicate Prefix JK C FAY C JKn Source Variables Fay K em C VarStrat Options fia Max VarStrat SR Units Varnit Peake Max VarUnit i ed Browse OK Cancel Help Fonte Exemplo do autor usando o software WesVar 9 Clique em New Continuous to Discrete para converter as pon tua es de matem tica em uma vari vel bin ria que indique aque les que obtiveram ou n o pelo menos 230 pontos 10 Digite MAT230 como New variable name Destaque
288. ples e b sicos para se extra rem amostras aleat rias mas podem n o ser os m todos mais eficientes Uma estrat gia eficaz com frequ ncia emprega a informa o dispon vel nas unidades de interesse criando grupos ho mog neos de unidades chamados de estratos strata e aplica algum m todo b sico de amostragem dentro dos estratos Antes da sele o da amostra a equipe de avalia o nacional pode querer organizar a amostragem de modo que grupos espec ficos de uni dades ou de determinadas reas do pa s sejam cobertos com certeza Os 84 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL formuladores de pol ticas por exemplo podem desejar obter estima tivas do aproveitamento escolar para prov ncias ou regi es ou podem querer examinar dados de grupos lingu sticos diferentes ou de escolas grandes e pequenas equipe pode esperar que as escolhas aleat rias rendam um n mero suficiente de unidades em cada prov ncia ou re gi o para permitir estimativas de confian a Alternativamente ela pode organizar sua estrat gia de amostragem listando primeiro a popula o das escolas nos grupos por exemplo prov ncias ou grupos lingu sticos e ent o selecionar a parte da amostra total de cada um desses grupos Essa estrat gia denominada estratifica o pode ser usada com qualquer m todo de amostragem probabil stica A estratifica o requer mais tra balho no in cio da avalia o nacion
289. ponto em diante voc deve trabalhar com os arquivos localizados em seu disco r gido ou servidor O Anexo III A cont m um breve resumo dos v rios arquivos e um diagrama da estrutura do arquivo usado na Parte III Observe que foi usado o Microsoft Office 2007 para preparar os arquivos Os arquivos 116 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL podem ser abertos no Microsoft Office 2010 Embora as op es no topo de algumas p ginas possam ser ligeiramente diferentes daquelas da vers o 2007 as se es de trabalho de cada programa s o virtualmente id nticas Os quatro avisos seguintes se observados ajudar o a assegurar a exa tid o dos dados usados nas an lises 1 Desconfie Mesmo os sistemas mais sofisticados de avalia o ten dem a ter c digos curinga e registros duplicados ap s os dados terem sido inseridos pela primeira vez Tenha em mente que alguns dados es tar o incorretos e devem ser alterados 2 Seja sistem tico Tenha um plano uma lista de verifica o para identificar as fontes de erro mais prov veis Verifique se h registros du plicados e respostas fora do intervalo Eles geralmente fornecer o indi cadores de poss veis reas com problemas e tamb m trar o informa es sobre a qualidade dos processos de coleta de dados e registro de dados 3 Seja ativo no processo de coleta de dados Uma das melhores ma neiras de assegurar que os dados da avalia o nac
290. pontua o m dia ponderada obtida pelos alunos de cada escola pontua o da es cola e o peso vinculado a cada escola TABELA IV C 1 C lculo da Vari ncia Amostral Estimada de Y Usando a Amostragem Replicada R plica 1 R plica 2 Pontua o Peso da Pontua o Peso da Escola da escola escola Escola da escola escola 1001 21 16 1006 26 18 1002 27 20 1007 32 20 1003 34 16 1008 37 22 1004 38 20 1009 40 20 1005 42 20 1010 47 20 Total ponderado 3 020 92 3 662 100 M dia ponderada 32 8 36 6 Fonte Compila o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 251 A pontua o m dia estimada para a popula o 5 Y 328 36 6 34 7 epl k 2 yy e a vari ncia amostral estimada da pontua o m dia dada pelo m todo de amostragem replicada By YP 828 347 B6 6 347 _ gt Var Yo k S k 1 2 1 Essa metodologia geralmente produz estimativas muito inst veis de vari ncia porque cada grupo replicado geralmente demasiado peque no para fornecer uma estimativa est vel por si pr prio USO DA ESTIMA O JACKKNIFE Os m todos de reamostragem como jackknifing e bootstrapping costu mam ser usados em pesquisas com dados complexos O princ pio da es tima o jackknife excluir por sua vez cada unidade prim ria da amos tra por exemplo escolas recomputar os pesos finais para justificar a perda
291. pre cisa ser limpa Algumas vari veis herdadas da fase de amostragem da escola interferir o nas vari veis do projeto que o SPSS criar automati camente quando a amostra das salas de aula for criada Exerc cio 8 7 104 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL FIGURA 8 7 Class_Frame i class_frame sav CLASS FRAME PASW Statistics Data Editor File Edit View Data Transform Analyze Graphs Utilities Add ons Yvindow Help 202 6 60 weit A fh SRE VOS y 1 senoolia imor ability 1 1 NE 1 qual 1 1 2 89 445 24 38 SE 1101 NE 1 nel 1 1 2 89 445 24 38 3 1103 NE 1 ural 1 3 4 21 553 24 95 4 1103 NE 1 url 13 4 221 553 24 95 5 1103 NE 1 wrt 1 3 4 21 553 24 95 6 1103 NE 1 rural 1 3 4 21 55 3 24 35 7 1104 NE 14 rural 1 4 4 214 535 24 92 8 1104 NE 1 ural 1 4 4 214 53 5 24 92 S no NE 1 rural 1 4 4 214 535 24 92 10 1104 NE 1 ural 1 4 4 214 535 24 92 11 1202 NE 1 ma 2 2 3 153 510 24 66 12 1202 NE 1 nal 2 2 3 153 510 24 66 Meme 1202 NE 1 ural 2 2 3 153 51 0 24 66 14 1203 NE 1 ural 2 3 3 145 487 24 63 Das 1203 NE 1 ural 2 3 3 1465 487 24 63 16 1203 e 1 wrt 2 3 3 145 48 7 24 63 17 1301 NE 1 mira 3 1 3 143 477 24 62 18 1301 NE 1 val 3 1 3 143 477 24 62 Fonte Exemplo do autor usando o software SPSS Ap s a limpeza de dados a base amostral da turma pode ser sub metida ao software Complex Samples para a extra o de um
292. presenta os termos popula o alvo e popula o da pesquisa os primeiros ele mentos b sicos no desenho de uma pesquisa probabil stica Os cap tulos posteriores descrevem a base amostral Ca p tulo 7 e a amostragem probabil stica Cap tulo 8 A primeira tarefa importante identificar e definir a popula o a ser avaliada de acordo com os objetivos da avalia o Essa tarefa envolve a especifica o de quem alunos professores auxiliares diretores ou pais ou o que todas as escolas ou somente escolas que recebem recur sos p blicos ser abrangido pela avalia o O escopo do estudo ajuda a definir as popula es de interesse e determinar se os resultados podem ser comparados com aqueles provenientes de estudos similares A popula o alvo desejada compreende todas as unidades de interesse a popula o para a qual a informa o procurada e as estimativas s o necess rias Em uma avalia o nacional a popula o pode ser composta por todos os alunos matriculados na 5 s rie de todas as escolas no pa s ou por alunos da 5 s rie matriculados somente em escolas p blicas Uma popula o alvo desejada tamb m pode abranger todos os professo res empregados em escolas prim rias Infelizmente em alguns casos raz es pr ticas impedem a pesquisa de alguns elementos de uma popula o alvo e por isso talvez tenham 64 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL de ser
293. professores 14 21 35 de matem tica Propor o de 0 33 0 58 0 45 professores de matem tica Fonte Compila o dos autores COMPUTA O DE ESTIMATIVAS E SEUS ERROS AMOSTRAIS A PARTIR DE AMOSTRAS ALEAT RIAS SIMPLES t este ponto o objetivo dos exemplos e das computa es foi calcular pondera es do desenho e fazer os ajustes necess rios para a n o resposta e dados auxiliares pesos p s estratificados Essas com puta es resultaram em uma s rie de pesos finais de estima o que ser o usados para computar estimativas da popula o para a avalia o nacional A estat stica descritiva simples como a de totais m dias e propor es gerada para praticamente todas as pesquisas Tipos diferentes de estimadores s o apropriados para esses tipos diferentes de vari veis As propor es e contagens totais geralmente s o produzidas para vari veis qualitativas enquanto que m dias e totais s o estimados para vari veis quantitativas Ap s termos apresentado no Cap tulo 14 como com putar pesos de estima o mostramos como usar esses pesos de estima o para obter estimativas para algumas caracter sticas b sicas da popula o tais como totais m dias e propor es O cap tulo mostra tamb m como obter estimativas de precis o frequentemente chamadas erro amostral para essas estimativas Este cap tulo concentra se em amostras aleat rias simples A forma de obter estimativas de er
294. qu ncia para permitir uma EXERC CIO 10 2 P Cria o de Vari veis do Banco de dados Para criar vari veis do banco de dados siga estas etapas 1 Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB 2 Abra TBL_YR3_MATHS_DATA que foi criado no Exercicio 10 1 fazendo um du plo clique nele no menu esquerda em Table As tabelas abrir o automaticamen te no modo Datasheet View Para ver a tabela no modo Design View selecione View Design View na op o Home 3 Mude o valor default ID para StudlD na primeira c lula abaixo de Field Name ver Figura do Exerc cio 10 2 A Observe que essa primeira vari vel foi definida automaticamente como chave prim ria indicada pelo bot o destacado Primary Key na op o Design e pelo pequeno cone Primary Key pr ximo a Field Name Essa designa o significa que cada registro deve conter um valor nico sem du plica es para este campo de forma que cada registro possa ser identificado e verificado e que as outras tabelas possam ser ligadas a esta tabela em um est gio posterior 132 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 10 2 continua o FIGURA 10 2 A DO EXERC CIO Registro de Formatos de Vari veis na Tabela ES TEL VR3 MATHS DATA Field Name Data Type Description W studio Text Student ID a Field Properties General Lookup Field Size 7 a Format Input Mask Caption Default
295. que a lista seja atualizada diversas vezes ao ano Entretanto a popula o pesquisada definida por essa base amostral IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 69 pode n o cobrir a popula o alvo definida se alguns alunos sa rem da escola e outros se matricularem ap s 15 de abril Se o Minist rio tiver uma lista desatualizada ou incompleta das escolas ser necess ria uma abordagem alternativa para se construir uma base amostral Essa abordagem pode de mandar uma maneira mais tradicional e mais trabalhosa de elaborar listas de escolas e de alunos mediante a qual indiv duos percorrer o ruas e estra das listando todas as escolas e os respectivos alunos Sistemas modernos de gest o de informa es educacionais especialmente aqueles que s o ligados aos computadores do Minist rio facilitar o imensamente a tarefa de se de senvolverem bases amostrais atualizadas Ao criar a base amostral preciso atribuir n meros de identifica o nicos para as unidades da base poss vel que os n meros de identi fica o j existam nos arquivos fonte do Minist rio ou da autoridade equivalente Esses n meros oficiais de identifica o devem ser mantidos na base para facilitar a comunica o com o Minist rio sobre os dados por ele fornecidos Tais n meros podem ser suficientes para as necessidades da avalia o Entretanto conforme o trabalho de prepara o progredir TABELA 7 1 Elementos Essenciai
296. quisada Logo a pondera o do desenho w 50 Observe que para um desenho multiest gio que frequentemente usado em uma avalia o nacional de aproveitamento escolar a pro babilidade de sele o de uma unidade a probabilidade combinada da sele o em cada est gio As amostras aleat rias simples e as amostras aleat rias sistem ticas s o desenhos probabil sticos iguais porque cada unidade tem a mesma possibilidade de ser inclu da na amostra Em termos estat sticos no caso da amostragem aleat ria simples SRS a probabilidade de inclus o m n N para cada unidade e a pondera o do desenho w4 1 n N n No exemplo da amostragem aleat ria sistem tica a probabilidade de inclus o n 1 k em que o inteiro k N n a etapa de amostragem Assim para cada unidade a pondera o do desenho w 1 1 k O Exerc cio 14 1 mostra como calcular a pondera o do desenho para uma amostra aleat ria simples SRS EXERC CIO 14 1 F Pondera o do Projeto para uma Amostra Aleat ria Simples de 400 alunos Lembre se de que a primeira amostra selecionada para Sentz considerou uma base amostral perfeita de todos os 27 654 alunos eleg veis da qual se extraiu uma amostra aleat ria simples de 400 alunos Assim a probabilidade de inclus o para cada aluno n n N 400 27 654 e a pondera o do desenho Wg 1 7 27 654 400 69 135 Esse peso foi adicionado ao arquivo da amostra pelo S
297. r amento Os custos a serem arcados pelos rg os p blicos devem ser estabelecidos no in cio Por exemplo o Minist rio da Educa o pode arcar com os custos do tempo gasto pelos inspetores escolares na administra o dos instrumentos da avalia o ou um departamento de censo nacional pode prestar os servi os de um pe rito em amostragem PESSOAL E INSTALA ES NECESS RIAS EM UMA AVALIA O NACIONAL e partirmos do princ pio de que a raz o para a realiza o de uma avalia o nacional o fornecimento de informa es v lidas sobre o aproveitamento dos alunos no sistema educacional as decis es sobre o pessoal que realizar a avalia o e as instala es necess rias s o fatores cruciais poss vel prever todos os tipos de problemas se o pessoal n o for competente ou se as instala es forem inadequadas Por exemplo o teste utilizado talvez n o forne a informa es v lidas e confi veis sobre o desempenho dos alunos na disciplina do curr culo ou constructo a ser avaliado a amostra selecionada talvez n o represente adequadamente a popula o alvo os alunos que respondem aos testes talvez n o sejam os selecionados os aplicadores dos testes talvez n o sigam exatamente as orienta es para a aplica o dos testes os dados coletados nas escolas talvez n o sejam corretamente inseridos no banco de dados a an lise estat stica dos dados talvez n o seja feita de modo apropriado talvez se chegue a conclus es
298. r 9 misssing Q3Aq04 Number Question 4 2 digit value 99 is missing Q3Aq05 Number Question 5 key format nn n missing 99 9 Q3Aq06 Number Question 6 2 digits 99 missing Q3Aq07 Number Question 7 MC 1 4 8 multiple 9 missing Q3A os Number Question 8 MC 1 4 multiple 9 missing Q3Aq09 Number Question 9 MC 1 4 8 multiple 3 missing Q3Aq10 Number Question 10 MC 1 4 8 multiple 9 missing Q3Aqgi1 Number Question 11 Teacher marked must be O or 1 or 9 missing Q3Aq12 Number Question 12 1 digit 9 missing Q3Aq13 Number Question 13 2 digits 99 missing Q3Aq14 Number Question 14 MC 1 4 8 multiple 9 missing Faris Propertes General Lootup Field Sae Long Integer Format Decimal Paces Asto Input Mask Caption Default Value 7 A field name can be up to 64 characters long Validation Rule 0011019 incuding spaces Press FI for help on field Validation Test Teacher marked must be 0 or 1 or 9 missing names Required Yes Incexed No Smart Tags Fonte Exemplo do autor usando o software Access 6 Salve CTRL S a tabela 7 Abra EXERCISE SOLUTIONS MATHS 3A DATA SOLUTION1 ACCDB e com pare a tabela TBL YR3 MATHS DATA SOLUTION1 com sua tabela TBL_YR3_ MA THS DATA Se as duas tabelas diferirem significativamente copie o formato e os dados de campo de TBL YR3 MATHS DATA SOLUTION para a sua tabela IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 1
299. r um n mero suficiente de mesas e caixas para embalar os testes ap s a corre o para que possam ser enviados ao re gistro de dados O Coordenador Nacional o respons vel final pela qualidade da cor re o dos itens Ele deve implementar um procedimento de garantia de qualidade para assegurar a exatid o e a consist ncia da corre o Esse procedimento envolve a nova corre o de uma amostra dos testes cujo tamanho varia de uma avalia o nacional para outra Em alguns casos os avaliadores l deres verificam 50 dos cadernos de testes enquanto em outros casos somente 10 s o verificados Os fatores a serem considera dos na decis o sobre o tamanho da amostra de controle da qualidade in cluem a experi ncia dos respons veis pela corre o o n mero de alunos que est o sendo testados o tempo dispon vel e o tamanho do or amen to As respostas aos itens do teste que s o corrigidos por computador podem ser registradas duas vezes e os resultados comparados Em uma avalia o nacional os respons veis pela corre o corrigiram as respostas de m ltipla escolha nos cadernos de teste No caso dos itens abertos 100 dos itens foram verificados Em outra avalia o as pon tua es foram registradas em outra folha de verifica o e um colega 54 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL corrigiu os mesmos itens sem ver a corre o feita anteriormente Ambas as pontua es foram c
300. rado no Exerc cio 12 1 Seguindo as etapas apresentadas no Exerc cio 12 3 poss vel criar uma consulta a partir da tabela importada que isole as respostas dos alunos aos itens e dados totais de pontua o junto com os antecedentes do aluno e os dados da escola Muitas das a es realizadas aqui ao se unirem dois arquivos visam assegurar que o n mero correto dos registros tenha sido retido que os registros de um arquivo correspondam ao registro correto no segundo arquivo e que as duplicatas tenham sido identificadas e removidas se 186 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL necess rio Essas tarefas foram executadas na Parte II deste volume ao criar as bases amostrais para a probabilidade proporcional ao tamanho da amostra de alunos O SPSS perguntar rotineiramente o que fazer com as duplicatas encontradas durante uma busca de arquivos Consulte esses exerc cios e observe como a busca configurada e executada LIMPEZA E GERENCIAMENTO DE DADOS PASTAS E ARQUIVOS ste anexo descreve os arquivos usados para rea lizar os exerc cios da Parte III Esses arquivos podem ser encontrados em www elsevier com A Tabela TILA 1 descreve os conte dos da pasta Exercises Exerc cios A Tabela III A 2 mostra os conte dos da pasta Exercise Solutions Solu o dos Exerc cios A estrutura de diret rio dos arquivos de limpeza e geren ciamento de dados exibida na Figura III A 1 188
301. rc cio poss vel per ceber que essa vari vel tem um valor em branco do sistema representado pelo 1 que aparece direita de System um de dois valores ausentes especificados nesta tabela outro valor em branco de usu rio representado pelo 1 direita do 9 na primeira coluna FIGURA 11 3 A DO EXERC CIO Valores de G nero em branco G nero Percentual Percentual Frequ ncia Percentual V lido Cumulativo V lido Homem 147 49 5 49 8 49 8 Mulher 148 49 8 50 2 100 0 Total 295 99 3 100 0 Em branco 9 1 0 3 System 1 0 3 Total 2 0 7 Total 297 100 0 Fonte Exemplo do autor usando o software SPSS 4 Para encontrar esse valor em branco na folha de dados em Data View selecione Data Sort Cases Na janela Sort Cases que aparece agora selecione a vari vel Gender e clique sobre a seta para mover essa vari vel para a caixa Sort by Clique em OK O registro com a vari vel Gender em branco aparecer agora como o primeiro registro O valor em branco deve corresponder ao StudlD 4106321 de Simon Patchatt Figura 11 3 B do exerc cio Se o g nero do aluno n o puder ser confir mado voc deve digitar o valor 9 Nesse caso suponha que voc tenha verificado o caderno de teste original que listou 1 para g nero e digite o valor 1 para Me nino nesta c lula Salve CTRL S as mudan as feitas ao SPSS Observe a atualiza o Figura 11 3 C em EXERCISE SOLUTIONS READ
302. registro tiver um erro e os dados estiverem duplicados a tabela dos dados no banco de dados do Access deve ser corrigida 7 Abra TBL MATHS 3A DATA CLEANED em seu banco de dados 8 Para encontrar os registros selecione Find na op o Home CTRL F e digite o n mero 3870204 na caixa de texto Find Clique em Find Next 184 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL EXERCICIO 13 2 continua o O Access localizar o ID do aluno dos arquivos de dados e as duas entradas com o mesmo nome ficar o vis veis Figura 13 2 D do exerc cio H duas raz es pos s veis para dois alunos com o mesmo nome na mesma escola ou dois alunos na amostra da avalia o nacional t m o mesmo nome ou ocorreu um erro no registro e os dados do aluno foram inseridos duas vezes FIGURA 13 2 D DO EXERC CIO Nomes Duplicados Observados SchoollD StudlD GivenName FamilyNam SchoolName YearLevel 3870 3870204 Jack Crokar Oxenford State Schoo 3870 3870305 Jack Crokar Oxenford State School Fonte Exemplo do autor usando o software Access O digitador deve verificar os registros da escola ou os cadernos de teste originais Se for constatado que dois alunos t m o mesmo nome cada um deles deve ser facilmente identificado Voc pode distinguir entre os dois alunos adicionando uma letra correspondente ao segundo nome de um aluno como JohnC para John Charles ou adicionando um n mero a cada primeiro no
303. rio ir fornecer um registro do grau de cumprimento dos procedimentos administrativos adequados Para verificar com seguran a se o teste foi realizado de acordo com os procedimentos prescritos muitas avalia es nacionais designam um pe queno n mero de monitores de controle de qualidade para fazer visitas sem aviso pr vio s escolas Embora todos os aplicadores de teste pre cisem estar cientes de que existe a possibilidade de monitoramento na pr tica apenas 10 a 20 das escolas s o visitadas Pessoas encarregadas do controle de qualidade devem estar familiarizadas com o prop sito da avalia o nacional o desenho amostral e seu significado os pap is do coordenador da escola e aplicador do teste o conte do dos testes e question rios e o registro de observa o em sala de aula Eles devem ser informados sobre como realizar visitas s escolas sem interromper a avalia o em andamento Os monitores devem preencher um formul rio sobre as condi es administrativas e outras condi es em cada escola visitada Exemplos de atividades cujas informa es s o registradas no formul rio utilizado para o TIMSS Tend ncias Internacionais no Estu do de Matem tica e Ci ncias s o fornecidos no Quadro 4 3 QUADRO 4 3 Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS 1 Atividades preliminares do aplicador do teste O aplicador do teste verificou se os cadernos de teste foram fornecidos em n me
304. rnos origi nais do teste devem ser verificados para ver se de fato a escola tem dois alunos com nomes id nticos A necessidade de executar tais verifica es o principal motivo pelo qual os cadernos de teste devem ser cuidado samente arquivados ap s a tabula o a fim de serem recuperados facil mente se for preciso fazer uma consulta O processo similar quele descrito na se o anterior preciso criar uma consulta que use as vari veis para o nome do aluno e ID da escola e que busque identificar quaisquer outros alunos na escola com nomes id nticos O Access re ne as vari veis para criar uma vari vel de busca a fim de encontrar qualquer registro nos dados Se por exemplo forem escolhidos GivenName John FamilyName Smith e SchoolID 1294 a vari vel tempor ria de busca criada no Access 1294 O Access n o procura encontrar todos os alunos de nome John ou todos os alunos de nome Smith mas limita sua busca a todos os alunos na escola 1294 que se chamem John Smith O leitor pode verificar seu progresso nos Exerc cios 13 1 e 13 2 e compa r los com o banco de dados em NAEA DATA CLEANING EXERCI SE SOLUTIONSIMATHS 34 DATA SOLUTION2 ACCDB Para realizar an lises o usu rio precisa ter acesso a um arquivo que contenha os resultados dos dados do teste Nesse caso poss vel calcular uma pontua o total para cada aluno usando o SPSS que pode ser ex portado para o Access com o restante dos dados limpos como most
305. ro amostral em desenhos amostrais complexos descrita no Cap tulo 16 218 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL Uma considera o durante a estima o al m do tipo de dados a natureza da popula o para a qual as estimativas devem ser feitas As estimativas podem ser produzidas para toda a popula o pesquisada ou para um subgrupo espec fico ou dom nio da popula o por exemplo prov ncia mat ria ensinada ou fonte de financiamento da escola seja a informa o que define o dom nio conhecida ou n o no momento da amostragem Quando a classifica o original de unidades amostrais mu dar entre a poca da sele o da amostra e estima o a nova classifica o deve ser usada para a estima o do dom nio Essa mudan a pode ocorrer se um professor tiver sido registrado nos arquivos administrativos como professor de matem tica mas se descreve como professor de l ngua e literatura As respostas s seguintes perguntas ajudar o a determinar como as estimativas da pesquisa s o computadas e Que tipo de dados est sendo usado qualitativo ou quantitativo e Que tipo de estat stica necess ria um total uma m dia ou uma propor o e Quais s o os pesos finais e Quais s o os dominios de interesse Os procedimentos para estimar totais m dias e propor es para toda a popula o e dom nios do banco que usam pesos para vari veis qualita tivas e quantitativas
306. rupo Espa o para organizar e armazenar instrumentos preciso atender adequadamente aos requisitos de espa o associados com a embalagem dos testes para distribui o s escolas Algumas ava 32 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL lia es nacionais alugam um audit rio ou outro espa o em uma insti tui o de ensino Os requisitos de espa o podem ser significativos ver Quadro 2 2 Pode ser til abrir pelo menos um pacote de livretos de testes da escola e outros materiais para se ter uma ideia de quanto espa o ser necess rio para todas as escolas na avalia o nacional necess rio uma grande sala de armazenamento antes e depois da corre o registro de dados e limpeza de dados Se poss vel dedicar uma sala espec fica ao registro dos dados Essa sala deve fornecer espa o ade quado de trabalho incluindo o espa o do computador para cada um dos respons veis por registrar os dados Ser preciso um espa o adicional para armazenar e organizar os livretos que est o sendo processados Os livretos de testes e question rios devem estar facilmente acess veis por que talvez seja preciso verificar alguns itens QUADRO 2 2 E Necessidades de Armazenamento As dimens es dos livretos de testes e question rios afetam a altura e a profundidade das estantes usadas para o armazenamento Os livretos de testes s o geralmente impressos em papel tamanho A4 210 x 297 mil metros
307. s as escolas selecionadas bem como para cada escrit rio dis trital de educa o Esse passo seguido por telefonemas principalmente por meio de telefones celulares e mensagens entregues por bodaboda ci clistas e motociclistas contratados para transportar pessoas ou bagagem A primeira comunica o deve informar s escolas que elas foram sele cionadas para participar de uma avalia o nacional ver Quadro 3 1 A comunica o tamb m deve incluir as datas preliminares para a aplica o do teste Um lembrete que deve chegar s escolas cerca de um m s antes da aplica o de teste deve informar a data exata e mais detalhes sobre o exerc cio de avalia o aconselh vel confirmar a participa o da escola duas semanas antes do teste e mais uma vez na v spera do evento A equipe de avalia o nacional deve manter uma lista atualizada ou documento de acompanhamento das escolas participantes para ajudar a monitorar o progresso do trabalho de campo O formul rio fornecer informa es sobre as escolas tais como nome da escola tamanho e in forma es de contato ver Tabela 3 1 Substitui o de escolas Na medida do poss vel ap s as escolas terem sido selecionadas recomen da se que n o sejam alteradas ou substitu das Apesar dos melhores es for os de uma equipe de avalia o nacional contudo pode ser necess rio realizar algumas substitui es de escolas Caso seja poss vel prever a ne cessidade de substitu
308. s como aquelas preparadas para Sentz Por fim ser o abordados v rios t picos especiais incluindo n o resposta e quest es relativas s escolas superdimensiona das e subdimensionadas Os procedimentos descritos neste volume e nos Volumes 2 e 4 t m por objetivo garantir a qualidade de uma avalia o nacional A impor t ncia da ado o de procedimentos adequados reiterada na Parte I na se o que trata dos diversos componentes de uma avalia o e Recrutamento de uma equipe competente para realizar a avalia o e Decis o sobre pessoal instala es e equipamentos necess rios para realizar um estudo em grande escala e Monitoramento da qualidade dos itens produzidos por redatores de itens e Treinamento e monitoramento do desempenho dos indiv duos que coletam dados nas escolas e Monitoramento da precis o da pontua o e registro dos dados e Garantia de que as an lises estat sticas dos dados coletados na avalia o sejam pertinentes e abordem quest es que interessem aos formu ladores de pol tica gestores educacionais e outras partes interessadas A qualidade de alguns componentes de uma avalia o nacional um tema muitas vezes negligenciado provavelmente na suposi o de que as pessoas respons veis pelos componentes tenham a experi ncia ne cess ria No entanto esse pressuposto talvez nem sempre corresponda realidade Por exemplo embora se possa supor que os indiv duos com experi ncia no dese
309. s de uma Base Amostral para uma Avalia o Nacional Elemento Descri o Identifica o Todas as escolas devem ser identificadas com clareza por exemplo pelo nome ou pelo n mero Comunica o A equipe de avalia o nacional deve ter informa es que possibilitem o contato com as escolas As informa es apropriadas podem incluir endere os postais n meros de telefone ou ambos Se tal informa o n o existir ser preciso fazer visitas diretas ao campo e para tanto preciso conhecer a localiza o f sica da escola Classifica o As informa es de classifica o devem ser inclu das na base amostral se uma avalia o nacional exigir a classifica o das escolas tais como agrupamento das escolas por rea geogr fica grupo lingu stico ou cultural ou administra o p blica ou particular para fins de amostragem estimativa ou elabora o de relat rios Medida do Uma medida do tamanho como o n mero de matr culas da escola tamanho ou o n mero de salas de aula pode ser requerida se a amostragem envolver probabilidades desiguais Atualiza o A base amostral deve conter detalhes sobre quando a informa o usada para constru la foi obtida ou atualizada Essa informa o ser considerada caso a avalia o nacional seja repetida Fonte Compila o dos autores 70 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL ser o adicionados itens
310. s e cria o de consultas README DOCX Word 2007 Registro das corre es feitas nos arquivos de dados Fonte Compila o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 189 Estrutura de Diret rio dos Arquivos de Limpeza e Gerenciamento de Dados NAEA DATA CLEANING EXERCISES SOLU O DOS EXERC CIOS EXERC CIO DE VERIFICA O SOLU O DO EXERC CIO DE DE DADOS XLSX VERIFICA O DE DADOS XLSX DATA SET 1 SAV DATA SET 1 SOLUTION SAV TEMPLATE DE LIVRO DE C DIGO SOLU O DO LIVRO DE C DIGO PARA MATEM TICA 3A XLSX DE MATEM TICA 3A XLSX AMOSTRA DE TESTE EM PAPEL MATHS 3A 3A DOCX DATA_SOLUTION1 ACCDB f MATHS_3A_ BUCOUA EES DATA_SOLUTION2 ACCDB QUESTIONARIO DO ALUNO DOCX cr README DOCX o MINHAS SOLU ES Fonte Representa o dos autores PONDERA O ESTIMA O E ERRO AMOSTRAL Jean Dumais e J Heward Gough Parte IV aborda a prepara o de dados para a an lise o que ocorre ap s amostragem apli ca o do teste registro de dados e limpeza dos dados Os exerc cios desenvolvem o trabalho realizado anteriormen te sobre o conjunto de dados Sentz na Parte II Esta parte abrange uma s rie de etapas importantes de pr an lise como a computa o e o uso de pondera es de pesquisa al m de c lculo de estimativas e seus erros amo
311. s est gios em cada estrato foram selecionadas v rias escolas com a probabilidade proporcional sua medida de tamanho MOS de modo que cada escola selecionada tivesse a pr pria probabilidade de sele o Para calcular essas probabilidades s o necess rias tr s quantidades n o n mero das escolas selecio nadas no estrato h Z O tamanho da escola i no estrato h e Z a medida total do tamanho cumMOS para o estrato h A probabilidade de sele o para a escola ent o Z n x Z Tih Por exemplo o n mero total de alunos na Prov ncia 1 Z 5 565 e a amostra alo cada para essa prov ncia de tamanho n 24 Se o MOS para a escola 1 101 for Z11101 89 ver linhas 1 e 2 da Figura 14 1 A do exerc cio a probabilidade de sele o dessa escola seria E ii 24x2 0 384 5565 1 1 1101 1 an Z Em seguida uma turma com probabilidade igual foi selecionada da lista de turmas eleg veis para cada escola selecionada se houver turmas M na escola i no estrato h a probabilidade de sele o no segundo est gio O SPSS Complex Samples computa as probabilidades de sele o e pondera o do desenho chamadas de pondera es amostrais pelo SPSS enquanto seleciona as amostras Como foram selecionadas duas amostras a pondera o total do desenho da escola e da turma deve ser computada como produto dos dois componentes 198 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONA
312. s est o armazenadas agora na s rie de da dos permanente do SPSS chamada MYSAMPLSOL CLASS_SAMPLE a Em aplica es reais talvez seja recomend vel mudar os valores iniciais a cada extra o e registr los para refer ncia e elimina o de erros AMOSTRAGEM PASTAS E ARQUIVOS m www elsevier com br implementacao voc encontrar alguns arquivos com a base amos tral e dados de amostra necess rios para o es tudo de caso de Sentz Uma descri o resumida dos arquivos pode ser encontrada na Tabela II A 1 A Figura II A 1 mostra a estrutura do dire t rio de arquivos de amostragem TABELA II A 1 Descri o dos Conte dos das Pastas Arquivos BASE Descri o ou conte dos arquivos SPSS N mero de registros Prov ncias N mero de cidades e de alunos nas reas 9 rurais e urbanas em cada prov ncia e regi o Cidades N mero de escolas e de alunos por 33 cidade grau de urbaniza o prov ncia e regi o Escolas N mero de turmas n mero de alunos 227 e tamanho m dio da turma por escola cidade grau de urbaniza o prov ncia e regi o Turmas N mero de alunos por turma para 702 cada turma escola cidade grau de urbaniza o prov ncia e regi o 110 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL TABELA II A 1 Descri o dos Conte dos das Pastas continua o Arquivos BASE Descri o ou conte dos arquivos SPSS N
313. s indicou Podem n o ter experi ncia recente em sala de aula e portanto n o transmitir senso de autoridade diante dos alunos Tendem a ser confi veis Podem n o ter experi ncia no n vel educacional espec fico que est sendo testado S o bons em registrar dados Tendem a fazer consultas antes de tomar decis es importantes S o dispendiosos de manter em campo Talvez n o sejam fluentes no idioma local Fonte Compila o dos autores e Assegurar que apenas os estudantes selecionados na amostra fa am os testes e Estar familiarizados com as orienta es de aplica o do teste e segui las com rigor e Dar instru es claras e em voz alta e Assegurar que os alunos entendam o procedimento para registrar suas respostas e Respeitar estritamente os limites de tempo e Evitar a c pia ou outra forma de comunica o entre os alunos e Recolher todos os materiais quando o teste tiver sido conclu do e Observar e relatar quaisquer irregularidades antes durante e ap s o teste Pessoas para corrigir os testes Em muitas avalia es nacionais as respostas a todos os itens ou maio ria deles s o inseridas no sistema de registro de dados e corrigidas pelo IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 31 computador Quando os itens s o de resposta aberta s o necess rios servi os de pessoas para corrigir os testes As pessoas que corrigem
314. s infor ma es coletadas da p gina inicial do teste Figura 9 1 n o permitem que se relate o idioma falado na casa do aluno porque n o foi feita uma pergunta sobre o idioma falado em casa Consequentemente somente a porcentagem de alunos que falam outro idioma al m do idioma em que o teste foi impresso pode ser relatada Outra limita o na coleta de dados est exemplificada na maneira como o campo Nome tratado Os dados no campo Nome podem ser coletados como um nico conjunto de dados que inclui o primeiro nome e o so brenome por exemplo Juan Gonzalez ou como dois campos separados Nome Juan e outro campo Sobrenome Gonzalez Como regra geral melhor coletar informa es espec ficas Se por exemplo a avalia o coletar apenas um campo chamado Nome a classifica o pelo nome seria baseada no primeiro nome do aluno e provavelmente conduziria duplica o des necess ria Nesse caso as informa es para o campo do nome devem ser coletadas como dois campos separados Nome e Sobrenome Observe que o sobrenome aparece primeiro em algumas culturas A Figura 9 2 mostra como as informa es demogr ficas fornecidas por alunos na p gina inicial do caderno de teste exibida na Figura 9 1 foram documentadas no livro de c digo Ver EXERCISES MATHS 3A CODE BOOK TEMPLATE XLSX O Excel foi usado para preparar o livro de c digo nesse exemplo embora o Microsoft Word tamb m pudesse ser usado com essa finalidade Observe q
315. s perguntas ou d vidas Voc teve a chance de recolher os question rios preenchidos dos professores antes da aplica o do teste Voc ficou satisfeito com as instala es sala para a realiza o do teste Voc prev que sess es de reposi o ser o necess rias em sua escola Os alunos receberam qualquer instru o especial palestra motivacional ou incen tivo para prepar los para a avalia o Os alunos tiveram qualquer oportunidade de praticar perguntas como as do teste antes da sess o de testes Fonte TIMSS 1998b Reproduzido com permiss o TAREFAS POSTERIORES APLICA O este cap tulo s o descritas as tarefas que res tam ap s a aplica o dos instrumentos nas escolas e sua devolu o para o centro nacio nal da avalia o corre o do teste registro de dados an lise de dados e elabora o do relat rio CORRE O DO TESTE Algumas avalia es nacionais usam exclusivamente itens de m ltipla escolha e em algumas as folhas de resposta s o digitalizadas eletroni camente Outras avalia es combinam itens de m ltipla escolha e itens abertos e corrigem ambos manualmente o que requer uma quantidade de tempo consider vel Se um teste inclui mais de um tipo de item preciso decidir qual ser a ordem da corre o Qualquer que seja a ordem usada a corre o para uma regi o estado ou prov ncia geralmente conclu da antes de ser feita na regi o seguinte Idealmente o m
316. s universidades e departamentos de governo t m acesso a v rios pacotes de software e recebem atualiza o regular No momento em que este volume escrito entre os pacotes mais usados est o o SPSS Statistical Package for the Social Sciences usado extensamente no Vo lume 4 SAS Statistical Analysis Software e STATISTICA Entre os softwares especializados relevantes al m do software de an lise de itens e de teste desenvolvido para esta s rie e apresentado no Volume 4 est o Iteman http www assess com xcart product php productid 541 Conquest https shop acer edu au acer shop group CON2 9 Winsteps uma vers o gratuita e menos potente Ministep est dis ponivel em http www winsteps com O analista de dados deve ter acesso a uma impressora de qualidade e alta velocidade que ser necess ria em muitos est gios mas especial mente durante a limpeza de dados a an lise de itens e a an lise de dados mais geral bem como para produzir textos tabelas e gr ficos para os relat rios da avalia o ELABORA O DE RELAT RIO O Volume 5 O uso dos resultados da avalia o do desempenho educacio nal trata em detalhes da elabora o de relat rios Por isso os seguintes par grafos s o limitados a alguns aspectos log sticos associados a essa tarefa chave O Coordenador Nacional e a equipe principal precisam planejar o relat rio antes de conduzir an lises representativas visto que o plano pode a
317. ses dom nios podem incluir grupo et rio fonte de financiamento da escola e situa o socioecon mica dos alunos Nessas estimativas w indica os pesos finais ajustados para n o resposta a vari vel dummy 6 indica se a i unidade 6 1 ou n o 6 0 na subpopula o de interesse e a vari vel dummy q indica se a i unidade tem q 1 ou n o tem q 0 a carac ter stica de interesse O tamanho da popula o para uma subpopula o de interesse para dados qualitativos ou quantitativos estimado como Nobpopulation gt W 5 resposta A estimativa de um total da subpopula o para dados quantitativos Y abrogi by ws i Yi resposta As estimativas de uma m dia de subpopula o para uma vari vel quantitativa ou qualitativa respectivamente 224 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL gt w y Y Y resposta subpopulation subpopulation a z W 5 IN cdbicadiaioo resposta e 3 Ww 8 9 q P resposta subpopulation a C subpopulation A s 3 Ww 8 N subpopulation resposta O peso final apropriado deve ser usado para produzir estimativas Se os pesos amostrais forem ignorados como foi o caso em pelo menos uma avalia o nacional as estimativas estar o incorretas Ap s ter terminado o Exerc cio 15 1 o leitor interessado pode dese jar ver uma compara o dos dados SRS400 e dos dados do censo basea da em toda a popula o
318. spondente somada a todas as unidades respondentes X wy resposta 1 para todas as unidades respondentes 0 para todas as unidades n o respondentes Pode se definir uma vari vel dummy y e a soma dos pesos de estima o ajustados para a n o resposta de todas as unidades respondentes ent o Y D wy Z w w x w N amostra amostra resposta resposta que uma estimativa de N o tamanho da popula o compara o dos dados SRS400 e dos dados do censo usa um arquivo chamado IBASE FILESICENSUS SAV Esse arquivo cont m UMA COMPARA O DOS DADOS SRS400 E DOS DADOS DO CENSO dados para cada um dos 27 654 alunos em Sentz um arquivo ideal que n o existiria na vida real Todos os alunos t m resultados da avalia o exceto aqueles que s o considerados desistentes como indicado no campo de status de resposta Assim esse arquivo representa os resulta dos que teriam sido obtidos por um censo perfeito Usando o arquivo CENSUS e o menu Data Aggregate o SPSS produziu os resultados gerados na Tabela IV B 1 TABELA IV B 1 Dados de Sentz Baseados no Censo M dia de idade Pontua o m dia Propor o acima Dom nio anos em matem tica de 230 Popula o 14 00 216 83 0 25 completa Meninas 13 99 211 99 0 16 Meninos 14 01 221 69 0 35 Fonte Compila o dos autores 246 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMP
319. sso para se importarem duas tabelas para o Access a a tabela modificada com os dados das respos 170 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL tas do aluno ap s a limpeza de dados TBL MATHS 34 DATA CLEA NED e b uma tabela que inclui informa es sobre a escola tbl Schools Essas tabelas t m um campo em comum o identificador original da escola rotulado de SchoolID na primeira tabela e de SchoolCode na segunda O Exerc cio 12 3 mostra agora como consolidar esses arquivos EXERCICIO 12 3 Cria o de uma Consulta Simples no Access As etapas a seguir criar o uma consulta simples no Access 1 Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB com as altera es do exerc cio anterior salvas 2 Na op o Create selecione Query Design O Access apresenta ent o uma caixa de di logo chamada Show Table A fun o desta caixa permitir que voc sele cione as tabelas que deseja incluir na consulta Quando se tornar mais proficiente no uso do Access poder ter tabelas m ltiplas e combina es de tabelas e de consultas em designs mais complexos 3 Selecione TBL MATHS 3A DATA CLEANED e clique em Add veja a Figura 12 3 A do exerc cio Repita o processo para adicionar tbl Schools consulta e ent o Close A rea de trabalho de consultas tem duas tabelas cada qual com uma lista das vari veis presentes na tabela As barras de rolagem permitem que voc
320. strais Por fim ser o abordados v rios t picos especiais incluindo a n o resposta e as quest es relativas s escolas superdimensionadas e subdimensionadas CAP TULO COMPUTA O DO PESO DAS UNIDADES AMOSTRAIS ste cap tulo descreve os pesos de estima o incluindo como comput los como fazer o ajuste para n o respostas e como usar as in forma es atualizadas auxiliares para ajustar os pesos de estima o para computar os totais nacionais PONDERA ES DE DESENHO Estima o uma t cnica usada para produzir informa es sobre uma popula o de interesse com base nos dados coletados de uma amostra dessa popula o A primeira etapa na estima o atribuir um peso a cada unidade amostrada ou a cada uma das unidades amostradas res pondentes A pondera o do desenho pode ser considerada o n mero m dio de unidades na popula o pesquisada que cada unidade amostra da representa e determinada pelo desenho da amostra A pondera o do desenho w4 em que d representa o desenho para uma unidade na amostra o inverso de sua probabilidade de inclus o m J se observou que na amostragem probabil stica cada unidade tem uma probabilida de conhecida m de ser amostrada Se a probabilidade de inclus o for por exemplo 1 em 50 ent o cada unidade selecionada representa em 194 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL m dia 50 unidades da popula o pes
321. stratifica o por localiza o geogr fica As vari veis de estratifica o geralmente usadas em pesquisas de avalia o incluem localiza o geogr fica como a regi o a prov ncia ou a cidade IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 85 Amostra Aleat ria Estratificada das Escolas Fonte Representa o dos autores Nota H 3 estratos N 32 N 5 N 8 n 2 n 4 mn 2 financiamento particular ou p blico tipo de programa educacional pri m rio ou secund rio acad mico ou vocacional e g nero dos estudantes meninas meninos turmas mistas Tr s raz es principais justificam a estratifica o Primeiro ela torna a estrat gia de amostragem estatisticamente mais eficiente do que SRS ou SYS Segundo ajuda a assegurar tamanhos de amostra adequados a do m nios espec ficos de interesse para an lise posterior Terceiro protege contra a extra o de uma amostra ruim As se es seguintes examinam em mais detalhes cada uma dessas raz es Aumento da efici ncia estat stica Para determinado tamanho de amostra e estimador a estratifica o pode conduzir a um erro menor de amostragem ou inversamente para deter minado erro de amostragem a um tamanho de amostra menor Embora a 86 S RIE PESQUISAS D
322. te A pontua o m dia para os meninos estimada em 250 44 erro amostral 2 88 e a pontua o m dia para as meninas estimada em 249 55 erro amostral 2 52 Figu ra 16 2 E do exerc cio Para ver os dados sobre a diferen a entre meninos e meninas clique em Functions em GENDER Figura 16 2 F do exerc cio Observe que a s rie de estat sticas computadas e exibidas est controlada no modo op es da tabela Os dados exibidos podem diferir daqueles apresentados na Figura 16 2 F do exerc cio porque depender o das op es selecionadas FIGURA 16 2 E DO EXERC CIO WesVar Compara o de Pontua es M dias de Matem tica por G nero ma WesVar Output File for WorkBook Title 1 File View Help mej aja avis Bar WolkBook Tite 1 TABLE GENDER Descaptive Request One EI a as r s Gan GENDER STATISTIC ESTIMATE STDERROR CELLn DEN Analysis Variables 1 ALUE 26420 42 1597 0 6 045 2407 a Computed Statistics 2 sum vTs VALUE 25292 58 1597 017 6 314 2340 e MARGINAL SUM WTS VALUE 51713 00 0 002 0 000 4747 Fictions 1 SUM VTS PERCENT 51 09 3 088 6 045 2407 2 SUM VTS PERCENT 48 91 3 088 6 314 2340 MARGINAL SUM_VTS PERCENT 100 00 47497 1 M MATHSS VALUE 250 44 2 883 1 151 2407 2 M_MATHSS VALUE 249 55 2 523 1 011 2340 MARGINAL M MATHSS VALUE 250 00 2 201 0 880 4747 Fonte Exemplo do autor usando o software WesVar FIGURA 16 2 F DO EXERC CIO Diferen a de Pontua o M di
323. te Para fins de relat rio melhor criar uma tabela separada no banco de dados do Access que contenha todos os nomes grafados corretamente das escolas com seus IDs correspondentes Essa tabela pode ent o ser vinculada tabela de dados dos alunos e ser usada para todas as finali dades de relat rios oficiais por exemplo imprimir o nome da escola no certificado de teste de um aluno nos casos raros em que os alunos recebem os resultados Essa vincula o da tabela contendo o nome da escola tabela de dados com as respostas do aluno demonstrada no Cap tulo 16 O comando Frequ ncia O comando Frequency Frequ ncia no SPSS permite a observa o de todos os valores presentes em cada vari vel selecionada Se valores fora do intervalo valores inv lidos estiverem presentes podem ser corri gidos ap s a verifica o feita com o caderno de teste original A tabe la de resultados de frequ ncia tamb m pode ser usada para destacar a ocorr ncia de valores implaus veis Por exemplo se a avalia o nacional tiver sido aplicada em todas as escolas do pa s em uma s rie espec fica poss vel esperar uma divis o 50 50 relativamente uniforme de homens e mulheres na vari vel g nero Se a tabela de frequ ncia mostrasse uma divis o 70 30 seria preciso investigar por que isso ocorreu e retificar o problema se for autorizado O procedimento Frequency apropriado para a maioria das vari veis n o cont nuas em uma s rie
324. tente dependendo da estrutura do sistema educacional do mbito da avalia 22 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL o das exig ncias feitas sobre o tempo do CN e da disponibilidade de recursos financeiros O CN assistente deve ter muitos dos atributos exigidos do CN e reportar se a ele e atuar como seu substituto quando necess rio Ele pode ser o principal respons vel por aspectos espec ficos da avalia o como a elabora o do teste ou o gerenciamento de dados ou concentrar se em quest es operacionais e de log stica essencial que tenha conhecimento detalhado sobre o plano de implementa o da avalia o nacional como um todo Coordenadores regionais Em pa ses grandes com sistemas administrativos regionais recomenda se que a equipe de avalia o nacional leve em conta a nomea o de coor denadores regionais para organizar os testes e trabalhar em colabora o com as escolas e os administradores de testes Esses coordenadores seriam respons veis pela aloca o e a entrega de materiais aos administradores de testes e por verificar o conte do das caixas provenientes do escrit rio central Eles tamb m seriam respons veis pelos materiais retornados das escolas ap s a aplica o dos testes e question rios De acordo com esse sistema o escrit rio do coordenador se tornaria o escrit rio regional e local de armazenamento dos instrumentos de avalia o Redatores de ite
325. ter a impress o de que eles ou suas escolas est o sendo avaliados Essa situa o pode ocorrer mesmo quando a primeira carta para as escolas e os an ncios nos meios de comu 44 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL nica o deixam claro que o sistema educacional como um todo e n o os professores ou as escolas individualmente est sendo avaliado Quando os aplicadores de teste viajam para uma regi o e aplicam testes em um n mero de escolas na mesma localidade em uma semana normalmente carregar o consigo apenas os materiais a serem usados du rante um nico dia de testes A equipe de avalia o nacional deve assegurar que cada aplicador do teste tenha consigo ou tenha acesso a um dispositivo de controle de tempo para ser usado durante a aplica o do teste Em uma avalia o nacional que ignorou esse requisito constatou se que praticamente 50 dos aplicadores de teste n o tinham acesso a um rel gio durante a aplica o do teste O papel do aplicador durante o teste descrito no Volume 2 desta s rie Desenvolvimento de testes e question rios para ava lia o do desempenho educacional S o abordadas quest es relacionadas com as instru es do teste o n vel de assist ncia aos alunos o tempo e os materiais permitidos no local de teste Cabe ao aplicador do teste garantir que os professores n o ajudem os alunos e que os alunos n o copiem uns dos outros ou traga
326. tes II e IV deste volume VERIFICA O DE DADOS erifica o de dados o processo de assegurar que os dados recebidos de fontes diversas es tejam livres de erro Processos de registro de dados que s o bem planejados documentados e supervisionados ajudam a reduzir erros quando as respostas dos testes e question rios dos alunos s o transferidas para formatos eletr nicos de dados Entretanto as fon tes de erro persistem incluindo respostas com erros de digita o dados omitidos e erros na manipula o e fus o de dados de fontes diferentes DOCUMENTA O Visto que as avalia es nacionais envolvem equipes que trabalham em aspectos diferentes dos dados s vezes a ag ncia de avalia o nacional deve manter por um per odo consider vel um registro de todas as mu dan as feitas aos dados Esse registro ser especialmente til aqueles que fazem o acompanhamento de avalia es nacionais e queles que condu zem an lises secund rias dos dados Por esse motivo deve ser criado um arquivo ReadMe para gravar todas as mudan as feitas pelos digitadores ao arquivo de dados durante o registro O arquivo tamb m deve documentar a fonte e o nome do 154 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL arquivo de dados limpo Esse registro ajuda a evitar confus o sobre a vers o dos dados que devem ser analisados Embora alguns programas tais como o SPSS Statistical Package for the Social
327. tes de matem tica o segundo grupo talvez se sa sse n o t o bem em matem tica mas melhor em l nguas enquanto provavelmente o terceiro grupo pareceria relativamente fraco em ambas as reas Em tais circunst n 82 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL cias a amostragem por conglomerados seria estatisticamente ineficiente a sele o de uma nica turma inteira sugeriria que os alunos s o excelentes em matem tica e fracos em l nguas ou o contr rio ou fracos em ambas as reas Uma situa o desse tipo sugere que do ponto da vista da efici ncia amostral selecionar alguns alunos de cada uma das tr s turmas seria melhor para aumentar as possibilidades de se obter um retrato equilibrado dos ni veis de aproveitamento dos alunos na escola Entretanto frequentemente existem raz es pr ticas relacionadas a objetivos da pesquisa restri es ad ministrativas ou custos de testagem para selecionar salas de aula intactas As raz es para selecionar turmas intactas incluem o interesse do diretor ou gerente de escola em minimizar a quantidade de transtornos em uma escola durante o teste ou o interesse do pesquisador em aplicar um modelo anal ti co espec fico ou em quantificar a influ ncia relativa da escola do professor ou da turma no aproveitamento individual A efici ncia estat stica da amostragem por conglomerados depende do grau de homogeneidade dos conglomerados de quantas unidad
328. tico O estat stico o respons vel pela adequa o t cnica das an lises esta t sticas Costuma estar envolvido no desenho de uma avalia o no de senvolvimento de um quadro de amostragem nacional e na escolha da amostra representativa utilizada na avalia o nacional Tamb m ajuda a interpretar os resultados do teste piloto e do teste final pode estar en volvido na constru o do banco de dados e orienta ou realiza an lises dos resultados da avalia o O Volume 4 a ser publicado descreve muitas das tarefas estat sticas envolvidas em uma avalia o O estat stico deve ter compet ncia para utilizar o SPSS Statistical Package for the Social Sciences WesVar Excel e Access poss vel que os servi os de um estat stico n o sejam necess rios em tempo integral A carga de trabalho de estat stica tende a ser pesada na fase inicial quando o foco recai sobre o desenho e em particular sobre a amostragem e o piloto dos instrumentos e novamente ap s a coleta e a limpeza dos dados Entre as fontes de estat sticos competentes est o universidades e alguns departamentos governamentais O escrit rio do censo nacional pode ser uma boa fonte de recrutamento Em alguns casos pode ser necess rio o recrutamento dos servi os de um estat stico externo e de fora do pa s a fim de auxiliar na amostragem an lise e interpreta o dos resultados Se um estat stico externo for recrutado espera se que ajude a desenvolver a capac
329. tificador ID que come a com 0 Entretanto o aplicativo para o qual esses dados s o exportados pode registrar os d gitos nos campos e armazenar os n meros ID como dados num ricos Consequentemente os dados s o armazenados co mo n meros e o d gito O do come o do n mero ID suprimido Os dados tamb m podem ser perdidos na transfer ncia se houver dife ren a no comprimento do campo para artigos de itens entre programas Por exemplo se o aplicativo original tiver um comprimento de campo de 15 caracteres e o aplicativo que recebe os dados um comprimento de campo de somente 5 caracteres qualquer dado acima de 5 caracteres ser perdido Quest es relacionadas consist ncia de nomes de campo aplicativos que n o aceitam determinados caracteres nos nomes de campo e a consist ncia da codifica o por exemplo como os valores ausentes s o armazenados tamb m s o oportunidades para que um erro seja inserido nos dados Os erros de natureza expl cita s o tipicamente produto de erro huma no Excluir dados acidentalmente inserir registros nos campos errados e transferir dados parcialmente s o exemplos de erros expl citos com os dados e quanto mais vezes os dados forem transferidos entre programas maior a probabilidade de ocorr ncia de tais erros Por essas raz es as rotinas de importa o e exporta o devem ser executadas com cuidado e apenas quando forem absolutamente necess rias EXPORTA O DE DADOS DO SPSS PARA
330. timas colunas FIGURA 14 6 A DO EXERC CIO Excerto do Arquivo de Dados da Amostra PPS p28 TGFealWi ta i Fie EM vew Data Transform Araiee Graphs Unies acios Window Help aha Neca BEARS BAS AOS 1 sdwoid sale schoddid studesid se pr den 1o sc clas cle st ag Senior 30c mat conc lar I2 Population Sampl WEP Poguiston Sample WO2 Desga RE CLASSCLASS NRESA FINAL cow sty wihe s ssude hisg Sal Sa Suez Sue Wegt SE RESP U WEIGH a o d T Dom mim tutto 1 06 0 908 a u 2 2 1 20 54 0 4 1 2 vo 1901011 tu 114 21 2 1 pu qu a 2 1 20 521100 n 40 10 5H 3 Mol 08102 tr 11 12 3t 2 Lope a u 261 2 1 20 521100 a 40 10 5 4 no Momo tm 11 13 21 2 58 pe qu 26 2 1 2 521100 a 40 10 5H 5 1101 110108 tn 11 10d 0 392 9 pw a u 261 2 1 20 520100 44 40 10 5H E mo monos tm t S 0 2 par au 26 2 1 20 521100 41 40 103 538 7 NO 1901106 ta 11 1 6 6 px qu 26 1 200 521100 a 40 10 54 no nonor tm 11 107 0 par a u 26 2 1 200 521100 41 40 10 5 9 HO MOMO tu tt 1 4 0 par a u 26 2 1 20 521100 a 40 10 5 g 1101 110109 tm tt 109 0 par a u 261 2 1 200 521100 41 40 10 5H 1101101100 tm 114 1 par au 26 2 1 200 521100 44 40 10 538 12 vo Mons tim 114 par q uz 2 1 20 529100 44 O 103 5H n no mom tm 111 par a u 26 2 1 20 521100 41 40 0 54 u 101108193 tm 1t 1 0 par q u 26 2 1 20 524100 4 40 10 54 15 no 11001 im 1 1 1 21 2 6 pe qu 2 1 260 52100 44 40 10 54 TE 0101S tm 141 11821 pe a u 26 2 1 20 521100 41 40 10 54 Fonte Exemplo do autor usando o software SPSS
331. to de question rio de aluno STUDENTQUESTIONNAIRE DOCX foi inclu do na pasta EXERCISES para informa es sobre o contexto Para os fins dos exerc cios a seguir en tretanto somente um pequeno n mero de itens demogr ficos relacionados a g nero idade s rie e antecedentes sobre o idioma inclu do Por causa do pequeno n mero de itens do question rio esses dados s o gravados no mesmo arquivo que os dados de aproveitamento do aluno A Figura 9 1 p gina inicial do caderno de testes apresenta informa es relacionadas ao aluno que foram coletadas durante a aplica o de um teste de matem tica Ela mostra o identificador original do estu Exemplo de uma P gina Inicial do Teste 2007 MATEM TICA ID do Aluno 1894305 Nome Nome Sobrenome Escola S rie ex 3 s rie Voc menino ou menina Menino Menina Quantos anos voc faz este ano menos de 8 8 9 mais de 9 Voc costuma falar outro idioma al m do lt idioma do teste gt em casa Sim N o Fonte Representa o dos autores IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 119 dante Student ID que foi criado no Exerc cio 7 1 e inclui detalhes de g nero idade e idioma A capacidade de fornecer informa es sobre os alunos depende das informa es coletadas dos testes e question rios Por exemplo a
332. to de uma estrat gia global para se proteger dela Com o tempo entretanto estat sticos de pesquisa 234 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL desenvolveram algumas pr ticas mais ou menos aceitas para lidar com a n o resposta Uma das estrat gias consiste em aumentar o tamanho da amostra para compensar a n o resposta prevista Esse m todo v lido contanto que as raz es para a n o resposta n o estejam relacionadas com o tema da pesquisa O aumento pode ser sobre a amostra completa ou ficar res trito a alguns estratos ou a alguns grupos de respondentes para quem a taxa de resposta foi baixa no passado No contexto de uma avalia o na cional de aproveitamento escolar se for necess ria uma amostra de 100 escolas respondentes e for esperado que um total de 25 por exemplo se recusar a participar 134 escolas 75 de 134 100 5 devem ser se lecionadas e abordadas Uma taxa de resposta melhor do que a esperada trar pequenos custos adicionais coleta e ao processamento de dados Por essa raz o aconselh vel fazer um provisionamento para custos adicionais no or amento inicial Uma segunda estrat gia comum entre os estudos de avalia o usar respostas proxy ou escolas de reposi o Em geral para cada escola amostrada uma escola de reposi o tamb m selecionada Uma esco la de reposi o deve ser t o similar quanto poss vel escola seleciona da Se existir um
333. to escolar como o Programa Internacional de Avalia o de Alunos o Estudo In ternacional sobre o Progresso do Letramento em Leitura e as Tend ncias Internacionais no Estudo de Matem tica e Ci ncia usam a amostragem probabil stica desigual As amostras s o extra das com um m todo de pro babilidade desigual conhecido como PPS que significa probabilidade proporcional ao tamanho em ingl s Tipicamente as probabilidades de sele o da escola se baseiam em seu MOS isto o n mero de alunos na popula o alvo em cada escola Por exemplo em uma cidade com cinco escolas que tenham 400 250 200 100 e 50 alunos para um total de 1 000 alunos a amostragem PPS resultaria nas probabilidades da se le o da escola proporcionais a estes tamanhos 400 1 000 250 1 000 200 1 000 150 1 000 e 50 1 000 respectivamente se for preciso IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 95 selecionar apenas uma escola ou 800 1 000 500 1 000 400 1 000 300 1 000 e 100 1 000 se for preciso selecionar duas escolas Observe que se for preciso selecionar tr s escolas nesse exemplo a primeira n o poder receber uma probabilidade de 1 200 1 000 que superior a 1 ela deve ser selecionada com certeza A probabilidade de sele o com PPS para as duas escolas restantes selecionadas determinada pela rea loca o das medidas restantes de tamanho entre as outras quatro escolas As probabilidades de sele o sob o P
334. torar as taxas de participa o dos alunos e controlar a seguran a dos materiais Os n meros identificadores das escolas fornecidos pelo sistema de informa o de gest o educacional podem ser usados para identificar as escolas selecionadas para uma avalia o Uma alternativa catalogar as escolas por meio de um sistema de numera o que identifique a pro v ncia ou regi o escola e aluno O Quadro 2 1 apresenta exemplos des ses dois sistemas de numera o O primeiro identifica individualmente cada escola o segundo identifica n o apenas as escolas individuais mas tamb m os estudantes que participam em cada escola Um programador de computador ou algu m com conhecimento e ex peri ncia suficientes na cria o e gest o de bases de dados ser necess rio em momentos cr ticos durante a avalia o Em alguns casos a mesma pes soa pode ser chamada a desempenhar v rios pap is programador e gerente de dados ou gerente de dados e estat stico dependendo da qualifica o da m o de obra dispon vel localmente A Parte III aborda a limpeza e gest o de dados aptid es fundamentais que um GD precisa ter IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 25 QUADRO 2 1 Sistemas de Numera o Usados em Avalia es Nacionais e A seguir est o exemplos de sistemas de numera o utilizados em avalia es na cionais 1 Um n mero de quatro d gitos usado O primeiro d gito representa a reg
335. tos defini es e per odos de refer ncia compar veis tais como os da pesquisa A p s estratifica o usada para ajustar o peso das unidades amostrais usando as vari veis apropriadas estratifica o mas que n o poderiam ser usadas no est gio de desenho porque os dados n o estavam dispo n veis ou porque informa es de estratifica o atualizadas e confi veis sobre a popula o se tornaram dispon veis ap s a sele o da amostra A p s estratifica o usada quando os dados auxiliares est o dispon IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 213 veis na forma de contagem por exemplo n mero de alunos do sexo masculino e feminino na popula o Ela bastante eficaz para reduzir a vari ncia amostral quando as m dias da popula o das vari veis de interesse s o muito diferentes no p s estrato como quando as pontua es de aproveitamento para meninos e meninas s o significativamente diferentes N o obstante fazer a estratifica o na fase de desenho prefer vel a fazer a p s estratifica o O seguinte exemplo bastante simples mostra como usar a p s estra tifica o para melhorar a estimativa do n mero de professoras em uma escola Suponha que um grupo externo de pesquisa tenha conduzido uma pesquisa para obter informa es sobre a equipe de funcion rios da es cola Uma amostra aleat ria simples de n 25 pessoas foi selecionada a partir de uma lista an n
336. tragem replicada 249 Uso da estima o jackknife 251 IV D CRIA O DE ZONAS E R PLICAS JACKKNIFE E COMPUTA O DE PESOS JACKKNIFE 257 REFER NCIAS 267 QUADROS 2 1 Sistemas de Numera o Usados em Avalia es Nacionais 2 2 Necessidades de Armazenamento 351 Exemplo de uma Carta para as Escolas 3 2 Embalagem de Instrumentos 4 1 Formul rio de Monitoramento dos Alunos 4 2 Formul rio de Aplica o do Teste 4 3 Exemplos de Perguntas Respondidas pelos Monitores de Controle de Qualidade no TIMSS 5 1 Formul rio de Acompanhamento de Instrumentos EXERC CIOS 7 1 Inicio 8 1 C lculo do Tamanho da Amostra e Aloca o aos Estratos 8 2 Sele o do SRS de 400 Alunos 8 3 PPS Estratificado sem Reposi o Sele o de Escolas Leitura de Arquivos de Escola e Aloca o de Escolas 8 4 PPS Estratificado sem Reposi o Sele o de Escolas Consolida o de Arquivos de Escola e Aloca o de Escolas 8 5 PPS Estratificado sem Reposi o Sele o de Escolas Sele o de Escolas 8 6 PPS Estratificado sem Reposi o Sele o de Escolas Identifica o de Turmas Elegiveis 8 7 PPS Estratificado sem Reposi o Sele o de Escolas Limpeza da Base Amostral 8 8 PPS Estratificado sem Reposi o Sele o de Escolas Sele o de uma Turma por Escola 9 1 Inser o de Dados da Avalia o Nacional em um Livro de C digo 101 Cria o de um Banco de Dados 10 2 Cria o de Vari veis do Banco de dados 10 3 Cria o d
337. trar Duplicatas no Access 1 As seguintes etapas permitem que voc use rotinas do Access para verificar a exist n cia de IDs duplicados Abra NAEA DATA CLEANING MY SOLUTIONS MATHS_3A_DATA ACCDB com as altera es do exerc cio anterior salvas Na op o Create selecione Query Wizard na se o Other O Access apresenta ent o uma caixa de di logo chamada New Query Selecione Find Duplicates Query Wizard e ent o clique em OK O Access ent o perguntar em que tabela voc deseja procurar campos de va lores duplicados Nesse caso destaque a tabela TBL MATHS 3A DATA CLEA NED e ent o clique em Next Da lista de campos dispon veis esquerda como apresentado na Figura 13 1 A do exerc cio destaque os campos em que voc desconfia que os dados possam estar duplicados nesse caso StudlD Transfira os para a caixa direita usando o sinal gt entre as caixas e ent o clique em Next FIGURA 13 1 A DO EXERC CIO Campos com Valores Duplicados Find Duplicates Query Wizard Which fields might contain duplicate information For example if you are looking for cities with more than one customer you would choose City and Region fields here Duplicate value fields Canel cmd net gt en Fonte Exemplo do autor usando o software Access A caixa de di logo do Access pedir que voc selecione os campos que deseja incluir no relat rio dos valores que forem encontrados pela consulta
338. ue se os dados fossem capturados diretamen te no software SPSS Statistical Package for the Social Sciences o livro de c digo seria criado automaticamente pelo SPSS e estaria dispon vel median te uma simples solicita o no menu Analyze Reports Codebook Cada coluna do livro de c digo do question rio est descrita na Tabela 9 1 A Figura 9 3 apresenta o livro de c digo do teste que mostra como os primeiros seis itens do teste podem ser codificados Observe o acr scimo das colunas para Item Name e Key A primeira fornece uma refer ncia curta para o conte do do item para f cil reconhecimento enquanto a segunda se refere ao termo usado para a resposta correta como determi nado pelos desenvolvedores do teste ou especialistas no assunto 89x3 siemijos O opuesn Jojne op ojdusx3 9JUO ajuesne eseo w opejeJ 6 oduynu g ogu z uls 68 L 6 8T L N OW euolpjop aise equesne 4 ojdiyjnw g 6 lt epepl p le6 leg Z g gt opepl 6 8 l 6 8B Y EZ L N N OUP oo PEP ajuasne amp ojdiyjnu g euluew Z oulusw 6 8 L 68 T L N OW 019U99 ouBIp wn esu 6 L N EO alas jeded ou sejsodsai ap sneup 6 oz 1 YD ej0253 ep woyN jaded ou seysodsa1 ap aneyo 6 Zl L Nie SWOUSIGOS jaded ou seysodsa1 ap aneyo 6 ZL ij y2 WoN jeded ou sejsodses ap eneup L N epep ounly op al ole uawo07 sejuasny soJopeJes sepija seysodsay sopeq ap od odi odwes ounjy
339. um planejamen to cuidadoso e antecipado da aplica o da avalia o nas escolas Tam b m tendem a delegar responsabilidade mantendo o controle geral do processo de prepara o atrav s de medidas de controle de qualidade em particular verifica es aleat rias do trabalho dos outros Embalagem Um conjunto de procedimentos de embalagem deve ser definido e do cumentado O Quadro 3 2 fornece um exemplo necess rio fazer uma lista de verifica o dos conte dos da embalagem Os funcion rios da avalia o nacional devem assinar e datar as caixas apropriadas nas co lunas Embalado e Devolvido na lista de verifica o de conte dos da embalagem A pessoa de contato da escola dever fazer o mesmo nos campos das colunas Recebido ap s a verifica o do material enviado pelo escrit rio de avalia o nacional A Tabela 3 2 apresenta a c pia de uma lista de verifica o utilizada na avalia o sul africana Entrega As circunst ncias locais determinar o o m todo mais adequado e eco n mico de entrega e coleta de materiais para a avalia o nacional Em alguns casos os materiais s o entregues a escrit rios centrais que sejam seguros por exemplo escrit rios distritais de educa o ou escrit rios do IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 41 governo local e os aplicadores de teste recolhem nos usando transporte p blico Em outros casos em que existam sistemas de entre
340. utomaticamente no canto superior direito da p gina e podem ser movidos quando s o clicados e arrastados ou com as teclas de seta Exporta o de dados Ap s todos os dados serem inseridos voc pode rever o registro comple to de dados na tabela original que agora est vinculada ao formul rio Os dados inseridos em um formul rio ou uma tabela do Access podem ser exportados como arquivo com extens o xls ou txt quando se abre a tabela a ser exportada e ent o clica se no cone Excel ou Text file na se o Export da op o External Data O destino do arquivo pode ser editado ao se clicar no bot o Browse e procurar o local desejado 150 S RIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIA ES DE DESEMPENHO EDUCACIONAL O nome do arquivo pode ser alterado ao se editar o texto na caixa de texto FileName Observe que nenhum dos exerc cios usa a exporta o do Excel como origem dos dados Ela usada como um mecanismo de verifica o conforme descrito no Exerc cio 11 1 Os dados n o podem ser exportados diretamente do SPSS para o Access mas podem ser im portados para o SPSS seguindo as instru es dadas no Exerc cio 10 10 Todavia a transfer ncia de dados de uma aplica o para outra pode gerar erros e por essa raz o deve ser usada o m nimo poss vel EXERC CIO 10 10 Importa o de Dados para o SPSS As seguintes etapas permitir o que voc importe dados de um formul rio do Access para o SPSS 1 Abra o SPSS
341. uxiliar na orienta o da an lise Para ajudar a desenvolver o senso de apropria o e esclarecer as an lises uma boa ideia criar tabelas de IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 59 TABELA 5 1 Tabela de Exemplo que Descreve Caracter sticas dos Professores da Escola Prim ria G nero Idade N vel mais elevado de instru o formal obtido Prov ncia Feminino Masculino Abaixo Acima Concluiu Concluiu Concluiu de 30 de 30 primeiro segundo pelo menos ciclo do ciclo do 2 anos de n vel n vel n vel p s secund rio secund rio secund rio O m gt Fonte Compila o dos autores exemplo e verificar se a avalia o nacional pode fornecer dados para cada c lula Os membros da comiss o de coordena o nacional e for muladores de pol ticas podem fornecer percep es valiosas nesse est gio e sugerir t tulos para as tabelas A Tabela 5 1 representa o exemplo de uma tabela baseada em dados do question rio Algumas semanas antes da divulga o dos resultados o Coordenador Nacional deve pedir a colegas profissionais de sua confian a ou pro v veis usu rios chave para fornecer feedback sobre o primeiro esbo o de cada relat rio por exemplo comunicado de imprensa sum rio do relat rio relat rio t cnico relat rio para professores Entre esses indi v duos podem estar formuladores seniores de pol ticas no Minist rio
342. va mais exata das matr culas totais pode ser um objetivo da pesquisa sobre a avalia o Se a SRS for usada algumas escolas podem exercer grande influ ncia nas estimativas das matr culas totais Se as escolas maiores forem selecionadas podem cau sar grande superestima o do total A estratifica o pelo tamanho um estrato para as escolas maiores um estrato para escolas de tamanho m dio e um estrato para escolas pequenas pode ajudar a assegurar que as escolas selecionadas em cada estrato representem outras escolas de um tamanho aproximadamente semelhante na popula o A estratifica o pelo tamanho da escola parece razo vel se for de sej vel obter uma estimativa do tamanho da popula o matriculada A estratifica o pelo tamanho da escola entretanto pode n o ser reco mendada se a vari vel de interesse for por exemplo a idade m dia dos professores de matem tica porque n o existe raz o para supor correla o entre a idade do professor e o tamanho da escola Com frequ ncia as vari veis de estratifica o s o escolhidas com base em sua correla o esperada com as vari veis chave que est o sendo avaliadas como lingua gem ou matem tica em mbito nacional Observe que uma abordagem de estratifica o que seja estatisticamente eficiente para uma vari vel de pesquisa pode n o ser eficiente para outras Assegurando a cobertura do dom nio de interesse Em uma avalia o nacional os formuladores de pol ti
343. ve que sua consulta rec m criada aparece agora como um icone no menu All Access Objects IMPLEMENTA O DE UMA AVALIA O NACIONAL DE DESEMPENHO EDUCACIONAL 173 Um n mero limitado de vari veis foi usado no Exerc cio 12 3 para descrever o processo de combina o de s ries de dados Para uma avalia o nacional geralmente seriam usadas muito mais vari veis derivadas dos dados sobre os alunos pais professores e question rio da escola CONTROLE DE VERS O Cada vez que se fizer uma mudan a nos dados por meio de procedimen tos de valida o verifica o ou gerenciamento ser criada uma nova vers o da s rie de dados Embora nomes intr nsecos tenham sido usados para cada vers o dos dados modificados somente o arquivo final de ex porta o deve ser usado para an lises futuras Por isso importante manter um registro completo do caminho que foi seguido para desenvolver os dados finais e um registro dos passos intermedi rios e arquivos que foram criados para se produzir a s rie de dados final e limpa O arquivo README DOCX fornece o ve culo para essa documen ta o Esse arquivo atualizado para gravar o caminho da s rie de da dos final que importante porque as pessoas t m de ser impedidas de trabalhar em vers es diferentes da fonte de dados e com isso produzir resultados diferentes SEGURAN A DOS DADOS Quest es de confidencialidade e de seguran a s o sem d vida im portantes na condu
344. white working in the 2007 Microsoft Office system Guideto Access 2007 User Interface Organize all your objects using the new easy access Navigation Pane nt from Office Online Fonte Exemplo do autor usando o software Access As seguintes etapas mostram como criar um banco de dados FIGURA 10 1 A DO EXERC CIO Cria o de um Novo Banco de Dados Access Blank Database 2 No lado direito da janela clique na pasta do icone perto do campo File Name ver a Figura 10 1 A do exerc cio O programa ent o abre uma janela chamada File New Database Salve o arquivo como MATHS 3A DATA ACCDB em sua pasta MY SOLUTIONS Clique em OK e em seguida em Create N Create a Microsoft Office Access database that does not contain any existing data or objects File Mame Maths _3A_data acedo Cs Wocuments and Settings ivgreaney My Documents formato ser usado para definir a informa o para cada campo 3 Uma nova tabela foi aberta automaticamente ap s a cria o do banco de dados Clique em View Design View no canto superior esquerdo na janela do Access O Access dar um alerta autom tico para salvar a tabela A conven o que as tabelas sejam salvas com o prefixo tbl seguido por um nome significativo para a tabela Salve a tabela como TBL_YR3_ MATHS DATA e clique em OK A Figu ra 10 1 B do exerc cio mostra o formato da tabela com o primeiro ID nome de campo introduzido automaticamente us

Download Pdf Manuals

Related Search

Related Contents

EUROLITE LED QMS-18 RBG User Manual  Siemens Webcam TP177B User's Manual  latest PDF  Manual de Instalação Telhas P    VL POWER SYSTEM M0S06959 1L12 - SPA  

Copyright © All rights reserved. Failed to retrieve file