Home

(Dissertação Karen CAPES)

1. P REFER NCIAS 000000 0000000000 0000000000 000000000000 000000 00000000 0000000000 0000 LOCO COCO COLOCO COCO o voc oco coros o 00 3 INTRODU O a rela o entre o pensamento e a palavra n o uma coisa mas um processo um movimento cont nuo de vaiv m do pensamento para a palavra e vice versa O pensamento n o simplesmente expresso em palavras por meio delas que ele passa a existir VYGOTSKY 1993 A rela o feita por Vygotsky entre pensamento e linguagem ressalta a import ncia do significado como sendo um componente essencial da palavra e ao mesmo tempo um ato de pensamento Sua percep o de que o significado de uma palavra j em si uma generaliza o traz tona a vis o do processo no qual atrav s do significado da palavra o pensamento e a fala se unem em pensamento verbal Para Vygotsky no significado que se encontra a unidade das duas fun es b sicas da linguagem o interc mbio social e o pensamento generalizante S o os significados que v o propiciar a media o simb lica entre o indiv duo e o mundo real constituindo se no filtro atrav s do qual o indiv duo capaz de compreender o mundo e agir sobre ele Estudar a leitura como processo de constru o de sentidos se apresenta como um caminho para se prosseguir nas investiga es acerca da cogni o estabelecendo se ent o a import ncia da leitura para a cogni o Os fato
2. No original Most multiple choice reading comprehension tests reflect grossly inadequate theories of cognition language and learning p 35 63 desestimulam os candidatos a utilizarem seus conhecimentos pr vios No caso do TOEFL conforme o boletim de informa es ETS 2007 solicitado aos candidatos que respondam s quest es de m ltipla escolha com base no que est declarado ou impl cito em cada um dos textos p 21 sugerindo uma n o necessidade de utiliza o de qualquer conhecimento pr vio para responder a quest o Os candidatos devem escolher a que eles consideram ser a melhor op o entre as quatro apresentadas em cada item Tal postura pode acabar incidindo no comportamento de leitura dos candidatos que muitas vezes suprimem sua bagagem de conhecimento pessoal por medo de marcarem uma resposta n o apropriada Fica impl cito a partir das instru es nas provas que o conhecimento pr vio do candidato n o deve interferir nas informa es declaradas no texto Conforme Hill e Parry 1992 argumentam chega a ser ir nico que os leitores sejam encorajados a deixarem de lado toda a bagagem de conhecimento que crucial para a efetiva 9923 intera o deles com o texto A titulo de ilustra o apresentada a seguir uma tela com esse tipo de quest o READING COMPREHENSION Practice Questions 1 to 6 Mecinning Though adults breathe twelve times a minute K 48 breathing is so a
3. Resposta emocional ao requer que o leitor verbalize sobre seus sentimentos em rela o ao texto em termos de interesse empolga o aborrecimento medo dio divers o etc Est relacionada com o impacto emocional da leitura no leitor Identifica o com As perguntas dessa natureza elicitam respostas que demonstrem sensibilidade simpatia e empatia do leitor em rela o aos personagens e acontecimentos relatados no texto Rea es ao uso da linguagem requer que o leitor responda sobre a habilidade do autor em termos das do autor dimens es sem nticas do texto ou seja conota es e denota es Imagem requer que o leitor verbalize seus sentimentos em rela o habilidade do autor em pintar palavras imag ticas que fa am o leitor visualizar escutar ou sentir o cheiro e o gosto Quadro 4 Dimens es cognitivas e afetivas da compreens o leitora da Taxonomia de Barret adapta o CLYMER 1968 p 19 23 ALLIENDE e CONDEMAR N 2005 p 132 134 opini o conte do personagens ou incidentes Outra t cnica formal muito utilizada para avalia o da compreens o leitora s o as quest es de m ltipla escolha As vantagens est o na praticidade e simplicidade do seu procedimento de contagem dos resultados A natureza mec nica dessa t cnica n o apenas garante a objetividade mas tamb m permite contagem mediada por equipamentos Por outro 56 lado a t cnica apresenta desvantagens E neces
4. derivados do leitor mas tamb m ressalta a import ncia da constru o de uma representa o 42 textual e da necessidade de o leitor fazer infer ncias no processamento do texto em prol de uma leitura compreensiva geradora de aprendizagem O modelo de Kintsch e van Dijk merece ser revisitado com um olhar conexionista por tr s motivos a por ser provavelmente o modelo que mais exerce influ ncia nas pesquisas sobre leitura atualmente uma vez que prop e um processo unificado que engloba a maioria das caracter sticas da leitura descritas nos demais modelos b por ser aquele que melhor d conta a nosso ver do processo de leitura e c por que as simula es conexionistas amparam se em dados comportamentais confi veis e em se tratando de leitura o trabalho desses autores fornece esses dados Conforme Salles 2002 o Modelo de Compreens o de Textos proposto por Kintsch e van Dijk 1978 sugere que devido s limita es na mem ria de curto prazo o processamento de um texto feito em ciclos que correspondem aproximadamente a uma frase No modelo o texto transformado em proposi es unidades de informa o que s o combinadas pelo leitor Desses ciclos uma estrutura mais geral de significado a macroestrutura extra da das proposi es do texto original e mantida na mem ria epis dica junto com os itens finais do ciclo As frases apresentadas no texto s o conhecidas como microestruturas O ciclo seguinte altera as
5. o da compreens o e consegiientemente para o ensino da leitura proficiente uma vez que os testes especialmente no caso de L2 servem como par metro para o ensino A avalia o da compreens o leitora ser abordada na pr xima se o 1 3 Avalia o da compreens o leitora O processo de avaliar mais efetivo e alcan a melhores resultados quando se baseia em princ pios operacionais adequados Esses princ pios ou guias proporcionam certa dire o ao processo e servem como crit rios normativos para avaliar a efetividade dos procedimentos e das pr ticas que se utilizam para ele Ferm n 1971 Diante de tudo que foi escrito at aqui acerca da compreens o indiscut vel que a avalia o da mesma n o se constitui em uma tarefa simples pois como processo mental que seu acesso sempre indireto Al m dessa dificuldade a profus o de elementos e aspectos cognitivos envolvidos tamb m colabora para tornar a a o avaliativa mais dif cil Por m como dito na se o anterior o conhecimento acerca desses aspectos colabora com a tarefa servindo de base para que se decida o qu e como medir al m de servir de indicador das capacidades cognitivas que devem ser consideradas no momento de avaliar a compreens o No original El proceso de evaluar es m s efectivo y alcanza mejores resultados cuando se basa en adecuados principios operacionales Estos principios o ideas gu as proporcion
6. Interessante foi a constata o de que embora o ndice de acerto no OUR TOOL tenha sido consideravelmente menor do que no TOEFL no geral da amostra o n vel de representa o do texto verificado nos recontos foi maior exatamente na ferramenta em que os participantes tiveram mais dificuldades para responder e pontuaram menos Esses dados ser o apresentados na segunda etapa da an lise a seguir 3 2 Resultados da an lise e classifica o dos recontos Para an lise dos recontos foi utilizado o modelo de Kintsch e van Dijk 1978 referido no cap tulo 2 No modelo distinguem se tr s n veis na representa o do discurso 1 a estrutura de superf cie palavras e sintagmas do texto 2 o conte do sem ntico local microestrutura e global macroestrutura e 3 o modelo de situa o O modelo de situa o no qual a situa o descrita no texto representada como um modelo mental isto um construto localizado na mem ria epis dica que cont m a representa o subjetiva do texto incluindo infer ncias e experi ncias pr vias KINTSCH 1998 Assim com base na observa o do modelo situacional os recontos foram analisados e enquadrados em categorias observando a a recupera o das id ias centrais do texto e b a quantidade de infer ncias interfer ncias e reconstru es presentes 115 A classifica o em infer ncias interfer ncias e reconstru es seguiu par metros propostos por Parente Saboskinski
7. o da compreens o em l ngua estrangeira e os prop sitos da mesma S o apresentados alguns instrumentos padronizados utilizados para medir a compreens o e descrito o processo de valida o dos mesmos Nessa se o destacado o 20 modelo de utilidade dos testes que serve como um importante crit rio para a atribui o de validade Entre os instrumentos apresentados o Test Of English as a Foreign Language TOEFL que consiste em um teste padronizado de avalia o da compreens o aceito internacionalmente como refer ncia receber um enfoque especial por ser objeto de estudo da presente investiga o A se o termina com um olhar para o efeito que os testes de avalia o da compreens o em leitura exercem no sistema educacional e na sociedade como um todo 1 1 A compreens o leitora sob diversos olhares A leitura em seu sentido estrito constitui um processo ativo de comunica o que leva o leitor a construir intencionalmente a partir da percep o de signos gr ficos e da ajuda de dados n o visuais uma subst ncia de conte do equivalente aquela que o autor quis expressar atrav s de uma mensagem verbal escrita POERSCH e PORTO AMARAL 1989 p 133 Conforme Leffa 1996 na ep grafe de abertura deste cap tulo o fen meno da compreens o em leitura n o pode ser descrito a partir de um nico enfoque Assim ser apresentado na sequ ncia um olhar caleidosc pico sobre o tema bem como uma defini o acerca
8. 1997 p 71 os g neros operam prospectivamente abrindo o caminho da compreens o At este momento ao se falar em compreens o est se pensando no fen meno em si e de um modo generalizador n o vinculado a uma determinada l ngua Essa postura defendida por Goodman 1987 para quem o processamento de leitura o mesmo para todas as l nguas uma vez que o esfor o que subjaz o trabalho do leitor em construir o sentido do texto requer a utiliza o de estrat gias e habilidades cognitivas independentemente do idioma que utiliza Um contraponto poss vel acerca desse olhar de Goodman seria em rela o ao dom nio da l ngua Para que o processamento de leitura seja o mesmo para mais de uma l ngua o dom nio dessas l nguas deveria ser semelhante ao dom nio na l ngua materna A seguir ser enfocada a compreens o em leitura especificamente em l ngua estrangeira uma vez que essa o alvo da presente investiga o 1 1 2 A compreens o leitora em l ngua estrangeira 26 No caso espec fico de uma l ngua estrangeira tamb m se pode perceber diferentes concep es ao longo da hist ria A leitura era vista como um adjunto para as habilidades de linguagem oral Segundo Carrell 1998 o m todo audiolingual influenciou a concep o da primazia do udio sobre a leitura e da fala sobre a escrita Outra influ ncia segundo a autora para a promulga o e implementa o da perspectiva de decodifica o na leitura em
9. As dificuldades em estabelecer as cadeias causais encontradas em 80 dos recontos p s TOEFL e em 60 p s OUR TOOL que ficaram nas categorias I e II podem indicar que a compreens o de ora es atingida tanto que conseguiram responder as perguntas dos testes por m h dificuldade de integrar essas ora es em um todo coerente Conforme afirma Marotto 2000 citado por Salles 2005 a compreens o do texto n o a soma do significado de suas ora es individuais O leitor pode n o chegar a estabelecer as rela es de coer ncia que d o sentido ao texto mesmo entendendo as ora es individuais 118 Ainda conforme Salles 2005 os modelos mentais elaborados durante a compreens o t m certamente elementos que s o externos hist ria relacionados bagagem individual do leitor Como os esquemas e os modelos mentais s o individuais criados a partir da viv ncia e conhecimento pr vio de cada um e como os fatos s o lembrados por meio desses esquemas individuais o texto evocado nunca exatamente igual ao texto lido SALLES e PARENTE 2004 Segundo Leffa 1996 isso ocorre porque j no ato de decodifica o o leitor est contribuindo com a sua experi ncia para a percep o do que l al m de o lapso de tempo entre a compreens o e a evoca o tamb m contribuir para modificar o texto de acordo com os esquemas individuais Os recontos enquadrados na categoria III apresentam alguns blocos do texto inseri
10. Ferreira e Nespoulous 1999 Infer ncias s o os coment rios pertinentes a respeito de fatos presentes no texto original ou o relato de um fato que deve ter ocorrido mas que est ausente no texto original Interfer ncias ocorrem quando o sujeito modifica o significado das cl usulas do texto por misturar elementos presentes por m independentes Reconstru o a introdu o de cl usulas que relatam fatos n o presentes no texto original e que n o poderiam ser inferidos pelas informa es contidas no texto SALLES 2005 As categorias propostas para an lise dos recontos apresentadas no Quadro 7 a seguir foram elaboradas com base em categorias pr estabelecidas existentes na literatura sugeridas por Brand o e Spinillo 2001 A decis o pela n o utiliza o das categorias j existentes e sim pela elabora o de novas ocorreu em fun o de que algumas dessas categorias acabavam por ficar amplas demais e por isso n o davam conta de demonstrar a diferen a de qualidade do modelo situacional entre os recontos De um modo geral v rios recontos se encaixavam em uma mesma categoria por m havia grandes diferen as entre eles que n o eram contempladas pela mesma Para efeito de an lise o texto foi dividido em dez ora es principais ANEXO D CATEGORIAS DESCRI O I Reprodu es desconectadas do texto ou recontos que limitam se a frases que marcam a abertura e o fechamento do texto Reproduzidas aqui essencialmente a
11. a leitura deleite ou frui o a leitura para aquisi o de informa es e a leitura para estudo e trabalho A pr tica escolar da leitura ainda estereotipada e unidirecional tendo como nica fonte de textos o livro did tico cujas atividades e tipos de texto liter rios na grande 25 maioria s o repetitivos e usados de forma desvirtuada de sua verdadeira fun o Silveira 1995 Ao oportunizar a pr tica a reflex o e a o em sala de aula trabalhando com diversos suportes tipos e g neros textuais nas atividades de leitura com as crian as a pr tica escolar viabilizaria a emerg ncia de imensos tesouros de um sentido potencial BAKHTIN 1997 p 69 O trabalho com o g nero da propaganda por exemplo que uma pr tica pouco difundida na educa o infantil uma forma poss vel de se aproximar a leitura de mundo com a leitura da palavra uma vez que segundo Marcuschi 2002 os g neros sociais s o o reflexo de estruturas sociais recorrentes e t picas de cada cultura Conforme o autor tendo em vista que todos os textos se manifestam sempre num ou noutro g nero textual um maior conhecimento por parte dos leitores acerca do funcionamento dos diversos g neros textuais importante tanto para a produ o como para a compreens o de textos Os g neros s o modelos comunicativos servindo muitas vezes para criar uma expectativa no interlocutor e prepar lo para uma determinada rea o Segundo Bakhtin
12. a insist ncia em uma nica resposta correta Para os autores que comungam do olhar dos Modelos Mentais de Kintsch e van Dijk 1978 a compreens o leitora um processo construtivo logo o significado t o dependente do leitor na cria o de um modelo situacional quanto o do texto Muitos dos problemas existentes nos testes de m ltipla escolha s o de ordem t cnica e est o relacionados a no es de probabilidade estat stica e produ o de itens Para Farr e Carey 1986 a maioria dos testes de compreens o em leitura reflete teorias grosseiramente inadequadas acerca da cogni o linguagem e aprendizagem Segundo os autores embora n o haja uma defini o consensual sobre compreens o s o poucos os pesquisadores que conceberiam uma defini o de compreens o baseada na palavra como fun o da mem ria de curto prazo ou unidimensional Outra caracter stica comum em testes de m ltipla escolha apontada por diversos autores entre eles Hill e Parry 1992 Peirce 1992 e Farr e Carey 1986 o fato de que medida que esses testes procuram n o favorecer candidatos de reas espec ficas eles 2 No original Above all work quickly so that you give yourself a chance to answer all the questions accurately If you do run out of time however there is no penalty for guessing in the Reading section so make sure you answer every question even if you must guess randomly at the end p 11 Grifo do original
13. diferentes vis es nessa arena espec fica da L2 1 3 1 Avalia o da compreens o leitora em L2 Conforme Koda 2005 a tend ncia atual na avalia o da compreens o em L2 se focaliza mais na profici ncia da l ngua do que na compreens o leitora A autora afirma que apesar de a flu ncia na l ngua ser desej vel um cuidado especial deve ser tomado ao avaliar dando um destaque a isso pois a efici ncia no processamento de segunda l ngua ou l ngua estrangeira nem sempre retrata a habilidade de leitura na l ngua alvo Segundo a autora a avalia o da compreens o leitora em L2 com foco na profici ncia est muito mais embasada em aspectos da legibilidade f sica e ling stica do texto apresentados na se o 1 2 3 2 julgando os como sendo determinantes mais precisos da dificuldade na compreens o do que elementos nao lingiifsticos Koda 2005 aponta ainda que as diretrizes sobre profici ncia desenvolvidas pelo Conselho Americano para o Ensino de L nguas Estrangeiras ACTFL definem a profici ncia 49 em leitura com base nos tipos de texto e numa listagem de habilidades associadas com cada tipo como pode ser visto no Quadro 3 e ao fazerem isso conferem um papel proeminente complexidade ling stica impl cita no tipo textual Tipo de texto Amostras de textos Habilidades de leitura De enumera o N meros nomes placas de rua Reconhecimento de denomina o de dinheiro designa es de elementos memo
14. es Lembran a de rela es de requer lembrar se das raz es que determinam um efeito causa e efeito Lembran a de tra os de requer lembrar se da caracteriza o expl cita que foi feita dos personagens que aparecem no texto nomes de personagens tempo e local do conto gens REORGANIZA O A reorganiza o consiste em analisar sintetizar e ou dar uma nova organiza o s id ias s informa es explicitamente apresentadas no trecho selecionado Classifica o consiste em situar em categorias as pessoas os objetos os lugares e as a es mencionadas no texto ou em exercer a atividade classificat ria sobre qualquer elemento do texto Esbo o consiste em reproduzir o texto de forma esquem tica Pode se executar utilizando ora es ou mediante representa es ou disposi es gr ficas Resumo consiste em uma condensa o do texto mediante ora es que reproduzem os fatos ou elementos principais S ntese consiste em reunir diversas id ias fatos ou outros elementos do texto em formula es mais abrangentes COMPREENS O INFERENCIAL A compreens o inferencial exige que o estudante use as id ias e as informa es explicitamente apresentadas no trecho a sua intui o e a sua experi ncia pessoal como base para conjecturas e hip teses As infer ncias podem ser de natureza convergente ou divergente e o leitor pode ou n o ser exigido a verbalizar a base racional de suas infer ncias Em geral a compr
15. grafos A mem ria de trabalho desempenha um papel central nesse processo 36 Al m do acesso lexical virtualmente todas as opera es na leitura passam pela mem ria As altas correla es entre a capacidade de mem ria de trabalho e a performance em leitura Daneman amp Carpenter 1980 s o um forte ind cio de que tal capacidade uma das principais fontes das diferen as individuais na habilidade de compreens o leitora Miyake e Friedman 1998 definem mem ria de trabalho como uma arena computacional ou espa o de trabalho abastecido por recursos cognitivos limitados organiz veis flexivelmente ou uma ativa o que suporte tanto a execu o de computa es simb licas c digo como a manuten o dos produtos intermedi rios gerados por essas computa es Esse enfoque ilumina a natureza din mica da mem ria de trabalho oferecendo um contraste em rela o concep o tradicional de mem ria que atribui a ela a fun o passiva de estocagem KODA 2005 Assim conforme sugerem in meras pesquisas a capacidade de mem ria de trabalho particularmente importante nas tarefas cognitivas complexas que necessitam de opera es de est gios m ltiplos como resolu o de ambigiiidades an lise sint tica e gera o de infer ncia entre outras estrat gias de leitura empregadas pelo leitor na tarefa de compreens o Por m segundo autores como Chistiansen e MacDonald 2002 diferen as individuais na co
16. institui es em outros pa ses em que o ingl s o meio de instru o O teste aplicado pelo ETS uma vez por m s em mais de 6 000 institui es e ag ncias em 110 pa ses para selecionar candidatos com as habilidades necess rias para serem bem sucedidos ETS 2007 O construto de leitura que medido no teste de leitura do TOEFL n o exposto explicitamente na literatura do ETS PEIRCE 1992 Cada teste aplicado utilizado uma nica vez e a equipe de desenvolvimento de testes no ETS produz um novo teste TOEFL para cada administra o mensal O Conselho de Pol tica do TOEFL composto por um comit de examinadores um comit de pesquisa e um 16 No original The Test of English as a Foreign Language TOEFL measures the ability of nonnative speakers of English to use and understand English as it is spoken written and heard in college and university settings 17 As informa es aqui apresentadas est o baseadas em uma s rie de materiais preparat rios para o TOEFL como livros publicado pela editora Kaplan um manual da s rie preparat ria de testes produzido pela SBS bem como da pr pria p gina do instituto respons vel pela elabora o do teste o ETS que al m de informa es disponibiliza alguns testes para pr tica 57 comit de servi os Cada um respons vel por diferentes reas da atividade do programa PEIRCE 1992 O teste oferecido em diferentes formatos isto em suportes
17. o nativos de ingl s em usarem e entenderem a l ngua inglesa da forma em que falada escrita e ouvida em ambientes de faculdades e universidades Norte Americanas Assim sendo uma das tarefas eleitas aqui como essenciais em ambientes de faculdades e universidades devendo por isso estar contemplada nos testes a utiliza o da leitura como dispositivo para a aprendizagem Essa tarefa destacada tendo em vista o fato de que no contexto acad mico que o contexto de destino desses calouros a leitura ser uma das principais fontes de aprendizagem Para que haja essa aprendizagem necess rio que o leitor consiga fazer uma representa o mental do texto a qual vista por Salles 2002 como um aspecto cognitivo necess rio para a compreens o leitora uma vez que por meio dela que o leitor consegue a reten o da informa o e a conseqiiente aprendizagem Tal representa o que se d aparentemente de uma forma t o autom tica e sem esfor os em leitores competentes tem inquietado muitos pesquisadores Como se constr i o modelo de situa o proposto por Kintsch e van Dijk 1978 na mente do leitor Como verificar se isso acontece ou n o Nesse espectro tem se apresentado como um desafio o estabelecimento de n veis os quais permitam vislumbrar com maior nitidez as representa es de sentido que os leitores constroem durante a compreens o Tal conhecimento til n o apenas para se entender melhor o fen
18. o processo de valida o deveria levar em considera o n o apenas os indiv duos mas tamb m o contexto envolvido no uso da l ngua incluindo a coleta de evid ncia como sustenta o de um uso ou interpreta o dada a qual estar baseada em considera es l gicas emp ricas e ticas A inova o que pode ser atribu da a Bachman que ele divide as fontes de evid ncia para o processo de valida o em base evidencial e base de conseqii ncia Em rela o base evidencial de validade Bachman 1990 sugere que a evid ncia coletada para dar sustenta o decis o de um uso espec fico para um teste poderia ser agrupada em tr s tipos a relev ncia de conte do e cobertura de conte do b rela o de crit rio e c significa o de construto A relev ncia de conte do refere se a dois aspectos 1 relev ncia do dom nio que no caso de testes em l ngua a habilidade na l ngua e 2 os m todos utilizados para elicitar a performance no candidato A cobertura de conte do est relacionada com o quanto as tarefas solicitadas no teste representam adequadamente o dom nio de comportamento em quest o O segundo tipo de evid ncia requer identificar um crit rio apropriado e demonstrar que os resultados do teste est o funcionalmente relacionados a esse crit rio O processo de valida o pode demonstrar uma rela o entre o resultado do teste e seu crit rio correspondente atrav s dos procedimentos de validade co o
19. pesquisa No desenvolvimento de provas com itens de m ltipla escolha como no TOEFL s o utilizados alguns termos psicom tricos que formam uma linguagem padr o como visto no seguinte exemplo A resposta em uma quest o de m ltipla escolha referida como A um item B um distrativo C uma op o D uma chave 58 As alternativas A B Ce D s o as op es A resposta para a quest o nesse caso a letra D a chave As respostas incorretas nesse caso as letras A B e C s o os distrativos A quest o que no exemplo 4 resposta em uma quest o de m ltipla escolha referida como a base A base mais as op es chamada de item PEIRCE 1992 Na tela a seguir s o apresentados os termos psicom tricos referidos Er A EN READING COMPREHENSION Practice Beginning At one time in North America wolves ranged from coastk to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met their match Gray wolves began declining in the American West around 1870 as westyward moving settlers depleted the bison deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their prey Settlers and government rappers responded with intensive campaigns to wipe outthe wolf Approximately 1 5 million wolves were killed in various bounty hunting campaigns carried outbetween 1850 and 1900 As
20. rio entre conhecimento e processo e incluem elementos de ambos MOORMAN e RAM 1994 V rios outros modelos buscando explicar a compreens o leitora est o dispon veis na literatura Kingston 1961 apresenta um modelo descrito por ele mesmo como experimental no qual o autor inclui n vel de abstra o experi ncias n vel desenvolvimental e s mbolos lingiifsticos como vari veis Com esse modelo o autor fornece uma s rie de postulados para futuros modelos Cleland 1965 tamb m ofereceu um modelo de compreens o no qual ele especifica alguns dos principais processos constituintes da leitura Uma vis o bastante extensa da constitui o da compreens o leitora revelada por meio da Taxonomia de Barret apresentada em um artigo n o publicado mas que foi trazido a p blico com a permiss o do autor por Clymer 1968 ANEXO C Nesse artigo segundo Clymer 1968 Barret identifica duas concep es err neas enfrentadas por alguns professores ao ensinarem a compreens o Essas concep es s o a considerar a compreens o uma habilidade nica e b pressupor que a compreens o cont m tantas habilidades separadas a ponto de n o serem control veis CLYMER 1968 p 17 A fim de desenvolver um meio compreens vel e manej vel de ensinar a compreens o Barret lan a sua Taxonomia das Dimens es Afetivas e Cognitivas da Compreens o Leitora que ser apresentada com mais detalhes na se o 1 4 3 2 sobre a avalia o da
21. suporte em que foi veiculado entre outros a passagem acaba tendo pouca semelhan a com textos aut nticos que o leitor vai encontrar em 77 situa es ou tarefas de uso real da lingua Sendo assim a performance desse leitor diante do excerto n o revela como ele lidaria com esses dados presentes em textos nas situa es reais nem se ele saberia fazer uso dos mesmos para a constru o de sentidos exatamente a aus ncia de tais dados que pode comprometer a autenticidade no sentido social pois o sentido de um texto n o depende apenas do que declarado pelo autor mas tamb m das condi es sociais e hist ricas sob as quais o texto foi produzido O sentido social de um texto constitu do da intersec o entre os dados do texto a bagagem que leitor traz e a localiza o espec fica no tempo e espa o no qual o texto foi produzido Um mesmo texto pode ter sentidos sociais diferentes se lido em condi es sociais hist ricas e temporais diferentes conforme apresentado nos aspectos cognitivos derivados do texto A interatividade outro elemento presente no modelo de utilidade proposto por Bachman e Palmer 1996 definida como o grau e o tipo de envolvimento das caracter sticas individuais do candidato ao realizar uma tarefa do teste Segundo os autores as caracter sticas individuais que s o mais relevantes para os testes em l ngua s o a habilidade do candidato na l ngua conhecimento da l ngua e compet ncia estrat
22. viavale com br karenj PO php z gt Glz Google 4 gt Guia r pido amp ltimas not cias ES At one time in North America wolves ranged from 7 9 coast to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met Based on the text how do you evaluate the U S Forest in the American Service Click on the answer their match Gray wolves began West around 1870 as westward moving settlers depleted the E Because the environment bison deer and elk that wolves preyed on Wolves then will never recover turned to the sheep and cattle as their gay Settlers and C Useless Because the environment government trappers responded with intensive campaigns to C Hopeless wilirecever alons Why Because it is important Useful wipe out the wolf Approximately 1 5 milion wolves were C Expensive to bring the environment s balance back Because the government between 1850 and 1900 As late as 1965 hunters were pays them ra servico offered 20 to 50 for every wolf they could kill killed in various bounty hunting campaigns carried out Human incursions on their habitat and purposeful clear Next extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone gt Conclu do 95 Figura 17 Tela OUR TOOL quest o 7 Quest
23. 89 HI 2 100 00 100 00 100 00 100 00 00 IV 1 100 00 100 00 100 00 100 00 v 1 83 33 83 33 83 33 83 33 124 Considerando o objetivo geral da pesquisa referente rela o entre n vel de representa o textual e a capacidade de execu o das tarefas do teste a an lise de correla o no TOEFL indica que s o habilidades n o relacionadas de forma significativa Para a an lise foi utilizado o teste de correla o de Spearman Esse teste de hip teses realizado para avaliar a associa o entre duas vari veis qualitativas e ordinais expressa pelo coeficiente de correla o de Spearman O coeficiente de correla o r de Spearman mede a associa o linear entre duas vari veis qualitativas X e Y ordinais ou duas vari veis quantitativas que n o seguem uma distribui o normal Na presente pesquisa o teste apresentou um coeficiente de correla o igual a 0 039 n o sendo assim estatisticamente significativo p 0 872 Para facilitar a visualiza o a Figura 31 a seguir apresenta um gr fico com a distribui o dos escores de cada candidato no TOEFL e nas categorias de reconto A maioria dos recontos representada no gr fico pelas bolhas maiores ficou com as classifica es mais baixas I e II e escores mais altos entre 80 e 100 Dos dez candidatos que tiveram escore de 100 no TOEFL cinco apresentaram um reconto classificado em categoria I que vem a ser a mais fraca sugerindo d ficit compreensivo n o havendo assim
24. Karen Santorum O fator de n o ter tempo cronometrado influenciou de algum modo aam GB Leitor 3 are Rand Claro tive mais tranquilidade para responder e consultei mais o texto antes de responder E mesmo assim o resultado n o foi satisfat rio Enquete Fiquei mais tranquilo mas isso n o influiu na Perg Frequentes 82 Leitor 6 para Karen precis o das respostas bd E IL Naa AEO ETA EM A AE a LO O Or ary z Figura 29 Tela bate papo p s OUR TOOL quest o 3 seq ncia TOEFL OUR TOOL Outro quesito na concep o de avalia o da compreens o que mereceria ser repensado em novas pr ticas pedag gicas surgiu ao longo da pesquisa ainda na fase de constru o da ferramenta Na etapa da valida o da OUR TOOL foi poss vel perceber uma amostra do efeito washback ou seja do impacto da avalia o tradicional na pedagogia 122 escolar Embora a inten o da presente investiga o n o fosse a de coletar ind cios desse impacto mas sim investigar as poss veis conseqii ncias do mesmo no sistema educacional esse dado surgiu de maneira espont nea n o podendo deixar de ser mencionado N o foram fornecidos aos ju zes detalhes sobre a teoria subjacente ao teste Nem lhes foi dito que se tratava de uma forma alternativa de avalia o da compreens o n o t o convencional para evitar qualquer forma de indu o Os ju zes cumpriram com seu papel avaliando o instrumento por m foi poss vel perce
25. Research in Education 19 405 450 1993 SILVEIRA M I M Tipologia textual e estrat gias de leitura Revista do Centro de Educa o da UFAL Ano n ago 1995 Dispon vel em http www cedu ufal br Revista gt Acesso em 26 mar 2006 SMITH F Compreendendo a leitura uma an lise psicolingii stica da leitura e do aprender a ler Porto Alegre Artes M dicas 1989 SOARES M As muitas facetas da alfabetiza o S o Paulo Contexto 2004 SOARES M Letramento um tema em tr s g neros 2 ed Belo Horizonte Aut ntica 2001 SPERBER D Entendendo a compreens o verbal In KAHLFA J Org A natureza da intelig ncia uma vis o interdisciplinar S o Paulo UNESP 1996 TUMOLO C H S Assessement of Reading in English as a Foreign Language Investigating the defensibility of test items 2005 Tese doutorado em Letras Ingl s e Literatura Correspondente Universidade Federal de Santa Catarina Florian polis URQUHART S e WEIR C Reading in a second language process product and practice London Longman 1998 138 VIANA F L P Da linguagem oral leitura constru o e valida o do teste de identifica o de compet ncias ling sticas Portugal Funda o Calouste Gulbenkian e Funda o para a ci ncia e tecnologia 2002 VYGOTSKI L S Pensamento e linguagem 2 ed S o Paulo Martins Fontes 1998 WALL D ALDERSON J C Examining washback the Sri Lankan impact study Language Test
26. a 65 Valida o a busca pela autentica o de um procedimento que faz parte das mais variadas esferas de inser o do indiv duo a avalia o A ubigiiidade dos testes de compreens o sugere uma esp cie de validade presumida e de fato muitos membros da comunidade acad mica bem como o p blico em geral t m consider vel f em seus resultados Mas se essa f tem garantias uma quest o a se considerar Conforme Farr e Carey 1986 a pr tica educacional convencional aceita os resultados dos testes de compreens o independentemente do formato como um ndice v lido acerca da habilidade de compreens o de uma crian a uma comunidade ou at mesmo de uma na o O processo de valida o n o tem fim ao contr rio pressup e continuidade e deve ser repetido diversas vezes para o mesmo instrumento Conforme Raymundo 2005 valida se n o propriamente o teste mas a interpreta o dos dados decorrentes de um procedimento espec fico Por m nem sempre o fen meno da valida o foi visto sob esse ngulo o que resultou ao longo da hist ria em diferentes defini es para o conceito Conforme Tumolo 2005 a busca da validade j aparecia na preocupa o que os fil sofos tinham em validar tudo dentro do m todo cient fico Messick 1989 aponta que fil sofos como Leibnezi Lock Kant Hegel e Singer j apresentavam em sua poca seus diferentes modos de investiga o considerando o processo de coleta
27. a previs o seria a de que os recontos p s TOEFL seriam de categorias mais altas Interessante observar que os pr prios participantes ao verem os resultados de ambos os testes ficavam impressionados pelos mesmos e acreditavam em um primeiro momento ter entendido mais do texto no TOEFL do que no OUR TOOL influenciados pelas notas 121 obtidas Uma leitura poss vel disso a confian a cega que as pessoas depositam nos n meros sem se questionarem sobre o que de fato eles significam nesse sentido que uma mudan a de foco na avalia o da compreens o se faz necess ria na renova o da pr tica pedag gica Caberia perguntar se um escore de 100 no TOEFL significa 100 de compreens o ou apenas 100 de acerto num tipo de teste do qual foi poss vel inferir o funcionamento ou seja qual o truque fornecido a partir de treinamento para obter xito A Figura 29 a seguir mostra alguns coment rios feitos pelos participantes na sala de bate papo ap s a realiza o do OUR TOOL indicando um descontentamento com sua performance nesse teste http www ead unisc br EAD UNISC Mozilla Firefox 0 x TA Quarta Feira Sai Tina NNN Novidades z o Quinta etapa Coleta OUR TOOL Plano de Aula t Complementar amp E Bate papo finalizado Total de mensagens 13 Mee Mensagens Enviadas ao Bate Papo Bibliografi AUTOR MENSAGEM GI E amp Administrador Karen Santorum entrou na sala
28. as infer ncias que s o feitas sobre os candidatos com base em sua performance no teste A validade de construto tradicionalmente examinada ao determinar a rela o entre o aspecto emp rico os padr es dos resultados de testes e o te rico conceitos explicativos propostos Conforme Raymundo 2005 a constata o da validade de construto resulta do ac mulo por diferentes meios de v rias provas que precisam ser analisadas em todos os seus detalhes Esse tipo de valida o visa detectar entre outros aspectos quais as vari veis com as quais os resultados do teste se correlacionam quais os tipos de itens que integram o teste o grau de estabilidade dos resultados sob condi es variadas e o grau de homogeneidade do teste se mede um s ou v rios tra os com vistas a ter elementos que possam esclarecer o significado do instrumento Um procedimento cauteloso como esse se faz necess rio em fun o do peso que o resultado bem como as decis es com base nesse resultado t m na vida do candidato Em 1961 Robert Lado dedica um cap tulo de seu livro intitulado Language Testing validade Nesse cap tulo o autor define o conceito como sendo essencialmente uma quest o de relev ncia Se o teste mede o que se prop e medir considerado v lido Segundo 69 Chapelle 1999 validade para o autor era uma caracter stica do teste um fen meno tudo ou nada Ou o teste era v lido ou n o era Na d cada de 70 a valid
29. autenticidade a rela o entre performance no teste em l ngua e uso real da l ngua Tal crit rio segundo os autores deve ser considerado para o design desenvolvimento e uso dos testes em l ngua 76 Caracteristicas da Caracteristicas da tarefa de uso real ee Ree da lingua PERFORMANCE NO PERFORMANCE NO USO REAL DA LINGU TESTE EM L NGUA Caracter sticas do Caracter sticas do usu rio do teste candidato ao teste Figura 7 Correspond ncia entre o uso da l ngua e a performance em teste em l ngua Fonte adapta o BACHMAN e PALMER 1996 p 12 Os autores sugerem que a autenticidade deve ser analisada sob diversas perspectivas e que todas elas devem ser levadas em considera o no desenvolvimento e uso dos testes em l ngua Contudo poss vel perceber que por mais que as pol ticas de desenvolvimento de testes de compreens o persigam essa autenticidade ela acaba n o ocorrendo plenamente segundo Bachman e Palmer 1996 nem no sentido textual nem no sentido social No sentido textual para ilustrar o texto que o candidato tem diante de si nem sempre apresentado na ntegra No TOEFL como j referido na se o sobre a linguagem dos itens de m ltipla escolha o texto sofre recortes e modifica es Se o texto for na verdade um excerto retirado de um texto maior e o leitor n o tiver acesso a esse texto maior ou a dados como tipo do texto t tulo autor data de publica o editora
30. com crian as A grande maioria dos estudos sobre compreens o de textos adota a segunda alternativa procurando examinar os fatores respons veis pela compreens o de textos tais como fatores ling sticos sint ticos sem nticos l xicos habilidades de decodifica o e fatores cognitivos mem ria de trabalho capacidade de monitoramento infer ncias e capacidade de integrar as informa es veiculadas no texto com seu conhecimento pr vio BRAND O e SPINILLO 2001 No presente estudo ap s realizar cada um dos dois testes cada participante foi solicitado a fazer o reconto do texto lido colocando o m ximo poss vel de detalhes A op o por solicitar o reconto ap s a realiza o do teste foi justamente para que se pudesse verificar se a forma com que o instrumento abordou o texto atrav s de suas quest es repercutiu na qualidade do reconto Foi considerado o fato de que o reconto por escrito de textos sofre influ ncia da mem ria e da habilidade de produ o de um novo texto que caracterizam processos n o espec ficos de leitura textual Por m como no reconto oral tamb m n o se teria isen o total de influ ncias foi mantida a op o pelo reconto escrito Al m disto o reconto configurou se como uma alternativa para que se desse conta do modelo cognitivo de compreens o de leitura textual aqui escolhido o modelo de Kintsch e van Dijk referido na se o 1 3 do cap tulo anterior Na tentativa de control
31. compreens o A compreens o em leitura na forma em que tratada na taxonomia dividida em cinco grandes categorias ou n veis de habilidade a compreens o literal b reorganiza o c compreens o inferencial d avalia o e e aprecia o Dentro de cada uma dessas categorias Barret fornece exemplos de tarefas espec ficas no formato de prop sitos de leitura os quais o professor pode utilizar em sua pr tica em sala de aula As categorias foram ordenadas de modo a se deslocarem das mais f ceis para as mais dif ceis em termos das solicita es demandadas em cada categoria Esse sistema pode ter v rias aplica es teis para os professores Primeiramente a taxonomia pode ser utilizada como base para o desenvolvimento de prop sitos e quest es 1 No original These misconceptions are a considering comprehension a single unitary skill and b assuming that comprehension contains so many separate skills as to be unmanageable p 17 Foi mantida aqui como forma de preservar a produ o original a separa o feita por Barret entre cognitivo e afetivo embora comunguemos do olhar de Dam sio para quem o afetivo faz parte do cognitivo 40 para guiar a leitura Em segundo lugar os professores podem aplicar a taxonomia nas quest es oferecidas pelos manuais para determinar que tipo de compreens o est sendo enfatizada naquela sele o CLYMER 1968 Um outro modelo de compreens o que exerceu forte
32. compreens o n o o processo de retirar o sentido de um texto mas sim o de trazer sentido ao mesmo Nos coment rios a seguir os leitores confessam o procedimento de retirada do texto http www ead unisc br EAD UNISC Mozilla Firefox ol x Quarta Feira 17 ina NANT a Bate Papo Quinta etapa Coleta OUR TOOL amp E Bate papo finalizado Total de mensagens 13 AUTOR MENSAGEM Administrador Karen Santorum entrou na sala Karen Santorum e2 Leitor 12 para respondi apenas pelo texto pelo o que entendi do texto numa esp cie de pin ar oes direto do texto a informa o ja pronta p a F rum resposta Karen el ne Enquete Perg Frequentes i i ic Fay v slau inform acta quo m o tinhar morcobido duranta E Conclu do Figura 24 Tela bate papo p s TOEFL quest o 2 seqii ncia OUR TOOL TOEFL Em outras respostas relativas ao TOEFL apresentadas na Figura 25 a seguir o mesmo processo de extra o identificado em uma estrat gia de leitura explorat ria conforme apresentado no quadro 2 no referencial te rico utilizada pelos leitores 112 http www ead unisc br EAD UNISC Mozilla Firefox oj x Quarta Feira 17 iN NANT a 4 Bate Papo Quinta etapa Coleta OUR TOOL amp E Bate papo finalizado Total de mensagens 13 Din mica SE Bib ografia AUTOR MENSAGEM Administrador Sim no ltimo teste as perguntas foram
33. da compreens o derivados do autor do texto e do leitor respectivamente Segundo Leffa 1996 historicamente o estudo da compreens o de leitura tem se caracterizado pela predomin ncia de um ou outro extremo do processo enfatizando ora o texto ora o leitor como fator essencial da compreens o Cada um desses enfoques pressup e uma explica o diferente para os fatores que interv m na compreens o Quando se privilegia o texto por exemplo pressup e se que a melhoria na compreens o depende de qualidades intr nsecas do texto e que na medida em que se modificam essas qualidades est se modificando os n veis de compreens o do leitor Quando se privilegia o leitor pressup e se que a compreens o do texto aumenta na medida em que se desenvolve no leitor as habilidades gerais da leitura LEFFA 1996 Uma vez que esse levantamento hist rico sugere uma divis o entre texto e leitor partimos para fins did ticos dessa dicotomia Conforme o autor as implica es pedag gicas desse levantamento s o bvias Na medida em que se capaz de destacar os fatores mais e menos importantes para a compreens o de leitura se est dando pistas ao professor sobre como atuar com seus alunos leitores Seguem ent o os elementos 29 1 1 3 1 Aspectos cognitivos da compreens o leitora derivados do escritor O escritor lan ando m o de um conjunto de c digos que maneja e de seu patrim nio cultural e de conhecimento pr vio produz um
34. de acertos no TOEFL e no OUR TOOL respectivamente dentro de cada seqii ncia Nas tabelas os participantes est o divididos em dois grupos de dez de acordo com a sequ ncia de realiza o das provas Conforme a Tabela 1 20 dos sujeitos do grupo 1 TOEFL E OUR TOOL acertaram 50 da prova 10 acertaram 66 67 20 acertaram 83 33 e 50 acertaram 100 da prova 3 No original Reading assessireht should include systematic samplings of reading behaviors that guide decisions about reading ability JOHNSTON 1983 apud FARR e CAREY 1986 p 117 No grupo 2 OUR TOOL acertaram 83 33 e 50 acertaram 100 da prova Tabela 1 Propor o de acertos no TOEFL 105 TOEFL 10 da amostra acertaram 50 da prova 40 ER deaths GRUPO 1 GRUPO 2 dis a os no TOEFL n n n 50 00 2 20 0 1 10 0 3 15 0 66 67 1 10 0 0 0 0 1 5 0 83 33 2 20 0 4 40 0 6 30 0 100 00 5 50 0 5 50 0 10 50 0 Total 10 100 0 10 100 0 20 100 0 Propor o de acertos no OUR TOOL Tabela 2 Propor o de acertos no OUR TOOL GRUPO 1 M dia entre os grupos 47 37 52 63 57 89 63 16 68 42 73 68 84 21 89 47 Total e U e O COC WY WIS j 20 0 20 0 0 0 0 0 10 0 30 0 10 0 10 0 GRUPO 2 n 0 0 0 1 10 0 2 20 0 1 10 0 2 20 0 3 30 0 1 10 0 0 0 0 10 100 0 N A UU e N o NIS N 10 0 15 0 10 0 5 0 15 0 30 0 10 0 5 0 100 0 100 0 Na Tabela 2 verifica se que 20 dos sujeitos do gr
35. de evid ncia de validade ou seja o processo de valida o dentro do m todo cient fico Na arena espec fica dos testes a validade aparece segundo Tumolo 2005 por volta de 1920 poca em que os elaboradores de testes come avam a buscar evid ncias de confiabilidade e validade em testes de intelig ncia nos EUA progn stico que conjetura sobre o desenvolvimento de um neg cio de uma situa o etc predi o Ju zo m dico baseado no diagn stico e nas possibilidades terap uticas acerca da dura o evolu o e termo de uma doen a Trazendo para a arena da compreens o leitora preciso aten o especial ao se tomar o resultado de um teste espec fico diagn stico como proje o generalizadora progn stico da habilidade de leitura do candidato nas demais situa es de uso real da l ngua No original the conventional practice accepts the results of reading comprehension tests regardless the format for the test as a valid index ofa child s a community s even a nation s ability to comprehend p 33 66 Conforme Shepard 1993 da d cada de 20 d cada de 50 do s culo XX a validade era definida como qualquer coisa com a qual um teste pudesse ser relacionado Se o resultado de um teste fosse correlato com o resultado de um outro ent o o primeiro teste era considerado v lido Em 1954 surge o conceito da validade de construto como resultado de um empenho da Associa o Psicol gica Americana
36. durante a elabora o do c digo de tica profissional SHEPARD 1993 At o in cio da d cada de 60 segundo Messick 1989 a validade era considerada como sendo de quatro tipos de conte do preditiva co ocorrente e de construto A validade de conte do conforme defini o do autor refere se s conclus es baseadas na avalia o de uma compara o entre o conte do do teste e as situa es ou assuntos de interesse Na defini o do Dictionary of Language Testing DAVIES et al 2002 p 34 validade de conte do uma validade conceitual ou n o estat stica baseada em uma an lise sistem tica do conte do do teste para determinar se ele inclui uma amostra adequada do dom nio alvo a ser medido Uma amostra adequada envolve assegurar que todos os principais aspectos est o cobertos e em propor es apropriadas Esse dom nio alvo pode ser um m dulo de ensino espec fico ou uma rea espec fica de conhecimento um dom nio educacional ou ocupacional espec fico para um teste de profici ncia com prop sito espec fico ou a l ngua como um todo e seus poss veis usos Ainda de acordo com o dicion rio na perspectiva te rica subjacente aos testes o termo dom nio utilizado de forma mais ampla para denotar a por o do universo total do tema lingiifstico ou outro que est sendo testado ou sobre quais infer ncias ser o retiradas A validade preditiva refere se segundo Messick 1989 a quanto o teste pode p
37. effect Except for a small number of wolves in Minnesota Beginning zof1i2 Look atthe word they in the passage Click on the word or phrase in the bold text that they refers to READING COMPREHENSION Practice uma 30F 12 Click on the sentence in paragraph 1 that explains which food source wolves turned e ser for food after the depletion of their natural food source Paragraph 1 is marked with an arrow gt 60 Figura 4 Tela TOEFL quest o 3 Tipo 4 Inserir frase clicar no nesse tipo de quest o o candidato tem que clicar em um READING COMPREHENSION Practice Questions 1 to 6 Beginning pof12 At one time in North America wolves ranged from coast The following sentence can be added to coast and from Canada to Mexico the greatest to the passage natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have mettheir match Gray wolves began declining in the American Vest around 1870 as There are some hopeful signs of westward moving settlers depleted the bison deer and a recovery in the wolf population elk that wolves preyed on vvolves then turned to the sheep and cattle as their prey Settlers and government trappers responded with intensive campaigns to wipe outthe wolf Approximately 1 5 million wolves were killed in various bounty hunting campaigns carried out between 1850 and 1900 As E late as 1965 hunters were offered 20 to 50 f
38. feitas em intervalos regulares de cinco em cinco palavras por exemplo A palavra omitida deve ser substitu da por uma linha de tamanho constante Normalmente as palavras omitidas n o devem ser nomes pr prios Na primeira e ltima ora o do texto n o se omitem palavras O projeto b sico do teste Cloze pode adotar diversas modifica es Conforme Koda 2005 o procedimento parece ser mais sens vel a formas de superf cie ling stica do que ao sentido subjacente do texto pois dependendo de qual palavra for apagada primeiro palavras totalmente diferentes v o requerer recoloca o Um estudo apresentado em Alderson 2000 verificou que o desempenho de alguns indiv duos modificou consideravelmente em vers es alternativas do teste criadas a partir do mesmo texto Alguns pesquisadores divergem quanto aceita o ou n o de sin nimos ao inv s da resposta exata no preenchimento das lacunas Por m a maioria dos autores conforme Alliende amp Condemar n 2005 p 131 aceita qualquer voc bulo da mesma fam lia sem ntica que complete adequadamente o sentido do texto Quanto aos ndices de escore do Cloze segundo Bormuth 1968 as respostas corretas entre 44 e 57 indicam um n vel instrucional m dio as pontua es abaixo de 44 indicam n o compreens o do texto e acima de 57 revelam n vel de compreens o proficiente Outro procedimento de avalia o s o as taxonomias textuais Para abarcar a totalidade d
39. gica ou estrat gias metacognitivas conhecimento local e o esquema afetivo do indiv duo Fica evidente no olhar dos autores que tanto a autenticidade quanto a interatividade s o qualidades relativas n o podendo assim se atribuir a um teste a senten a de que ou n o aut ntico ou interativo Refor am a perspectiva de que a valida o dos instrumentos de avalia o n o um fen meno tudo ou nada Os autores ainda salientam que a autenticidade interatividade e validade de construto dependem todas de como se define o construto habilidade na l ngua para uma determinada situa o de teste Outra qualidade conforme o modelo de utilidade a praticidade Enquanto as demais qualidades pertenciam aos usos que s o feitos dos resultados dos testes a praticidade pertence principalmente s formas nas quais o teste ser implementado e se ele ser desenvolvido e utilizado de fato Por exemplo se os recursos necess rios para a implementa o excederem os recursos financeiros dispon veis o teste ser considerado n o pr tico Por m isso n o significa que essa qualidade seja menos importante que as demais 78 Um teste considerado pr tico um teste cujo design desenvolvimento e uso n o requerem mais recursos do que os que est o dispon veis Segundo os autores v rios tipos de recursos podem ser identificados recurso humano recurso material e tempo Os recursos espec ficos solicitados ir o variar de uma sit
40. influ ncia nos estudos acerca da leitura foi o resultado da pesquisa desenvolvida por Carpenter e Just 1988 Nesse modelo os autores optaram por olhar para a leitura atrav s da lente da mem ria de trabalho do leitor e de suas limita es Buscaram investigar como essas limita es influenciam a leitura Por m como em todo processo de pesquisa cient fica surge uma cr tica espec fica a esse modelo Segundo Christiansen e MacDonald 2002 a distin o comumente feita entre tarefas de processamento de linguagem e tarefas de mem ria de trabalho ling stica uma distin o artificial e ambas as tarefas s o simplesmente medidas diferentes da habilidade do processamento de linguagem Os autores baseiam suas asser es em uma abordagem conexionista para a compreens o da linguagem que trata as distin es tradicionais entre conhecimento ling stico processamento ling stico e capacidade de processamento de uma forma muito diferente Segundo esses autores as alega es de Just e Carpenter 1992 e Waters e Caplan 1996 est o baseadas em arquiteturas de processamento mais simb licas Como tudo depende da lente escolhida para se olhar para um dado objeto a escolha da arquitetura de processamento tem um efeito direto nas asser es sobre o papel da mem ria de trabalho na compreens o da linguagem O paradigma conexionista PDP isto processamento distribu do em paralelo apoiado nas descobertas neurocient fica
41. l ngua escrita 4 ed Porto Alegre Artes M dicas 1991 FROMMING M Avalia o da Compreens o em Leitura uma an lise 2001 101f Monografia P s gradua o em Estudos da Linguagem Especializa o Universidade de Santa Cruz do Sul Santa Cruz do Sul 2001 GABRIEL R Compreens o em Leitura como avali la In OLMI A PERKOSKI N Org Leitura e Cogni o uma abordagem transdisciplinar Santa Cruz do Sul Edunisc 2005 p 165 210 GERALDI J W Pr tica da leitura de textos na escola In GERALDI J W Org O texto na sala de aula leitura e produ o Cascavel Assoeste 1984 p 77 88 GOODMAN K O processo da leitura considera es a respeito das l nguas e do desenvolvimento In FERREIRO E PAL CIO M Os Processos de Leitura e Escrita novas perspectivas Porto Alegre Artes M dicas 1987 p 11 22 GOUGH P B One second of reading In SINGER H RUDDELL R B Eds Theoretical Models and Processes of Reading 3 edition pp 661 686 Newark Delaware International Reading Association 1972 GRAESSER A C Prose Comprehension beyond the Word New York Springer 1981 GRAESSER A C MILLIS K ZWAAN R Discourse comprehension Annual Review of Psychology n 48 p 163 189 1997 HALLIDAY M A K HASAN R Language Context and text aspects of language in a social semiotic perspective Oxford Oxford University Press 1989 HARRIS A SIPAY E R How to teach reading New Yor
42. late as 1965 hunters were offered 20 to 50 for every wolf they could kill clear Next Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone from the 48 states ofthe continental U S by the late 1920s gt Conclu do Figura 12 Tela OUR TOOL quest o 1 Quest o 2 N vel taxon mico compreens o literal reconhecimento de seqii ncias Tipo de pergunta m ltipla escolha O candidato precisa identificar a ordem de incidentes ou a es apresentadas no texto atrav s de um vocabul rio semelhante por m n o id ntico ao texto Clique na resposta correta Our Tool Karen Santorum Mozilla Firefox Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt g gt S X ter E http mvb viavale com br karen PO php Gl Google LA 4 Guia r pido GY ltimas not cias E At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest 2 9 natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met in the American Wrest around 1870 as westward moving settlers depleted the Click on the correct answer according to the text their match Gray wolves began The expectation for the wolves recuperation and the end of the threat of extinction biso
43. late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating effect 4ori2 what is the main purpose of the passage lt gt lt gt lt gt lt gt to explain why early American settlers had such hatred for wolves to describe the decline and possible recovery of the North American wolf population to describe the U S Forest Service and its mission to outline several alternatives for reviving the once large North American wolf population Except for a small number of wolves in Minnesota wolves were gone from the 48 states of the continental U S by the late 1920s Wolves were listed as endangered in 1973 and remain so today meaning ww Cp Figura 1 Tela TOEFL ilustrando a linguagem psicom trica dos testes de m ltipla escolha A se o de compreens o leitora no TOEFL dividida em cinco textos seguidos de seis itens cada um Conforme informa o no pr prio material preparat rio as quest es s o classificadas da seguinte forma ado READING COMPREHENSION Practice Questions 1to 6 sof12 Except for a small number of wolves in Minnesota In paragraph 3 the author mentions all of the wolves were gone from the 48 states of the continental following as designated recovery areas for U S by the late 1920s Wolves were listed as the wolf population EXCEPT endangered in 1973 and remain so t
44. mais ea Leitor 15 para gramaticais menos interpretativas Era tudo Karen retirado diretamente do texto Sim as perguntas do toefl interagem 83 Leitor 16 para somente dentro do texto Fiquei um pouco Karen confusa no inicio E sim a primeira era mais profunda teria tque ter um entendimento mais profundo da ideia da questao e no segundo mais objetiva 82 Leitor 17 para Karen Conclu do Figura 25 Tela bate papo p s TOEFL quest o 7 seqii ncia OUR TOOL TOEFL A estrat gia de retirada quando bem dominada pelos candidatos confere lhes timos resultados no teste TOEFL A saber o leitor 15 do coment rio anterior obteve resultado de 100 no TOEFL e 68 no OUR TOOL o leitor 16 obteve 83 no TOEFL e 63 no OUR TOOL e o leitor 17 obteve 83 no TOEFL e 52 no OUR TOOL Todos aprovados na se o simulada de leitura do TOEFL A diferen a na abordagem ao texto atrav s das quest es de ambos os testes vem novamente tona quando os participantes s o solicitados a compararem as quest es das duas provas Conforme mostrado na Tabela 6 a seguir uma m dia de 90 dos participantes 100 no grupo 1 e 80 no grupo 2 apontaram a abordagem do OUR TOOL como sendo a que exigiu maior profundidade na compreens o gerando um modelo situacional mais completo em contraste com o comportamento de retirada da superf cie do texto base textual apresentado no TOEFL 113 Tabela 6 Dif
45. meno da cogni o mas tamb m para intervir pedagogicamente nos casos de leitores n o competentes Graesser e colaboradores 1997 p 169 afirmam que um desafio persistente tem sido planejar tarefas experimentais que isolem os n veis de representa o separados Assim na presente pesquisa tomou se como lente de longo alcance o modelo cognitivo de compreens o de textos de Kintsch e van Dijk 1978 e como lente de curto alcance o modelo de utilidade de Bachman e Palmer 1996 para se olhar para a validade preditiva da avalia o da compreens o leitora No original Reading measures the ability to understand short passages similar in topic and style to academic texts used in North American colleges and universities Information and Registration Bulletin for TOEFL computer based testing TOEFL cbt TOEFL paper based testing TOEFL pbt test of spoken English tse 2006 07 p 4 84 O objetivo da presente pesquisa atrav s desses culos com lentes progressivas foi investigar o n vel ou n veis de representa o alcan ados pelos sujeitos ao lerem um texto do TOEFL e se esses n veis eram suficientes para executarem as tarefas do mesmo Al m disso como um desdobramento desse objetivo se buscou fazer uma compara o entre a abordagem ao texto feita pelo instrumento e o n vel de compreens o resultante alcan ado pelo sujeito Para isso foi utilizada como contraponto uma abordagem com base na taxonomia de Barret 1968
46. n 2005 p 123 s h compreens o quando a partir do que j se conhece se pode chegar a novos conhecimentos Colomer e Camps 2002 apontam que embora ler seja a base de quase todas as atividades que se realiza na escola e a concep o de leitura como ato compreensivo seja aceita de um modo geral a maioria das pesquisas sobre as atividades de leitura na escola tais como as de Rocckwell 1982 Collins e Smith 1980 e Sole 1987 citadas pelos autores demonstram que nelas n o se ensina a entender os textos A simples decifra o de palavras isoladas atividade fim segundo Silveira 1995 ainda est muito longe da compreens o pois tal atividade n o atingiu ainda as perspectivas textual discursiva ou pragm tica A identifica o ou decifra o de palavras sem d vida 24 como j dito considerada uma condi o necess ria mas n o suficiente para se compreender um texto O ato de leitura implica dois movimentos complementares primeiramente h que se desvendar um c digo o que poss vel ap s a aquisi o de tal c digo ou seja do alfabeto nas escritas alfab ticas e em segundo lugar h que se atribuir sentido ao que foi decodificado Esses dois movimentos fazem a distin o entre alfabetiza o e letramento conceito ainda recente na seara da educa o Segundo Magda Soares 2001 ambas as a es envolvem as habilidades de leitura e escrita todavia a alfabetiza o restringe se
47. o www ead unisc br Na sala de bate papo como o nome j diz o participante sente se como se estivesse conversando com algu m empregando na escrita uma linguagem tipicamente oral como podemos ver atrav s deste exemplo ioli le http www ead unisc br Eadjinicial asp Sexta Feira 12 01 2007 Sair Ol profe Bem eu achei bem interessante a hist ria dos lobos cinzas chocante ver o modo como eles entraram em extin o perceber como o listas alia 2 Piloto para Karen ser humano racional em uma poca de Din mica industrializa o consegue destruir uma popula o j inteira de animais e ainda oferecer dinheiro como recompensa para quem os mat los dizendo que esses animais que eram perigosos A hist ria come a no Canad se eu nao me engano e l que come a o decl nio dessa ra a de animais Com o passar dos anos alguns deles reapareceram em regi es dos Estados Unidos E por ironia do destino foi um grupo de pessoas que ajudaram a reestabelecer o equilibrio ambiental tirando esses animais de extin o E por esse grupo esses e outros animais est o protegidos n ald Conclu do f nterne R0 7 Forum Enquete Perg Frequentes 98 Figura 19 Tela bate papo no ambiente EAD UNISC A op o por esse suporte se deu por ter sido considerado mais pr tico uma vez que o participante ap s realizar o teste poderia permanecer na frente do comput
48. o de acertos no Teste OUR TOOL estatisticamente significativa considerando um n vel de signific ncia de 5 p 0 044 A Figura 32 a seguir apresenta um gr fico com a distribui o dos escores de cada candidato no OUR TOOL e nas categorias de reconto As bolhas maiores representam um n mero maior de casos poss vel observar que as categorias mais altas est o relacionadas com os escores mais altos Os recontos classificados na categoria V est o relacionados a escores entre 73 e 89 sendo esse ltimo o escore m ximo obtido no teste por um sujeito da amostra Figura 32 Rela o entre as categorias de reconto e a propor o de acertos no OUR TOOL A constata o da n o correla o entre as habilidades performance no teste e representa o reconto no caso do TOEFL remete opini o de Rankin 1962 citado por Farr e Carey 1986 para quem 127 aparenta que a mistura de grau de velocidade e compreens o nas avalia es ao menos em parte respons vel por alguns dos primeiros achados de que leitores r pidos s o bons leitores Outros estudos acerca da rela o entre grau de velocidade e poder de compreens o encontram apenas uma t nue rela o Quando o material mais dif cil quando mais processos de pensamento cr tico s o envolvidos e quando o prop sito do leitor mais minucioso a rela o entre grau E E E EE de velocidade de leitura e compreens o m nima Essa
49. para entender e aprender 34 Leitura cuidadosa de id ias principais implicitamente Descobrir a inten o do autor apontadas inferir sentido proposicional Entender a atitude do autor em rela o ao t pico Identificar o destinat rio Distinguir fato de fic o Leitura cuidadosa de sentido relacionado ao texto inferir Aplicar id ias principais a outros sentido pragm tico contextos Avaliar um ponto de vista Expressar opini es pr prias a respeito do assunto Quadro 2 Habilidades e estrat gias associadas aos prop sitos de leitura Fonte adapta o URQUHART e WEIR 1998 p 185 Outros aspectos cognitivos derivados do leitor que incidem sobre a compreens o do texto s o o conhecimento pr vio ou seja a bagagem que o leitor traz e a mem ria No olhar de Schank e Abelson 1977 as pessoas necessitam de uma grande quantidade de conhecimentos para poder compreender A compreens o um processo pelo qual as pessoas relacionam o que v em ou ouvem ou l em com grupos de a es pr armazenadas que experimentaram previamente A nova informa o entendida nos termos da antiga SCHANK e ABELSON 1977 p 54 O esfor o do leitor diante de um texto pode ser comparado ao trabalho do cortador de pedras da c lebre f bula de Jacob Riis em que ap s 100 marteladas sem resultado algum na cent sima primeira v a pedra se partir em pedacinhos e o cortador sabe que n o foi aquela martelada apenas mas todas as
50. representa es dos anteriores na mem ria epis dica fazendo com que ocorra a constru o gradual de um texto base Por m a no o de macroestrutura empregada por Kintsch e van Dijk 1978 para definir a descri o sem ntica do conte do global do discurso tem sua abordagem baseada no paradigma simb lico conforme se pode verificar nas explica es dos processos de constru o armazenagem e recupera o dessa estrutura A macroestrutura a partir do paradigma simb lico pode ser entendida como uma certa organiza o de significado que representa os aspectos essenciais de um texto por meio de unidades denominadas macroproposi es A compreens o pode ser entendida como um processo que permite elaborar a macroestrutura do texto a partir de sua microestrutura No processamento e reten o da informa o textual as macroproposi es t m maior probabilidade de serem lembradas e inclu das em resumos KINTSCH 1998 Segundo Kintsch 1998 a compreens o a constru o de uma estrutura Compreender um texto significa formar uma estrutura mental que represente o sentido e a mensagem do texto Nesse modelo o leitor constr i durante a leitura uma representa o do 43 conte do do texto um modelo mental do texto a partir de dados como o contexto personagens objetos causas inten es entre outros elementos Na vis o do conexionismo a macroestrutura que tamb m entendida como necess ria para a compreens o
51. said to occur when test items are based on an outdated view of language which bears little relationship to the teaching curriculum p 225 Um outro exemplo desse efeito muito comum no Brasil o do ensino que visa de maneira espec fica a prepara o para o vestibular 80 TOEFL tem tido na pedagogia de sala de aula e na pol tica educacional n o apenas na Am rica do Norte mas tamb m em alguns dos diversos pa ses nos quais o TOEFL administrado Com interesse comercial de fazer com que seus clientes obtenham sucesso grande parte dos materiais did ticos elaborados por essa ind stria e que acabam servindo de par metro nos cursos preparat rios visa fazer o aluno atingir uma pontua o elevada atrav s de manuais e testes simulados Para ilustrar apresentada a seguir a chamada em um material preparat rio que foi o utilizado em nossa pesquisa O material composto de um livro e um cd com uma simula o do teste e traz em sua capa a seguinte chamada A segunda edi o do TOEFL CBT com CD ROM da Kaplan combina uma completa experi ncia pr tica de teste baseado no computador com estrat gias para ajudar voc a aumentar sua pontua o Essa poderosa combina o torna esse livro uma ferramenta altamente eficiente para ajudar voc a atingir uma pontua o mais alta no TOEFL CBT e tornar voc mais competitivo para a sele o em uma universidade americana Pontua o mais alta garantida Kaplan TOE
52. uma correla o entre as vari veis Entre os outros cinco participantes com pontua o m xima no teste dois ficaram na categoria II dois na categoria III e um na categoria IV 125 Figura 31 Rela o entre as categorias de reconto e a propor o de acertos no TOEFL A mesma an lise foi feita em rela o OUR TOOL A Tabela 10 a seguir apresenta as medidas descritivas da propor o de acertos no teste para cada categoria de reconto Tabela 10 Medidas descritivas da propor o de acertos no teste OUR TOOL para cada categoria de reconto Categorias de Propor o de acertos no OUR TOOL 19 quest es reconto p s OUR Desvio TOO n M dia Mediana Minimo Maximo gees I 5 60 00 57 89 47 37 73 68 10 91 II 7 66 92 68 42 52 63 84 21 10 40 HI 2 60 53 60 53 47 37 73 68 18 61 IV 3 70 18 73 68 52 63 84 21 16 08 Vv 3 78 95 73 68 73 68 89 47 9 12 A tabela mostra que os recontos classificados nas categorias mais baixas I e II foram produzidos por leitores que ficaram com as m dias de acerto igualmente mais baixas m dia de 60 e 66 Para os seis recontos classificados nas categorias mais altas IV e V a m dia de acerto dos leitores foi a mais alta 70 e 78 126 Assim como no TOEFL foi utilizado para an lise o teste de correla o de Spearman que apresentou um coeficiente de correla o igual a 0 454 A conclus o do teste que a correla o entre as categorias de reconto e a propor
53. universal answers for these BACHMAN e PALMER 1996 p 13 129 Dada a complexidade e abrang ncia do tema o processo de avalia o da compreens o n o poderia ser tarefa simples O fato de que n o existe uma validade total em um teste e de que n o h como evitar completamente os dilemas que as decis es com base nos resultados dos testes carregam conforme ep grafe de abertura desse cap tulo fazem da elabora o e corre o de instrumentos de avalia o um desafio constante Diante disso o presente trabalho fez um recorte dessa realidade olhando para a forma tradicional de avalia o da compreens o aqui representada pela se o de leitura do TOEFL visando a refletir sobre a correla o entre diagn stico e progn stico em tais avalia es A validade de um teste relativa ao prop sito do mesmo Um teste pode ser v lido para alguns prop sitos espec ficos e n o o ser para outros Partindo desse prisma sabe se que o prop sito do TOEFL n o o de ser um teste pedag gico Sua finalidade sele o e nivelamento teste classificat rio tendo assim do ponto de vista avaliat rio o m rito aqui reconhecido Todavia visto o impacto que o resultado do TOEFL exerce na vida dos sujeitos acaba por exercer uma influ ncia no sistema educacional Nesse sentido deixa a desejar por contribuir ainda que n o intencionalmente na forma o de um comportamento de leitura nem sempre condizente com o comportamento ideal em s
54. university Higher score Guaranteed 81 Assim esse referencial te rico forneceu bases para a compensa o da perturba o em rela o ao fen meno da compreens o leitora e de sua avalia o Segundo Kastrup 1999 a compensa o se d quando o organismo consegue atribuir significado a uma perturba o Perturbar conforme a autora significa afetar colocar problema Tudo come a com perturba es O meio comparece perturbando e n o transmitindo informa es e essa perturba o gerada pela intera o com o meio que gera a cogni o Com base nessa revis o da literatura e de posse da perturba o inicial foi executada a pesquisa que ser descrita no cap tulo seguinte 2 EM BUSCA DE UMA LENTE METODOL GICA ADEQUADA PESQUISA SOBRE AVALIA O DA COMPREENS O LEITORA x Fico intrigado medida que redescubro continuamente que aquilo que parece ocorrer t o sem esfor os na natureza pode ser t o trabalhoso para computar HAYES 1996 A percep o de que nem sempre a performance em um teste em l ngua est relacionada com o uso da l ngua em situa es espec ficas outras que n o o teste per se que vem a ser o crit rio de autenticidade j referido nos fez olhar para a avalia o da compreens o leitora com uma inquieta o pulsante Somado a isso est o fato de que alguns instrumentos para avalia o da compreens o em leitura enfatizam capacidades cognitivas isoladas como a mem ria de trabalho dos ca
55. vez que geralmente n o poss vel observar medir todos os elementos do crit rio A performance no teste usada para prever a performance do candidato no crit rio que no caso dos testes de profici ncia a situa o de uso da leitura no mundo real Segundo Messick 1989 a validade co ocorrente refere se a quanto um teste consegue estimar a atual condi o do sujeito no crit rio de interesse No Dictionary of Language Testing DAVIES et al 2002 p 30 esse tipo de validade diz respeito rela o entre o que medido por um teste geralmente um teste rec m desenvolvido e outra medida de crit rio j existente que pode ser um teste padronizado bem estabelecido um conjunto de Julgamentos ou alguma outra vari vel quantific vel Se as duas medidas funcionam semelhantemente elas s o consideradas como tendo validade convergente O problema da validade co ocorrente segundo o dicion rio em rela o nfase que se p e na medida de crit rio j existente Se o crit rio por si mesmo v lido ent o a necessidade do novo teste sob an lise question vel Por outro lado se o teste sob an lise representa uma nova id ia ent o haver muito pouco proveito em valid lo a partir de um teste j existente que presumivelmente considerado como uma medida imperfeita do relevante construto de habilidade Se o novo teste quer medir a habilidade em ingl s para um prop sito espec fico haver pouco valor em compara
56. wolves preyed on Wolves then hunters would not kill other animals by mistake turned to the sheep and cattle as their iy Settlers and p Boe ui z Because the hunters made bounty hunting campaigns government trappers responded with intensive campaigns to asking for a rise in the payment wipe out the wolf Approximately 1 5 million wolves were a killed in various bounty hunting campaigns carried out Were dona state E killing the wolvies onee they are between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Because the government wanted to stop the wolf hunting campaigns Human incursions on their habitat and purposeful Because the government wanted to stimulate the bun oat A E wolves chasing extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone Conclu do Figura 16 Tela OUR TOOL quest o 6 Quest o 7 N vel taxon mico leitura cr tica julgamento de valores Nivel taxon mico avalia o tenta avaliar o impacto psicol gico ou est tico que o texto produziu no leitor Tipo de pergunta subdividida em duas m ltipla escolha Baseado no texto como voc avalia o servi o florestal dos EUA Por qu Our Tool Karen Santorum Mozilla Firefox Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt g a gt E wy tat LJ http mvb
57. 0 em testes de compreens o especialmente nas provas que avaliam apenas a profici ncia leitora Conforme afirma Marotto 2000 citado por Salles 2005 a compreens o do texto n o a soma do significado de suas ora es individuais O leitor pode n o chegar a estabelecer as rela es de coer ncia que d o sentido ao texto mesmo entendendo as ora es individuais pois conforme Kintsch 1998 compreender um texto significa formar uma estrutura mental que represente o sentido e a mensagem do texto A presente investiga o ao mostrar a n o correla o no TOEFL entre os escores do teste obtido pelos candidatos e o n vel de representa o textual demonstrado pelos mesmos n o pretendeu deslegitimar o teste mas sim propor uma reflex o acerca da concep o de compreens o subjacente a esse tipo de teste principalmente nos testes que tomam somente a se o de leitura como fonte de resultado o que n o o caso do TOEFL No in cio desta pesquisa as d vidas e inquieta es provenientes do conhecimento tanto emp rico quanto te rico eram tantas que foi dif cil delimitar o objetivo geral a ser pesquisado Uma grande fonte de motiva o foi o contato por diversas vezes com alunos que ap s terem feito diferentes provas de profici ncia e obtido o t tulo de proficientes retornavam para a sala de aula na busca de aprender a ler para poder ler para aprender com seus textos em seus mais diversos cursos Tal situa o ger
58. 5 os prop sitos de avalia o e os usos que se pretende com os resultados dessa pr tica deveriam guiar o design das tarefas presentes nesses testes A autora aponta tr s fun es avaliativas como as mais comuns administrativa de diagn stico e classificat ria A primeira diz respeito a decis es pol ticas e administrativas e cumpre fun o de designa es A segunda tem como objetivo central identificar fontes de dificuldade na leitura A ltima que tem por prop sito determinar habilidades de leitura individuais cria base leg tima para compara es entre os testados e fornece dados que podem ser utilizados para diferenciar candidatos Segundo Alliende amp Condemar n 2005 tamb m poss vel avaliar a compreens o para adaptar o ensino aos n veis de habilidade de leitura e s necessidades individuais ou de grupo Com esse prop sito a avalia o estaria servindo para problematiza o do ensino e da educa o 1 3 3 Instrumentos utilizados para medir a compreens o em leitura 51 Sofremos tristemente esses cont nuos exames Estropeiam nossos jovens que n o t m tempo nem ocasi o para serem pregui osos pregui osos no bom sentido Porque eu acredito na pregui a inteligente que d ao homem tempo de ler para si N o se pode chamar estudo ao que um homem deve ler p gina por p gina especificamente para prestar um exame FERM N 1971 Como a compreens o em leitura uma atividade complex
59. 89 p 21 O conhecimento parcial estruturado que temos na mem ria sobre assuntos situa es eventos Para haver compreens o durante a leitura aquela parte de nosso conhecimento de mundo que relevante leitura do texto deve estar ativa num n vel ciente A tarefa de integrar novas e antigas informa es executada pela mem ria de trabalho a qual segundo Izquierdo 2002 2004 possui capacidade tanto de armazenamento tempor rio ativo que persiste por alguns minutos ou segundos quanto de processamento nesse ponto que consiste a rela o entre conhecimento pr vio e mem ria de trabalho que ser discutida a seguir A mem ria que conforme Izquierdo 2004 respons vel pela aquisi o conserva o e evoca o de informa es pode ser classificada sob os crit rios de dura o e conte do Quanto sua dura o a mem ria divide se em imediata curta e longa Quanto ao conte do ela se divide em mem ria de trabalho que n o deixa arquivos permanentes mem ria declarativa que pode se subdividir em sem ntica e epis dica e mem ria procedural Desde a decodifica o j se percebe a influ ncia da mem ria na leitura uma vez que o reconhecimento do pr prio texto s poss vel porque o c digo j foi aprendido e est na mem ria Conforme Koda 2005 uma vez extra da do texto impresso a informa o lexical deve ser agrupada em unidades de sentido maiores como frases ora es e par
60. FL CBT Exam Test Preparation Em momento algum dessa chamada prometido tornar o comprador do material um melhor leitor mas sim um melhor realizador do teste Essa influ ncia dos testes ao servirem de par metro para o ensino como ocorre em muitos casos com o TOEFL pode ser perigosa quando resulta em um sistema de ensino que n o contemple a leitura com o prop sito de aprendizagem mas apenas como um jogo de adivinha o apenas para acertar o teste podendo acabar por gerar um vazio ap s a leitura Na vis o de Peirce 1992 os professores de ingl s enquanto l ngua estrangeira English as a Second Language doravante ESL deveriam ser consultados para determinarem que construto de leitura deveria ser medido no teste de leitura do TOEFL e como o teste pode melhor servir os interesses de seus programas e as necessidades de seus alunos Os candidatos tamb m deveriam ser consultados para determinar como a prepara o para o TOEFL poderia promover o aprendizado de fato da l ngua e como a ansiedade associada com a situa o de teste do TOEFL evento social poderia ser aliviada No original Kaplan s TOEFL CBT Exam with CD ROM Second Edition combines a complete computer based practice test experience plus strategies to help you increase your score This powerful combination makes this book a highly effective tool to help you score higher on the TOEFL CBT and to make yourself more competitive for admission in an American
61. IELD 1997 No original Just as the development of oral language made us a unique species the acquisition of written language changed our species in numerous ways It changed our cognitive capacity Olson 1980 it changed the kind of knowledge we could have Havelock 1976 and it may even have changed our neuroanatomy Geschwind 1974 Perhaps no other human activity has altered the course of individual and cultural development Wolf et al 1998 AEBERSOLD e FIELD 1997 RESUMO O estudo da leitura enquanto processo de constru o de sentidos se apresenta como um caminho para prosseguir nas investiga es acerca da cogni o Os fatores envolvidos no processo da leitura s o in meros uma vez que a compreens o como processo mental se constitui num fen meno complexo envolvendo uma constela o de capacidades e habilidades cognitivas inter relacionadas variando desde mapeamentos mec nicos a manipula es mais conceitualmente sofisticadas como racioc nio e infer ncia O estudo dos fatores envolvidos na compreens o assume o importante papel de permitir o planejamento de interven es mais eficazes destinadas n o apenas a desenvolver a compreens o mas tamb m a avali la A a o avaliativa quando feita a partir de um referencial te rico produtivo pode informar muito a respeito do processo mental e da aut ntica habilidade de compreens o do candidato A a o avaliativa abrange justamente a compreens o do process
62. Karen Andresa Teixeira Santorum POR UMA MUDAN A DE FOCO NA AVALIA O DA COMPREENS O LEITORA Disserta o apresentada ao Programa de P s Gradua o em Letras Mestrado rea de Concentra o em Leitura e Cogni o Universidade de Santa Cruz do Sul como requisito parcial para obten o do t tulo de Mestre em Letras Orientador Prof Dr Rosangela Gabriel Santa Cruz do Sul mar o de 2007 Karen Andresa Teixeira Santorum POR UMA MUDAN A DE FOCO NA AVALIA O DA COMPREENS O LEITORA Esta Disserta o foi submetida ao Programa de P s Gradua o em Letras Mestrado rea de Concentra o em Leitura e Cogni o Universidade de Santa Cruz do Sul UNISC como requisito parcial para obten o do t tulo de Mestre em Letras Prof Dra Rosdngela Gabriel Professora Orientadora g ci bio Srion i oa Zimmer Prof Dra M rcia Certa vez um rei exc ntrico em suas fantasias e preocupado com a falta de integra o entre seus s ditos anunciou que daria a maior e mais bela festa de seu reino Todos se apresentaram com seus trajes mais luxuosos Chegaram cheios de expectativas pensando nas iguarias que poderiam ser oferecidas naquele ambiente esplendoroso Entretanto durante muitas e muitas horas sucedeu se uma programa o cultural de dan as m sicas cantos jogos refinados e divertidos sem que nenhum comest vel fosse oferecido Os convivas foram sentindo uma grande fome que com o pas
63. LO A G Aspectos gerais e espec ficos na compreens o de textos Psicologia Reflex o e Cr tica 11 2 253 272 1998 Lilacs SciELO BRANDAO A C P SPINILLO A G Produ o e compreens o de textos em uma perspectiva de desenvolvimento Estudos de Psicologia Natal v 6 1 p 51 62 2001 CARPENTER P A JUST M A The role of working memory in language comprehension In KLAHR D KOTOVKSY K Eds Complex information processing the impact of Herbert A Simon Hillsdale N J Erlbaum 1988 CARRELL P et al Interactive approaches to second language reading Cambridge Cambridge 1998 CASTRO J S Uma abordagem conexionista da no o de macroestrutura textual In ROSSA A ROSSA C Orgs Rumo psicolingii stica conexionista Porto Alegre Edipucrs 2004 CHAPELLE C Validity in language assessment Annual Review of Applied linguistics 19 254 272 Cambridge University Press 1999 CHIELE L K A compreens o em leitura sob a perspectiva do conexionismo In ROSSA A ROSSA C Orgs Rumo psicolingii stica conexionista Porto Alegre Edipucrs 2004 133 CHIELE Luciana Kerber A compreens o em leitura sob a perspectiva do conexionismo In ROSSA A ROSSA C Orgs Rumo psicolingii stica conexionista Porto Alegre Edipucrs 2004 CHRISTIANSEN M H MacDONALD M C Reassessing working memory comment on Just and Carpenter 1992 and Waters and Caplan 1996 In Psychologic
64. NNA 1976 p 185 Nesta se o dada continuidade revis o da literatura no que tange aos testes de compreens o enfatizando a valida o dos instrumentos de avalia o Primeiramente s o revisitados alguns dos mais importantes estudiosos da valida o em testes com foco especial nos testes de compreens o trazendo tona os mais destacados conceitos impressos ao termo valida o em uma perspectiva hist rica 1 3 4 1 Perspectiva hist rica da validade de testes a evolu o do conceito Os testes de compreens o n o s o mais do que amostras de indicadores da leitura efetiva FARR e CAREY 1986 A valida o o processo de examinar a precis o de uma determinada predi o ou infer ncia realizada a partir dos resultados de um teste RAYMUNDO 2005 assim o olhar atento sobre o diagn stico para que ele possa fornecer um confi vel progn stico No original All reading comprehension tests are essentially nothing more than samples of indicators of real reading p 33 5 Esses dois termos ser o utilizados na se o de an lise de dados e sustentam uma das hip teses da presente pesquisa da a preocupa o em deixar claro o sentido com que est o sendo empregados De acordo com o dicion rio Aur lio s c XXI diagn stico o conjunto dos dados em que se baseia um conhecimento ou determina o duma doen a pelo s sintoma s sinal ou sinais e ou mediante exames diversos ao que se op e
65. a o Os recontos foram agrupados randomicamente sem identifica o de grupo seq ncia ou sujeito a fim de evitar um olhar tendencioso no momento da classifica o em categorias Posteriormente para fins de compara o esses recontos foram identificados e contabilizados Os resultados s o mostrados na tabela 7 a seguir Nessa tabela nas categorias p s TOEFL mostrado que a maioria dos leitores 80 elaborou recontos que ficaram nas categorias mais baixas I e H Nessas categorias foram citados alguns eventos do texto por m de forma desarticulada e sem apresentar a cadeia causal Apenas 5 da amostra apresentou reconto enquadrado na categoria IV e 5 na categoria V J em rela o s categorias p s OUR TOOL a Tabela 7 mostra que 60 dos recontos foram classificados nas categorias I e II 15 na categoria IV e 15 na categoria V Tabela 7 Categorias de reconto p s TOEFL e p s OUR TOOL P s TOEFL P s OUR TOOL Categorias n n I 9 45 0 5 25 0 I 7 35 0 7 35 0 HI 2 10 0 2 10 0 IV 1 5 0 3 15 0 V 1 5 0 3 15 0 Total 20 100 0 20 100 0 Os leitores que tiveram seus recontos enquadrados nas duas primeiras categorias apresentam dificuldades na compreens o de leitura textual Recontos inseridos nessas categorias apresentam al m da aus ncia de cadeia causal muitas reconstru es ou seja 117 inser es de fatos e id ias que n o estavam presentes no texto original e que n o po
66. a avalia o da compreens o leitora tem seu foco alterado n o se trata mais de avaliar o processo de compreens o em leitura a partir do estudo de estrat gias e habilidades isoladas e generalizadas como se a simples soma das partes pudesse refletir o todo uma vez que conforme Morin 1991 p 18 19 o todo mais do que a soma das partes Ao inv s disso a avalia o nesse paradigma prioriza a investiga o das m ltiplas rela es entre as diversas opera es e estrat gias colocadas em jogo durante a leitura de um texto para a forma o da representa o mental do conte do 50 Fica assim evidente que a quest o toda est na lente utilizada no momento de olhar para a compreens o e consequentemente para a sua avalia o se pensarmos na compreens o como o processamento das v rias habilidades pertinentes e se esse processamento for elaborado a partir de um referencial te rico produtivo estar se contribuindo para a constru o de instrumentos de avalia o consistentes que informem a respeito da aut ntica habilidade de compreens o do candidato para os devidos fins aos quais a avalia o se prop e Nas sub se es seguintes ser o apresentados os prop sitos da avalia o alguns instrumentos tradicionalmente utilizados para medir a compreens o leitora as etapas de valida o desses instrumentos e os crit rios utilizados para validar os mesmos 1 3 2 Prop sitos da avalia o Segundo Koda 200
67. a e com muitos elementos envolvidos coerente se pensar que um s instrumento de avalia o n o conseguiria abarcar todos os aspectos Assim v rios instrumentos podem ser utilizados para avaliar a compreens o em leitura dependendo dos crit rios e prop sitos de avalia o vistos anteriormente As a es avaliativas segundo Alliende e Condemar n 2005 podem ser feitas mediante procedimentos qualitativos ou informais e mediante medidas formais como as referentes a crit rios a avalia es taxon micas ou a testes padronizados 1 3 3 1 T cnicas de avalia o informal Segundo Koda 2005 v rias t cnicas de avalia o informal s o usadas em sala de aula como a an lise oral dos enganos oral miscue analysis e a sondagem atrav s da observa o observation survey A vantagem de utilizar essas t cnicas conforme a autora est na riqueza dos dados derivados de uma ampla vis o dos comportamentos de leitura fornecidos durante seu desenvolvimento A an lise oral dos enganos oral miscue analysis consiste em analisar os erros cometidos durante a leitura oral de um texto No entanto a autora aponta como um fator limitante dessa abordagem o fato de ela enfocar apenas um aspecto do comportamento de leitura os erros na leitura oral para inferir a habilidade de compreens o na leitura silenciosa A sondagem atrav s da observa o observation survey tem como objetivo obter um entendimento mais profundo do que a
68. a mensagem texto num determinado contexto que poderia ser chamado de circunst ncia da escrita Algumas vezes o escritor tem em mente no momento da escrita um leitor ideal e escreve basicamente para esse leitor levando em conta os c digos e conhecimentos pr vios de seu receptor para que a mensagem possa ser adequadamente interpretada Um exemplo desse tipo de atitude pode ser observado na propaganda de produtos caros como t nis em que o texto aparece apenas em ingl s prevendo que o consumidor potencial do produto domina essa L2 O conhecimento das circunst ncias da escrita pode ser fundamental para a compreens o de um texto pois em alguns casos saber o lugar e a poca em que o texto foi escrito ou a idade cargo ou cren a pol tica que o autor tinha no momento da escritura pode viabilizar a compreens o Por m em muitos outros casos o texto pode ser compreendido prescindindo se dos fatores derivados do autor 1 1 3 2 Aspectos cognitivos da compreens o leitora derivados do texto Conforme Alliende e Condemar n 2005 depois de criado o texto passa a ter uma exist ncia pr pria independente do autor Os principais fatores do texto que incidem na compreens o leitora podem ser divididos ainda segundo os autores em f sicos ling sticos e referenciais ou de conte do O conjunto desses fatores pode determinar a legibilidade ou leiturabilidade de um texto A legibilidade f sica constitu da pelos fatores
69. a serem respondidas TOEFL Total 20 100 0 As quest es do teste dependiam diretamente a 700 do texto para serem respondidas OUR Nao 11 55 0 TOOL Total 20 100 0 Como cada sujeito respondeu duas vezes a mesma quest o uma pos TOEFL e outra p s OUR TOOL foi rodado o teste de McNemar para verificar se houve mudan a significativa nas respostas entre uma situa o e outra Nesse caso a conclus o do teste foi de que houve mudan as estatisticamente significativas entre as respostas dadas pelos sujeitos para as perguntas relativas aos testes TOEFL e OUR TOOL p 0 002 A fim de refor ar o dado quantitativo ser o apresentadas aqui algumas das respostas dadas a essa pergunta na sala de bate papo primeiramente em rela o ao OUR TOOL e depois ao TOEFL correspondendo ao dado qualitativo da pesquisa que contribuiu nas reflex es 109 http www ead unisc br EAD UNISC Mozilla Firefox lol x Quarta Feira Sair 17 aa Onn E 4 Bate Papo Quinta etapa Coleta OUR TOOL AUTOR amp Administrador e2 Leitor 16 para Karen 3 Leitor 19 para Karen Karen Santorum amp E Bate papo finalizado Total de mensagens 13 MENSAGEM Karen Santorum entrou na sala Consideras que todas as quest es dependiam realmente do texto para serem respondidas n o necess riamente dependiam tb m da interpreta o do texto como um todo N o nem todas dependiam diretamente do texto para se
70. a ter aprendido a ler e a escrever n o ultrapassando o significado de levar aquisi o do alfabeto enquanto o letramento permite ao leitor fazer uso dessas duas habilidades e com elas interagir com o meio social em que vive um indiv duo alfabetizado n o necessariamente um indiv duo letrado alfabetizado aquele indiv duo que sabe ler e escrever j o indiv duo letrado e o indiv duo que vive em estado de letramento n o s aquele que sabe ler e escrever mas aquele que usa socialmente a leitura e a escrita pratica a leitura e a escrita responde adequadamente s demandas sociais de leitura e de escrita SOARES 2001 p 39 40 Assim pode ser observada a diferencia o entre um processo de aquisi o da l ngua que finito e um processo de desenvolvimento da l ngua que cont nuo A uni o desses processos exerce um papel fundamental na melhoria da qualidade de vida dos indiv duos Conforme Silveira 1995 uma vez examinada a pr tica escolar da leitura ao longo das oito s ries do ensino fundamental v se primeiramente que de um modo geral a escola n o se preocupa com o uso social da leitura ou seja n o s o levados em considera o os v rios usos da leitura na vida real das pessoas enquanto cidad os inseridos numa comunidade letrada A escola conforme a autora n o estaria portanto dando conta daquelas tr s fun es b sicas da leitura mencionadas por Geraldi 1984 quais sejam
71. a valida o ou seja a valida o de aplicabilidade visa avaliar a adequa o do instrumento quanto ao suporte escolhido e quanto ao seu funcionamento no momento da realiza o pelos candidatos Para consolidar esse tipo de valida o foi executado um teste piloto com um colaborador que n o participou da etapa posterior de produ o de dados Nesse estudo piloto optou se por rodar todo o procedimento os dois testes TOEFL e OUR TOOL seguidos das etapas de reconto e investiga o sobre 101 estrat gias de leitura ao inv s de testar apenas a aplicabilidade da ferramenta desenvolvida para o estudo a fim de se ter a no o de tempo e de como seria a testagem Assim os objetivos com o estudo piloto foram os de 1 investigar a adequa o do instrumento constru do para a pesquisa 2 verificar o tempo de aplica o do mesmo bem como o tempo total de dura o das sess es Finalizada a etapa de valida o partiu se para a aplica o dos instrumentos 2 4 4 Aplica o dos instrumentos e procedimentos espec ficos Os vinte participantes foram divididos randomicamente em dois grupos de dez e passaram igualmente por todas as etapas da produ o de dados por m em diferentes sequ ncias O primeiro grupo que continha os participantes de 1 a 10 seguiu a segii ncia 1 que corresponde realiza o primeiramente do TOEFL e depois da OUR TOOL O segundo grupo com sujeitos de 11 a 20 seguiu a seqii ncia 2 correspondente
72. ade nos testes em l ngua come ava a ser redefinida uma vez que a tend ncia para a compet ncia comunicativa levava os pesquisadores a investigar quest es sobre a valida o de construto para testes de compet ncia comunicativa Em 1980 conforme Chapelle 1999 alguns pesquisadores passavam a investigar processos de valida o sob uma outra perspectiva que n o a do m todo de correla o Nessa nova perspectiva tentavam entender o m todo da testagem de hip tese enquanto outros estudiosos sugeriam a inclus o de novas id ias como parte do conceito de validade tais como as emo es tica o efeito no sistema de ensino e na sociedade que ser discutido posteriormente e a id ia de que um teste v lido para um prop sito espec fico Dando continuidade retrospectiva hist rica em 1980 Messick inaugura um novo olhar para o conceito de validade contribuindo segundo Tumolo 2005 com a id ia de se considerarem valores e consequ ncias sociais no conceito Essas consegii ncias sociais ser o discutidas na ltima se o do presente cap tulo Messick sugere tamb m que o significado da medida e consegiientemente sua validade de construto deve ser sempre perseguido n o apenas para sustentar a interpreta o do teste mas tamb m para justificar seu uso Farr e Carey 1986 em seu livro Reading what can be measured discutem a quest o da validade ressaltando que de um modo geral os testes se b
73. ador para fazer o reconto sem precisar de nenhum outro recurso material A op o Bate Papo no sistema EAD disponibiliza uma sala para conversa em tempo real semelhante s encontradas na Internet tendo entretanto seu acesso liberado somente no per odo programado para a sess o em que as conversas podem ser registradas gravadas e disponibilizadas no ambiente para futura consulta o que permitiu o acesso aos recontos para an lise Ap s entrarem na sala de bate papo os participantes receberam uma mensagem com as instru es para o reconto como pode ser visto na Figura 20 a seguir http online unisc br EAD Mail Mozilla Firefox z ioj x 2006 2 Turma 10 PPGSS EM LETRAS LEIT E COGNI O 66766 Avalia o da Compreens o Leitora 2006 2 _ Curso de PPGSS EM LETRAS LEIT E COGNI AO 66766 amp Voltar De Karen Santorum Para Karen Santorum Ver destinat rios Cc Assunto Sem Assunto Na sala de bate papo fa a uma recontagem do texto lido podendo ser em ortugu s ou ingl s colocando o m ximo poss vel de detalhes mas n o te din estrutura ou organiza o das id ias em teu resumo Imagine que est s contando o texto para algu m sem te preocupares com ortografia sintaxe ou algo do g nero E muito obrigada por colaborares com essa pesquisa tuas Figura 20 Tela com e mail no ambiente EAD UNISC Ap s realizar o reconto ainda na sala de b
74. ah NJ Erlbaum 1998 p 339 364 MOORMAN K RAM A A functional theory of creative reading The Psycgrad Journal Technical Report GIT CC 94 01 College of Computing Georgia Institute of Technology Atlanta GA 1994 link MORIN E Introdu o ao pensamento complexo 3 ed Lisboa Instituto Piaget 2001 NUNES T BUARQUE L BRYANT P Dificuldades na aprendizagem da leitura teoria e pr tica Cole o Quest es da Nossa Epoca v 44 5 ed S o Paulo Cortez 2003 PARIS S G WASIK B A TURNER J C The development of Strategic Reading In BARR R KAMIL M L MOSENTHAL P PEARSON P D Eds Handbook of reading research vol 2 p 609 640 New York Longman 1991 PAULINO G et al Tipos de texto modos de leitura Belo Horizonte Formato 2001 PEARSON P D FIELDING L Comprehension instruction In BARR R KAMIL M L MOSENTHAL P PEARSON P D Eds Handbook of reading research Vol 2 pp 815 860 White Plains NY Longman 1991 PEIRCE B N Demystifying the TOEFL reading test TESOL Quarterly 26 4 665 691 1992 POERSCH J M Por um nivel metapl cito na constru o do sentido textual Letras de Hoje Porto Alegre v 26 n 4 p 127 143 dez 1991 POERSCH J M The connectionism and the cognitive process related to reading In SCLIAR CABRAL Leonor Unity and diversity in communication Florian polis Daufsc 2002 p 83 10 POERSCH J M PORTO AMARAL M Como as categ
75. al Review2002 v 109 n 1 35 54 CHRISTIANSEN M MACDONALD M Reassessing working memory Comment on Just and Carpenter 1992 and Waters and Caplan 1996 Psychological Review 109 35 54 2002 CIELO C A Processamento cerebral e conexionismo In ROSSA A ROSSA C Orgs Rumo psicolingiiistica conexionista Porto Alegre Edipucrs 2004 CLELAND D L A construct of comprehension In Reading and inquiry ed J Allen Figurel Conference proceedings vol X p 59 64 1965 CLYMER T What is reading Some current concepts In ROBINSON H Ed Innovation and Change in Reading Instruction The Sixty seventh Yearbook of the National Society for the Study of Education pp 7 29 Chicago The National Society for the Study of Education 1968 COHEN A Assessing language ability in the classroom 2nd Edition Boston Heinle amp Heinle 1994 COLOMER T CAMPS A Ensinar a ler ensinar a compreender Porto Alegre Artmed 2002 DAMASIO A R O erro de Descartes emo o raz o e o c rebro humano S o Paulo Companhia das Letras 1996 DAM SIO A R Em busca de Espinosa prazer e dor na ci ncia dos sentimentos S o Paulo Companhia das Letras 2003 DANEMAN M CARPENTER P A Individual differences in working memory and reading In Journal of Verbal Learning and Verbal Behavior 19 p 450 466 1980 DAVIES A BROWN A ELDER C HILL K LUMLEY T MCNAMARA T F Dictionary of language testi
76. amentas Ajuda lt g lt gt Ed e Was tat L http mvb viavale com br karen PO php Mi gt IC Google Cy 4 Guia r pido GY ltimas not cias ES At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest 5 9 natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met in the American West around 1870 as westward moving settlers depleted the bison deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their Ij Settlers and government trappers responded with intensive campaigns to their match Gray wolves began wipe out the wolf Approximately 1 5 million wolves were killed in various bounty hunting campaigns carried out between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone Click on the words that could replace the ones that appear highlighted in the text without changing meaning more han one can be correct Declining paragraph 1 O refusing I falling down decreasing O disappearing E Prey paragraph 1 I victim I entreat I food Released paragraph 3 created set free D lent back TO liberated Goal paragraph 3 O object T aim I purpose game from t
77. an cierta direcci n al proceso y sirven como criterios normativos para apreciar la efectividad de los procedimientos y da las pr cticas que se utilizan para ello p 23 48 A avalia o da compreens o leitora revela inegavelmente um olhar sobre a compreens o A concep o de compreens o enquanto uma lista de habilidades por exemplo resulta em uma avalia o que mede tais habilidades isoladas Esse tipo de avalia o bastante tradicional em nosso meio vem recebendo cr ticas ao longo do tempo Segundo alguns psicoling istas como Cooper e Petroski 1976 citados por Alliende e Condemar n 2005 p 132 as habilidades contidas nas listas consistem em categorias muito amplas gerais e simplistas v lidas para qualquer processo cognitivo mas n o relacionadas com a linguagem nem espec ficas do ato de ler Outra cr tica apresentada ainda em Alliende e Condemar n 2005 referente s listas de sub habilidades que as mesmas estariam elaboradas a partir de um modelo psicom trico e consistiriam assim em simples r tulos empregados por diferentes autores de testes para o tipo de perguntas elaboradas por eles No entanto as cr ticas feitas a essa concep o n o devem deslegitimar a import ncia de se avaliar e ensinar habilidades de compreens o da linguagem escrita Como o prop sito nesta pesquisa observar a avalia o da compreens o especificamente em l ngua estrangeira na pr xima sub se o ser o apresentadas as
78. apresentada no cap tulo anterior que serviu como uma proposta alternativa para a avalia o tradicional As seguintes quest es nortearam o delineamento e encadeamento da pesquisa 1 O que compreens o textual 2 Como fica a qualidade de leitura na avalia o da compreens o 3 At que ponto o crit rio de profundidade levado em considera o nos testes 4 Como observada a rela o entre diagn stico e progn stico 5 Como observado o modelo de utilidade 6 Como observado o crit rio de autenticidade 7 Que consequ ncias o modelo de compreens o em leitura adotado por um teste padronizado como o TOEFL traz para a rela o ensino aprendizagem e para a sociedade 2 1 Os objetivos da pesquisa O objetivo geral da presente pesquisa foi o de investigar se o n vel ou n veis de representa o textual alcan ados pelos sujeitos ao lerem um texto de um instrumento padronizado de avalia o s o suficientes para executarem as tarefas do teste Para isso foram considerados os aspectos cognitivos fundamentais envolvidos na compreens o em leitura e no processamento da linguagem tendo em vista que compreender um texto significa formar uma estrutura mental que represente o sentido do texto KINTSCH 1998 Entre os objetivos espec ficos da pesquisa est o 85 e Verificar qual o n vel de representa o textual alcan ado pelo sujeito ap s a realiza o de um teste padronizado de avalia o da compreen
79. ar ao menos parcialmente as influ ncias do reconto por escrito pensou se em uma forma alternativa para que esse reconto fosse feito Para descaracterizar um pouco a formalidade da escrita e tirar do participante a preocupa o com a produ o uma vez que esse n o era o foco da pesquisa recorreu se a uma sala de bate papo do ambiente de Educa o A Dist ncia EAD da universidade A t tulo de ilustra o 97 ser o reproduzidas ao longo do texto algumas telas com a produ o dos participantes na sala de bate papo O ambiente EAD UNISC de apoio ao ensino presencial e de suporte educa o a dist ncia proporciona a alunos e professores uma s rie de funcionalidades que visam a facilitar e otimizar as tarefas do dia a dia Para apresenta o e disponibiliza o de conte dos o ambiente oferece plano de aulas material complementar din mica eventos novidades gloss rio bibliografia perguntas frequentes e gerenciador de arquivos Quanto comunica o buscando incentivar a intera o e coopera o entre os usu rios oferece as op es mural correio eletr nico bate papo chat f rum e mensagens on line Quanto avalia o oferece as op es avalia o externa avalia o web tarefas e controle de notas Quanto s ferramentas de acompanhamento das atividades do aluno pelo ambiente h as op es acompanhamento de tarefas e avalia o web al m do relat rio de acessos e relat rio de comunica
80. aseavam em amostras limitadas do comportamento do leitor sob condi es tamb m limitadas com interfer ncia de in meras vari veis e na maioria das vezes estariam avaliando compet ncias ling sticas isoladas Em 1989 Messick publica um artigo intitulado Validity no qual define validade como um julgamento avaliativo integrado sobre a extens o em que as evid ncias emp ricas e bases l gicas te ricas sustentam a adequa o e a apropriabilidade das infer ncias e a es baseadas nos resultados dos testes ou de outros modos de avalia o No original probe questions about the construct validation for tests of communicative competence CHAPELLE 1999 p 255 No original the meaning of the measure and hence its construct validity must always be pursued not only to support test interpretation but also to justify its use MESSICK 1989 p 17 No original validity is an integrated evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores 70 Em resumo a defini o do conceito de validade apresenta tr s momentos distintos no primeiro a validade foi definida vagamente como qualquer coisa com a qual um teste pudesse ser correlacionado no segundo momento foram conceituados quatro tipos de validade e o terceiro momento que tem conforme Tumolo 2005 grande influ ncia nos testes atua
81. ate papo cada participante respondeu ao todo a quinze quest es sete ap s o primeiro teste e oito ap s o segundo teste sobre seu Embora cientes dos erros de concord ncia verbal no texto do e mail optou se por uma linguagem informal condizente com a que utilizada em ambientes de bate papo 99 perfil trajet ria na aprendizagem do ingl s e sobre suas estrat gias de leitura al m de compararem as duas ferramentas Esses dados que correspondem parte da an lise qualitativa da pesquisa tamb m foram tabulados em uma planilha para posterior an lise Uma vez definidos os instrumentos de produ o de dados partiu se para a valida o dos mesmos 2 4 3 Valida o do instrumento conte do e aplicabilidade A valida o de conte do conforme o Dictionary of Language Testing 2002 requer o julgamento de examinadores especialistas para avaliar a adequa o e a representatividade dos itens do instrumento Para consolidar esse tipo de valida o o texto e as quest es da OUR TOOL foram enviados por correio eletr nico em formato de texto padr o do word para tr s ju zes pedindo lhes que respondessem ao teste para verifica o do gabarito e a pertin ncia das quest es Foi explicado que se tratava de uma proposta alternativa de avalia o da compreens o leitora por m sem maiores detalhes e sem mencionar as dimens es cognitivas contempladas por cada quest o para n o influenciar na observa o A nica i
82. ativa entre as propor es m dias de acertos no TOEFL do grupo que fez esse teste em primeiro lugar m dia de 83 em compara o com o grupo 2 que fez o teste em segundo lugar m dia 107 88 sendo p 0 55 Assim como n o h diferen a estatisticamente significativa entre as propor es m dias de acertos no teste OUR TOOL do grupo 1 m dia de 66 que fez primeiro o TOEFL em compara o com o grupo 2 m dia de 67 que fez primeiro o OUR TOOL p 0 85 Conclu do que a sequ ncia de realiza o dos testes n o interferiu no resultado a pr xima verifica o feita foi em rela o diferen a entre as m dias de acertos nos testes dos dois grupos Para isso foi rodado o teste t de Student para amostras emparelhadas cujo resultado apresentado na Tabela 4 a seguir Tabela 4 Teste t de Student para amostras emparelhadas Sas Desvio Media i Padr o Propor o de acertos no TOEFL 6 quest es 85 8333 20 18 15705 Propor o de acertos no OUR TOOL 19 quest es 66 8421 20 12 44319 O teste concluiu que h diferen a estatisticamente significativa entre a propor o m dia de acertos no TOEFL em compara o com a propor o m dia de acertos no OUR TOOL p lt 0 001 Conforme a Tabela 4 o ndice m dio de acertos no TOEFL foi de 85 maior que no OUR TOOL que teve como m dia 66 Como mostrado anteriormente na Figura 16 n o houve 100 de acerto no OUR TOOL nem mesmo quando esse foi real
83. ava desconforto Somado a isso instalou se o seguinte temor medida que cada vez mais esses procedimentos de avalia es s o solicitados por motivos variados como sele o nivelamento entre outros cada vez mais cresce a busca e a oferta de cursos rel mpago que preparam para a prova auxiliando indiretamente na forma o de um comportamento padronizado e inapropriado de leitura Esse comportamento n o visa a leitura para a aprendizagem e sim uma leitura mais para adivinha o para o simples acerto de quest es que pode levar a um vazio p s leitura 13 Como poss vel solu o para isso evidenciada a necessidade de uma renova o da pr tica pedag gica que se volte para a avalia o da compreens o leitora com um novo olhar no qual seja destacada a import ncia de uma prepara o ensino que garanta ao sujeito tirar proveito da leitura no sentido de aprender com a mesma formando nesse leitor um outro comportamento de leitura bem como a elabora o de instrumentos de avalia o que endossem essa postura O que se prop e que cada vez mais ao elaborar instrumentos de avalia o da compreens o tenha se a preocupa o de que as tarefas solicitadas no teste representem adequadamente o dom nio do comportamento em quest o para que com isso se consiga de posse do diagn stico fazer um progn stico adequado acerca das capacidades futuras daquele candidato REFER NCIAS ADAMS M BRUCE B Back
84. ber em alguns coment rios a incid ncia de uma maneira uniforme de olhar a avalia o da compreens o Houve por exemplo um certo estranhamento quanto exist ncia de mais de uma alternativa correta nas respostas e quanto quest es que n o traziam respostas explicitamente encontradas no texto Tamb m por parte de um dos leitores o efeito washback das provas em criar um comportamento de leitura foi observado Nas quest es em que havia mais de uma resposta o candidato marcou apenas uma mesmo sentindo que outras alternativas tamb m estariam corretas e mesmo com o enunciado da quest o alertando para essa possibilidade Ap s a realiza o da prova em uma etapa pr pria para isso o candidato faz o seguinte coment rio acerca de seu comportamento de leitura j engramado http www ead unisc br EAD UNISC Mozilla Firefox oj xj Quarta Feira TNYT Paes El Bate Papo Quinta etapa Coleta OUR TOOL amp EB Bate papo finalizado Total de mensagens 13 AUTOR MENSAGEM 63 Leitor 9 para Karen OBS na segunda etapa entendi que deveria se marcar apenas uma alternativa como de costume Desta forma em algumas quest es at senti que deveria marcar mais de uma alternativa mas como acreditei que era apenas uma resposta marquei s uma Conclu do 123 Figura 30 Tela bate papo p s OUR TOOL quest o 7 seqii ncia TOEFL OUR TOOL A etapa a seguir analisa essa quebra de correla o e
85. compreens o leitora avalia o ABSTRACT The study of reading as a process of building meaning appears as a way to continue the investigations concerning cognition The factors involved in the reading process are countless once the comprehension as a mental process constitutes a complex phenomenon involving a constellation of capacities and interrelated cognitive abilities varying from mechanical mappings to more conceptually sophisticated manipulations like reasoning and inference The study of the factors involved in the reading comprehension assumes the important role of allowing the planning of more effective interventions not only destined to develop the comprehension but also to evaluate it The evaluation when accomplished from a productive theoretical referential can inform a lot about the mental process and the authentic ability of the candidate s comprehension The evaluative action includes exactly the understanding of the cognition process When discussing underlying aspects of the reading comprehension evaluation specifically in foreign language in this case English language the present research searched to investigate if the level or levels of textual comprehension reached by the subjects when reading a text were enough to execute the tasks of the test The subjects were divided into two groups and submitted to two types of evaluations with different approaches a standardized one of multiple choice type in the molds of the te
86. contece com os indiv duos em conjunto com o contexto educacional Essa abordagem consiste em um relat rio a ser preenchido mediante a observa o individual de sujeitos realizando uma s rie de tarefas que medem as v rias 5 No original Sufrimos tristemente estos continuos ex menes Estropean a nuestros j venes que no tienen tiempo ni ocasi n para ser perezosos perezosos en el buen sentido Porque yo creo en la pereza inteligente que da al hombre tiempo de leer para s No se puede llamar estudio a lo que un hombre debe leer p gina por p gina exactamente para sufrir un examen p 100 52 capacidades entendidas como requisitos para o desenvolvimento da leitura As limita es desse instrumento est o na demanda de tempo e trabalho 1 3 3 2 T cnicas de avalia o formal Este tipo de avalia o indica se o aluno que est sendo avaliado maneja ou n o uma habilidade espec fica de acordo com um padr o estabelecido Os testes relacionados a crit rios geralmente associam se a objetivos procedimentais e podem ser teis para individualizar o ensino da leitura HARRIS e SIPAY 1979 As t cnicas de avalia o formal consistem nos testes padronizados relacionados a crit rios utilizados para avaliar a compreens o Conforme Alliende e Condemar n 2005 mediante o enfoque desses testes s o avaliadas as realiza es e dificuldades dos alunos em rela o a determinados objetivos do processo de ensino aprendizagem
87. corrente e de validade preditiva descritos na se o 1 4 4 1 12 A significa o de construto o terceiro tipo de evid ncia indicada por Bachman vem a ser a validade de construto renomeada pelo autor considerada por ele a mais fundamental entre os tr s tipos de evid ncia uma vez que a valida o de construto ocorre se os resultados do teste forem interpretados como indicadores de uma habilidade Segundo Bachman 1990 a valida o de construto pode ser comparada com um caso especial de verificar ou falsificar uma teoria cient fica Como uma teoria nunca pode ser provada a validade de uso ou interpreta o de qualquer teste est sempre sujeita falsifica o A valida o de construto ainda segundo o autor requer tanto uma an lise l gica como investiga o emp rica A an lise l gica requer definir te rica e operacionalmente o construto sugerindo que as hip teses s o feitas em ambos os n veis te rico e operacional Bachman apresenta tr s tipos de evid ncia emp rica para sustentar a validade de construto correlacional quantitativa experimental quantitativa e an lise de processo qualitativa A an lise de processo permite a investiga o do processo envolvido na performance das tarefas Outro aspecto considerado por Bachman 1990 como essencial para a base z evidencial de validade de construto a tendenciosidade do teste test bias A tendenciosidade conforme o Dictionary o
88. cos benef cios e outros assuntos relacionados com a pesquisa da liberdade de retirar meu consentimento a qualquer momento e deixar de participar do estudo da garantia de que n o serei identificado a quando da divulga o dos resultados e que as informa es obtidas ser o utilizadas apenas para fins cient ficos vinculados ao presente projeto de pesquisa 142 O Pesquisador respons vel por este projeto de pesquisa Karen Andresa Teixeira Santorum Fone _ 051 37154785 81277730 aluna do mestrado em Letras da Universidade de Santa Cruz do Sul sob a orienta o da professora doutora Ros ngela Gabriel O presente documento foi assinado em duas vias de igual teor ficando uma com o volunt rio da pesquisa ou seu representante legal e outra com o pesquisador respons vel Desde j grata por tua participa o viabilizadora dessa pesquisa Karen Santorum Data Nome e assinatura do Nome e assinatura do Nome e assinatura do volunt rio respons vel legal quando for o respons vel pela obten o do caso presente consentimento 143 Anexo C Texto dos testes At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met their match Gray wolves began declining in the American West around 1870 as westward moving settlers depleted the bison
89. curr culo do ensino Conforme exemplo no dicion rio se a habilidade da escrita testada em um determinado instrumento de avalia o somente atrav s de quest es de m ltipla escolha ent o h uma grande press o sobre o ensino para a pr tica de tais itens ao inv s de praticar a habilidade da escrita em si Qualquer teste importante no caso da compreens o leitora que permane a muito baseado em estrutura pode ser apontado como tendo efeito negativo se sua influ ncia evita as modifica es no ensino da profici ncia em dire o a uma metodologia mais comunicativa Segundo Peirce 1992 o efeito washback de um teste algumas vezes referido como validade sist mica de um teste se refere ao impacto de um teste sobre a pedagogia escolar desenvolvimento do curr culo e pol tica educacional A autora aponta os resultados de pesquisas Shohamy 1992 demonstrando que a inser o em mbito nacional de tr s testes em l ngua em Israel teve um impacto dram tico na pedagogia escolar e na pol tica educacional do pa s Em rela o ao TOEFL a autora aponta como um dos indicadores de seu efeito a vibrante ind stria de material preparat rio para o teste Ela sugere que na fase de revis o e valida o do teste seja considerado pela equipe de elaboradores que tipo de impacto o 38 No original it is the effect of testing on instruction Language test washback is said to be either positive or negative Negative washback is
90. da etapa ser o apresentados os resultados da an lise e classifica o dos recontos Nessa etapa ser o comparadas as classifica es dos recontos realizados p s TOEFL e p s OUR TOOL Na terceira etapa ser verificada a correla o entre os resultados dos testes e as classifica es dos recontos A ltima etapa que contempla a an lise das respostas sobre as estrat gias de leitura dos participantes e seus respectivos coment rios sobre os testes n o ocorrer em um momento separado Esses resultados ser o apresentados ao longo desse cap tulo simultaneamente s etapas anteriores a fim de iluminar a discuss o No presente estudo a avalia o da compreens o a partir dos resultados da pesquisa observada atrav s de lentes espec ficas como referido no cap tulo anterior S o utilizadas as lentes do modelo de Kintsch e van Dijk 1978 luz do crit rio de autenticidade pertencente ao modelo de utilidade de Bachman e Palmer 1986 apresentados no cap tulo 2 Por m em momento algum se pretende aqui apontar uma forma de avalia o como sendo a correta em detrimento de outra uma vez que acreditar na exist ncia de uma medida avaliativa como sendo a melhor para qualquer situa o dada seria o mesmo que estar s cegas 3 1 Resultados dos testes de avalia o da compreens o Nessa primeira etapa da an lise foi observado o desempenho dos participantes nos dois testes As Tabelas 1 e 2 a seguir mostram a propor o
91. das do objeto representado e ao serem inclu dos no texto passam a ser objeto da intera o dos outros elementos textuais estabelecendo com eles uma infind vel quantidade de rela es Um meio para se obter adequadas categorias de an lise para um determinado texto poderia ser determinar os diferentes c digos que podem ser descobertos nele e aplic los aos referentes ALLIENDE E CONDEMARIN 2005 Os autores apontam que grande parte das provas de compreens o leitora aplicadas nos estabelecimentos educacionais versa sobre os conte dos dos textos E uma vez que esses conte dos n o podem ser determinados previamente apela se para certas categorias gerais supostamente aplic veis a qualquer texto determina o de id ias principais e secund rias capta o de detalhes segii ncias rela es de causa efeito capta o de atitudes emo es sentimentos interesses ideais caracter sticas pessoais rela es de semelhan a oposi o inclus o exclus o entre outras Assim o conte do dos textos passa a ser um dos principais fatores que incidem sobre a compreens o particularmente nos n veis avan ados A compreens o dos referentes n o depende tanto do conhecimento do objeto representado em si mas de suas caracter sticas como unidade sem ntica que se inclui e se articula com o texto formando conjuntos que podem ser inclu dos em esquemas significativos que permitem a compreens o em qualquer n vel 31 Outra fo
92. de estabelecer dentro do horizonte de possibilidades que o texto Essas rela es n o s o aleat rias mas se originam no encontro confronto de dois mundos em situa o de leitura o do autor e o do leitor Nessa atividade o conhecimento geral do sujeito leitor exerce papel fundamental E lan ando m o desse conhecimento ling stico e de mundo que o leitor poder garantir uma compreens o para al m dos elementos superficiais do texto negociando com o autor os significados plaus veis e permitidos 47 por isso que aqui destacada em converg ncia com alguns autores da rea da ci ncia do texto referidos na literatura tais como Cain Oakhill Barnes e Bryant 1998 Johnson e Smith 1981 Marcuschi 1985 1989 Oakhill e Garnham 1988 Oakhill Cain e Yuill 1997 Yuill e Oakhill 1991 a atividade inferencial como sendo um fator essencial no processo de compreens o em geral podendo a mesma ser descrita como um ato inteligente que envolve racioc nio l gico e criativo e que levado a efeito atrav s da jun o de informa es novas e antigas possibilitando o surgimento de novas intui es ou conclus es SPERBER 1996 Assim o paradigma conexionista revisitando o modelo de Kintsch e van Dijk 1978 ao propor essa mudan a de enfoque no qual a compreens o em leitura deriva da constru o de uma representa o mental acaba trazendo algumas importantes contribui es para se pensar as formas de avalia
93. deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their prey Settlers and government trappers responded with intensive campaigns to wipe out the wolf Approximately 1 5 million wolves were killed in various bounty hunting campaigns carried out between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone from the 48 states of the continental U S by the late 1920s Wolves were listed as endangered in 1973 and remain so today meaning that they are in danger of becoming extinct in all part of their natural habitat Environmental activists are optimistic however In the 1980s wolves began appearing in Montana apparently having migrated from Canada There are currently about 65 wolves in northwest Montana The work of the U S Forest Service in augmenting the wolf population in the continental U S with wolves from Canada could speed the recovery process Recently Forest Service employees released eight Canadian gray wolves in Yellowstone National Park and four in central Idaho The goal is to have ten breeding pairs and their young about 100 wolves in each of the three recovery areas northwest Montana central Idaho and the Yellowstone National Park area by 2002 If this goal is reached the gray wolf
94. deriam com as informa es dispon veis serem seguramente inferidos Um exemplo de reconstru o aparece grifado no seguinte reconto http www ead unisc br EAD UNISC Mozilla Firefox oO xj TA Quarta Feira 17 AMA ICN Novidades j E A Bate Papo Quinta etapa Coleta OUR TOOL Plano de Au Sai amp E Bate papo finalizado Total de mensagens 13 e2 Leitor 9 para Karen O texto se reporta ao exterm nio de lobos na America do Norte Coloca que no in cio os lobos eram exterminados para a venda ou porque eraqm perigosos No entanto o n mero de mortes foi tanto que F rum comprometeu a esp cie A partir disso iniciaram campanhas para ate papo proteger os lobos surgiram reas de preserva o e outras de maiores campanhas para a prote o destes animais Fala ainda que os pacifistas eram otimistas e entendi que muitas campanhas foram Enquete subsidiadas por m sicas que incentivavam a preserva o dos lobos O Perg Frequentes texto exp e o tipo de alimenta o que os lobos tinham x x v alma ima informa o qua m o tinhac norcohide Aduranta z Concluido Figura 27 Tela bate papo Reconto p s TOEFL Seq ncia TOEFL OUR TOOL Todavia conforme apontado por Salles 2005 cabe pensar at que ponto essas reconstru es evidenciam uma menor compreens o do texto lido ou servem como uma estrat gia para preencher as lacunas da compreens o
95. diferentes TOEFL paper based TOEFL PBT o teste feito no suporte tradicional papel TOEFL computer based TOEFL CBT o teste feito no computador e por ltimo o TOEFL internet based TOEFL IBT o teste feito atrav s da internet Essa ltima modalidade do teste ainda n o se encontra dispon vel em todos os pa ses O TOEFL paper based confere um escore que varia de 310 a 670 o TOEFL computer based confere um escore de O a 300 enquanto o novo TOEFL internet based confere um escore total numa escala de O a 120 Todos t m validade de apenas 2 anos O TOEFL computer based a modalidade do teste mediado pelo computador que conta com um grande banco de quest es que foram classificadas quanto ao tipo ao n vel de dificuldade e rea de conte do Em algumas das se es o banco de dados seleciona o n vel de dificuldade das quest es de acordo com o rendimento do candidato o chamado Computer Adaptive Testing CAT O computador inicia o teste com uma pergunta de n vel m dio de dificuldade ent o dependendo da resposta dada pelo candidato o programa adapta as pr ximas quest es buscando no banco de dados outra quest o que leve em considera o a performance anterior ou seja se o candidato acertou a anterior a pr xima quest o ser mais dif cil ou se errou vir uma mais f cil A se o de compreens o em leitura n o adaptada pelo computador Essa modalidade mediada pelo computador foi a escolhida na presente
96. do ainda que brevemente um recorte com alguns dos modelos existentes Graesser 1981 descreveu seis fontes b sicas de conhecimento envolvidas na compreens o textual ling stica ret rica causal intencional espacial e a de pap is personalidades e objetos Mackworth 1972 em contraste tendo adotado outra abordagem optou por focalizar o processo que ocorre durante a leitura desenvolvendo um modelo de tarefa de leitura que era essencialmente um modelo de processamento de informa es Outros conhecidos pesquisadores tamb m optaram por enfocar mais o processo de leitura em si do que o conhecimento necess rio para a leitura Um dos modelos mais detalhados na interpreta o de Moorman e Ram 1994 foi desenvolvido por Gough em 1972 e surgiu como um modelo de um segundo de leitura o qual foi projetado para descrever todos os processos que perfazem um segundo de leitura oral Outro n vel de descri o tamb m enfocado por pesquisadores foi o modelo acerca das habilidades ou estrat gias necess rias para a leitura proficiente Davies 1968 identificou cinco habilidades necess rias para a leitura mem ria para o significado das palavras realizar infer ncias a partir do conte do seguir a estrutura do texto entender e ou reconhecer o prop sito atitude tom e estado de esp rito do autor ser capaz de responder quest es tanto 39 explicitamente como em par frases Tais habilidades est o em um n vel intermedi
97. do de maneira distribu da em engramas A leitura de palavras envolve essencialmente o acesso a tr s tipos de c digo ortogr fico fonol gico e sem ntico A constru o da representa o em cada um desses n veis influencia e influenciada pelos demais Segundo a perspectiva conexionista os tr s n veis de informa o referentes a uma determinada palavra s o sempre ativados durante a leitura em paralelo mesmo os que n o s o diretamente requeridos para a execu o de uma dada tarefa SALLES 2002 44 O leitor pode manipular seu modelo mental durante a leitura reordenando suas partes ou combinando as para obter outras rela es num processo mental de recorte e colagem tudo isso para poder ter uma representa o do conte do do texto ao final da leitura Por exemplo frequente que a ordem can nica dos acontecimentos de um texto seja alterada por raz es estil sticas ou expressivas a mem ria do sujeito por m tende a reordenar as partes do texto de acordo com as rela es causais e temporais impl citas entre essas KINTSCH e VAN DIJK 1983 O sujeito faz isso construindo rela es significativas entre as partes do texto cadeias coesivas atrav s da compreens o da rela o entre pronomes e referentes e outras formas de an fora bem como atrav s do agrupamento de id ias positivas e negativas ao longo do texto Essa constru o se d diferentemente em cada indiv duo n o tendo como ser aplicada em s r
98. dos construtos abordados aqui ou seja ser definida a lente escolhida para observar o fen meno cognitivo da compreens o em leitura O conceito de leitura vem sofrendo vis veis varia es ao longo dos ltimos anos As defini es mais antigas anteriores a 1970 referiam se leitura n o como um processo mas como um produto que ocorria a partir da recep o e decodifica o do input de linguagem no caso o texto Essa vis o tem o leitor como um elemento passivo no processo de leitura Segundo Ferreiro e Palaccio 1990 os pesquisadores que trabalhavam na rea dos problemas de aprendizagem costumavam destacar a decodifica o como o fator respons vel pelas dificuldades de aprendizado Conforme Carrell 1998 a partir de uma cita o que resume bem a vis o de leitura anterior a 1970 a leitura era vista primeiramente como um processo 21 decodificador de reconstru o do sentido pretendido pelo autor por meio do reconhecimento de letras e palavras impressas Novas perspectivas para a defini o de leitura come am a surgir ap s 1970 e a decodifica o passa a ser considerada como uma condi o necess ria por m n o suficiente para a leitura Nos estudos de Halliday e Hasan 1989 por exemplo apresentado um novo enfoque da leitura de texto como processo que constitui se no potencial de sentido que est a servi o de abordagens diferenciadas em momentos tamb m distintos subjacentes s palavra
99. e adapta o CHAPELLE 1999 p 264 Chapelle 1999 afirma que embora seja poss vel ver as in meras modifica es no conceito de validade a partir da contribui o de diversos estudiosos do tema foi Bachman 1990 atrav s de seu cap tulo sobre validade que mais influenciou os testes em l ngua particularmente por definir a valida o como um processo de demonstra o de uma variedade de evid ncias sobre a interpreta o e uso dos testes Assim entre os autores que contribuem para um olhar caleidosc pico ou prism tico acerca desse assunto destacamos em especial a perspectiva oferecida por Bachman 1990 e Bachman e Palmer 1996 or other modes of assessment MESSICK 1989 p 13 71 1 3 4 2 O olhar de Bachman sobre a validade nos testes em lingua Em 1990 Bachman toma para si a tarefa de olhar as novas defini es de validade e valida o surgidas na d cada de 80 luz dos testes em l ngua reaplicando as nesse contexto espec fico Conforme Tumolo 2005 o autor aceita algumas das inova es trazidas por Cronbach e Messick em 1980 como o fato de que o uso deve ser considerado para a valida o e que o processo de valida o requer todas as informa es relevantes Segundo Bachman 1990 ao final do processo de valida o deveria ser poss vel responder seguinte quest o at que ponto o teste analisado fornece uma base v lida para fazer infer ncias sobre a habilidade de linguagem Para o autor
100. e n o em rela o ao rendimento obtido pelos estudantes Ainda segundo os autores a principal vantagem das medi es relacionadas a crit rios que mostram diretamente o rendimento dos alunos tendo como refer ncia objetivos espec ficos de ensino Por m suas limita es dizem respeito ao fato de n o haver crit rio est vel sobre a natureza do dom nio de aprendizagem e sobre como medir esse dom nio uma vez que se trata de um processo mental como j mencionado anteriormente Outro problema apresentado pelos autores em rela o a tais medi es determinar se o crit rio de 80 a 90 de objetivos alcan ados geralmente empregado indica na realidade dom nio de uma determinada aprendizagem ou se deveriam existir outros crit rios como determinar a import ncia de uma compet ncia para conseguir transfer ncia da aprendizagem para outras Como exemplo de medida formal referente a crit rios apresentado o teste Cloze Criado por Wilson L Taylor e apresentado pela primeira vez em 1953 esse instrumento gera muita pol mica entre os pesquisadores quanto ao qu de fato ele mede e quais s o suas poss veis aplica es GABRIEL 2005 p 183 O suporte psicol gico do teste Cloze vem da teoria de Gestalt que se refere habilidade humana em completar os elementos omitidos de uma totalidade estruturada O teste consiste em solicitar ao candidato que insira certas palavras suprimidas do texto As 53 omiss es s o
101. ecessidade de uma correspond ncia entre a performance em testes em l ngua e o uso da l ngua e b uma defini o clara e expl cita das qualidades da utilidade do teste A fim de se poder demonstrar essa rela o necess ria uma estrutura que possibilite tratar a performance em um teste em l ngua como uma inst ncia espec fica do uso da l ngua Para os autores necess ria uma estrutura que permita utilizar as mesmas caracter sticas para descrever o que se acredita serem caracter sticas essenciais tanto para performance em teste em l ngua como para um outro uso da l ngua que n o o de teste Assim parte se de um conceito geral que consenso entre muitos estudiosos de testes em l ngua Vianna 1989 Bachman 1990 Bachman e Palmer 1996 Messick 1989 Chapelle 1999 de que um teste tem uma utilidade espec fica uma vez que desenvolvido para avaliar uma determinada situa o Assim um mesmo instrumento pode n o ser capaz de medir de modo globalizado as diferentes dimens es do sujeito Para ser til o teste deve ser elaborado com um prop sito espec fico para um grupo espec fico de candidatos e um dom nio espec fico de uso da l ngua em mente Os autores referem se a esse dom nio como dom nio do uso da l ngua alvo ou dom nio TLU Target Language Use e as tarefas nesse dominio como tarefas TLU O dom nio do uso da l ngua alvo um dos principais crit rios que direcionam o olhar desta inve
102. eens o inferencial estimulada mediante a leitura e as perguntas que demandam pensamentos e imagina o que v o al m da p gina i Infer ncia de detalhes exige conjeturar sobre os detalhes adicionais que o autor poderia ter inclu do no texto para torn lo mais informativo interessante ou atrativo Infer ncia de id ias exige incluir a id ia principal o significado geral o tema ou ensino moral que 55 rincipais n o est o expressamente apresentados no texto Infer ncia de seq ncias consiste em determinar a ordem das a es se a sua segii ncia n o estabelecida com clareza no texto Tamb m pode consistir em determinar as a es que precederam ou se seguiram s que s o observadas no texto Infer ncia de compara es requer infer ncias acerca de semelhan as e diferen as nos personagens pocas e lugares Infer ncia de causa e exige apresentar hip teses sobre as motiva es dos personagens e de suas intera es com o tempo e o lugar Tamb m implica conjeturar sobre as causas que atuaram a partir de ind cios expl citos apresentados Infer ncia de tra os dos consiste em determinar caracter sticas dos personagens que n o s o dadas explicitamente no texto efeito personagens Predi o de consegii ncias requer que o leitor leia uma parte inicial do texto e com base nessa leitura ele solicitado a conjeturar sobre o que vir no decorrer do texto Interpretar linguagem r
103. eito um contraponto com a concep o TOEFL de leitura e assim verificar caracter sticas de uma e de outra lan ou se m o de uma perspectiva diferenciada de avalia o A avalia o taxon mica referida na se o 1 4 3 2 apresenta se assim como uma proposta alternativa para a avalia o tradicional da compreens o em leitura empregada como uma lista de habilidades Assim com base na Taxonomia de Barret 1968 a qual contempla as dimens es cognitivas e afetivas da compreens o em leitura foi elaborado um instrumento de avalia o da compreens o o qual foi carinhosamente batizado de OUR TOOL Nossa Ferramenta uma vez que sua constru o se deu por v rias m os e sob alguns olhares atentos Para efeito de padroniza o j que a sigla do outro teste est em ingl s ser utilizado doravante OUR TOOL para fazer refer ncia ao instrumento desenvolvido na presente pesquisa 89 Na tentativa de controlar vari veis intervenientes optou se por oferecer o novo instrumento de avalia o no mesmo suporte em que o TOEFL apresentado ou seja no computador Para isso foi desenvolvido um sistema web escrito em linguagem de programa o espec fica para intenet PHP no qual o instrumento pode ser acessado realizado e automaticamente corrigido O instrumento est dispon vel no site http mvb viavale com br karen e tamb m ter algumas de suas telas apresentadas ao longo do texto para auxiliar na visualiza o A
104. eixeira Santorum Programa de P s Gradua o Mestrado em Letras Anexo B Termo de Consentimento Livre e Esclarecido 141 Termo de Consentimento Livre e Esclarecido Prezado colaborador a presente pesquisa da qual far s parte tem por objetivo investigar o processo de avalia o da compreens o em leitura em l ngua inglesa Ser o realizados dois testes de compreens o de texto ambos mediados pelo computador com abordagem e tipos diferentes de perguntas O objetivo verificar quais as principais habilidades medidas por cada teste e contrastar os resultados de ambos os testes Os sujeitos que participar o da pesquisa ser o selecionados atrav s de um teste par metro de nivelamento para assegurar que tenham profici ncia lingiifstica mais ou menos semelhante A partir da an lise dos dados esperamos fornecer subs dios para a elabora o de instrumentos de avalia o da compreens o em leitura fidedignos Pelo presente Termo de Consentimento Livre e Esclarecido declaro que autorizo a minha participa o neste projeto de pesquisa pois fui informado a de forma clara e detalhada livre de qualquer forma de constrangimento e coer o dos objetivos da Justificativa dos procedimentos que serei submetido a dos riscos desconfortos e benef cios todos acima listados Fui igualmente informado a da garantia de receber resposta a qualquer pergunta ou esclarecimento a qualquer d vida a cerca dos procedimentos ris
105. ental do texto O modelo de situa o de uma hist ria refere se s pessoas cen rio a es e eventos no micromundo mental Esse micromundo constru do inferencialmente por meio de intera es entre o texto expl cito e o conhecimento de mundo anterior Segundo Kintsch 1998 o foco de muitas pesquisas que v m sendo feitas est na constru o do modelo de situa o Graesser e Zwaan 1995 Zwaan Langston e Graesser 1995 Trabasso e Suh 1993 van den Broek Risden Fletcher e Thurlow 1996 e conforme o autor fica claro a partir de todas essas pesquisas que n o h um nico tipo de modelo de situa o e nem um nico processo para a constru o de tal modelo Os modelos de situa o nos quais a situa o descrita no texto representada s o como os modelos mentais ou seja um construto localizado na mem ria epis dica que cont m a representa o subjetiva do texto incluindo o processo inferencial e experi ncias pr vias O processo inferencial viabiliza a organiza o dos sentidos elaborados pelo indiv duo na sua rela o com o texto a partir dele que o estabelecimento da rela o entre as partes do texto e entre essas e o contexto torna se poss vel fazendo dele uma unidade aberta de sentido Segundo Ferreira e Dias 2004 al m de favorecer a organiza o das rela es de significado dentro do texto o processo inferencial permite destacar a malha ou teia de significados que o leitor capaz
106. equer que o leitor infira acerca do sentido a partir da linguagem figurada igurada LEITURA CR TICA AVALIA O A leitura cr tica exige que o leitor emita um julgamento de valor comparando as id ias apresentadas no texto com crit rios externos dados por ele leitor por outras autoridades ou por outros meios escritos ou com um crit rio interno dado pela experi ncia pelos conhecimentos ou pelos valores do leitor Julgamento de realidade ou exigem que o leitor seja capaz de distinguir entre o real do texto e o que A pertence fantasia do autor antasia Julgamento de fato ou requer que o leitor analise e avalie a escrita do autor com base no conhecimento que ele tem do assunto bem como analise e avalie a inten o do autor Julgamento de adequa o e requer que o leitor compare fontes escritas de informa o observando concord ncia e discord ncia e integralidade validade Julgamento de requer que o leitor fa a um julgamento sobre a relativa adequa o de diferentes ree artes do texto para responder a quest o apropriabilidade p P P q Julgamento de valor desejo requer que o leitor emita julgamentos baseado em seu c digo moral ou seu a sistema de valores e aceita o Aprecia o implica todas as considera es pr vias pois lida com o impacto psicol gico e est tico que o texto produziu no leitor Inclui o conhecimento e a resposta emocional s t cnicas liter rias ao estilo e s estruturas
107. erbo ler poderia ser substitu do por outros verbos entre par nteses que designariam o prop sito de leitura daquela situa o bem como o modo de process la ler espiar a agenda no escrit rio para confirmar o hor rio de uma reuni o ler escanear o manual de usu rio para descobrir como instalar um aparelho de DVD ler folhear o ltimo n mero de uma revista popular para saber o paradeiro das celebridades ler examinar um artigo de jornal para adquirir informa es sobre a tecnologia de modifica o de genes ou ler estudar um livro de biologia para se preparar para uma prova Assim medida que o leitor identifica seu prop sito de leitura ele pode ajustar seu modo de processar o texto lan ando m o de estrat gias cognitivas espec ficas para aquele processamento No Quadro 2 s o apresentadas algumas das estrat gias e habilidades cognitivas mais recorrentes no processamento de textos associadas ao prop sito de leitura correspondente Habilidades estrat gias Leitura r pida explorat ria Skimming Estabelecer um sentido geral Estabelecer a estrutura macroproposicional Leitura de busca Search reading Localizar informa es relevantes para E CU cuidadosa Leitura cuidadosa varredura Leitura cuidadosa varredura Scanning Localizar Localizar informa es espec ficas espec ficas Leitura cuidadosa de id ias principais explicitamente Estabelecer a macroestrutura declaradas Ler
108. eren a de abordagem Seqii ncia de realiza o dos testes Em qual dos 2 testes as perguntas fizeram ir ao Grupo 1 Grupo 2 texto com mais TOEFL OUR TOOL OUR TOOL gt TOEFL M dia entre os grupos profundidade n n n OUR TOOL 10 100 0 8 80 0 18 90 0 TOEFL 0 RO 1 10 0 1 5 0 Indiferente 0 0 1 10 0 1 5 0 Total 10 100 0 10 100 0 20 100 0 Para fins de an lise estat stica as respostas foram codificadas mas a forma original como foi feita a pergunta na sala de bate papo do ambiente EAD elicitou coment rios dos participantes que auxiliaram a reflex o A Figura 26 a seguir apresenta esses coment rios feitos por participantes do Grupo 1 que realizou primeiro o TOEFL e depois OUR TOOL http www ead unisc br EAD UNISC Mozilla Firefox 17 ina NNN lolx TA Quarta Feira Sair E Novidades E ate Papo Quinta etapa Coleta OUR TOOL Plano de Aula t Complementar amp E Bate papo finalizado Total de mensagens 13 BR MensagensEnviadasaoBatePapo fia AUTOR MENSAGEM amp Administrador Al m da limita o de tempo os termos utilizados em cada e teste foram de dificuldades diferentes no primeiro os Leitor 6 termos utilizados nas perguntas pouco diferiam dos utilizados no texto no segundo encontrei mais dificuldade em compreender alguns termos Al m disso no segundo teste necess rio uma melhor compreens o ae das perguntas para responder e nem sempre pos
109. eria necess rio pelo menos um cap tulo para poder nomear uma por uma as pessoas que contribu ram trazendo suas bagagens para esta caminhada Mas quero agradecer explicitamente algumas pessoas que participaram ativamente na constru o de sentidos de meu texto sonho A minha orientadora Prof Dr Ros ngela Gabriel por compartilhar comigo seus conhecimentos pr vios e engramada nesses a paix o pela lingii stica Por sua capacidade de encontrar sentido em minhas id ias Por ter me revelado em detalhes o universo da pesquisa cient fica do qual eu n o quero mais sair Pela experi ncia maravilhosa obtida no est gio em psicolingiifstica Por ter compartilhado tamb m sua fam lia seu carinho pelo encorajamento enfim pela parceria que espero n o termine por aqui Ao Programa de P s gradua o em Letras da Universidade de Santa Cruz do Sul pela oportunidade de tantas aprendizagens e pela concretiza o desse ideal Lucilene secret ria do mestrado por sua paci ncia e aux lio durante a caminhada CAPES pela concess o da bolsa condi o sine qua non para a realiza o desse sonho de consumo que era para mim o mestrado equipe do Comut da biblioteca da UNISC pelas incans veis buscas por tesouros perdidos Ao Departamento de Letras da UNISC pela acolhida e viabiliza o da proposta de pesquisa liberando o uso do laborat rio de inform tica para a produ o de dados Aos monitores Paulo e Rodrigo do laborat
110. escssssesessesssesees 95 Figura 18 Tela OUR TOOL quest o 9 esoessesoossosssesoossosssesoossosssesssesssocssocsssocessossssse 95 Figura 19 Tela bate papo no ambiente EAD UNISC ssessoescsssessossocssessossosssessoosssoe 98 Figura 20 Tela com e mail no ambiente EAD UNISC seesesssessossossssesocssocesoocsssossssoe 98 Figura 21 Propor o de acertos nos testes TOEFL e OUR TOOL 106 Figura 22 Tela bate papo p s OUR TOOL quest o 3 seqii ncia OUR TOOL Figura 23 Tela bate papo p s TOEFL quest o 3 segii ncia TOEFL OUR IKOLA DAAE E AANE EEE e e ipa 110 Figura 24 Tela bate papo p s TOEFL quest o 2 seq ncia OUR TOOL AKON D A DEE TT TT S 111 Figura 25 Tela bate papo p s TOEFL quest o 7 seq ncia OUR TOOL DOER actress ida nana cute SSD ae Ta pn pn 112 Figura 26 Tela bate papo p s OUR TOOL quest o 7 seqii ncia TOEFL OUR EOLO READ o NOR A QUER RAR RO NPR RAN NA AR A SR OS RR 113 Figura 27 Tela bate papo Reconto p s TOEFL Seqii ncia TOEFL OUR TOOL PENEI PEE OEE E O AN RR PARAR ARE PR PRP RA 117 Figura 28 Tela bate papo p s OUR TOOL quest o 4 Seqii ncia TOEFL OUR DOU DE RS mp pe RD E AR BR BAD DEPARO RIDE PRADO ARA PS A 120 Figura 29 Tela bate papo p s OUR TOOL quest o 3 seqii ncia TOEFL OUR CIC DEEE E AE ET EE 121 Figura 31 Rela o entre as categorias de reconto e a propor o de ace
111. estadas uma vez que os maiores constituintes da habilidade em leitura em L2 permanecem incertos b os primeiros estudos sobre compreens o em leitura de L2 eram fortemente influenciados pela vis o universal de leitura que afirmava serem as mesmas mesmo entre l nguas diferentes as 86 habilidades necess rias para a compreens o o que levou cren a de que todas as dificuldades experienciadas pelos leitores de L2 s o provenientes de conhecimento ling stico inadequado Somado a isso outro fator motivacional que alguns instrumentos de avalia o verificam capacidades isoladas dos sujeitos tais como a mem ria de trabalho al m de muitas vezes n o contemplarem talvez em virtude da forma como s o aplicados importantes aspectos que fazem parte das dimens es cognitivas da compreens o em leitura A se o de leitura do TOEFL na forma como aplicada com uma exig idade de tempo pode estimular a adivinha o das respostas e fazer com que o aluno objetivando o escore tenha um comportamento de leitura caracterizado por uma relativa superficialidade na interpreta o O que verificado ao t rmino da prova uma habilidade de racioc nio r pido e capacidade de adivinha o que s o caracter sticas necess rias por m nem sempre suficientes para a compreens o textual e conseq entemente para a aprendizagem com a leitura Com o desenvolvimento de um instrumento de avalia o alternativo baseado na Ta
112. f Language Testing DAVIES et al 2002 um fator ou grupo de fatores inerente a um teste que sistematicamente impede o acesso a uma estimativa v lida acerca da habilidade dos candidatos Ainda conforme o dicion rio um teste que possui validade de construto para candidatos de diferentes cen rios ling sticos ou seja um teste que mede a mesma habilidade ou grupo de habilidades da mesma forma para diferentes grupos pode fornecer um progn stico tendencioso biased prediction acerca da performance em algum outro dom nio Segundo exemplo do pr prio dicion rio um teste de ingl s pode ser igualmente v lido como medida de profici ncia diagn stico tanto para imigrantes de longo prazo como para estudantes estrangeiros com visto de resid ncia tempor ria No entanto como predi o progn stico da performance acad mica futura desses sujeitos como por exemplo a 2 No original a special case of verifying or falsifying a scientific theory and just as a theory can never be proven the validity of any given test use or interpretation is always subject to falsification p 256 No original Is a factor or factors inherent within a test that systematically prevents access to valid estimates of candidates ability p 15 73 capacidade de aprender com a leitura o teste pode ser menos eficaz para o ltimo grupo devido ao conjunto de outros fatores sociais que podem interferir nessa capacidade Exemplos de
113. fastamento da qualidade de leitura pode vir a ser maior e acabar por incentivar direta No original content that was not used for testing purposes was deleted from the text p 670 No original A key criterion mentioned by Brown 1914 was quality of reading p 30 62 ou indiretamente o candidato a adivinhar a resposta Para os autores a adivinha o um fator que afeta tanto a validade quanto a confiabilidade do resultado do teste imposs vel determinar qual percentagem do teste pode ser atribu da s adivinha es feitas pelo candidato e qual percentagem pode ser garantida como uma resposta elaborada pelo candidato Para contornar tal situa o os autores sugerem penalizar o candidato por adivinhar uma resposta e gerar instru es nos testes que incentivem os candidatos a evitar a t cnica da adivinha o Por m essa sugest o vai de encontro quelas vistas em alguns materiais did ticos preparat rios para o teste TOEFL como a que pode ser vista a seguir Sobretudo trabalhe rapidamente de modo que voc ter chance de responder todas as quest es corretamente Por m se o tempo estiver acabando n o h penalidade em adivinhar na se o de leitura ent o certifique se de que voc respondeu todas as quest es mesmo que voc tenha que adivinhar ao acaso no final HILKE e WADDEN 2001 Ainda segundo Farr e Carey 1986 outro grande problema dos testes com formato m ltipla escolha
114. forma em que o instrumento foi elaborado forneceu dados para uma posterior an lise do processo de leitura do candidato al m da possibilidade de uma compara o equilibrada com o TOEFL Entre os dados gerados pela OUR TOOL est o o tempo total que o candidato levou para realizar a prova o tempo que levou em cada quest o e que op o de resposta fez como pode ser visto na tela a seguir laj xi Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda ce lp tar E File D Meus 20documentos MESTRADO DISSERTA C3 87 C3 gt G ooie 4P Guia r pido E ltimas not cias suj19 Voc levou 29min2 1seg para realizar todo o teste 1 2min5seg certo certo certo 2 4min34seg certo certo certo 3 Imin7seg errado 4 Omin29seg certo errado 5 3mind5seg emade errado gt Conclu do Figura 9 Tela de corre o da OUR TOOL Nas instru es de resposta em algumas quest es havia mais de uma alternativa correta como pode ser visto na Figura 10 a seguir Cada quest o foi cuidadosamente redigida em fun o da corre o autom tica realizada pelo computador que foi implementada na OUR TOOL e da n o media o de um instrutor professor ao longo da realiza o da tarefa 90 Our Tool Karen Santorum Mozilla Firefox E la x Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt g h X fat E http imvb viavale com brikaren PO p
115. ground knowledge and reading comprehension In SMITH BURKE M L Org Reader meets author bridging the gap pp 2 26 Newark Delaware International Reading Association 1982 AEBERSOLD J A FIELD M L From reader to reading teacher New York Cambridge University Press 1998 132 ALDERSON J C Assessing reading Cambridge UK Cambridge University Press 2000 ALLIENDE F CONDEMARIN M A leitura teoria avalia o e desenvolvimento Porto Alegre Artmed 2005 AUR LIO Dicion rio Aur lio eletr nico s c XXI Lexicon Inform tica Ltda 1999 BACHMAN L Fundamental considerations in language testing Oxford Oxford University Press 1990 BACHMAN L PALMER A Language testing in practice Oxford Oxford University Press 1996 BADDELEY A D Is Working Memory Still Working In European Psychologist Vol 7 No 2 June p 85 97 2002 BAKHTIN M M Est tica da cria o verbal S o Paulo Martins Fontes 1997 BARRET T C Taxonomy of cognitive and affective dimensions of reading comprehension Unpublished paper cited by Clymer In ROBINSON H Ed Innovation and Change in Reading Instruction The Sixty seventh Yearbook of the National Society for the Study of Education pp 7 29 Chicago The National Society for the Study of Education 1968 BORMUTH J R Cloze test readability criterion references scores Journal of Educational Measurement 5 189 196 1968 BRANDAO A C P SPINIL
116. gt No original reading viewed primarily as a decoding process of reconstructing the author s intended meaning via recognizing the printed letters and words p 2 No original Assumption 1 There is such a thing as total or perfect comprehension of a text Assumption2 Careful reading which aims to extract perfect comprehension is superior to any other kind of reading and is in fact the only kind of reading which deserves the name p 86 22 de leitura que seriam perfeitamente aceitos dentro de dadas circunst ncias contextuais Esse impacto ser discutido com mais profundidade ao final deste cap tulo Em segundo lugar a perspectiva oferece perigo por ver o texto contendo uma quantidade finita de informa es acess veis a todos os leitores Segundo os autores dentro dessa perspectiva a informa o estaria toda na p gina o que acaba indo totalmente de encontro com a vis o mais atual em que o leitor interage com o texto a fim de construir o sentido Esse choque de vis es representado atrav s da seguinte afirma o feita por Samuels e Kamil em 1988 citada em Urquhart e Weir 1998 Assim ao contr rio da sabedoria convencional que afirma que a compreens o o processo de retirar o sentido de uma p gina a compreens o o processo de trazer sentido a um texto As concep es mais recentes como a que inicia essa se o apresentam a leitura ou a compreens o em leitura como uma a
117. he 48 states of the continental U S by the late 1920s Conclu do Figura 14 Tela OUR TOOL quest o 5 Quest o 4 N vel taxon mico compreens o inferencial infer ncia de id ias principais Tipo de pergunta m ltipla escolha Qual o objetivo principal do texto Our Tool Karen Santorum Mozilla Firefox Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt gt ic fat http s mvb viavale com br karenj PO php gt IGl Google Le P Guia r pido E ltimas not cias ES At one time in North America wolves ranged from 4 9 coast to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met in the American West around 1870 as westward mowing settlers depleted the their match Gray wolves began bison deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their Settlers and government trappers responded with intensive campaigns to wipe out the wolf Approximately 1 5 million wolves were killed in various bounty hunting campaigns between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill carned out Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for what is the main purpose of the text Click on the answer C to expla
118. hp X gt Gla gle J 4P Guia r pido GY ltimas not cias At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met in the American West around 1870 as westward moving settlers depleted the their match Gray wolves began gaanatge bison deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their prev Settlers and government trappers responded with intensive campaigns to wipe out the wolf Approximately 1 5 milion wolves were killed in various bounty hunting campaigns carried out between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for 5 9 Click on the words that could replace the ones that appear highlighted in the text without changing meaning more han one can be correct Declining paragraph 1 I refusing falling down D disappearing D decreasing Prey paragraph 1 I victim I entreat food Released paragraph 3 created VF set free VF lent back IP liberated Goal paragraph 3 l object aim TF purpose T game a small number of wolves in Minnesota wolves were gone gt Conclu do Figura 10 Tela OUR TOOL exemplo de quest o com mais de u
119. iato para a comunidade ao final de cada sess o de produ o de dados foi proposta uma conversa com os participantes interessados acerca de seus erros e das dificuldades encontradas Foram enviadas por correio eletr nico para cada um as p ginas de respostas dos dois testes e o link com o endere o eletr nico de onde est hospedada OUR TOOL na internet para que quem quisesse pudesse fazer o teste novamente como exerc cio ou reler o texto ou ainda rever as quest es Outra provid ncia tomada foi enviar professora do CELINC que estava ciente dos objetivos da pesquisa os resultados e a ferramenta para que ela tamb m pudesse discutir com seus alunos em aula fazendo da experi ncia uma pr tica pedag gica Finalizada essa etapa partimos para a discuss o e an lise dos dados que ser o descritas no pr ximo cap tulo 3 APRESENTA O DOS DADOS E DISCUSS O DOS RESULTADOS OBTIDOS A PARTIR DA LENTE METODOL GICA ADOTADA 104 A avalia o de leitura deveria incluir amostras sistem ticas de comportamentos de leitura que guiem as decis es acerca da habilidade de leitura JOHNSTON 1983 A apresenta o dos dados deste estudo ser feita em etapas assim como se deu a produ o dos mesmos Ao final de cada etapa ocorrer a discuss o dos resultados apresentados Na primeira etapa ser o contemplados os resultados obtidos pelos participantes do grupo 1 e 2 nos dois testes bem como a compara o entre os mesmos Na segun
120. ie e de forma padronizada Embora sejam as mesmas opera es elementares que estabelecem as bases para a compreens o em leitura sabe se que cada indiv duo tem uma modalidade pr pria de constru o e representa o do conhecimento e esse conhecimento representado durante a leitura que segundo Poersch 1999 ser utilizado para compreender o texto no c rebro que os dados trazidos pelo texto juntamente com os dados previamente armazenados come am a ser processados Como conhecimento significa conex es sin pticas se os dados de input encontram o caminho ou a conex o at os dados armazenados esses dados armazenados s o ativados N s dizemos que houve lembran a e sinapses j existentes s o refor adas Se os dados de input n o encontram um caminho previamente trilhado eles precisam ser integrados em algum dado j armazenado Essa integra o significa cria o de uma nova conex o em outras palavras significa aprender Ent o esse conhecimento torna se parte do conhecimento pr vio e ambos s o usados para processar o restante do texto Diferentes teorias da compreens o do texto como as de Just e Carpenter 1987 t m vis es diferentes acerca das caracter sticas precisas dessa estrutura mental mas todos convergem para a constru o de tal estrutura de representa o 2 No original It is in the brain that the data coming from the text along with the data previously stored start to be processed As know
121. in why early American settlers had such hatred for wolves to describe the decline and possible recovery of the North American wolf population C to describe the U S Forest Service and its mission to outline several alternatives for reviving the once large North American wolf population a small number of wolves in Minnesota wolves were gone Concluido Figura 15 Tela OUR TOOL quest o 4 Quest o 6 N vel taxon mico compreens o inferencial infer ncia de causa e efeito Tipo de pergunta m ltipla escolha Resposta n o expl cita no texto Por que foi oferecido dinheiro aos ca adores por cada lobo que eles conseguissem matar Clique na melhor resposta Our Tool Karen Santorum Mozilla Firefox 1e x Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt z gt e A fat LJ http imvb viavale com br karen PO php 4 gt Guia r pido ltimas not cias ES 2 At one time in North America wolves ranged from 6 9 coast to coast and from Canada to Mexico the greatest natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met Why were hunters offered money for every wolf they in the American could kill Click on the best answer their match Gray wolves began West around 1870 as westward moving settlers depleted the O Because the government wanted to be sure that bison deer and elk that
122. ing 10 4169 1993 WATERS G S CAPLAN D The measurement of verbal working memory and its relation to reading comprehension Quarterly Journal of Experimental Psychology 49A 1 51 79 1996 WEINSTEIN C E MAYER R E The teaching of learning strategies In WITTROCK M Ed Handbook of research on teaching pp 3 15 327 New York NY Macmillan 1986 ANEXOS 139 140 Anexo A Aprova o do Comit de tica em Pesquisa PR REITORIA DE PESQUISA E P S GRADUA O COMIT DE TICA EM PESQUISA Of N 86 06 Santa Cruz do Sul 08 de maio de 2006 Senhor a Professor a De acordo com a an lise dos projetos de pesquisa no que tange aos aspectos ticos implicados na pesquisa estamos encaminhando para seu conhecimento o parecer do Comit de tica em Pesquisa referente ao projeto sob sua coordena o 1483 06 A miopia nas a es avaliativas an lise dos instrumentos de avalia o da compreens o leitora APROVADO A an lise constituiu se na observ ncia quanto ao cumprimento por parte dos pesquisadores dos documentos exigidos para submiss o bem como dos aspectos ticos conforme direcionamento da Comiss o Nacional de tica na Pesquisa CONEP em acordo com a resolu o nacional n 196 96 que define as diretrizes para a condu o de pesquisas com seres humanos Quaisquer esclarecimentos poder o ser obtidos junto CEP sala 604 Atenciosamente Ilmo a Sr a Prof a Karen Andresa T
123. ions on their habitat and purposeful clear e Finish extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone zl4l gt Conclu do Figura 18 Tela OUR TOOL quest o 9 Depois de constru do o instrumento para a pesquisa o passo seguinte foi sujeit lo etapa de valida o que subdividiu se em valida o de conte do e de aplicabilidade que ser o apresentadas posteriormente na se o 2 4 3 2 4 2 3 Reconto O terceiro instrumento utilizado na produ o de dados foi o reconto do texto realizado pelos leitores ap s a aplica o de cada um dos testes Segundo Brand o e Spinillo 1998 a tarefa do reconto uma das formas de avalia o que envolve a compreens o global do texto e a sele o de aspectos relevantes do texto original e dos fatos armazenados na mem ria 96 Como j referido na literatura em Marcuschi 1989 Brand o e Spinillo 1998 Brand o e Spinillo 2001 entre outros as pesquisas que investigam a compreens o em leitura caracterizam se pelo uso de um dos dois tipos de recursos metodol gicos a reprodu o oral ou escrita de um texto apresentado lido ou ouvido ou b respostas a perguntas sobre um texto lido ouvido Poucas s o as pesquisas que combinam ambas as metodologias em uma mesma amostra como o caso do estudo realizado por Marcuschi 1989 com adultos e adolescentes e o estudo de Brand o e Spinillo 1998
124. itua es outras que n o a do teste em si e ao n o propiciar a leitura para aprendizagem A performance no teste usada para prever a performance do candidato no crit rio que no caso dos testes de profici ncia a situa o de uso da leitura no mundo real Assim no TOEFL o crit rio segundo o instituto respons vel por sua elabora o medir a habilidade de falantes n o nativos em usarem e entenderem a l ngua inglesa na forma em que empregada em ambientes reais de universidades e faculdades Por m uma das habilidades mais importantes para o futuro universit rio acaba por n o ser contemplada na abordagem da se o de leitura do TOEFL a capacidade de aprender com a leitura O presente estudo verificou que nem sempre h uma correla o entre a performance necess ria para aprova o em um teste e a performance necess ria para um bom desempenho em situa es de vida real como por exemplo a capacidade de representa o que leva aprendizagem 130 Essa aus ncia de correla o indica que ao fazer uso das estrat gias e habilidades adequadas o leitor pode at mesmo gabaritar uma prova de avalia o da compreens o mas nem sempre esse resultado pode garantir que esse leitor fora do contexto de prova conseguir desenvolver um modelo situacional do texto em sua mente Os dados obtidos na presente pesquisa comprovam que uma compreens o perfeita se que existe n o deve ser equivalente a um resultado de 10
125. izado Total de mensagens 13 ratia AUTOR MENSAGEM e2 Li 3 para Kami Claro na segunda leitura consegui perceber mais coisas at pelas perguntas feitas Sim Algumas das quest es me exigiu uma re e2 Leitor 4 para Karen leitura do texto tentando obter a resposta do mesmo e um melhor entendimento de um determinado par grafo F rum 68 citor 9 para Karen Ap s essa segunda etapa acredito que captei mais informa es do texto Houve diferen a bastante grande entre os dois 92 Leitor 10 para Karen testes No primeiro as respostas foram dadas mais a partir das perguntas N o foi necess rio voltar ao texto para responder a maioria das quest es J o segundo teste permitiu uma pondera o maior a Perg Frequentes respeito do tema tratado Enquete e2 Piloto para Karen Sim pois estas quest es eram muito mais detalhistas e por isso muita coisa que eu nao havia percebido no in cio passei a entender no final x Concluido Figura 28 Tela bate papo p s OUR TOOL quest o 4 Sequ ncia TOEFL OUR TOOL A melhora nas categorias p s OUR TOOL poderia primeira vista surpreender se o resultado nota obtido nos testes fosse tomado como par metro Se a interpreta o dos resultados fosse a de que escores mais altos como no TOEFL representariam maior entendimento e escores mais baixos como no OUR TOOL representariam um menor entendimento ent o esperar se ia uma correla o entre os resultados e
126. izado ap s o TOEFL situa o essa em que os participantes estavam lidando com o mesmo texto pela segunda vez depois de j terem respondido sobre o mesmo J no TOEFL 50 da amostra gabaritou a prova Uma poss vel explica o para essa diferen a no ndice de acertos entre as duas provas e que ser retomada posteriormente pode estar na abordagem ao texto feita por cada instrumento A abordagem no OUR TOOL que contemplou as dimens es cognitivas e afetivas propostas pela taxonomia de Barret 1968 mostrou se mais dif cil quando comparada com a abordagem do TOEFL n o apenas nos ndices de acerto mas tamb m nos coment rios feitos pelos leitores na sala de bate papo ap s a realiza o das provas e dos recontos Nessa sala foi solicitado aos participantes que respondessem se as quest es do teste feito dependiam diretamente do texto para serem respondidas ou seja se tinham suas 108 respostas imediatamente localiz veis no texto Os resultados que podem ser vistos a partir da Tabela 5 a seguir mostram que a grande maioria 95 dos participantes apontou as quest es do TOEFL como sendo mais diretamente reconhec veis no texto e por isso mais dependentes do texto para serem respondidas enquanto no OUR TOOL apenas 45 dos sujeitos apontou tal caracter stica Tabela 5 Quest es diretamente respondidas a partir do texto n Sim 19 95 0 As quest es do teste dependiam diretamente N o 1 50 do texto par
127. k N Y Longman Inc 1979 135 HILKE R WADDEN P Test Prep Series Taking the TOEFL Test 2 ed Mal sia Falcon Press SDN BHD 2001 HILL C PARRY K The Test at the Gate Models of Literacy and Reading Assessment TESOL Quarterly Vol 26 3 Autumn 1992 HOFFMANN J Avalia o Mito amp Desafio 30 ed Porto Alegre Media o 2001 IZQUIERDO I Mem ria Porto Alegre ArtMed 2002 IZQUIERDO I Quest es sobre mem ria S o Leopoldo Editora Unisinos 2004 JUST M A CARPENTER P A A capacity theory of comprehension individual differences in working memory Psychological Review 99 1 122 149 1992 JUST M A CARPENTER P A The psychology of reading and language comprehension Newton MA Allyn amp Bacon 1987 KASTRUP V A inven o de si e do mundo uma introdu o do tempo e do coletivo no estudo da cogni o Campinas Papirus 1999 KATO M A O aprendizado da Leitura 4 ed S o Paulo Martins Fontes 1995 KINGSTON A J A conceptual model of reading comprehension In Phases of college and other adult reading programs ed Emery P Bliesmer and Albert J Kingston Milwaukee National reading conference 1961 p 100 107 1961 KINTSCH W Comprehension a paradigm for cognition New York Cambridge University Press 1998 KINTSCH W VAN DIJK T A Strategies of discourse comprehension New York Academic Press 1983 KINTSCH W VAN DIJK T A Toward a model of text comprehensi
128. k na perspectiva dos autores vem sendo amplamente apontado na arena dos testes em lingua como o impacto direto dos testes sobre os individuos Hughes 1989 citado por Bachman e Palmer 1996 define o como o efeito dos testes no processo de ensino e aprendizagem e argumenta que os testes podem tanto ter um efeito ben fico 37 Optamos por manter o termo em ingl s por n o encontrarmos uma palavra em portugu s que desse conta de seu sentido e por esse ser um termo t cnico encontrado na literatura internacional 79 como prejudicial sobre esse processo Cohen 1994 discute os efeitos desse fen meno de forma mais generalizadora pensando em como os instrumentos de avalia o afetam as pr ticas e cren as educacionais Wall e Alderson 1993 a partir de um ngulo um pouco diferente defendem veementemente com base na extensa pesquisa emp rica que vem sendo feito na rea que os elaboradores e usu rios de testes n o podem simplesmente admitir que os testes causem um impacto no ensino e na aprendizagem mas que deveriam na verdade investigar as reas espec ficas a dire o positiva ou negativa e a extens o do suposto impacto De acordo com o Dictionary of Language Testing 2002 o efeito washback o efeito da testagem no ensino Esse efeito pode ser tanto positivo quanto negativo O efeito negativo ocorre quando os itens do teste s o baseados em uma vis o antiquada da l ngua o que mant m pouca rela o com o
129. l ngua estrangeira foi a import ncia dada por estruturalistas para as rela es grafema fonema A compreens o em leitura em segunda l ngua doravante L2 conforme Koda 2005 tradicionalmente vista como um aspecto integrante da profici ncia da l ngua e como conseqii ncia a posterior avalia o da compreens o leitora em L2 reflete a profici ncia em L2 A autora atenta para o fato de que apenas recentemente o elemento central na profici ncia de L2 mudou de um conhecimento lingii stico discreto e descontextualizado para uma compet ncia comunicativa Mudan as paralelas refletindo essa altern ncia de perspectiva tamb m ocorreram na avalia o da compreens o leitora em L2 Aebersold e Field 1998 investigando os fatores que influenciam a leitura numa L2 apresentam as quatro reas envolvidas no processo de compreens o compet ncia gramatical s cio lingii stica discursiva e estrat gica Com a mudan a de percep o acerca do elemento central na profici ncia de L2 a aten o volta se para fatores relativos inten o comunicativa e constru o de sentido Al m da import ncia dada inten o comunicativa e constru o de sentido outra importante percep o ganha luz ler em uma l ngua estrangeira envolve duas ou mais l nguas por isso as an lises deveriam ser translingii sticas explorando ambas as caracter sticas de l ngua materna Ll e L2 como poss veis fontes de diferen as individuais
130. ledge means synaptical connections if input data find the path or the connection onto other stored data these stored dada are activated we say that recall occurs and the previous synapses are reinforced If the input data do not find a previously trailed path they have to be integrated into some already stored data That integration consists of setting up a new connection in other words it means to learn Then this knowledge becomes part of the prior knowledge and both are used to process the remaining part of the text p 86 87 45 Essa representa o a qual n o se tem acesso direto tem sido arena de muitos embates Nesse espectro tem se apresentado como um desafio o estabelecimento de n veis que permitam vislumbrar com maior nitidez as representa es de sentido que os leitores constroem durante a compreens o Graesser e colaboradores 1997 apontam que o campo do processamento do discurso vem analisando muitos dos v rios n veis de representa o que s o constru dos no momento em que o sujeito l ou ouve um discurso coerente Psic logos do discurso desenvolveram modelos que especificam como esses n veis s o mentalmente representados e como eles s o dinamicamente constru dos durante a compreens o V rios n veis de representa o do discurso foram identificados por pesquisas em ling stica textual e computacional socioling stica e estudos liter rios Por m alguns desses n veis n o foram aceitos por psic
131. lers depleted the O totally solved not yet but almost solved bison deer and elk that wolves preyed on Wolves then tumed to the sheep and cattle as their ss Settlers and government trappers responded with intensive campaigns to support your answer A RESPOSTA PODE SER EM wipe out the wolf Approximately 1 5 million wolves were PORTUGUES killed in various bounty hunting campaigns carned out between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful clear e Finish extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone lal gt Conclu do Figura 11 Tela quest o justificada OUR TOOL Outra provid ncia tomada no intuito de controlar as vari veis foi trabalhar o mesmo texto da vers o do TOEFL utilizada para n o correr o risco de ter textos com graus diferentes de dificuldade uma vez que o foco estava centrado nas abordagens ao texto feitas pelos dois instrumentos O texto utilizado em ambos instrumentos pode ser visto na ntegra no ANEXO C A taxonomia de Barret 1968 originalmente aplicada a textos narrativos foi aqui adaptada a um texto n o narrativo A seguir s o dados exemplos de quest es nas quais foram aplicadas explicitamente as categorias taxon micas de Barret ao texto Com o prop sito de ilustra o est o reproduzidas aqui as telas como no i
132. lmente quando os pesquisadores passam a considerar a validade como nica No Quadro 5 a seguir poss vel comparar os conceitos antigos de valida o anteriores a 1980 com os mais recentes posteriores a esse per odo Validade era considerada como uma Validade considerada um argumento caracter stica de um teste o quanto um teste a mede o que sup e medir Confiabilidade era vista como uma condi o distinta e necess ria para a validade Validade era frequentemente estabelecida atrav s de correla es de um teste com outros testes Validade de construto era vista como um dos tipos de validade Estabelecer a validade era considerado como compet ncia dos pesquisadores em testes respons veis pelo desenvolvimento de testes de alto risco e de grande escala relativo interpreta o e uso do teste o quanto as interpreta es e usos do teste podem ser justificadas Confiabilidade pode ser vista como um tipo de evid ncia de validade Validade debatida com base em uma s rie de bases l gicas e evid ncias incluindo as consegii ncias do teste Validade um conceito nico com a validade de construto como central evid ncia de conte do e relativa crit rio podem ser usadas como validade de construto Justificar a validade do uso do teste responsabilidade de todos os usu rios de testes Quadro 5 Resumo dos contrastes entre conceitos de valida o do passado e presente Font
133. local do conto detalhes P Reconhecimento de id ias requer localizar e identificar uma ora o expl cita no texto que seja a id ia principal de um par grafo ou de um trecho mais extenso da sele o Reconhecimento requer localizar e identificar a ordem de incidentes ou a es explicitamente as apresentadas no trecho selecionado segii ncias Reconhecimento requer localizar ou identificar similaridades e diferen as em personagens pocas e lugares explicitamente apresentados no trecho selecionado Reconhecimento requer localizar ou identificar as raz es que estabelecidas com clareza 3 determinam um efeito rela es de causa e efeito Reconhecimento de tra o requer localizar ou identificar declara es expl citas sobre um personagem que ajude a destacar de que tipo de pessoa se trata de personagens J q P p apresentadas no trecho requer reproduzir de mem ria fatos como nomes de personagens tempo e local do conto fatos minuciosos Lembran a id ias requer lembrar se da id ia principal de um texto principalmente quando essa se encontra expressamente estabelecida Tamb m se pode referir s id ias principais D Lembran a de seq ncias consiste em lembrar se da ordem dos incidentes ou das a es apresentados com clareza no texto Lembran a requer lembrar se de mem ria as semelhan as e diferen as nos personagens E poca e lugares explicitamente apresentados no texto compara
134. logos do discurso por serem segundo Graesser e colaboradores 1997 aplic veis a um conjunto muito limitado de contextos de discurso Kintsch e Van Dijk 1978 apresentam em seu modelo uma distin o de tr s n veis na representa o do discurso 1 a estrutura de superf cie 2 a base textual contendo o conte do sem ntico local e global e 3 o modelo de situa o referencial Segundo os autores o primeiro n vel preserva o exato vocabul rio e sintaxe da frase Normalmente os leitores ret m apenas o c digo de superf cie das frases mais recentes a menos que esse c digo tenha repercuss o importante no sentido A compreens o de um texto implica a cria o de um texto base ou de uma base textual segundo n vel que organiza hierarquicamente todas as proposi es expl citas no texto combinando conhecimentos sobre a linguagem e conhecimentos sobre o mundo KINTSCH 1998 A constru o de tal base textual implica na elabora o de uma s rie de infer ncias que proporcionam a coer ncia sem ntica local entre as proposi es GRAESSER et al 1997 3 Proposi es s o unidades abstratas de significado e implicam no m nimo a predica o de algo uma propriedade a o rela o etc acerca de algo um objeto argumento etc KINTSCH 1998 p 37 38 46 O terceiro n vel o modelo de situa o que consiste no conte do ou no micromundo sobre o qual o texto trata ou seja a representa o m
135. m desvantagens Algumas de suas limita es segundo Alliende e Condemar n 2005 dizem respeito ao fato de que exatamente por serem padronizados em termos de sua administra o e pontua o podem ser inapropriados para a aplica o em certos sujeitos o vocabul rio o tipo de perguntas e a carga conceitual costumam torn los muito f ceis ou muito dif ceis Para Tumolo 2005 alguns itens desses testes padronizados os chamados itens n o defens veis t m como conseqii ncia favorecer alguns grupos em detrimento de outros j que conhecimento espec fico pressuposto para algumas de suas respostas Outra limita o apresentada pelos testes padronizados do tipo m ltipla escolha conforme Farr e Carey 1986 diz respeito n o depend ncia das quest es em rela o s passagens do texto Isso se deve ao fato de que as respostas podem muitas vezes ser adivinhadas tanto por mero acaso o popularmente chamado chute quanto por indu o da pergunta ou ainda elimina o de alternativas Essa adivinha o pode acabar alterando os resultados gerando com isso um escore n o condizente com a habilidade efetiva de compreens o leitora do sujeito Essa caracter stica presente em alguns testes acaba por ignorar um dos crit rios centrais da compreens o leitora mencionado por Brown citado por Farr amp Carey 1986 que a qualidade de leitura Em casos de testes cronometrados como no caso do TOEFL CBT o a
136. ma resposta correta Em situa es em que mais de uma alternativa estava correta a instru o dada ferramenta foi que seria considerado correto apenas se o candidato marcasse todas as respostas corretas O candidato que marcasse apenas uma op o teria a quest o considerada errada A ferramenta foi constru da de forma que novas quest es pudessem ser cadastradas para uso futuro da mesma como pr tica de leitura em sala de aula Assim como no TOEFL em OUR TOOL os candidatos t m na tela um texto que fica aparente durante toda a realiza o da prova Ao lado do texto v o aparecendo as quest es que o candidato responde clicando com o mouse nas alternativas corretas ou outro diferencial em OUR TOOL justificando sua resposta digitando a em um local espec fico como mostrado na Figura 11 a seguir 91 Our Tool Karen Santorum Mozilla Firefox o P lal x Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda E A O http mvb viavale com br karenfPO php gt IC Google I Guia r pido Q ltimas not cias At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest o natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met Is the problem presented in the text their match Gray wolves began k in the American West around 1870 as westward moving sett
137. materiais do texto tais como tamanho ou formato das letras e ou do texto ou qualidade de impress o ou qualidade da tela no caso de material no computador que influem na possibilidade de o texto ser compreendido Por m n o crit rio nico para a impossibilidade da leitura apenas torna a compreens o mais dif cil Esse tipo de legibilidade tem hoje grande import ncia dada a variedade de suportes em que os textos s o lidos papel tela de computador proje es entre outros 30 A legibilidade ling stica ou crit rio de leiturabilidade relaciona se aos aspectos lingiifsticos do texto Um texto com um conte do lexical muito inacess vel para o leitor com estruturas morfossint ticas muito complexas ou com elementos d iticos em demasia tem sua compreens o dificultada A legibilidade referencial de um texto diz respeito aos conte dos do mesmo e influi em sua compreens o Segundo Alliende e Condemar n 2005 qualquer referente pode ser inclu do num texto mas essa inclus o n o se d de forma direta passando antes por um processo de transforma o transforma se numa entidade sem ntica a generaliza o vygotskyana e em parte de uma comunica o Se a compreens o leitora versasse sobre o conte do sem a transforma o em entidade sem ntica o leitor teria que saber absolutamente tudo sobre tal conte do Ao serem transformados em entidades sem nticas os referentes passam a ter caracter sticas diferentes
138. mento da linguagem emergem da experi ncia e dessa arquitetura de rede e os autores afirmam que a performance no processamento da linguagem e a performance em atividades de mem ria de trabalho lingiiistica est o frequentemente relacionadas uma com a outra A leitura compreensiva requer mais do que a decodifica o ou o processamento isolado de palavras ela tamb m exige que o leitor processe o sentido das ora es estabele a rela es causais entre elas e fa a infer ncias interagindo com o texto construindo sentido e se apropriando do conte do do mesmo O leitor de posse do seu conhecimento pr vio e a partir das infer ncias que faz durante a leitura precisa integrar a informa o do texto em unidades maiores de sentido para que consiga assim aprender com a leitura A perspectiva conexionista da leitura busca integrar dados comportamentais neurol gicos e computacionais SEIDENBERG e McCLELLAND 1989 Por isso consideramo la a mais adequada para emoldurar a presente pesquisa que apesar de n o produzir dados neurol gicos e computacionais ampara se nos dados dispon veis na literatura O modelo cognitivo de leitura textual de Kintsch e van Dijk 1978 posteriormente expandido e atualizado por v rios pesquisadores entre eles os pr prios autores Kintsch e van Dijk 1983 e Kintsch 1998 lan a luz sobre o papel das habilidades de mem ria linguagem e conhecimento de mundo apresentadas na se o de aspectos cognitivos
139. mostras emparelhadas cssccsssscssssccssssees 107 Tabela 5 Quest es diretamente respondidas a partir do texto ccccessssseeee 108 Tabela 6 Diferen a de abordagem sessoescessessoesoessessossosssessoesosssessoosssocsssosssosessesese 113 Tabela 7 Categorias de reconto p s TOEFL e p s OUR TOOL 116 Tabela 8 Categorias de reconto p s TOEFL Categorias de reconto p s OURTOOL con AE A E EEE E 118 Tabela 9 Medidas descritivas da propor o de acertos no teste TOEFL para cada CALESOVIA ES Teconto sina sas a aa ques 123 Tabela 10 Medidas descritivas da propor o de acertos no teste OUR TOOL para cada categoria d POCONO cdesssavadcusens sadness decsesen sdsoasandeacedecdsssscerdeteaadsssdecdevessenensssse 125 13 SUM RIO ro cognitivos da comp ensao o leitora derivados dot ert atada L L a d E co Ognitivos e compreens o leitora do leitor LAT ee nee 31 1 3 A 1 ere ithe da aide re testes a evolu o do conceito 64 1 3 4 2 O olhar de Bachman sobre a validade nos testes em lingu 7 2 2 Hip teses fd bin es ok catered A iv a E A TRR 2 o FD TOBFL ini a eae 88 2 4 2 2 OUR TOOL 88 15 3 APRESENTA O DOS DADOS E DISCUSS O DOS RESULTADOS OBTIDOS
140. mpreens o n o se originam de varia es em uma capacidade de mem ria de trabalho isolada ao inv s disso elas emergem de uma intera o de fatores biol gicos e experi ncia de linguagem Essa alternativa conforme os autores debatida para gerar uma contabiliza o superior de resultados de compreens o previamente atribu dos a uma capacidade de mem ria de trabalho separada Segundo Koda 2005 especial aten o deve ser dirigida aos testes utilizados para medir essa capacidade da mem ria de trabalho pois as tarefas utilizadas nesses instrumentos s vezes investigam habilidades semelhantes se n o id nticas subjacentes leitura O mesmo cuidado deve ser direcionado para os testes de itens objetivos utilizados para medir a compreens o em leitura que acabam algumas vezes por medir a mem ria de trabalho isoladamente 8 No original a computational arena or workspace fueled by flexibly deployable limited cognitive resources or activation that supports both the execution of various symbolic computations and the maintenance of intermediate products generated by these computations p 341 37 1 2 Modelos de leitura de textos e aporte te rico da pesquisa Esta pesquisa procura investigar sob a tica cognitiva a compreens o em leitura especificamente em l ngua estrangeira a partir da forma como se d sua consegiiente avalia o Nos par grafos seguintes ser feita uma breve refer ncia a alguns dos modelo
141. n deer and elk that wolves preyed on Wolves then 2002 1973 1965 1980s none tumed to the sheep and cattle as their Settlers and a a 5 The wolves arrival in Montana government trappers responded with intensive campaigns to C 2002 C 1973 C 1965 C 19805 C none wipe out the wolf Approximately 1 5 million wolves were wolves exit from 48 states of U S kiled in various bounty hunting campaigns carried out O 200 C 1973 O 1065 O4oane Grane between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Wolves seen as in danger of extinction 2002 1973 1965 1980s none Human incursions on their habitat and purposeful People were paid to chase wolves E E C o O O extermination campaigns had a devastating effect Except for 2002 1973 T359 T3803 none a small number of wolves in Minnesota wolves were gone from the 48 states ofthe continental U S by the late 1920s gt ican Lt zi Concluido Figura 13 Tela OUR TOOL quest o 2 93 Quest o 5 N vel taxon mico compreens o inferencial infer ncia de detalhes Tipo de pergunta m ltipla escolha com v rias alternativas corretas Clique nas palavras que poderiam substituir as que aparecem destacadas no texto sem mudar o significado Our Tool Karen Santorum Mozilla Firefox le x Arquivo Editar Exibir Hist rico Favoritos Ferr
142. n o tida como necess ria ou imprescind vel para a armazenagem do conte do textual Esse paradigma ao revisitar a no o de macroestrutura n o a v como uma estrutura r gida e estanque armazenada em um local espec fico da mem ria e recuperada posteriormente da mesma maneira com que foi gravada Essa vis o est baseada no fato de que o leitor pode recuperar a macroestrura de forma diferente da que foi gravada e que a cada vez que a recupera pode recuper la diferentemente Somado a isso est o fato de que o leitor n o recupera a macroestrutura de uma vez s mas sim faz uma retomada do assunto aos poucos CASTRO 2004 Assim no conexionismo a macroestrutura formada segundo Castro 2004 a partir de todos os dados textuais que ativaram as conex es interneuroniais mas n o formada para que tais dados sejam armazenados Segundo Chiele 2004 as pesquisas implementadas em uma perspectiva cognitiva reconhecem a exist ncia de mecanismos de identifica o de palavras de naturezas diferentes que se modificam no decorrer do tempo O mecanismo inicial de identifica o de palavras atrav s do processo de recodifica o tende a evoluir em decorr ncia da automatiza o progressiva leitores habilidosos caracterizam se entre outros aspectos pela capacidade de acessar diretamente o significado das palavras lidas FARR e CAREY 1986 Isso se d porque segundo o conexionismo o conhecimento de cada palavra codifica
143. ndidatos enquanto se prop em a avaliar a compreens o como um todo Essas inquieta es serviram como motiva o para pensar acerca da validade preditiva da avalia o da compreens o At que ponto o diagn stico de um leitor em um teste nos permite fazer um progn stico de sua compet ncia leitora Ou ainda quanto o resultado percentual de acertos de um teste se correlaciona com o n vel de representa o do texto Cumpre lembrar que na perspectiva aqui adotada a avalia o da compreens o revela a concep o de compreens o subjacente a ela Uma avalia o de compreens o leitora que tem por prop sito a sele o de candidatos para o ingresso em universidades de l ngua inglesa por exemplo a fim de garantir essa autenticidade deve contemplar tarefas que se assemelhem s tarefas que o candidato enfrentar na universidade posteriormente Esse vem a ser um ideal perseguido por elaboradores de testes de compreens o leitora dentre eles o TOEFL que tem sua se o de leitura como objeto de estudo da presente investiga o Segundo o boletim do instituto que prepara as provas o TOEFL tem essa autenticidade garantida uma vez que como j citado No original J am intrigued as I continually rediscover that what looks effortless in nature can be so laborious to compute Brian Hayes em um artigo publicado na American Scientist em Julho de 1996 citado em Kintsch 1998 p 247 83 mede a habilidade de falantes n
144. ndo o problema e sua resolu o por m n o trazem alguns detalhes importantes respons veis por garantir uma rela o causal bem sustentada As categorias IV e V conforme descritas no Quadro 8 s o as que indicam uma maior representa o do texto por serem as mais completas e apresentarem uma cadeia causal bem estabelecida em que as id ias centrais do texto s o reproduzidas Nessas categorias ocorrem infer ncias e est o ausentes as reconstru es ou interfer ncias A Tabela 8 a seguir mostra que em todos os casos da amostra foi constatada ou a manuten o da categoria de reconto ou o aumento da mesma p s OUR TOOL mas jamais a diminui o dela Conforme a linha diagonal da tabela doze casos permaneceram na mesma categoria nos dois testes e oito acima da linha atingiram uma categoria mais elevada ap s OUR TOOL Tabela 8 Categorias de reconto p s TOEFL Categorias de reconto p s OURTOOL Categorias de reconto p s OURTOOL Categorias de reconto p s Total TOEFL 1 2 3 4 5 1 5 2 2 0 0 9 2 0 5 0 2 0 7 3 0 0 0 0 2 2 4 0 0 0 1 0 1 5 0 0 0 0 1 1 Total 5 7 2 3 3 20 119 Para verificar se houve uma mudan a substancial nas categorias de reconto correspondentes a cada um dos testes foi aplicado o teste da homogeneidade marginal Esse teste uma extens o do teste de McNemar para vari veis categ ricas com mais de duas alternativas de resposta O teste da homogeneidade marginal verifica mudan as nas resp
145. nforma o dada foi que posteriormente o instrumento seria realizado em uma vers o on line por isso o verbo clicar nas instru es das quest es A escolha pelos examinadores se justifica pela experi ncia dos mesmos com o ensino de l ngua inglesa O primeiro deles mestre com mais de dez anos de experi ncia em doc ncia no ensino universit rio com nfase em leitura em L2 O segundo juiz possui experi ncia de trabalho com a l ngua inglesa em diferentes s ries do ensino fundamental e m dio O terceiro juiz tem experi ncia de ensino em cursos particulares de ingl s em diversos n veis Os ju zes responderam tamb m por correio eletr nico enviando o teste respondido com suas observa es Em alguns casos essas observa es foram discutidas on line em um programa de mensagens instant neas O primeiro juiz considerou o instrumento claro e as quest es bem elaboradas por m fez algumas observa es Atrav s de seu olhar foram constatados pequenos problemas nos enunciados das quest es que poderiam atrapalhar o candidato Na vers o enviada a esse juiz 100 aparecia como instru o antes do primeiro item que as quest es poderiam ser respondidas em portugu s no entanto apenas na ltima quest o havia essa possibilidade Assim a instru o foi retirada e colocada apenas no enunciado da ltima quest o Outra sugest o tamb m aceita foi em rela o quest o que contempla o n vel taxon mico leitu
146. ng Studies in Langyage Testing 7 Cambridge Cambridge University Press University of Cambridge Local Examinations Syndicate 2002 DAVIES F B Research in comprehension in reading Reading Research Quarterly 3 499 545 Summer 1968 ETS Information and Registration Bulletin for TOEFL Computer Based Testing TOEFL CBT TOEFL Paper Based Testing TOEFL PBT Test of Spoken English TSE Dispon vel em http www ets org Media Tests TOEFL pdf TOEFL 20CBT 20PBT 20and 20TSE 20 Bulletin 2006 07 pdf Acesso em 10 dez 2006 134 ETS Desenvolvido pelo Servi o de Testes Educacionais Apresenta informa es gerais sobre os testes de profici ncia em Lingua Inglesa Toefl e Toeic Dispon vel em http www ets org portal site ets menuitem Acesso em 12 mai 2006 FARR R CAREY R Reading what can be measured Second Edition Newark DE International Reading Association 1986 FERM N M La evaluaci n los ex menes y las calificaciones Buenos Aires Kapelusz 1971 FERREIRA S P A DIAS M da G B B A leitura a produ o de sentidos e o processo inferencial Psicologia em estudo Maring v 9 n 3 2004 Dispon vel em http www scielo br scielo php script sci arttext amp pid S1413 73722004000300012 amp Ing en amp nrm iso Acesso em 07 Jun 2006 FERREIRO E PALLACIO M G Orgs Os processos de leitura e escrita 3 Ed Porto Alegre Artes M dicas 1990 FERREIRO E TEBEROSKY A Psicog nese da
147. nhecimento pr vio mem ria de longo prazo deixa uma s rie de lacunas e informa es incompletas para o leitor preencher Segundo Alliende e Condemar n 2005 muitas vezes uma nica linha de texto desencadeia uma enorme quantidade de processos mentais no leitor Esse processamento avan a em duas dire es de baixo para cima o chamado processamento ascendente ou bottom up e de cima para baixo o chamado processamento descendente ou top down No primeiro tipo o leitor come a por fixar se nos n veis inferiores do texto tais como os sinais gr ficos e as palavras microestruturas para formar mediante o acesso representa o fonol gica de cada grafema sucessivamente as diferentes unidades ling sticas at chegar aos n veis superiores da frase e do texto ou seja a macroestrutura No segundo o movimento inverso atuando a partir da mente do leitor para o texto Esse processamento baseia se em fatores tais como o objetivo do leitor ao ler seu conhecimento pr vio as hip teses e infer ncias cont nuas por ele levantadas ao longo da leitura e a avalia o da pertin ncia dessas infer ncias COLOMER e CAMPS 2002 Conforme Alliende e Condemar n 2005 em fun o desse duplo processo a compreens o de um texto depende em parte dos esquemas do leitor Cada vez que um leitor vivencia algo seja direta ou indiretamente mediante a leitura relato ou viv ncia ele aplica um esquema a essa experi ncia O esquema i
148. nicial pode segundo os autores se alterar profundamente ou se confirmar e tornar se mais preciso por meio desses esquemas que o leitor pode lan ar m o de outra estrat gia para completar as lacunas deixadas propositalmente pelo escritor a opera o de infer ncia Essa estrat gia procedimental intensamente utilizada no processo de leitura Segundo Kato 1995 a infer ncia construtiva aquela que cria significados a partir de pistas contextuais A utiliza o razoavelmente consciente dessa estrat gia leva o leitor a prever que poder fazer information These and similar behaviors separating accomplished and less accomplished readers essentially characterize what is referred to as strategic reading p 204 33 infer ncias mal sucedidas as quais ser o refutadas o que o faz desenvolver paralelamente procedimentos para a auto corre o monitorando sua compreens o Outras estrat gias comumente utilizadas pelos leitores ser o apresentadas na pr xima se o associadas aos prop sitos de leitura O prop sito de leitura em rela o ao texto que est sendo processado constitui se num outro aspecto cognitivo derivado do leitor que incide sobre a compreens o Cada prop sito de leitura desencadeia uma forma diferente de processar a informa o textual bem como o emprego de diferentes habilidades e estrat gias Para ilustrar tal posicionamento Koda 2005 apresenta algumas situa es de leitura em que o v
149. no desenvolvimento da leitura em L2 KODA 2005 Uma proposta de descri o do processo da compreens o deve levar em conta ao menos alguns aspectos cognitivos essenciais como o autor o texto o leitor e as circunst ncias em que se d o encontro A pr xima se o contempla alguns desses aspectos Embora exista distin o na literatura entre L2 e l ngua estrangeira ser utilizado aqui o termo L2 para fazer refer ncia l ngua Inglesa que vem a ser uma l ngua estrangeira para os sujeitos da pesquisa falantes de portugu s brasileiro 27 1 1 3 Aspectos cognitivos da compreens o leitora Como visto a concep o de compreens o leitura varia conforme a lente que se utiliza para analis la por isso a inten o deixar claro para o leitor desta disserta o com que grau s o vistos aqui os aspectos cognitivos presentes na compreens o textual Assim partimos de Weinstein e Mayer 1986 apud KODA 2005 para quem os aspectos ou processos cognitivos referem se a um grande grupo de a es que auxiliam a governar comportamento emo o motiva o comunica o aten o e compreens o at chegarmos a Dam sio 2003 para quem n o parece sensato excluir as emo es e os sentimentos de qualquer concep o geral da mente muito embora seja exatamente o que v rios estudos cient ficos e respeit veis fazem quando separam as emo es e os sentimentos dos tratamentos dos sistemas cognitivos as emo es e os se
150. nstrumento original Quest o 1 N vel taxon mico compreens o literal reconhecimento de detalhes Tipo de pergunta m ltipla escolha Intencionalmente foi utilizado na quest o um vocabul rio diferente do que o apresentado no texto para evitar que o candidato respondesse baseado 92 apenas na identifica o da palavra Quando a popula o de lobos cinza come ou a decair no ocidente americano Our Tool Karen Santorum Mozilla Firefox Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt a 0 6 GE 0 ntte timvb viavale com brikaren P0 php amp E coca ss gt Guia r pido GY ltimas not cias At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest 1 9 natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met their match Gray wolves began in the American When did the gray wolf population in the American West West around 1870 as westward mowing settlers depleted the start to drop Click on the correct answer bison deer and elk that wolves preyed on Wolves then C asso turned to the sheep and cattle as their MB Settlers and 1900 government trappers responded with intensive campaigns to es pee wipe out the wolf Approximately 1 5 milion wolves were C 1965 killed in various bounty hunting campaigns carried out between 1850 and 1900 As
151. ntimentos s o considerados entidades di fanas incapazes de compartilhar o palco com o conte do palp vel dos pensamentos que n o obstante qualificam DAMASIO 2003 p 189 Desse modo ao se falar em aspectos cognitivos da leitura se est considerando os sentimentos uma vez que esses conforme Dam sio 2003 p 190 s o t o cognitivos como qualquer outra imagem perceptual e t o dependentes do c rtex cerebral como qualquer outra imagem Assim de uma forma panor mica est o envolvidos no processo de compreens o leitora seja essa em L1 ou L2 al m dos aspectos derivados do leitor os derivados do texto e os do autor No Quadro 1 apresentado um esquema que busca elencar alguns dos diversos componentes envolvidos na leitura bem como suas poss veis intersec es embora n o seja poss vel estabelecer precisamente uma hierarquiza o desses elementos 28 CONTEXTO LEITURA ESCRITOR CONHECIMENTO PR VIO amp Processo LEITOR CONHECIMENTO PR VIO amp Processo Leiturabilidade x Estrat gias de escritura Estrat gias de leitura Produ o do texto Compreens o do texto Quadro 1 Quadro dos elementos envolvidos na leitura Fonte adapta o GABRIEL 2005 p 170 Capacidades cognitivas empregadas O quadro acima ser explicado nas tr s sub se es seguintes dando continuidade revis o da literatura Essa explica o ser dividida em aspectos
152. ntre os resultados da prova e do reconto mencionados anteriormente 3 3 Correla o entre os resultados dos testes e as classifica es dos recontos A impress o de maior dom nio do texto no TOEFL em fun o dos resultados e a expectativa de uma melhor classifica o dos recontos s o quebradas medida que s o comparados os resultados em cada teste com a categoria dos recontos ap s cada um deles A Tabela 9 a seguir apresenta as medidas descritivas da propor o de acertos no teste TOEFL para cada categoria de reconto Conforme mostrado na tabela a maioria dos recontos ficou nas categorias I nove casos e II sete casos A m dia de acerto no TOEFL dos nove casos classificados na categoria I foi de 87 com resultados que variaram entre o escore m nimo de 50 e m ximo de 100 sendo a mediana 100 e o desvio padr o entre o m nimo e o m ximo nos nove casos de 18 22 Dentre os sete casos na categoria II a m dia foi de 78 com resultados que variaram igualmente entre o escore m nimo de 50 e m ximo de 100 resultando em uma mediana de 83 33 e desvio padr o entre o m nimo e m ximo dos sete casos de 20 89 Tabela 9 Medidas descritivas da propor o de acertos no teste TOEFL para cada categoria de reconto Propor o de acertos no TOEFL 6 quest es Categorias de reconto p s TOEFL M dia Desvio n Mediana Minimo Maximo EEN I 9 87 04 100 00 50 00 100 00 18 22 II 7 78 57 83 33 50 00 100 00 20
153. o 6 oesoossecsoesoossessoesocssecsossocesessossoossossssesosssocsssocessossssse 60 Figura 6 Tela TOEFL exemplo de quest o com base no texto cccceeseseerreees 64 Figura 7 Correspond ncia entre o uso da l ngua e a performance em teste em is iq PRA Rag E ces RR ER RS SS TR SS A OP ARARAS ERES 76 Figura 3 Impacto dos Testes ci sacstcscssccssseoncdssocscseogussoousesosesesscuvssoosssscsessoosocssosnacdes seveneceve 78 Figura 9 Tela de corre o da OUR TOOL soescessessoesocssessossocssosessesssesssosssooessossssos 89 Figura 10 Tela OUR TOOL exemplo de quest o com mais de uma resposta correta PETRP O ENE RAS FORNO PRP SERA RE RD ERP EAD RR RAR REDE PPS A E OS 90 Figura 11 Tela quest o justificada OUR TOOL ssessoesoessesoossocssesssesesocesocsssoeessossssoe 91 Figura 12 Tela OUR TOOL quest o 1 soessesooesoessssoossosssesoossosssesssesssosesocessocessossssse 92 Figura 13 Tela OUR TOOL quest o 2isssscissevscocussscssessasseesssunssonssenssesensosetecsveessasedessease 92 Figura 14 Tela OUR TOOL quest o Sissiscsssiescscctcsscosessenceosssesdocnnsonsacsessovonsssnscessooesionsen 93 Figura 15 Tela OUR TOOL quest o 4 oeseesoesooesessossoossocssesooesosssoosssosssossssesesosesosese 93 Figura 16 Tela OUR TOOL quest o 6 sccccsccsscsssssssccsecscscsccsescsssscsceseesssseseees 94 Figura 17 Tela OUR TOOL quest o 7 ssccsscsssssssscsscscscsssscscssesccs
154. o 9 Nivel taxon mico compreens o inferencial infer ncia de sequ ncias N vel taxon mico avalia o tenta avaliar o impacto psicol gico ou est tico que o texto produziu no leitor Tipo de pergunta m ltipla escolha com uma caixa de texto para o candidato digitar sua justificativa para a alternativa escolhida Our Tool Karen Santorum Mozilla Firefox a x Arquivo Editar Exibir Hist rico Favoritos Ferramentas Ajuda lt g X e fat LJ http mvb viavale com br karen PO php E gt G Google 4 4 Guia r pido GY ltimas not cias At one time in North America wolves ranged from coast to coast and from Canada to Mexico the greatest 9 9 natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have met fis the problem presented in the text their match Gray wolves began banans in the American West around 1870 as westward moving settlers depleted the C totally solved E C not vet but almost solved bison deer and elk that wolves preyed on Wolves then turned to the sheep and cattle as their pres Settlers and government trappers responded with intensive campaigns to support your answer A RESPOSTA PODE SER EM wipe out the wolf Approximately 1 5 million wolves were PORTUGUES killed in various bounty hunting campaigns carried out between 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incurs
155. o de cogni o Ao discutir aspectos subjacentes avalia o da compreens o leitora especificamente em l ngua estrangeira nesse caso l ngua inglesa a presente pesquisa buscou investigar se o n vel ou n veis de compreens o textual alcan ados pelos sujeitos ao lerem um texto eram suficientes para executarem as tarefas do teste Os sujeitos foram divididos em dois grupos e submetidos a dois tipos de avalia es com abordagens diferentes uma padronizada do tipo m ltipla escolha nos moldes do teste TOEFL Test of English as a Foreign Language e outra alternativa especialmente desenvolvida para a pesquisa nos moldes da taxonomia de Barret 1968 Ap s cada avalia o foi pedido um reconto do texto lido e foi realizado o monitoramento das estrat gias de leitura utilizadas Os resultados reportam que no caso do TOEFL entre os dados da amostra n o houve uma correla o entre os n veis de compreens o textual alcan ados pelos sujeitos e o resultado no teste Em outras palavras foi constatado que atrav s de um comportamento espec fico de leitura que faz uso de leitura estrat gica poss vel responder satisfatoriamente s quest es do teste atingindo um escore alto sem necessariamente ter atingido um n vel de compreens o que garanta uma representa o em profundidade do texto Tal fato ressalta a import ncia de uma reflex o sobre as decis es a serem tomadas com base nos resultados dos testes Palavras chave cogni o
156. o processo de compreens o leitora e que v m sendo citados mais continuamente na literatura O primeiro refere se s estrat gias de leitura adotadas pelo leitor no momento da leitura Conforme Koda 2005 leitores competentes ajustam continuamente seus comportamentos de leitura para acomodar dificuldades com textos realiza o de tarefas e outras vari veis contextuais Monitorando cuidadosamente seu processo de leitura eles tomam provid ncias imediatas quando encontram problemas de compreens o Conscientes de seus pr prios recursos cognitivos e lingiifsticos eles s o capazes de dirigir sua aten o para as pistas apropriadas ao antecipar organizar e reter informa o textual Esses e outros comportamentos semelhantes separando leitores competentes dos menos competentes caracterizam o que referido como leitura estrat gica KODA 2005 7 No original Accomplished readers continuously adjust their reading behaviors to accommodate text difficulty task demands and other contextual variables Monitoring their reading process carefully they take immediate steps when encountering comprehension problems Aware of their own cognitive and linguistic resources they are capable of directing their attention to the appropriate clues in anticipating organizing and retaining text 32 O escritor baseando se no fato de que o leitor dar uma s rie de contribui es ao texto processando e integrando informa es a partir de seu co
157. observa o fica n tida nos resultados obtidos na amostra e nos coment rios em que a diferen a de abordagem dos instrumentos destacada pelos leitores Especialmente no que concerne dimens o cognitiva de leitura cr tica mencionada por Rankin e contemplada na OUR TOOL como pode ser visto no coment rio da Figura 33 http www ead unisc br EAD UNISC Mozilla Firefox 5 x Quarta Feira 17 na NONNTF E Bate Papo Quinta etapa Coleta OUR TOOL amp E Bate papo finalizado Total de mensagens 13 a adas ao Bate Papo OB Leitor 8 para Sim a segunda testagem mais dif cil nuca Ela exige uma aten o maior e mais tempo para fazer rela es e identificar quando os fatos ocorreram preciso mais opini o posicionamento e n o s Derg renons a leitura do texto Cobra uma maior compreens o de partes do texto a Conclu do Figura 33 Tela bate papo p s OUR TOOL quest o 7 sequ ncia TOEFL OUR TOOL O leitor 8 teve 100 de acertos no TOEFL mostrando se um leitor r pido uma vez que havia tempo estipulado de doze minutos para a realiza o da prova Todavia ao responder o teste OUR TOOL um teste que n o limitava tempo e que foi realizado ap s o participante j ter trabalhado com o texto e respondido sobre o mesmo no teste anterior mas No original it appears that the confounding of rate and comprehension in measurements is at least in part
158. ocesso de elabora o e constru o de testes de itens objetivos uma vez que mediante essa etapa que se define o grau de confiabilidade do instrumento A preocupa o que se tem verificar tendo em vista os v rios aspectos cognitivos envolvidos na compreens o que devem ser considerados se o teste d conta dos objetivos a que se prop e ou acaba priorizando uma determinada capacidade cognitiva como definidora de compreens o em detrimento de outras A validade de um instrumento definida em A Dictionary of Reading and Related Terms HARRIS e HODGES 1981 p 276 como a caracter stica que determina que o teste mede o que se sup e que ele me a e ou que ele possa prever o desempenho em outras medidas No cap tulo 3 s o apresentados e discutidos os resultados da pesquisa Nesse cap tulo analisada a abordagem do teste TOEFL com base nos construtos te ricos apresentados no referencial e feita uma compara o entre os resultados obtidos no TOEFL e os obtidos num outro teste desenvolvido para a pesquisa com base na taxonomia de Barret tamb m apresentada no cap tulo 1 Para concluir algumas considera es finais No original the characteristic of a test that determines that the test measures what it is supposed to measure and or it can predict performance on other measures 1 ESTADO DA ARTE COMPREENS O LEITORA UM MESMO OBJETO V RIAS LENTES O resultado do encontro entre leitor e texto que vem a se
159. oday meaning that they are in danger of becoming extinct in all or part of their natural habitat lt gt central Idaho Environmental activists are optimistic however In aS snortima sk Montana the 1980s wolves began appearing in Montana apparently having migrated from Canada there are lt gt Yellowstone National Park currently about 65 wolves in northwestern Montana lt gt Canada The work of the U S Forest Service in augmenting the wolf population in the continental U S with wolves from Canada could speed the recovery process Recently Paragraph 3 is marked with an arrow gt 3 Forest Service employees released eight Canadian gray wolves in Yellowstone National Park and four in stor central Idaho The goal is to have ten breeding pairs i and their young about 100 wolves in each of the em three recovery areas northwest Montana central Idaho and the Yellowstone National Park area by 2002 Ifthis goal is reached the gray wolf would no longer be considered endangered 59 Figura 2 Tela TOEFL quest o 5 Tipo 2 Clicar na refer ncia nesse tipo de quest o dada uma palavra do vocabul rio ou um pronome que aparece grifado no texto e o candidato solicitado a clicar dentro do texto na palavra qual aquela destacada se refere government trappers responded with intensive campaigns to wipe out the wolf Approximately 1 5 million wolves were killed in various bountyhunting campaigns carried out be
160. omo Ferreiro e Teberosky 1985 entre outros permitiram que se come asse a compreender os est gios que descrevem a evolu o da leitura e escrita na crian a Os trabalhos anteriores voltados para a an lise dos processos de aquisi o da leitura e da escrita eram predominantemente pedag gicos discutindo os m todos de ensino mais do que a aprendizagem Considerando a complexidade dos processos envolvidos na leitura proficiente compreens vel que o aprendizado dessas habilidades imponha uma s rie de dificuldades ao aprendiz fazendo se necess rio um olhar atento por parte dos educadores acerca dessas dificuldades A renova o da pr tica psicopedag gica tamb m depende segundo Nunes e colaboradores 2003 da renova o da concep o da leitura e escrita como atividades meio e n o exclusivamente como atividades fim Conforme os autores n o se l apenas para alcan ar um decifrado mas para conhecer o significado de um recado para aprender sobre um assunto ou ainda como divers o op cit p 94 grifo nosso O aluno precisa aprender a ler para poder ler para aprender tendo assim a leitura como atividade meio que lhe servir de dispositivo para representar mentalmente aquilo que l num processo de constru o de sentidos e integra o com as informa es que j dispunha em seu conhecimento pr vio resultando na aprendizagem Assim sendo ler compreender e tomando emprestada a lente de Alliende e Condemar
161. on and production Psychological Review 85 5 Sep 1978 363 394 KLEIMAN A Leitura ensino e pesquisa Campinas S o Paulo Editora Pontes 1989 KLEIMAN A Texto e leitor aspectos cognitivos da leitura 8 ed Campinas Pontes 2002 KODA K Insights into Second Language Reading a Cross Linguistic Approach Cambridge Cambridge 2005 LEFFA V J Aspectos da leitura uma perspectiva psicolingii stica Porto Alegre Sagra DC Luzzatto 1996 MACKWORTH J F Some models of the reading process Learners and skilled readers Reading ResearchQuarterly 7 701 733 136 MARCUSCHI L A G neros textuais defini o e funcionalidade In DION SIO A P MACHADO A R BEZERRA M A Org G neros textuais e ensino Rio de Janeiro Editora Lucerna 2002 MARCUSCHI L A O processo inferencial na compreens o de textos Relat rio Final apresentado ao CNPq Programa de P s gradua o em Letras e Lingiifstica Universidade Federal de Pernambuco Recife 1989 MARTINS M H O que leitura S o Paulo Brasiliense 1994 MESSICK S Validity In LINN R L Ed Educational Measurement 3 edition page 13 103 New York American Council on Education and Macmillan 1989 MIYAKE A FRIEDMAN N P Individual differences in second language proficiency Working memory as language aptitude In HEALEY A F amp BOURNE L E Jr Org Foreing language learning psycholinguistic studies on training and retention Mahw
162. or every Sian gue oadd Eesser rman wolf they could kill Where would this best fit in the passage Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota aD lt p Figura 5 Tela TOEFL questao 6 No TOEFL os textos s o chamados de passagens uma vez que s o apresentados sem o t tulo e respectiva fonte e t m em alguns casos algumas adapta es feitas pelo elaborador do teste a fim de gerenciar o tempo do candidato 61 Essas altera es segundo Peirce 1992 que foi membro do departamento de desenvolvimento das provas do TOEFL no ETS de 1984 a 1987 ocorrem da seguinte forma o conte do que n o era usado para prop sitos de testagem era deletado do texto Cabe aqui um contraponto se a prova visa conforme informa o do Bulletin of Information for TOEFL CBT 2006 2007 ETS 2007 a utiliza o de material aut ntico semelhante aos textos acad micos utilizados em faculdades e universidades norte americanas exatamente para poder verificar a habilidade do candidato em lidar com esses textos na vida real n o nos parece adequado alterar o texto retirando desse aspectos que o tornariam aut ntico Al m dessa quebra de autenticidade outros aspectos merecem destaque Testes padronizados de itens objetivos como o TOEFL apresentam a vantagem de ter uma corre o r pida e pr tica por m tamb m apresenta
163. ora homog nea e de n vel elevado Tais n veis correspondem ao VIII semestre do curso de Letras e dos seguintes cursos do CELINC L ngua Inglesa para professores do departamento de Qu mica e F sica n vel VII Conversa o em L ngua Inglesa Let s speak English VII e Ingl s Instrumental para a rea da Sa de VI Para ingressar nesses cursos os alunos passaram por provas de nivelamento utilizadas pelo CELINC O n vel de profici ncia nesses cursos equivalente ao VII semestre do curso de Letras uma vez que at o livro utilizado em alguns o mesmo O objetivo da observa o de tais crit rios de sele o foi o de que os participantes estivessem emparelhados tanto quanto poss vel em rela o aos conhecimentos que possuem da l ngua inglesa bem como quanto sua profici ncia leitora na mesma Os participantes s o todos adultos estudantes da gradua o ou professores da universidade A amostra foi inicialmente composta de vinte e seis sujeitos que participaram de todas as etapas da testagem Por m em fun o da escolha de ter todo o experimento mediado pelo computador e internet houve alguns problemas de ordem t cnica como a perda devida ao n o registro no sistema do ambiente de educa o a dist ncia da universidade de algumas respostas dadas Essas respostas faziam parte da an lise qualitativa da investiga o e como eram necess rios os dados de cada sujeito em todas as etapas da testagem abandonamos os Op
164. orias textuais se relacionam com a compreens o em leitura Veritas Porto Alegre PUCRS v 35 p 133 p 77 89 1989 137 RAYMUNDO V P Elabora o e valida o de um instrumento de avalia o do n vel de consci ncia lingii stica 2005 155f Tese Pontif cia Universidade Cat lica de Porto Alegre Porto Alegre 2005 SALLES J F Habilidades e Dificuldades de leitura e escrita em crian as de 2 s rie abordagem neuropsicol gica cognitiva 2005 Tese de Doutorado Dispon vel em http www biblioteca ufrgs br bibliotecadigital 2006 1 tese psico 453537 pdf SALLES J F PARENTE M A M P ALEXANDRE B XAVIER C e FERNANDES J Recontar de Hist rias por crian as instrumentos de avalia o da compreens o de leitura Letras de Hoje 36 3 592 535 2001 SAMUELS S J KAMIL M L Models of the reading process In CARRELL P L DEVINE J ESKEY D E Eds Interactive Approaches to Second Language Reading NEW YORK Cambridge University Press 22 36 1988 SCHANCK R e ABELSON R Scripts plans goals and understanding Hillsdale N Jersey LEA 1977 SCHUMANN J Where is Cognition Emotion and cognition in second language acquisition Studies in Second Language Acquisition n 16 p 231 242 1994 SEIDENBERG M S amp McCLELLAND J L A distributed developmental model of word recognition and naming Psychological Review 96 523 568 1989 SHEPARD L A Evaluating test validity Review of
165. os aspectos dos conte dos elaboraram se algumas taxonomias textuais Conforme Alliende e Condemar n 2005 as taxonomias tentam indicar as categorias em que se podem incluir os componentes de um texto Os autores ressaltam que como os textos tendem variedade nunca conseguem esgotar as possibilidades em um s texto Por isso as taxonomias devem ser consideradas como sugest es que ajudam a encontrar as verdadeiras categorias de an lise dos referentes de um texto Um bom exemplo constitu do pela taxonomia de Barret 1968 apresentada na se o 1 3 desse cap tulo Originalmente trata se de uma taxonomia constru da especialmente para textos narrativos da qual se podem tirar id ias para outros tipos de textos A seguir apresentado um quadro com uma s ntese e adapta o dos principais pontos da taxonomia 54 COMPREENS O LITERAL A compreens o literal refere se recupera o da informa o explicitamente apresentada no texto Um exemplo de tarefa simples na compreens o literal pode ser o reconhecimento ou lembran a de um nico fato ou incidente Um exemplo de tarefa mais complexa pode ser o reconhecimento ou lembran a de uma s rie de fatos ou a seqii ncia de incidentes Prop sitos e quest es nesse nivel podem ter as seguintes caracter sticas consiste na localiza o e identifica o de elementos do texto Reconhecimento de requer localizar e identificar fatos como nomes de personagens incidentes tempo e
166. ostas devidas a alguma forma de interven o experimental utilizando a distribui o chi quadrado que verifica a exist ncia de associa o entre vari veis categ ricas O teste concluiu que houve mudan a estatisticamente significativa entre as categorias de reconto relativas ao teste TOEFL e ao OUR TOOL p 0 006 sendo essa mudan a para mais como visto na Tabela 8 o que nos permite afirmar que houve uma melhora na compreens o textual p s OUR TOOL tendo em vista a produ o de recontos mais ricos e fi is ao texto alvo conforme Quadro 8 da classifica o dos recontos em categorias Esses resultados v m confirmar a hip tese de que dependendo do grau de profundidade da abordagem ao texto o n vel de representa o pode ser maior ou menor A pontua o no teste OUR TOOL foi menor em fun o de uma abordagem mais profunda como visto na etapa anterior a partir dos coment rios dos participantes e dos ndices Contudo a representa o textual ap s esse teste foi maior exatamente em conseqii ncia dessa abordagem A Figura 28 traz coment rios dos participantes atribuindo abordagem da OUR TOOL um maior entendimento do texto o que pode ter garantido uma melhor classifica o do modelo situacional 120 http www ead unisc br EAD UNISC Mozilla Firefox z DJ x al Quarta Feira Sair 17 nd ONT Novidades E Bate Papo Quinta etapa Coleta OUR TOOL Plano de Aula t Complementar amp E Bate papo final
167. por manter minha atividade neuronial quando tudo parecia estagnado Por seu incentivo e exemplo de garra Ao meu pai Jos Alberto que continua presente em minha vida iluminando caminhos minha irm Katia por seu est mulo constante e por ter viabilizado uma navega o sem limites pelos mares da internet em busca de um precioso referencial te rico Pelos momentos de reflex o no novo espa o em comum da psicolingii stica A Deus por ter me permitido realizar esse mestrado e por ter me cercado de anjos ao longo da trajet ria Agrade o tamb m a todos esses anjos que direta e indiretamente contribu ram para a realiza o desse empreendimento pois de acordo com a lente de Vygotsky 1998 p 79 o desenvolvimento da esp cie humana e do indiv duo dessa esp cie est pois baseado no aprendizado que sempre envolve a interfer ncia direta ou indireta de outros indiv duos e a reconstru o pessoal da experi ncia e dos significados Assim como o desenvolvimento da linguagem oral fez de n s uma esp cie nica a aquisi o da linguagem escrita modificou nossa esp cie de in meras formas Ela modificou nossa capacidade cognitiva Olson 1980 ela modificou o tipo de conhecimento que n s poder amos ter Havelock 1976 e ela pode at mesmo ter mudado nossa neuroanatomia Geschwind 1974 Talvez nenhuma outra atividade humana tenha alterado o curso do desenvolvimento individual e cultural Wolf et al 1998 AEBERSOLD e F
168. que a antecederam foram respons veis pelo feito Assim o trabalho do leitor durante o ato de leitura martelando continuamente na tentativa de integrar conforme a cita o de Schank e Abelson 1977 cada nova proposi o trazida pelo texto com as j processadas anteriormente que agora fazem parte de seu conhecimento pr vio ou seja do conjunto de suas mem rias IZQUIERDO 2002 O conhecimento pr vio se caracteriza pela bagagem de experi ncias que o leitor traz consigo para o trabalho com o texto A pr pria experi ncia anterior de leitura influi no modo pelo qual o leitor processa o texto Quanto mais pr tica de leitura melhor o leitor lida com os fatores derivados do texto que determinam a leiturabilidade do mesmo mais o leitor amplia seu dom nio sobre assuntos diversos alargando continuamente esse conhecimento 35 O conhecimento pr vio na compreens o em leitura assume um papel primordial Conforme Kintsch 1998 em seu modelo de constru o integra o para haver a compreens o necess rio que haja a um processo de constru o no qual uma base textual constru da a partir da informa o ling stica recebida input bem como da base de conhecimento do leitor conhecimento de mundo e b uma fase de integra o na qual essa base textual integrada em um todo coerente A compreens o de um texto requer assim a ativa o do conhecimento de mundo ou pr vio do sujeito que conforme Kleiman 19
169. r a performance nesse teste com as habilidades demonstradas em um teste de ingl s geral n o espec fico 3 No original Predictive validity measures how well a test predicts performance on an external criterion p 149 68 Messick 1989 define a validade de construto como a validade que se refere a uma investiga o das qualidades medidas por um teste que s o indicativas do construto Em outras palavras refere se demonstra o de que o instrumento realmente mede o que se prop e medir Conforme o Dictionary of Language Testing DAVIES et al 2002 p 33 a validade de construto de um teste em l ngua uma indica o de quanto o teste representa a teoria de aquisi o de l ngua subjacente a ele A validade de construto envolve uma investiga o das qualidades que um teste mede fornecendo assim uma base l gica para o teste O construto pode ser definido como uma habilidade ou um conjunto de habilidades que ser o refletidas na performance do candidato atrav s do teste e sobre quais infer ncias podem ser feitas sobre essa performance com base no resultado do teste Um construto geralmente definido a partir de uma teoria no caso dos testes em l ngua de uma teoria da l ngua Assim um teste representa uma operacionaliza o da teoria Ainda segundo o dicion rio existem dois aspectos na validade de construto te rico e emp rico Ambos dizem respeito produ o de evid ncias ou argumentos que sustentam
170. r o fen meno da compreens o em leitura n o pode ser descrito portanto a partir de um nico enfoque LEFFA 1996 O avaliador de pedras preciosas analisa seu objeto sob diferentes ngulos luzes e perspectivas Assim a proposta neste trabalho analisar a quest o da leitura tendo como foco a compreens o e sua consegiiente avalia o sob ngulos e graus variados luz dos diversos olhares que v m recebendo ao longo da hist ria atrav s de uma breve revis o da literatura Essa revis o pretende assim tra ar o quadro conceitual para a compreens o da pesquisa Ser o privilegiados defini es e modelos que embasam o estudo da compreens o em leitura e sua conseqiiente avalia o Ela tem inicio com uma perspectiva hist rica trazendo diversas concep es sobre a leitura e os elementos envolvidos no processo Na sequ ncia discutido o desenvolvimento das habilidade de leitura contemplando a necessidade de uma renova o da pr tica psicopedag gica no processo de aprendizagem Na se o 1 2 2 enfocada a compreens o em l ngua estrangeira As sub se es seguintes abordam os aspectos cognitivos da compreens o Na se o 1 3 s o revisitados alguns dos modelos existentes na literatura que visam a descrever o processo de leitura Fechando a se o apresentado o aporte te rico que embasa a pesquisa Na se o 1 4 abordado o tema da tradicional avalia o da compreens o leitora enfocando em especial a avalia
171. ra cr tica julgamento de valores O juiz sugeriu que fosse colocado no enunciado da quest o que a resposta deveria ser com base no texto O segundo juiz tamb m declarou como aprovado o instrumento por m considerou inferencial demais a sexta quest o A quest o foi mantida na forma em que estava uma vez que contempla exatamente o n vel taxon mico da compreens o inferencial infer ncia de causa e efeito que se pretendia avaliar O terceiro juiz fez observa es em rela o a quinta quest o chamando a aten o para o fato de que ela apresentava mais de uma op o de resposta A quest o foi mantida da forma em que estava por contemplar o n vel taxon mico da compreens o inferencial infer ncia de detalhes que busca verificar a capacidade do leitor de conjecturar sobre os detalhes adicionais que o autor poderia ter inclu do no texto tendo intencionalmente mais de uma alternativa correta Apesar das observa es feitas pelos ju zes o instrumento foi igualmente aprovado pelos tr s e as quest es julgadas bem elaboradas e pertinentes com n veis de leiturabilidade e legibilidade apropriados para o n vel de profici ncia da amostra Ap s a valida o de conte do foi formatada uma nova vers o do instrumento e feitas as devidas modifica es nas instru es conforme as sugest es acatadas Assim foi dado prosseguimento pr xima etapa da valida o a valida o da aplicabilidade do instrumento A segunda etapa d
172. realiza o da OUR TOOL em primeiro lugar e depois o TOEFL Ap s cada teste os participantes realizaram o reconto e responderam s quest es sobre perfil e estrat gias de leitura na sala de bate papo No intuito de facilitar o acompanhamento das etapas de produ o de dados foi desenvolvido o seguinte quadro com as duas seqii ncias aplicadas ETAPAS GRUPO 1 o GRUPO2 y f 2 Perfil e estrat gias de leitura sala de bate papo Reconto do texto sala de PN O 6 Estrat gias de leitura 102 sala de bate papo Quadro 6 Etapas da produ o de dados As duas segii ncias permitiram o cruzamento dos dados de modo a analisar a performance em cada abordagem independente da segii ncia e evitar altera es no reconto por quest es de mem ria Os dados foram produzidos em v rias etapas algumas delas individualmente de acordo com a disponibilidade dos participantes e possibilidade de uso do laborat rio de inform tica pois o mesmo tinha que ser reservado e ficava fechado durante a realiza o do experimento Em algumas dessas etapas foi poss vel reunir alguns participantes o que otimizou o tempo Nas sess es em que o grupo era maior o monitor do laborat rio que j estava ciente das etapas auxiliou no processo de salvar e arquivar as p ginas de resultado dos testes dos participantes Tendo sempre em vista o desenvolvimento da compreens o leitora e para que a pesquisa pudesse dar um retorno mais imed
173. rem respondidas Nesse caso precisou entender o contexto da frase ou par grafo para responder E Conclu do Figura 22 Tela bate papo p s OUR TOOL quest o 3 seqii ncia OUR TOOL TOEFL Uma leitura poss vel desses coment rios a de que as quest es no teste OUR TOOL n o viabilizavam a atitude de copiar e colar para serem respondidas Precisavam de uma interpreta o do texto como um todo A resposta na Figura 23 refere se ao TOEFL 110 http www ead unisc br EAD UNISC Mozilla Firefox i lo x Quarta Feira Sair E az7ina onN7 EI Bate Papo Quinta etapa parte 2 amp E Bate papo finalizado Total de mensagens 3 AUTOR MENSAGEM amp Administrador Karen Santorum entrou na sala Karen Santorum Consideras que todas as quest es dependiam realmente do texto para serem lrespondidas F rum 83 Leitor 8 para Considero que dependeram do texto As quest es foram entendidas e responder dependeu do texto Nem todas as quest es exigiram conhecer todo o texto para aesponder E poss vel pincelar palavras para achar o texto que deve ser lido para responder a quest o Karen Conclu do Pmicia EQGBOOV Vw mm Ge mr ma Be Om 155 MBO 14 44 Figura 23 Tela bate papo p s TOEFL quest o 3 sequ ncia TOEFL OUR TOOL A partir dessa resposta poss vel identificar uma estrat gia de leitura aplicada por um leitor j a
174. res envolvidos no processo de constru o do significado dos textos ou seja na compreens o leitora s o in meros uma vez que essa como processo mental que se constitui num fen meno muito complexo devido a essa complexidade do processo de leitura que muitos pesquisadores v m se dedicando a uma an lise te rica em profundidade que segundo Alliende e Condemar n 2005 facilite ao leitor detectar as fontes das dificuldades em compreens o e os modos de ameniz las 17 A tomada de consci ncia acerca dos fatores envolvidos na compreens o assume o importante papel de permitir o planejamento de atividades cada vez mais variadas destinadas n o apenas a desenvolver a compreens o mas tamb m a avali la por isso ser o elencados no cap tulo 1 alguns fatores cognitivos envolvidos nesse processo Mas ocorre ent o a pergunta por que necess rio avaliar a compreens o A busca pela avalia o tanto formal quanto informal uma caracter stica intr nseca ao homem que enquanto ser cognoscitivo monitora seu saber tomando por base as a es avaliativas que recebe ao longo da vida No caso espec fico da avalia o da compreens o leitora como j foi dito quanto mais se souber a respeito desse processo mais se saber sobre a cogni o humana assim a verifica o de como se d a compreens o fornece pistas importantes para melhor entender a cogni o A a o avaliativa abrange justamente a compreens o do p
175. resentadas ou discutidas evid ncias em rela o sua relev ncia e as conseqii ncias da decis o devem ser consideradas TUMOLO 2005 Essas evid ncias em rela o relev ncia dos resultados s o sugeridas no modelo de utilidade dos testes proposto por Bachman e Palmer 1996 apresentado a seguir O modelo ser abordado com mais detalhes por dar conta a nosso ver de aspectos importantes a serem considerados na elabora o de testes para avalia o da compreens o que embasaram a presente investiga o No original beyond the scientific demonstration of empirical and logical evidence to the consideration of the potential consequences of testing moving out of the comfortable confines of applied linguistics and psychometric theory and into the arena of the public policy BACHMAN 1990 p 281 74 1 3 4 3 O olhar de Bachman e Palmer o modelo de utilidade dos testes Conforme os autores ao utilizarem se os resultados de um teste em l ngua ou seja o diagn stico para fazer infer ncias sobre a habilidade que o indiv duo tem em uma determinada l ngua ou seja o progn stico e possivelmente a partir disso tomar v rios tipos de decis es sobre sua vida futura dever se ia poder demonstrar como a performance naquele teste em l ngua est relacionada com o uso da l ngua em situa es espec ficas outras que n o o teste em si Assim os autores baseiam seu modelo em dois princ pios b sicos a a n
176. responsible for some of the earlier findings that fast readers are good readers Other studies of the relationship between rate and power of comprehension find only a slight relationship When the material is more difficult when more critical thought processes are involved and when the reader s purpose is more exacting the relationship between reading rate and comprehension is minimal FARR e CAREY 1986 P 118 que exigia como o pr prio sujeito diz um posicionamento obteve um escore de 47 Al m da diferen a nos escores o leitor apresentou reconto na categoria I p s TOEFL e categoria III p s OUR TOOL Assim esses resultados ilustram a afirma o de Urquhart e Weir 1998 apresentada no cap tulo 2 de que independentemente de a compreens o perfeita ser uma meta exeqilivel ou n o ela n o deve ser equivalente a um resultado de cem por cento em testes de compreens o CONSIDERA ES FINAIS Reconhecer que decis es baseadas nos resultados dos testes est o carregadas de dilemas e que n o existem respostas universais para isso BACHMAN e PALMER 1996 A compreens o em leitura apresenta se como uma constela o de capacidades e habilidades cognitivas inter relacionadas variando desde mapeamentos mec nicos a manipula es mais conceitualmente sofisticadas como racioc nio e infer ncia No original Recognize that decisions based on test scores are fraught with dilemmas and that there are no
177. rever sobre a performance ou desempenho do sujeito na situa o de interesse Ou ainda mais tarde revisitando esse tipo de validade Bachman 1990 diz que a validade preditiva requer a demonstra o da rela o entre os resultados de um teste e a performance real no crit rio Conforme o Dictionary of Language Testing DAVIES et al 2002 a validade preditiva mede o quanto um teste capaz de prever sobre o desempenho do indiv duo em um crit rio No original The term is used more broadly to denote that portion of the total universe of subject matter linguistic or other which is being tested or about which inferences are to be drawn p 49 50 67 externo Segundo o dicion rio uma vez que o principal prop sito de um teste fornecer informa es sobre o comportamento prov vel do sujeito no mundo real a predi o do crit rio de performance ou o aqui chamado progn stico essencial para a valida o do teste A validade preditiva assume particular import ncia em testes de profici ncia em que o crit rio pode ser t o distante ou vago que o pr prio teste pode ter que combinar os pap is de prognosticador e de crit rio O crit rio ainda segundo o dicion rio uma vari vel externa que pode ser o conte do program tico o julgamento de um professor a performance no mundo real ou outro teste com o qual o teste sob valida o ser comparado Um teste busca fornecer um meio de representar o crit rio uma
178. rio de inform tica do departamento de Letras que foram incans veis auxiliando nas etapas de produ o de dados Prof Ms Lilian Cristine Scherer orientadora da especializa o que antecedeu este mestrado por seu incentivo e sugest es t o enriquecedoras Ao amigo e inspirador Prof Ms Edgar Pacheco por suas contribui es t o significativas em meu percurso Aos meus amigos ex alunos e aos demais leitores que consentiram em parar com suas atividades a fim de serem os produtores dos dados desta pesquisa para os quais e um prazer e com os quais aprender um cont nuo Ao prof Renato Michel que me despertou a paix o insuspeitada pela estat stica cuja paci ncia foi estatisticamente significativa Ao amigo Charles Miiller por sua imensa generosidade e acolhida da proposta viabilizando a mesma ao tornar a OUR TOOL uma realidade O envolvimento dedica o e carinho na cria o da nossa ferramenta foram decisivos Aos colegas da tribo em especial s lindas super parcerias formadas comunidade virtual criada que agia terapeuticamente despertando uma criatividade inusitada nas altas horas de trabalho na madrugada Ao Mozart e colaboradores pelos momentos de libera o dos espa os mentais oportunizados por suas sinfonias Por fim agrade o de modo todo especial minha m e Lurdes por seu apoio integral por comungar dos meus sonhos e pelas v rias panelas de brigadeiro que me servia e que foram respons veis
179. rizados escrit rio compras endere os Orientada Formul rios de viagem e registro hor rio Folhear skim e examinar de trens e avi es guias de programas de scan tv e r dio menus memorandos manchetes de jornal quadros de conte do mensagens Instrutivo Comerciais e r tulos relato de jornal Decodifica o e instru es e dire es relatos reais classifica o solicita es em formul rios convites par grafos introdut rios e conclusivos Avaliativo Editoriais an lises apologias textos Infer ncia adivinha o liter rios biografia com interpreta o levantamento de hip tese e cr tica interpreta o Projetivo Cr ticas de arte ou performance de teatro An lise verifica o textos liter rios discursos filos ficos amplifica o material t cnico argumenta o levantamento de hip tese 1 2 3 4 Quadro 3 N veis de leitura associados com tipos de texto e habilidades de processamento Fonte adapta o KODA 2005 p 248 Conforme Koda 2005 v rios pesquisadores como Allen Bernhardt Berry e Demel 1988 Lee e Musumeci 1988 se posicionam contrariamente a tais diretrizes argumentando que a performance em leitura influenciada por outros fatores n o somente vari veis ling sticas e que a hierarquia do tipo textual corresponde a algumas mas n o a todas as dimens es da profici ncia em leitura de l ngua estrangeira Sob o prisma do conexionismo como j dito
180. rma de incid ncia do conte do dos textos sobre a compreens o que ele quem define o crit rio de profundidade apontado em Gabriel 1998 segundo o qual poss vel analisar os diferentes n veis da compreens o uma vez que nem sempre ela se d em plenitude n o se configurando como fen meno tudo ou nada O crit rio de profundidade relaciona se assim aos n veis em que se constr i o sentido do texto O conte do expl cito corresponde ao que est aparente e claramente expresso nas linhas do texto O conte do impl cito corresponde ao sentido que deve ser lido para favorecer a compreens o embora n o esteja escrito o conte do expresso nas entrelinhas do texto as elipses as ironias e infer ncias Para acessar esse conte do o leitor precisa lan ar m o de uma s rie de estrat gias que ser o abordadas na pr xima se o Por ltimo o conte do metapl cito aquele que constru do unicamente mediante conhecimento da circunst ncia da escrita ou seja do contexto de escrita e para isso necess rio um conhecimento extratextual POERSCH 1991 Esse conhecimento em grande parte o respons vel pela diversidade de interpreta es uma vez que ele pode variar de leitor para leitor 1 1 3 3 Aspectos cognitivos da compreens o leitora derivados do leitor Os aspectos derivados do leitor s o in meros por m por quest es de tempo e espa o ser o enfocados a seguir alguns dos elementos mais recorrentes n
181. rocesso de cogni o Por m a avalia o tamb m cumpre outras fun es que s o em parte respons veis pela concep o pejorativa inerente ao termo A avalia o normativa que segundo Hoffman 2001 p 13 est tica e frenadora possui car ter classificat rio e fundamentalmente sentencivo Esse tema das a es avaliativas e seus prop sitos ser abordado no cap tulo 1 Ser o ainda apresentados alguns exemplos de instrumentos de avalia o informal e formal utilizados no universo escolar acad mico e profissional Dentre os instrumentos apresentados ser destacado o TOEFL Test of English as a Foreign Language um teste de m ltipla escolha internacionalmente aceito aplicado para atestar o n vel de compreens o leitora dos candidatos a vagas acad micas ou empresariais Devido sua import ncia e por consistir num dos principais par metros de avalia o da compreens o leitora em uma l ngua estrangeira esse instrumento objeto de estudo da presente investiga o O objetivo proposto nesta pesquisa verificar o grau de profundidade de compreens o obtido por meio de instrumentos como o TOEFL e sobretudo pela forma com que s o aplicados O que se quer com isso olhar para a concep o de compreens o subjacente a tais testes tendo em vista seu impacto no sistema educacional 18 V rios aspectos da avalia o ser o enfocados como a valida o dos instrumentos etapa importante no pr
182. rtos no A ROI D Y PARA RR RS RIO RC SRP PR RR RR PDP RR RR ERR DEP RD 125 Figura 32 Rela o entre as categorias de reconto e a propor o de acertos no OUR ILOLO DEA EEA E EEE dador spread a Sa a ep 126 Figura 33 Tela bate papo p s OUR TOOL quest o 7 seqii ncia TOEFL OUR OVO PR ir Es RDPI EDP IDR PD A REDE CEP RN TT 127 LISTA DE QUADROS Quadro 1 Quadro dos elementos envolvidos na leitura csscccccsssssssscsscscsssseees 28 Quadro 2 Habilidades e estrat gias associadas aos prop sitos de leitura 34 Quadro 3 N veis de leitura associados com tipos de texto e habilidades de PROCESSAMENTO ira mails nico iu sa boLcaiatadsti cal latin einsa tea aco Reina aids Cauda ICI CULE Cadeia 49 Quadro 5 Resumo dos contrastes entre conceitos de valida o do passado e POPESCU PERIERE T T E EENIA TO 70 Quadro 6 Etapas da produ o de dados ssesooesosssesoossosssessocssoosssoosssosssoosssosessesese 102 Quadro 7 Classifica o dos recontos em categorias c cccceeeererereessscerreraneco LISTA DE Tabela 1 Propor o de acertos no TOEFL TABELAS 0000000000 0000000000 0000000000 00000000 COCO COCO CCO COLO COCO 000000 Tabela 2 Propor o de acertos no OUR TOOL sssscess rsrsrsrs rereererereeco Tabela 3 Teste t de Student para amostras independentes ssscccssssrcccssssccees Tabela 4 Teste t de Student para a
183. s s senten as aos per odos aos par grafos Urquhart e Weir 1998 apresentam uma s ntese feita por Urquhart em 1987 acerca das hip teses mais comuns ainda existentes na poca por tr s da perspectiva pedag gica tradicional da compreens o Hip tese 1 H algo chamado de compreens o total ou perfeita de um texto Hip tese 2 A leitura cuidadosa que busca extrair uma perfeita compreens o superior a qualquer outro tipo de leitura e na verdade o nico tipo de leitura que merece esse nome Entre os pesquisadores que comungavam de tal olhar os autores citam Fry em 1963 e Sticht em 1984 Por m de acordo com Urquhart e Weir 1998 independentemente de a compreens o perfeita ser ou n o uma meta exegii vel deve se rejeitar as afirma es de Fry e companheiros de que esta seja equivalente a um resultado de 100 por cento em testes de compreens o Os autores apontam que as tradicionais quest es frequentemente de m ltipla escolha que servem como um teste de compreens o representam no m ximo uma amostra da informa o ganha com a leitura Os autores v em ainda essa t pica perspectiva pedag gica da compreens o como perigosa podendo vir a causar um impacto no sistema educacional Primeiramente por insistir na supremacia de um tipo de leitura em detrimento de todos os outros ignorando os prop sitos de leitura e tendo como consequ ncia o menosprezo por outros comportamentos
184. s como a fisiologia do sistema nervoso central tem como princ pio fundamental o de que o conhecimento humano est armazenado em engramas ou redes de conex o interneuroniais sempre que os neur nios de uma rede forem ativados ao mesmo tempo a conex o entre eles se tornar mais forte e a rede ficar marcada Cada vez que um est mulo input ativar um dos neur nios da rede toda a rede ser ativada CHIELE 2004 No caso da mem ria de trabalho por exemplo os neur nios do c rtex pr frontal se ativam em resposta s experi ncias moment neas e sua estimula o dura enquanto durar a experi ncia IZQUIERDO 2004 41 O processamento distribu do em paralelo permite a ocorr ncia simult nea do reinstanciamento de v rias informa es sua manipula o e mesmo o processamento concomitante de v rios est mulos recebidos No caso espec fico da leitura segundo o conexionismo quando acessamos nosso l xico ou seja a mem ria sem ntica estamos de fato reinstanciando conex es interneuroniais a partir do est mulo visual obtido a palavra impressa No momento em que s o reinstanciadas essas conex es ativam a um s tempo diversas informa es acerca desse est mulo ortogr fica fonol gica sem ntica pragm tica atrav s de um processo denominado mem ria auto associativa IZQUIERDO 2004 CIELO 2004 CHIELE 2004 Na perspectiva de Christiansen e MacDonald 2002 as capacidades de processa
185. s o em leitura e a correla o do mesmo com o escore obtido pelo candidato e Comparar a abordagem ao texto feita pelo instrumento e o n vel de representa o alcan ado pelo sujeito e Identificar os principais constituintes da habilidade em leitura a serem contemplados nos testes de avalia o para garantir a autenticidade dos mesmos e Investigar as conseqii ncias do efeito washback conforme se o 1 4 4 3 e Fornecer subs dios para a elabora o de propostas de instrumentos de avalia o da compreens o em leitura que evitem a forma o indireta de um comportamento padr o de leitura 2 2 Hip teses A primeira hip tese de que o n vel de compreens o textual suficiente para a realiza o das tarefas do teste TOEFL n o o n vel ideal para uma representa o mental do texto viabilizadora da aprendizagem Uma segunda hip tese que vem a ser um desdobramento da primeira que dependendo do grau de profundidade da abordagem ao texto o n vel de representa o ser maior ou menor 2 3 Justificativa Conforme a lente de Koda 2005 a tend ncia que prevalece na avalia o da compreens o em L2 focalizar mais a profici ncia da linguagem do que a compreens o leitora propriamente dita e pouco se tem feito para construir medidas fidedignas que atestem a habilidade em leitura de L2 Algumas justificativas para essa exigiidade a car ncia de modelos vi veis de leitura em L2 e de fundamenta es te ricas t
186. s rio cuidado na interpreta o dos resultados obtidos com essa t cnica pois varia es na performance poderiam ser mais atribu das a habilidades de tarefas espec ficas do que habilidade de leitura Um exemplo de teste que se caracteriza por oferecer em sua maioria quest es de m ltipla escolha medindo diferentes habilidades e n veis de compreens o o TOEFL Test of English as a Foreign Language que vem a ser entre os testes padronizados um dos mais reconhecidos internacionalmente Conforme informa es no site www ets org toefl desenvolvido pelo instituto respons vel por sua elabora o desde 1963 o Educational Testing Service ETS o TOEFL mede a habilidade de falantes n o nativos de ingl s em usarem e entenderem a l ngua inglesa da forma em que falada escrita e ouvida em ambientes de faculdades e universidades Esse teste ser descrito aqui com maior riqueza de detalhes por ser sua se o de leitura objeto de an lise da presente pesquisa Ao longo do texto ser o apresentadas algumas telas da vers o CBT utilizada na pesquisa a t tulo de ilustra o O TOEFL utilizado para avaliar a profici ncia em ingl s de candidatos cuja l ngua materna n o o ingl s e os resultados s o usados por mais de 2 400 faculdades e universidades nos Estados Unidos e Canad para determinar se o n vel de profici ncia de um candidato aceit vel para a institui o em quest o O teste tamb m empregado por
187. s vel Ro utilizar o texto de forma pronta como aux lio na resposta para Karen 92 Leitor 4 Com certeza A segunda avalia o foi para matar Para para Karen responder a segunda avalia o necessito de mais dicion rio A primeira era baseada somente no texto n o Enquete necessitando de um conhecimento externo ao mesmo Perg Frequentes Br itor O segundo apesar de conter respostas objetivas como as para Karen referentes as datas algumas perguntas faziam pensar o porque aquilo acontecia Conclu do i Figura 26 Tela bate papo p s OUR TOOL quest o 7 seq ncia TOEFL OUR TOOL 114 O leitor 6 aponta nesse coment rio a necessidade de uma compreens o total desde as perguntas at o texto em si na OUR TOOL Al m disso ressalta o fato de que as perguntas nesse instrumento n o remetem diretamente a uma parte do texto o que facilitaria a localiza o da resposta exigindo a constru o e compreens o do sentido Esse participante obteve resultado de 100 no TOEFL e 73 no OUR TOOL O leitor 4 tamb m aponta a diferen a entre as abordagens e um maior n vel de exig ncia no OUR TOOL indicando a necessidade de mais dicion rio Talvez esse leitor tenha querido indicar necessidade de maior vocabul rio para ter uma maior compreens o do texto para poder responder s quest es do teste Esse participante apresentou os mesmos escores que o primeiro 100 no TOEFL e 73 no OUR TOOL
188. s de leitura de texto presentes na literatura Ao final desta se o se buscar demonstrar a correla o entre o paradigma que emoldura esta pesquisa e o modelo de leitura de texto escolhido aqui como lente para observar o fen meno da compreens o Ap s os processos mais prim rios de leitura como identifica o e extra o do significado de palavras individuais como j dito outros processos operam em diferentes graus de profundidade agindo no n vel da frase ou senten a al m de tratarem da organiza o global ou da estrutura tem tica do texto como um todo SALLES 2001 V rios modelos ao longo da hist ria v m tentando cada qual atrav s de sua lente pr pria descrever esses processos poss vel perceber atrav s de um olhar diacr nico sobre a literatura que cada um dos modelos te ricos que surge com a proposta de descrever os processos de leitura acaba por negligenciar algum aspecto E o modelo sucessor enfatiza exatamente aquele aspecto n o considerado por seu predecessor deixando de contemplar outros aspectos que ser o abordados por seus sucessores e assim consecutivamente Essa sucess o de modelos parciais denota o grau de complexidade do fen meno em quest o e os avan os graduais que a pesquisa em leitura vem fazendo ao longo de sua hist ria Logo a dan a das sucess es de modelos te ricos pode ser vista como a mola propulsora que impulsiona o avan o da pesquisa em qualquer rea Se fosse utili
189. s ora es 2 e 8 II Reprodu es que se limitam a alguns eventos presentes em determinados blocos do texto original Reconto feito de forma desarticulada nao apresentando nenhuma rela o causal e incluindo informa es pouco vagas em rela o ao texto original Ocorrem interfer ncias Reproduzidas aqui essencialmente as ora es 2 6 e 8 M Reprodu es que embora apresentem cadeias causais e envolvam alguns personagens e alguns eventos presentes em determinados blocos do texto original n o trazem alguns detalhes importantes para a representa o do texto como a ora o 6 por exemplo Ocorrem infer ncias Reproduzidas aqui essencialmente as ora es 2 3 4 5e 8 IV Reprodu es que apresentam a cadeia causal somada a detalhes pertinentes do texto original Embora n o haja uma refer ncia expl cita ao desfecho do texto ocorre uma clara percep o da quebra de paradigma presente no texto Ocorrem infer ncias Reproduzidas aqui essencialmente as ora es 1 2 3 4 5 6 7e8 116 V Reprodu o completa em que as id ias do texto s o integralmente reproduzidas Surgem infer ncias mais elaboradas que ocorrem de forma bastante articulada O reconto segue um eixo onde o problema central apresentado e resolvido apontando os meios para tal As rela es causais s o apresentadas de forma clara Quadro 7 Classifica o dos recontos em categorias A partir das novas categorias foi feita a classific
190. sar das horas tornou se incontrol vel e intoler vel suscitando um grande sentimento de contrariedade em todos eles S ent o o rei convidou os para uma estranha e surpreendente refei o Apenas uma deliciosa e rica sopa servida num grande caldeir o com colheres de metal de mais de um metro de cabo e apenas uma pequena guarni o de madeira na extremidade para que se pudesse segur la N o havia pratos Em sucessivas e desesperadas tentativas os convivas tentavam levar a sopa boca Era imposs vel O desespero j dominava o ambiente quando um dos convidados teve a id ia de levar sua colher boca de seu vizinho Estava desvendada a chave Todos passaram a servir se mutuamente at saciarem a fome E compreenderam ent o a inten o do rei Certos empreendimentos t m resultado muito melhor com o concurso da coopera o m tua do trabalho em equipe Hist ria da tradi o Sufi minha m e parceira incondicional de minha jornada cognitiva que viabilizou a realiza o de mais esse grande empreendimento ao meu pai in memorian que sempre respeitou e apoiou meus ideais minha irm que al m de me mostrar o caminho auxiliou na caminhada A eles dedico minha disserta o AGRADECIMENTOS Certamente a conclus o deste empreendimento n o teria sido a mesma se n o fosse pela coopera o recebida e pelo trabalho em equipe aqui realizado Sinto me imensamente feliz ao chegar neste momento com a certeza de que s
191. sses fatores seriam a habilidade de se aculturarem a nova realidade acad mica e acesso a sistemas de apoio Em se tratando da base de conseqii ncia de validade Bachman 1990 aponta que ao considerar a validade dos resultados e usos dos testes os elaboradores e usu rios de testes devem considerar todas as quest es ticas e pol ticas envolvidas Segundo o autor tais quest es v o al m da demonstra o cient fica de evid ncias l gicas e emp ricas para a considera o das consegii ncias potenciais dos testes saindo dos confort veis limites da ling stica aplicada e da teoria psicom trica para a arena da pol tica p blica Assim convergindo seu olhar com o de Messick 1989 Bachman 1990 destaca a necessidade de se olhar para as conseqii ncias que o uso dos resultados de um teste para um fim espec fico pode acarretar no sistema educacional e na sociedade a fim de determinar se os benef cios s o os esperados e se eles se sobrep em s consequ ncias negativas tanto para os indiv duos como para a sociedade A an lise em torno da valida o do teste deve levar em considera o um equil brio entre a teoria subjacente que determina os valores a serem implementados e que operacionalizada pelo teste e o componente psicom trico que determina de que modo os valores ser o implementados Para justificar o uso dos resultados de um teste como base para decis es sobre a vida futura do candidato devem ser ap
192. st TOEFL and an alternative one developed specially for this research in the molds of Barret s taxonomy 1968 After each evaluation the subjects were asked to make a recount of the text previously read and to answer about the reading strategies used by them The results report that in the case of TOEFL among the data from the sample there was not a correlation among the levels of textual comprehension reached by the subjects and the result in the test In other words it was verified that through a particular reading behavior that makes use of strategic reading it is possible to answer the test satisfactorily reaching a high score without necessarily having reached a comprehension level that guarantees a deep representation of the text Such fact highlights the importance of a reflection before taking decisions based on the tests results Key words cognition reading comprehension evaluation LISTA DE FIGURAS Figura 1 Tela TOEFL ilustrando a linguagem psicom trica dos testes de m ltipla COSCON E PRE RD PR ERR PD PRP DR RAR SPP RENA A AT APPA 58 Figura 2 Tela TOEFL quest o Siiscssscesccssscesdosnctocsscssdsecsssesssoadscdasdensstessdecosscdescssiuasscoses 59 Figura 3 Tela TOEFL quest o 2 oesoessessoesocssessossocssessossocesessossoossossssssocssocsssoesssossssse 59 Figura 4 Tela TOEFL quest o 3 esoossessoesoossessoesocssessoesocesossossoossossssssosssocsssocsssossssse 60 Figura 5 Tela TOEFL quest
193. stiga o para alguns aspectos de instrumentos padronizados de avalia o da compreens o como o TOEFL 35 No original The need for a correspondance between language test performance and language use A clear and explicit definition of the qualities of test usefulness BACHMAN e PALMER 1996 p 9 No original We will refer to this domain as a target language use or TLU domain and the tasks in the TLU domain as TLU tasks BACHMAN e PALMER 1996 p 18 75 Para ilustrar consideremos que a situa o espec fica para qual o teste se destina que vem a ser o caso do TOEFL seja a entrada de candidatos cuja l ngua m e n o o ingl s em uma universidade em que o ingl s a l ngua mediadora Com base no modelo de utilidade o teste deve ter autenticidade ou seja contemplar as situa es reais de uso da l ngua que o candidato enfrentar em sua vida acad mica tais como as que envolvam as quatro habilidades fundamentais da l ngua escrever ler falar e entender em um padr o acad mico formal O teste deve dar conta de verificar se o candidato estar apto a se comunicar em ingl s expressando seu pensamento e conseguindo entender o que lhe dizem escrever empregando vocabul rio e estrutura acad mica e no caso espec fico da se o de leitura ler de modo a reter informa es e conseqiientemente aprender com a leitura como ter que fazer em uma TLU A Figura 7 a seguir representa esse crit rio da
194. testado como proficiente em l ngua inglesa muito necess ria em tarefas de avalia o mas n o suficientes em tarefas de vida real quando h necessidade de compreens o A estrat gia usada informa acerca da habilidade desse leitor em lidar com o texto mas n o necessariamente sobre sua capacidade de compreens o Esse participante obteve resultado de 100 no TOEFL e 47 no OUR TOOL medida que a quest o utiliza um vocabul rio similar ao do texto ela pode estar permitindo que uma estrat gia como essa seja utilizada o que pode vir a alterar o resultado No caso do TOEFL conforme relato de Peirce 1992 essa era uma tend ncia entre os revisores da equipe de desenvolvimento da prova utilizar um vocabul rio semelhante bem como a ordena o das quest es seguindo a ordem do texto conforme observado no seguinte relato Al m disso eu considerei que seria em geral til aos candidatos se a ordem dos itens no conjunto seguisse a ordem das informa es do pr prio texto No original Furthermore I assumed it would be generally helpful to candidates if the order of items in the set followed the order of information in the text itself PEIRCE 1992 p 671 111 Em outra resposta o leitor indica uma diferen a de comportamento de leitura em cada teste em fun o da abordagem Essa diferen a remete aquela oposi o estabelecida por Samuels e Kamil 1988 j referida no cap tulo 2 em que os autores afirmam que a
195. tividade mental de processamento e integra o da informa o e n o como uma atitude passiva de extra o de sentido A compreens o em leitura apresenta se como uma constela o de capacidades e habilidades cognitivas inter relacionadas variando desde mapeamentos mec nicos a manipula es mais conceitualmente sofisticadas como racioc nio e infer ncia Nessa nova concep o a compreens o passa a ser vista como a base e n o a consegii ncia da leitura como se costumava ver Segundo Smith 1989 imbu do de uma perspectiva vygotskyana sobre a rela o pensamento linguagem n o existe muita diferen a entre ler e pensar a leitura um pensamento estimulado pela l ngua escrita em que a atividade mental centra se na compreens o de um texto escrito Afirma ainda o autor que a leitura uma atividade construtiva e criativa tendo quatro caracter sticas distintivas e fundamentais objetiva seletiva antecipat ria e baseada na compreens o temas sobre as quais o leitor deve claramente exercer o controle SMITH 1989 p 17 1 1 1 O desenvolvimento das habilidades de leitura No original Thus contrary to conventional wisdom which states that comprehension is the process of getting meaning from a page comprehension is the process of bringing meaning to a text p 87 grifo nosso 23 Nunes e colaboradores 2003 apontam que foi apenas nas ltimas duas d cadas que os trabalhos de pesquisadores c
196. tou se aqui por utilizar o termo produ o ao inv s de coleta de dados por vermos no termo coleta a conota o de algo j pronto que ser apenas colhido coletado Dessa forma o conceito estaria indo de encontro perspectiva da presente pesquisa que v o leitor como construtor produtor de uma estrutura de representa o textual que demanda muito empenho e esfor o por parte dele N o coletamos algo pronto mas sim trouxemos para a pesquisa dados que foram produzidos por nossos participantes 88 dados desses substituindo os por outros sujeitos Portanto a amostra para fins de an lise composta pelos dados de vinte participantes 2 4 2 Instrumentos de produ o de dados Para a produ o dos dados desta pesquisa foram utilizados tr s instrumentos Os dois primeiros constituem se em testes de compreens o leitora tendo como suporte o computador O terceiro instrumento utiliza a estrat gia do reconto Os instrumentos ser o apresentados a seguir 2 4 2 1 TOEFL Nesta pesquisa foi utilizada uma entre as v rias op es de material preparat rio para o TOEFL com testes simulados que se encontram dispon veis no mercado Como a presente pesquisa enfoca a avalia o da compreens o leitora apenas a se o de leitura do TOEFL foi empregada A vers o do teste aqui utilizada foi citada na se o 1 4 3 2 deste estudo 2 4 2 2 OUR TOOL Com a necessidade de um outro olhar sobre a avalia o da compreens o para que fosse f
197. tween 1850 and 1900 As late as 1965 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating effect Except for a small number of wolves in Minnesota wolves were gone from the 48 states of the continental U S by the late 1920s vvolves were listed as endangered in 1973 and remain so today meaning that they are in danger of becoming extinct in all or part of their natural habitat Environmental activists are optimistic however In the 1980s wolves began appearing in Montana apparent having migrated from Canada There are currently At one time in North America wolves ranged from coastto coast and from Canada to Mexico the greates natural range of any mammal except humans Unfortunately in industrialized human society wolves seem to have mettheir match Gray wolves began declining in the American vvest around 1870 as westward moving settlers depleted the bison deer and elk that wolves preyed on vvolves then turned to the sheep and cattle as their prey Settlers and government trappers responded with intensive campaigns to wipe out the wolf Approximately 1 5 million wolves were killed in various bount hunting campaigns carried out between 1850 and 1900 As late as 1955 hunters were offered 20 to 50 for every wolf they could kill Human incursions on their habitat and purposeful extermination campaigns had a devastating
198. ua o para outra assim como os recursos dispon veis Assim a praticidade como a validade de um modo geral apenas pode ser determinada para uma situa o espec fica e a partir de um determinado ngulo de vis o A ltima qualidade a ser considerada pertencente ao modelo de Bachman e Palmer 1996 o impacto dos testes na sociedade e nos sistemas educacionais bem como nos indiv duos que fazem parte desses sistemas Nessa perspectiva o uso dos testes impacta em dois n veis um n vel micro referente aos indiv duos que s o afetados pelo uso do teste e um n vel macro referente ao sistema educacional ou sociedade A caracter stica do impacto pode ser representada atrav s da Figura 8 Realiza o do 4 Impacto be teste e uso dos Macro sociedade sistema educacional resultados do teste Figura 8 Impacto dos testes Fonte adapta o BACHMAN e PALMER 1996 p 30 Segundo os autores os atos de administrar e aplicar um teste que revelam certos valores e objetivos de uma teoria subjacente t m suas conseqii ncias Da mesma forma os usos que s o feitos dos resultados dos testes sugerem valores e objetivos pr prios e tamb m acabam tendo consegii ncias Entre os aspectos que impactam na sociedade sistema educacional e indiv duo e que t m sido observados com grande interesse por v rios estudiosos e j brevemente mencionado no presente cap tulo est o chamado efeito washback O efeito washbac
199. upo 1 acertaram 47 37 da OUR TOOL 20 acertaram 52 63 10 acertaram 68 42 30 acertaram 73 68 10 acertaram 84 21 e 10 acertaram 89 47 Entre os sujeitos do grupo 2 v se que 10 da amostra acertaram 52 63 20 acertaram 57 89 10 acertaram 63 16 20 acertaram 68 42 30 acertaram 73 68 e 10 acertaram 84 21 Para facilitar a visualiza o 106 apresentada a Figura 21 a seguir em forma de gr fico com o n mero de casos e a propor o de acertos em ambos os testes S 25 o O 225 4 17 5 4 155 12 54 10 7 5 5 4 2 5 0 4 r ee oF polo Y gole Y gore Y qo Propor o SR Figura 21 Propor o de acertos nos testes TOEFL e OUR TOOL Para verificar se a seqii ncia de realiza o dos testes influenciou no resultado foi aplicado o teste t de Student que verifica a exist ncia de diferen as estatisticamente significantes entre as m dias de dois grupos independentes As m dias e desvios padr o s o apresentados na Tabela 3 a seguir Tabela 3 Teste t de Student para amostras independentes Seqii ncia de realiza o dos M dia Desvio testes Padr o TOEFL gt OUR TOOL ad S ane Propor o de acertos no TOEFL 6 quest es OUR TOOL TOEFL 10 88 33 15 81139 TOEFL gt OUR TOOL a0 66 31 fad ag Propor o de acertos no OUR TOOL 19 quest es 10 67 37 9 54489 OUR TOOL TOEFL Conforme conclus o do teste n o h diferen a estatisticamente signific
200. utomatic that the average person A Based on the reading which hardly ever thinks about it But how does it muscles might you use when happen The breathing process is quite complex blowing out candles and controlled by the medulla of the brain in area called the breathing center The power required the diaphragm for breathing comes from the intercostals muscles CD the thoracic muscles and the diaphragm During quiet C gt theabdominal muscles CD the back muscles 3 No original readers are encouraged to hold separate the very knowledge which is crucial to their effective engagement with text p 458 64 Figura 6 Tela TOEFL exemplo de quest o com base no texto Na tentativa de controlar esses aspectos os testes padronizados passam pelo crivo criterioso do procedimento de valida o que ser apresentado a seguir no que diz respeito a sua confiabilidade validade economia facilidade de aplica o e relev ncia das normas e de sua aplicabilidade dos conte dos para as caracter sticas espec ficas do p blico a que se destina 1 3 4 Valida o de instrumentos de avalia o A validade uma caracter stica relativa e existe em diferentes graus Sua problem tica n o est condicionada em termos de tudo ou nada Um teste pode ser v lido para certos fins e determinado grupo mas n o o ser para outros fins e indiv duos A validade n o uma fun o do teste apenas mas do uso que dele se faz VIA
201. would no longer be considered endangered 144 Anexo D Ora es principais 1 Situa o dos lobos na Am rica do norte no passado 2 O decl nio da popula o dos lobos com o advento da civiliza o 3 Em fun o de os lobos terem ficado sem seu alimento direto na cadeia alimentar 4 Por isso o ataque dos lobos cria o de gado e ovelha dos fazendeiros 5 Como conseqii ncia os homens come aram a ca ar e a matar os lobos 6 Gratifica o em dinheiro incentivando a ca a 7 Em 1973 declarados em risco de extin o 8 A atua o da guarda florestal para aumentar a popula o de lobos 9 A meta em ter at 2002 cerca de 100 lobos nas 3 reas de recupera o 10 Se a meta for alcan ada os lobos n o estar o mais em risco de extin o
202. xonomia de Barret procurou se olhar para a compreens o com uma outra lente Atrav s dessa buscou se verificar a compreens o do texto em maior profundidade e contemplar as dimens es cognitivas da compreens o leitora que podem oportunizar ao candidato formar uma estrutura mental que represente o sentido do texto e desenvolver assim um novo comportamento de leitura 2 4 M todo Este um estudo transversal do tipo descritivo com delineamento correlacional e comparativo entre grupos ROBSON 1993 O projeto de pesquisa foi aprovado pelo Comit de tica em Pesquisa da Universidade de Santa Cruz do Sul cadastro n mero 1483 06 ANEXO A Seguindo as orienta es desse comit todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido ANEXO B 87 Ser o descritas a seguir as etapas da produ o de dados entre elas est o a sele o de sujeitos os instrumentos utilizados e os procedimentos adotados 2 4 1 Sele o dos sujeitos da pesquisa A amostra da presente pesquisa foi composta por alunos do curso de Letras e de cursos avan ados de conversa o do Centro de L nguas e Culturas CELINC da Universidade de Santa Cruz do Sul RS Como no presente estudo s o enfocados os n veis de representa o textual relacionados aos escores das avalia es da compreens o foram selecionados determinados n veis dos cursos citados a fim de se obter um grupo de participantes com profici ncia leit
203. zada uma imagem para esse olhar ela seria a de um espiral uma curva plana gerada por um ponto m vel que gira em torno de um ponto fixo ao mesmo tempo em que dele se afasta ou se aproxima segundo uma lei determinada Tamb m interessante observar o movimento circular que os pr prios pesquisadores fazem retomando as pesquisas anteriores por m com um novo olhar Defini o encontrada em Aur lio s c XXI 38 Grande parte dos modelos te ricos como o de Graesser 1981 Gough 1972 Davies 1968 e Clymer 1968 que ser o brevemente descritos a seguir entre outros enfocava o qu da leitura que estrat gias um leitor precisa para processar o texto que tarefas demonstram tais estrat gias que tipos de compreens o existem e assim por diante Em contraste surgem outros modelos como os de Kintsch e van Dijk 1978 e Carpenter and Just 1988 que olham para o como da leitura buscam investigar como se d o processo de leitura como ensin lo Essa dicotomia se deve em parte lente escolhida por cada modelo para explicar o processo de leitura Enquanto alguns se ap iam substancialmente em perspectivas pedag gicas outros tomam por base a psicologia ou a ci ncia cognitiva Uma observa o detalhada desses modelos te ricos revela uma grande quantidade de varia o existente entre eles com diversos n veis de descri o sendo enfocados A seguir ser apresenta

(Dissertação Karen CAPES)

Contents

Download Pdf Manuals

Related Search

Related Contents

(Disserta&ccedil;&atilde;o Karen CAPES)

Contents

Download Pdf Manuals

Related Search

Related Contents

(Dissertação Karen CAPES)