Avaliar leitura no 1.º ciclo do ensino básico: construção e validação do TCL (Teste de Compreensão Leitora)

Abstract

Ler é, por definição, extrair e construir sentido do que é lido. Por conseguinte, é de extrema importância que os alunos desenvolvam adequadamente esta competência desde os primeiros anos de escolaridade. No entanto, nem sempre os alunos a adquirem devidamente ao longo do processo de ensino. A avaliação da compreensão em leitura é crucial para identificar e clarificar os problemas dos alunos nesta área, apoiar o delineamento de programas de intervenção/ensino adequados e monitorizar as mudanças ocorridas ao longo do tempo. No entanto, em Portugal a construção de instrumentos de avaliação da compreensão encontra-se ainda numa fase embrionária, com a maior parte das provas construídas para este efeito a apresentarem lacunas significativas em termos de racional teórico e de procedimentos de validação. Neste trabalho elegeu-se como objetivo central a construção de um teste de avaliação da compreensão leitora dirigido a alunos dos três últimos anos do 1.º ciclo do Ensino Básico. O processo de construção do TCL – Teste de Compreensão Leitora culminou com a criação de três versões equalizadas verticalmente, destinadas, respetivamente, a alunos do 2.º, 3.º e 4.º anos de escolaridade. A elaboração dos itens teve por referencial teórico a taxonomia de compreensão leitora de Català, Català, Molina e Monclús (2001). Cada versão é constituída por 30 itens de escolha múltipla com quatro alternativas de resposta, distribuídos pelas categorias de compreensão literal, compreensão inferencial, compreensão crítica e reorganização. O texto que serve de base ao teste é inédito e integra texto narrativo, informativo, prescritivo e poemas. A primeira pool de itens incluiu 130 perguntas distribuídas pelos quatro níveis de compreensão (literal, inferencial, crítica e reorganização da informação). Estas perguntas foram sujeitas a uma avaliação por peritos que conduziu à eliminação de 55 e à reformulação de 20, resultando um conjunto de 75 itens. O processo de construção e validação implicou a realização de cinco estudos. No estudo 1 recorreu-se a uma amostra de 370 alunos do 4.º ano de escolaridade, com o objetivo de avaliar a adequação do material de teste, a clareza das instruções e o funcionamento dos 75 itens. Utilizou-se um procedimento de matrix sampling. Os resultados deste estudo conduziram à reformulação de alternativas em 19 itens e à inclusão de um item-exemplo nas instruções do teste. O estudo 2 incluiu uma amostra de 247 alunos do 2.º ano, 300 do 3.º ano e 296 do 4.º ano. Foi dividido em duas partes, de acordo com os objetivos subjacentes: i) análise dos itens e ii) construção e equalização de versões por ano de escolaridade. Todas as análises do estudo 2 foram realizadas, por ano de escolaridade, no quadro do modelo Rasch para itens dicotómicos. Os resultados indicaram valores de Infit e Outfit ajustados. Tomando em conta os parâmetros de dificuldade dos itens calculados nesta primeira parte, selecionaram-se itens de ancoragem e itens únicos a integrar cada uma das versões. A cada foram atribuídos 30 itens. Cada versão foi, então, sujeita a um processo de equalização vertical, recorrendo-se ao método de calibração com parâmetros de itens fixos. Os indicadores de fidelidade das versões – Kuder-Richardson fórmula 20, Person Separation Reliability e Item Separation Reliability – variaram entre 0.70 e 0.98, podendo ser considerados adequados. No estudo 3 foi testada a validade de critério de cada uma das versões construídas. Os resultados obtidos apontaram para correlações moderadas e estatisticamente significativas entre as três versões – TCL-2, TCL-3 e TCL-4 – com critérios externos de avaliação da leitura. As três mostraram-se preditoras das classificações em leitura efetuadas pelos professores e o TCL-3 e TCL-4 revelaram-se preditores dos resultados na primeira parte das Provas de Aferição de Língua Portuguesa. No estudo 4 testou-se a validade de construto das três versões, com recurso à análise fatorial confirmatória. Os resultados permitiram confirmar a hipótese de unidimensionalidade. No último estudo foram elaboradas normas para as três versões. Optou-se por incluir dois tipos de normas: pontuações estandardizadas e notas percentílicas. Para finalizar, são apresentadas algumas considerações sobre a construção do teste, sobre a relevância social e científica do trabalho realizado, sobre a importância da utilização da Teoria de Resposta ao Item na construção de testes de avaliação da compreensão leitora e sobre o enquadramento do TCL no quadro da avaliação psicológica. Partindo dos resultados e das opções tomadas ao longo dos estudos de construção e validação do TCL são, ainda, referidas limitações e apontadas linhas orientadoras para estudos futuros.

Reading is, by definition, to extract and construct meaning from what’s being read. It is very important that students develop properly this ability since early school years. Nonetheless, students don’t always acquire it properly along the educational process. Reading comprehension assessment is crucial to identify and clarify student’s problems in this ability, to support the development of adequate intervention programs and teaching, and to evaluate changes along the time. In Portugal, however, the construction of reading comprehension tests is undeveloped, with most of the existing tests lacking theoretical support and validation studies. In this work, the main purpose was to construct a reading comprehension test to assess elementary school students. The construction of the test (TCL-Teste de Compreensão Leitora) ended with the establishment of three vertically equated forms to assess students from the 2nd, 3rd and 4th grades, respectively. Items’ construction had as theoretical reference the reading comprehension taxonomy outlined by Català, Català, Molina and Monclús (2001). Each form has 30 multiple-choice items with four options. Each item assesses literal comprehension, inferential comprehension, reorganization or critical comprehension. The text which served as the test base is unpublished and integrates narrative, expositive, prescriptive text and poems. The first pool of items included 130 questions distributed by the four reading comprehension levels (literal, inferential, critical and reorganization of information). These questions were evaluated by experts. This evaluation led to the suppression of 55 questions and to the reformulation of another 20. Consequently, it was obtained a 75 items pool. The construction and validation process was conducted in five studies. In study 1, a sample of 370 students was assessed with the purpose of evaluate if the test material was appropriate, if the instructions were clear and if the items had good psychometric characteristics. It was used a matrix sampling procedure. Results led to the reformulation of 19 items and to the conversion of one item into an example item. Study 2 included one sample of 247 second grade students, 300 third grade students and 296 fourth grade students. This study was divided in two parts, accordingly with the underlying goals: i) item analysis; and ii) construction and equalization of different test forms for each one of the school grades. In study 2, all the analyses were computed using Rasch model. Results showed adequate Infit and Outfit values. Taking into consideration the items’ difficulty computed into this first part, there were selected anchor and unique items to each one of the forms. Were assigned thirty items to each form. Each form was then vertically equated, using one fixed item parameter calibration method. The reliability indexes for the three test forms – Kuder-Richardson formula 20, Person Separation Reliability and Item Separation Reliability – ranged between 0.70 and 0.98. This indicates adequate reliability. In study 3, criterion validity of the three forms was studied. Results showed moderate and statistically significant correlations between the achievement in the three forms - TCL-2, TCL-3 and TCL-4 - and the results of external criteria of reading assessment. The three forms also proved to be statistically significant predictors of the students’ reading levels assessed by teachers. TCL-3 and TCL-4 proved to be predictors of the students’ achievement in a national reading assessment. In study 4, construct validity of the three forms was tested, using confirmatory factorial analysis. Results provided support for the unidimensionality hypothesis. In the last of the five studies, were computed norms for each of the three forms. There were included two types of norms: standardized scores and percentiles. To conclude, are presented some considerations about the test construction, about the social and scientific significance of this work, about the importance of the Item Response Theory in the construction of reading comprehension tests and about the suitability of the TCL in psychological assessment. Taking into account the five studies’ results and the options made along the all process of construction and validation of the test, are highlighted some limitations and pointed some guidelines for future research.