Repositorio
Institucional

Navarro, Juan-Jose

Mourgues-Codern, Catalina

Guzman, Eduardo

Rodriguez-Ortiz, Isabel R.

Conejo, Ricardo

Sanchez-Gutierrez, Claudia

de la Fuente, Jesus

Martella, Diana

Saracostti, Mahia

Integrating Curriculum-Based Dynamic Assessment in Computerized Adaptive Testing: Development and Predictive Validity of the EDPL-BAI Battery on Reading Competence

FRONTIERS MEDIA SA

FRONTIERS IN PSYCHOLOGY

en

In recent decades there have been significant changes in the conceptualization of reading as well as in the perception of how this activity should be assessed. Interest in the analysis of reading processes has led to the emergence of new explanatory models based primarily on the contributions of cognitive psychology. In parallel, there have been notable advances in measurement procedures, especially in models based on Item Response Theory (IRT), as well as in the capacity and performance of specific software programs that allow data to be managed and analyzed. These changes have contributed significantly to the rise of testing procedures such as computerized adaptive tests (CATs), whose fundamental characteristic is that the sequence of items presented in the tests is adapted to the level of competence that the subject manifests. Likewise, the incorporation of elements of dynamic assessment (DA) as the prompts are gradually offered allows for obtaining information about the type and degree of support required to optimize the subject's performance. In this sense, the confluence of contributions from DA and CATs offers a new possibility for approaching the assessment of learning processes. In this article, we present a longitudinal research developed in two phases, through which a computerized dynamic adaptive assessment battery of reading processes (EDPL-BAI) was configured. The research frame involved 1,831 students (46% girls) from 13 public schools in three regions of Chile. The purpose of this study was to analyze the differential contribution on reading competence of dynamic scores obtained in a subsample composed of 324 (47% girls) students from third to sixth grade after the implementation of a set of adaptive dynamic tests of morpho-syntactic processes. The results achieved in the structural equation modeling indicate a good global fit. Individual relationships show a significant contribution of calibrated score that reflects estimated knowledge level on reading competence, as well as dynamic scores based on the assigned value of graduated prompts required by the students. These results showed significant predictive values on reading competence and incremental validity in relation to predictions made by static criterion tests.

En las últimas décadas se han producido cambios significativos en la conceptualización de la lectura, así como en la percepción de cómo debe evaluarse esta actividad. El interés por el análisis de los procesos lectores ha propiciado la aparición de nuevos modelos explicativos basados ​​principalmente en las aportaciones de la psicología cognitiva. Paralelamente, se han producido avances notables en los procedimientos de medición, especialmente en los modelos basados ​​en la Teoría de Respuesta al Ítem (TRI), así como en la capacidad y el rendimiento de programas informáticos específicos que permiten la gestión y el análisis de datos. Estos cambios han contribuido significativamente al auge de procedimientos de evaluación como las pruebas adaptativas informatizadas (TAC), cuya característica fundamental es que la secuencia de ítems presentada en las pruebas se adapta al nivel de competencia que manifiesta el sujeto. Asimismo, la incorporación de elementos de evaluación dinámica (ED) a medida que se ofrecen las indicaciones de forma gradual permite obtener información sobre el tipo y el grado de apoyo necesario para optimizar el rendimiento del sujeto. En este sentido, la confluencia de las aportaciones de la ED y las TAC ofrece una nueva posibilidad para abordar la evaluación de los procesos de aprendizaje. En este artículo, presentamos una investigación longitudinal desarrollada en dos fases, a través de la cual se configuró una batería computarizada de evaluación dinámica adaptativa de procesos lectores (EDPL-BAI). El marco de la investigación involucró a 1.831 estudiantes (46% niñas) de 13 escuelas públicas en tres regiones de Chile. El propósito de este estudio fue analizar la contribución diferencial en la competencia lectora de los puntajes dinámicos obtenidos en una submuestra compuesta por 324 estudiantes (47% niñas) de tercero a sexto básico luego de la implementación de un conjunto de pruebas dinámicas adaptativas de procesos morfosintácticos. Los resultados alcanzados en el modelado de ecuaciones estructurales indican un buen ajuste global. Las relaciones individuales muestran una contribución significativa del puntaje calibrado que refleja el nivel de conocimiento estimado en la competencia lectora, así como los puntajes dinámicos basados ​​en el valor asignado a las indicaciones graduadas requeridas por los estudiantes. Estos resultados mostraron valores predictivos significativos en la competencia lectora y validez incremental en relación con las predicciones realizadas por pruebas de criterio estático.

Artículo original

Los resultados incluidos en este trabajo son parte del proyecto FONDEF ID15I10067 “Diseño y validación inicial de una Batería Adaptativa Computacional para la evaluación de procesos involucrados en la lectura y comprensión de textos”, financiado por la Comisión Nacional de Investigación Científica y Tecnológica, CONICYT (Chile).

The results included in this paper are part of the FONDEF project ID15I10067 "Design and initial validation of a Computerized Adaptive Battery for the assessment of processes involved in reading and comprehension of texts," funded by the National Commission of Scientific and Technological Research, CONICYT (Chile).

10.3389/fpsyg.2018.01492

pdf

dynamic assessment

computerized adaptive testing

item response theory

learning potential

graduated prompts

reading processes

incremental validity

evaluación dinámica

pruebas adaptativas computarizadas

teoría de respuesta al ítem

potencial de aprendizaje

indicaciones graduadas

procesos de lectura

validez incremental

Psychology, Multidisciplinary

dynamic assessment

computerized adaptive testing

item response theory

learning potential

graduated prompts

reading processes

incremental validity

evaluación dinámica

pruebas adaptativas computarizadas

teoría de respuesta al ítem

potencial de aprendizaje

indicaciones graduadas

procesos de lectura

validez incremental

Educación General

Otras Especialidades de la Psicología

Ciencias de la Computación

version publicada

dorada

verde

acceso abierto

acceso abierto

WOS:000442960400001

Integrating Curriculum-Based Dynamic Assessment in Computerized Adaptive Testing: Development and Predictive Validity of the EDPL-BAI Battery on Reading Competence

Artículo original

FRONTIERS MEDIA SA

FRONTIERS IN PSYCHOLOGY

Psicología, Multidisciplinar

1664-1078

en

ANID CONICYT ID15I10067

"The results included in this paper are part of the FONDEF project ID15I10067 ""Design and initial validation of a Computerized Adaptive Battery for the assessment of processes involved in reading and comprehension of texts,"" funded by the National Commission of Scientific and Technological Research, CONICYT (Chile)."

pdf

CC BY

ANID CONICYT ID15I10067