Análisis de validez basado en procesos de respuesta de un instrumento para evaluar pensamiento funcionalResumo
Diversos estúdios desde la perspectiva del early algebra han empleado pruebas escritas para evaluar el pensamiento funcional de los estudiantes. Sin embargo, la validez de las interpretaciones derivadas de estos instrumentos ha sido escasamente investigada. Este estudio tuvo como propósito validar las puntuaciones de un instrumento diseñado para evaluar el pensamiento funcional en estudiantes de tercer grado, aportando evidencia basada en los procesos de respuesta. Se administró una prueba y una entrevista cognitiva retrospectiva a 24 estudiantes de tercer grado de una escuela de Santiago de Chile. Las respuestas obtenidas en la prueba y la entrevista fueron codificadas y comparadas para examinar la concordancia entre las interpretaciones derivadas de ambos instrumentos. Los resultados mostraron una correlación alta y significativa en el desempeño general, y revelaron que el ítem con mayor discrepancia entre la prueba y la entrevista implicaba describir la relación entre variables utilizando lenguaje natural. En conclusión, el instrumento permite capturar de manera fiable el pensamiento funcional de los estudiantes, aunque podría subestimar su desempeño en la expresión de reglas funcionales mediante lenguaje natural. Futuros estudios podrían emplear este instrumento, considerando la inclusión de entrevistas breves para los estudiantes en la categoría funcional numérico, con el fin de captar de manera más precisa su capacidad de generalización en lenguaje natural sin depender de sus habilidades de redacción.
Abstract
Various studies from the perspective of early algebra have employed written tests to assess students’ functional thinking. However, there has been little research on the validity of the interpretations derived from these instruments. The purpose of this study was to validate the scores of an instrument designed to assess functional thinking in third-grade students by providing evidence based on response processes. A test and a retrospective cognitive interview were administered to 24 third-grade students from a school in Santiago, Chile. Responses from both the test and the interview were coded and compared to assess the agreement between the interpretations derived from each instrument. The results showed a strong and statistically significant correlation in overall performance and revealed that the item with the greatest divergence between the test and the interview involved describing the relationship between variables using natural language. In conclusion, the instrument offers a reliable means of capturing students’ functional thinking, although it may underestimate their performance when expressing functional rules using natural language. Future research could use this instrument while incorporating brief interviews for students in the numerical-functional category, in order to more accurately capture their ability to generalize in natural language without relying on their writing skills.
Keywords
Assessment; Validity evidence; Early algebraic thinking; Functional thinking; Primary education
Introducción
En la actualidad, diversos planes curriculares han incorporado la enseñanza del álgebra como un componente transversal desde el inicio de la escolaridad (Kieran, 2022; Blanton et al., 2019; NCTM, 2000). Estas propuestas recomiendan que los estudiantes comiencen identificando relaciones y estructuras matemáticas generales a través de situaciones adecuadas para su edad, lo que establece las bases para la comprensión progresiva de conceptos algebraicos avanzados, como la notación variable (Blanton et al., 2019; Mason et al., 2009). De esta forma, se espera que un desarrollo temprano del pensamiento algebraico contribuya a mitigar los bajos desempeños matemáticos asociados con la enseñanza tardía del álgebra (Kaput, 2008; Moses y Cobb, 2001; Museus et al., 2013).
Una de las áreas del pensamiento algebraico es el pensamiento funcional, que implica la generalización de relaciones de covariación, así como la representación y justificación de estas relaciones a partir de distintos registros (Brizuela et al., 2015). Diversos estudios, desde esta perspectiva, han mostrado consistentemente que, desde los primeros grados escolares, los estudiantes tienen la capacidad de analizar cantidades que covarían y gradualmente desarrollan la habilidad de generalizar dichas relaciones utilizando registros más o menos complejos, hasta alcanzar la expresión de sus generalizaciones a través del lenguaje simbólico convencional (Kieran, 2022; Radford, 2018).
En esta línea, distintas investigaciones han examinado los cambios en el pensamiento funcional de los estudiantes antes y después de la implementación de intervenciones educativas, (Blanton et al., 2019; Chimoni et al., 2021; Ureña et al., 2019). Un aspecto metodológico central de estos estudios radica en la forma en que se evalúa el aprendizaje de los estudiantes. Para ello, se han utilizado principalmente dos formas de evaluación: instrumentos escritos (pruebas) y entrevistas. Los estudios con un enfoque cualitativo han optado mayormente por el uso de entrevistas (Blanton et al., 2017; Brizuela et al., 2015; Goñi-Cervera et al., 2022; Ureña et al., 2019), debido a que ofrecen la ventaja de permitir que los estudiantes expresen sus ideas sin depender de sus habilidades de lectura y escritura (Larsson; Granhag, 2005), aunque requieren un tiempo considerable tanto para su aplicación como para su análisis.
Por otro lado, las investigaciones que evalúan el pensamiento funcional con un enfoque cuantitativo (Blanton et al., 2015, 2019; Chimoni et al., 2021; Stylianou et al., 2019) han empleado predominantemente pruebas de lápiz y papel. Este tipo de instrumento ofrece la ventaja de evaluar a una mayor cantidad de estudiantes en un tiempo reducido, lo que resulta especialmente relevante en estudios con muestras numerosas. Es importante destacar que, en general, los instrumentos de evaluación utilizados han sido desarrollados por los propios investigadores, sin un análisis exhaustivo de su validez para medir el constructo deseado.
Un aspecto clave en la construcción de instrumentos de evaluación es llevar a cabo procesos de recolección de evidencia de validez, es decir, evidencia que respalde las interpretaciones derivadas del instrumento (AERA; APA; NCME, 2014). Una de las fuentes de evidencia es denominada evidencia basada en los procesos de respuesta, la que consiste en analizar el grado de concordancia entre las suposiciones de los desarrolladores del instrumento sobre cómo los evaluados responderán y los razonamientos que efectivamente experimentan estos últimos (AERA; APA; NCME, 2014; Willson; Miller, 2014). A pesar de su relevancia, esta fuente ha sido explorada con menor frecuencia en los estudios de validación (Padilla; Leighton, 2017). Sin embargo, su comprensión es esencial para garantizar la validez de las evaluaciones cognitivas.
Con el propósito de aportar evidencia de validez basada en los procesos de respuesta, este estudio tuvo como objetivo analizar en qué medida una prueba que evalúa el pensamiento funcional logra capturar este tipo de razonamiento en estudiantes de 3º grado. De este modo, las preguntas de investigación abordadas en este trabajo son: 1) ¿en qué medida el pensamiento funcional de estudiantes de 3º grado capturado por una prueba es concordante con el identificado por medio de una entrevista cognitiva?, y 2) ¿en qué ítemes se observan mayores discrepancias entre las conclusiones derivadas a partir de la prueba y de la entrevista?
Pensamiento algebraico temprano
El pensamiento algebraico temprano es el razonamiento en el que participan niños de 5 a 12 años a medida que van otorgando significados a los objetos y las formas de pensar que encontrarán más tarde en el álgebra de la escuela secundaria (Kieran, 2022). Distintos estudios han mostrado que los estudiantes de estas edades son capaces de realizar exitosamente actividades centrales del álgebra, tales como identificar variables, ordenar datos en tablas, generalizar estructuras y expresar dicha generalidad utilizando diferentes medios de representación, como números, lenguaje natural, o símbolos convencionales y no convencionales (Brizuela et al., 2015; Cañadas et al., 2019). Radford (2018) señala que el pensamiento algebraico se caracteriza por la capacidad de tratar cantidades indeterminadas (variables o incógnitas) de forma analítica. En este sentido, el uso del simbolismo alfanumérico no es condición necesaria ni suficiente para pensar algebraicamente, ya que otros sistemas semióticos podrían dar cuenta de que un estudiante comprende la estructura de una secuencia y la trata de manera general y analítica (Cañadas et al., 2019; Kieran, 2022; Radford, 2018).
Dentro de la investigación sobre el álgebra temprana, se distinguen tres grandes focos según los ámbitos involucrados: (i) igualdades y ecuaciones, (ii) aritmética generalizada y (iii) pensamiento funcional (Blanton et al., 2015). El presente estudio se centra en el pensamiento funcional, el que se caracteriza por analizar y generalizar relaciones entre cantidades covariantes, y expresar estas relaciones a partir de distintas representaciones, como tablas, palabras, símbolos, entre otras (Blanton; Kaput, 2011). No se trata de un abordaje formal del concepto de función, sino del trabajo con tareas contextualizadas que involucran cantidades que covarían y que pueden modelarse mediante funciones. Es decir, tareas en las que los estudiantes deban generalizar un patrón y representar esta generalidad de formas distintas (Kieran, 2022; Pinto; Cañadas, 2021).
Niveles de sofisticación del pensamiento algebraico
El dominio del lenguaje algebraico es un proceso gradual que implica la incorporación progresiva de medios de representación más sofisticados para expresar generalidades matemáticas (Blanton et al., 2015; Radford, 2018; Stephens et al., 2017). Diversos autores han caracterizado los tipos de razonamiento que los estudiantes emplean al analizar patrones, organizándolos según su nivel de complejidad y sofisticación. Radford (2018) identifica tres tipos de pensamiento algebraico que surgen en diferentes etapas de la trayectoria escolar: el pensamiento factual, contextual y simbólico. El pensamiento factual se caracteriza por la comprensión de las estructuras operacionales de una secuencia y su aplicación a cualquier término, aunque sin explicitar cantidades indeterminadas. El pensamiento contextual permite a los estudiantes verbalizar estructuras operacionales de manera generalizada, explicitando lo indeterminado mediante palabras. Finalmente, el pensamiento simbólico supone la capacidad de expresar estructuras operacionales utilizando símbolos alfanuméricos convencionales.
Por otro lado, Blanton y Kaput (2011) identificaron tres tipos de razonamiento en el análisis de patrones, que van desde el más simple al más complejo: (i) el pensamiento recursivo consiste en identificar la variación dentro de una sola secuencia; (ii) el pensamiento covariacional consiste en analizar cómo dos cantidades varían simultáneamente, pero sin identificar una relación directa y (iii) el pensamiento de correspondencia, que implica identificar una correlación directa entre las variables. Posteriormente, Stephens et al. (2017) ampliaron el esquema de Blanton y Kaput (2011) a partir de una clasificación de las respuestas de los estudiantes según el tipo de representación utilizada y la completitud de la generalización. Estos autores organizan las respuestas por nivel de dificultad en función del tipo de representación empleada –numérica, simbólica y mediante lenguaje natural– y distinguen, además, si la respuesta explicita solo una de las variables o ambas.
Es importante notar que el esquema de Stephens et al. (2017), basado en datos de pruebas escritas, considera que representar relaciones funcionales mediante lenguaje natural resulta más complejo que hacerlo mediante representación simbólica. No obstante, la cuestión de si el lenguaje natural o el simbólico es más accesible para los estudiantes ha mostrado resultados contradictorios (Kieran, 2022). A pesar de estas discrepancias, ambos modelos coinciden en que los estudiantes, al trabajar con secuencias que covarían, suelen comenzar con enfoques recursivos y de covariación. Luego, un cambio significativo hacia la generalización algebraica ocurre cuando emplean estrategias de correspondencia, representadas inicialmente a través de expresiones numéricas y progresivamente mediante formas de representación más complejas como el lenguaje natural y el simbólico. Por ende, una cuestión central en la evaluación del pensamiento funcional es determinar si los estudiantes son capaces, en primera instancia, de identificar las variables, organizar los datos en tablas e identificar patrones de recursividad y covariación, y, luego, observar si reconocen la correspondencia generalizando la situación a través de registros numéricos, verbales y simbólicos.
Evidencia de validez basada en los procesos de respuesta
La validez es un argumento basado en evidencia empírica y teórica que respalda la interpretación de los puntajes de una prueba diseñada para un uso en particular (AERA; APA; NCME, 2014). Las evidencias que podrían utilizarse para evaluar la validez de las puntuaciones de una prueba provienen de diferentes fuentes, por ejemplo, de su contenido, de la relación con otras variables o del proceso de respuesta, entre otras. Cada una de estas evidencias se unen para formar un argumento respecto a si es válida la interpretación del puntaje para su uso declarado. De ese modo, contar con evidencias de validez es fundamental para decidir respecto del uso de una prueba en particular.
Una de las fuentes de evidencias de validez se relaciona con el proceso de respuesta. Esta fuente de evidencia busca respaldar el adecuado cruce entre el constructo que se evalúa y la naturaleza de la respuesta entregada por quien responde la prueba. Por ejemplo, si una prueba tiene como finalidad evaluar el razonamiento matemático, es importante asegurar que quien responde efectivamente está aplicando dicho razonamiento, y no algún procedimiento que haya conducido al resultado de manera fortuita (AERA; APA; NCME, 2014). Por lo general, esta evidencia proviene del análisis de respuestas individuales que son recolectadas mediante entrevistas cognitivas.
La entrevista cognitiva es una técnica que permite acceder a los procesos mentales de los evaluados cuando responden preguntas de una prueba. Este tipo de entrevistas recogen información verbal adicional sobre la respuesta de un evaluado a una pregunta. De esta manera, la información levantada ayudará a juzgar si la pregunta está generando el proceso mental que el diseñador del ítem pretende (Padilla; Benítez, 2014).
Entre las técnicas para implementar una entrevista cognitiva se encuentran el pensamiento en voz alta y el diseño retrospectivo (Caicedo; Zalazar-Jaime, 2018; Willis, 2019). En la técnica de pensamiento en voz alta, los evaluados verbalizan sus pensamientos a medida que se enfrentan a los ítemes. En cambio, en el diseño retrospectivo, los evaluados responden a los ítemes de la prueba en condiciones similares a las de su futura aplicación y, luego, comienzan la entrevista cognitiva señalando los razonamientos que emplearon para responder. Las ventajas y desventajas de cada técnica han sido estudiadas en la literatura (Conrad; Blair, 2009). Una ventaja de la entrevista retrospectiva es que los evaluados responden a la prueba sin verse expuestos por el entrevistador ni desconcentrarse al verbalizar sus pensamientos, lo que puede ser un elemento importante en preguntas complejas, en las que el proceso puede involucrar varios pasos (Meadows, 2021).
Metodologia
Como una manera de aportar evidencia de validez basada en los procesos de respuesta, este artículo tuvo como propósito analizar en qué medida una prueba que evalúa el pensamiento funcional logra capturar este tipo de razonamiento en estudiantes de 3º grado. Para ello, se analizó el punto en que las interpretaciones realizadas a partir de la prueba coincidían con el razonamiento descrito por los estudiantes en una entrevista cognitiva retrospectiva (Caicedo; Zalazar-Jaime, 2018). De esta manera, se codificaron las respuestas escritas y las de la entrevista y se aplicaron técnicas cuantitativas para identificar el grado de concordancia entre ambas medidas.
Respecto a los aspectos éticos de la investigación, los estudiantes, sus apoderados y el director del establecimiento consintieron voluntariamente su participación en este estudio, y tanto los protocolos seguidos como los consentimientos informados fueron revisados y aprobados por un comité de ética.
Participantes
Participaron 24 alumnos de 3º grado de una escuela pública de Santiago de Chile. Estos alumnos habían participado de una intervención de 6 semanas de duración, cuyo propósito fue desarrollar el pensamiento funcional. Una vez a la semana, los estudiantes trabajaron en una situación funcional, empleando distintas formas de generalización incluida la notación variable. En las sesiones, los estudiantes no estudiaron ni el contexto ni la función abordada en la prueba. La elección de los estudiantes se realizó mediante un muestreo no probabilístico intencional (Castillo; Padilla, 2012) con el propósito de incluir estudiantes tanto de género femenino como masculino y que tuvieran distintos desempeños. Este número de participantes (N=24) es adecuado para levantar evidencias de validez basada en los procesos de respuesta (Padilla; Benítez, 2014; Willis, 2019).
Instrumentos
La prueba se elaboró en torno a uno de los contextos empleados por Blanton et al. (2015) (Figura 1). Todos los ítemes de la prueba se desprenden de este contexto. Se elaboraron 4 grupos de ítemes. El primer grupo evaluó habilidades aritméticas, específicamente, responder casos cercanos y ordenarlos en una tabla. El segundo grupo incluyó preguntas que requerían generalizar la relación funcional de forma numérica, es decir, hallar un resultado numérico para un término lejano de la secuencia. El tercer grupo tuvo solo una pregunta que incluía describir la relación entre las variables usando lenguaje natural. Por último, el cuarto grupo solicitaba expresar la relación usando notación simbólica. Los ítemes, los grupos y las habilidades evaluadas se describen en la Tabla 1. La prueba completa se encuentra disponible en el anexo 1 en dataverse6.
Se construyó un guion con preguntas para cada ítem de la prueba. El guion estuvo orientado por lo que Willson y Miller (2014) definen como rol narrador, en él se le pide a los entrevistados que describan por qué respondieron cada ítem de la manera en que lo hicieron. Por ejemplo, “En el ítem 4 escribiste que en 100 mesas había 200 invitados, ¿por qué pusiste 200? ¿cómo llegaste a ese número?”. Si la respuesta dada por el estudiante explicitaba un razonamiento que fuera claro para el entrevistador se pasaba al siguiente ítem, de lo contrario, se realizaban preguntas adicionales del tipo “creo que no te entendí bien. ¿Me lo podrías explicar nuevamente?”
Para codificar las respuestas de los estudiantes en la prueba y en la entrevista se construyó una rúbrica basada en categorías teóricas. La ventaja de este tipo de rúbrica es que cada nivel de desempeño está descrito de manera cualitativa, lo que facilita la asignación de las respuestas a los diferentes niveles de desempeño (Förster et al., 2017).
Para este estudio, el uso de la rubrica incluye dos pasos. En el primero se codifican las respuestas a cada ítem. A modo de ejemplo, la tabla 2 muestra una parte de la rubrica con los códigos para el ítem 7.
Códigos rubrica ítem 7: “Describe cómo calcular el número de invitados que caben en cualquier número de mesas”
En el segundo paso se categorizó el desempeño de los estudiantes en cada grupo de ítemes (ver Tabla 1) considerando la codificación del primer paso. De esta manera, se les asignó un nivel (alto, medio o bajo). Por ejemplo, si un estudiante obtuvo un buen desempeño en los ítemes 5 y 6, que componen el grupo de generalización numérica, se codificó como nivel alto. La regla de asignación de niveles para cada grupo se describe de manera detallada en el anexo 2 disponible en dataverse.
Aplicación de instrumentos
La prueba fue aplicada por un investigador del proyecto a la semana siguiente de culminar la intervención. Al comienzo de la aplicación, el investigador leyó las preguntas detenidamente y dio la instrucción de escribir en la prueba todos los cálculos realizados. La aplicación tardó 60 minutos, tiempo en el que todos los estudiantes alcanzaron a responder la prueba completa.
Por otra parte, la entrevista retrospectiva se realizó al día siguiente de la prueba en una sala de la escuela en la que se instaló una cámara de video. El entrevistador fue llamando uno a uno a los estudiantes y les entregó su prueba para que recordaran sus respuestas al momento de responder la entrevista.
Proceso de codificación
La rúbrica fue aplicada por dos codificadores de manera independiente y los resultados fueron posteriormente contrastados. Para determinar el grado de concordancia entre los codificadores, se usó el índice Kappa de Cohen para cada ítem. Se obtuvieron valores entre 0,742 y 1, lo que indica un grado de concordancia adecuado (Cerda; Villarroel, 2008). Los desacuerdos fueron discutidos y consensuados para llegar a una única codificación.
Para ejemplificar el proceso de codificación, la figura 2 muestra la respuesta de dos estudiantes al ítem 7. La respuesta de E02 fue codificada con el código “C” (descrito en la tabla 2) y la respuesta de E29 fue codificada como “J”.
Las entrevistas fueron transcritas y dos codificadores, de manera independiente, asignaron a cada respuesta el código de la rubrica que mejor reflejaba el razonamiento descrito por el estudiante. Se estimó el índice de Kappa de Cohen para describir el grado de concordancia entre los codificadores para cada ítem. Los valores oscilaron entre 0,646 y 1, lo que se considera un acuerdo adecuado. Las discrepancias fueron discutidas y consensuadas.
Para ejemplificar este proceso de codificación, se presentan fragmentos de las entrevistas realizadas a dos estudiantes, E08 y E16, cuando respondieron a la pregunta ¿cómo llegaste a tu respuesta en el ítem 5? Pese a que ambas estudiantes habían escrito en su prueba la misma respuesta incorrecta: 102 invitados, las entrevistas mostraron razonamientos distintos. Los fragmentos y el análisis se muestran a continuación:
E08: Aquí sí me equivoque.
I: A ver, cuéntame.
E08: Lo que pasa es que tendría que sumar 100 más 100 más 2, y me equivoque y puse 102. I: ¿Y por qué tendrías que sumar 100 más 100 más 2?
E08: Porque en la parte de arriba, siempre, como en esta, siempre sale la misma cantidad de invitados y siempre hay dos, por eso 100 más 100 más 2, 202.
E16: Me di cuenta que yo no podía hacer 100 mesas porque me duraría hasta mañana. Entonces, pues lo imaginé en mi mente y supe que eran 102, porque iba de dos en dos... por eso 100+2.
Al analizar la entrevista se determinó que E08, pese a haber cometido un error de cálculo, identificaba correctamente la estructura de la situación funcional (código A). En cambio, E16, identificó solo una de las operaciones involucradas (código B1).
Análisis
A partir de las codificaciones realizadas, se definieron para cada estudiante las siguientes variables: el desempeño en cada ítem de la prueba y en cada ítem de la entrevista; el desempeño en cada grupo de ítemes de la prueba y, por último, en cada grupo de ítemes de la entrevista. Para analizar el grado de concordancia entre los códigos asignados en la prueba y la entrevista, se calcularon los porcentajes de coincidencia correspondientes para cada ítem y grupo de ítemes.
Luego, para estudiar la relación entre las respuestas obtenidas en la entrevista y en la prueba, se utilizó el coeficiente de correlación tau de Kendall (Kendall, 1938). Este coeficiente permite establecer asociaciones entre variables ordinales. En consecuencia, dado que las variables en este estudio corresponden a categorías ordinales de desempeño derivadas de la evaluación, este coeficiente resulta especialmente adecuado para establecer asociaciones entre ellas.
Ahora bien, para dar cuenta del desempeño general en la prueba, se establecieron cinco categorías basadas en el modelo teórico empleado (ver Tabla 3). Todos los estudiantes fueron categorizados en una de ellas en función del desempeño obtenido en los grupos de ítemes, a excepción de 2 estudiantes cuyos desempeños no se ajustaron al modelo. Por esa razón, se estableció una sexta categoría denominada trayectoria irregular.
Criterio de asignación de categoria de desempeño en función de los resultados por grupo de ítem
Las categorías de desempeños, incluida trayectoria irregular, fueron transformadas a variables ordinales para poder estudiar su correlación. El orden de las categorías definidas de mayor a menor sofisticación fue el siguiente: funcional simbólico, funcional verbal, funcional numérico, trayectoria irregular, pensamiento aritmético y bajo desempeño. Se ubicó la categoría trayectoria irregular por sobre pensamiento aritmético, ya que todos los casos correspondían a estudiantes que habían logrado desempeño alto en los ítemes de generalización numérica, pero habían obtenido desempeño medio o bajo en todos los otros grupos de ítemes.
Resultados
A continuación, se presentan los porcentajes de concordancia entre los códigos asignados a partir de la entrevista y de la prueba para cada ítem (ver Tabla 4). Se aprecia una coincidencia superior al 90% en los ítems p1, p2, p3a, p3b, p5 y p8, mientras que el ítem que alcanzó la menor coincidencia (58.5%) fue el ítem 7.
Porcentaje de coincidencia entre el código asignado a partir de la prueba y la entrevista para cada ítem
En los ítemes que evaluaron habilidades aritméticas (ítemes p1 a p4) se observó que aquello que los estudiantes respondieron en la prueba coincidió en mayor medida con lo que expresaron en la entrevista.
En los ítemes P5 y P6 (relacionados con la generalización de la situación funcional a casos lejanos), hubo un 91,7% y un 83,3% de coincidencia entre la prueba y la entrevista respectivamente. Para estos casos se observó que quienes respondieron los ítemes de manera correcta, efectivamente, realizaron los razonamientos anticipados, es decir, generalizaron la estructura de la situación funcional (el doble más dos) para números específicos. Las diferencias entre el código asignado a partir de la prueba y de la entrevista fue mayor en el caso del ítem 6 y corresponden a estudiantes que llegaron a resultados equivocados mediante procedimientos correctos sin incluir los cálculos en su respuesta, por ejemplo, E14 expresó “sumé 204 más 204 más 2 y me dio 500”. Debido a que varios estudiantes cometieron un error de cálculo al sumar 408+2, una versión futura de la prueba debería considerar la modificación del item p6, reemplazando el valor de 204, por ejemplo, por 203, para evitar este tipo de error.
El ítem P8 también mostró un porcentaje alto de coincidencia (91%) entre la prueba y la entrevista, lo que sugiere que los estudiantes en su mayoría escribieron las expresiones algebraicas que consideraron adecuadas para representar la relación observada.
El ítem que mostró la menor coincidencia (58,5%) entre la prueba escrita y la entrevista fue el ítem P7. Este requería que los estudiantes escribieran en sus palabras una descripción de la relación entre las variables. Las discrepancias en los códigos se debieron a que, en general, las respuestas de los estudiantes fueron más completas en la entrevista. Por ejemplo, E06, quien en la prueba escribió “que se le sume 2”, explicó en la entrevista: “quería explicar, pero no me salía la explicación, así que puse que se le sume 2” y, luego, proporcionó una explicación que demostraba su comprensión de la estructura de la situación funcional. Otro ejemplo fue E01, quien en su prueba escribió la relación sin nombrar variables (código C en Tabla 2), pero en la entrevista las señaló claramente, por lo que obtuvo el código A.
La Tabla 5 muestra el porcentaje de coincidencia entre los grupos de ítemes evaluados en la prueba y en la entrevista, en ella se observa se observa que en todos los grupos la coincidencia es sobre 83%. Nuevamente, el grupo con una menor coincidencia fue el que contenía el ítem P7. En general, se observa que la agrupación de ítemes y la definición de los niveles alto, medio y bajo permitió aunar distintos desempeños cuyo código daba cuenta de un rendimiento similar, lo que se traduce en una mejora de los porcentajes de coincidencia. En el caso del ejemplo anterior, los desempeños de E01 en la prueba (código C) como en la entrevista (código A) fueron codificados como altos.
Porcentaje de coincidencia entre el código asignado a partir de la prueba y la entrevista para cada grupo de ítems
La tabla 6 presenta los resultados del análisis de correlación entre la prueba y la entrevista, tanto para cada grupo de ítemes como para la categoría de desempeño general en la prueba. Se identificó una correlación alta y estadísticamente significativa entre los grupos de ítemes, lo que muestra que, a pesar de discrepancias observadas y descritas previamente, las medidas asignadas para cada grupo de ítemes van en la misma dirección. Además, la categoría de desempeño final mostró una correlación alta y significativa (τb=0,913, p < 0,001; N=24), lo que sugiere que las conclusiones relacionadas con el pensamiento funcional de los estudiantes, derivadas de la prueba, se alinean en gran medida con las deducciones extraídas de las entrevistas.
Correlación entre la prueba y la entrevista por grupos de ítems y por categoría de desempeño
Por último, el gráfico de la figura 3 presenta la correlación entre las categorías de desempeño general obtenidas a partir de la prueba y la entrevista. La mayoría de los casos (19 de 24) se encuentran en la diagonal del gráfico, lo que muestra coincidencia entre ambos instrumentos. En los casos en los que no hubo coincidencia, la entrevista situó a los estudiantes en una categoría de desempeño de un nivel mayor al de la prueba, es decir, la prueba tendió a subestimar el desempeño de estos 5 estudiantes.
Gráfico de dispersión entre las categorías de desempeño asignadas a partir de la prueba y de la entrevista
Respecto a los casos que no están en la diagonal, tres estudiantes (E06, E12 y E14) se concentran en el mismo punto. En los tres casos se trata de estudiantes que en la prueba quedaron caracterizados con la categoría funcional numérico, pero en la entrevista se determinó que estaban en funcional verbal. Estos estudiantes no pudieron responder el ítem 7 en la prueba escrita, pero lo hicieron correctamente en la entrevista. Los otros dos puntos se debieron a aspectos menos frecuentes. E08 pasó de la categoría pensamiento aritmético a funcional numérico, ya que respondió de manera incorrecta los ítemes de generalización numérica y al entrevistarlo se pudo constatar que solo se debía a errores de cálculo. Mientras que E27 había quedado categorizada en trayectoria irregular en la prueba por no responder los ítemes P1 y P2 y solo realizar dibujos. Sin embargo, en la entrevista evidenció conocer los resultados, por lo que se le asignó la categoría funcional numérico.
Discusión
Las pruebas diseñadas para evaluar el pensamiento funcional a menudo parten de la premisa de que los estudiantes, al responder los distintos ítemes, aplicarán razonamientos tales como identificar patrones y generalizar las relaciones entre variables. Analizar hasta qué punto los estudiantes efectivamente emplean estos razonamientos constituye un tipo de evidencia crucial. Este estudio se propuso aportar evidencia de validez basada en los procesos de respuesta (AERA; APA; NCME, 2014), determinando en qué medida las interpretaciones derivadas de una prueba diseñada para evaluar el pensamiento funcional de estudiantes de 3º grado coincidían con los razonamientos expresados por los estudiantes en una entrevista cognitiva. El análisis de concordancia entre la prueba y la entrevista permitió identificar aquellos ítemes en los que se presentaron las mayores discrepancias. En términos generales, se encontró una correlación alta y significativa (N=24) entre el nivel de pensamiento funcional atribuido a través de la prueba y el determinado mediante la entrevista, lo que permite sustentar que la prueba desencadena el proceso mental que busca medir.
En concordancia con otros autores como Radford (2018), Stephens et al. (2017) y Blanton et al. (2015), el instrumento desarrollado en este estudio permitió identificar una trayectoria discernible en la evolución del pensamiento funcional de los estudiantes, en ella se distinguen categorías de desempeño que muestran distintos niveles de sofisticación. La categoría pensamiento aritmético identificó a los estudiantes que solo pudieron trabajar con casos cercanos y registrar algunos datos en una tabla. La categoría funcional numérico agrupó a quienes lograron establecer una relación de correspondencia y aplicarla a casos remotos, pero no articularon reglas generales. En la categoría funcional verbal, los estudiantes no solo generalizaron mediante registros numéricos, sino que también pudieron hacerlo a través del lenguaje natural escrito o hablado de forma indeterminada. La categoría funcional simbólico identificó estudiantes que generalizaron utilizando todos los registros de representación, incluyendo la notación variable.
A diferencia de Stephens et al. (2017), en el presente estudio no se observa que los estudiantes utilicen registros simbólicos sin la habilidad de expresar la relación en palabras, ya sean escritas o habladas. Es decir, aquellos estudiantes que logran generalizar correctamente mediante notación variable, también son capaces de expresar la relación en lenguaje natural, aunque algunos puedan tener dificultades para expresar sus ideas por escrito. En concordancia con autores como Radford (2018) y Pinto y Cañadas (2021), nuestros hallazgos sugieren que los estudiantes tienden a expresar la relación entre variables a través del lenguaje natural antes de adquirir la representación simbólica.
Al llevar a cabo un análisis detallado de las correspondencias entre la prueba y la entrevista en relación con cada ítem, se encontró que las discrepancias más importantes se presentaron en el ítem 7, en el que se solicitaba a los estudiantes que escribieran en sus propias palabras la relación existente entre las variables. Se observó que solo el 58% de los estudiantes contestó en la prueba aquello que sabía, mientras que el 42% restante, elaboró respuestas más completas durante la entrevista. Esto sugiere que redactar una regla funcional generalizada puede ser complejo para varios estudiantes. Lo anterior, es consistente con estudios que señalan las dificultades que enfrentan los estudiantes de esta edad para expresar ideas matemáticas por escrito (Blackstock-Bernstein et al., 2022; Hughes et al., 2020).
Considerar este aspecto puede ser relevante al establecer conclusiones basadas en este tipo de ítemes. Por ejemplo, en el estudio de Stephens et al. (2017), que empleó instrumentos escritos, se reportó que los estudiantes hallaban más sencillo expresar la generalización mediante notación variable que a través de palabras. Los resultados del presente estudio sugieren que la dificultad para generalizar usando lenguaje natural podría estar más asociada con el registro escrito que con el lenguaje natural en sí.
Por último, en el análisis de la categoría de desempeño general asignada, se observó que en el 79% de los estudiantes evaluados (19 de 24), la prueba y la entrevista coincidieron en su clasificación. En los casos restantes (21%), la prueba subestimó el nivel que se les atribuyó según la entrevista. Estas discrepancias se encontraron principalmente en estudiantes clasificados en la categoria funcional numérico. Para estos estudiantes, la entrevista permitió precisar su capacidad de generalizar reglas funcionales mediante lenguaje natural. Estos resultados sugieren que la aplicación del instrumento podría beneficiarse de la incorporación de entrevistas breves que complementen la prueba, focalizadas en el ítem 7 y en estudiantes de la categoría funcional numérico. Esta adaptación metodológica podría enriquecer la evaluación del pensamiento funcional sin depender excesivamente de las habilidades de redacción de los estudiantes.
Conclusiones
Este estudio aporta evidencia de validez basada en los procesos de respuesta que respalda las interpretaciones derivadas de una prueba escrita, diseñada para evaluar el pensamiento funcional en estudiantes de 3º grado (9-10 años). En términos generales, el instrumento analizado –compuesto por la prueba y una rubrica– capturó de manera fiable el pensamiento funcional de los estudiantes. Un hallazgo relevante fue que el item con mayor discrepancia entre la prueba y la entrevista involucraba la redacción de la relación funcional usando lenguaje natural. Esto sugiere que futuras investigaciones podrían considerar la inclusión de herramientas complementarias, como entrevistas breves, para examinar si estudiantes caracterizados en la categoría funcional numérico pueden expresar sus generalizaciones mediante lenguaje natural independientemente de sus habilidades de redacción.
Si bien estos hallazgos son significativos, es importante señalar que la evidencia fue obtenida en un curso de educación primaria de una escuela pública de nivel socioeconómico bajo. Para evaluar su aplicabilidad en otros contextos, sería necesario realizar análisis de validez adicionales con estudiantes de distintos niveles socioeconómicos. Esta ampliación permitiría no solo explorar la generalidad de las conclusiones, sino también determinar si las dificultades con el lenguaje escrito se presentan en otros grupos sociodemográficos. Además, cabe señalar que los procesos de respuesta corresponden a una de varias posibles fuentes de evidencia de validez, por lo que futuros estudios podrían indagar en otras fuentes para robustecer la validez de las interpretaciones derivadas de la prueba.
1 - Disponibilidad de datos:
El conjunto de datos que respalda los resultados de este estudio están disponibles en Harvard Dataverse y se puede acceder a ellos en https://doi.org/10.7910/DVN/4JALQ7
-
2 - Agradecimientos:
Esta investigación se realizó en el marco del proyecto FONDECYT de postdoctorado No. 3220465, financiado por la Agencia Nacional de Investigación y Desarrollo (ANID) de Chile y el Núcleo Milenio para el Estudio del Desarrollo Temprano de Habilidades Matemáticas (MEMAT).
-
6
Anexos disponibles en dataverse: https://doi.org/10.7910/DVN/4JALQ7
-
Editora responsable:
Profa. Dra. Tatiana Hochgreb-Haegele
Fuente: Elaboración propia.
Fuente: Datos de la investigación.
Fuente: Datos de la investigación.