Medida del rendimiento académico en las evaluaciones PISA: luces y sombras

 Por Fernando Martínez Abad[i] Universidad de Salamanca

A pesar de la existencia de numerosas evaluaciones educativas internacionales relevantes en las que participa España (e.g., ICCS, ICILS, PIAAC, PIRLS, TIMSS), parece que el sistema educativo entra en crisis solo cuando la Organización para la Cooperación y el Desarrollo Económicos (OCDE) publica una nueva edición del Programa para la Evaluación Internacional de Alumnos (PISA). Edición tras edición, esta evaluación del rendimiento en Ciencias, Lectura y Matemáticas de los estudiantes de 15 años suscita un enorme interés tanto a nivel social como académico, generando controversias y acalorados debates sobre el futuro y presente de nuestros sistemas educativos y, fundamentalmente, sobre su eficacia.

Este es el caso de la reciente publicación de los resultados de PISA 2022, en los que aparentemente España no sale bien parada. A falta de análisis menos sensacionalistas y más profundos desde el mundo académico, han corrido ríos de tinta sobre los pobres resultados de los estudiantes españoles y sobre el inexorable declive observado en los sistemas educativos de los países miembro de la OCDE. Llegados a este punto, resulta necesario promover en el ámbito educativo una reflexión más pausada sobre la naturaleza, fortalezas y debilidades de PISA, abordando tres cuestiones fundamentales: ¿En qué medida son fiables los resultados obtenidos en las evaluaciones PISA? ¿Hasta qué punto son comparables los resultados obtenidos por los estudiantes entre países y ediciones? ¿Cómo podemos aprovechar los datos disponibles en PISA para analizar y mejorar los sistemas educativos?

En primer lugar, gracias al esfuerzo de la OCDE y de las administraciones educativas de los países participantes, contamos con muestras representativas tanto de estudiantes como de centros educativos en todos estos países, siendo posible también obtener muestras representativas de las distintas regiones del país. Es el caso de España, que desde la edición de 2015 incluye una muestra representativa para cada Comunidad Autónoma (en PISA 2022 la muestra española alcanzó los 30.800 estudiantes, repartidos en 966 escuelas).

Como añadido al rendimiento en ciencias, lectura y matemáticas, PISA incluye una evaluación a las familias, estudiantes, profesorado y equipos directivos de otros factores educativos (clima escolar, competencias socioemocionales del estudiante, recursos escolares, empleo de las TIC dentro y fuera del aula, metodologías docentes, entorno socioeconómico y cultural familiar, etc.). El  proceso de construcción y medida de todos los instrumentos de evaluación aplicados está documentado en sus manuales técnicos (OECD, 2018).

Así, aunque existen algunas críticas a las metodologías aplicadas[1], la comunidad académica acepta de manera generalizada la fiabilidad técnica de las pruebas PISA y su potencial para la evaluación diagnóstica de los sistemas educativos. No obstante, debemos tener en cuenta que la OCDE emplea un enfoque competencial en la evaluación del rendimiento académico de las tres materias evaluadas (OECD, 2023), vinculado a una perspectiva utilitarista de la educación. Dada la falta de ajuste entre la evaluación de PISA y los currículos nacionales, cabe preguntarnos si es deseable adaptar nuestros contenidos curriculares a la concepción de competencia en ciencias, lectura y matemáticas propuesta por la OCDE.

En segundo lugar, aunque realiza esfuerzos en el procesamiento y adaptación de los datos para facilitar que las distintas ediciones sean comparables, la propia OCDE recomienda ser cuidadosos con las comparaciones tanto por países como, fundamentalmente, entre ediciones diferentes[2]. El modo de aplicación de los instrumentos de evaluación, la metodología aplicada para la obtención de las puntuaciones de rendimiento, o la propia definición y los ítems de medida de las materias evaluadas han ido cambiando a lo largo del tiempo, lo cual dificulta la comparabilidad entre ediciones. Además, cambios importantes en los indicadores sociodemográficos de los países participantes en distintas ediciones pueden afectar a las tendencias.

Otra cuestión relevante es que PISA aplica una evaluación con respecto a la norma, no con respecto al criterio, de modo que estima el rendimiento de cada estudiante en relación al nivel alcanzado por el resto de estudiantes muestreados en esa edición. Así, las puntuaciones promedio obtenidas por los estudiantes de una región o país no reflejan exactamente la mejora bruta de estos estudiantes con respecto a las ediciones anteriores, sino su mejora relativa comparada con los estudiantes de otros países o regiones. De hecho, tanto los países participantes en PISA como los países miembro de la OCDE han ido cambiando con el tiempo, lo que complica y sesga aún más posibles comparaciones a lo largo del tiempo.

Por tanto, aunque técnicamente los datos de PISA están concebidos para ser comparables entre ediciones, existen numerosos sesgos conceptuales y formales que dificultan el estudio de la evolución de las puntuaciones en un sistema educativo concreto. Igualmente, aunque las comparaciones entre países o regiones son menos problemáticas, deben tenerse en cuenta las grandes diferencias organizacionales, culturales, económicas, etc. entre las distintas regiones y sistemas educativos del mundo. Así, debemos ser claros: comparar el nivel de rendimiento bruto informado por PISA entre países, regiones, escuelas o estudiantes con unas condiciones demográficas, culturales o socioeconómicas muy dispares no tiene sentido, y puede llevar a conclusiones incorrectas e incluso nocivas.

Fuente: Pexels

Toda esta reflexión nos lleva a una respuesta más o menos clara a la tercera cuestión planteada al inicio. El potencial que atesoran las evaluaciones internacionales como PISA no está en la comparación entre sistemas educativos, en la fiscalización de la evolución de las puntuaciones a lo largo del tiempo, o en la lucha por estar en las primeras posiciones en los rankings. En cambio, PISA es una herramienta muy valiosa para conocer el funcionamiento de los factores personales, familiares y escolares asociados al rendimiento en el sistema educativo de nuestro país o región, y para entender los mecanismos que hacen aprender mejor a nuestros estudiantes teniendo en cuenta sus distintas condiciones socioeconómicas y culturales. Solo bajo esta perspectiva es posible aprovechar PISA para la mejora efectiva de las políticas y prácticas educativas.

Este es el enfoque de la investigación educativa sobre eficacia escolar, que ha crecido de manera importante en los últimos años fundamentalmente gracias a la proliferación de las evaluaciones educativas internacionales. La investigación en eficacia escolar busca analizar en profundidad entornos escolares altamente eficaces, es decir, que son capaces de desarrollar las capacidades y competencias de sus estudiantes independientemente de sus condiciones socioeconómicas, demográficas o culturales. El objetivo final es detectar las buenas prácticas desarrolladas en estos centros educativos e informar sobre las mismas para promover la mejora educativa en entornos similares. Se pueden encontrar en España algunos buenos ejemplos al respecto (Azkarate Morales et al., 2019; Gamazo et al., 2018; Lizasoain Hernández et al., 2012; Murillo Torrecilla, 2000, 2008).

Referencias:

Azkarate Morales, A., Bartau Rojas, I., & Lizasoain Hernández, L. (2019). Hábitos y valores del alumnado en centros de primaria de alta eficacia escolar. ESE: Estudios sobre educación, 37, 199-222.

Gamazo García, A., Martínez Abad, F., Olmos Migueláñez, S., & Rodríguez Conde, M. J. (2018). Evaluación de factores relacionados con la eficacia escolar en PISA 2015. Un análisis multinivel. Revista de educación, 379, 56-84.

Lizasoain Hernández, L., & Angulo Vargas, A. (2019). La eficacia escolar en el País Vasco. DYLE: Dirección y liderazgo educativo, 2, 9-11.

Murillo Torrecilla, F. J. (2007). La investigación sobre eficacia escolar. Octaedro. https://octaedro.com/libro/la-investigacion-sobre-eficacia-escolar/

Murillo Torrecilla, F. J. (2008). Hacia un modelo de eficacia escolar. estudio multinivel sobre los factores de eficacia de las escuelas españolas. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(1), 4-28.

OECD. (2017). PISA 2018. Technical Report. OECD Publishing. https://www.oecd.org/pisa/data/2015-technical-report/PISA2015_TechRep_Final.pdf

OECD. (2023). PISA 2022 Assessment and Analytical Framework. OECD Publishing. https://www.oecd.org/publications/pisa-2022-assessment-and-analytical-framework-dfe0bf9c-en.htm

Cómo citar esta entrada:

Martínez Abad, Fernando (2024). Medida del rendimiento académico en las evaluaciones PISA: luces y sombras. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/14892

Tomado de Aula Magna 2.0