Medida del rendimiento académico en las evaluaciones PISA: luces y sombras

 Por Fernando Martínez Abad[i] Universidad de Salamanca

A pesar de la existencia de numerosas evaluaciones educativas internacionales relevantes en las que participa España (e.g., ICCS, ICILS, PIAAC, PIRLS, TIMSS), parece que el sistema educativo entra en crisis solo cuando la Organización para la Cooperación y el Desarrollo Económicos (OCDE) publica una nueva edición del Programa para la Evaluación Internacional de Alumnos (PISA). Edición tras edición, esta evaluación del rendimiento en Ciencias, Lectura y Matemáticas de los estudiantes de 15 años suscita un enorme interés tanto a nivel social como académico, generando controversias y acalorados debates sobre el futuro y presente de nuestros sistemas educativos y, fundamentalmente, sobre su eficacia.

Este es el caso de la reciente publicación de los resultados de PISA 2022, en los que aparentemente España no sale bien parada. A falta de análisis menos sensacionalistas y más profundos desde el mundo académico, han corrido ríos de tinta sobre los pobres resultados de los estudiantes españoles y sobre el inexorable declive observado en los sistemas educativos de los países miembro de la OCDE. Llegados a este punto, resulta necesario promover en el ámbito educativo una reflexión más pausada sobre la naturaleza, fortalezas y debilidades de PISA, abordando tres cuestiones fundamentales: ¿En qué medida son fiables los resultados obtenidos en las evaluaciones PISA? ¿Hasta qué punto son comparables los resultados obtenidos por los estudiantes entre países y ediciones? ¿Cómo podemos aprovechar los datos disponibles en PISA para analizar y mejorar los sistemas educativos?

En primer lugar, gracias al esfuerzo de la OCDE y de las administraciones educativas de los países participantes, contamos con muestras representativas tanto de estudiantes como de centros educativos en todos estos países, siendo posible también obtener muestras representativas de las distintas regiones del país. Es el caso de España, que desde la edición de 2015 incluye una muestra representativa para cada Comunidad Autónoma (en PISA 2022 la muestra española alcanzó los 30.800 estudiantes, repartidos en 966 escuelas).

Como añadido al rendimiento en ciencias, lectura y matemáticas, PISA incluye una evaluación a las familias, estudiantes, profesorado y equipos directivos de otros factores educativos (clima escolar, competencias socioemocionales del estudiante, recursos escolares, empleo de las TIC dentro y fuera del aula, metodologías docentes, entorno socioeconómico y cultural familiar, etc.). El  proceso de construcción y medida de todos los instrumentos de evaluación aplicados está documentado en sus manuales técnicos (OECD, 2018).

Así, aunque existen algunas críticas a las metodologías aplicadas[1], la comunidad académica acepta de manera generalizada la fiabilidad técnica de las pruebas PISA y su potencial para la evaluación diagnóstica de los sistemas educativos. No obstante, debemos tener en cuenta que la OCDE emplea un enfoque competencial en la evaluación del rendimiento académico de las tres materias evaluadas (OECD, 2023), vinculado a una perspectiva utilitarista de la educación. Dada la falta de ajuste entre la evaluación de PISA y los currículos nacionales, cabe preguntarnos si es deseable adaptar nuestros contenidos curriculares a la concepción de competencia en ciencias, lectura y matemáticas propuesta por la OCDE.

En segundo lugar, aunque realiza esfuerzos en el procesamiento y adaptación de los datos para facilitar que las distintas ediciones sean comparables, la propia OCDE recomienda ser cuidadosos con las comparaciones tanto por países como, fundamentalmente, entre ediciones diferentes[2]. El modo de aplicación de los instrumentos de evaluación, la metodología aplicada para la obtención de las puntuaciones de rendimiento, o la propia definición y los ítems de medida de las materias evaluadas han ido cambiando a lo largo del tiempo, lo cual dificulta la comparabilidad entre ediciones. Además, cambios importantes en los indicadores sociodemográficos de los países participantes en distintas ediciones pueden afectar a las tendencias.

Otra cuestión relevante es que PISA aplica una evaluación con respecto a la norma, no con respecto al criterio, de modo que estima el rendimiento de cada estudiante en relación al nivel alcanzado por el resto de estudiantes muestreados en esa edición. Así, las puntuaciones promedio obtenidas por los estudiantes de una región o país no reflejan exactamente la mejora bruta de estos estudiantes con respecto a las ediciones anteriores, sino su mejora relativa comparada con los estudiantes de otros países o regiones. De hecho, tanto los países participantes en PISA como los países miembro de la OCDE han ido cambiando con el tiempo, lo que complica y sesga aún más posibles comparaciones a lo largo del tiempo.

Por tanto, aunque técnicamente los datos de PISA están concebidos para ser comparables entre ediciones, existen numerosos sesgos conceptuales y formales que dificultan el estudio de la evolución de las puntuaciones en un sistema educativo concreto. Igualmente, aunque las comparaciones entre países o regiones son menos problemáticas, deben tenerse en cuenta las grandes diferencias organizacionales, culturales, económicas, etc. entre las distintas regiones y sistemas educativos del mundo. Así, debemos ser claros: comparar el nivel de rendimiento bruto informado por PISA entre países, regiones, escuelas o estudiantes con unas condiciones demográficas, culturales o socioeconómicas muy dispares no tiene sentido, y puede llevar a conclusiones incorrectas e incluso nocivas.

Fuente: Pexels

Toda esta reflexión nos lleva a una respuesta más o menos clara a la tercera cuestión planteada al inicio. El potencial que atesoran las evaluaciones internacionales como PISA no está en la comparación entre sistemas educativos, en la fiscalización de la evolución de las puntuaciones a lo largo del tiempo, o en la lucha por estar en las primeras posiciones en los rankings. En cambio, PISA es una herramienta muy valiosa para conocer el funcionamiento de los factores personales, familiares y escolares asociados al rendimiento en el sistema educativo de nuestro país o región, y para entender los mecanismos que hacen aprender mejor a nuestros estudiantes teniendo en cuenta sus distintas condiciones socioeconómicas y culturales. Solo bajo esta perspectiva es posible aprovechar PISA para la mejora efectiva de las políticas y prácticas educativas.

Este es el enfoque de la investigación educativa sobre eficacia escolar, que ha crecido de manera importante en los últimos años fundamentalmente gracias a la proliferación de las evaluaciones educativas internacionales. La investigación en eficacia escolar busca analizar en profundidad entornos escolares altamente eficaces, es decir, que son capaces de desarrollar las capacidades y competencias de sus estudiantes independientemente de sus condiciones socioeconómicas, demográficas o culturales. El objetivo final es detectar las buenas prácticas desarrolladas en estos centros educativos e informar sobre las mismas para promover la mejora educativa en entornos similares. Se pueden encontrar en España algunos buenos ejemplos al respecto (Azkarate Morales et al., 2019; Gamazo et al., 2018; Lizasoain Hernández et al., 2012; Murillo Torrecilla, 2000, 2008).

Referencias:

Azkarate Morales, A., Bartau Rojas, I., & Lizasoain Hernández, L. (2019). Hábitos y valores del alumnado en centros de primaria de alta eficacia escolar. ESE: Estudios sobre educación, 37, 199-222.

Gamazo García, A., Martínez Abad, F., Olmos Migueláñez, S., & Rodríguez Conde, M. J. (2018). Evaluación de factores relacionados con la eficacia escolar en PISA 2015. Un análisis multinivel. Revista de educación, 379, 56-84.

Lizasoain Hernández, L., & Angulo Vargas, A. (2019). La eficacia escolar en el País Vasco. DYLE: Dirección y liderazgo educativo, 2, 9-11.

Murillo Torrecilla, F. J. (2007). La investigación sobre eficacia escolar. Octaedro. https://octaedro.com/libro/la-investigacion-sobre-eficacia-escolar/

Murillo Torrecilla, F. J. (2008). Hacia un modelo de eficacia escolar. estudio multinivel sobre los factores de eficacia de las escuelas españolas. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(1), 4-28.

OECD. (2017). PISA 2018. Technical Report. OECD Publishing. https://www.oecd.org/pisa/data/2015-technical-report/PISA2015_TechRep_Final.pdf

OECD. (2023). PISA 2022 Assessment and Analytical Framework. OECD Publishing. https://www.oecd.org/publications/pisa-2022-assessment-and-analytical-framework-dfe0bf9c-en.htm

Cómo citar esta entrada:

Martínez Abad, Fernando (2024). Medida del rendimiento académico en las evaluaciones PISA: luces y sombras. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/14892

Tomado de Aula Magna 2.0 

Robótica y programación en Primaria para una generación digitalmente competente

 Tomado de RIED

La incorporación de la robótica y la programación por bloques en la educación primaria representa un avance significativo en la metodología de enseñanza, adaptándose a las exigencias del siglo XXI. 

José Manuel Sáez López y su equipo, desde la Universidad Nacional de Educación a Distancia (UNED) de España, destacan en su estudio la relevancia de integrar estos elementos desde las primeras etapas educativas. 

Este enfoque no solo enriquece el proceso de aprendizaje activo, sino que también facilita la comprensión de conceptos computacionales fundamentales como secuencias, bucles y condicionales, promoviendo un mayor interés y participación por parte de los estudiantes.

El estudio, realizado con 107 alumnos de quinto grado de primaria, demuestra mejoras significativas en el entendimiento de conceptos básicos de la computación y en la interacción didáctica, gracias a la implementación de un diseño cuasi-experimental que combina la teoría constructivista de aprender haciendo con la práctica a través de herramientas como robots programables. 

Los resultados apuntan hacia una mejora en las habilidades de pensamiento lógico y resolución de problemas, así como un incremento en la motivación, compromiso y disfrute de los alumnos. 

Estas conclusiones subrayan la importancia de adaptar los recursos tecnológicos a las necesidades educativas de los estudiantes, abriendo camino a futuras investigaciones sobre la implementación efectiva de la robótica y programación por bloques en el ámbito escolar.

CONSULTE EL ARTÍCULO COMPLETO AQUÍ

---

Cómo citar: Sáez-López, J. M., Buceta Otero, R., y De Lara García-Cervigón, S. (2021). Introducing robotics and block programming in elementary education. RIED-Revista Iberoamericana de Educación a Distancia, 24(1), 95-113. https://doi.org/10.5944/ried.24.1.27649

Tomado del Blog RIED

STEM y las tecnologías emergentes necesarias en un contexto de IA

 Por Paola Dellepiane

STEM en sus siglas en inglés- es un concepto que agrupa las áreas de Ciencia, Tecnología, Ingeniería y Matemáticas. Fue acuñado en los años 90 por la National Science Foundation, para hacer referencia a una nueva manera de enseñar.

Cuando hablamos de enseñanza de STEM no nos referimos únicamente a la denominación de una serie de asignaturas o ámbitos de conocimiento independiente, sino también a una visión integradora de la enseñanza que interconecta con experiencias educativas de diferentes ámbitos. STEM no solo supone habilidades tecnológicas y digitales sino también habilidades interpersonales.

Sabemos que la Tecnología educativa contribuye en los procesos de comunicación de los diferentes recursos educativos, de tal forma que sirvan para mejorar los procesos de enseñanza y de aprendizaje. Dentro de las líneas de investigación en Tecnología educativa hay aspectos que son relevantes para el estudio de STEM, como el análisis de la competencia digital a través de estrategias para la mejora de los procesos de enseñanza, como ser la clase invertida, la gamificación, la realidad aumentada o realidad virtual. Así, a medida que se consolida el enfoque, la implementación de la educación STEM en los planes de estudio de formación docente es clave para el desarrollo de la competencia digital docente y la integración de tecnologías emergentes como parte integral de la enseñanza de las ciencias.

En el marco de un enfoque pedagógico, se presenta una oportunidad para aprovechar las posibilidades que ofrece la Tecnología educativa para optimizar la enseñanza de los contenidos STEM. No se trata sólo de incorporar herramientas TIC en el aula, sino de integrarlas con una justificación e intencionalidad pedagógica clara mediante una acción didáctica planificada. Para ello, es clave la competencia digital docente, que va mucho más allá de usar las tecnologías, pues supone conocimientos y capacidades para poder llevar a cabo procesos de selección e integración curricular de estas tecnologías.

Adicionalmente, la inercia del sistema en su conjunto a los intentos de reforma e innovación que parten de las instancias de planeamiento entran en claro contraste con las experiencias disruptivas e innovadoras que surgen en la práctica cotidiana en múltiples escuelas y aulas. Esto abre a la pregunta sobre si no es necesario partir de una construcción desde abajo -las aulas y las prácticas docentes cotidianas- hacia arriba en las reformas curriculares o en las prácticas pedagógicas y de gestión, aunque también, y al mismo tiempo, sobre cómo potenciar el rol del Estado en sus intentos de reforma e innovación.

El libro Tecnologías y pedagogía para la enseñanza STEM presenta parte de este doble planteamiento al proponer aprovechar las condiciones que ya proporciona el marco normativo para la construcción de reformas desde abajo hacia arriba. La viabilidad de muchas de las reformas, sobre todo si se las concibe desde abajo hacia arriba, implica la creación de espacios en los cuales se pueda construir una práctica novedosa que responda a las nuevas necesidades que la sociedad propone a la escuela. Uno de estos espacios que consideramos indispensables es el de un aprendizaje basado en proyectos transversales a las disciplinas, entrelazados con los aprendizajes extraescolares cotidianos de los estudiantes y enmarcados en un tipo de evaluación formativa y procesual.

Hablar de tecnologías significa abordar uno de los contenidos propios de este ámbito disciplinar de las STEM, como son los algoritmos, el pensamiento computacional, la robótica, la programación, contenidos vinculados con la realidad virtual y aumentada, etc., pero a la par, significa trabajar con estas herramientas en tanto recursos para la enseñanza. “Es por tanto un contenido pero a la vez un recurso que debe ser integrado en una estrategia y una metodología de enseñanza” (pp 18). 

Hacer preguntas, indagar, plantear hipótesis, esbozar respuestas y repetir procesos, son fundamentales para desarrollar las competencias de pensamiento crítico, creatividad, expresión oral y escrita, entre otras, tan necesarias para el futuro no solo de la educación, sino de la sociedad en general. Podemos hablar así de un “movimiento maker” como paraguas de esta gran variedad de actividades que van desde la artesanía tradicional a la electrónica de alta tecnología, que incorpora también el interés en hacer cosas por uno mismo pero a la vez en colaboración con otros. 

La cultura maker constituye una filosofía para repensar nuestra forma de intervenir en el mundo y de comprender que los aprendizajes se materializan a través de la concreción de proyectos. Nos invita a pensar en que estamos en un proceso de revalorización del hacer como forma de aprendizaje, rescatando las enseñanzas de Seymour Papert y de las pedagogías activas . Es una invitación “al hacer para crear, en lugar del hacer para reproducir lo que ya está dado”. 

El libro Tecnologías y pedagogía para la enseñanza STEM se propone dar a conocer los enfoques educativos que implican trabajar desde la perspectiva STEM en el aula, así como las estrategias y recursos digitales que pueden utilizarse para trabajar en este ámbito. Sin dudas, trabajar contenidos STEM en las aulas es algo más que enseñar Ciencias y Matemáticas. implica incorporar metodologías específicas para enseñar STEM. 

El libro está organizado en dos bloques temáticos que recogen tanto una aproximación teórica y de investigación como una aproximación educativa innovadora desde la experiencia real y práctica de docentes en actividad en los diferentes niveles educativos. 

El primero de los bloques pone énfasis en cuestiones relacionadas con la enseñanza científica en el siglo XXI, abordando modelos y estrategias, así como también analiza algunas de las tecnologías avanzadas para la enseñanza de las STEM, como la robótica, realidad aumentada y realidad virtual, plataformas digitales, que se pueden incorporar en este ámbito y su impacto. Este primer bloque está conformado por 8 capítulos en los que se proponen proyectos como CREATE-Skills, un proyecto financiado por la Unión Europea cuya finalidad ha sido el uso de estrategias innovadoras y tecnologías digitales para para la enseñanza de STEM en educación primaria. En otro capítulo se presenta la relación existente entre las competencias digitales y los enfoques y la evolución de la enseñanza de las ciencias, aprendizaje basado en el juego y la gamificación para la enseñanza STEM, analizando estrategias didácticas y cómo se podrían utilizar en el aula. Adicionalmente, se expone el potencial de la impresión 3D en el mundo de la educación. Otro de los capítulos analiza cómo debemos plantear la formación docente ante los retos que supone la innovación en la enseñanza de STEM. Sin dudas, un nuevo enfoque implica necesariamente una adecuada capacitación del profesorado. Cerrando el bloque, un capítulo aborda un tema de gran interés social, que es la enseñanza y el trabajo con las STEM desde una perspectiva de género, haciendo al respecto un análisis profundo de la visión europea y latinoamericana. 

El segundo bloque presenta innovaciones y experiencias prácticas de enseñanza STEM apoyadas en tecnologías. Se centra en analizar experiencias reales de la enseñanza científica en distintos niveles y etapas para poder extraer de estas experiencias sugerencias, recomendaciones, recursos reutilizables e ideas prácticas. Se trata de conocer y abordar en profundidad los últimos enfoques y herramientas que se pueden utilizar en todos los niveles educativos para el desarrollo de las competencias científico-técnicas y la competencia digital, desde el enfoque de enseñanza centrada en las STEM. Se presentan recomendaciones básicas, estrategias y actividades para la enseñanza de las STEM en los distintos niveles educativos: educación infantil, primaria y secundaria. Así, los temas abordados en este bloque refieren al pensamiento computacional y las metodologías activas para la enseñanza de las STEAM con tecnologías en Educación Infantil y Primaria; La realidad virtual para el desarrollo de las competencias STEAM. El último capítulo se centra en la perspectiva universitaria, realizando un estudio de la relación existente entre tecnología, recursos digitales y su aplicación a las materias STEM. 

Un trabajo interdisciplinario y un enfoque de enseñanza basado en proyectos potencia básicamente la integración de Ciencia, Tecnología, Matemática e Ingeniería (STEM). Y todo esto no es posible si no propiciamos desde el aula estrategias metodológicas para establecer conexiones entre las actividades de creación y los contenidos curriculares, a través del trabajo colaborativo y la integración de otras capacidades que nos permitan conectar, contemplar, construir y continuar. Esta obra ofrece ideas muy potentes para pensar las disciplinas STEM como modelos pedagógicos que conectan con la vida real y las competencias del siglo XXI en la era la Inteligencia Artificial. 

Tomado de Aplicaciones educativas en entornos virtules

ChatGPT vs. Gemini: Una comparación

Tomado de Universo Abierto

ChatGPT vs. Gemini: Una comparación

Gemini de Google está conectado a Internet en tiempo real, lo que significa que puede acceder y procesar información del mundo real a medida que se genera. Esto le permite ofrecer respuestas más precisas y actualizadas

Gemini de Google es un modelo de lenguaje grande (LLM) al igual que ChatGPT, pero con un enfoque particular en la precisión y la información factual, especialmente en temas técnicos. A diferencia de ChatGPT, que se centra en la fluidez y la creatividad de las conversaciones, Gemini se orienta a la exactitud y la confiabilidad de la información que proporciona.

Esta diferencia se refleja en el tamaño y la capacidad de ambos modelos. ChatGPT, con 1.5B de parámetros, se entrena en un conjunto de datos de texto y código, mientras que Gemini, con 540B de parámetros, se entrena en un conjunto de datos masivo que incluye información técnica y científica.

Similitudes:

• Modelos de lenguaje grandes: Ambos pueden generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder a sus preguntas de manera informativa.
• Aún en desarrollo: Ambos están constantemente aprendiendo y mejorando, y pueden tener errores factuales o malentendidos ocasionales.
• Niveles gratuitos disponibles: Ambos ofrecen versiones gratuitas con capacidades limitadas, con opciones de pago para más funciones.
• Ambos tienen versiones de pago. Gemini Avanced

Diferencias:

ChatGPT:

• Se enfoca en formatos de texto creativo: Conocido por su capacidad para generar poemas, código, guiones, piezas musicales, correos electrónicos, cartas, etc.
• Desarrollo OpenAI: Desarrollado por OpenAI, una empresa de investigación centrada en la inteligencia artificial.
• Acceso: Tiene una base de usuarios más amplia y más información disponible en línea.
• Posibles sesgos: Ha sido criticado por posibles sesgos en sus resultados, lo que requiere una evaluación cuidadosa por parte del usuario.

Gemini:

• Se enfoca en la precisión fáctica y la recuperación de información: Más adepto a responder preguntas de manera completa e informativa, basándose en el conocimiento fáctico.
• Desarrollo de Google: Desarrollado por Google AI, conocido por su experiencia en modelos de lenguaje grandes y tecnología de búsqueda.
• Modelo más nuevo: Menos utilizado que ChatGPT, con información limitada disponible en línea en comparación con su competidor.
• Énfasis en la seguridad: Diseñado con principios de seguridad en mente, con el objetivo de mitigar posibles daños como la generación de contenido dañino.

La elección entre ellos depende de sus necesidades:

• Para escritura creativa y formatos de texto: ChatGPT podría ser una mejor opción debido a su gama más amplia de capacidades creativas.
• Para información fáctica y respuestas completas: Gemini podría ser una mejor opción debido a su enfoque en la precisión y la recuperación de información.

En última instancia, la mejor manera de decidir es probar ambos y ver cuál prefiere.

Tomado de Universo Abierto