Evaluación de recursos, asignaturas y programas en EaD (C.EaD-90)

 Por Lorenzo García Aretio

AUDIO   –   VÍDEO

Todas las entradas de la serie “80 años. Compendio EaD”, VER AQUÍ

En educación a distancia (EaD), como venimos señalando en este módulo, la calidad no es un sello abstracto ni un expediente administrativo que se archiva al término del curso. La calidad se hace visible allí donde el Diálogo Didáctico Mediado (DDM) (García Aretio, 2001; 2025) articula, de forma coherente, la intencionalidad pedagógica del diseño y del proceso, la interacción educativa y las mediaciones de todo tipo que posibilitan aprender sin depender de la distancia, ni del tiempo, ni de las condiciones personales del estudiantado. Evaluar, en este contexto, significa comprobar:

• si ese entramado intencionalidad–diálogo–mediación despliega experiencias comprensibles, accesibles y exigentes;
• si produce evidencias válidas del logro;
• si permite retroalimentar (feedback) con oportunidad y sentido; y
• si, de una iteración a otra, la institución aprende y mejora lo que ofrece.

Esta entrada integra dos planos que con frecuencia se abordan por separado, recursos, materiales y plataforma (nivel micro), y asignaturas, cursos y programas (nivel meso), porque, en la práctica, se influyen mutuamente. En el micro, la evaluación se centra en la calidad de la “Mediación“:

• claridad de orientaciones, pertinencia y actualización de materiales y recursos tecnológicos,
• accesibilidad conforme a las Pautas de Accesibilidad para el Contenido Web (Web Content Accessibility Guidelines WCAG),
• diseño inclusivo atendiendo al Diseño Universal para el Aprendizaje (Universal Design for Learning, UDL/DUA), y
• experiencia de usuario (User Experience, UX) en la plataforma de gestión del aprendizaje (Learning Management System, LMS).

En el meso, se pasa de la calidad de la mediación a poner el foco en lo “Didáctico” en la coherencia curricular (alineamiento constructivo de resultados–actividades–evaluación), la progresión, la equidad y la mejora continua, apoyándose en instrumentos como el mapa curricular que hace visibles lagunas, solapamientos y fricciones (Biggs y Tang, 2011; Harden, 2001).

Resulta aconsejable que para anclar decisiones y evitar inspecciones subjetivas, nos apoyemos en marcos contrastados y observables, como éstos:

• la Rúbrica de Quality Matters para Educación Superior (Quality Matters Higher Education Rubric, QM) para el nivel de curso;
• el Manual E-xcellence de EADTU para el nivel de programa en línea o híbrido;
• WCAG y UDL para accesibilidad y diseño inclusivo; y
• ISO/IEC 40180 como vocabulario de referencia para describir propiedades de calidad en e-learning.

Leídos en clave DDM, no son listas de casillas, sino instrumentos para decidir mejor, dado que ayudan a ver dónde se interrumpe el diálogo formativo, qué ajustes tienen mayor impacto y cómo evidenciar el aprendizaje más allá de indicadores indirectos poco fiables (por ejemplo, la mera “satisfacción” o el “tiempo en pantalla”) (EADTU, 2016; Quality Matters, 2021; W3C/WAI, 2024; CAST, 2024; ISO, 2017).

Pero, atención, la evaluación agrega valor real cuando cierra el bucle, es decir, cada revisión debe traducirse en cambios y, después, en seguimiento del efecto de esos cambios. Por ello, además de “qué mirar”, se propone cómo organizar una práctica evaluativa proporcionada, accionable y honesta que, en ciclos breves, mejore la docencia, los recursos y la experiencia del estudiantado (Banta y Blaich, 2011).

EL DDM COMO BRÚJULA EVALUATIVA: “CALIDAD” EN EL MICRO Y EN EL MESO

El DDM sostiene que una EaD de calidad emerge cuando confluyen tres engranajes inseparables: diálogo educativo (humano, simulado o asistido por inteligencia artificial) que acompaña, orienta y retroalimenta; intencionalidad pedagógica explícita (metas valiosas, actividades coherentes, evaluación pertinente, criterios transparentes y ética del cuidado); y mediación tecnológica, humana, institucional…, que hacen posible ese diálogo sin co-presencia, garantizando accesibilidad y continuidad (García Aretio, 2001, 2014, 2017, 2025). Evaluar no consiste en sumar ítems cumplidos, sino en evidenciar que ese entramado posibilita comprender lo esperado, realizar lo propuesto y acreditar con rigor lo alcanzado, garantizando la equidad.

Veamos una serie de posibles preguntas operativas que podrían ayudarnos en este empeño (Biggs y Tang, 2011; Harden, 2001; Garrison et al., 2000). En el micro, podrían ser:

• ¿los resultados de aprendizaje son claros y medibles?,
• ¿las instrucciones y ejemplos permiten iniciar la tarea sin ambigüedades?,
• ¿los criterios están visibles en el punto de acción (rúbrica en la tarea)?,
• ¿la retroalimentación llega a tiempo y orienta el siguiente paso?,
• ¿la accesibilidad efectiva —no solo declarativa— está resuelta?,
• ¿la experiencia de usuario (UX) evita fricciones innecesarias?

En el meso, interesaría la coherencia programática:

• ¿dónde se introducen, desarrollan y dominan los resultados del programa?,
• ¿cómo se evidencian en tareas integradoras?,
• ¿qué brechas de equidad persisten y cómo actuar sobre ellas?

EVALUAR RECURSOS, MATERIALES Y PLATAFORMA (NIVEL MICRO)

Criterios pedagógicos: claridad, alineamiento y retroalimentación

En el nivel micro nos situamos en el diseño concreto de cada asignatura o curso en su aula virtual, es decir, recursos, actividades, consignas, criterios y evaluaciones que el estudiantado encuentra al acceder al entorno digital. En este plano pedagógico-didáctico, el alineamiento constructivo (Biggs y Tang, 2011), la coherencia y la concordancia ofrecen una buena guía, concretada en que unos resultados de aprendizaje claros y medibles orientan la metodología, las actividades y las evaluaciones que, de forma explícita, miden lo que declaran medir. A escala de curso, la rúbrica de Quality Matters (Quality Matters, QM) desglosa ese alineamiento en estándares observables (Quality Matters, 2021):

• inicio del curso claro (qué hacer primero),
• objetivos medibles y apropiados al nivel,
• evaluaciones y criterios ubicados donde el estudiante actúa,
• interacción y apoyos planificados,
• materiales relevantes y actualizados.

En clave DDM, la claridad de la orientación (microtextos que responden “qué hago ahora y cómo sabré que lo he hecho bien”), la visibilidad de criterios y una retroalimentación oportunamente distribuida, específica y orientada al siguiente paso constituyen piezas del diálogo formativo (García Aretio, 2011, 2017).

Evaluar recursos implica muestrear piezas reales (vídeos, guías, foros, tareas) y leer sus efectos, como instrucciones ambiguas, criterios escondidos o ejemplos inexistentes que se asocian a reintentos fallidos y frustración. A la inversa, materiales con ejemplos modelo, rúbricas claras y síntesis docentes periódicas (resumen de dudas frecuentes, pistas para mejorar) reducen fricción y sostienen la presencia docente en el curso (Garrison et al., 2000).

Accesibilidad efectiva y diseño inclusivo: WCAG y UDL

En el nivel micro, la accesibilidad ha de ser efectiva en cada recurso y en cada paso relevante de las tareas. Las Pautas de Accesibilidad para el Contenido Web (Web Content Accessibility Guidelines, WCAG) concretan criterios verificables (texto alternativo, navegación por teclado, foco visible, contraste suficiente, objetivos táctiles adecuados, ayudas para evitar y recuperar errores, entre otros). El Diseño Universal para el Aprendizaje (Universal Design for Learning, UDL/DUA) recuerda que el diseño debe ofrecer múltiples vías de representación, de acción/expresión y de compromiso, anticipando barreras (W3C/WAI, 2024; CAST, 2024).

Evaluar recursos, desde esta perspectiva, exige probar con herramientas, revisar plantillas y, sobre todo, verificar en tareas críticas del curso (subir, entregar, revisar feedback) que el estudiante puede actuar sin obstáculos. La accesibilidad no es posproducción, sino decisión de diseño: subtitulado correcto, descripciones de imágenes, encabezados semánticos, formularios con etiquetas claras.

Usabilidad y experiencia de usuario (UX)

Más allá de WCAG, la usabilidad y la experiencia del usuario (UX) inciden directamente en la posibilidad real de diálogo en cada aula virtual. Heurísticas consolidadas. como:

• visibilidad del estado,
• correspondencia con el mundo real,
• control y libertad,
• consistencia,
• prevención de errores,
• reconocimiento mejor que recuerdo,
• eficiencia,
• diseño minimalista, y
• ayudas para recuperarse.

Todas ellas permiten inspeccionar aulas virtuales y tareas y detectar etiquetas opacas, rutas laberínticas, botones indistinguibles o mensajes de error que no enseñan a corregir. Esta evaluación debe completarse con pruebas con usuarios que pueden revelar fricciones invisibles a los expertos y aportan la voz del estudiantado como evidencia (Nielsen Norman Group, 1994).

Criterios técnico-funcionales e interoperabilidad

En un curso excelente, la infraestructura nunca debe estorbar. La evaluación del micro incluye:

• estabilidad, rendimiento y seguridad, con monitorización y planes de contingencia;
• interoperabilidad (integración limpia con el LMS y herramientas; metadatos y licencias claras para reutilización y apertura responsable); y
• trazabilidad suficiente para aprender de incidencias sin invadir privacidad.

La Norma ISO/IEC 40180 aporta un marco descriptivo para propiedades de calidad en e-learning que ayuda a nombrar y acordar expectativas entre áreas académicas y técnicas (ISO, 2017), siempre referidas aquí al funcionamiento de los cursos y sus recursos.

EVALUAR ASIGNATURAS Y PROGRAMAS (NIVEL MESO)

Coherencia curricular: del alineamiento de curso al programa que aprende

En el nivel meso, la unidad de análisis ya no son los recursos aislados, sino cada asignatura en su conjunto y el programa (titulación, plan de estudios) en el que se inscribe. Un programa de calidad no es la simple suma de asignaturas bien valoradas por separado. La coherencia horizontal (entre asignaturas del mismo tramo) y vertical (progresión hacia los resultados finales) se examina mediante el mapa curricular: para cada resultado del programa se identifica dónde se introduce, desarrolla y domina (modelo I-D-D), con qué apoyos y con qué evidencias (Harden, 2001). El mapa revela lagunas y solapamientos que no se perciben en revisiones atomizadas y ayuda a ordenar cargas (evitar picos simultáneos de tareas de alta exigencia sin soporte).

Leído con el DDM, ese mapa muestra también dónde se hace visible, a escala de asignatura y de programa, la presencia docente (orientaciones y feedback), la presencia social (interacciones significativas) y la presencia cognitiva (síntesis e integración), en la línea del modelo de comunidad de indagación (Community of Inquiry, CoI) (Garrison et al., 2000).

Evidencias con sentido: validez, ganancia y transferencia

A nivel meso interesa menos la media de calificaciones y más qué evidencias muestran que el estudiantado comprende, integra y transfiere lo aprendido a situaciones nuevas. De ahí la importancia de tareas integradoras, proyectos aplicados, portafolios con rúbricas y muestras de trabajos que evidencien progreso respecto al punto de partida. Evaluar con validez implica alinear lo que se pide con lo que se pretende acreditar como logro formativo.

Una rúbrica con descriptores de desempeño reduce subjetividad y hace legible el criterio. Agregadas a nivel de programa (analizando tendencias por asignaturas y a lo largo del plan de estudios), estas evidencias permiten identificar puntos críticos (tareas con reintentos fallidos, conceptos mal anclados) que reclaman rediseño o mayor apoyo (Biggs y Tang, 2011).

Equidad y accesibilidad como condiciones de calidad

La equidad no se infiere de promedios. El meso debe identificar brechas por subgrupos (perfil de entrada, franjas horarias, conectividad) y actuar con diseño DUA, apoyos específicos y vías equivalentes de demostración del logro (CAST, 2024). La accesibilidad efectiva (WCAG) no es solo un deber legal/ético sino que impacta en la persistencia y en el rendimiento. Un programa de calidad vigila estas dimensiones y documenta qué cambia cuando se detecta una brecha (W3C/WAI, 2024).

De “muchas métricas” a “pocos indicadores accionables”

La inflación de indicadores opaca decisiones. Los paneles de programa deberían contener pocos indicadores que los equipos puedan mejorar (si un indicador no informa una decisión, fuera). Considerar:

• visibilidad de criterios,
• oportunidad del feedback,
• desempeño en tareas críticas e integradoras,
• reentrega con mejora,
• persistencia y
• brechas en actividades clave, accesibilidad efectiva en muestras de cursos.

Estos indicadores guían dónde mirar y qué probar, no sustituyen la lectura humana del contexto (Banta y Blaich, 2011).

MÉTODOS E INSTRUMENTOS: DE LA REVISIÓN POR PARES A LAS PRUEBAS CON USUARIOS

Revisión por pares con marcos explícitos (QM y E-xcellence)

Las revisiones por pares derivan en listas inconexas si no hay marcos compartidos.

• Para curso/asignatura, la Rúbrica QM traduce el alineamiento y la claridad en estándares observables (inicio, objetivos, evaluación, interacción y apoyo, materiales, tecnología, accesibilidad, mejoras).
• Para programa, el Manual E-xcellence ofrece criterios y referencias en diseño, impartición, soporte a estudiantes y docentes, organización y mejora, con especial sensibilidad a lo online/blended (Quality Matters, 2021; EADTU, 2016).

Un protocolo claro, alcance, criterios, evidencias a consultar, roles y calendario, convierte la revisión en diagnóstico accionable y comparable.

Pruebas con usuarios y voz estudiantil como evidencia

La evaluación no puede descansar solo en encuestas poscurso. Pruebas con usuarios (breves, centradas en tareas) y grupos focales orientados a coherencia y carga agregada aportan evidencias cualitativas difíciles de ignorar. Hallazgos típicos  como “no encuentro la rúbrica”, “no sé si ya entregué”, “no veo el progreso”, suelen resolverse con ajustes de diseño de alto impacto y bajo coste (etiquetas, ubicación de criterios, panel de progreso explícito). Incorporar sistemáticamente la voz estudiantil convierte la experiencia del alumnado en dato que orienta decisiones (Nielsen Norman Group, 1994).

Analítica con finalidad pedagógica y lectura humana

La analítica del aprendizaje es útil si sirve a la finalidad pedagógica, respeta la proporcionalidad y se interpreta con contexto humano. Señales como picos de abandono en una tarea o recursos ignorados indican dónde mirar, no qué juzgar. Su valor emerge cuando se combinan con evidencias cualitativas (muestras de trabajos, pruebas con usuarios,  y con criterios claros (qué cambio se introduce y cómo se sabrá si funcionó). Un “tablero mínimo viable” de analítica evita el fetichismo del dato y sostiene micro-intervenciones precisas (Banta y Blaich, 2011).

CALENDARIO Y GOBERNANZA DE LA EVALUACIÓN

Para generar aprendizaje organizativo, conviene un calendario realista y una gobernanza clara. En asignaturas, una revisión ligera antes del inicio (claridad, criterios visibles, accesibilidad) y otra media anual sobre resultados y feedback resultan razonables. En programas, una revisión bienal o trienal con mapa curricular, análisis de tareas y brechas (persistencia, desempeño por subgrupos), y controles semestrales sobre accesibilidad, UX e indicadores clave, permiten sostener la mejora.

La plataforma y servicios asociados requieren monitorización continua de rendimiento y seguridad, revisión trimestral de experiencia de usuario (UX) en tareas críticas y, al menos, revisión anual de arquitectura e interoperabilidad (EADTU, 2016.; ISO, 2017). La coordinación de programa/calidad ha de integrar evidencias, priorizar problemas de alto impacto y alta viabilidad, y asegurar que cada decisión se traduzca en plantillas accesibles, rúbricas comunes, protocolos de revisión y tiempos de respuesta; y que lo que funciona en el micro suba a estándar programático.

Problemas frecuentes (y cómo abordarlos con el DDM en mente)

• Fragmentación: cada docente optimiza su curso sin ver el conjunto. Respuesta: mapa curricular, revisión inter-asignaturas y acuerdos sobre secuencias y cargas; lectura CoI para articular presencias con mediación DDM (Harden, 2001; Garrison et al., 2000).
• Inflación de indicadores: paneles inmanejables. Respuesta: “pocos y accionables”; si un indicador no informa una decisión, fuera (Banta y Blaich, 2011).
• Cumplimiento sin aprendizaje: informes impecables sin cambios reales. Respuesta: exigir evidencia de impacto (qué cambió y qué efecto tuvo) en el siguiente ciclo; si no, replantear hipótesis y cambios (Banta y Blaich, 2011).
• Desigualdades persistentes: brechas que se repiten por cohortes. Respuesta: diseño DUA desde el origen, vías equivalentes de evidencia, apoyos específicos y seguimiento de brechas; accesibilidad efectiva verificada (CAST, 2024; W3C/WAI, 2024).
• Fricciones de UX: rutas confusas, etiquetas opacas, mensajes de error inútiles. Respuesta: heurísticas más pruebas con usuarios y cambios de diseño de bajo coste que impactan en progresión y persistencia (Nielsen Norman Group, 1994).

CONCLUSIONES

Evaluar recursos, asignaturas y programas en EaD es comprobar:

• que la promesa formativa se cumple y que se traduce en experiencias claras, accesibles, exigentes y coherentes;
• que la institución aprende de sus evidencias; y
• que el estudiantado progresa y transfiere lo aprendido.

En el nivel micro, la evaluación con marcos observables. Así, QM para curso, WCAG y DUA para accesibilidad y diseño inclusivo, heurísticas de usabilidad y pruebas de UX, permiten identificar con precisión dónde se interrumpe el diálogo formativo y qué ajustes tienen mayor efecto, como podría ser:

• clarificar instrucciones y criterios,
• acercar los ejemplos al tipo de desempeño esperado,
• asegurar retroalimentación (feedback) oportuna y significativa, y
• resolver barreras técnicas y de diseño que penalizan injustamente a determinados estudiantes.

En el nivel meso, la mirada se amplía hacia la coherencia programática. El alineamiento constructivo y el mapa curricular permiten desvelar la arquitectura real del aprendizaje, es decir, dónde se introduce, se desarrolla y se domina cada resultado.

Con ese análisis se identifican lagunas y solapamientos, y se hacen visibles puntos críticos en los que el DDM debe reforzarse (por ejemplo, consideración insuficiente de criterios o ausencia de tareas integradoras que evidencien comprensión profunda). La equidad y la accesibilidad dejan de ser apéndices para convertirse en condiciones de calidad, porque sin (DUA) y sin (WCAG), el mismo diseño funciona peor para quienes parten con desventaja; esa es, en sí misma, una señal de baja calidad sistémica

Nada de lo anterior sirve si no cierra el bucle. Una evaluación proporcionada, con pocos indicadores accionables y evidencias variadas (muestras de trabajos, rúbricas, pruebas con usuarios, datos de uso contextualizados), debe desembocar en cambios y, después, en seguimiento del efecto. Si el cambio mejora, se estandariza y escala; si no, se reformula la hipótesis y se vuelve a intentar. Este modo de trabajar, breve, honesto y documentado, convierte la calidad en una práctica cotidiana:

• se diseña mejor porque se evalúa mejor;
• se acompaña mejor porque se escucha y se mide con sentido; y
• se aprende mejor porque se conecta lo que sucede en el aula virtual con lo que se decide en la coordinación del programa.

En síntesis, evaluar es enseñar, es decir, la evaluación bien diseñada enseña al estudiante (porque le da criterio y dirección) y enseña a la institución (porque obliga a mirarse con datos y voces y a cambiar). La evaluación, tanto en el micro como en el meso, puede y debe ser el motor de una EaD transformadora, equitativa y sostenible.

CUESTIONES PARA LA REFLEXIÓN Y EL DEBATE

• Si hubiera que seleccionar ocho–doce indicadores para el panel del programa, ¿cuáles serían accionables por el equipo docente (no meros “termómetros”) y cómo se cerraría el bucle de mejora con cada uno?
• ¿Cómo integrar, de forma sistemática, muestras de trabajos y pruebas con usuarios en la revisión bienal/trienal del programa para evidenciar validez y transferencia del aprendizaje (más allá de tasas de aprobado)?

FUENTES

• Banta, T. W., y Blaich, C. (2011). Closing the assessment loop. Change: The Magazine of Higher Learning, 43(1).
• Biggs, J., y Tang, C. (2011). Teaching for quality learning at university (4th ed.). McGraw-Hill/Open University Press.
• CAST. (2024). Universal Design for Learning (UDL) Guidelines 3.0. https://udlguidelines.cast.org/
• EADTU. (3ª ed., 2016).). E-xcellence manual: Quality assessment for blended and online education. https://e-xcellencelabel.eadtu.eu/e-xcellence-review/manual
• García Aretio, L. (2001). La educación a distancia. De la teoría a la práctica. Ariel.
• García Aretio, L. (2011). La calidad y la evaluación en los procesos de enseñanza y aprendizaje digitales. En L. García Aretio (Ed.), De la educación a distancia a la educación virtual. Ariel.
• García Aretio, L. (2014). Bases, mediaciones y futuro de la EaD en la sociedad digital. Síntesis.
• García Aretio, L. (2017). Educación a distancia y virtual: calidad, disrupción, aprendizaje adaptativo y móvil. RIED. Revista Iberoamericana de Educación a Distancia, 20(2), 9–25. https://doi.org/10.5944/ried.20.2.18737
• García Aretio (2025). Diálogo Didáctico Mediado (DDM): Hacia una teoría superadora en educación a distancia. Contextos universitarios mediados.
• Garrison, D. R., Anderson, T., y Archer, W. (2000). Critical inquiry in a text-based environment: Computer conferencing in higher education. The Internet and Higher Education, 2(2–3).
• Harden, R. M. (2001). AMEE Guide No. 21: Curriculum mapping: A tool for transparent and authentic teaching and learning. Medical Teacher, 23(2).
• International Organization for Standardization. (2017). ISO/IEC 40180:2017 — Information technology — Quality for learning, education and training — Fundamentals and reference framework. https://www.iso.org/standard/62825.html
• Nielsen Norman Group. (1994). 10 usability heuristics for user interface design. https://www.nngroup.com/articles/ten-usability-heuristics/
• Quality Matters. (2021). Higher Education Rubric, Sixth Edition (HE Rubric). https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric
• W3C/WAI. (2024). Web Content Accessibility Guidelines (WCAG) 2.2. https://www.w3.org/TR/WCAG22/ 

OpenEdition le sugiere que cite este post de la siguiente manera:
García Aretio (24 de noviembre de 2025). Evaluación de recursos, asignaturas y programas en EaD (C.EaD-90). Contextos universitarios mediados. Recuperado 30 de noviembre de 2025 de https://doi.org/10.58079/1572d