Algunas adaptaciones requeridas para la evaluación de titulaciones que son impartidas a través de modalidades no presenciales

Escribe Lorenzo García Aretio

Bajo el título de este post aparece uno de los apartados del “Informe sobre el estado de la evaluación externa de la calidad en las universidades españolas”, correspondiente al último año y que me fue solicitado por ANECA como Titular de la Cátedra UNESCO de Educación a Distancia (CUED) que soy. Les interesaba alguna opinión relativa a las adaptaciones que podrían realizarse con respecto a los procesos de evaluación externa de la calidad de las titulaciones de las universidades españolas.

Como figura en la primera página del Informe, y para entender mejor el alcance del informe, colaboraron en la elaboración del mismo:

Coordinadora de Representantes de Estudiantes de Universidades Públicas -CREUP-, Agencia Andaluza del Conocimiento –DEVA-AAC-, Agencia Canaria de Calidad Universitaria y Evaluación Educativa –ACCUEE-, Agencia de Calidad del Sistema Universitario Vasco – Unibasq-, Agencia de Calidad y Prospectiva Universitaria de Aragón –ACPUA-, Agència de Qualitat Universitària de les Illes Balears –AQUIB-, Agencia para la Calidad del Sistema Universitario de Castilla y León –ACSUCYL-, Agència per a la Qualitat del Sistema Universitari de Catalunya –AQU Catalunya-, Agencia Valenciana d’Avaluació i Prospectiva –AVAP-, Axencia para a Calidade do Sistema Universitario de Galicia –ACSUG- y Fundación para el Conocimiento Madrimasd –Madri+d-, Asociación Iberoamericana de Educación Superior a Distancia (AIESAD) con Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia (CALED) y Cátedra UNESCO de Educación a Distancia de la UNED (CUED), y Comité Español de Representantes de Personas con Discapacidad (CERMI) con Fundación ONCE.

Pueden acceder al texto completo de dicho informe desde el sitio web oficial de ANECA. Por mi parte, me voy a limitar a transcribirles el texto elaborado por mí con la colaboración que solicité a otros expertos, entendidos en las peculiaridades de los sistemas abiertos, a distancia y en línea. Ésta fue la aportación que desde la Cátedra UNESCO de Educación a Distancia realicé.

___________________________________

La literatura científica desde hace años viene aportando evidencias sobre la calidad, eficacia y eficiencia de los programas educativos impartidos con metodología a distancia, generalmente hoy a través de tecnologías digitales. Cierto es que esas modalidades pueden invitar a generar productos académicos de escasa calidad amparados en unas corrientes que vienen a relacionar, sin sólidos argumentos, la innovación tecnológica con la calidad de los procesos educativos.

Resulta evidente que, al igual que existen procesos y productos educativos convencionales, de carácter presencial, que encierran diferentes niveles de eficacia y eficiencia, no debería dudarse de la excelente calidad que pueden alcanzar programas impartidos bajo la modalidad a distancia, que al igual que en los formatos presenciales, siempre que las diferentes variables organizativas y curriculares muestren los estándares requeridos.

Dada la proliferación de titulaciones que, cada vez más, se están impartiendo a través de entornos virtuales y otras que, progresivamente, van introduciendo en sus diseños el uso de tecnologías digitales, las diferentes agencias de evaluación deben estar atentas a estos modelos educativos y adecuar sus criterios de evaluación, tanto en los procesos de verificación como de acreditación de las diferentes titulaciones.

Los protocolos de verificación y acreditación actuales, en principio se pensaron para titulaciones impartidas en formatos presenciales, si bien es cierto que algunas agencias fueron posteriormente modulando y adaptando algunos criterios. De ahí que se hayan podido producir algunas disfunciones o desencuentros cuando se ha procedido a la evaluación de titulaciones impartidas íntegramente a distancia. No se pone en duda que en dichos protocolos existen criterios, buena parte de ellos, que son igualmente válidos para formatos presenciales y a distancia. Sin embargo, cuando se observan resultados de estas evaluaciones y, más aún, cuando se desarrollan las propias sesiones de las comisiones en los centros a distancia, llegan a producirse algunas situaciones que muestran falta de criterio o deficiente adaptación de los criterios existentes al aplicarlos a realidades diferentes. Analicemos algunos de ellos, agrupados según las dimensiones que aparecen en los protocolos.

Respecto a los criterios que hacen referencia a la Dimensión “Gestión del título”, podrían ser los mismos en una y otra modalidad. Más allá de lo que supone la, generalmente, mayor  transparencia en la información y difusión de los servicios que ofrecen las instituciones a distancia a los estudiantes a través de la Web. Estos centros suelen igualmente ofrecer planes de acogida a los estudiantes de nuevo ingreso que pudieran estar menos habituados al estudio no presencial.

En la Dimensión “Recursos” la valoración del personal académico y de apoyo habría de adecuarse al modelo concreto de educación a distancia que imparte la institución. En la presencial un profesor habitualmente es responsable de una asignatura que se imparte a un determinado grupo. En los modelos a distancia, generalmente, las asignaturas son impartidas por equipos docentes a un gran número de estudiantes. Equipos docentes que pueden estar apoyados por profesores-tutores, coordinados por aquellos y que pueden impartir tutorías presenciales y virtuales.

En cuanto a la carga docente de las instituciones a distancia, en cursos con gran número de estudiantes suele ser habitual que varios profesores, equipos docentes, atienden la docencia de varias asignaturas afines, pertenecientes todas a una misma materia con un reparto muy flexible y ajustable de trabajo, más por tareas docentes específicas que por asignaturas.

Respecto a los recursos materiales e infraestructuras, los matices son grandes. No son comparables las necesidades de servicios e infraestructuras en instituciones presenciales o a distancia. Sin embargo, sí que deberá mantenerse la exigencia en las titulaciones a distancia de las garantías suficientes para la realización de las prácticas presenciales que se puedan suponer como necesarias, con el apoyo en su caso, de los laboratorios y talleres simulados y remotos. Finalmente, los recursos tecnológicos y los servicios y unidades a ellos ligados deben comportar un apartado fundamental en la evaluación de titulaciones a distancia, tales como las tecnologías propiamente dichas -hard y soft- y los servicios de apoyo al profesorado: para el diseño de la asignatura y de los materiales didácticos, para el desarrollo y seguimiento de la acción pedagógica y para los procesos de evaluación de los estudiantes).

Dimensión referida a los “Resultados”. Sería interesante destacar que lo que debemos perseguir en los procesos de evaluación son los resultados, y en este caso los “learning outcomes”. Y esos deben ser comparables sea la modalidad que fuere. Podría haber diferencias en determinadas competencias (autodisciplina, selección de información en la red, etc…) pero no debería haber diferencias en el “saber” alcanzado.

En esta dimensión existen diferencias sustanciales, inicialmente, las referidas al perfil del estudiante a distancia, su edad, su dedicación generalmente parcial por sus ocupaciones familiares y profesionales. Igualmente, las actividades formativas, las metodologías docentes y los sistemas de evaluación se conforman de manera distinta en una y otra modalidad. En los formatos no presenciales, debería resultar relevante centrarse en la infraestructura tecnológica integral, tanto en la formación y apoyo a los docentes como en lo referente al diseño, desarrollo de materiales y seguimiento del proceso de aprendizaje, así como en todos los elementos administrativos y de servicios que los estudiantes necesiten más allá de las aulas.

Respecto a las garantías en cuanto a la identidad de los estudiantes y la autoría de las actividades entregadas, conviene resaltar que en todas aquellas actividades que no se hacen delante de un profesor y en un entorno controlado, el fraude en los exámenes, el plagio o la suplantación de identidad en determinados trabajos entregados, son problemas comunes y similares, sea en universidades presenciales o a distancia. Es decir, en la mayor parte de actividades de evaluación fuera de los exámenes presenciales, las dificultades y por tanto los niveles de incertidumbre son los mismos en ambas modalidades. Más allá de las posibilidades de la videoconferencia y los video mensajes que pueden dar fe de la identidad.

Las modalidades a distancia mediadas por tecnologías, generalmente, facilitan contextos de evaluación enriquecidos gracias a: una mayor personalización del proceso evaluativo; una evaluación diagnóstica previa mediante pruebas en línea; mayor diversidad de técnicas e instrumentos de evaluación formativa continuada gracias al feedback automático; posibilidad de portfolios en línea y seguimiento de la realización de actividades; herramientas tecnológicas para el trabajo colaborativo; realización de prácticas en entornos simulados o remotos controlados por tecnologías; herramientas de comunicación para la evaluación de competencias escritas y orales; mayor posibilidad de seguimiento y apoyo, síncrono y asíncrono para la evaluación; apoyo a la gestión de la evaluación mediante rúbricas en línea; acceso a un número sustancialmente mayor de datos individuales y grupales (analíticas de aprendizaje), …

En definitiva, en las modalidades a distancia mediadas por tecnologías, los registros en línea ofrecen una gran transparencia, tanto del trabajo realizado por los estudiantes fuera del aula (ya sea de manera individual o grupal), mediante el registro que sus actividades dejan en la plataforma, como de las actividades de tutorización y seguimiento llevadas a cabo por los docentes en respuesta a las necesidades y dudas de los estudiantes, también reflejadas en las plataformas virtuales, lo que genera un gran conocimiento de cada estudiante y de sus posibilidades a la hora de adoptar un criterio final de evaluación y una huella del trabajo de cada profesor.

En relación a los indicadores de satisfacción y rendimiento, una de las cuestiones problemáticas en los formatos a distancia tiene que ver con los resultados obtenidos en las tasas de abandono y de egreso. Y ello porque en el cálculo de las mismas se vienen aplicando los mismos criterios que a las universidades presenciales.

Respecto al abandono o tasas de deserción, sería conveniente diferenciar entre el abandono antes de los primeros exámenes, sin que el estudiante haya procedido realmente a iniciar sus estudios, y la no re-matriculación tras haber cursado alguna/s asignatura/s el primer año. Las tasas de abandono en los sistemas a distancia están vinculadas muy fuertemente a traslados de expedientes a otras universidades para, tras las primeras asignaturas superadas, continuar los estudios en instituciones presenciales.

Cabe referirse, por otro lado, al hecho de que algunas universidades a distancia, por la función social que les ha sido encomendada, no presentan nota de corte de entrada, mostrando una gran heterogeneidad frente a las universidades presenciales convencionales, dado que un elevado porcentaje de sus estudiantes son adultos, a tiempo parcial y con una formación previa muy diversa. Estas razones, no solo están en la base de las mayores tasas de abandono informadas por todas las instituciones a distancia nacionales e internacionales, sino también en la menor tasa de egreso, así como del egreso más tardío, dado que el ritmo de estudio es necesariamente más lento al ser inferior el número de créditos matriculados anualmente.

Sabemos que la tasa de egreso en los grados, que refleja aquellos estudiantes que, matriculándose a tiempo completo (de más de 45 ECTS anuales) son capaces de completar 240 ECTS en 4 o 5 años, sólo puede aplicarse a universidades presenciales cuyos estudiantes son mayoritariamente jóvenes (estudiantes “profesionales”) que no tienen responsabilidades familiares ni profesionales.  Esta tasa difícilmente debería aplicarse a universidades a distancia. El perfil de estos estudiantes en grados es muy diferente al de las universidades presenciales. Una gran parte de ellos son personas entre 36 y 55 años que estudian mayoritariamente para enriquecer su visión del mundo o para promocionar en sus puestos de trabajo y que acceden a la universidad con una formación muy diversa. Teniendo en cuenta este perfil, la mayoría de estos estudiantes se matriculan mayoritariamente a tiempo parcial, por lo que, aun siendo máximamente eficientes, es imposible que se puedan graduar en 4 o 5 años. Y esa tasa de abandono temprano (fundamentalmente en el 1º curso) también incide en el cálculo de la tasa de graduación.

En consecuencia, el no requerimiento de nota de corte para primer ingreso, las diferencias en formación previa y el estudio a tiempo parcial, marcan diferencias claras con los estudiantes de las universidades presenciales, lo que debería tenerse en cuenta necesariamente en la consideración de los indicadores de rendimiento como las tasas de abandono y egreso.

Lorenzo García Aretio. Titular de la Cátedra UNESCO de Educación a Distancia

Citar así esta entrada:
García Aretio, L. (26/10/2017). Algunas adaptaciones requeridas para la evaluación de titulaciones que son impartidas a través de modalidades no presenciales (17,10). Contextos universitarios mediados. (ISSN: 2340-552X). Recuperado de http://aretio.hypotheses.org/2414.

Tomado de Contextos Universitarios Mediados, con permiso de su autor