La revisión sistemática de la literatura en investigación educativa: Posibilidades, riesgos y sostenibilidad

 Escribe José Carlos Sánchez Prieto[i]

Secretario de Gestión de la Revista de Investigación Educativa.

La revisión sistemática de la literatura (Systematic Literature Review, SLR) supone una alternativa interesante a la hora de informarse sobre el estado de la cuestión de un tema de investigación, proponiendo un proceso estructurado, consciente, planificado y reproducible, siguiendo un protocolo claro, establecido y aceptado por la comunidad científica (Kitchenham y Charters, 2007).

La realización de este tipo de revisiones y sus derivados (estudios de mapeo, mixto…) es una práctica cada vez más habitual en el ámbito académico, o al menos en el ámbito de las publicaciones científicas, tal y como evidencia el aumento anual de publicaciones recogidas en Google Scholar si introducimos las cadenas de búsqueda “systematic literature review” o “revisión sistemática de la literatura” (figura 1).

Figura 1. Número aproximado de resultados obtenidos en Google Scholar para cadenas de búsqueda “systematic literature review” y “revisión sistemática de la literatura”.

 

Aunque el desarrollo principal de esta metodología se produce fundamentalmente en el campo de las ciencias de la salud, su uso está muy extendido en otras áreas, como la ingeniería del software o la economía.

Así mismo, el ámbito de la investigación educativa también se ha unido a esta corriente con un número cada vez más alto de publicaciones (figura 2) que proponen este tipo de revisiones para analizar un amplio abanico de temas.  

Figura 2. Número aproximado de resultados obtenidos en Google Scholar para cadenas de búsqueda “systematic literature review” AND education y “revisión sistemática de la literatura” AND educación.

El uso de este tipo de revisión conlleva una serie de ventajas inherentes. En primer lugar, la realización de una SLR permite al investigador consultar un número muy elevado de publicaciones para dar respuesta a una serie de preguntas muy concretas planteadas de antemano. Esta sistematización evita, por un lado, que la persona que lleva a cabo la investigación se desvíe de su objetivo inicial de manera innecesaria y, por otro lado, que se introduzcan sesgos en la revisión, aunque hay que tener en cuenta el efecto del sesgo de publicación que se abordará más adelante.

En segundo lugar, al tratarse de una metodología claramente establecida con un protocolo muy desarrollado, su aprendizaje resulta muy accesible, es relativamente fácil encontrar materiales de calidad que nos permiten su aprendizaje e incluso existen herramientas específicas diseñadas para llevarlas a cabo, lo que facilita a la persona que realiza la investigación tener una idea clara de la calidad metodológica de su trabajo.

Finalmente, al aplicarse esta metodología estamos transformando la realización de una revisión tradicional en una investigación en sí misma, en la que contamos con una serie de preguntas de investigación que pretendemos responder mediante la información cuantitativa y/o cualitativa que hemos extraído de las publicaciones seleccionadas. Además, se trata de una investigación reproducible en la que todo el proceso queda registrado, garantizando que cualquier persona pueda comprobar la veracidad de los resultados.

Todo esto otorga un valor añadido a la revisión realizada, que se traduce normalmente en una mejor consideración tanto por parte de los tribunales académicos como de las distintas publicaciones científicas. En la cultura científica actual en la que la publicación en revistas de impacto y los índices de citación ocupan un lugar central en el perfil académico, el efecto de generador de citas que tienen las SLR, tanto para los autores como para las revistas, sin duda también está contribuyendo a esta explosión de popularidad.

Sin embargo, realizar una SLR también implica afrontar una serie de problemas y limitaciones, como el ya mencionado sesgo de publicación.

El efecto de este sesgo provoca la sobrerrepresentación de investigaciones con resultados positivos o que refuerzan el paradigma científico dominante. Además, si hemos planteado preguntas centradas en analizar si nuestro tema es cada vez más popular (como la realizada al principio de este post) lo más probable es que la respuesta sea siempre positiva dado que la exigencia de publicar es cada vez mayor y el número de revistas y su periodicidad también va en aumento.

Otro factor a tener en cuenta es el tiempo que requiere desarrollar una SLR. Aunque la cantidad de tiempo puede variar dependiendo del tema de investigación, las preguntas planteadas y el número de estudios disponible oscilando entre los 6 meses y los dos años (Khangura, 2012) típicamente se planifica un año de trabajo (tabla 1).

Tabla 1.

Tiempo estimado para la realización de una SLR.

Mes	Fase
1-2	Preparación del protocolo y prueba piloto de criterios.
3-8	Búsqueda de estudios y aplicación de los criterios de inclusión/exclusión
3-9	Aplicación de los criterios de calidad
10-11	Extracción y análisis de los datos
11-12	Redacción del informe
12-	Actualización de la revisión

Fuente: Adaptado de Higgins et al. (2019).

A este respecto también es necesario tener en cuenta la experiencia de la persona que lleva a cabo la revisión, dado que es necesario que esta ya esté familiarizada con el tema en cuestión y, en caso contrario, deberá hacer una revisión tradicional antes de comenzar la planificación de la SLR.

Así mismo, la experiencia previa también va a evitar que se cometan errores durante la fase de planificación como establecer preguntas demasiado amplias o criterios de inclusión/exclusión poco precisos que obliguen a repetir el proceso. Planificar y llevar a cabo una SLR es una actividad compleja y delicada que puede resultar muy frustrante cuando se tiene poca experiencia (doy fe de ello), por lo que es recomendable que si la persona que la lleva a cabo es inexperta cuente con el apoyo de alguien con más experiencia.

También hay que considerar que la formulación de las preguntas que orientan toda la investigación es un arma de doble filo, dado que también pueden limitar el espacio para la reflexión y si se plantean preguntas demasiado superficiales se corre el riego de que las SLRs se reduzcan a meros análisis de frecuencias de la información extraída.

Para finalizar, otra de las grandes dificultades a la hora de realizar esta modalidad de revisión es el acceso a los artículos, ya que no siempre estarán en repositorios disponibles a través de nuestra cuenta institucional. En este punto resulta necesario reconocer el impacto que está teniendo el portal sci-hub, creado por la doctora Alexandra Elbakyan (Nicholas et al., 2018), a la hora de realizar este tipo de investigaciones. En mi experiencia realizando SLRs antes y después de conocer la existencia de este portal, su uso ha simplificado muy notablemente el proceso de obtención de los artículos, reduciendo el tiempo que se tarda en realizar esta fase y aumentando el número final de publicaciones incluidas.

A título personal, considero que la SLR es una alternativa muy valiosa para conocer el estado de la cuestión, especialmente a la hora de detectar huecos y tendencias en la literatura, así como prácticas de investigación.

Sin embargo, quizás cegados por la actual popularidad y publicabilidad de las SLR, puede que estemos sobreexplotando esta metodología. Esta cuestión, junto con la realización de SLR por parte de investigadores poco experimentados y la buena disposición de las revistas a publicar este tipo de trabajos conlleva una reducción de la calidad de las SLR que podemos encontrar actualmente, aspecto sobre el que algunos autores ya están comenzando a llamar la atención (Lai y Bower, 2019).

Dado que parece que esta metodología ha llegado para quedarse, quizás sea el momento de que desde el campo de la investigación educativa establezcamos protocolos propios mejor delimitados y adaptados a nuestro contexto, que faciliten el cumplimiento de unos mínimos de rigurosidad y calidad más elevados tanto por parte de los autores como de los revisores y editores.

Referencias bibliográficas:

Higgins, J.P.T., Thomas J., Chandler, J., Cumpston, M., Li, T., Page, M.J. & Welch, V.A. (2019). Cochrane Handbook for Systematic Reviews of Interventions. John Wiley & Sons.

Khangura, S., Konnyu, K., Cushman, R., Grimshaw, J. & Moher, D (2012). Evidence summaries: the evolution of a rapid review approach. Systematic Reviews, 1(1), 10. https://doi.org/10.1186/2046-4053-1-10.

Kitchenham, B. & Charters, S. (2007). Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3 (EBSE-2007-01). School of Computer Science and Mathematics, Keele University. https://goo.gl/L1VHcw

Lai, J.W.M. & Bower, M. (2019) Evaluation of technology use in education: Findings from a critical analysis of systematic literature reviews. Journal of Computer Assisted Learnin, 36(3), 241– 259. https://doi.org/10.1111/jcal.12412

Nicholas, D., Boukacem‐Zeghmouri, C., Xu, J., Herman, E., Clark, D., Abrizah, A., Rodríguez‐Bravo, B. & Świgoń, M. (2019). Sci‐Hub: The new and ultimate disruptor? View from the front. Learned Publishing, 32(2), 147-153. https://doi.org/10.1002/leap.1206

Cómo citar esta entrada:

Sánchez Prieto, J.C. (2020). La revisión sistemática de la literatura en investigación educativa: Posibilidades, riesgos y sostenibilidad. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/8753

Tomado de Aula Magna 2.0 con permiso de sus editores