Análisis de una propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación

Por Francisco M. Aliaga.

Director de RELIEVE. Revista ELectrónica de Investigación y EValuación Educativa. Universidad de Valencia (UV)

Aula Magna 2.0 ha vuelto un año más a su cita con los lectores y con vocación de ser un punto de encuentro sobre investigación educativa y el que probablemente se ha convertido ya en su principal medio de difusión: las revistas científicas.

Desde el principio uno de los principales objetivos de Aula Magna 2.0 fue el de posibilitar el establecimiento de “debates sobre temas y problemas de la educación en nuestro contexto global” (Diestro Fernández, Ruiz-Corbella & Galán, 2015). En efecto, la tecnología ha propiciado la aparición de nuevos instrumentos de comunicación entre los académicos (Mengual & Aliaga, 2017), en este caso un blog, que permiten por su flexibilidad y rapidez, un intercambio de ideas, un debate, con menos corsés y más agilidad que las revistas y, no digamos, los libros. Se trata de un nuevo entorno al que todos tenemos que adaptar nuestros hábitos académicos, incluso nuestro lenguaje, pero que puede ser una excelente herramienta para la mejora de la investigación.

En este contexto, quisiera comentar la propuesta recientemente planteada por Rodríguez-Sabiote (2017) en este mismo medio. Tradicionalmente se han planteado distintos enfoques para evaluar las revistas científicas, básicamente las que tienen que ver con su impacto (generalmente medido mediante contabilización de citas recibidas), con su prestigio en la comunidad científica (encuestas, expertos, etc.) o con el cumplimiento de criterios de calidad editorial (generalmente solo formales). Cercano a este último enfoque, pero con un planteamiento algo diferente, Rodriguez-Sabiote propone unos “indicadores de calidad metodológica” con la intención de que puedan utilizarse “para la valoración y clasificación de revistas de investigación” (Título).

En mi opinión, cualquier aportación que nos oriente para la evaluación y mejora de las revistas científicas siempre es bienvenido. En este caso, la propuesta de Rodríguez-Sabiote puede ser un punto de partida interesante para este propósito, por lo que merece un análisis y debate cuidadoso.

Básicamente la propuesta de Rodríguez Sabiote (2017) plantea analizar la presencia o ausencia de diversas informaciones específicas sobre la metodología de investigación empleada en las investigaciones empíricas. Este planteamiento ya denota algunas limitaciones de este acercamiento: no todas las revistas publican exclusiva o mayoritariamente artículos de investigación empírica. La razón es evidente: la ciencia no es sólo investigación empírica, ya que también requiere de una parte de elaboración teórica y de propuesta de modelos que nos ayuden a entender mejor la realidad. 

No en balde, denominamos al método científicos como hipotético-deductivo, dos términos que hacen referencia a las fases puramente teóricas (a pesar de que el método científico empieza y acaba con hechos). Así pues, la necesidad de teorías (que, obviamente, pueden y suelen plantearse en artículos teóricos) no es algo ajeno, ni mucho menos, a la ciencia ni, por tanto, a las revistas científicas. Recordemos, por ejemplo, lo que significó para la el avance de la ciencia el denominado “Annus mirabilis” (año maravilloso) de Einstein (1905), con la publicación de diversos artículos teóricos (el autor era un desconocido que trabajaba en una oficina de patentes, sin ningún laboratorio en el que experimentar ninguna de sus ideas) en la revista Annalen der Physik (Dávalos, 2005). No hay, por tanto, metodología empírica alguna que analizar en esos artículos, en esa revista, lo cual difícilmente puede argüirse contra la calidad de dicha publicación.

Aceptemos, por tanto, que la propuesta de indicadores de Rodríguez-Sabiote (2017) no es un indicador de la calidad “de las revistas”, con carácter general. De hecho, el objetivo planteado por el autor es más bien el de analizar “los niveles técnico-metodológico y estadístico-analítico de los informes empíricos de investigación” (penúltimo párrafo de la introducción). Sin embargo, tanto en el título de su trabajo como en la valoración final por categorías sí se plantea utilizar las puntuaciones obtenidas para evaluar las “revistas”, en su conjunto, lo que puede resultar algo confuso.

Dada la diversidad metodológica propia de las Ciencias Sociales, encontramos otras limitaciones en el tipo de indicadores propuestos: no son aplicables a todo tipo de enfoque sino que se centra, fundamentalmente, en investigaciones realizadas desde un enfoque empírico cuantitativo, derivado de postulados positivistas (Husén, 1997). El vocabulario empleado, y el nombre de los tópicos objeto de análisis (muestreo, fiabilidad, validez, variables, etc.) denota este sesgo cuantitativo. No quedan, por tanto, bien recogidas las características de investigaciones empíricas propias de otros enfoques (cualitativos, sociocríticos, etc.) o con otras metodologías (histórica, comparada, etc.) en el listado de indicadores propuestos.

También sería deseable encontrar mayor especificación terminológica en algunos de los items que propone Rodríguez-Sabiote. Así, por ejemplo, es discutible que el último de los indicadores, “Los análisis de datos están adecuadamente interpretados”, pueda interpretarse en términos de presencia/ausencia (los análisis pueden ser correctamente interpretados, pero de manera incompleta, o no suficientemente interrelacionados con otros resultados), además de que el término “adecuadamente” remite, necesariamente, a una valoración subjetiva, y por tanto variable, entre los distintos potenciales evaluadores.

Por último, respecto al uso propuesto del conjunto de los indicadores, quisiéramos plantear dos observaciones. La primera, que ya hemos avanzado, es que se pretenda utilizar el cumplimiento de los mismos para evaluar “las revistas” y no los artículos, dado que muchas de las publicaciones periódicas incluyen artículos de distinto tipo, incluyendo artículos teóricos, experiencias de innovación docente, etc. Dependiendo del perfil de las revistas analizadas, podemos encontrarnos que en algunos casos quedan excluidos del análisis propuesto de indicadores de investigación empírica más de la mitad de los artículos publicados, por lo que difícilmente podemos generalizar los resultados a toda la revista.

La segunda objeción se refiere a la denominación de la propuesta de categorías de evaluación para las revistas, en la que se habla de cuartiles. Este término tiene una definición precisa en el ámbito matemático: “Valor que divide un conjunto ordenado de datos estadísticos de forma que un porcentaje de tales datos sea inferior a dicho valor” (definición del diccionario de la Real Academia Española; el subrayado es nuestro). La utilización del término cuartil en este contexto (a priori, y no a posteriori) introduce una confusión entre evaluación referida al criterio y evaluación referida a la norma (Hambleton, 1997). Hablemos de categorías jerárquicas, pero dejemos el término cuartil (que tanto arrastra de por sí) para agrupar porcentajes de casos, no cumplimiento de grupos de criterios.

En definitiva, la propuesta de Rodríguez-Sabiote (2017) nos parece un muy interesante punto de partida para crear una herramienta que nos ayude a los editores a perfilar mejor las exigencias que hemos de plantear a los manuscritos en los casos de artículos de investigación empírica de enfoque cuantitativo. No debería ser difícil ampliarlo un poco más (o adaptarlo, caso de utilizar instrumentos diferentes o con apartados intercambiables) para cubrir también otras investigaciones empíricas planteadas desde otros paradigmas. La opinión y las aportaciones de otros editores, de revistas con perfiles bien diferentes, puede ayudar a ir dando forma a una herramienta con gran potencial. Damos por tanto la bienvenida a la interesante propuesta y animamos los editores (de Aula Magna 2.0, pero también a los demás) a hacer aportaciones al respecto.

Referencias bibliográficas:

Dávalos, A. L. (2005). Una perspectiva histórica del Annus Mirabilis 1905. Revista de Enseñanza de la Física, 18(1), 9-16.
Diestro Fernández, A; Ruiz-Corbella, M. & Galán, A. (2015, octubre, 23). Aula Magna 2.0. Revistas Científicas de Educación en Red. Aula Magna 2.0. [Blog]. Recuperado de:https://cuedespyd.hypotheses.org/665
Hambleton (1997). Criterion-refered Measurement. En J.P. Keeves (ed.) Educational research, methodology, and measurement: an international handbook (pp.719-725), 2nd edition. Oxford: Pergamon.
Husén, T. (1997). Research Paradigms in Education. En J.P. Keeves (ed.) Educational research, methodology, and measurement: an international handbook (pp.16-21), 2nd edition. Oxford: Pergamon.
Mengual, S. & Aliaga, F. (2017). Pre-prints: nuevas oportunidades para autores y publicaciones periódicas. Aula Magna 2.0. [Blog]. Recuperado de:http://cuedespyd.hypotheses.org/2816
Rodríguez-Sabiote, C. (2017). Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3090

Cómo citar esta entrada:

Aliaga, F. (2017). Análisis de una propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/3163 

Tomado de Aula Magna 2.0 con permiso de sus autores