Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación

Escribe Clemente Rodríguez-Sabiote. Departamento de MIDE Facultad de Ciencias de la Educación Universidad de Granada (España)

No son pocos los trabajos que han abordado la temática de la evaluación de revistas científicas pertenecientes al campo de la investigación educativa y ciencias afines en España y, desde luego, desde muy diversas ópticas. 

En todos estos trabajos sin embargo, se contempla el cálculo de indicadores que poco o nada tienen que ver con los indicadores de calidad metodológicos de un informe de investigación. Así encontramos aspectos relacionados con los factores que determinan la repercusión científica de las revistas académicas (Aliaga y Suárez-Rodríguez, 2008) y la mejora de la calidad, gestión y difusión de las mismas (Correa y Aliaga, 2009); la tendencia en la normalización de la autoría de la publicaciones científicas (Aliaga, 2014); los rasgos más relevantes de las revistas científicas de excelencia relacionadas con la calidad de la gestión editorial (Fonseca-Mora y Aguaded, 2014); las principales aportaciones que se han vivido durante estas últimas dos décadas en el campo de la comunicación científica relacionadas con la aparición y desarrollo de revistas electrónicas y el directorio de acceso abierto (DOAJ, Directory of Open Access Journals) (Melero, 2014); indicadores de la calidad y las indizaciones que categorizan a las revistas y sus problemas y limitaciones (Ruiz Corbella, Galán y Diestro, 2014), así como indicadores de calidad de las revistas científicas y sistemas de gestión editorial (OJS, Open JournalSystems) (Hernández y Maquilón, 2010). Incluso destacamos propuestas más complejas y sistemáticas como el proyecto europeo sobre indicadores de calidad en la investigación educativa (EERQI,European Educational Research Quality Indicators) que muestra Gogolin (2012) conformado entorno a una colección de productos y métodos.

Si bien es verdad que esa es la tendencia general, sin embargo, sí que podemos destacar algunos trabajos relacionados más estrechamente con la presente disertación. Nos estamos refiriendo a los trabajos de Ariza y Quevedo-Blasco (2013), de Rodríguez y Álvarez (2015) y Rodríguez (2017). En los tres, pero sobre todo en los dos últimos, se proponen una serie de indicadores metodológicos relacionados con lo que Arnau, Anguera y Gómez (1990) denominan los niveles técnico-metodológico y estadístico-analítico de los informes empíricos de investigación.

Para la propuesta de indicadores metodológicos partimos de los utilizados por Rodríguez y Álvarez (2015) y Rodríguez (2017), cuya presencia o ausencia sí que proporciona indicios de una mayor o menor calidad metodológica de los trabajos publicados en revistas científicas, así como de las recomendaciones de otras aportaciones, entre otras, las de Cabrera y Carro (2007), Henríquez Fierro y Zepedo González (2004), López-Leyva (2013), Mantilla-Villarreal y otros (2010) y Merino-Trujillo (2011).Lo que proponemos, en esencia, es una especie de lista de control de indicadores metodológicos con respuesta dicotómica (sí se explicita/sí se cumple o no se explicita/no se cumple).

Indicadores metodológicos de calidad

A continuación proponemos un total de 10 indicadores básicos de presencia/ausencia o cumplimiento/incumplimiento. Apréciese que se trataría de indicadores superficiales que tratarían de evaluar la presencia o no de elementos metodológicos indispensables en un informe de investigación o artículo científico de naturaleza empírica. No se trataría, por consiguiente, de indicadores de mayor complejidad y detalle, cuyo fin, por ejemplo, fuese contrastar si el-los procedimiento-s de fiabilidad han sido los adecuados para ese fin, o si, las pruebas estadísticas de naturaleza inferencial de tipo paramétricas (si las hubiese) cumplen los supuestos de homocedasticidad, independencia y normalidad. Sin más dilación proponemos los siguientes indicadores metodológicos básicos:

Objetivos y/o hipótesis

OH1) Explicitación o no de los objetivos y/o hipótesis de investigación.

Metodología

ME1) Explicitación o no del método de investigación de abordaje de la investigación.

Variables

VA1) Se explicitan o no las variables de investigación.

Muestreo

MU1) Explicitación o no del tamaño muestral utilizado en la investigación.

MU2) Explicitación o no de los rasgos que caracterizan a la muestra seleccionada en la investigación.

MU3) Explicitación o no  del tipo de muestreo utilizado en la investigación.

Instrumentos de recogida de información

IR1) Explicitación no del-los instrumento-s de recogida de información.

CA1) Explicitación o no de los criterios de calidad (fiabilidad, validez…) de los instrumentos de medida utilizados en la investigación.

Análisis de datos

AN1) Los análisis de datos responden adecuadamente a los objetivos de investigación planteados.

AN2) Los análisis de datos están adecuadamente interpretados.

Procedimiento de valoración a partir de la presencia/ausencia de los indicadores de calidad metodológica.

En total podemos computar hasta 10 indicadores. Cada indicador estará puntuado con un 0 si no se explicita/cumple el mismo y con un 1 si ocurre lo contrario. La puntuación mínima de cada artículo será, por tanto, de 0 y la máxima de 10. A partir del sumatorio promedio de las puntuaciones de todos los artículos empíricos individuales de una revista publicados por años podemos establecer una clasificación de mayor o menor calidad. Las categorías que se pueden establecer pueden localizarse en cuartiles. De esta forma, podríamos establecer una posible clasificación jerárquica de la siguiente forma:

1. Cuartil 4 (Q4): revistas que necesitan mejorar su calidad metodológica (promedios entre 0 a 2.5 puntos)
2. Cuartil 3 (Q3): revistas de aceptable calidad metodológica (promedios entre 2.51 a 5 puntos).
3. Cuartil 2 (Q2): revistas de moderada calidad metodológica (promedios entre 5.01 a 7.5 puntos).
4. Cuartil 1 (Q1): revistas de alta calidad metodológica (promedios mayores de 7.50 puntos).

Referencias bibliográficas:

Aliaga, F.M. y Suárez, J.M. (2007). La repercusión científica de una revista académica: análisis del caso de RELIEVE. RELIEVE, 14 (2), 1-11.
Ariza, T. y Quevedo-Blasco, R. (2013). Análisis bibliométrico de la Revista de Investigación Educativa (2000-2012). Revista de Investigación Educativa, 31 (1), 31-52, DOI: 10.6018/rie.31.1.160321.
Arnau, J. Anguera, M.T. y Gómez, J. (1990) Metodología de la investigación en Ciencias delComportamiento. Murcia: Universidad de Murcia. 
Cabrera, L. y Carro, L. (2007). La redacción y presentación de los artículos de investigación. Revista Latina de Comunicación Social, 62, 1-3.
Correa, A. D. y Aliaga, F. M. (2009). Mejora de la calidad, la gestión y la difusión de RELIEVE. RELIEVE, 15 (2), 1-7.
Fonseca-Mora, M.C. y Aguaded, I. (2014). Las revistas científicas como plataformas para publicar la investigación de excelencia en educación: estrategias para atracción de investigadores. RELIEVE, 20 (2), art. M3. DOI: 10.7203/relieve.20.2.4274.
Gogolin, I. (2012). Identificación de la calidad en las Publicaciones de Investigación Educativa: Proyecto Europeo sobre los Indicadores de Calidad en la Investigación Educativa (EERQI). Revista de Investigación Educativa, 30 (1), 13-27.
Henríquez Fierro, E. y Zepeda González, M.I. (2004). Elaboración de un artículo científico de Investigación. Ciencia y Enfermería, X(1), 17-21.
Hernández, F. y  Maquilón, J. (2010). Indicadores de calidad de las revistas científicas y sistema de gestión editorial mediante OJS. Revista de Investigación Educativa, 28 (1), 13-29.
Mantilla-Villarreal, A. y otros (2010). Guía práctica para publicar un artículo en revistas latinoamericanas. Salud Uninorte, 26(2), 311-324.
Melero, R. (2014). RELIEVE: veinte años inmersos en la cronología del acceso abierto a la ciencia. RELIEVE, v. 20 (2), 1-8, DOI: 10.7203/relieve.20.2.4300.
Merino-Trujillo, A. (2011). Como escribir documente científicos. Salud en Tabasco, 17(1-2), 36-40.
Rodríguez, C. (2017). Análisis bibliométrico mediante indicadores de calidad metodológicos de las revistas RIE (Revista de Investigación Educativa) y RELIEVE (Revista Electrónica de Investigación y Evaluación Educativa) durante el lustro 2012-2016. En AIDIPE (Eds.), XVIII Congreso Internacional de Investigación Educativa. Interdisciplinariedad y Transparencia(pp. 787-798). Salamanca (España).
Rodríguez, C. y Álvarez, J. (2015). Estudio bibliométrico Indicadores de calidad metodológica de la frecuencia de informes PortaLinguarumDuring de seis años 2008-2013. Porta Linguarum , 24, 135-150.

Cómo citar esta entrada:

Rodríguez-Sabiote, C. (2017). Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3090

Tomado de Aula Magna 2.0 con permiso de sus editores