El ranking de la FECYT frente a las revistas con Sello de Calidad: una herramienta en la dirección equivocada

Por Marta Ruíz Corbella* y Arturo Galán**

 *Editora de Aula Magna 2.0. Editora Jefe de Educación XX1

**Editor de Aula Magna 2.0. Editor Jefe de Bordón. Revista de Pedagogía.

 Facultad de Educación (UNED).

 Hace unos meses corrió un rumor sobre la existencia de un nuevo ranking de revistas científicas españolas que estaba manejando la ANECA en la evaluación del profesorado universitario (tanto para los sexenios como para las acreditaciones). Hace años que se viene oyendo que la CNEAI utiliza listados secretos, haciendo gala de una opacidad inexplicable que ya hemos criticado tanto en este blog como en artículos (Galán y Zych, 2011, Galán 2017a, 2017b, 2018). Como en España somos muy dados a la rumorología y nadie facilitaba este presunto listado, los editores de revistas no dimos mayor importancia a este asunto y sí a continuar trabajando en la mejora de nuestras revistas. 

Sin embargo, el 22 de julio, ya con un pie en las vacaciones, Rafael Repiso publicó en su blog una entrada que desvelaba la existencia real de ese documento: El Ranking Secreto de Revistas FECYT que utiliza ANECA. Repiso respalda lo que expone con un documento Excel que pone sobre la mesa una realidad: FECYT ha elaborado un ranking de revistas españolas con el fin de que ANECA evalúe la investigación del profesorado universitario. Y no habla de un futurible, sino de que ya se está evaluando la calidad de los artículos en las diferentes convocatorias a las que concurrimos.

Tras el receso vacacional de agosto, las sorpresas continuaron: el 5 de septiembre, en el acto de entrega de certificados de la VI Convocatoria de Evaluación de la Calidad Editorial y Científica, la directora general de la FECYT y el director general de ANECA anunciaron la publicación del ranking de revistas científicas españolas con Sello de Calidad y la metodología con la que se había elaborado. Se cumplía así el manido dicho: cuando el río suena, agua lleva…

A partir de ese momento, las críticas a este ranking y, en especial, a su metodología, no han hecho más que crecer. Podemos suscribir muchas de ellas, pero no somos especialistas en análisis bibliométrico, por lo que no entramos a valorar el análisis metodológico expuesto en estas críticas[1]. Ahora bien, como editores de revistas científicas involucrados de forma activa en su mejora en nuestro campo, sí que tenemos algo que decir para contribuir a generar publicaciones competitivas y de calidad y luchar por su reconocimiento.

En primer lugar, debemos recordar que durante todos estos años como editores al frente de una revista científica –en nuestro caso superamos ya la década–, hemos reconocido, en todos los escenarios y foros en los que hemos participado, la excelente tarea que FECYT ha desempeñado en favor de la calidad de las publicaciones científicas españolas. Desde que FECYT inició esta línea de trabajo, en el 2006, nuestros equipos editoriales han podido seguir las orientaciones de sus guías de trabajo y las iniciativas que ha puesto en marcha para lograr la mejora de la edición de las revistas y lograr acceder a las mejores bases de datos selectivas internacionales como WoS y Scopus. Creemos que nadie cuestiona los resultados obtenidos y el enorme salto cualitativo que se ha dado en este sentido, y de un modo especialmente reseñable, en las revistas de Educación. Prueba de ello es la paulatina y constante incorporación de nuevas revistas españolas a estas bases. Sin embargo, no todas las revistas mejor situadas en los rankings han concurrido a las convocatorias del Sello de Calidad. Ha habido diferentes razones para ello, entre las que destacamos la voluntariedad y la falta de necesidad (por ser revistas con sobrada reputación por estar incluidas en bases de datos internacionales selectivas).

Una de sus acciones estrella fue, y continua siendo, el Proyecto ARCE, que promueve la  Convocatoria de evaluación de la calidad editorial y científica que evalúa, por áreas de conocimiento, la calidad editorial y científica de las revistas españolas. Se trata de convocatorias a las que las publicaciones acceden de forma voluntaria, que se dirigen a valorar aspectos formales y de impacto, no de contenido, por el que se obtiene el Sello de Calidad FECYT como distinción de un trabajo excelente. Si atendemos a los datos que la FECYT maneja, estamos ante una población de 1.810 revistas científicas que se editan en nuestro país. En las 6 ediciones convocadas han participado más de 1700 revistas. De estas, solamente 396, el 21%, ostentan el Sello de Calidad de FECYT. Además, todas las que poseen este Sello deben superar periódicamente otra evaluación para verificar si se mantiene o si debe ser retirado. No hacen falta más datos para evidenciar el nivel de exigencia y rigor del Sello.

Pero a la vez que reconocemos este trabajo de FECYT, también hemos denunciado, y lo seguimos haciendo, el escaso reconocimiento que ha tenido el Sello de Calidad por parte de la Administración. En concreto, nos referimos a las instituciones que evalúan la investigación del personal docente-investigador: CNEAI y ANECA. El ejemplo más palpable lo tenemos en la evaluación de los sexenios que en los campos de Ingenierías, Ciencias y Ciencias de la Salud, el Sello de FECYT nunca fue incluido entre los criterios de calidad, mientras que en el campo de las Ciencias Sociales y Jurídicas fue un criterio que fue eliminado en las últimas convocatorias del sexenio, manteniéndose únicamente en el de Humanidades. Si los procesos de evaluación para obtener el Sello de Calidad FECYT son tan exigentes, ¿cómo es que no se reconoce como criterio de calidad para valorar las aportaciones de los investigadores? Si la Administración gasta importantes recursos económicos y personales para destacar y hacer visibles para la comunidad científica las revistas de calidad españolas mediante este Sello, ¿cómo es posible que dicho Sello no sea reconocido por las agencias de evaluación dependientes de la misma Administración? Entonces, ¿para qué sirve?

Si escuchamos a los responsables de la FECYT, estos afirman que ofrecen este nuevo ranking con un doble objetivo: en primer lugar, responder a las demandas de las revistas acreditadas con el Sello FECYT que tradicionalmente han reclamado un mayor reconocimiento como mérito investigador. Y, en segundo lugar, para atender las peticiones de muchas de estas agencias de evaluación que han planteado la necesidad de contar con un sistema público que avale la calidad de los trabajos publicados por los investigadores de Ciencias Sociales y Humanas. Según FECYT, precisamente para que el Sello de Calidad sirviese a este fin, estas agencias piden un ranking de revistas.

Sinceramente, creemos que se equivocan. Efectivamente, llevamos años reclamando un mayor reconocimiento de este Sello por parte de las agencias de evaluación. El Sello FECYT tuvo una orientación clara, dicotómica: SÍ/NO, APTO/NO APTO. Superando un estándar elevado de exigencia, se accedía al Sello. Con este planteamiento, no tiene mucho sentido un ranking entre estas mismas revistas; para eso, ya tenemos otros rankings y herramientas, algunos recogidos por las agencias de evaluación como SSCI (JCR de la WoS), el SJR y pronto el CiteScore de Scopus o, en España, la iniciativa, aún en pruebas, de DIALNET, como respuesta al vacío dejado por el añorado y más que útil IN-RECS. Lo que hemos defendido siempre es que el Sello de Calidad FECYT sea reconocido al menos con la puntuación mínima necesaria para superar una evaluación (por ejemplo, asignarle un 6 en la evaluación de los tramos de investigación), y que el aumento de esa puntuación dependa de otros rankings o herramientas selectivos, propuesta que Aula Magna 2.0 hizo llegar en su momento al responsable de la ANECA (Aula Magna 2.0, 2017). Esto habría sido más que suficiente para poner en valor el Sello y aumentar su interés para los editores y los usuarios. Además, no podemos pasar por alto que con este ranking de FECYT puedes ser, a la vez, muy bueno porque tienes el Sello y muy malo porque estás a la cola del ranking. ¿Qué valor tiene entonces el Sello para un evaluador?

¿Qué debería haber hecho y aún podría hacer FECYT? Reclamar y conseguir, con el apoyo de la Administración que la financia y de las revistas científicas españolas, que las agencias de evaluación del PDI acepten que la lista de revistas con Sello de Calidad, si no están aún indizadas en WoS o en SCOPUS, sean obligatoriamente consideradas con el valor mínimo de calidad para superar una evaluación de la producción científica en una convocatoria pública (aunque pueda ser en combinación con otros criterios sobre otras publicaciones de un candidato)

Antes de finalizar, queremos mencionar un problema muy repetido: la clasificación de ciertas revistas en el amplio campo de las Ciencias de la Educación. De las 66 revistas con Sello de Calidad, 11 pertenecen a las Ciencias de la Actividad Física y del Deporte, y algunas de estas con contenidos claramente enmarcados en el área de Ciencias de la Salud. ¿Por qué son incorporadas a nuestro campo? Algo similar puede decirse respecto a 2 revistas de Logopedia y una de Artes Marciales Asiáticas. Consideramos que, si somos rigurosos en la evaluación de la calidad, debemos serlo también en la asignación del área de conocimiento a la que la FECYT adscribe cada una de las revistas evaluadas.

¿Cómo puede ayudar la FECYT a los editores de las revistas con Sello de Calidad?

Esto es lo que verdaderamente nos interesa y en lo que creemos que deberían utilizarse los fondos públicos que se pierden en otro tipo de acciones. Las revistas de educación españolas, ya lo hemos probado en otros artículos (Ruiz-Corbella, Galán, y Diestro, 2014), han hecho un trabajo excelente para competir en el panorama internacional, sin medios, sin recursos, sin dinero, sin reconocimiento alguno. En Scopus, en Educación, somos el 6º país (de 217) por número de artículos (por encima de Alemania, Francia, Países Bajos o Italia) y el 4º país por número de revistas (sólo superados por Reino Unido, Estados Unidos y Holanda). Atención, que tenemos 35 revistas (más que Canadá, Australia, Brasil, Francia…), cuando hace 10 años nuestra presencia era menos que testimonial. Para seguir compitiendo y subir en los rankings necesitamos ayuda, y es aquí donde la FECYT podría desempeñar un papel esencial. Estamos hablando de la calidad formal de las publicaciones científicas, que en estos momentos está viviendo un cambio cualitativo sumamente relevante: el paso a la ciencia 2.0. Nos están exigiendo la incorporación de nuevos requerimientos técnicos sobre los que tenemos escasa información y formación. Por ello, pedimos a los responsables de FECYT recuperar el sentido inicial de su proyecto y que se dediquen a formar y preparar a los editores para el nuevo ámbito de la Ciencia en Abierto en un entorno 3.0 que está ya liderando la comunicación científica a nivel mundial. Después de todo lo logrado, no nos quedemos atrás. Dejemos a otras instancias la preocupación por los rankings y la evaluación de las diferentes métricas (Web of Science y SCOPUS a nivel internacional, sin dejar de lado las diferentes altmetricas, y las que se están desarrollando a nivel local desde diferentes proyectos como CIRC o Dialnet Metrics, Webometrics o MIAR).

En definitiva, como editores del consorcio de revistas científicas de educación Aula Magna 2.0, solicitamos a FECYT que defienda y haga valer su Sello actual en las agencias evaluadoras y que lidere el paso de nuestras revistas a la ciencia en abierto, a su profesionalización y al impulso de su competitividad internacional. Igualmente, que facilite el apoyo y los recursos necesarios para la publicación en bilingüe español/inglés y para la mejora de la herramienta OJS que facilita a los editores.

Referencias bibliográficas:

Aula Magna 2.0 (2017). Aula Magna escribe a ANECA. Aula Magna 2.0. [Blog].

 Recuperado de: https://cuedespyd.hypotheses.org/3006

Galán, A. (2017a). Sobre sexenios y acreditaciones: un nuevo retroceso. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/2577

Galán, A. (2017b). Carbón de sexenios por Navidad: Aula Magna 2.0 ha hablado con los Reyes Magos de la ANECA. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/3317

Galán, A. (2018). El Tribunal Supremo asesta un nuevo golpe a la CNEAI. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/4373

Galán, A. y Zych, I. (2011). Análisis de los criterios de la comisión nacional evaluadora de la actividad investigadora (CNEAI) para la concesión de los tramos de investigación en educación. Bordón, 63 (2), 117-139.

Ruiz-Corbella, M., Galán, A. y Diestro, A. (2014). Las revistas científicas de Educación en España: evolución y perspectivas de futuro. RELIEVE-Revista Electrónica de Investigación y Evaluación Educativa, 20(2).

Cómo citar esta entrada:

Ruíz Corbella, M. y Galán, A. (2019). El ranking de la FECYT frente a las revistas con Sello de Calidad: una herramienta en la dirección equivocada[Blog]. Recuperado de: http://cuedespyd.hypotheses.org/6551

Tomado de Aula Magna 2.0 con permiso de sus editores