Pero, ¿dónde está el impacto?

 Por  Lorenzo García Aretio. 

Facultad de Educación (UNED).

Cátedra UNESCO de Educación a Distancia

Director de RIED. Revista Iberoamericana de Educación a Distancia.

 En una entrada anterior en este blog me refería a la necesidad y obsesión por publicar nuestra producción científica en revistas con factor de impacto. Hacemos esta segunda entrada refiriéndonos a este indicador bibliométrico, el Factor de Impacto (FI). Quizás en una tercera entrada me referiré a los revisores que certifican el impacto. Las tres entradas están básicamente extraídas de un artículo por mí publicado (García Aretio, 2015).

Bien sabemos que el Factor de Impacto (FI), habitual en el Journal Citation Reports (JCR),de una revista científica para un año determinado, se calcula dividiendo las citas que ese año han recibido los artículos publicados durante los dos años anteriores, entre el número total de artículos publicados en esos dos años. Esa se ha convertido en medida estándar para premiar o sancionar a los docentes/investigadores universitarios. Sin embargo, más allá de aceptar el valor de este indicador, no vendrá mal reflexionar sobre las dudas que suscita una métrica que se ha elevado a consideración de relevancia máxima a la hora de valorar méritos investigadores. ¿Saben cuántas corruptelas para aumentar el número de citas de un artículo? Ebrahim y otros (2013) recopilan hasta 33 estrategias diferentes que pueden llegar a aumentar ese número de citas, y así elevar el factor de impacto de determinada revista y, en consecuencia, de los artículos ahí publicados.

Son demasiados los trabajos de excelencia publicados en revistas con revisión por pares (peer review), exigentes y reconocidos, con alto grado de difusión, accesibilidad y visibilidad pero que no cuentan con el OK de las comisiones de valoración de las diferentes agencias. Es decir, no han recibido el placet de una determinada empresa privada internacional que decide cuál revista sí y cuál no es merecedora de “premio”.

Sin gran esfuerzo de exploración, puede detectarse que un determinado artículo que pudiera considerarse por muchos pares, de calidad mediocre, fue evaluado por dos expertos que, o fueron generosos o entendieron, según su respetable criterio, que el artículo era bueno y merecía ser publicado en esa revista de “impacto”. Pues bien, ese artículo se publica, “cuenta” como mérito de relevancia para el autor o autores, pero ese trabajo no lo va a leer casi nadie, ni nadie lo va a citar. Pero ha servido para la promoción de quien lo escribió. Es probable que transcurridos 6-8 años, el artículo en cuestión no haya recibido una sola cita o un número extremadamente escaso de ellas. Esto puede comprobarse fácilmente acudiendo Web of Science (WoS),Scopus o, más sencillo, a Google Scholar. Por contra, cuántos libros que sustentan estudios fruto de mucho esfuerzo, cuántos trabajos de investigación de calidad elevada, publicados en esas otras buenas revistas, aunque sin factor de impacto reconocido pero bien indexadas o, incluso, en reconocidos blogs académicos, impactan realmente, al menos socialmente, en la comunidad universitaria internacional y vienen a ser trabajos de referencia académica, muy leídos y muy citados, pero no sirven para la promoción académica de los docentes universitarios porque, aunque buenos y muy citados, no fueron publicados en donde, según otros, había que publicar.

A los pocos años de funcionamiento de la evaluación de sexenios de investigación (productividad investigadora) en España para el profesorado universitario, por parte de la agencia correspondiente de entonces (CNEAI – Comisión Nacional Evaluadora de la Actividad Investigadora), empezó a calar en la comunidad universitaria, fundamentalmente de los campos de humanidades y de ciencias sociales,  aquello de que los libros “no contaban” o “contaban poco” a la hora de valorar los méritos de investigación de un docente universitario. Lo importante era el artículo en revista con índice o factor de impacto. Fueron muchos los colegas de entonces que actuaron en consecuencia y dedicaron sus esfuerzos a publicar en revistas y empezaron a declinar la elaboración de libros, ensayos, monografías, y también ignoraron otras formas de divulgación científica entonces a través de revistas “no de impacto” aunque pudieran ser de alta difusión. Cierto que esta fue probablemente la causa de que los científicos españoles empezaran a aparecer en revistas de destacado relieve internacional (Galán, 2011) y, sin duda, estos colegas escalaron con rapidez a otras categorías docentes superiores. Es decir, parece que se trata de medir sólo el impacto dentro de la comunidad científica olvidando otros reales impactos que suceden fuera de esos círculos selectos y que, sin duda, ofrecen en muchos casos grandes vías para la innovación y el progreso de la sociedad, objetivo de los avances científicos, ¿impacto social quizás?

Otros no hicieron caso y continuaron actuando de igual modo. Probablemente no consiguieron los sexenios de investigación que poco a poco en España se vinieron convirtiendo en la unidad básica de medida de la productividad investigadora en la Universidad y, en consecuencia, de la promoción académica y de la recepción de complementos retributivos y otros recursos. Y, finalmente, los terceros, entre los que me encuentro, hicieron (hicimos) lo necesario para la consecución de esos sexenios exigidos en esa supuesta universidad de calidad, pero además de eso, continuamos divulgando el conocimiento a través de libros, artículos breves y posteriormente, incluso, a través de blogs, redes sociales, etc. Pero parece que esto no es impacto. Y tienen razón, si se aferran a las definiciones al uso sobre los índices y factores de impacto de la productividad científica ¿quizás impacto social?

Además de lo señalado, con este rasero de medida, los campos más pequeños en el ámbito científico, juegan y jugarán siempre un papel muy limitado. Es decir, por ejemplo, un investigador líder en un campo científico más reducido, juega con desventaja porque los campos de investigación amplios y más tradicionales cuentan con multitud de revistas que forman parte de estas élites y por tanto se autogeneran cuantiosas citas y en consecuencia, más revistas y con mayores factores de impacto. Así un líder de estos campos extensos lucirá unos índices muy superiores al otro, al del campo de las Ciencias Sociales, por ejemplo, pudiendo ser este último un auténtico sabio. Además de los campos de investigación, también la propia lengua en que se publica el artículo limitan la eficacia de estos sistemas (Matsuda y Tardy, 2007).

¿Cómo comparar investigaciones de carácter clínico o biológico publicadas en revistas con elevadísimo factor de impacto y que son citadas en otras, muy numerosas, del mismo campo o de área cercana, con una valiosa investigación realizada, por ejemplo, en el campo de la educación, donde existen muy pocas revistas y las que hay, salvo excepción, con escaso factor de impacto? Quizás esta última fue una investigación o un trabajo original destinado a cierta aplicación de carácter pedagógico, innovadora y muy válida, posiblemente, para amplios colectivos de docentes pero, quizás, no realizada con el objeto de ser citada. ¿Podemos aplicar el factor de impacto (métrica de citas) a este artículo como medida de su calidad?

Podría entenderse que el factor de impacto de las revistas y artículos considerado de forma universal y homogénea, para todos los ámbitos científicos, no resulta ser el instrumento de medida más adecuado, ¿podrían existir otras métricas?

Cuando se investiga es indudable que interesa publicar el fruto de esos trabajos. Y si se publica algo, lo que se desea es que sea leído. Por eso, fuera de los circuitos de los JCR, debería publicarse allí donde se puede entender que podría existir accesibilidad y visibilidad. Cuando se trataba de libros, en editoriales de prestigio que tuviesen buenos servicios de difusión y distribución, cuando se tratase de artículos, en revistas de calidad, igualmente bien accesibles y visibles. Esa ha sido la forma de entender el “impacto”, en este caso parece que social, por parte de muchos colegas. Si aquello que escribes es ignorado por los demás, mala cosa. Pero si es seguido, leído y, probablemente citado, puede pensarse que mereció la pena el trabajo. Más allá de que la excelencia la califiquen otros, igualmente universitarios quizás como aquellos que han citado ese trabajo.

Referencias bibliográficas:

Galán-González, A. y Zych, I. (2011). Análisis de los criterios de la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la concesión de los tramos de investigación en educación. Bordón, 63 117-139. Recuperado:http://recyt.fecyt.es/index.php/BORDON/article/view/28978

García Aretio, L. (2015). Publicar (casi exclusivamente) en revistas de impacto. RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 7-22. doi:http://dx.doi.org/10.5944/ried.18.2.14254

Ebrahim, N.A.; Salehi, H.; Embi, M.A.; Habibi, F.; Gholizadeh, H.; Motahar, S.M. y Ordi, A. (2013). Effective Strategies for Increasing Citation Frequency. International Education Studies, 6 (11), 93-99.

Matsuda, P.K., y Tardy, C.M. (2007). Voice in academic writing: The rhetorical construction of author identity in blind manuscript review. English for Specific Purposes, 26, 235–249. doi: 10.1016/j.esp.2006.10.001.

Cómo citar esta entrada:

García Aretio, L. (2017). Pero, ¿dónde está el impacto?. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3232

Tomado de Aula Magna 2.0 con permiso de sus autores.