jueves, 17 de noviembre de 2016

¿Es de fiar el h5 de revistas de Google Scholar Metrics?

Escribe  Marta Ruíz Corbella. Facultad de Educación (UNED).  Editora Jefe de Educación XX1.



26218396En Google, al igual que existen perfiles de autores, Mis Citas de Google Académico, también se pueden configurar con esta herramienta perfiles de revistas científicas. Este perfil mostrará información sobre las citas recibidas en sus trabajos publicados, presentando un listado de publicaciones ordenado bien en función de las citas (arriba los más citados) o por año (arriba año actual).
Más allá de la facilidad con la que se puede llegar a la manipulaciones de Google Scholar Citations y lo fácil que resulta engañar a sus motores de búsqueda una y otra vez, realmente se trata de una herramienta  que puede resultar interesante para la evaluación científica, la búsqueda de trabajos relevantes, el conocimiento de la importancia de determinados autores y, en el caso que ahora nos interesa, del impacto por número de citas de las revistas científicas.
PublicaciónÍndice h5Mediana h5
2.Psicothema3344
5.Comunicar2744
6.Revista de Educación (España)2535
16.RUSC. Revista de Universidad y Sociedad del Conocimiento1928
20.Revista de Psicodidáctica1827
22.Profesorado, Revista de Currículum y Formación del Profesorado1824
27.REDU. Revista de Docencia Universitaria1725
31.Píxel-Bit. Revista de Medios y Educación1722
36.Revista de Psicodidáctica/Journal of Psychodidactics1626
39.Electronic Journal of Research in Educational Psychology1619
44.Aula Abierta1519
46.Revista Electrónica Interuniversitaria de Formación del Profesorado1519
48.Revista de Investigación Educativa1518
50.Bordón. Revista de Pedagogía1428
51.Revista de Educación a Distancia1426
55.Educación XX11420
56.Enseñanza de las ciencias: revista de investigación y experiencias didácticas1420
57.Estudios pedagógicos (Valdivia)1420
67.Teoría de la Educación en la Sociedad de la Información1324
68.Revista Electrónica de Investigación Educativa1320
Las revistas de educación en lengua española mejor posicionadas en Google Scholar Metrics
Sea en perfiles de autores o de revistas, a golpe de clic podemos comprobar quién y en qué trabajo cita un artículo, pulsando en el número de citas que ha recibido esa publicación.
2016-10-27_1131Google Scholar Citations ofrece tres tipos de estadísticas de citas, con dos periodos de tiempo (global y últimos 5 años). El número de citas por año se indica en la gráfica, pulsando en cada columna de año. Estos son los datos que se nos ofrecen en cada perfil:
  • Citas: El total de citas recibidas.
  • Índice h: Indica que h publicaciones se han citado al menos h veces.
  • Índice i10: Indica las publicaciones que se han citado al menos 10 veces.
El número de citas se obtiene del índice de Google Scholar Citations, actualizándose automáticamente a medida que se actualiza Google Académico. Aunque Google suele fusionar o combinar los artículos que pudieran existir duplicados, dispersos o mal referenciados, sería buena labor del autor o del editor de la revista el mantener “limpio” su perfil, eliminando las citas que no corresponden a sus trabajos o a la revista en cuestión, combinando (fusionando) los artículos que, por ejemplo Google presenta dos veces (en español y en inglés) y que al tratarse del mismo contenido nunca deben presentarse como trabajos diferentes.
Igualmente, existen perfiles de autores y también de algunas revistas que ofrecen el mismo artículo publicado en años diferentes en la misma o diferente revista tratándose del mismo contenido. Sería algo así como “engañar” a Google. Por ejemplo, un mismo artículo muy referenciado y publicado en dos o más idiomas, o más de una vez, en años diferentes (todo ello en la misma revista), podría elevar el hipotético h5 de la revista o autor, falseando el sentido de las métricas de citas.
Es decir, aquello que en nuestro perfil o en el de una revista Google no llegue a pulir o limpiar, por ética profesional o académica, debemos ser nosotros los que lo hagamos. Y si Google insiste en el error, contamos con canales para comunicarlo y que traten de subsanarlo.
Pueden encontrarse ejemplos de errores de Google, a veces acompasados por malas prácticas en el manejo de perfiles de revistas, o malas prácticas editoriales, que si no se subsanan están distorsionando los índices de citas, el índice h y el índice i10. Hemos detectado que alguna de las 100 revistas en español con mayor h5 de entre las del ámbito de la educación acumula varios de estos errores. Hemos pulsado en el número que corresponde a su h5-Index y ahí nos aparecen los artículos de la revista que han sido citados h veces. ¿Con qué nos hemos encontrado? Pues aunque sea una situación extraña, hemos detectado estos errores ¡en la misma revista! que entendemos distorsionan la credibilidad del índice:
  1. Artículo asignado a la revista y que realmente ha sido publicado en otra diferente.
  2. Artículos con el mismo contenido, que han sido publicados en más de un idioma, bien porque en efecto ha sido publicado íntegramente, por ejemplo en español e inglés en la misma revista, bien porque Google ha tomado por una parte el Resumen del artículo y por otra, el Abstract. Si se tratase de un artículo muy citado, con citas en ambos idiomas, evidentemente si estas referencias no se fusionan vienen a ofrecer unos datos incorrectos sobrevalorando los índices de la revista.
  3. Artículos publicados en una determinada fecha y que, dado su índice de impacto, se vuelven a republicar en fecha más actual con el fin de aprovechar las previsibles citas que, por su “actualidad en la publicación” puedan beneficiar los índices futuros de la revista.
  4. Google no afina a veces respecto a la fecha de publicación de un determinado artículo. No siempre casan las fechas de publicación que aparecen en Google Scholar Metrics con la real y original de publicación del artículo. Ello puede deberse a que algunas revistas cuentan con más de un sitio URL, alguno conteniendo estos errores, o determinados repositorios a los que acuden los motores Google pueden mostrar una fecha errónea. Es probable, también, que al pasar una revista al sistema Open Journal System (OJS) el editor no haya caído en la cuenta que al confeccionar el número correspondiente, debe insertar la fecha de publicación REAL del artículo y no la del momento de subida a OJS (que puede haber sido hace pocos meses). Aunque bien es cierto que algunos intereses editoriales podrían animar a no acometer esas tareas, siempre que esos errores beneficien los diferentes índices de impacto o de citas. Si un artículo con muchas citas, publicado en 2012, y que contará por tanto para el h5 de 2016, se vuelve a publicar en 2016, puede preverse que siga siendo citado, pero ahora con fecha de 2016 y con valor para los próximos cinco años. De aquí surgirá en el futuro otro falso h5 porque el original de 2012 es el válido y no la copia de 2016.
  5. El mismo artículo publicado en dos o más revistas diferentes. Una de las revistas, en su perfil de Google Académico, acumula las citas que ha tenido ese artículo en otras revistas. Evidentemente, el caso se presenta como más grave cuando se trata de revistas científicas, dado que el lector o el hipotético autor/investigador es posible que no detecte en una visión rápida estos errores, queremos pensar que no intencionados, y que le puedan llevar a adoptar decisiones no deseadas.
Todos estos casos, y otros más que pudieran detectarse, son fallas, errores o malas prácticas encontrados en alguna revista de educación de esas con mayor h5 en los índices de Google Metrics. Aunque en alguna revista puede detectarse algún error aislado, resulta más preocupante que la mayoría de los apuntados los hayamos encontrado juntos en el h5 de una sola revista de las de “Educación”. Está claro que la revista en sí puede ser excelente, al margen de mostrar en Google Scholar Citations o en Google Scholar Metrics alguna de las situaciones apuntadas. Pero, claro, si Google se toma por evaluadores de autores o revistas como una de las referencias, y quizás pueda llegar a serlo cada vez más, creemos que han de adoptarse serias cautelas al aceptar sus índices sin más.
Insistimos, revisar los datos que aparecen en Google Scholar Citations puede suponer un gran servicio al mundo de la academia y de la investigación. Además de que Google debería dedicar recursos complementarios para mejorar estas métricas y los investigadores, autores, editores de revistas, etc., aportar ideas y datos, denunciar fraudes y sugerir formas éticas de actuar ante casos como los señalados arriba.
Cómo citar esta entrada:
Ruiz-Corbella, M. (2016). ¿Es de fiar el h5 de revistas de Google Scholar Metrics?. Aula Magna 2.0. [Blog, 28 de octubre de 2016]. Recuperado de: http://cuedespyd.hypotheses.org/2154


Tomado de Aula Magna 2.0 con permiso de los editores del blog