Visibilidad y equilibrio en la revisión por pares: el caso de la plataforma Publons

Por  Sandra Sánchez-García

Directora Técnica de la Biblioteca General del Campus de Cuenca, UCLM

Coordinadora editorial de Ocnos: revista de estudios sobre lectura

Los procesos de evaluación por pares son el eje sobre el que se articulan los sistemas de evaluación científica, habiéndose consolidado como práctica de arbitraje científico en los procesos de publicación y en la asignación de recursos. La revisión por pares o peer review se ha convertido en la estrategia aceptada para garantizar el control de la calidad de las publicaciones. Esta práctica utilizada por las revistas científicas desde la II Guerra Mundial, no ha estado nunca exenta de críticas, si bien sus sesgos y limitaciones se han visto acrecentados por el actual modelo científico y de promoción. Un modelo centrado principalmente en la publicación de los resultados de investigación, que ha provocado en la última década un crecimiento exponencial de revistas científicas y del número de artículos publicados.

Este incremento notable del número de manuscritos que reciben actualmente las revistas científicas para su evaluación ha hecho más evidentes algunas de las limitaciones de los procesos de evaluación por pares (Medina-Chirino et al., 2017; Menéndez-González, 2015). Por una lado, nos encontramos con revisores cada vez más saturados, con una tarea que en la mayoría de los casos hacen de forma voluntaria y sin recibir ningún tipo de compensación;  y por otro, con equipos editoriales que han ampliado su volumen de trabajo y para los que cada vez es más difícil encontrar evaluadores adecuados que acepten esta tarea y lo hagan a partir de evaluaciones exhaustivas y dentro de unos plazos establecidos.

No es el objetivo de esta entrada ahondar en las limitaciones de este sistema[i], pero sí contribuir al análisis y el debate de nuevas prácticas que nos ayuden a avanzar en este contexto, algo que nos proponían Ernesto López Gómez y Marta Ruiz Corbella en su entrada del 2 de febrero “Sobre la revisión de los artículos científicos o… lo enviamos un martes del mes de julio”. Estos autores se hacían eco de una de las principales limitaciones de este sistema: la voluntariedad de las revisiones y la falta de reconocimiento de esta tarea; lo que supone todo un desafío para los equipos editoriales de las revistas a la hora de comprometer a los investigadores en los procesos de revisión por pares.

Esta entrada pretende dar un paso más en el reconocimiento de la labor de los revisores, una labor poco reconocida y escasamente valorada dentro de los procesos de publicación. Un proceso que presenta tres grandes actores: autores, editores y revisores; que, como señala Menéndez-González (2015), se guían por motivaciones muy dispares.  Los autores y miembros de los equipos editoriales por motivaciones curriculares, los primeros al verse obligados a publicar sus resultados de investigación y los segundos al ser considerado un mérito notable en el currículum académico. Queda por tanto analizar la motivación de los revisores que no reciben ni recompensa material ni curricular, y que se centra, en la mayoría de los casos, en su compromiso con el modelo científico y la concienciación sobre la necesidad de una adecuada labor de revisión en este proceso.

La revisión de un artículo requiere un amplio conocimiento del tema, experiencia y e invertir una gran cantidad de tiempo en esta labor, un trabajo tedioso que se basa en gran medida en el altruismo y la vocación de contribuir al avance de la ciencia. Ser revisor es un trabajo ingrato, escasamente reconocido, cuya recompensa no suele ir más allá la expedición de certificados para incluir como experiencia en el CV, si bien carece de valor en el sistema actual de reconocimiento de méritos académicos (Lederman y Lederman, 2017).

Por ello, resulta necesario aumentar la motivación de unos evaluadores que están sobrecargados por sus propias obligaciones académicas, buscando fórmulas para compensarles por su trabajo y dedicación a un sector que genera, en algunos casos, importantes beneficios.

En los últimos años han aparecido interesantes propuestas que buscan visibilizar una tarea clave dentro del proceso de comunicación científica. Cantor y Gero (2015) proponen desarrollar un Índice R como una forma de cuantificar y poner en valor las contribuciones de los investigadores como revisores, lo que proporcionaría un reconocimiento académico visible a esta tarea, motivando la labor de los revisores, al tiempo que facilitaría a los equipos editoriales una referencia para administrar y mejorar su equipo de revisión.

Muchas revistas y sobre todo importantes grupos editoriales han buscado fórmulas para recompensar la labor de los revisores, tales como certificados de excelencia, privilegios en la publicación, acceso mejorado al contenido de la revista y a bases de datos, descuentos para libros y otros pequeños signos de reconocimiento como la inclusión de los revisores más destacados dentro del consejo editorial de la revista (Rajter-De Meyts et al, 2016).

Los grupos editores más relevantes ofrecen algún tipo de remuneración económica, una remuneración que en ocasiones incluso es cuestionada por comprometer la calidad de la revisión. Si bien es cierto que como señala Berstein (2013) y Gasparyan et al. (2015), las compensaciones económicas no son los incentivos más valorados por los investigadores, que aprecian más accesos gratuitos a revistas y bases de datos, la designación en el comité editorial de la revista o incluso reconocimiento oficiales en la web.

En los últimos años han surgido además plataformas online como Rubriq oPeereviewers que ofrecen servicios de revisión profesionales a autores y revistas, proporcionando revisores adecuados, con disponibilidad real para revisar manuscritos en plazos muchos más cortos que lo que viene siendo habitual. Estas plataformas se basan en el cobro de unas tasas a sus clientes y la compensación tanto económica como curricular a sus revisores.

También es habitual que los grupos editoriales ofrezcan una serie de reconocimientos tangibles. Por ejemplo, SAGE ofrece acceso gratuito de 60 días a todas sus revistas, junto con un descuento del 25% en cualquier libro de la editorial. Elsevier ha establecido un sistema de insignias y recompensas para incentivar a aquellos revisores que acumulan mayor número de contribuciones. El esquema diferencial de insignias, además del reconocimiento de la tarea del revisor, implica una gama de descuentos en los productos Elsevier.

Mientras que los grandes grupos editoriales y sociedades profesionales ya han establecido mecanismos para recompensar a sus mejores revisores, los pequeños editores institucionales luchan por encontrar revisores expertos. La tarea editorial de encontrar buenos revisores ha supuesto todo un handicap para los editores, limitándose inicialmente en algunos casos a los colegas y grupos de investigación afines a los editores de cada revista, y ampliándose actualmente gracias a la consulta de bases de datos y directorios en línea que facilitan la localización de los investigadores. En este sentido, plataformas como Google Scholar, Academia.edu o ResearchGate suponen una fuente de información de potenciales revisores para las revistas. Rajter-De Meyts et al (2016) y Gasparyan et al (2015) señalan ORCID como una de las iniciativas más importantes para facilitar la localización de revisores, recomendando encarecidamente el uso de este identificador único entre los investigadores.

Mención especial al reconocimiento de la labor de revisión merece Publons. Este sitio web y base de datos fue creado en 2012 por Andrew Preston y Daniel Johnson en Nueva Zelanda especificamente para registrar y reconocer el trabajo revisión por pares. El objetivo de esta plataforma es dar visibilidad a los expertos involucrados en las revisiones por pares ofreciendo un registro de revisores, revistas y revisiones.

Figura 1: Información básica de un perfil de revisor en Publons

Publons permite a los investigadores crearse un perfil de revisor en el que se incorporan los campos de investigación, las revistas para las que ha revisado y la relación de trabajos evaluados.  El procedimiento de incorporación de estas revisiones se realiza a partir del envío del email de agradecimiento de la revista por la revisión, estas son verificadas por Publons y anotadas en el perfil del investigador. El investigador puede decidir hacer públicas las revisiones enviadas una vez que los manuscritos han sido aceptados, previa autorización del editor. Publons permite a los investigadores mostrar desde el año que se realizó la revisión, la revista para la que se realizó, el título del artículo y el texto completo de la revisión. Aunque estas dos últimas opciones solo están disponible previa autorización de editor y una vez que el manuscrito ha sido publicado. Este aspecto es quizás la cuestión que puede resultar más polémica, ya que puede provocar confrontación entre investigadores (Repiso y Robinson-Garcia, 2018).

Con los datos de las revisiones el sistema genera una serie de estadísticas que permiten situar a cada revisor en el percentil de actividad correspondiente en comparación con otros revisores registrados. Tras la integración de Publons con Almetric en 2013, se introdujeron además un nuevo sistema de puntuaciones para ampliar los datos de los artículos con su difusión en medios sociales, midiendo el impacto alternativo de las revisiones (Gasparayn et al., 2015).

Figura 2: Ranking de revisores españoles más citados (abril 2018)

El perfil de cada revisor es público, de modo que los revisores pueden utilizar esta plataforma para acreditar su actividad, al tiempo que permite a los equipos editoriales localizar revisores por áreas y temáticas. Para las revistas, por tanto, el incentivo está en el acceso a una bolsa potencial de revisores conociendo áreas de interés, institución, su experiencia como revisores, y, en algunos casos, su tasa de aceptación de manuscritos y las características de sus revisiones.

La base de datos de Publons se complementa con una plataforma de formación (Publons Academy) y un blog en los que los investigadores nóveles pueden encontrar recomendaciones y tutoriales para abordar de forma adecuada un proceso de revisión.

Esta plataforma utilizada por un notable número de editores y revisores ha visto multiplicado su número de usuarios desde el 1 de julio de 2017, momento en el que Clarivate Analytics formalizara su adquisición contando en la actualidad con más de 330.000 revisores, 25.000 revistas y 1.8 millones de revisiones. Grandes grupos editoriales como SAGE, Springer Nature, Wolters Kluwer, Taylor & Francis, Wiley o MDPI se encuentran asociados a Publons.

Otra evidencia del éxito de Publons es su interoperabilidad con ORCID, ofreciendo la posibilidad tanto de registrarse desde el perfil único de investigador de esta plataforma, como de importar las revisiones al perfil de investigador.

Iniciativas como esta no solo benefician a investigadores y revistas visibilizando una labor hasta ahora oculta y no reconocida, sino también dotando de mayor transparencia a la actividad editorial. Por ello, animamos a los investigadores a registrarse en esta plataforma que les permitirá por un lado visibilizar su tarea como revisores, al tiempo que pueden registrar su disponibilidad para ser evaluadores de una revista determinada. Publons parece presentarse como una herramienta ágil y eficaz para que los editores de revistas tengan acceso a información fiable y actualizada a la hora de ampliar su cantera de revisores, intentado de algún modo paliar algunas de las deficiencias de un sistema que parece no agotar sus posibilidades, y que tiende cada vez más a poner nombres a sus protagonistas.

El futuro aunque incierto parece caminar hacia una diversidad de modelos donde la propia cultura en ascenso del Open Access puede dar el empuje definitivo a otros modelos alternativos de evaluación más abiertos (Medina-Chirino et al. 2015). No debemos olvidar que la notable expansión en los últimos años del acceso abierto entre la revistas científicas ha planteado también modelos de arbitrajes abiertos de los trabajos, que van desde las identidades abiertas (los revisores conocen la identidad de los autores y viceversa), a informes abiertos e incluso participación abierta a partir del uso de plataformas de revisión como Faculty of 1000 o F100, Peer Evaluation o PeerJ. Estos modelos, aunque todavía minoritarios, abren un nuevo debate en torno a la transparencia de los procesos de publicación.

[i] Son numerosos los trabajos que describen a partir de investigaciones las limitaciones de sistema de revisión por pares, José Luis Ortega (2017) presenta un interesante recorrido por las más significativas.

Referencias bibliográficas:

Cantor, M., & Gero, S. (2015). The missing metric: quantifying contributions of reviewers. Royal Society open science, 2(2), 140540. doi:http://dx.doi.org/10.1098/rsos.140540

Bernstein J. (2013). Free for service: the inadequate incentives for quality peer review.Clinical  Orthopaedics and Related Research, 471(10), 3093–3097. doi:  10.1007/s11999-013-3216-z

Ferreira, C., Bastille‐Rousseau, G., Bennett, A. M., Ellington, E. H., Terwissen, C., Austin, C., … & Hossie, T. J. (2016). The evolution of peer review as a basis for scientific publication: directional selection towards a robust discipline? Biological Reviews, 91(3), 597-610. doi: https://doi.org/10.1111/brv.12185

Gasparyan, A. M., Gerasimov, A. N., Voronov, A., & Kitas G. D. (2015) Rewarding peer reviewers: maintaining the integrity of science communication. Journal Korean Medical Sciences. 30(4):360-364. doi: 10.3346/jkms.2015.30.4.360.

Lederman, N. G., & Lederman, J. S. (2017). The Future of Peer Review. Journal of Science Teacher Education, 28 (3), 219-221. doi: https://doi.org/10.1080/1046560X.2017.1319163

López Gómez, E., & Ruiz-Corbella, M. (2018). Sobre la revisión de los artículos científicos o… lo enviamos un martes del mes de julio. Aula Magna 2.0. [Blog]. Recuperado de  https://cuedespyd.hypotheses.org/3421

Medina-Chirino, D., García-González, J. M., Grande, R, & Prieto Serrano, D. (2017). Potencialidad y viabilidades de los procesos de evaluación por pares abierto: el caso de “Encrucijadas. Revista Crítica de Ciencias Sociales”. Teknokultura, 14(1), 35-56. Recuperado de http://revistas.ucm.es/index.php/TEKN/article/view/55575

Menéndez-Gonzalez, M. (2015). Revisión por pares: plataformas de reconocimiento para revisores de artículos científicos. Archivos de medicina, 11, 3. doi: 10.3823/1253

Ortega, J. L. (2017). Are peer-review activities related to reviewer bibliometric performance? A scientometric analysis of Publons. Scientometrics, 112, 947-962. doi: 10.1007/s11192-017-2399-6

Rajpert-De Meyts, E., Losito, S., & Carrell, D. T. (2016). Rewarding peer-review work: thePublons initiative. Andrology, 4, 985-986. doi: 10.1111/andr.12301

Repiso, R., & Robinson-Garcia, N. (2018). Publons, aprovechando el poder de la revisión por pares. El site de Rafael Repiso [Blog]. Recuperado dehttp://rafaelrepiso.com/2018/03/05/466/

Cómo citar esta entrada:

Sánchez-García, S. (2018). Visibilidad y equilibro en la revisión por pares: el caso de la plataforma Publons. Aula Magna 2.0. Recuperado de:http://cuedespyd.hypotheses.org/3585

---

Tomado de Aula Magna 2.0 con permiso de sus editores