El rasero injusto de los rankings de universidades

Escribe: Lorenzo García Aretio

---

No parecería adecuado comparar todas las universidades o todos los docentes/investigadores con los mismos parámetros propios de las ciencias “duras”, aquellas que siempre hicieron eso y que cuentan con numerosas revistas científicas que se realimentan mutuamente en cuanto a las citas y referencias a sus respectivos artículos. No, no debería ser lógico comparar y medir con los mismos criterios e indicadores a los diferentes ámbitos y ramas del saber y de la ciencia. No en todos los casos el conocimiento científico avanza con la misma celeridad. Los investigadores de las áreas de humanidades, sociales y jurídicas, partimos con una evidente desventaja. Hacía mención a este problema en mi trabajo que titulé Publicar (casi exclusivamente) en revistas de impacto (García Aretio, 2015).

Traigo este tema a colación, tras la celebración del seminario organizado recientemente por la CRUE en la UNED, bajo el título “Ten en cuenta los rankings, nos están diciendo algo” . Con ese motivo la periodista Sonia Cubillo (SC) realiza una entrevista a Ricardo Mairal (RM), vicerrector de Investigación y Transferencia de la UNED. Me han parecido muy interesantes sus respuestas, por lo que les transcribo literalmente buena parte de dicha entrevista.

______________________________

(SC) ¿Por qué tienen tanto impacto mediático los rankings de universidades?

(RM) Es cierto que los rankings universitarios tienen un enorme impacto en la sociedad. Hay que tener presente que son herramientas de interpretación sencilla y que son accesibles al gran público, por lo que influyen en la percepción social del sistema universitario. Los rankings se utilizan para comparar el prestigio de las universidades a nivel nacional e internacional, y pueden condicionar decisiones trascendentales como la elección de la universidad en la que se desea cursar los estudios. Ahora bien, quiero mencionar que hay que interpretar los resultados de los rankings con suma cautela para no hacer representaciones erróneas de la realidad.

(SC) ¿Cómo hay que interpretar los rankings?

(RM) A la hora de interpretar los rankings debemos conocer con exactitud qué miden y cómo se realizan, es decir, qué indicadores se toman en consideración para su construcción, el peso asignado a cada indicador, si las características de las instituciones las hacen comparables, y un largo etcétera de variables. Creo que es muy arriesgado reducir la actividad de una universidad a una mera posición en una tabla, e interpretar el resultado sin conocer en profundidad qué es lo que se está midiendo. Por ejemplo, en elRanking de Shanghai, que valora fundamentalmente la investigación, se tienen en cuenta los alumnos y profesores que han recibido premios Nobel o medallas Fields, o los artículos indexados en el Science Citation Index – Expanded y en el Social Science Citation Index. Pero hay muchas incógnitas que no se aclaran en la metodología de este ranking, tales como ¿cuánto valor se otorga a un premio Nobel único o compartido? o ¿qué entienden por profesor a tiempo completo? Por suerte, Domingo Docampo ha realizado un excelente trabajo de investigación para desentrañar los misterios metodológicos del Ranking de Shanghai.

(SC) ¿Puede influir el tamaño de una universidad en la posición que ocupa en los rankings?

(RM) Los rankings comparan instituciones muy diferentes tanto en lo que respecta a recursos humanos como a financiación. En cuanto a los recursos humanos influye tanto la cantidad de profesores como la especialidad; es decir, no se valora igual la producción de un profesor de medicina que la de su homólogo de derecho, por la sencilla razón de que es más probable que la producción del primero aparezca categorizada en el Science Citation Index – Expanded, que el que la del segundo aparezca en el Social Science Citation Index, debido a que se trata de ramas del saber con sistemas de difusión poco equiparables. Nos hallamos, así pues, en una situación en la que las universidades con un peso importante de titulaciones de Ciencias Sociales, Ciencias Jurídicas y Humanidades se sitúan, ya de partida, en una posición de desventaja respecto a las que cuentan con mayor número de titulaciones de Ciencias Experimentales y de Ciencias de la Salud. Además, en estas áreas el ritmo de publicación es más elevado debido, entre otras razones, a que es en ellas donde el conocimiento científico avanza con mayor celeridad.

En este punto, quiero recordar que aproximadamente el 73% del profesorado de la UNED está adscrito a titulaciones de Ciencias Sociales, Ciencias Jurídicas y Humanidades. Este porcentaje es altísimo en comparación con la media del sistema universitario español, y, por consiguiente, es un factor condicionante de la posición que ocupa la UNED en los rankings. En lo relativo a la financiación, cuando leo en la prensa que ninguna universidad española está entre las 150 primeras del mundo, me sorprende que este hecho no se relacione con las diferencias presupuestarias existentes no solo a nivel europeo, sino a nivel mundial.

(SC) ¿Hacen falta más rankings o basta con los existentes en la actualidad?

(RM) Considero que son necesarios rankings elaborados con metodologías rigurosas y transparentes, que permitan establecer comparaciones de universidades por campos científicos, y que incluyan elementos correctores eficaces relativos al tamaño de las instituciones. Por ejemplo, una forma razonable de medir la producción científica de una universidad sería normalizar el valor de las publicaciones por profesor en las diferentes áreas, multiplicar ese valor normalizado de producción por el número de profesores en cada rama del conocimiento y finalmente dividir por el número total de profesores de cada universidad. Así se obtendría un índice de producción investigadora que tendría en cuenta las peculiaridades de cada rama y la distribución del profesorado entre las distintas ramas en la universidad. En este sentido, conviene recordar que el índice de Shangai reconoce que hay instituciones a las que, por su especialización, o por la composición interna de su profesorado, no se les puede aplicar indicadores que sí son válidos para otras instituciones, como es el caso del índice N & S, que recoge las publicaciones en las revistas Science y Nature. En concreto, en el índice de Shangai se señala lo siguiente:

For institutions specialized in humanities and social sciences such as London School of Economics, N&S is not considered,and the weight of N&S is relocated to other indicators.

En esencia, la misma reflexión se hace extensiva a otros indicadores como el PUB:

Total number of papers indexed in Science Citation Index-Expanded and Social Science Citation Index in 2013. Only publications of ‘Article’ type is considered. When calculating the total number of papers of an institution, a special weight of two was introduced for papers indexed in Social Science Citation Index.

Por consiguiente, parece necesario aplicar un factor de corrección entre ramas de conocimiento para que el ranking proporcione una visión exacta. De hecho, como señalaba anteriormente, un 73% del profesorado de la UNED pertenece al campo de las Humidades y Ciencias Sociales, lo que explica que la UNED ocupe una posición destacada en producción y descienda en productividad, ya que muchos de los índices que se utilizan para medir este segundo factor no son relevantes en los campos antes mencionados. Se puede producir, por tanto, un efecto paradójico si únicamente se procede a la mera agregación de datos.

Finalmente, también sería interesante disponer de rankings que midan la eficiencia, es decir, la relación entre los recursos disponibles y los resultados que se obtienen.

_____________________________

Hasta ahí las partes de la entrevista que he querido destacar. Mantengo, al igual que Mairal, la idea de que no existen criterios adecuados para generalizar en este tipo de medidas. Y ya sabemos que tanto para los docentes universitarios como para las instituciones a las que pertenecen, esas “medidas” llevan la mayoría de ocasiones a reconocimientos, ventajas y estímulos económicos de importancia.

REFERENCIAS

Cubillo, S. (2015). Entrevista a Ricardo Mairal. Comunicación UNED. Recuperado de: http://portal.uned.es/portal/page?_pageid=93,53328133&_dad=portal&_schema=PORTAL

García Aretio, L. (2015). Publicas (casi exclusivamente) en revistas de impacto. RIED. Revista Iberoamericana de Educación a Distancia, 18(2) , 7-22. doi: http://dx.doi.org/10.5944/ried.18.2.14254

---

Tomado de Contextos universitarios mediados, con permiso de su autor