El prospecto de los “rankings”

Escribe Teodoro Luque

La publicación de un ranking de universidades va seguida de una estela de interpretaciones, discusiones y utilizaciones, muchas veces interesadas y polémicas. El esfuerzo y el tiempo dedicado a ello excede, en mucho, al dedicado a comprender los detalles de su elaboración.

Si nos quedamos con una afirmación, con un valor medio de una magnitud o con una posición en un ranking, sin más, flaco favor hacemos al conocimiento de ese algo. Dicho de otra forma, si no se contrasta la afirmación, si la media no se acompaña con la desviación típica (u otras características) o si desconocemos el detalle de la elaboración del ranking, se debiera ser cauto al extraer conclusiones.

Ha salido una nueva edición del ranking CYD, la del año 2017, y como siempre e inevitablemente ha tenido un gran eco en el ámbito universitario. Siguiendo los planteamientos del U-Multirank, este ranking hace un importante y valioso esfuerzo de recopilación de datos. En su metodología se aclara que no usa indicadores sintéticos. Sin embargo, es raro encontrar una referencia a ese ranking en los medios que no haga alguna “agregación” de los indicadores para ordenar a las universidades, incluso a los sistemas universitarios por comunidades autónomas.

Antes de extraer y echar al vuelo (mediático y virtual) las conclusiones de un ranking por parte de cualquier usuario, se debería respirar y pensar varias veces la metodología del mismo. Como si de un medicamento se tratara, una práctica recomendable es la de leer el prospecto de cada ranking, para ver su composición, sus instrucciones de uso o los posibles efectos secundarios. Veamos algunos detalles en este caso.

En cuanto al número de universidades, el ranking CYD muestra datos de 69, entre públicas y privadas. Sin embargo, no de todas las universidades se tienen los mismos datos. Por ejemplo, la UNED, la universidad del País Vasco y la de Granada tienen prácticamente imposible estar entre las primeras posiciones de las agregaciones generales que se realizan, porque se desconocen 23, 23 y 11 indicadores, respectivamente, de un total de 33 considerados. Desconocer significa que no se sabe si en esos indicadores los valores son altos o bajos. Hay seis universidades públicas más a las que les faltan 4 indicadores o más.

Los 33 indicadores utilizados solamente se tienen para una universidad. De ellos hay 10 cuyos valores se desconocen, al menos para 11 de las universidades. Para quienes intenten realizar a partir de aquí un ranking general de las universidades españolas, habrá que aclarar algo obvio: será un ranking de aquellas de las que se tienen datos. No de todas. Sin entrar ahora en la importante cuestión de cómo se obtienen y auditan los datos, no hay que ignorar que cuando los proporcionan las propias universidades los criterios aplicados pueden ser diferentes.

Esto en cuanto al número de indicadores, respecto al significado de los mismos hay algunos detalles que llaman la atención. Por ejemplo, un par de indicadores (uno para grado y otro para máster) se refiere a si los estudiantes proceden de una Comunidad Autónoma diferente a la de la universidad. Esta distinción introduce una discriminación entre aquellas universidades que están en Comunidades Autónomas uni-provinciales o con pocas provincias (también con una o pocas universidades) de las que tienen muchas provincias (muchas universidades), al margen de la calidad o rendimiento que tengan.

Por otro lado, si los profesores de una universidad publican con otros profesores extranjeros saldrán bien en el indicador correspondiente. Si esas mismas publicaciones las hacen solos, no salen bien en ningún indicador.

Por el hecho de tener muchos profesores extranjeros se saldrá bien en el indicador correspondiente, si no se tienen no se destacará en ninguno. El siguiente ejemplo puede ser ilustrativo. El Granada CF ha tenido este año mayoría de extranjeros y en alguna ocasión todos los que jugaban eran de nacionalidad extranjera, pero poco le ha servido esto a la vista de la posición y la puntuación alcanzada. Una cosa es medir la orientación internacional y otra la calidad o el rendimiento.

Otros indicadores como la captación de fondos privados o los ingresos de formación continua, por ejemplo, dependen mucho del entorno de la universidad y de cómo estructure su oferta de formación continua, que estos sean indicadores de rendimiento es discutible. Es más, una universidad que captara menos fondos que otra, a igualdad de lo demás, tendría mayor rendimiento. Con menos recursos hace lo mismo.

La contribución al desarrollo regional se registra mediante tres indicadores: el porcentaje de prácticas realizadas fuera de la Comunidad Autónoma, el porcentaje de ingresos de investigación externa a la Comunidad Autónoma y el porcentaje de publicaciones con coautores dentro de un radio de 50 km (en particular para este indicador las universidades en ciudades pequeñas o en islas lo tienen mucho más difícil que las de Madrid o Barcelona). En estos tres indicadores no tienen nada que hacer las universidades que tengan a sus estudiantes haciendo prácticas en centros de referencia internacional (fuera de la Comunidad Autónoma), que capten fondos internacionales o publiquen con coautores a miles de kilómetros. Es más, no hay otros indicadores en los que se les reconozca ese “buen” hacer.

Estos son ejemplos que no persiguen exhaustividad pero que sirven para llamar la atención de lo que cada indicador registra exactamente y de la dudosa pertinencia de mezclar o agregar para medir el rendimiento. Unos pueden ser adecuados para medir la internacionalización o la contribución al desarrollo regional pero es más cuestionable que su mezcla o agregación sean adecuadas para medir otro concepto distinto (i.e. calidad, rendimiento), tal y como se ha podido leer en los medios.

Respecto a la manera de operar con los indicadores, una vez eliminadas las “no respuestas”, las universidades se ordenan en tres partes: percentiles menor de 33, de 33 a 66 y superior a 66. Estableciendo tres niveles de rendimiento: reducido, intermedio y alto. Esto implica que se está considerando igual a todas las universidades que están en la misma categoría (percentil), tanto a la que encabeza como a la que está en última posición de dicha categoría. A lo que hay que añadir que cada indicador tendrá escalas diferentes con estructura de valores muy diversos. Por simplificar, imaginemos una situación peculiar que se puede presentar en una prueba ciclista que aplique este procedimiento. En una Vuelta a España con 21 etapas, supongamos que el ciclista A gana al B en 20 etapas, con una diferencia en cada etapa de décimas de segundo. Mientras que en la etapa que falta, es el ciclista B el que gana al A con una diferencia de 45 minutos. Según esta manera de proceder (por percentiles), los dos ciclistas podrían estar en el mismo percentil en todas las etapas, entonces estarían igualados, tendrían la misma clasificación u orden. O puede que no, que estuvieran en percentiles diferentes. Si A fuera el último de su percentil y B encabezara el siguiente y viceversa en la etapa que gana B; en este caso A tendría una diferencia de 20 a 1 sobre B. Sin embargo, realmente es B quien terminó con un tiempo total sensiblemente menor. La misma situación da lugar a tres conclusiones muy diferentes, simplemente variando el criterio que se adopte.

En suma, con estos ejemplos se pretende llamar la atención sobre la importancia de leer (bien) los rankings y hacer (buen) uso de los indicadores en que se basan. Un ranking proporciona información y ayuda a la toma de decisiones de estudiantes, familias, empresas, administraciones públicas o responsables universitarios, para ello se debiera tener muy presente su prospecto. Para así advertir de su composición y de su modo de uso y, en definitiva, tenerlo en cuenta antes de difundir interpretaciones precipitadas en los medios o con la ligereza que permiten las redes sociales y que no tienen fundamento en los datos.

Tomado de Studia XXI con permiso de sus editores