EL CLUB DE LOS CRÍTICOS INTERESADOS EN QUE NO SE USE EL ÍNDICE h

¿A QUIENES NO INTERESA QUE SE USE EL INDICE h PARA EVALUAR LA CALIDAD DE LOS INVESTIGADORES CIENTÍFICOS?
1) A quien no ha llegado al mínimo establecido en su área para aparecer en el ranking y sabe que nunca llegará a alcanzarlo.
2) A quien nunca ocupará en un ranking el lugar que cree merecer.
3) A quien desearía seguir ocupando el puesto de "sabio del lugar" pero cuyo indice h le niega tal categoría.
4) A quien prefiere seleccionar o evaluar a un científico teniendo en cuenta criterios subjetivos ("es discipulo de ..." ....."todos dicen que es un genio", etc.) aunque los de carácter objetivo indiquen lo contrario.



Lo peor de los miembros de este club de los críticos interesados no son sus argumentos; lo peor es que son mayoría en nuestros centros de investigación
Esto no quiere decir que cualquier crítica al uso del índice h sitúe a su autor en alguno de los anteriores apartados. Sin embargo, convendría que
1) las críticas sean razonables ya que, en otro caso, si no se pertenece a ese club, al menos, se está haciendo felices a sus miembros.
2) se propongan criterios mejores. Nadie mantiene que el uso del índice h sea, además del mejor en este momento, el único a aplicar ni de uso para la eternidad.
Continuaremos haciendo rankings, a pesar de todo, usando el índice h y dejamos a quienes consideren otros criterios mejores la labor de aplicarlos y publicar sus resultados como les parezca. Se trata de que nos repartamos el trabajo.



ALGUNAS CRÍTICAS QUE SE HAN REALIZADO AL INDICE h.
1) No trata bien a los investigadores jóvenes. Ver discusión
2) Depende del área. Esto es cierto, lo que significa que, tal y como hacemos, los rankings deben establecerse por áreas.
3) La base de datos de ISI contiene errores. Cierto, pero hay que esperar que los errores afecten de manera similar a todos los autores; además puede reclamarse a ISI que rectifique cualquier error. Cada publicación tiene un enlace que lo permite.
4) Favorece a los jefes de grupos numerosos. Dirigir un grupo numeroso y ser productivo contribuye a que el jefe tenga muchas publicaciones; no necesariamente a que tenga un alto índice h. Si en algunos casos existe dicha relación, el índice h, con toda lógica y justicia, estaría premiando la labor de crear un equipo que produce publicaciones con suficiente impacto. Si esto es una ventaja, los críticos ya saben cual es la receta.
5) No se excluyen las autocitas. No se hace porque solo el propio autor podría excluirlas y con dificultad. Sin embargo, no es obvio que debieran excluirse todas. Si un autor ha publicado sobre el tema de una publicación y esto es usual ¿por qué hay que excluir sus citas y no las de otros? Deberían excluirse las que podríamos llamar "inapropiadas" pero está claro que esto es todavía más dificil. Finalmente, las autocitas son necesarias para que los referees y lectores de un artículo puedan calibrar si es o no una repetición de trabajos anteriores. Más grave es el hecho de que un autor no se autocite cuando debe, que lo contrario.
Es razonable suponer que la reducción a realizar como consecuencia de la existencia de autocitas depende
− del nivel usual de citas del área, de modo que su efecto se debe mitigar si se comparan autores de la misma área
− de la productividad del investigador. El número de autocitas debe ser mayor para autores que publican mucho. De manera que, aunque lo que se pretende medir es la calidad y esta no guarda relación con la cantidad de articulos publicados, no resulta demasiado grave que haya una ligera dependencia de h con la productividad. De todos modos, los resultados obtenidos hasta ahora establecen que esta componente es poco importante ya que el orden de los investigadores en función del indice h no guarda relación con el que se obtendría atendiendo al número de publicaciones.
− de la tendencia del autor a autocitarse. Esta componente establece diferencias entre autores con la misma calidad a favor de quien más se autocita. La diferencia de los valores de h entre ambos es el margen de error de la "medida". Es de esperar que cualquier científico, no incluido en el club de los críticos interesados, acepte que la medida de una magnitud tan etérea como la calidad de la producción de un investigador científico, tenga un margen de error sin que ello la descalifique totalmente. Creemos, no obstante, que el orden en los rankings no se modificaria sustancialmente, ya que lo importante no es el valor de h sino las diferencias en h entre lo autores.
6) No considera la capacidad de formación de los investigadores, ni la capacidad de obtención y participación en proyectos competitivos, ni de obtención de fondos para la investigación. Un investigador con gran capacidad de formación y/o que participa en muchos proyectos competitivos y/o que obtiene muchos fondos para la investigación pero cuyos resultados no son citados, forma malos investigadores y derrocha los fondos que se le otorgan. Si es muy citado, entonces tendrá un alto índice h. Por tanto, este valor no solo permite clasificar a los investigadores, también puede detectar a quienes deben esas mencionadas altas capacidades a razones políticas y no científicas.
7) No tiene en cuenta la transferencia y desarrollo y la innovación. Esto es cierto, el índice h no sirve para esto. Solo vale para valorar la calidad de la investigación científica, es decir, la I de I+D+i.
8) No tiene en cuenta las condiciones en que se ha llevado a cabo la investigación. Esto no lo puede evaluar ni el indice h ni ningún otro parámetro. No obstante, en nuestro estudio hemos tenido en cuenta este factor al elegir a España para realizar el estudio.
9) Debería complementarse con el número total y la media de citas. Estos parámetros dependen de cuántos artículos de revisión haya escrito el autor. Éstos reciben muchas citas porque aprovechan la pereza de muchos autores que prefieren citarlos en lugar de citar a los autores que generaron el conocimiento que se revisa. Además el mérito científico del autor de una revisión es muy escaso o nulo ya que no suelen generar nuevos conocimientos. Por tanto, su efecto sobre la evaluación de los investigadores es doblemente perniciosa: eleva, indebidamente, la evaluación de quienes la publican, a costa de disminuir, injustamente, la de los que generaron los conocimientos que sirven para su publicación. Es lo mismo que ocurre con el índice de impacto de las revistas de revisión. Por otra parte, un número discreto de publicaciones de revisión en un curriculum tiene un impacto sobre el índice h de su autor muy limitado ya que todas las citas que reciben la publicaciones citadas un número de veces superior a h (en este grupo está la mayoría de la revisiones de un autor) no influyen en éste, mientras que lo hacen de manera contínua incrementando el número total y la media de citas de sus autores. De considerar en nuestro estudio el numero total y la media de citas, deberíamos eliminar las revisiones. Desgraciadamente, ISI considera revisiones a todos los artículos con mas de 100 citas, sean o no revisiones y, por tanto, la eliminación de los verdaderos artículos de revisión no es sencilla.
10) La opinión de los pares es mejor que el uso de criterios objetivos. Si aceptamos esa opinión podríamos concluir que todos los artículos tienen el mismo mísmo valor ya que todos fueron revisados por pares y aceptados por el Editor. Estaríamos volviendo al antiguo criterio objetivo de comparar a los investigadores por el número de publicaciones. Sin embargo, los defensores de este sistema argumentan que comparar publicaciones es una tarea diferente de aceptar un artículo. Prefieren pensar que sus pares locales distinguirán la paja del grano. Habría que preguntarse ¿quién elige a los miembros de las comisiones? ¿qué criterios se usan? Ser amigo del Coordinador ¿y quién elige a éste? Un amigo suyo bien situado en el Ministerio, es decir, alguien que, probablemente, tiene un carnet del partido en el gobierno y poco o ningún mérito científico. Si se trata de una comisión de Facultad o Universidad, el método es el de votación y así nunca se elige al mejor sino al que tiene más amigos. Nada de lo que hagan esas comisiones tiene garantía alguna porque no existe ningún criterio de calidad para su nombramiento. Si se formara por sorteo entre los investigadores de mayor índice h, el sistema de investigación español mejoraría sustancialmente.
Por otra parte, ¿qué hacen los miembros de las comisiones cuando se encuentran con media docena o más de CV y 600 o más artículos? ¿Leérselos? NO. Cuentan cuántas publicaciones tienen los implicados en Science, Nature, etc. Es decir, usan el factor de impacto (FI) de las revistas! Usan criterios objetivos! Si éstos merecen crédito hay que suponer que también el número de citas ya que el FI depende de ellas. Por tanto, si se opina que un artículo que no se ha citado nunca después de algunos años no vale nada y que uno que ha sido citado 100 veces es mejor que otro que solo lo ha sido 5 veces, con independencia de la revista y de su FI, no se debería usar este parámetro sino otro basado en el número de citas reales de los artículos. El FI es un valor medio del número de citas que han recibido los artículos aparecidos durante 2 años en una revista. De manera que si el FI de una revista es 5, hay artículos que han sido citados 0, 1, .... 20, 30, .... veces durante ese periodo. Darle a todos el mismo valor es, por tanto, injusto. ¿Por qué no asignar a cada artículo su número de citas? Eso es lo que tiene en cuenta el índice h de un investigador.
11) Entre las citas de un autor se incluyen algunas en las que se critica un artículo Esta objeción es tan popular como insensata. El indice h crece solo con las citas que recibe continuamente el pequeño conjunto de artículos cuyo número de citas está ligéramente por debajo de h. Si el artículo en cuestión ha llegado hasta ese nivel antes de que se descubra el error y las citas denunciándolo consiguen sobrepasar la barrera de los h artículos más citados estas citas habrán podido aumentar h en una unidad teniendo en cuenta que la denuncia de un error o fraude no requiere su reiteración y que si un artículo deja de ser citado no puede influir en h. Asi es que queda demostrada la pobreza de este argumento.


¿POR QUÉ USAR EL ÍNDICE h?
1) Porque, tal y como discute magistralmente su autor, es mejor que cualquier otro criterio objetivo.
2) Porque, junto con otros criterios, debería permitir seleccionar al mejor candidato a una plaza o adjudicar un proyecto.
3) Porque, nadie nos ha indicado, razonadamente, que en un ranking de área sobre alguno de los presentes o falte alguien cuyo índice h está por debajo del mínimo y sus méritos sean evidentemente merecedores de estar en la lista.
4) Porque quienes rechazan su uso no proponen nada mejor.


NOTA: Este escrito será modificado de acuerdo con los cambios de opinión de sus autores. Esta es la versión 6.0 de 1/11/2013.



VOLVER A LA PÁGINA PRINCIPAL