Evaluación de la investigación en biomedicina. Encuentro de la alianza de Institutos de Investigación Sanitaria

30 y 31 de agosto, 2022


Los indicadores de evaluación científica en el contexto de Ciencia Abierta: evidencias desde el proyecto InfluScience

doi: 10.5281/zenodo.7035546

ÍNDICE

  • El proyecto InfluScience y el análisis de la actividad científica mediante altmétricas

  • Evidencias empíricas y resultados recientes analizando altmétricas en España en 22 campos

  • Un pequeño listado de ideas finales para el uso correcto de indicadores en el marco de la Bibliometría Evalutiva

  • Objetivo de la presentación: ofrecer una breve introducción a las altmetrics e introducir algunos elementos de debate sobre su uso en contextos evaluativos reales

1. El proyecto Influscience

El punto de partida del proyecto InfluScience

Veamos algunos ejemplos rápidos de lo que podemos encontrar en el ranking InfluScience:

2. Evidencias empíricas


1

Robinson-Garcia, N; Arroyo-Machado, W.; Torres-Salinas, D. Mapping social media attention in Microbiology: identifying main topics and actors. FEMS Microbiology Letters, Volume 366, Issue 7, April 2019, fnz075

2

Torres-Salinas, D.; Robinson-García, N.; Arroyo-Machado, W. (2022). Coverage and distribution of altmetric mentions in Spain: a cross-country comparison in 22 research fields. Profesional de la información, v. 31, n. 2, e310220., 2022

3

Torres-Salinas, D.; Robinson-García, N.; Arroyo-Machado, W. (2022). Perfiles de autores basados en la audiencias de las publicaciones considerando métricas alternativas. Work In Progress

Los indicadores tienen diferente cobertura y están determinados geográficamente

Cobertura de los documentos españoles de la Web of Science indexados en Altmetric.com para 22 campos científicos durante el período 2016- 2020

Comparativa de la cobertura de publicaciones Web of Science indexadas en Altmetric.com para España, UE-15 y Estados Unidos en 22 campos científicos ESI durante el período 2016-2020.El color de la celda representa el porcentaje, de blanco (0%) a rojo (100%).

Los indicadores se comportan de forma diferente según las categorías

Número medio de menciones de la producción científica española en los campos ESI para cuatro indicadores (Twitter, noticias, informes y Wikipedia)

Los indicadores tienen altos niveles de asimetría por lo tanto aplican sobre pocos autores

Total mentions collected in this study and mentions received for papers published for top Spanish authors according to altmetric.com

Aquí vemos el tamaño de las métricas y las comunidades

Two-mode network of Microbiology publications and altmetric actors mentioning them. We only show 6% of the network for displaying reasons. Publications are represented in green and they correspond to all publications included in Altmetric.com from the Web of Science subject categories of Microbiology and Biotechnology & Applied Microbiology. Nodes in blue are Twitter accounts, in red are news media and in yellow, organizations producing policy briefs. Map created with Gephi v. 0.9.1

A nivel de autor se pueden establecer perfiles de audiencias que ayuden a determinar objetivos

Los indicadores tienen sesgos que obligan a su contextualización

Top 25 Twitter accounts mentioning publications included in Altmetric.com from the Web of Science subject categories of Microbiology and Biotechnology & Applied Microbiology.

3. Apuntes finales

  • Existen indicadores solventes (policy, news mentions, wikipedia, ...) que ayudan a identificar autores o trabajos que han logrado alcanzar audiencias diferentes a las científicas. Deberíamos medir las audiencias que logran alcanzar captar nuestros centros / grupos. HF Moed hablaba de un enfoque basado en la efectividad de la comunicación

  • En la actualidad plataformas como Altmetric.com nos permiten establecer o determinar el contexto en el que se producen las métricas y, por tanto, no considerar aisladamente los valores abasolutos (por ejemplo conocer los informes, entidades citantes, los medios de comunicación o las comundidades de atención). Rafols habla de pasar del indicator al indicating. Por tanto hay que realizar lecturas más penetrativas de los indicadores y hur de las "beans metrics"

  • El contexto implica asimismo 1) Por parte de evaluador transparencia y ofrecer informes que permitan interpretar adecuadamente y replicar las altmetrics. Pero no nos olvidemos nunca 2) Por parte de la institución hay que tener claro como se aplicarán y el uso de los indicadores (unidad de evaluación, dimensión, objetivos, características del campo, etc... - esto ya lo hemos visto con las diferencias disciplinares de las altmétricas)

  • Evidentemente para alcanzar esto los indicadores han ser empleados en el marco del Informed Peer Review, es una cuestión que se viene señalando y apuntando desde los años 80 desde la bibliometría evaluativa. Los indicadores bibliométricas no son un fin último, son solo un elemento más en los procesos de toma de deciones. Somos monitoring devices

  • En relación con las altmétricas indicar su complejidad 1) Número de fuentes e indicadores (gran número de propuestas, cambio de paradigma en las fuentes, mixing and remixing, sesgos en plataformas, ...) 2) Validez de los indicadores (asimetría, significado, replicabilidad, áreas en las aplican etc..).

Las instituciones exigen expertos que asesoren de estos aspectos, dónde se mezclan temas técnológicas, conceptuales y sobre todo relaciones con la política científica