研究評価についての記事

Impact factor abandoned by Dutch university in hiring and promotion decisions. Woolston, C. Nature, 2021

インパクトファクター(IF)は学術誌の引用頻度を表す指標のひとつで、これを個々の論文単位の評価に用いることは不適切であり、ましてや研究者の業績評価に利用することは間違いですが、この悪しき慣行が幅を利かせる領域は少なくありません。オランダの大学が人事においてIFを参照することを公式に否定したことがここまで大きなニュースになるというのは、欧米においてもメトリクスの弊害の解消は必ずしも上手くいっていないことを示すものでしょう。

Fraud by Numbers: Metrics and the New Academic Misconduct. Biagioli, M. Los Angeles Review of Books, 2020

Goodhart's Lawの紹介から始まるこの記事では、メトリクス偏重による"Gaming the Metrics"が解説されています。大学が目に見える数字でしか研究を評価できなくなっているのは日本だけではないわけですが、この課題を乗り越えないことには質の高い研究に到達することは難しいかも知れません。

Why the h-index is a bogus measure of academic impact. The Conversation, 2020

H-indexは、論文数のみで研究評価を行うことを懸念したHirshにより提唱されたメトリクスですが、これもまた良い指標とはなり得ないことが具体的に指摘されています。ヒドロキシクロロキンがCOVID-19の治療に有用であると主張したフランスのRaoultは、H-index信者であり、メディアからの取材を受けて、研究者の良し悪しはH-indexで分かるという持論を述べています。RaoultはPubPeerで研究論文の疑義が複数指摘されており、彼の信奉者が告発者の一人であるBik博士の名誉毀損で訴えるといったトラブルに発展しています。本記事ではRaoultとEinsteinが比較されており、H-indexの空虚さが論じられています(時代も分野も異なりますから妥当な比較とは言えませんが…。ちなみにRaoultは120、Einsteinは56です)。

Living with DORA. Barbour, B. Referee #3, 2019

研究評価に関するサンフランシスコ宣言 (DORA)からそろそろ10年というところですが、メトリクスに偏重した研究評価は今も幅を利かせています。メトリクスは数値ですから、これをハッキングすることは研究費獲得や人事において有利な結果をもたらします。この仕組みに競争的な環境が加わることにより、研究不正や再現性のない論文の増加といった出来事が増えています。この問題は、研究評価に対する説明責任を行政や資金配分機関に求められた研究者が、その困難さを安易な方法で回避したことに起因しています。

Bibliometrics: The Leiden Manifesto for research metrics. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., Rafols, I. Nature, 520, 429-431, 2015.

研究評価のあり方に関する重要な提言。日本語の解説記事(「研究計量に関するライデン声明について」小野寺夏生、伊神正貫、STI Horison, 2016)があります。