2013年11月のメッセージ

論文の９割は再現できないという現実

先月のメッセージ、「不正行為と芝エビ」の話をもう少し続けたいと思います。Nature誌に先日、次のような記事がありました [1] 。

「がん研究に関する重要な論文の８９％は再現できなかった」

「ある製薬企業の社内プロジェクトの結果の２／３は、実証できなかった」

これをどう考えればいいのでしょうか？世に数多とある科学研究論文のうちどのぐらいが再現性のある正しい結果の発表なのか、それを検証する機関はこれまでありませんでした。これはバイオサイエンス分野に限った話なのでしょうか。カリフォルニアでは、論文発表者の依頼に基づいてその論文内容を実証再現するビジネスが始まったそうです。

物理系の論文はバイオ系と異なり、提案とか解釈だけの発表が多くあります。いわゆる理論やコンピュータによる計算、あるいは実験ではあっても実際の環境ではない模擬実験（シミュレーション）は、再現できないどころか実際の実験をしていません。実験によって正当性を証明されないままでの発表です。このような論文が、毎日毎週無数に発表されます。

毎日毎時たくさんの新しい事実が見つかり、新しい原理が構築され新しい手法が開発され、そして新しい物質が見つかり作られたら、それはすばらしいことです。しかし現実にはそんなに甘くはありません。それでもなお、ものすごい数の論文が発表され続けています。どうして？

世界中のそして日本中の博士号を取得するほぼすべての学生は、学生の間に２，３本の論文を書きます。世界中のそして日本中の教授たちもポスドクたちも、毎年毎年２，３本の論文を書きます。もっとたくさん書く人もいます。たとえ新しい発見や発明ががなくても、論文を書き続けます。そうしなければ学位が取れず、ポストは見つからず、昇進はできず、予算は獲得できないからです。それならたいしたことのない論文を書けばいいのですが、新規性のない研究は論文として採択されません。そこで、捏造ではないのですが他の人が再現できない論文が生まれるます。たまたま偶然に出た結果、計算だけの結果、模擬実験だけの結果、意味のない結果あるいは解釈が発表されてしまいます。

「生涯に３本しか論文を書いてはいけない」とか「５年に平均１本しか論文を投稿できない」とかのルールを作れば、論文数は激減し論文の再現性の平均値はぐっと高くなるように思います。しかしこれは規制社会の発想であり、科学者のオートノミー（自由、自治）に反します。

では、どうしましょう？

私は、論文の書かれている内容よりも、その論文を書いた人物に注目します。私の分野では時々、１ナノメーター分解能の光学顕微鏡が発表されます。しかしなかなか再現されません。最近も著名な雑誌に０．１ナノメーターの分解能の光学顕微鏡の論文が掲載され、大きな話題となりました。まだ再現はされていません。再現されていない論文を評価するには、書いた人を信じるかどうかになるような気がします。他の人が実証実験をしてあげればいいのですが、余計なお世話というか人間関係も含めて面倒です。そんな暇があれば自分自身の研究を進めたいと考えます。そこで専門家のコミュニティーでは、何となく怪しいとの認識が生まれてしまいます。そして時が解決する（皆がいずれ忘れてしまう）のを待つことになります。

一般に学会が発行する学術専門誌では、同じ分野の研究者（Peers）が査読します。同じ分野の研究者はライバルであるとともに同業者でもあります。分野の推進のために同じ利害を持つ仲間です。すなわち談合が生まれうる仕組みです。これに対して、NatureやScienceは同じ分野の仲間ではなく編集者が審査をします。編集者は必ずしも分野の専門家ではないので、インパクトのある多くの人に興味を持ってもらえそうな論文を採択し掲載します。何れにおいても検証が欠けています。かなり端折って書いていますが、概ねそんな感じです。

要するに再現性のない、たまたまの都合の良い結果（結果もなく計算だけとか実際とは異なる模擬実験結果も含めて）をブロックすることは不可能です。論文に査読という権威を与えることを辞めて、投稿した論文はすべて受け付けるという出版ビジネスモデルが最近生まれました。これが成功すると、論文至上主義が終わり皆がむやみにたくさん論文を書く気にならなくなり、無駄な論文が減るかもしれません。しかし、科学者はみな権威（お墨付き）が欲しいでしょうから、同僚によるPeer reviewも編集者によるEditorial reviewも結局はなくならないようにと思います。すべては読者が自ら判断するしかないのです。

と言うことで、先月のメッセージから最後の文章を採録しましょう。

「捏造とか偽装は、形式主義者に権威を与えたときから生まれるのです。美味しい料理を出してくれるお店、新しい科学を生み出してくれる科学者に対して、数字や形式で評価しようとする限り、捏造は終わることがないでしょう。」

先日、イノベーション創出のプログラムの審査会の場で、審査される側の私と審査委員との間で議論がありました。「７年前の計画通りに進めていない。なぜどこが変更されたのか。3年後のゴールを述べよ」という指摘に対して、「予定通り進むならイノベーションはありません。3年後のゴールは約束できません」と応えたら、気を害されたようです。捏造が生まれる温床があると感じました。科学論文も研究開発もイノベーションも、実証は難しいのです。論文や報告書に頼りすぎずに、それを書いた人を信じることが新しい科学を生み、イノベーションを生むと信じています。

[1] M. Wadman, Nature 500, 14, 2013

＜前月のメッセージ＜ ＞次月のメッセージ＞