その他の資料

生命科学研究の再現性問題

再現性実験、一つの論文に対して二つの結論を学術雑誌に掲載 国立情報学研究所オープンサイエンス基盤研究センター、2019

実験方法と結果だけを与えるという条件で、研究に関わっていない査読者がディスカッションをするという査読実験についての記事です。スピンとバイアスが与える影響に対抗するアプローチとして興味深い試みです。結果的には、研究成果をより深い視点から見直すことにつながるでしょう。

Statistical errors may taint as many as half of mouse studies. SPECTRUM, 2018

「生命科学クライシス」でも取り上げられていますが、統計学がツールとして重要ではなかった時代の生命科学者がビッグデータ時代を生き残るためには、研究者としてのアップデートが必要であるように思います。

Essay: The Experiments Are Fascinating. But Nobody Can Repeat Them. ~Science is mired in a “replication” crisis. Fixing it will not be easy. Gelman A. The New York Times, 2018

生命科学に限定していませんが、再現性問題を取り上げています。科学者の陥りがちな視野狭窄についても指摘されています。

Robust research needs many lines of evidence. Munafó MR, Smith GD. Nature, 2018

質の高い研究には多角的な検討が必須であり、同じ検討を繰り返すだけでは意味がないという論説。多角的な検討には多分野の専門家が関わる研究チームを形成する必要があり、いわゆる「ラストオーサー文化」からの脱却が必要であることが提案されています。映画のエンドロールのように多数の専門家がプロジェクトに関わり、若手はそれぞれの専門性で貢献度をアピールするという研究スタイルです。

No more excuses for non-reproducible methods. Teytelman L. Nature, 2018

Internet時代に完全なプロトコルをデポジットしないのは時代遅れだという意見。有効な反論は難しいと思います。研究者の慣行を見直すことと、これを支えるテクノロジーの問題をどう解決するかというところが焦点です。

Could you repeat that? Fixing the 'replication crisis' in biomedical research has become top priority. Nitkin, K. HUB (Jonhs Hopkins University)

生物医学分野における再現性の危機に対する論説。Johns Hopkins大学は研究者の研究総体を評価し、一部の目立ったハイインパクト誌に殊更に注目するという文化を改めるべきという提言が行われています。

「研究成果再現できず」、生命科学信頼揺らぐ 日本経済新聞、2017

全国紙において研究の再現性に着目した記事が出ることには大きな意義があります。最近の変化、目指すべき方向性がまとめられています。

‘Replication grants’ will allow researchers to repeat nine influential studies that still raise questions. de Vrieze, J. Scienceinsider, 2017

オランダの公的なfunding agencyであるNWO (The Netherlands Organisation for Scientific Research)による、再現性の検証を目的とした研究に対する支援についての記事。心理学、がん研究と、相次いで重要な研究論文の再現性チェックが行われています。巨大なグラントについてはコアのデータだけでも再現性を検証してから支援するべきだと思いますが、国内ではそうした議論はありません。

Cutting corners a bigger problem than research fraud. Lacchia, A. Nature Index, 2017

Research Integrityを脅かしているのは、あからさまなミスコンダクトではなくむしろsloppy scienceなのではという問いかけ。研究領域によってはReviewerとなる研究者がsloppyなアプローチに対して親和性が高いために、sloppyな研究論文に対する歯止めがかからないところもあります。そうした領域で得られた知見がどの程度意味があるのかは大きな問題です。

Getting Surprising Answers to Unasked Questions. Schibler, U. Cell, 169, 1162-1167, 2017

あらかじめ予想できない条件の相違が決定的な違いをもたらすことがあるという、生命科学の実験科学としての難しさが描かれています。実験に対する思慮深さと慎重な態度(謙虚さ)の重要性を理解することができるエピソードです。

科学研究の再現性について 加藤淳、2017

分野は異なりますが、論文のもととなるデータ開示の試みなどを紹介しています。

Cancer studies pass reproducibility test. Kaiser, J. Scienceinsider, 2017.

がん研究の再現性チェックのプロジェクトReproducibility Project: Cancer Biologyの進展を紹介した記事。実験動物の系統維持の問題、培養細胞の品質管理といった面を考慮すると、再現されない報告を研究不正とみることはできないように思います。一方でそれとは別に、実験条件の相違で覆るような基礎研究をもとに巨額を投じた創薬研究が行われるということの問題点は残ります。企業での取り組みの多くはブラックボックスなので実状は分かりませんが、効率的な創薬研究を進める上で、アカデミアにおける基礎研究の環境整備は急務と言えるでしょう。

Reproducibility Project: Cancer Biology プロジェクトの概要、進捗等を紹介するページ。

Reproducibility Project: Psychology 心理学における試み。Center for Open Scienceが提供。

Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature. Szucs, D., & Ioannidis, JPA. PLoS Biol., 2017

統計学的なメタ解析によって認知神経科学領域には問題が多い論文が多い可能性を示唆しています。IFが高い雑誌ほど偽陽性を報告している可能性が高いという相関は、研究において何を大切にすべきなのかを考えさせます。

・「心理学の再現可能性:我々はどこから来たのか 我々は何者か 我々はどこに行くのか心理学評論、59巻1号

過去の心理学の研究成果の再現性は40%という論文の衝撃を受けて編集されており、それぞれの寄稿をダウンロードして読むことができます。学問領域は異なりますが、研究の再現性を脅かす要素についての議論は読み応えがあり、生命科学における問題との共通点も多いです。

Improving the reproducibility of biomedical research: a call for action. The interacademy medical panel (IAMP), 2016

医学生物学研究の再現性を改善するための提言です。短い文章ですが、ポイントは押さえられています。(和訳

1,500 scientists lift the lid on reproducibility. Nature, 2016

生命科学の特質を考えれば再現性に対する意識はもっと高くあるべきなのですが、この問題に取り組む気運が出てきたことは望ましいことだと思います。日本で問題となっていることは欧米でもほぼ同じ状況であるということも理解できます。「より強固な実験デザイン」「より良い統計」「より良い指導」が90%以上の研究者によって支持されたことも興味深いです。アンケート回答者の約80%が、資金提供機関と出版社は、再現性を向上させるためにもっと対策をとるべきと回答しています。Natureにも真摯に受け止めてほしいものですが。「再現性の危機はあるか?」(和訳記事)

No guarantees in translation. Nat. Biotechnol. 2016

生命科学研究に対する製薬企業からの辛辣な意見。提案は衝撃的ですが、記事中で議論されているように考えるべき問題はたくさんあります。

If you fail to reproduce another scientist’s results, this journal wants to know. ScienceInsider, 2016

前臨床研究の再現性が得られなかったことを報告するためのオンラインジャーナル(Preclinical Reproducibility and Robustness)の紹介。有名な教科書Cellの編者であるBruce Albertsが主催しています。

Reproducible Research Practices and Transparency across the Biomedical Literature. PLoS Biol., 2016

生物医学系論文における透明性の欠如:ランダムに抽出した生物医学系論文を精査すると、再現性を確認するために必要な情報が提供されていない論文が殆どであり、利益相反の記載もないものも多数あったことがStanford大学のチームにより報告されています。

Evolutionary forces are causing a boom in bad science. Oxenham, S. New Scientist, 2016

進化論をベースにしたコンピュータシミュレーションを用いて、研究者を取り巻く環境(インパクトのある研究が評価され、再現性の確認を重視する研究者は冷遇される)をあてはめると、厳密性の高い科学は衰退し、偽陽性で得られた成果が幅を利かすことを示す論文を紹介しています。

Clearinghouse for Training Modules to Enhance Data Reproducibility.

NIGMSにおける生命科学研究の厳密性と再現性を高めるための取り組み。ビデオやPDFで教材が提供されています。研究室におけるトレーニングに活用できるでしょう。

Why do scientists struggle to reproduce results? Bishop, D. Times Higher Education, 2015

統計学に関する無知や誤解、そして若い研究者たちが目指す「科学者としての成功」にいかに問題があるかについて議論しています。国内では学術誌や学会誌にこうした議論を見かける頻度が低すぎるのではないかと思います。

How reliable are psychology studies? Young E. The Atlantic, 2015.

心理学における研究の再現性問題。

Irreproducible biology research costs put at $28 billion per year Nature, 2015

再現性のない生物学研究は年間3兆円を無駄にしている:Poor materialsやlaboratory protocolの不備が研究の再現性を妨げているという記事。Materials and Methodsは出来るだけ切り詰めるようにと指示しているInstructionもしばしば見かけますが、今後は再現性を向上させるためにMaterials and Methodsはできるだけ正確にという流れになるのかも知れません。科学研究の再現性の重要性を考えれば当たり前のことかもしれません。

Reproducibility and cell biology. Yamada, K. M.and Hall, A. J. Cell Biol. 209, 191-193, 2015

細胞生物学における再現性の問題。

Challenges in Reproducible Reseach

2010-2014年にNatureおよび関連誌に掲載された科学研究の再現性や研究倫理に関する記事をまとめたものです。

NIH mulls rules for validating key results. Wadman, M. Nature, 500, 14, 2013

NIH plans to enhance reproducibility. Collins, F. S. and Tabak, L. A. Nature, 505, 612, 2014

NIHによる再現性の低い生命科学研究に対する対応。

Drug development: Raise standards for preclinical cancer research. Begley CG and Ellis LM. Nature, 483, 531-533, 2012

Drug targets slip-sliding away. Nat. Med. 17, 1155, 2011

創薬標的研究の再現性は21%。

Believe it or not: how much can we rely on published data on potential drug targets? Prinzl F, Schlange T, and Asadullah K. Nat. Rev. Drug Discov. 10, 712, 2011

Repeatability of published microarray gene expression analyses. Ioannidis JPA, Allison DB, Ball CA, Coulibaly I, Culhane AC, Furlanello C, Game L, Jurman G, Mangion J, Mehta T, Nitzberg M, Page GP, Petretto E, van Noort V. Nat. Genet., 41, 149-155, 2009.

研究論文の評価

粗悪学術誌・出版社(Predatory Journals/Publishers)への論文投稿に関する注意喚起について 早稲田大学 研究倫理オフィス

捕食ジャーナルをどのように見分けるのかについてのチェックリストが元のサイトの紹介とあわせて掲載されています。

IMU-ICIAM-IMS 報告 Citation Statistics. 日本数学会(pdf)、2011.

研究評価に際する引用データの利用および誤用に関する報告書。インパクトファクターやh指数の問題点は何かが議論されています。元の情報はこちら

海外の動向

Don't run medical science as a business. Pagano, M. Nature, 547, 381, 2017.

医療科学をビジネス化することの弊害を議論しています。国内でも猛烈な勢いでビジネス化が進んでいますが、関係者はこの記事の指摘する内容は心にとめておいていただきたいです。科学研究の質を維持するためには、研究者の心がけに期待するだけでは駄目で、質を向上させることが高い評価につながるような仕組みが必要です。あるいは、質を犠牲にすることに対するペナルティが必要です。

Whistleblower sues Duke, claims doctored data helped win $200 million in grants. ScienceInsider, Sep 1, 2016

連邦不正請求法(Federal False Claims Act)は米国の内部告発奨励法のひとつで、連邦政府に対する不正請求を告発し、それが認定された場合、内部告発者に対して、政府が受領する損害賠償金の15-25%が支払われるというものです。従来は製薬企業や軍の調達先等による不正請求やキックバックが主な告発対象であったようですが、不正研究に基づき大学が得た助成金に対して適用される可能性が出てきたということで話題になっています。研究不正は既に認定されています。研究不正をはたらく大物研究者の存在が大学運営におけるリスクになるという認識は、研究公正を重視する動機として機能するかもしれません。国内では疑義のある大物研究者を雇用することには、リスクよりむしろベネフィットの方が大きいかもしれません。

Scientist behind fake HIV breakthrough sentenced to prison after spiking results. The Guardian, 2015

HIV Scientist Pleads Guilty to Fraud. The Scientist, 2015

Vaccine Fraudster Gets Jail Time. The Scientist, 2015

アイオワ州立大学におけるHIVワクチン研究において、不正行為が認定された研究者に対して、NIHから得た研究費の賠償と実刑判決がおりています。

若手研究者、ポスドク問題

Leading individuals and institutions in adopting open practices to improve research rigor. The Bullied Into Bad Science campaign, the University of Cambridge. 2017

「Early career researchers (ECRs)はポストやグラントのためにしばしば倫理に反してハイインパクトジャーナルに出版することを強いられている」という告発は痛切です。提言には以下のものがあげられています。

1.DORAへの署名、2.Open research and publishing practicesをポジティブに評価すること、3.100%オープンアクセス出版の是認、4.迅速な研究成果の公開手段としてのpreprintサーバの活用、5.Openな研究スタイルに関する教育、6.出版コストの公開、7.研究機関の意思決定へのポスドクの関与

Point of view: Avoiding a lost generation of scientists. Taylor JQ et al. eLife, 5, e17393, 2016

研究者養成の危機は国内だけではないことがよく理解できます。コメント欄の意見も興味深いです。

Shaping the Future of Research. McDowell, G. S. et al. F1000 Research, 2015

ポスドク問題を議論するシンポジウムの報告書ですが、広く今後の研究のあり方についても提言されており、読み応えのある内容です。

Academia’s never-ending selection for productivity. Brischoux, F and Angelier F. Scientometrics, 103, 333-336, 2015

新規に雇用された生物学者は10年前と比較して、2倍の論文発表を要請されています。

研究室運営について

More than 70 lab heads removed from NIH grants after harassment findings. Kaiser, J. Science, 2021

2018年以降、NIHには300件以上のハラスメントの訴えがあり、結果として70名以上のPIの研究費が研究機関により停止されたという記事。ハラスメントは研究不正の一種として対処しようという流れに沿う変化だと思います。ハラスメントを行うPIが大好きな研究費を停止することの抑止効果は大きそうです。

Academic bullying is too often ignored. Here are some targets’ stories. Langin, K., Science, 2021

Dealing with bullies and jerks in science. Levine, A. G., Nature, 2021

研究室における有害な人物によって引き起こされる問題に関する考察。ラボを去る、記録を取る、メンター以外に信頼できる多様な人的ネットワークを作るといった実践的な助言が行われています。閉鎖的な研究室について詳しくない方には、ここまで強い表現が使われていることに疑問を感じられるかもしれません。

Does science have a bullying problem? Else H. Nature, 2018
Top geneticist loses £3.5-million grant in first test of landmark bullying policy. Else H. Nature, 2018

研究室内は閉鎖的な人間環境に陥りがちであることについては様々な指摘がありますが、企業の平均と比較しても「人間関係の悪い」職場であるという調査結果が紹介されています。取り上げられている事例はいずれも国内でも問題になっているものばかりで、研究室内の「いじめ」の有り様は世界共通であるようです。二つ目の記事は、研究室におけるハラスメントを理由として研究費が剥奪されたRahmanの事例です。

Top cancer genetics professor quits job over bullying allegations. The Guardian, 2018

研究室の構成員から訴えられたハラスメントが認定されたことにより、辞職。ウェルカム・トラスト財団はセクシャルハラスメント、アカデミックハラスメントが認定された研究者には助成しないという方針を決定したばかりでしたが、本件でこのルールが初めて適用されることとなり、450万ドルの研究費助成が撤回されています。

Academic Leadership Development. National Center for Professional and Research Ethics, 2018

Making the Right Moves

研究室を運営するPI読本というべき内容です。

Metrics for Ethics. Baker, M. Nature, 2015

PIがどう振る舞うべきかについてSOURCEを紹介した記事。

・研究記録(研究ノートの心得)

Garabedian, T. E. Laboratory record keeping. Nat. Biotech. 15, 799-800, 1997

理系なら知っておきたいラボノートの書き方」岡崎康司、隅藏康一/編(2011年)

研究者と社会

シンポジウム「研究成果をなぜ発表しどのように伝えるのか~科学と社会のより良い関係をめざす~」科学技術コミュニケーション 第18号、2015年

STAP細胞事件において浮き彫りにされた科学コミュニケーションの課題を中心とした議論が特集されています。

科学技術広報研究会

科学技術の広報活動における課題を議論し、よりよい社会との関係を探る試みです。

論文審査のあり方

Peer Review: The Worst Way to Judge Research, Except for All the Others. Carroll AE. The New York Times, 2018

Peer reviewという長年採用されてきた論文審査制度に関する議論。コンパクトに論点が整理されており、コメントも興味深いです。

When a journal is delisted, authors pay a price. Retraction Watch, 2018

Oncotarget誌はrising starともてはやされるくらい、急激にそのプレゼンスを拡大しましたが、2017年にPubMedのindexから外されてしまいます(2018年9月の時点では復帰)。Clarivateも同様にindexから外してしまったため、2017年以降のImpact factorがつかないという状況に陥っています。どちらの組織もなぜindexから外したかは明言していませんが、盗用(重投稿)、自己引用の頻度の高さなどが指摘されています。きちんとした査読を受けたという研究者の抗議もあり、いわゆるハゲタカジャーナルとは何か、IF値の操作はどこまでが許されるのかといった議論が起こっています。

Librarians against scientists: Oncotarget's lesson. Oncotarget, 2018

Oncotarget誌のeditorial。Oncotarget誌の批判者個人への反論という形式なので、少し問題点が分かりにくいです。

Research Integrity and Peer Review

BioMed CentralのOpen Access誌。発刊されたところですが、2015年に開催された第4回World Conference on Research Integrityの抄録を読むことができます。第1号のeditrorialでは発刊の狙いが説明されています。

Weighing up anonymity and openness in publication peer review. Bastin, H. PLoS Blogs

論文審査の匿名性はどうあるべきか、過去の報告をまとめ、double-blind、no blind両方向の査読の可能性について議論しています。

報道の検証

Foocom.net

食情報に関する科学的根拠を検証する非営利の消費者団体。活発に情報発信しています。

第三者調査のあり方

第三者委員会報告書格付け委員会

第三者性の確保は難しい問題ですが、望ましい方向性は、調査報告書を公開し、同一領域や外部からの評価に対してオープンにすることです。議論が起こることによって、看過できないレベルの間違いは修正されることが期待できます。研究不正の調査についても、調査委員会が設置された案件については全て公開して、その判断が適切なものかについてピアレビューできる状態にする必要があります。研究不正調査委員会のあり方を考える上では、参考になる取り組みです。