2026年11月12日(木)に、「第9回メタサイエンス勉強会:査読の未来」と題したオンライン勉強会を開催しました。
論文の質を保証する仕組みとされる「査読」は、歴史をたどるとさまざまな経緯を経て現在の形になったものです。いまも査読者の不足、ハゲタカジャーナルやペーパーミル、生成AIによる投稿の急増など多くの問題が指摘され、とりわけAIのトップカンファレンスでは、投稿数の急増に対応するための制度の見直しが進んでいます。こうしたなか、査読が何であったのかと、いま何が起きているのかを踏まえて、査読のこれからをメタサイエンスのさまざまな視点から考える、という趣旨で開催。学術論文の査読を研究してきた佐藤翔さんに、著書『教養としての査読』をもとに査読の成り立ちと役割を解説いただき、独立研究者の高木志郎さんに、ICLRの公開査読をLLMで分析したウェブサイト「Atlas of Judgment」から見える査読の現状を報告していただいたうえで、お二人の対談と参加者を交えた議論を行いました。
開催日時:2026年11月12日(木)16:00〜17:30
開催方法:オンライン(Zoom)・無料
登壇者:佐藤翔氏(同志社大学 免許資格課程センター 教授。図書館情報学、学術情報流通)、高木志郎氏(独立研究者、Unktok 代表)
プログラム:趣旨説明(5分)/佐藤翔氏「査読とは何であったか」(30分)/高木志郎氏「ICLRの査読データから見えること」(15分)/対談:佐藤氏×高木氏(15分)/参加者を交えたディスカッション(25分)
司会:丸山隆一(メタサイエンス研究会)
主催:メタサイエンス研究会
共催:広島大学高等教育研究開発センター
参加登録者数:60名程度
佐藤さんは同志社大学教授で、学術情報流通を専門とする。講演は、2026年4月に刊行した『教養としての査読──なぜ「論文」を信用できるのか』(中央経済社)をもとに、査読の成り立ちと機能、現在の機能不全の根源を整理するものだった。
手紙のハブから学術雑誌へ
17世紀に郵便制度が整うと、研究者は新発見を手紙で伝え合うようになった。手紙を一か所に集め、まとめて印刷して送り返す「情報のハブ」が、学術雑誌の起源である。1665年創刊の『Philosophical Transactions』でも、当初は責任者のオルデンバーグが一人で掲載するものを選んでいた。投稿が増えると、編集長一人では選びきれず、編集委員会の合議に移ったが、今度は責任が分散して評価がおざなりになった。そこで、同じテーマの研究者に意見を求め、それを参考に編集者が判断する方式が19世紀半ばに成立した。
第二次世界大戦後になって査読が普及
この方式はすぐには広まらず、ワトソンとクリックのDNA二重らせんの論文も査読を経ていない。普及したのは戦後で、公的研究費の拡大で論文が急増し、コピー機の登場で原稿を外部に回しやすくなった。さらに1970年代の米国で議会がNSFの助成審査への介入を図った際、「良い科学を判断できるのは同分野の研究者だけ」という反論が支持を集め、その建前が雑誌の査読にも広がった。
認証が評価の源泉に
現在、査読は「選別」「改善」「認証」の三つの機能を担うとされるが、型破りな論文を落としがちなど、その機能も完全ではない。佐藤さんが強調したのは、選別の仕組みにすぎなかった査読が、研究評価の源泉になったことだ。他人を自発的に評価することの少ない科学の世界で、査読は他者の論文の評価を強制する数少ない場面だった。その結果、査読を受けたい人は増え続け(中国、インドの研究者の参入に続き、今度はAI)、引き受け手は不足する。査読の遅れやバイアス、査読レポートの使い回し、ハゲタカ出版や論文工場といった問題は、認証・評価へのニーズの高さと、他人を評価するインセンティブの乏しさの不一致に根があるという。
高木さんは独立研究者で、2024年に株式会社Unktokを創業。研究ができるAIの構築と、AIが研究する時代の研究のあり方に関心を寄せている。紹介されたのは、ICLRの公開査読データから、査読の判断が成立する「過程」を分析したプロジェクト「Atlas of Judgment」(https://atlas-of-judgment.pages.dev/)である。研究や査読の過程そのものの分析はほとんどなされていない一方、査読システムが揺らぎ、AIによる研究の自動化が進めば評価がボトルネックになる、というのが動機だ。
分析では、9年分のICLRの公開記録(投稿約5万2千件)を、査読者の一つひとつの批判の単位(約142万単位)に分解し、何を対象に、どの基準で、どう判定し、どんな改善を求めたかをLLMで構造化した。成果を論文ではなく、構造化データやAI向けAPIを備えたウェブサイトとして、人間とAIの共同研究の記録ごと公開していることも、このプロジェクトの試みの一つである。主な分析結果は次のとおり。
批判の単位の約7割は否定的な判定で終わる。新規性の基準による批判では約9割が否定的である。
新規性への批判は改善要求を伴わないことが多く(約37%、他の対象は1〜2割)、点数ももっとも下げる。具体的な先行研究を挙げる割合は、2018年の約20%から現在は約10%に下がっている。
改善要求の中身は、データセットやモデル、規模の拡張など、証拠の強化が多い。
LLMが好むとされる単語の使用率は2024年に急増したが、批判される話題や評価の内容まで画一化したとは言えない。2026年には、査読者が著者に返信する率が急落した。
後半は、司会からお二人への質問と、チャットに寄せられた質問・参加者の発言をもとに議論を行った。
ICLRのようなオープンレビューは一般的か。佐藤さんによれば、増えてはいるが一般的とは言えず、「オープン査読」の形も多様だ。そのなかでICLRは、却下論文の査読まで公開される最大級の場で、査読研究にもよく使われる。
高木さんの分析について佐藤さんは、新規性への批判に改善要求が伴わないことに、研究者の新規性重視が表れていると指摘した。新規性への言及の減少には、先行研究を踏まえずに「新規性がない」とは言いにくいAIの関与もありうるという。
査読の未来について、佐藤さんは、査読へのAI支援はもはや前提だと述べた。ただ、選別や認証はAIにもできても、仲間に認められることを評価の源泉としてきた科学で、そこを切り分けてよいのかが分かれ目になるという。
国内学会の編集委員を務める参加者からは、表に出ない編集者の役割に注目すべきではないかとの問題提起があった。佐藤さんは、編集者の判断やバイアスもメタサイエンスの対象になりうると応じた。
ICLRの「投稿するなら査読もせよ」という仕組みは査読のインセンティブになりうる一方、有力な会議ばかりに査読が集中する恐れもある、と佐藤さんは指摘した。
別の参加者からは、ジャーナルの権威が移り変わるなかで、何をフィルタリングするのかを整理するのが編集者の役割であり、AI査読エージェントが編集方針の「色」を担う近未来もありうるとの発言があった。
チャットでは、AIで質の高い論文が倍増したときの受け皿、新規性の機械的判定の可能性、学術雑誌を「認証機関」に変える仕組みの提案なども挙がった。
「査読の危機」が叫ばれるなかで、一度腰を落ち着けて、査読とはどのような制度だったのか、そしていまどうなっているのかを知る、貴重な機会になりました。
査読はもともと「ましな」フィルタリングの仕組みだったが、そこに認証という機能が付いたことが厄介だった、という佐藤さんの語り方が印象的でした。また、中国やインドなどの研究者が新たに参入したときと同じように、新参者が査読の引き受け手にも回れば需給のバランスは回復しうる、という話は、AIという新参者を迎え入れるうえで示唆的だと感じました。
学術コミュニティごとに査読の機能を見直し、大胆な実験も含めていろいろと試していく時期に来ているのだろうと思います。
(記:丸山隆一)