プレレジをプレレビューした体験記

三浦麻子（大阪大学） @asarin

2019/12/25

どうも，編集委員です．

中学・高校とカトリックミッションスクールで教育を受けた私としては，Adventというのは待降節，すなわち主の降誕を待ちわびる特別な期間で，何が特別かというと聖堂（当時は「おみどう」と称していました）に掲げられたアドヴェント・カレンダーに1つずつろうそくに灯がともされていくのをわくわくしながら眺めるのはもちろんのこと，音楽の授業で，本番（クリスマス・ミサ）で全校生徒が大合唱するハレルヤ・コーラスを歌い倒せる楽しい期間だったわけです．

そんな記憶があるため，統計やプログラミング業界諸氏が嬉々として楽しんでおられる「アドカレ」なるものは，そうした神聖な行事に対する冒涜ではないかとは言わないまでもそもそもの由緒わかってはるんかいな，とやや距離を置いて眺めていたわけですが，今般ついにその仲間入りを，しかもJCORSアドベントカレンダーの最後のろうそくに灯をともす役割を担うことになりました．特に信じている宗教はないですし，統計もプログラミングも苦手ですが，神の思し召しだと思うことにします．

さて，のっけから変な名乗りをいたしましたが，何の編集委員かと申しますと，既にこの「アドカレ」で以下の2本の顛末記が公開されている『心理学評論』特集号「心理学研究の新しいかたち」です．

12/18 杣取恵太さん「心理学研究の再現性を検証する」
12/20 平石界さん「プレレジプレレビュー体験記」

これら2本でせっかく「プレレジのプレレビューを受けた」方々がその顛末や感想を書いて下さったので（もう1本掲載予定の著者陣も全員JCORSのメンバーでいらっしゃいますし），この記事では，編集委員としての立場から「プレレジをプレレビューした」顛末と感想を，しかもそのうち雑記的な事柄（ただし，公にしてもよいと思える範囲のみ）をお話ししたいと思います．いわゆる「氷山の一角」のさらに周縁部だとお考えください．本編つまり中心部については特集号に巻頭言と資料論文として掲載される予定です（資料論文は12/25現在鋭意執筆中につきリンクができません）．

なんだ周縁部だけかよ，と思われるかもしれませんが，ビン蓋ジャムという逸話もあるくらいなので，そんなところにこそうまみがあるかも，ということで，お楽しみいただければ幸いです．

きっかけはいつもTwitter

なんです．左に示したのが友永・三浦のDMでのやりとり．これがこの特集号が生まれた瞬間です．

これまでに「心理学の再現可能性」と「統計革命」の2つの特集号を手がけましたが，それぞれも大体こんな感じで企画が発動しました．思いつきがちょっとでも形にできそうな気がしたらとりあえず動いてみる，そして，動かしてみる，というスタイルです．既に私が原田悦子・山田祐樹のご両人を引きずりこもうという意見を述べていることがわかります．翌日にはメールで依頼を投げ，少しだけ後に竹澤正哲さんにもお声がけし，7月末には企画書を仕上げて編集委員会に投げた，という経緯です．

ちなみに冒頭にあるのは，前出「統計革命」特集号について小牧純爾先生（金沢大学名誉教授）がコメントを下さった，という話です．小牧先生が北陸心理学会の「心理学の諸領域」に寄稿されている「心理学研究の技法-論文読みから実験の計画まで」シリーズはとても緻密で「読ませる」内容なのでお勧めです．

プレレジ公募，はじめました

そもそも「プレレジをプレレビューする」って何かというと「レジレポを出版する手続き」です．皆さんわかりますかレジレポ．Registered Report(RR)です．日本語にすると「事前登録の事前審査付き報告」です．なんとなく頭痛が痛い用語ですよね．

プレレジのプレレビューでは，右図（Center for Open ScienceのWebサイトから引用）のようなプロセスで論文審査を進めます．従来の論文審査と大きく異なるのは，審査が2段階に分かれているところ．Stage 1が「プレレジのプレレビュー」にあたり，ここで研究計画に関するがっつりした審査がなされます．採択となって初めてデータ収集とその（Stage 1で計画どおりの）分析に着手し，成果をまとめたものがStage 2の審査に付され，採択されれば出版，ということになります．これをやったことなかったんで，やってみようと．まったくの手探り，良くて見よう見まねです．

ところで，多くの方はご存じないかもしれませんが，心評は特定の学会の「学会誌」ではなく，京都大学文学部心理学研究室が母体の心理学評論刊行会が発行・販売している学術誌（1957年創刊）です．これまでに刊行された論文はこちらからご覧下さい（J-STAGE公開には1年のembargoあり）．会とは言いますが学会ではなく，年会費も存在しません．ですから刊行を支えているのは冊子体の有料購読者（個人・機関）です．よければ是非購読してください．

1年あたり4号刊行されており，うち2号が特定のテーマを設定した特集号です．「評論」という名に示されているとおり，主としてレビュー（展望）論文を掲載する学術誌なので，一般の心理学系学会誌とは異なり，実証を伴う論文はほぼ掲載されていません．その意味で，レジレポすなわち実証を伴う論文を核に据える特集号は異端なのですが，特集号全体はまさしく心理学研究の将来を「展望」することを意図したものであり，そのコンテンツとしてレジレポを掲載することは必須だと考えた次第です．

今回はテーマを先行研究の直接的追試に限定し，シングルラボによる追試も「あり」にしました．結果的には全投稿がそうでした．追試といったらManyLabsみたいにマルチラボじゃないと意味がないんちゃう？というご意見があるのは承知の上です．シングルラボじゃ先行研究の轍を踏んでるだけかもよ？というご意見には，私も同意します．実際，2013年度から取り組んでいる社会心理学の再現性に関する科研費プロジェクト（現在第2次計画実行中）も「とりあえずマルチラボやってみないと！」がコンセプトですし．

ただ，とりあえず新しいことやってみるか，というときに，そのために越えるべき敷居が高すぎるとやる気がなくなってしまいませんか．どうせ無理やん，みたいな．乗り越えられる各種パワーを持っている人だけがそれを軽々と乗り越えて行き，他は怯んで膠着してしまったら意味がないと思ったものですから．シングルラボでもきちんとしたRRをしてオープンデータにもすれば，別のラボが追随しやすくなり，結果的にマルチラボ化できるかもしれない．たとえできなくても，RRの練習にはなる．なんせ日本の心理学系国内誌はどっこもまだRRやってないんですよ．パソ研は制度としては導入されましたが，まだ投稿がないと聞いてました．ですから，先ほどの友永さんとのやりとりで私が述べているように「プレレジプレレビューのデモンストレーション」をやろうと考えたわけです．

そしてプレレビューへ

プレレジの投稿は5本あり，そのうち3本が採択となりましたが，2本はStage 1で著者による取り下げとなりました．

今回の企画，もちろんガチで審査をするつもりではいたものの，一方では「まあいろいろ指摘があったとしても，結果的には全部OKにできるんじゃないかな？」と思ってもいたので，見込みが甘かった…と凹みました．広く公募はしましたが，こうした試みに理解のありそうな方に個別に「どうですか？」とお声がけをしていた経緯もあるので，それに快く協力して下さった著者のお気持ちを思うと申し訳なくて．しかし，ガチで審査をするつもり，の方を曲げるわけにはいきません．「泣いて馬謖を斬る」ような気持ちでした．

取り下げになった2論文は，片方は乳児，もう片方はラットを対象とする研究でした．対象が非常に限定されており，つまりそのように限定されていることの意味が大きく，必然的に，必要なサンプルを確保することが極めて困難な研究の「直接的追試」の難しさを痛感させられました．私は「目の前にいる大学生を人間代表扱いする」という悪評の高い社会心理学者ですから，見込みの甘さはそれによるところもあると思います．

サンプルを確保することが極めて困難だった研究といえば，もう1本のRR（佐々木ら）もそうです．この研究の主たる対象は「左利き者」ですが，必要サンプルサイズは左/右利き者ともに72．元研究は左利き者19，右利き者85で公刊されているのですが，審査過程でより厳密な再現性の検証を著者と審査者が追究した結果として，左利き者のサンプルサイズが膨れ上がってしまったのです．これが彼らにもたらした苦難と，追試研究とはどうあるべきかを考える際の重要な論点は，彼らの論文の「考察」に詳しく書かれているのでどうぞご覧下さい．

プレレビューは難しい！

しかし考えてみれば，心理学のどんな領域のどんな研究であれ，「まったく同じ」研究を再現することは絶対にできません．しかし今のところ，何を以て「直接的追試」と認めるのかに明確な規定や基準，あるいは合意があるわけではなく，また正直なところ私も一貫したそれを持てている自信もありません．今回は対象とのそのサンプルサイズに関わる問題がもっとも顕著に表面化しましたが，実験や調査の遂行に関わるすべての要素について同じ問題が発生する可能性があり，おそらく，ケースごとに調整しないと仕方がないのですが，それを研究着手前に「論文審査」としてすることもまた，とても困難なことだと思いました．

なぜなら，この「何を以て「直接的追試」と認めるのか」については，審査者の皆さんこそを一番悩ませてしまったという実感があるからです．従来の論文審査は「やっちまった」報告が対象なわけですが，プレレジプレレビューStage 1での審査者の役割は「やっちまいなよ」と著者の背中を押すかどうかを判定することです．つまり，分析も含めて，研究計画全体を「承認」するような役回りを担うわけです．共著者でも指導教員でもないのに！

当然著者は大変なのですが，まだしもその研究をしたい当人なわけですから苦労してしかるべきのような気がします．しかし，審査者はそんな立場ではありませんから，したいわけでもないのにやっちまっていいかどうかを考えなければならない．客観的にその研究計画を見られると言えば聞こえはいいですが，端的に大変です．プレレジプレレビューを積極的に導入する際は，論文審査経験を（従来の論文審査とは区別して）より積極的に研究業績と認めるような合意もまた必要ではないでしょうか．オーサーシップならぬレビュワーシップ，みたいな．ちなみに，審査履歴を登録できる研究者SNSにPublonsがあります（私はID取っただけでまったく活用できていませんが…）．

審査者の皆さんが直面した苦難については，詳しくは（まだ見ぬ）資料論文に一部の方々からのコメントを掲載させていただきますので，そちらもどうぞご覧下さい．

「辛楽しかった」プレレジのプレレビュー

冒頭で「心評では実証を伴う論文は異端」と書きましたが，実は私たち，もう一つ異端をやらかしていました．後になって知ったのですが，心評は過去に英語論文を掲載したことが一度もなかったそうなのです．それなのに，海外研究者による招待論文2本（とそのコメント論文1本（予定）），そして資料論文1本が英語論文となりました．「君ら，なんでもやろうと思たこと「やっちまって」ええっちゅうもんとちゃうで」と肩を掴んで引き戻されても仕方がないようなことをしてしまっていたわけです．しかし，編集委員長の格別の思し召しにより，アブストとキーワードの日本語訳を付記することを条件に，英語論文の例外的掲載についてご海容をいただきました．ありがとうございました．

辛いことも楽しいことも，いろいろありましたが，特集号のコンテンツは，ほぼすべての原稿を編集事務局に送付済です．送付済のコンテンツはすべて著者によってプレプリ公開済なので新たな楽しみはそれほどないかもしれませんが，どうぞ本誌を手にもとっていただければ幸いです．そのことが，こういう試みを実現させることができる『心理学評論』という場の存続につながります．

この特集号をきっかけに，心理学研究の将来について共に考え，そして，それをより良いかたちにするために，新しいことにどんどん取り組んでいければと思っています．例えば，JCORSで．

I wish you a merry Christmas 🎄 and a happy open science!!

Page updated

Google Sites

Report abuse