Koole & Lakens （担当：平川・森永）

Post date: Feb 25, 2013 8:47:04 AM

Rewarding Replications: A Sure and Simple Way to Improve Psychological Science

当日の議論と感想

• 参加者コメント① 70年代に追試研究を出版する試みはあった。でもすぐ終わった。僕らは2010年代に「追試研究が必要だ、インセンティブを与えよう」という議論をしているが、今の議論には70年代に成し遂げられなかった理由をクリアする方法が考えられているのか。なぜ70年代の試みは失敗したのか。そこを議論する必要がある。
  • 平川：その通りだと思います。70年代と違うのはオンラインで発行できるためスペースの確保が容易になったことでしょうか。あと、学部教育の段階で科学者としてのモデルをきちんと教育する（平島さん紹介章が詳しい）という議論は新しいのかもしれません。単純に公刊、引用というインセンティブだけでは70年代と同じ結末な気がします。「僕らは70年代とは違う！」と自信が持てる要素はないんじゃないかと思います。

• 参加者コメント② 追試研究においては、測定誤差が大きくなるのではないか。例えば質問紙のレイアウトなど、参加者からできるだけ正確なデータをとるために、オリジナル研究をするときには結構気を使っている。「どうせ他人の研究だし」というような、追試研究への動機付けが低い場合、適当な研究実施になり測定誤差が大きくならないか。その場合、レプリケイトできなかったことをどのように評価できるだろうか。
  • 平川：その点は全く思いつきませんでした。追試研究をする内発的動機付けを高めるしかないですかね。それができたら苦労しないという話ですが。
• 参加者コメント③（追試研究が公刊、引用されるインセンティブがあっても追試研究しないんじゃないかという発言をうけて）
  • １．おぉと思う研究は追試したいと思うし、する。
    • 平川：確かにその通りだと思います。でも、何らかのストーリーが自分にあるからおぉと思ったりするわけで、直接的な追試を行って確証するにせよ反証するにせよ何らかの追加研究を行って結局オリジナル研究として投稿することが多いのではという気がします。僕について言えば、文化の話が絡んでくるのでアメリカの研究の直接的追試＋αでオリジナルな研究にしやすい。なので直接的追試として投稿する可能性は限りなくゼロです。
  • ２．でも、そうすると追試される研究に偏りが出るんじゃないか
    • 平川：紹介論文の著者が追試研究を引用せよと主張する部分で、「多く引用されるようなオリジナル研究を追試することのインセンティブを提供できるから良い」ということを言っているので、著者的には偏ってよいという立場だと思います。体系的に追試研究を行うべきかどうかの議論とは別に、おぉと思った個人が追試を実施することは、independentな追試と言えるのかという疑問が出ます（もちろん程度問題ですが）。実験者効果の話を聞いていると、そこも慎重にならないといけないのかなと思います。
• この論文は、「疑わしい研究実践で公刊された知見はレプリケイトできるかどうかによってその信頼性の判断ができるから、追試研究が大事だ」といっている。でもそもそもオリジナル研究がちゃんとした（とある程度判断できる）ものであるような仕組み、疑わしい研究実践を防止する仕組みを作るほうが先じゃないか。

レジュメダウンロードはこちら