Post date: Feb 28, 2013 10:59:16 PM
今回の特集はそのタイトルからして研究結果の再現性に焦点があてられていたわけですが、再現するかどうかを確認するには何らかの形で追試するしかなく、「追試をすることが望ましい」という点では全く異論はなかったと思われます。また、出版バイアスとそれに関連する諸問題、効果量の問題など、問題の有無に関しても（問題の重要性の認識の濃淡はあるにせよ）全体的な認識にあまり違いはないように感じられました。となると、やはり状況をよい方向に向かわせるには、考えられる問題点にたいしてどのような実践を行うかというところが問題で、つまるところ制度的な問題（研究者の業績評価、論文の査読のやり方、追試研究へのインセンティブの設定）をなんとかするしかない、というところではないかと思います。
とはいえ、制度的な問題を個々の研究者がどうにかするというのは難しいわけですから、研究の再現性を確保することが心理学にとって重要だと考える研究者個々人ができる範囲のことをやっていくしかないのだろうと思います。これは読書会の際にも発言したことですが、知覚・認知心理学領域では直接的な追試をすることは珍しくないですが、それを積極的に報告するということはあまりないように思われます。これを、例えば、論文の中で報告する実験を一つ増やしてそれを追試の報告に充てる（そういう論文は特にページ数の制約のない海外の論文では見かけることがあります）とか、論文の中に注としてURLを入れ、論文内に記述するには冗長な情報（実験者効果への対策でどういうことをしたか等ということや実験環境や装置の写真、図面等）や追試結果などを参照できるようにするといった程度の工夫ならばできるのではないかと思いました。そのような人が増えることで論文の作法が少しずつ変わっていくのではないでしょうか。
また、インセンティブに関してはそう簡単に変えられないでしょうが、追試の価値を認識している本読書会のメンバーが人事とかジャーナルの編集に関わる立場になったら、応募者から提出された業績リストにある追試研究のポイントを加算するとか、追試（を含む）研究を積極的に採択するように努力するほかないのではないでしょうか（笑） ただし、追試研究の評価をオリジナルな研究の評価に近づけるということに関しては、この読書会に参加された方のなかでも否定的な考えの方もあるように私には感じられました。再現性の問題に関心があってわざわざ読書会に行こうというような人でもそうなのですから、追試研究の評価を「本当に」高めることはすごく難しいことなのかもしれません。
あと、これは読書会の趣旨から少し外れることかもしれませんが、今回読んだ論文の中に「研究はゲーム」というくだりがありました。ゲームのスコアが収入に直結するならば、ゲームの得点効率を最適化する方向に行動が調整されるのは当然で、得点を得るためには手段を択ばない人が出てくるのは必然だと思います。特に、心理学は医学や工学と違って、研究成果が具体的な「モノ」となって目に見える利益（時には災害）を生み出す可能性が低いという点で、単なるゲームになりやすい特性を持っていると思われます。業績評価を客観的にやろうとするあまり、研究活動を無批判にゲーム化することはいいことなのだろうかと思いました。