Is the Replicability Crisis Overblown? Three Arguments Examined
当日の議論と感想
1)直接的追試と概念的追試に存在する非対称性とパブリケーション・バイアスはどのように関係しているのか。
- （一般的に）パブリケーションバイアスは，統計的に有意な結果が報告されやすく，非有意な結果が学術誌で殆ど公表されない現象
- 直接的追試と概念的追試の間には2つの点で非対称性が存在する
- 情報の非対称性：原研究の知見の妥当性に対する情報が，概念的追試よりも直接的追試に多く含まれる
- 公刊可能性の非対称性：（有意な結果が得られている場合）直接的追試よりも概念的追試のほうが，査読誌に掲載されやすい（新奇な情報と看做されるため）
- 上記のことから何が生じるか
- パブリケーションバイアスが存在する状況では，直接的にしろ概念的にしろ追試の失敗に関する情報が共有されにくい。特に概念的追試の場合非公式ルートでの拡散も生じにくい（論文にあった主張）。
- 公刊可能性の非対称性が存在するために，公刊された研究の中には，原研究の知見の真贋に関する情報が少ない概念的追試が（実際に行われている研究の割合に比して）高い割合で含まれてしまう。（これを別種のパブリケーションバイアスと考えることもできるかも？）
2)直接的追試と概念的追試の線引き問題
- 著者らはこれについて本文中では明確な定義を行なっていない。
- 対象の属性，実験者の属性，刺激，手続き，測度，物理的環境，サンプリング方法，実験準備時の誤差を減らす執念など様々な点で原研究と追試は異なり得るが，どこまでを直接と言うのか？
- 直接的追試と概念的追試を2分法的にではなく連続体として捉えるほうが現実的なのではないか。
レジュメダウンロードはこちら