［裏X02.1］心理学な心理学研究
今回はあまり削る必要なく収まりました。
心理学な心理学研究：Questionable Research Practice
平石界・池田功毅
おっす、オラ心太！心理学を勉強している大学４年生さ。大学院も気になりつつ、指導教員のスミス先生と今日も卒論にむけてバリバリやってます。オラと一緒に研究のやり方を学んでみねえか！
１．オラ、新しいことをしてぇんだ！
スミス：おう、心太くん来たか来たか。まぁ座り給え。
心太：あ、馴化脱馴化のビデオですね。へー、うわー、かわいいなー赤ちゃん。
スミス：かわいいだろうかわいいだろう。そして、この天使のような赤ん坊でさえ、同じことを繰り返されると飽きるっていうこの世の無常がまた、僕にはツボなんだよ。
心太：オラ先生のことがよくわからないよ。
スミス：ところで心太くん、卒論はやっぱりアレかね。
心太：アレですね。
スミス：それで君、たしか大学院も考えているって話だったよね。
心太：はい！
スミス：ふむ。それだとな。単にバージを追試しても、どうかなと思うんだ。
心太：ゴクリ。(ﾟＡﾟ;)
スミス：君はまだ知らないかも知れないが、博士課程、つまり無事に来年進学できたとして、その２年後の話だが、博士後期課程から、お給料をもらいながら大学院生をできるという夢のような制度があるのだよ。ガクシンって言うのだがね。
心太：ゴクリ。(ﾟＡﾟ;)
スミス：音が聞こえたよ。うん。夢のような話だね。だからみんなほしい。要するに競争が激しいんだ。実力主義だからね。卒論を投稿論文にするくらいの勢いでないと、厳しい。
心太：ゴクリ。(ﾟＡﾟ;)
スミス：修士１年のあいだに投稿してね、修士２年の５月とかに「ガクシンの書類」を出すことになるのだが、そのときにはもうアクセプトされてるくらいでないと。２本とかあったら最高だ。それが英文だったりしたらもう。
心太：ゴクリ。(ﾟＡﾟ;)
スミス：ただの追試だとな。ちょいとひねりが足りない。いや、ただ卒論をやるんだったら、それで十分だ。価値もある。でも先々を考えると、もうひとひねりほしい。君なりのオリジナリティがね、大事なのだよ。論文のため、ガクシンのためには。そういう心づもりで、もう少しアイディアを考えてみてはどうかね。
２．オラ、思いついたぞ！
スミス：おう、心太くん来たか来たか。まぁ座り給え。さて、アイディアというのを聞かせてもらおうか。
心太：はい！ベタなんですけど、やっぱりトコロテンだと思うんです。名前的に！
スミス：そうか。君もついに覚悟を決めたというわけだ。しかし生半可なことじゃ有意差は得られないかもしれないぞ。そこのところの覚悟はあるかね。
心太：はい！
スミス：それでは、具体的なアイディアを聞かせてもらおうか。
心太：はい。バージの例のやつをトコロテンでって話なんですけど。
スミス：うむ。
心太：トコロテンは三杯酢でも黒蜜でもいけるじゃないですか！同じトコロテンでも、三杯酢だと「すっぱい」の方に、黒蜜だと「あまい」の方に認知が変わるんじゃないかって！
スミス：というと？
心太：いまいちな研究計画を読んで評価させるんです。三杯酢のトコロテンを食べた後だと「マズー（すっぱい）」って評価になるのに、黒蜜の後だと「あまいなー」って評価になるんじゃないかって。つまりトコロテンがプライミングするんじゃないかってオラ思って！
スミス：なるほど。比喩と身体性の関係はたしかに注目されているしな。うん。悪くなさそうだ。しかしね。
心太；ごくり。(ﾟＡﾟ;)
スミス：トコロテンを食べさせて、それから研究計画書なりを読ませて「すっぱいですか？」「あまいですか？」って聞くだけではつまらんだろう。何より危うい。他にも関連しそうな変数を取っておいたらどうかね。
心太：ごくり。(ﾟＡﾟ;)
スミス：例えばあれだ。接近と回避という話があるだろう。
心太：石琴と会費...
スミス：すっぱいってのは、どちらかというと回避だ。甘いってのは接近だな。そこでこうだ。パソコン画面で研究計画書を読ませて、その時の頭の位置を計測する。この前キネクトを買ってやったろう。
心太：ごくり(ﾟＡﾟ;)
スミス：三杯酢条件だと頭が自然と画面から遠ざかる。回避だ。黒蜜だと近づく。接近だ。どうかね。
心太：どうかねって、先生すごすぎです。オラ興奮してきました！
スミス：それにあれだ。僕は最近、感染症への抵抗力って話を調べているのだがね。
心太：先生お得意の行動免疫ですね。
スミス：そんな風に言われると若干バカにされている気分だが、そのとおりだ。その行動免疫の質問紙も入れておいたらどうかね。感染症にかかりやすい人は「すっぱい」って判断しがちである。なぜって体が弱いからね。何に対しても防御的になるわけだ。
院生A：先生それなら嫌悪感も必要ですよね。ハイトの。
スミス：そのとおりだA君。ついでに君のテーマの不安とマキャベリも入れておこう。
心太：たくさんですね。
スミス：そのとおりだ。入力がんばりたまえ。なに、大変なのは君だけじゃない。回答してくれる参加者だってずいぶん大変なんだから、がんばって分析し給え。
３．オラ、がんばるぞ！
スミス：おう、心太くん。実験はどんな感じだね。
心太：はい！だいたい集まりました。今日はAさんに教えていただいて三杯酢群と黒蜜群でt検定をかけてみようと思ってます！
スミス：え！？
心太：ごくり。(ﾟＡﾟ;)
スミス：ひょっとして統制群を入れてなかった？
心太：ああ、いえ、ちゃんと入れてます。え、統制群って、塩味のことですよ、ね...？
スミス：ああそうか。それなら良いんだ。うん。でなんだ、t検定？それはAくんが言ったのかな。いやいい。そういうことではないんだ。ただね、今３つ水準があるわけだ。
心太：は、はい。三杯酢と黒蜜と塩味。ってこと...ですよ、ね...？
スミス：そういう時には、二つづつ取り出してt検定をやってはいけない。統計の授業で教えたはずだがな。多重比較の問題といってね。何度も何度も検定を繰り返したら、まぐれ当たりで有意になる危険が大きくなってしまうのだ。
心太：ごくり。(ﾟＡﾟ;)
スミス：そう。まぐれ当たり。僕らは科学をやってるんだから、まぐれとか奇跡を集めてもしかたがない。分散分析をやるといい。Aくんにきけば分かるはずだ。ちなみに分散分析はANOVAっていう。名前がかっこいいのも僕にはツボなんだ。
院生A：うーす心太。あのデータ、ちょっとさわってみたぞー。あ先生。
スミス：どれどれ。なんだ、ちゃんとアノーバかけてるじゃないか。上出来上出来。ふむ。主効果がギリギリ有意じゃないな（p=.065）。感染脆弱性とかのデータは入ってるかね？うん。じゃ、ちょっと共変量に入れてみよう。
心太：キョウヘンリョウ。
スミス：そう。共変量。いまいちだな。嫌悪感はどうかな。不安もとっていたか？取りあえずいろいろ共変量にいれてデータをいじって見給え。これも勉強だ。
４．オラ、見つけたぞ！
心太：先生！スミス先生！
スミス：どうした心太くん興奮して。
心太：オラやばいです！アンコバまじパネェです！
スミス：おちつけ。どうだったんだ。結果は良かったのかね悪かったのかね。
心太：やばいです！道徳的嫌悪を共変量にいれたらばっちりでました！三杯酢だとすっぱくて、黒蜜だと甘かったです！
スミス：おお！それはめでたい！良かった！ハートを付けたいくらいだ！いやなに。大丈夫かなぁと実は心配していたのだよ。オリジナリティが大事とはいったものの、そもそもネガティブデータでは論文にならんからね。
心太：ごくり。(ﾟＡﾟ;)
スミス：いや良かった良かった。
院生A：ういーっす。心太いるかー。あ先生。
心太：Aさんこんちは！実はかくかくしかじか。
院生A：おー。それは良かったなぁ。俺のほうはさっぱりだよ。最初はいい感じだったから（p<.06）張り切ってエヌ追加したらよー、pがでかくなりやがった。10％こえそうだよ。
スミス：なんだ。やっぱりマキャベリと2-4-6問題には相関は出ないかね。
心太：246問題？
院生A：なんだお前246もしらないのか。モグリじゃないのか。まぁいい教えてやる。2,4,6って三つの数字を決めているルールがあるんだが当ててみろ。
心太：えー？だんだん大きくなる３つの数字？
院生A：ガックリだよお前。最低だな。そのとおり正解だ。ただな、普通こういう質問をすると「偶数」とか「二つずつ大きくなる数字」とか言って、自分の思い込んだ答えに合うことばかり考えちまうんだ。4,8,10とか1,3,5とかな。そのせいで正解に気づくことができなくなっちまうんだ。確証バイアスってんだ。
心太：オラいっぱつで当てちまいましたね。でもまぐれですよ。
スミス：Aくん、今、１条件あたりのエヌはいくつかね。なに50。いかにも効果の弱そうな話なんだから70はやらないと。パワーが足りんよ。心太くんは執筆の方をきちんとすすめておくように。せっかく良い結果が出たのだから。
５．オラ、分かったぞ！
院生A：おう心太。どーしたショボくれた顔して。
心太：オラやっちまいました。
院生A：どうしたどうした。卒論か？お前、結果はポジティブじゃなかったか？
心太：心太くんとはいい友だちでいたいのって。オラ分かっていたのに。そんなんじゃないって。でも、こんなこと言えるの心太くんだからだよとか言うから。分かってたのに。分かってたのに。分かってたのに。わかっ
スミス：心太くんいるかね。お、Aくんも一緒か。
院生A：それが先生。心太のやつが典型的な後知恵バイアスで面白くって。
スミス：なにやら大変なことがあったようだな。しかし心太くん。こういう時こそ研究だ。古来研究者は失恋の痛みをバネに大発見を繰り返してきたのだぞ。
心太：察しが良すぎるよ先生。
スミス：君のあの結果だが、考えれば考えるほど面白いと思ってな。塩味の結果が微妙だったろう。黒蜜とは有意だが、三杯酢とはギリギリ有意でないという。しかし考えてみれば、
心太：ごくり。(ﾟＡﾟ;)
スミス：あれは当然だったのだ！塩味は統制のつもりだったが、詰まらん試合をしょっぱいと言うではないか。しょっぱいなら回避だ。まったくもって当たり前の結果だったのだ！うん。これは面白くなってきたぞ。
心太：オラ楽しくなってきました！
６．オラ、研究者は自由だ！
心太：先生！オラついにアクセプトです！
スミス：おめでとう心太くん。僕もうれしいよ。
心太：最初は有意にならなくてオラどうしようかと思ったけど、先生のアドバイスで乗り切れました！嫌悪の話にしぼってシンプルに書いたのも良かったみたいです！
院生A：おう心太。アクセプトだって？研究で失恋を乗り越えたか。おめでとう。
心太：Aさん、ありがとうございました。実は彼女のことも「いい友だち」なんだから、この先がゼロじゃないんだなってオラ分かりました。それもこれもAさんの粘って粘って寄り切りな体験談を聞かせてもらったおかげです！一度ダメでも、手を変え品を変え、いろいろアプローチすれば、どこかでヒットするって。がんばるのはオラの自由ですし！
スミス：なんだAくんは奥さんとそういう話だったのか。まぁ何を隠そう私も。とはいえ心太くん、相手あってのことだからな。程度はわきまえたまえよ。
７．オラ、これでいいのか
心太：オラ、サイクサイエンスが好きで、APSにも入ったんだ。そしたら特集号でQuestionable Research Practiceって。有意になるまでしつこく分析して、有意になった変数だけ報告するのはずるだって。でも任期つきだし、あと2年だし、プロポーズだってしたいし、共著者だって査読者だって「関係ない変数が多すぎで分かりにくい」って言うし、オラだけまじめにやって、それで業績になんなくって、何の意味があるんだろう？オラこんなことで迷うために研究者になったのかな。オラこれでいいんだろうか。
８．オラ、QRPは心理学だ！
馴化脱馴化 同じことの繰り返しに飽きるのは乳幼児に限りません。しかし新しさばかりを狙って追試研究を（結果的に）蔑ろにしてきたことが、心理学の信頼性を損なうことになったのは否定できません。
関連しそうな変数 取り敢えず関係がありそうな変数（データ）を片っ端から取っておいて、後から分析して有意だったものだけを取り出す。告白すると著者もやってました。全部がダメと言われると戸惑う気持ちもあります。探索的研究には良いのでしょう。でも探索して見つけたものを、新しいデータで検証しなおさなければダメですね。
多重比較の問題 片っ端から分析という方法がダメな理由がこれ。膨大な変数間の巨大な相関マトリクスを作って片っ端から無相関検定をする。補正もせずに。ずらりと並べた候補変数を次々と共変量に放り込んでみて、狙った主効果が有意になった組み合わせを取り出す。とっかえひっかえ交互作用を検定する。いずれも多重検定です。
確証バイアス 片っ端から検定かけて、自分の思う形で有意になった分析結果だけを見てしまう。有意にならなかった、自分の仮説とは異なった結果のことは見ようとしない。まさに確証バイアスです。気をつけねば。
張り切ってエヌを追加 実験を進めつつ、その都度で検定をかけて、有意になるまでN（サンプルサイズ）を増やす。なった瞬間実験終了。まぐれ当たりの可能性がぐっと高くなります。院生Aの場合はネガティブに転じましたが、良かったのか悪かったのか。
パワーが足りない 参加者間計画のt検定で効果量が小さい（d=0.3）なら、検定がきちんと（80%の確率で）有意になるためには、１条件あたり176人必要です。スミス先生まだぜんぜん足りてません。
ネガティブデータでは論文にならない 逆に言えば、（まぐれでも）有意になったデータばかりが公表されるという歪みがあるわけです。刊行バイアスと言います。
後知恵バイアス 振り返ってみれば、なんだって最初から分かっていたのです。塩味条件はしょっぱくて回避だって最初から分かっていた。そこまでは思わないけれど、論文では最初から分かっていたかのように書く。そういう風に書くもんだって言われた気すらします。
シンプルに書いた 片っ端から検定かけたって、行った分析が全て公表されていれば、多重検定していることは、査読者や読者に明らかです。しかし有意になった変数だけ選んで報告されてしまったら、そのことは分かりません。間違いの可能性が隠蔽されてしまいます。
オラの自由 ”悪意”はなくても、研究者が自由自在にデータをいじくりまわし、自由自在に報告するデータを選ぶことができれば、目を引くまぐれあたりの結果ばかりが論文として報告される世界が待っています。研究者の自由度（Researcher's Degree of Freedom）について、真剣に考えねばならない。それが本特集の狙いです。
オラだけまじめにやって 個々の研究者にとっては、自分だけ真面目に「研究者自由度」を削っても、ライバルが研究者自由度を使って論文を量産していれば、業績競争において不利になるだけです。社会的ジレンマが、ここに現前しているといえるでしょう。個人の良心では解決できない、制度改革も含めた心理学者全体の関与が不可欠な問題なのです。