心理学の信頼性改革

心理学の信頼性改革について

はじめに

心理学は再現性の危機と呼ばれる状況に入っています (ここではSimine Vazire氏の「信頼性改革」という前向きな表現を「再現性危機」とほぼ同義で使用しています)。そんななか，山田は心理学における信頼性向上に関係しそうなオープンサイエンス系のことをたまに，本業の傍ら (通勤，就寝前，雪隠等) 考えたり公表したりしています。一定量の公表物が溜まって来たので，ここではそれらについて，私のサブ活動の具体例とともに紹介しておきます。

私がこのような話に携わることになったきっかけとしては，2015年9月に企画された心理学評論特集号へ寄稿したことが一番大きいです (山田, 2016)。もともと"Voodoo Correlations in Social Neuroscience"，Bem騒動，ScienceのOSC論文などで (このへんは認知科学の野島賞コメントで触れています: 山田, 2020) 悶々と溜め込んでいた切実なる想いがあったわけですが，それを具体的な形として外に出したのはこれが初めてでした。煩悶を吐き出しただけなので当然ながら話は全然整理されておらず，読みづらいし，未成熟な部分が非常に多くて正直忸怩たる思いなのですが (その証左として，反響が皆無)，自分の中での意義は大きかったです。当該特集号ご担当の先生方には稀有な機会をいただき本当にありがたく思っています。

しかし今後については私自身，あまり明確な道筋が見えていません。オープンサイエンス界隈の世界的潮流としては，ただ単に再現性が低いぞ！とかプレレジせよ！とかガチャガチャ言うだけのフェーズはもう通過していて，コミュニティや組織や機関が具体的にどう動くか，あるいは上記のガチャガチャが心理学の理論構築や一般化可能性とどう関係するのか，という話に向かっています。心理学自体の将来について私はやや悲観的ですが… (山田, 2021) きっと何か想像もしてないことが起こるはずさと自分に言い聞かせてます。今後もこのページは適宜更新していきますが，どこかできっと更新は止まると思います。それが，この信頼性改革が首尾よく完了したからなのか，絶望し諦めたからなのかは分かりませんが，願わくは前者であってくれと思いますね。

とりあえず，このページにあるような情報を全てまとめた本を出しました (山田, 2024)。2023年くらいまでの情報ならまずはこれで一眸できますので，少しでも気になったらそちらをぜひ。

References

山田祐樹 (2016). 認知心理学における再現可能性の認知心理学心理学評論, 59(1), 15-29.

山田祐樹 (2020). ぼくたちは再現可能な研究ができない認知科学, 27(4), 438-439.

山田祐樹 (2021).「心理学の将来」の将来から見る心理学の将来認知科学, 28(3), 419-423.

山田祐樹 (2024). 心理学を遊撃する──再現性問題は恥だが役に立つ── ちとせプレス

関連する解説やコメント

TODA RADIO #006 モムラジオ [Audio podcast]

TODA RADIO #008 コロナ禍と心理学 [Audio podcast]

総合的なまとめ系

心理科学分野の信頼性と再現性を向上させるために，何かすっごい核心的な問題を革新的な方法で一つ対処したら大勝利！という考え方は幻想だと確信的に思っています。逆に，無数に散在している大小様々な問題群を同時に波状攻撃していく必要性を感じています。今のところ，問題は「追試」「事前登録制度」「学術出版」「研究(者)評価」「ラボと金」「統計」「サンプリングとマルチラボ」「サイエンスコミュニケーション」あたりに存在すると考えており (山田, 2018, 2019)，それぞれ別個に議論や活動を行っているところです。その過程で，冒頭にて大きな転機になったと述べました心理学評論誌の「続・再現性特集号」の編集にも関与することができました (三浦・友永・原田・山田・竹澤, 2019)。あとどういうわけかSociety for Neuroscienceの公式サイトでも記事を出す機会がありました (Yamada, 2021)。オープンサイエンス用語集にも関わってます。英語ですけど (Parsons et al., 2022)。なんだか徐々に再現性ゲリラ戦士 (山田, 2024) みたいに見られ始めている(まあ，名乗ってるし)気もして若干微妙なところもありますが，再現性問題の認知度が上がってるのは良いことでしょう。再現性問題がもたらしたプラスの側面についても議論しました (Korbmacher et al., 2023)。今後はハイパー信頼性クリエイターと思われるようにがんばります。

References

Korbmacher, M., Azevedo, F., Pennington, C. R., Hartmann, H., Pownall, M., Schmidt, K., Elsherif, M., Breznau, N., Robertson, O., Kalandadze, T., Yu, S., Baker, B. J., O’Mahony, A., Olsnes, J. Ø.-S., Shaw, J. J., Gjoneska, B., Yamada, Y., Röer, J. P., Murphy, J., … Evans, T. (2023). The replication crisis has led to positive structural, procedural, and community changes. Communications Psychology, 1(1), 1–13.

三浦麻子・友永雅己・原田悦子・山田祐樹・竹澤正哲 (2019). 心理学研究の新しいかたち CHANGE we can believe in ―特集号の刊行にあたって― 心理学評論, 62(3), 197-204.

Parsons, S., Azevedo, F., Elsherif, M. M., Guay, S., Shahim, O. N., Govaart, G. H., Norris, E., O’Mahony, A., Parker, A. J., Todorovic, A., Pennington, C. R., Garcia-Pelegrin, E., Lazić, A., Robertson, O., Middleton, S. L., Valentini, B., McCuaig, J., Baker, B. J., Collins, E., … Aczel, B. (2022). A community-sourced glossary of open scholarship terms. Nature Human Behaviour, 6, 312-318.

山田祐樹 (2018). 再現可能性問題をハックする ―是非に及ばぬ研究コミュニティからの包囲網― ヒューマンインタフェース学会誌, 20(1), 17-22.

山田祐樹 (2019). 2018年度日本基礎心理学会第1回フォーラム時代は変わる─再現可能性問題から基礎心理学のパラダイムシフトへ─ 基礎心理学研究, 37(2), 165-166.

Yamada, Y. (2021). Elevate your science from sexy to rigorous. Neuronline.

関連する解説やコメント

山田祐樹 (2023). 解説特集「再現性問題の処方箋」の編集にあたって認知科学, 30(2), 143–145. https://doi.org/10.11225/cs.2023.001

植田航平・益田佳卓・佐々木恭志郎・山田祐樹 (2023). これからの「再現性問題」の話をしよう電子情報通信学会誌, 106(4), 321-325. (PDF)

オープンサイエンス用語集･･･note記事

再現性問題は若手研究者の突破口･･･学会発表 (スライド，発表動画)

再現性問題のまとめスライド（2020年版）･･･note記事

心理学の再現可能性問題は心理学的問題･･･note記事

日本経済新聞「⼼理学実験、再現できず信頼揺らぐ学界に⾒直す動き」へのコメント (2019.12.14)

関連する諸活動

心理学の信頼性研究部会代表 (これを解説してるnote記事)

ReproducibiliTea Fukuoka 面倒見

追試

どんなにゴツい雑誌に掲載されようともたった1本の論文で何かが検証完了するというのは望み薄く，元研究がセンセーショナルであればあるほど，まるで弾幕のように追試が多数回行われ，その結果が逐一公表されるのが重要です。というか第3者による追試 (三角測量) がないと再現性の高低すら分かりません。まあ追試についてはいろーんな議論があることは承知した上で，ともかく大学院の授業にてグループワークあるいはPBLとして追試研究を行うというのを2014年からやってきています (Chaya et al., 2016; Guo et al., 2020a, 2020b; Han et al., 2024; Kishimoto et al., 2016; Nitta et al., 2018; Ojiro et al., 2015; Yonemitsu et al., 2017; Yoshimura et al., 2021; Zhang et al., 2023)。例の心理学評論特集号でも実際に有審査事前登録付きの追試を実演しつつ，追試周りの件について議論しています (佐々木・米満・山田，2019)。もちろん授業外でも追試論文はいくつか出していて (詳細は省略) そのたびに，うわぁ･･･追試論文がちゃんと出版されるの･･･すごくありがたいなり･･･と常々感じております。今後も引き続き気合ブリバリでやっていく所存です。

実際に追試やるのとは別に，追試そのものの議論にも参加しています。追試自体もちゃんと厳密に実施しないと意味ないことがあるから気をつけよっ♡てやつとか (Breznau et al., in press)。また，追試価値を数量化しようぜっていう論文に対して，教育用ならいけるんじゃね？的なコメンタリをだしました (Takashima & Yamada, in press)。

References

Breznau, N., Rinke, E. M., & Wuttke, A. et al. (in press). The reliability of replications: A study in computational reproductions. Royal Society Open Science.

Chaya, K., Xue, Y., Uto, Y., Yao, Q., & Yamada, Y. (2016). Fear of eyes: Triadic relation among social anxiety, trypophobia, and discomfort for eye cluster. PeerJ, 4:e1942.

Guo, W., Liu, H., Yang, J., Mo, Y., Zhong, C., & Yamada, Y. (2020). Stage 1 Registered Report: How subtle linguistic cues prevent unethical behaviors. F1000Research, 8:1482.

Guo, W., Liu, H., Yang, J., Mo, Y., Zhong, C., & Yamada, Y. (2020). Stage 2 Registered Report: How subtle linguistic cues prevent unethical behaviors. F1000Research, 9:996.

Han, J., Zhang, M., Liu, J., Song, Y., & Yamada, Y. (2024). The Medusa effect: A registered replication report of Will, Merritt, Jenkins, and Kingstone (2021). Royal Society Open Science, 11(1), 231802.

Kishimoto, R., Sasaki, K., Gobara, A., Ojiro, Y., Nam, G., Miura, K., & Yamada, Y. (2016). When a silhouette appears male: Observer’s own physical fitness governs social categorization of sexually ambiguous stimuli. Letters on Evolutionary Behavioral Science, 7, 17-20.

Nitta, H., Tomita, H., Zhang, Y., Zhou, X., & Yamada, Y. (2018). Disgust and the rubber hand illusion: A registered replication report of Jalal, Krishnakumar, and Ramachandran (2015). Cognitive Research: Principles and Implications, 3:15.

Ojiro, Y., Gobara, A., Nam, G., Sasaki, K., Kishimoto, R., Yamada, Y., & Miura, K. (2015). Two replications of "Hierarchical encoding makes individuals in a group seem more attractive (2014; Experiment 4)". The Quantitative Methods for Psychology, 11, r8-r11.

佐々木恭志郎・米満文哉・山田祐樹 (2019). 利き手側の良さ ―事前登録されたCasasanto (2009) の直接的追試― 心理学評論, 62(3), 262-271.

Takashima, K., & Yamada, Y. (in press). Valuing replication value. Meta-Psychology.

Yonemitsu, F., Sung, Y., Naka, K., Yamada, Y., & Marmolejo-Ramos, F. (2017). Does weight lifting improve visual acuity? A replication of Gonzalo-Fonrodona and Porras (2013). BMC Research Notes, 10:362.

Yoshimura, N., Morimoto, K., Murai, M., Kihara, Y., Marmolejo-Ramos, F., Kubik, V., & Yamada, Y. (2021). Age of smile: A cross-cultural replication report of Ganel and Goodale (2018). Journal of Cultural Cognitive Science, 5, 1-15.

Zhang, Q., Masuda, Y., Toda, K., Ueda, K., & Yamada, Y. (2023). Is the past farther than the future? A registered replication and test of the time-expansion hypothesis based on the filling rate of duration. Cortex, 158, 24-36.

関連する解説やコメント

追試者に朗報。といっても追試者自体あんましいないけど。･･･note記事

事前登録制度

問題のある研究慣行を防止し，研究内容を透明化・正当化し，研究者や業界自体の信頼性を高めるのに資すると思われる制度として事前登録（プレレジ）があります。これについてはウチでも比較的初期から導入していて (2016年くらい)，いろんなところでプレレジ，プレレジと言ってきた気がします。プレレジ連呼ニキとか思われてないか心配です。中京大での非常勤の授業のときにみんなで一生懸命作成したプレレジチュートリアル論文は比較的お役立ちしているようで (長谷川他, 2021)，これは達成感ありました。まあそのうちoutdatedになるでしょうけど。同様に岩波書店の「科学」でも最新情報と思うのを書きましたがこれもすぐに賞味期限切れでしょうね (山田, 2022)。

さてこの事前登録制度について，海外ではBrian Nosek氏やChris Chambers氏を始めとした群雄割拠での激アツ議論が繰り広げられている中，少なくとも私などはそれらの論文を戴いて学ぶばかりであり，全体的にも日本発の意見があまり見かけられない状況だったため，まずはいっぺん国際誌で暴れ倒してやろかいと思って出したのがYamada (2018) でした。まあ...そんなに暴れられたわけではありませんが，「PARKing」などは比較的海外でも認知されたのでうっすら爪痕は残したかなと思います。うっすらね。そしてその後の大学院での授業でみんなで一生懸命議論とか実験とかして作成したプレレジハッキング論文も (Ikeda et al., 2019)，プレプリントのダウンロード状況見る限り，なかなか読まれはしたと思います。いや，そう信じたい。プレプリントにPlauditでendorseしてくれたMiura先生の優しさに心が救われてます。あと，有査読事前登録（レジレポ）で挫折を味わい激昂した関大の佐々木さんと書いた論文もドラマがありました (Sasaki & Yamada, 2020)。詳細については関連解説のところのnote記事を見てもらうのが良いでしょう。プレレジどこまで細かくきちんとやるかの議論も2024年にはData Coladaさんとの間で白熱しました (van den Akker et al., 2024)。

今のところ，プレレジはいったん規範化へ向かうのが良いと思っています。学術誌は少なくともオプションでレジレポを必ず選択できるようになるべきとも思いますし，プレレジバッジを導入すべきとも思います。しかしそれが永遠に続くべきとも思ってなくて，いつかは登録なんて不要な何らかのシステムに取って代わられる（というかその隆盛によってプレレジは廃れ，無意味になる）と予想しています。しかしもしそうなったとしても，オプションはずっと残してていいだろうとも思います。ひとまずプレレジ癖をつけときましょう (山田, 2024) ！この辺はまだ面白くてご飯がすすむネタですね。

References

長谷川龍樹・多田奏恵・米満文哉・池田鮎美・山田祐樹・高橋康介・近藤洋史 (2021). 実証的研究の事前登録の現状と実践──OSF事前登録チュートリアル── 心理学研究, 92(3), 188-196.

Ikeda, A., Xu, H., Fuji, N., Zhu, S., & Yamada, Y. (2019). Questionable research practices following pre-registration. Japanese Psychological Review, 62(3), 281-295.

Sasaki, K., & Yamada, Y. (2020). Boosting immunity of the Registered Reports system in psychology to the pandemic. Frontiers in Research Metrics and Analytics, 5:607257.

van den Akker, O. R., Bakker, M., van Assen, M. A. L. M., Pennington, C. R., Verweij, L., Elsherif, M. M., Claesen, A., Gaillard, S. D. M., Yeung, S. K., Frankenberger, J.-L., Krautter, K., Cockcroft, J. P., Kreuer, K. S., Evans, T. R., Heppel, F. M., Schoch, S. F., Korbmacher, M., Yamada, Y., Albayrak-Aydemir, N., ... Wicherts, J. M. (2024). The potential of preregistration in psychology: Assessing preregistration producibility and preregistration-study consistency. Psychological Methods.

Yamada, Y. (2018). How to crack pre-registration: Toward transparent and open science. Frontiers in Psychology, 9:1831.

山田祐樹 (2022). 事前登録制度──再現性問題を端緒とする信頼性改革科学, 92(9), 796-800.

山田祐樹 (2024). プレレジ癖 ―柳岡・白砂論文へのコメント―. 心理学評論, 67(1), 147–152..

関連する解説やコメント

山田祐樹 (2022). きまぐれ事前登録「テスト学におけるオープンサイエンス」日本テスト学会第20回大会招待講演オンライン

OSFでネット犯罪の件･･･note記事

山田祐樹 (2018). こころの測り方「自由を棄てて透明な心理学を掴む」心理学ワールド 83, 34-35. ･･･記事

PCIでプレプリでレジレポ･･･note記事

学術出版

研究者が再現性の低くなるような行為をする理由の一つに，強烈な出版バイアスがあります。そうしないと査読にすら回らないし，回っても査読を通過しないから論文を出せないじゃん，という言い分です。この話に共感はしませんが納得はできますので，元凶である出版バイアスの影響を回避する方法をいろいろと考えてきました。その一つはレジレポです。レジレポでは結果の有意性や美しさは掲載決定に関与しないため，間違いなくこれは強力な対策になります。次にマイクロパブリッシングです (Yamada, 2020)。これは論文構成を最小化して蓄積科学を目指す方向性なのですが，まあいっぺん導入してやってみないとみなさんわけわからんくて不安ですよね。どっかでマジでやりましょう。同様にデータペーパーをもっと評価していくのが良いとも思っています。いくつか出してみましたけどちゃんと楽しかったですよ (Yamada et al., 2021; Yamada, Xu, & Sasaki, 2020)。その他には，事後査読も有効だと思います (Ikeda, Yamada, & Takahashi, 2020)。アクセプトされたらお終いではなく，出版後も常に批判され，アップデートできるシステムがいいんだろうなあと思いますし，事後査読したヒト，批判を受けてアップデートしたヒトはそれがちゃんと評価されるべきだと思います。

なお，査読や編集行為自体も聖域ではないぞと。それらをもっと適切に，オープンにやっていきまっしょいと。いろんな経験をして激昂した関大の佐々木さんとその辺についても書いてみました (佐々木・山田, 2020; Sasaki & Yamada, 2024)。意外なことに，これを読んだ複数名の研究者から，自分もきつかったとよ的なお便りをいただくことがあります。みんなの思いはいつも一つ。有料の高速査読サービスとかあるんですが，それはいろいろ問題ありそうだよという指摘もしています (Teixeira da Silva & Yamada, 2022)。あと無料だけどアカウント作らないと読めない雑誌があって，それってオープンアクセスって言えなくねえ？という話もしてます (Yamada et al., 2023)。で，困った時に著者とかがそれを表明できる(つまり著者懸念表明)方法が必要じゃねえ？という話もしました (Teixeira da Silva & Yamada, 2023)。

そしてもう一つ大事なのが，捕食学術誌 (predatory journals; 非倫理的学術誌; ハゲタカとは絶対呼ばない) 周りの議論です (Yamada, 2021)。これについては本当に複雑なことが起きててこんがらがってて収集つかない感じになっているので，逆にご飯がすすみます。一瞬これはさすがにプレデタリじゃないか？と思っていたAcademia Lettersというオピニオン専門誌があり，よくダイレクト(スパム)メールが来ていました。これについては，2022年6月で激潰れしてたので勝手に大反省会した論文を出しています (Yamada & Teixeira da Silva, 2023a)。今のところ，捕食か否かのグレーゾーンに関する議論をちょっとしていて (Yamada & Teixeira da Silva, 2022)，これはまだまだ継続中。その他にも「懸念表明」 (Expression of Concern) のグレー状態についても議論しました (Teixeira da Silva & Yamada, 2021)。グレーが気になっている今日このごろです。そしてグレーが捕食か否かの二分法で色塗られちゃってる最大の理由である「ブラックリスト」の作成に一役買ってるCabellsの評価方法を勝手に大反省会した論文も書きました (Teixeira da Silva et al., 2023)。捕食学術誌を自動で検出するソフトウェアの論文がうまく動いてなかったのでコメント書いたりもしました (Yamada, & Teixeira da Silva, 2023b)。

また別件で，実際にジャーナル立ち上げや運営に関わらせて頂く機会があり (Kitaoka, Kawabe, & Yamada, 2020)，貴重な経験を得ています。PCI RRという先鋭的な査読コミュニティの運営にも携わっています。他にもいろんなジャーナルのバックヤードが見える位置にいさせていただいており，学術出版についての次の一手が何かちらっと見えてきそうな光明を感じています。

References

Ikeda, K., Yamada, Y., & Takahashi, K. (2020, May 26). Post-publication peer review for real. PsyArXiv.

Kitaoka, A., Kawabe, T.,& Yamada, Y. (2020). Introducing the Journal of Illusion. Journal of Illusion, 1(1).

佐々木恭志郎・山田祐樹 (2020). 実験心理学者も快適に論文投稿したい認知心理学会テクニカルレポート, COGPSY-TR-007, 1-6.

Sasaki, K., & Yamada, Y. (2024). Questionable peer review practices. Library and Information Science Research Electronic Journal, 34(1), 59-63.

Teixeira da Silva, J. A., Moradzadeh, M., Yamada, Y., Dunleavy, D. J., & Tsigaris, P. (2023). Cabells’ Predatory Reports criteria: Assessment and proposed revisions. Journal of Academic Librarianship, 49(1), 102659.

Teixeira da Silva, J. A., & Yamada, Y. (2021). An extended state of uncertainty: A snap-shot of expressions of concern in neuroscience. Current Research in Behavioral Sciences, 2, 100045.

Teixeira da Silva, J. A., & Yamada, Y. (2022). Accelerated peer review and paper processing models in academic publishing. Publishing Research Quarterly, 38, 599-611.

Teixeira da Silva, J. A., & Yamada, Y. (2023). The author expression of concern (AEOC): A proposed formal mechanism to allow authors’ legitimate concerns to be heard, and their rights and voices to be respected. Accountability in Research.

Yamada, Y. (2020). Micropublishing during and after the COVID-19 era. Collabra: Psychology, 6(1), 36.

Yamada, Y. (2021). How to protect the credibility of articles published in predatory journals. Publications, 9(1), 4.

Yamada, Y., Ćepulić, D., Coll-Martín, T., Debove, S., Gautreau, G., Han, H., Rasmussen, J., Tran, T. P., Travaglino, G. A., COVIDiSTRESS Global Survey Consortium, & Lieberoth, A. (2021). COVIDiSTRESS Global Survey dataset on psychological and behavioural consequences of the COVID-19 outbreak. Scientific Data, 8:3.

Yamada, Y., Nishikawa-Pacher, A., & Teixeira da Silva, J. A. (2023). Is it open access if registration is required to obtain scientific content? European Science Editing, 49, e98101.

Yamada, Y., & Teixeira da Silva, J. A. (2022). A psychological perspective towards understanding the objective and subjective gray zones in predatory publishing. Quality & Quantity.

Yamada, Y., & Teixeira da Silva, J. A. (2023a). Academia Letters: Examination of an ‘experimental’ Academia.edu publishing model. Journal of Scholarly Publishing.

Yamada, Y., & Teixeira da Silva, J. A. (2023b). A measure to quantify predatory publishing is urgently needed. Accountability in Research.

Yamada, Y., Xu, H., & Sasaki, K. (2020). A dataset for the perceived vulnerability to disease scale in Japan before the spread of COVID-19. F1000Research, 9:334.

関連する解説やコメント

山田祐樹 (2022). 変容する学術出版「変容する研究世界を生き抜くための作法」行動経済学会第16回大会研究者向け教育セッション招待講演明治大学･･･発表スライド

山田祐樹 (2022). 捕食学術誌とのつきあい方心理学ワールド, 96, 13-16. ･･･記事

山田祐樹 (2021). 巻頭言：新型コロナウイルス感染症と心理学, 心理学研究, 92(5), 321-326 ･･･特集号巻頭言

Expression of Concernって？･･･note記事

心理学におけるマイクロパブリケーション･･･note記事

投稿(だ)した後にプレデタリジャーナルて気づいたときにやれる10のこと･･･note記事

Lifecycle Journalという実験⋯note記事

国内和文誌についての周辺での話⋯note記事

関連する諸活動

心理学研究特集号「新型コロナウイルス感染症と心理学」担当編集委員

PCI Registered Reports, Managing Board Member

Journal of Illusion, Senior Editor

Scientific Reports, Editorial Board Member (レジレポ担当)

PeerJ, Editorial Board Member (レジレポ担当)

Collabra: Psychology, Associate Editor

Trends in Scholarly Publishing, Editorial Board Member

Committee on Asian Publishing Standards of the Asian Council for Science Editors, Committee Member (2021年)

これ以降は正直まだまだ手薄です。むしろこれから手を付けていきたいと切望してる部分。

研究(者)評価

おかしな研究行為をやっちらかす理由の一つに「何らかの形で認められたい，名を馳せたい」というのがあるはずです。いろいろと古い学術システムを使い続けてきたために，研究者やその各研究業績の評価にけっこうな偏りが生じていると考えています (山田, 2019)。より良い評価法とエコシステムの構築を急がないといけません。スローサイエンスにカギがありそうな気はしているのですが・・・。そもそも，特に初期キャリア研究者 (ECR) がフルパフォーマンスを発揮できる状況じゃなかったり，そのくせ教員採用などではパーフェクトヒューマンを求める風潮もあったりで (Yamada, 2019)，大変えげつない状況です。さらに言えば，この問題について，ECRたちの努力や才能の問題に帰したり，「大変そうだよねえ」とは言いつつも特に対処しなかったり，身軽に動けるECRたちの動きに期待すると言いつつ当事者たちを決定権のあるテーブルに座らせなかったりと，なかなか改善の道が見えにくい状況にあります。既に一定の安定性を得ている研究者こそがこの問題を改善しないといけないのではと感じています。

※ちなみに，研究に触れ始めたばかりの頃の方々を「若手」と呼ぶと暗に年齢を決めつけた言い方になるため，あえて初期キャリア研究者という呼び方をしています (若手会委員ですが)。でも初期キャリア研究者やECR (Early Career Researcher) と言うのがまだるっこしいのもよく分かります。なので，「新人」とかで呼ぶのはいかがでしょうか？駄目？

元の話により突っ込むと，ECRたちを心理学の世界に参入させたいのかそうでないのかをハッキリさせた方が良いと思います。「個人的には今の状況では大学院進学を勧めない」と言い切られる方もいますし，「シーンはどんどん小さくなればいい」と考える方もいるのではないかと思いますし，実際それが達成されそうな新規参入状況ですし，授賞や助成のシステムは一握りの「優秀な」ECRだけが研究すればいいという世界への歩みを促進してしまっています。なので，改革するなら本気でやらないといけないし，改革しないのであればこのような業界縮小の方針を明示すべきだと思います。そうでないと，進学してから実情が分かって絶望するECRたちが毎年現れるのを見るのが忍びないです。

なお，研究者評価指標としてResearchGateがRGスコアってのを算出していたのですが，2022年7月に終わってしまいました。これについて勝手に大反省会した論文を出していますのでご興味あればぜひ (Teixeira da Silva & Yamada, 2023)。

References

Teixeira da Silva, J. A., & Yamada, Y. (2023). Reflection on ResearchGate’s terminating ResearchGate Score, and Interest Score, as social media altmetrics and academic evaluation tools. Journal of Scholarly Publishing.

Yamada, Y. (2019). Publish but perish regardless in Japan. Nature Human Behaviour, 3, 1035.

山田祐樹 (2019). 未来はごく一部の人達の手の中 ―研究者評価の歪みがもたらす心理学界全体の歪み― 心理学評論, 62(3), 296-303.

関連する解説やコメント

出版しても死ぬ･･･note記事

ゆっくり科学していってね！！！･･･note記事

山田祐樹 (2018). 私のキャリアパス「ランダムが好きかもしれない」日本心理学会若手の会ニューズレター 3(1), 3-6.･･･記事

山田祐樹 (2018). 2017年度「若手研究者特別委員会」の活動基礎心理学研究, 36(2), 258-262.･･･記事

山田祐樹 (2021). 若手研究者特別委員会のこれまでとこれから基礎心理学研究, 39(2), 213-215. ･･･記事

関連する諸活動

日本基礎心理学会若手研究者特別委員会末端構成委員

ラボと金

この件についてはほぼ何もできていません。研究費の選択と集中に関しては明らかにアドボカシーが必要な状況なんですが，以前一度だけ文科省の方々と議論する機会があったくらいで，特に寄与できていないですね。忸怩たる思い。まあ私が交渉事が得意じゃないというのもあります。個人では限界がありすぎるので，日本科学振興協会 (JAAS) での活動に期待しているところです。

マタイ効果やシャペロン効果などを研究するのは興味を持っていますし，そっちは個人レベルでもやれる気がしています。スキル的にはやれるか微妙なので，少なくともやってる人を心から応援します。

それと，いろんな申請書書き作業などで無駄が発生しているのかなと思い，レジレポ・倫理審査・グラント審査を一体化したトリニティレビューという方式を提案したりもしています (Mori, Takashima, Ueda, Sasaki, & Yamada, 2022)。ま，まあ穴は多いかもしれませんが，まずは方向性を示したいなと。さらにはその先のDeSciベースのABCDEF出版というやつまで既に考えておりますが (Oka et al., 2023)，考えるだけだとアレなんでちょっとずつ実装を試していきたいなと思っています。

References

Mori, Y., Takashima, K., Ueda, K., Sasaki, K., & Yamada, Y. (2022). Trinity Review: Integrating Registered Reports with research ethics and funding reviews. BMC Research Notes, 15:184.

Oka, T., Takashima, K., Ueda, K., Mori, Y., Sasaki, K., Hamada, H. T., Yamagata, M., & Yamada, Y. (2023). Autonomous, bidding, credible, decentralized, ethical, and funded (ABCDEF) publishing. F1000Research, 12, 877.

関連する諸活動

日本科学振興協会 (JAAS) 理事，フェロー

日本学術振興会特別研究員等審査会専門委員（書面担当）及び国際事業委員会書面審査委員

統計

統計関係も正直ほとんど何もできてないです。再現性に直結する核の部分ではありますので，寝食を全く忘れずにたまにやってる勉強の過程でいろいろと感ずるところはもろもろ一応あるのですが，当たり前ですが何か言えるほどのレベルに達してないですね。とりあえずp値0.005騒動に関与したりはしました (Trafimow et al., 2018)。ManyAnalysts的なものにも (Breznau et al., 2022)。サンプルサイズ正当化を事後にやったらあかん時があるくない？と言う話もしてます (Sasaki & Yamada, 2023)。

References

Breznau, N., Rinke, E. M., Wuttke, A., Nguyen, H. H. V., Adem, M., Adriaans, J., Alvarez-Benjumea, A., Andersen, H. K., Auer, D., Azevedo, F., Bahnsen, O., Balzer, D., Bauer, G., Bauer, P. C., Baumann, M., Baute, S., Benoit, V., Bernauer, J., Berning, C., … Żółtak, T. (2022). Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty. Proceedings of the National Academy of Sciences of the United States of America, 119(44), e2203150119.

Trafimow, D., Amrhein, V., Areshenkoff, C. N., Barrera-Causil, C., Beh, E. J., Bilgiç, Y., ...Yamada, Y., ...Marmolejo-Ramos, F. (2018). Manipulating the alpha level cannot cure significance testing. Frontiers in Psychology, 9:699.

Sasaki, K., & Yamada, Y. (2023). SPARKing: Sample-size planning after the results are known. Frontiers in Human Neuroscience, 17:912338.

関連する解説やコメント

若者の有意性検定離れ･･･note記事

関連する諸活動

日本心理学会YouTubeライブ・話題の論文について著者と語るシリーズ第1回吉田寿夫・村井潤一郎(2021)「心理学的研究における重回帰分析の適用に関わる諸問題」企画･･･イベントサイト，togetter

公認心理師養成大学教員連絡協議会学部カリキュラム検討委員会委員 (統計法)

サンプリングとマルチラボ

心理学をdeWEIRDするため，2009年頃から多国間の共同研究に取り組んできました。それとオンラインでデータが取れるといいなあと思い，2013年頃から実際にYahoo!クラウドソーシングやProlificなどで実験や調査を開始しました。オンライン実験はもはや日常と化しているのでいちいち個別の活動を挙げるのも骨身に沁みるものがありますが，一つ挙げるとすれば，クラウドソーシングで知覚実験がどこまでできるのかについては興味深かったです (Sasaki & Yamada, 2019)。いやまあ，まだやれることはいろいろありますけど。

多国間共同研究 (マルチラボ) については「関連」のところにいろいろ挙げているので詳しくは触れませんが20個くらいは関与しています。これまでもいくつか主導しています (Yamada et al., 2021, 2024)。なんか著者数がえぐいためか分かりませんが「やる意味あんの？」とか「研究って，そういうことかね？」とか思われてるフシがあり深い悲しみを覚えることがあります。ですが研究知見の一般化可能性の担保のためには大変重要だと思っており (Visser et al., 2022)，今後も続けていく所存です。日本発のマルチラボが全然無いので，それを促進できないかと考え中です。マルチラボ実施のノウハウを持ち寄って蓄積して誰でも利用できるようにしたり，学会等が支援したりできないでしょうか。

References

Sasaki, K., & Yamada, Y. (2019). Crowdsourcing visual perception experiments: A case of contrast threshold. PeerJ, 7:e8339.

Visser, I., Bergmann, C., Byers-Heinlein, K., Ben, R. D., Duch, W., Forbes, S., Franchin, L., Frank, M. C., Geraci, A., Kiley Hamlin, J., Kaldy, Z., Kulke, L., Laverty, C., Lew-Williams, C., Mateu, V., Mayor, J., Moreau, D., Nomikou, I., Schuwerk, … Zettersten, M. (2022). Improving the generalizability of infant psychological research: The ManyBabies model. Behavioral and Brain Sciences, 45, e35.

Yamada, Y., Xue, J., Li, P., Ruiz-Fernández, S., Özdoğru, A. A., Sarı, Ş., Torres, S. C., Hinojosa, J. A., Montoro, P. R., AlShebli, B., Bolatov, A. K., McGeechan, G. J., Zloteanu, M., Razpurker-Apfeld, I., Samekin, A., Tal-Or, N., Tejada, J., Freitag, R., Khatin-Zadeh, O., … Marmolejo-Ramos, F. (2024). Where the ‘bad’ and the ‘good’ go: A multi-lab direct replication report of Casasanto (2009, Experiment 1). Memory & Cognition.

関連する解説やコメント

山田祐樹 (2021). いともたやすく行われるえげつない研究行為日本認知科学会第38回大会口頭発表北星学園大学 (オンライン)･･･発表スライド

山田祐樹 (2018). オンラインによる知覚研究日本基礎心理学会 (監修) 坂上貴之・河原純一郎・木村英司・三浦佳世・行場次朗・石金浩史 (編) 基礎心理学実験法ハンドブック朝倉書店

Yamada, Y., Blackburn, A. N., Chang, G., Gelpi, R., Han, H., Ikizer, G., Jeftic, A., Stöckli, S., Tuominen, J., Vestergren, S., & Lieberoth, A. (2021). COVIDiSTRESS: One of the world's largest consortia of researchers for investigating psychological, social, and behavioral consequences of the COVID-19 pandemic. Research Data at Springer Nature (Behind the Paper).･･･記事

Yamada, Y., Blackburn, A. N., Chang, G., Han, H., Jeftic, A., & Vestergren, S. (2021). Remarks on rapid, remote international collaborations under lockdown. Research Data at Springer Nature (Resources).･･･記事

サイエンスコミュニケーション

再現性問題にはスピン (知見の粉飾) などの形で派手なアピールをしたヒトが評価されるような風潮も関係しています。また，心理学が市民の皆様から正確に理解されないと，学術的・世間一般的な二重の混乱が生じ，科学としての心理学の健全な発展を阻害します。なので心理学の適切なサイエンスコミュニケーションは超重要だと以前より思っております。だがこれもなかなか決定的な動きがまだできていません・・・忸怩忸怩。ただ，学部教育から織り交ぜていくのが良いだろうとは思っていて，心理学ミュージアムさんとこに基幹教育の授業でみんなで一生懸命作成した作品を投稿し，ありがたくも掲載していただけました (郷原・津田・辻・倪・山田, 2019)。とりあえずもっとがんばります。

再現性周りの話について，似たようなのをいろんな場所で講演しておりますが，決して自分から売り込んでるわけではないことは本当にお含みおきいただきたく強く思います。元々トークが苦手ですし，さらに似たような話をして聴衆に「それ前も言ってたよな？そればっかやなお前」「壊れたレコードみたいだなお前」「なんだお前」「コラお前」とか思われるのがマジで嫌なので，できれば回避したいのです。でも，人の縁とかそういうのって，あるよね・・・！私が再現性／信頼性関係のトークやイベントとして最もやりやすいのは，「質問コーナー」です。これならどんだけでもお引き受けしますし，なんぼでも答えます！

さて，個人的には2024年に出した遊撃本が一番でかいサイコミュです。ぜんぜん一般向けにはアピールできないマニアックな代物ですが，まあそれがむしろ私らしくていいよねと自分では思ってます。また，2024年度は不可解なことに，日本心理学会で広報委員長，日本認知心理学会で広報委員長，日本基礎心理学会で広報担当常務理事と，3つ同時に広報長的立場になっておりますが広報が得意なわけではないのでずっと不思議だなあと思ってます。ずっとびっくりしてます。

References

郷原皓彦・津田菜都美・辻浩樹・倪夏希・山田祐樹 (2019). その記憶，鮮明なのに間違ってる―フラッシュバルブ記憶― 心理学ミュージアム

関連する解説やコメント

山田祐樹 (2022) ポップサイコロジーに心理学者ができること金子書房note. ･･･note記事

山田祐樹 (2022). 心理学を広く報せる「変化する心理学」日本心理学会第86回大会口頭発表日本大学 (オンライン) ･･･発表スライド, 発表動画

プレスリリースがみんなにとってめんどくさいので作りました･･･note記事

EurekAlert! Unease beyond the uncanny valley: How people react to the same faces･･･海外向けプレスリリース

サイゾーウーマン「映画『キャッツ』の猫は、なぜ「不気味」で「気持ち悪い」のか？　認知心理学の研究者が考察」･･･コメント

TBSラジオ「安住紳一郎の日曜天国」へコメント

academist Journal ぶつぶつってなんでこんなにも気持ち悪いの！？ – トライポフォビア研究のいま･･･記事

関連する諸活動

日本心理学会広報委員会, 委員長

日本認知心理学会広報委員会, 委員長

日本基礎心理学会常務理事（広報担当）

日本心理学会サイエンスコミュニケーション研究会, 共同代表 (2021年度で学会関連組織としてはプロジェクト完了)

おわりに

その他，非常に細かいこととかはたいがいX ,いわゆる旧Twitter (@momentumyy) でぼそぼそ言っております。さらに他にノンジャンルの信頼性系・オープンサイエンス系の公表物が発生したらばこの辺りのスペースに入れていくと思います。

Page updated

Google Sites

Report abuse