自由記述は, 社会・文化の心への影響を調べる有効な手段だが, 分類の曖昧さとスケーリングが課題である. 本研究では大規模言語モデル (LLM) を用いて解決を試みた. LLM の成績はプロンプトに大きく依存するため、判定 LLMに与えるプロンプトを，別の LLM によって反復的に生成・改良するOPRO（Optimization by Prompting）を用いて最適化した. 日本国内の成人1003名を対象に，「科学的」と紹介され生活に取り入れている事柄について自由記述を収集し，人間判定で疑似科学信念該当性を判定した. Producer，Judge，Scorerからなるサイクルを構築し，人間判定との一致度（F1スコア）が最大となるようプロンプトを最適化した. その結果，21サイクルでプラトーに達し，最高性能プロンプトは最適化データでF1=.58，検証データでF1=.44を示し, 判定性能は十分とは言えなかった. 今後はProducerに与えるメタプロンプトの改善に加え，モデル設定を変更した頑健性検証や，陰謀論信念・不当利得信念に関する自由記述判定への適用を通じて，一般化可能な最適化手法の確立を検討する.

大会 HP の講演情報はこちら　補助資料はこちら

量的心理学は、これまで人間を研究対象としながらも、“人間的” なインターフェイスを二重の意味で持ち合わせていなかった。ひとつは参加者に対してである。統制刺激や装置を用いた認知系実験は言うまでもないが、質問紙調査であっても、固定された文言を通じての参加者とのやり取りは “人間的” な双方向性や他者への想像力を欠いたものだった。もうひとつは研究者と研究方法とのインターフェイスである。統計分析や実験プログラムなどは、時折人間教師からのアドバイスはあるものの、基本的には数理/アルゴリズムでしかなく、“人間的” 感覚とは縁遠いものだった。今、大規模言語モデル (LLM) の目覚ましい発展により、このふたつのインターフェイスが日常言語化され、急速に “人間化” されつつある。方法論的障壁を “人間的” に除去することにより、量的心理学が本来取り組むべき研究課題への、より自由で直接的で、“人間的な” アプローチが可能になる。本シンポジウムではこの現状について、説得AI研究とその研究環境開発という実例を通じて報告し、それが今後の心理学研究、特にそのあり様と速度について持つ含意について、議論する。(本シンポジウムは、過年度に行われた公募シンポジウム「深層学習と心理学 1, 2, 3」の続編的な企画です。)

大会 HP の講演情報はこちら