Themes & Methods

人の思考・推論・意味理解について、論理学、分析哲学、言語科学、実験心理学、認知神経科学、人工知能などの学際的な認知科学の手法をもとに研究しています。とくに視覚表現において言語表現におけるような高度な思考が実現されるかという問題を基底に取り組んでいます。

P1. 言語・画像の意味理解プロセスを明らかにするために、人間と機械学習モデルのパフォーマンス比較をしています

具体例：

1. テキストと画像を対応させる画像キャプションのデータセット構築をしています。とくに画像と直接結びつきにくい言葉（否定、時間持続、美など）、写真だけでなくイラストや図形などにも着目して、キャプションのアノテーションデータ収集をしています。

2. 上記を訓練データとして用いて、画像分類タスクを解く深層学習モデル（CNN, ViTなど）を構築しています。

3. 上記のAIモデルと人間のタスクパフォーマンスの比較をしています。

4. クラス活性化マッピング（Grad-CAMなど）を使ったモデルの計算処理上の注目領域と視線計測で収集した人間の注目領域の類似性比較も行っています。

5. 上記のタスクに特化したfew-shot learning/in-context learning付きで大規模言語モデル（GPTs, LLaMAなど）のパフォーマンス評価をするAI心理学的分析も行っています。

P2. 推論・判断に表現様式が与える影響を明らかにするために、視覚表現の特徴分析や評価実験（認知行動、脳機能）などをしています

具体例：

1. 素朴な世界知識を先行研究（オントロジー、信念・行為・社会など）に従って整理する

2. 上記の自然言語の情報を論理・形式言語を使って翻訳する

3. 上記の論理・形式言語の情報を図形やグラフィクスなどを使って視覚的に表す

4. 推論課題における視覚表現の効果を正答率や反応時間で評価する

5. 推論課題における視覚表現の効果を脳機能計測や視線計測実験で評価する