Themes & Methods

研究テーマ

視覚表現は、言語のように高度な抽象的思考を支えられるのか？

私たちは、画像・図・マンガなどの視覚表現が、単なる見た目の情報を超えて、
「否定（negation）」「心的態度（mental attitude：信念や意図など）」「美しさ（picturesque）」などの
抽象的な意味や性質、さらに「不確定性（indeterminacy）」「矛盾（contradiction）」「可能性（possibility）」といった
論理的・構造的な概念をどこまで表現できるのかを研究しています。

言語は抽象的な概念や論理的関係を表現する強力な手段ですが、
視覚表現にも同様の力があるのでしょうか？

本研究室では、人の思考・推論・意味理解について、
分野にとらわれず、解くべき問題に応じて方法を選択しながら研究を進めています。

その際には、論理学、分析哲学、言語科学、実験心理学、認知神経科学、人工知能など、

学際的な認知科学の手法を組み合わせて用います。

これは、認知科学において異なるレベルから対象を捉えるという標準的な枠組みにもとづくものです。

また、哲学や人文学に見られる自由で素朴なアイデアを出発点としつつ、

それを論理・実験・計算といった方法によって検証可能で共有可能なかたちへと発展させることを重視しています。

この問いに対して、私たちは以下の2つのアプローチから取り組んでいます。

A. データ駆動アプローチ：人間とAIの比較から理解する

このアプローチでは、人間とAIの振る舞いを比較することで、
視覚表現における意味理解の仕組みを明らかにします。

その際、アブレーション的に入力情報をあえて制限したAIモデルを用いることで、どのような要因が理解に必要かを切り分けて分析します。

主な研究内容

• 画像と抽象的意味の対応づけ
  画像に対して、物体名だけでなく「否定」「心的態度」「美しさ」などの
  抽象的な意味を付与したデータセットを構築します。
  これにより、視覚表現がどこまで抽象概念と結びつくかを検証します。

• 深層学習モデルの構築と評価
  CNN（畳み込みニューラルネットワーク）やViT（Vision Transformer）などを用いて、
  画像から意味を予測するモデルを構築します。

• 人間とAIのパフォーマンス比較
  同じタスクを人間とAIに行わせ、正解率や誤りの傾向を比較します。

• 注意領域の比較（Explainability）
  Grad-CAMなどの手法によりAIが注目している画像領域を可視化し、
  視線計測装置で得られた人間の注視点と比較します。

• 大規模言語モデルとの統合
  GPTなどのモデルにfew-shot / in-context learningを用いてタスクを与え、
  視覚情報と抽象意味の対応づけ能力を分析します。

👉 これにより、「AIは本当に意味を理解しているのか？」
そして「人間の理解のどこが特別なのか？」を明らかにします。

B. 要求駆動アプローチ：分かりやすい視覚表現を設計する

こちらでは、**「どのような視覚表現なら抽象的な意味や関係をうまく伝えられるか」**を、
理論と実験の両面から探究します。

主な研究内容

• 論理・図形による関係の定式化
  記号論理や図的推論（diagrammatic reasoning）を用いて、
  「不確定性」や「矛盾」「可能性」などを含む関係や推論構造を形式的に表現します。

• 統計モデル・因果モデルによる関係分析
  回帰分析や因果推論を用いて、複数の要因が理解や判断に与える影響を分析します。

• 心理実験による評価
  図のデザイン（レイアウト・色・構造など）を変えたときに、
  理解の正確さや速度がどう変わるかを測定します。

• 脳機能計測（fMRI）・認知指標の測定
  他大学の研究機関との共同研究として、fMRI（機能的磁気共鳴画像法）による脳活動計測を行い、
  視覚表現の理解時にどのような脳活動が生じるかを調べます。
  あわせて、視線計測などを用いて注意や認知過程を多面的に評価します。

👉 これにより、「分かりやすい図とは何か」「抽象的な関係をどう可視化すべきか」を、
科学的に明らかにします。

■ 研究テーマの広がりについて

本研究室では共通の問題意識のもとで研究を行いますが、その具体的な展開は一様ではありません。
視覚表現・意味理解・推論に関わる問題であれば、各自の関心に応じて多様な方向へ発展させることが可能です。

■ この研究の特徴

本研究室の特徴は、次の2点にあります。

1. 人間とAIの両方を対象にする

認知科学（人間理解）とAI（モデル）を統合的に扱います。

2. 理論とデータの両方からアプローチする

実験・機械学習（データ駆動）と、論理・設計（要求駆動）を組み合わせて研究を行います。

■ キーワード

認知科学 / Cognitive Science

人工知能 / Artificial Intelligence

人間–AI比較 / Human–AI Comparison

説明可能AI / Explainable AI

視覚表現 / Visual Representation

図的推論 / Diagrammatic Reasoning