機械学習・深層学習は、生命神経科学において脳の情報処理メカニズムを解明するための強力なツールとなっています。本研究室が参画するプロジェクトでは、マウスのカルシウムイメージングによって取得された神経活動データを深層学習により解析し、視覚野の構造と機能に関して研究しています。

本研究では、視覚刺激に対するマウスの神経応答を再現する「デジタルツイン」を構築し、その振る舞いを詳細に解析しています。特に、画像のデータ拡張が神経応答モデルの分布外汎化性能に与える影響を明らかにしました。さらに、このデジタルツインを逆に利用することで、特定の神経活動パターンを誘導する画像を生成するアルゴリズムの開発にも取り組んでいます。このように脳の応答を「予測する」だけでなく「設計する」手法の開発により、神経科学と深層学習の相互理解を深化させ、視覚野の計算原理の解明へ貢献することを目指しています。

AIモデルのブラックボックス性は長年にわたる未解決課題であり、とりわけ大規模言語モデル（LLM）の急速な普及に伴い、その解釈可能性の確立は喫緊の重要課題となっています。

近年、この問題に対処するため、モデル内部において重ね合わされた概念表現を分離するスパースオートエンコーダの研究や、特定の機能を担う部分回路（サーキット）を同定する研究が世界的に進展しています。

本研究室ではこうした潮流を踏まえ、意味的概念にとどまらず、深層学習モデルが獲得した「機能的概念」にも着目します。それらを担うニューロンやサブネットワークの同定を通じて、モデルのバイアスの理解と制御、さらには動作の精緻な修正を目指した研究を推進しています。 

深層学習技術の発展や実務応用が加速し、深層学習モデルの解釈可能性は以前にも増して重要視されています。一方で、これらの技術は信頼可能な利用を妨げるいくつかの問題点を抱えています。本研究室では、深層学習モデルの推論における視覚的説明やメカニズム的説明の問題解消に取り組んでいます。最近の研究では、ディープビジョンモデルの説明を悪化させる長年の問題を回避する方法を発見し、トップ国際会議であるCVPRにて論文が採択されました（プレスリリース）。

イベントベースビジョンカメラは、輝度の変化が生じた位置と時刻のみを非同期なイベントストリームとして記録するセンサーです。その高い時間解像度と低遅延性等により、従来のフレームベースカメラとは異なる新しいコンピュータビジョンの可能性を切り拓いています。

本研究室では、イベントデータに適した新しいアーキテクチャの訓練手法の開発や、モデルが獲得する表現の解析を通じて、イベントベースビジョンの原理的理解と性能向上を目指しています。

3D言語フィールドとは、3D空間とテキストを対応付けた表現で、言語クエリを与えた時に、対応する3次元領域の抽出（ローカリゼーション）を可能にします。近年、高解像度の3D空間再構成技術や、3D言語場技術の研究が進んでいますが、3D言語フィールドを都市規模化することや、ローカリゼーション以外のタスク（3D空間内の計数、測量、比較、編集、空間推論）への拡張には課題があります。本研究室では、これらの課題に対応した技術開発を進めており、トップ国際会議であるICCVに論文が採択されました（プレスリリース）。

三次元の再構成は、二次元では欠落していた深度の情報を提供することで、物体の詳細な形状解析や立体構造の把握を可能にします。本研究室では、断層画像、Point Cloud等の3Dデータに対して深層学習を適用し、飛跡検出や稀な事象の探索をおこなっています。また、医療データや生命神経科学のデータ解析でも三次元物体検出を活用して研究を進めています。