開催趣旨

神経系および機械学習・人工知能モデルといった学習システムにおける情報表現の類似性および統一性は，知識表現構造の形成とその顕在化に深く関与していると考えられる．本研究会では，異なる学習システム間，あるいはシステム内のモジュール間で表現がどのように統一されうるのか，また知識情報の適切な表現構造とは何かという根本的な問いに焦点を当てる．

計算論的神経科学において，デビッド・マーは「計算レベル」・「表現・アルゴリズムレベル」・「実装レベル」の三層モデルを提唱し，知覚や認知の情報処理を多階層的に理解する重要性を示した．現在の神経科学においても，Representation Similarity Analysis（RSA; Kriegeskorte, Front. Syst. Neurosci., 2008）が頻用され，神経活動表現の統一性に関する議論は未だ発展途上にある．一方，機械学習・人工知能の分野では，ICLR（International Conference on Learning Representations）に代表されるように，表現学習は依然として主要な研究課題である．近年でも表現の超球面への埋め込みや，表現間のアライメントについての議論が活発に行われている．また，Platonic Representation Hypothesis（Huh et al., ICML, 2024）は，大規模かつ汎用的な学習モデルが，単なる分離性を超え，より普遍的な情報構造へと収束する可能性を示唆している．これは，表現が超球面や多様体といった何らかの幾何学的な制約を受ける可能性を示唆する．さらに，神経科学と機械学習・人工知能の融合領域では，両者の表現を対照する研究が増加している．共通の情報表現を探ることで，神経系の情報処理メカニズムや，その基盤となる知識表現構造の解明にも寄与する可能性がある．

 本研究会では，さらに一歩踏み込み，
・学習システム間でなぜ情報表現が共通するのか？
・学習システムがモジュール間の情報をどのように統一的な表現へと収束させるのか？
・その統一表現は，どのように，そしてなぜ知識表現に適しているのか？
という問いを中心に議論を進める．

 その基礎として，非線形独立成分分析（Hyvärinen et al., NIPS, 2016; Hyvärinen et al., AISTATS, 2019）は，統一的な表現構造を探るうえで有力な理論的基盤と考えられる．本研究会では，これらの議論を深めるため，上述論文の共著者でもある佐々木博昭氏の講演を企画した．また、高木優氏には、神経活動データに対して大規模言語モデルを応用した最新の分析手法をご紹介いただき、神経科学と機械学習における表現や潜在構造の接点について理解を深める機会としたい．

以上のように本研究会では，神経系と学習モデルに共通する表現構造の特性と，その知識の顕在化への関わりを探る．機械学習・人工知能，計算論的神経科学，自然言語処理，幾何学など，多様な視点から知識表現構造の本質を探る議論の場を提供し，関連分野の研究促進を図る． 

プログラム

9月3日

13:15 開場予定

13:30 - 14:00 開催趣旨説明
久保　孝富（奈良先端科学技術大学院大学）

14:00 - 15:00 表現学習に関わる理論 (1)
タイトル：同定可能な表現学習の理論と方法
講演者：佐々木　博昭（明治学院大学）
概要：表現学習における同定可能性は，解釈性や再現性，実用性に直結する重要な課題である．近年，同定可能な表現学習の枠組みとして，非線形独立成分分析（非線形ICA）が注目されており，その目的は複雑なデータの背後にある潜在成分・構造を同定することである．本講演では，非線形ICAを含む同定可能な表現学習の理論的背景とその実践手法を紹介する．

15:00 - 15:10 休憩

15:10 - 16:10 神経科学における表現学習
タイトル：神経科学の観点からの表現学習
講演者：高木　優（名古屋工業大学）
概要：脳活動と機械学習モデルの対応関係を探ることは、脳がどのように世界を表現しているかを理解するだけでなく、機械学習モデルと脳の認知がどのように関連しているかを解釈することもできるユニークなアプローチである。本講義では、近年我々が提案した、LLMとヒト脳活動を結びつけた研究と、その発展について紹介する。

16:10 - 16:40 総合討論

9月4日

9:20 - 10:00 表現学習に関わる理論 (2)
タイトル：滑らかな境界の推定問題における表現学習の予測精度に関する理論解析
講演者：和井田　博貴（東京科学大学 ）
概要：表現学習は複雑かつ高次元なデータを扱う学習問題への適用可能性の面で近年大きな注目を集めている．特に，入力データ間の関係に着目するペアワイズ学習の文脈において，表現学習を用いる方法が幅広く研究されている．一方で，表現学習後の特徴抽出器の予測精度は多くの設定下において未解明である．表現学習の精度が適用先の下流タスクでの精度に影響を与える可能性があり，この課題の解決は重要である．本発表ではその取り組みの一例として，滑らかな境界を持つ集合列による入力データ空間の分割に関する表現学習問題に着目し，統計学の観点から数学的方法の構築と理論解析を行った結果を報告する．本設定における推定問題は識別不可能であることから，従来の教師あり学習の理論を直接適用できないという課題が存在する．そこで，ある関数クラスの局所化法を導入し，局所的な経験リスク最小化アルゴリズムによる予測の精度評価が可能であることを示す．さらに，表現学習に関する結果をノンパラメトリック多値分類問題に適用することで，誤差の理論的評価が可能であることを示す．最後に，今回の解析をマルチモーダル表現学習問題に応用するための指針やその課題点について議論する．本発表の内容は，東京科学大学の金森敬文教授との共同研究（Waida and Kanamori, arXiv:2501.07571, 2025）に基づく． 

10:00 - 10:40 自然言語における表現学習
タイトル：大規模言語モデル時代における知識グラフ埋め込みの利用と進展
講演者：上垣外　英剛（奈良先端科学技術大学院大学）
概要： 知識グラフは特定のドメインに特化した知識をエンティティ間の関係を記述する枝として表現可能なグラフであり、対話や質問応答などの外部知識の利用が必要なタスクを解決する上で重要な資源として考えられている。その一方、人手で知識グラフを拡張するには多大なコストが必要とされ、その自動拡張が望まれている。この目的のため、知識グラフ埋め込みの分野では、グラフを連続量ベクトルの表現として埋め込むことで欠損している枝を予測して補完する研究が進められてきた。本発表では知識グラフの埋め込みの観点から知識グラフの補完について説明し、また知識グラフ埋め込みの現在の利用状況について、特に事前学習済み言語モデルや大規模言語モデルといった近年の自然言語処理分野の進展を象徴する事柄と対応させながら逐一紹介する。

10:40 - 11:00 休憩

11:00 - 11:40 数学知識における表現学習
タイトル：数式表現学習の現在地と工学への道筋
講演者：加藤　祥太（京都大学）
概要：本講演は、数式を数値ベクトルとして表す数式表現学習を、(1)周囲テキストに基づく文脈情報、(2)等式変形で不変な代数的同値性、(3)入出力の振る舞いを表す関数的性質の観点から統一的に整理する。最後に、工学的なモデル理解・構築に必要な要素と、それに適した表現設計について述べる。

11:40 - 12:10 総合討論

12:10 - 12:30 総括
久保　孝富（奈良先端科学技術大学院大学）

参加申し込み

申し込み用Google フォーム

総合討論など質疑では現地参加者からの質問を優先させていただきます。
議論への参加を希望される場合現地でのご参加をご検討いただけると幸いです。

主催

日本神経回路学会

共催

JST CREST 生体マルチセンシングシステムの究明と活用技術の創出
「社会的シグナルを介したイヌのスーパーセンシングの解明」（代表：大野和則）

運営者

久保　孝富（奈良先端科学技術大学院大学）
問い合わせ先：takatomi-k(at)is.naist.jp

アクセス

アクセスマップ
キャンパスマップ