久しぶりの瀧担当回ということで、昨年紹介した話の続きとして『線形世界モデルについて』と題して、線形表現仮説にするこれまでの議論やSAEとの関係を広くレビューしました。線形表現仮説（LRH）はニューラル表現に関する興味深い観察・仮説ですが、その定義のゆるさのため様々な混乱を生んでいますので、状況の整理から議論をスタートしました。その上でhelix表現に代表されるLRHへの様々な「反例」を紹介し、それらが何の主張に対する反例であり、どの観点ではLRHと必ずしも矛盾しないのか、についての議論も紹介しました。今後LLMの発展に後押しされて、深層学習の解釈性に関しても思わぬ進展があることを期待しています。

7/29〜8/1の間、京都市で開催された画像の認識・理解シンポジウム（MIRU）に参加してきました。研究室からは４名がポスター発表をしました。コンピュータビジョンの国内最大の会議ですので、研究室内では普段聴くことの出来ないさまざまな応用的なトピックにも触れられました。京都に初めてきた院生もおり、みなさん会議も京都も堪能できたようです。

会場は国立京都国際会館でしたので、立派なホールで発表を聞くことができました。ただ、一歩外に出ると灼熱の夏の京都が襲いかかってきましたが、これもまた醍醐味でしょう。

瀧研究室では、水曜の昼に隔週で昼輪を開いています。短時間で機械学習論文のポイントを把握する練習、そして面白い論文を皆で読む機会を作るために開催しています。この日は現地参加メンバーが多い日でしたので、その後の第一食堂でのランチも盛り上がりました。

立教大学の第一食堂は100年以上の歴史を持つカレッジ・ゴシック様式の美しいレンガ建築です。現役で今も使用されるこの歴史的建造物は、「ハリポタみ」のある食堂としても有名です。

学生の皆さんが主体となり、新しい研究用サーバーの組み立てを行いました。PC組み立ての経験があるメンバーのサポートのもと、初めてのPC組み立てに挑戦したメンバーも試行錯誤しながらサーバーを組み上げました。瀧研究室では研究用サーバーを複数台運用しています。理論・実装を学ぶのはもちろんですがハードウェアへの理解も深層学習の研究を進める上で役に立つはずです。

助教の笠置がKEK東海キャンパスにて機械学習・深層学習の物理実験解析についてセミナーを行いました。検出器のヒットパターンを画像としてCNNに入力し事象を分類する解析や波形データをRNNに入力する解析など、多岐にわたる応用についてレビューしたのち、自身の研究である原子核乾板の画像解析に対する深層学習適用について最新状況を紹介しました。
2時間に渡って英語で講演をおこなったのでヘトヘトになりましたが、原子核の理論研究を行っている研究者の方々と議論もでき、大変有意義でした。

M2の梅澤優花さんが論文「Vision-Language Models Create Cross-Modal Task Representations」の紹介を担当しました。本論文は、VLMがどのようにタスク情報を内部処理するのか、また、どのように異なるモダリティを共通のタスクの意味的表現にマッピングするのかを明らかにしました。実験では、あるモダリティで抽出したタスクベクトルが、別のモダリティに再利用が可能かどうか、プロンプトよりも中間層で抽出したタスクベクトル、さらに指示を追加したタスクベクトルが有効であることなどを明らかにしています。今回の論文紹介資料はこちらから閲覧できます。

M2ストレートマスターが"講師"となってM1に向けて「就活相談会」を開催しました。
それぞれの独特の経験に基づいて「やってよかったこと」や「もっとこうすればよかったこと」を含めて共有し、これから就活・研究の両立を目指すM1の相談に乗ってくれました。
講師の三人が大学院に入学した頃を知っている笠置は授業・研究・就活を通してそれぞれが成長した姿に感動しました。

M2の倉沢真乃介さんが論文「Hypergraph Vision Transformers: Images are More than Nodes, More than Edges」の紹介を担当しました。本論文は、ViTに階層的な二部構成のハイパーグラフを組み込むことで画像の意味理解を向上を目指したHgVTを提案しました。仮想ノード及び仮想ハイパーエッジを導入し、意味的特徴と関係抽象化の階層構造を付与します。次に、コサイン類似度によるエッジ構築と、3つのAttention Blockでハイパーグラフの処理を近似することで効率的なグラフ処理を実現します。他にも、グラフ構造の構築を手助けする正則化やプーリングを導入することでグラフの表現の向上を図っています。実験では、ransformer 系と同等以上の精度をより少ないパラメータで実現しています。今回の論文紹介資料はこちらから閲覧できます。

D1の出口裕希さんがご自身の研究「深層学習と量子コンピュータを使用した分子デザインに関する研究」についての紹介を担当しました。本研究では、指定した複数の物性値から機械学習と量子アニーリングを用いて分子を逆デザインするアルゴリズムを提案しています。現在、論文の査読中ですので今後の成果発表にもぜひご注目ください！

D3の安木駿介さんが論文「Understanding Aha Moments: from External Observations to Internal Mechanisms」の紹介を担当しました。本論文は、DeepSeek-R1のような複雑な問題を推論できる大規模推論モデル(LRM)における「アハ体験」に関する論文です。LRMのアハ体験とは、モデルが突如として人間的な口調で問題を再考する能力を指します。論文では、アハ体験がモデルの推論能力にどのように影響するかを初めて体系的に研究し、出力への影響だけでなく、内部的な役割までもを明らかにしています。今回の論文紹介資料はこちらにて公開予定です。 

瀧研は、今年度より11名のM1学生を迎えることになりました。顔合わせは、瀧からのチュートリアルに続き、助教の笠置さんや博士学生からのメッセージ、最後に皆さんの自己紹介で終わりました。今年度もよろしくお願いいたします。

瀧研究室から、今年は修士10名、博士1名が修了しました。立派な研究をなされて卒業してゆくみなさんを、瀧と笠置の指導教員一同は誇らしく思いながら送り出すところです。

みなさん、この大学院で今までになかったような時間を過ごされたものかと思います。我々も全員のみるみる成長する姿を見守ってきましたが、この数年間の成長は、今では自分自身でもはっきりと感じられるものと思います。身につけた知識や能力を、ぜひこれからのキャリアで役立ててください。

ただこの大学院での経験の本領は、すぐ感じられる成長とはまた別の形で、きっと遅効性で発揮されるはずです！それが何なのかを説明するような無粋なことは今はやめておきましょう。みなさんの能力と努力が、今後大きく花開く時を楽しみにしています。

みんな、修了おめでとう！

1月9日、立浪祐貴さんの博士論文公聴会が開かれ、3月に博士号が授与されました。本研究科からの博士号第一号であり、また「博士（人工知能科学）」として、学位の専攻分野名に人工知能を冠した日本初の博士号となります。本当におめでとうございます。

立浪さんは論文がNeurIPSやAAAI等に採択されるなど、国際的なレベルで研究を展開され、1期生として後輩を勇気づけて道を示すような立派な活躍を見せてくださいました。また指導教員の瀧も、一緒に研究する楽しい時間をたくさん過ごすことができました。今後の更なる飛躍を楽しみにしています！

助教の笠置が韓国・釜山で行われた「Korea-Japan Mini-Workshop on Hypernuclear Physics and New Facilities」に参加しました。原子核乾板データに対する深層学習解析について、瀧研究室の谷山さんの成果も含め報告を行いました。
小規模なWorkshopでしたが旧知の研究者らと議論したことで新しい解析のアイデアをいくつか考案することができました。

会場が海沿いで風が強く、体感気温-14℃と冷え込みましたが港町の素敵な景色も楽しめました。

修論発表会も終わり研究室も落ち着いてきましたので、瀧がDeepSeekの解説を行いました。

月曜日に週末のDeepSeekレビュー開催を約束したところ、その日のうちに株式市場も大変なことになり、今回のジャーナルクラブは予想以上の盛り上げを見せました。とはいえ情報は限られているので、テックブログやこれまでの技術レポートをもとに、瀧の把握している範囲でHigh Flyer時代の準備からDeepSeek LLM、そしてR1モデルに至るまでの流れと技術的詳細を紹介しました。
PPOとGRPOのレビューは時間の関係上、強化学習をわかっている人向け解説になってしまいましたが…

2時間にわたり色々議論ができ、より正確な事態の理解のヒントになったのではないかと自負しています。

新年最初の顔合わせということで、瀧が今年のAI研究の動向を占うトークを企画しました。

実際には、ちょっと遅くなってしまいましたがNeurIPS 2024採択論文全体から特定の切り口で10本ほどの論文を選んで、いま静かに盛り上がりつつあるトピックについて議論しました。その成果は今後乞うご期待（!?）それでは今年も皆様と深層学習にとって実り豊かな一年になることを祈っております。

人工知能科学研究科と理学部の共催で公開講演会「AIが拓く新たな科学の世界」が開催されました。冒頭、理学部の古澤先生にopening remarksと導入のお話をしていただきました。科学コミュニケーションのプロだけあって、とても素晴らしいお話でした！瀧からは「物理が生んだAI、AIが生む新たな科学」と題したお話を提供し、今年のノーベル物理学賞で改めてスポットライトの当たったディープラーニングに至るまでの歴史の紆余曲折について紹介しました。教科書ではあまり取り上げられないAIの隠れた発展史を振り返ることで、今後のAI・科学の将来（の不透明性）について考えるための一つの視座が提供できていたならば本望です。最後に内山委員長からは、本研究科のこの５年の歩みについて紹介がありました。設立からあっという間に過ぎた５年間でしたが、今後の更なる研究科の発展に向けて教員一同益々気合が入っているところです！

当日は100人を優に超える方々に参加していただけてよかったです。参加者の皆様、準備に奔走していただいた皆様、ありがとうございました。

M2の谷山諒樹さんが論文「SeedFormer: Patch Seeds based Point Cloud Completion with Upsample Transformer」を担当しました。本論文では、3D点群の補完タスクにおいて、生成プロセスがglobal特徴に依存することで詳細情報が失われる問題に対し、Patch Seedsという新しい形状表現を提案しました。この表現は、局所的な特徴を保持しながら、全体の構造を忠実に再現することを可能にします。さらに、点群のアップサンプリングに特化した「Upsample Transformer」を導入し、基準点と近傍点の関係をモデル化することで、より滑らかで詳細な補完を実現しました。実験では、ShapeNetやKITTIなどのベンチマークデータセットにおいて、従来手法を上回る精度を達成し、特に細部の復元能力において顕著な性能向上を報告しています。今回の論文紹介資料はこちらから閲覧できます。

今回は瀧がピンチヒッターで「スカイダイブするLLMはどう落ちてゆく？」というタイトルでDeepMindのXiaoさんのプレプリント"Rethinking Conventional  Wisdom in Machine Learning"を紹介しました。これまでの"ImageNetスケール"の深層学習で培われたノウハウは、実は"Internetスケール"のLLMでは通用しないかもしれない、という考察です。汎化ギャップの削減が主なターゲットであるImageNetスケールに対し、Internetスケールの深層学習はunderfit領域（skydive領域）にあり、近似誤差の削減が主な目標となります。そのためさまざまな明示的・暗黙な正則化は性能向上の指針にはならず、スケーリング・クロスオーバーという現象のために小規模スケールでの探索も大規模モデルの設計指針にはならない、と指摘されています。この論文は次の疑問で締められています：「大きなスケールでのモデル比較を可能にするスケーリングの指針は何であるか？」

この10年で前人未到のスケール領域に突入した機械学習は、今後10年でまた質の異なるスケールを突き進んでゆくのでしょうか？それとも現在のアプローチによる進歩は近々飽和を迎えるのでしょうか？今後もAIの進歩から目が離せません。

M2の中村圭佑さんが「Cross-Modal Safety Mechanism Transfer in Large Vision-Language Models」の紹介を担当しました。本論文ではLVLMs(Large Vision-Language Models)がLLMs(Large Language Models)の有害な出力を制限するためのSafety Mechanismを、視覚情報に関して十分に適用できていないことを指摘しています。その原因はTransformerのLayerレベルで、言語情報と視覚情報のアライメントが取れていないことにあります。
論文では、層レベルでアライメントを改善する手法を提案しており、LVLMsがLLMsのSafety  Mechanismを視覚情報にも効果的に転移できるようになることが報告されています。今回の論文紹介資料はこちらから閲覧できます。

瀧です。一週間ほどハイデルベルグ大学に滞在しました。日本とハイデルベルグ周辺でAI×物理をやっている研究者の交流ワークショップでした。私はTransformerやModern Hopfield Netに関するlecture、大学院生さんと行なっている面白い研究のpreliminaryな結果の紹介をしました。全体ではflow-based、diffusionに関する最近の話題が多く、勉強になりました。第二次大戦で幸い大きな被害を受けなかったというハイデルベルグの街には、キルヒホッフやマックスヴェーバーの過ごした時代の面影も強く残っています。

日本を発つ前の週にはノーベル賞のめでたいニュースもあり、私の出身分野について考える時間が多い二週間でもありました。科学も社会も、今後さらにAIで変わっていきます。これからの時代の人には、分野の壁なんてものを気にせず大きく活躍する人材になってほしいものですね。いろんな分野や国に散らばっていても、同じ大きな目標に向かって皆でフロンティアを進んでいく研究者っていう仕事はいつの時代もいいものですよ！

M2の細田さんが論文「Towards Modular LLMs by Building and Reusing a Library of LoRAs」の紹介を担当しました。
本論文では、LoRAを再利用することで新たなタスクに対する性能向上を目指し、新たなLibrary 構築手法とRouting 手法が提案されています。これにより、LoRAが再利用可能なモジュールであることが強調され、提案手法のロバスト性や、大規模 LibraryにおけるRoutingの重要性が示されました。今回の論文紹介資料はこちらから閲覧できます。

(画像はゼミ合宿のエビ)

D2の倉島さんが論文「RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback」の紹介を担当しました。この論文ではLLMの訓練において人間が行なっていた強化学習フィードバックの工程を別の深層学習モデルに代替させる方法を提案し、その性能について議論しています。

今回の論文紹介資料はこちらから閲覧できます。

また、倉島さんの著書はこちらでご覧いただけます。

二回にわたり瀧が「深層学習のためのGPU入門」を開催しました。前回はグラフィックチップの歴史、NVIDIAの製品やアーキテクチャ、CUDAに関する話をしました。第二回の今回は、プロセッサの構造とメモリ階層、ヘテロジニアスコンピューティング、理論性能の計算方法などを紹介しました。その後、研究室にあるリソース紹介と今後の拡充計画について議論しました。写真はGPUゼミということで、コスプレ（出オチ）です。

M2の宮坂優樹さんが論文「DecomCAM: Advancing Beyond Saliency Maps through Decomposition and Integration」の紹介を担当しました。本論文は、特に事前トレーニングされたVLMの解釈を改善するための新しい手法を提案しています。特異値分解を用いて、クラス識別アクティベーションマップをよりシンプルで独立したサリエンシーマップに分割し、ターゲットコンセプトへの貢献度に基づいて統合することで、より正確で解釈可能なサリエンシーマップを生成できたことを報告しています。今回の論文紹介資料はこちらから閲覧できます。

M2の山本拓也さんが論文「Time-Series Classification for Dynamic Strategies in Multi-Step Forecasting」の紹介を担当しました。本論文は、時系列データ分析に於いての根幹である複数先の時点での予測（Multi-step forecasting：MSF）の手法を提案しています。従来はRecursive StrategyやDirect Strategyなど未知のデータに対して、手法を固定して行ってきましたが、本論文では、未知のデータに対して、動的にinstance-levelでのMSFの最適な手法を選択するDynamic Strategiesを提唱しています。今回の論文紹介資料はこちらから閲覧できます。

瀧担当回では「大きな話（Big Talk!?）」をしようということで、深層学習・言語モデルにおける記号接地の問題に関して議論しました。LLMsのような大規模深層学習モデルで実現された高い性能が、相関関係の大規模な集積やshortcut learningによる表面的な結果なのか、はたまた意味世界の一貫性のある表現を獲得したことによる記号接地の結果なのか（あるいはその両方なのか）は、多くの研究者が興味を持つ未解決問題です。特に後半ではLANGUAGE MODELS REPRESENT SPACE AND TIME（ICLR 2024）を紹介し、複数の時空間スケールにおいてLlama2がエンティティの表現の一部として、空間と時間に関する線形表現を獲得している可能性を議論しました。

(写真は当日の撮り忘れた分の代替として研究室合宿よりBig pictureを望む瀧先生)

M2の谷山諒樹さんが論文「Denoising Point Clouds in Latent Space via Graph Convolution and Invertible Neural Network」の紹介を担当しました。本論文は、INNとGNNを組み合わせ潜在空間上でデータを処理する3D Point Clouds Dataの新たなデノイズ手法を提案しています。PU-Netにより作成したノイズ付きデータに対しCD,P2MでSOTAを達成し、training lossにEMD(Earth Mover's Distance)を採用することでデノイズ後のデータの均一性も確保しています。今回の論文紹介資料はこちらから閲覧できます。

M2の増村さんが論文「You Only Need Less Attention at Each Stage in Vision Transformers」の紹介を担当しました。本論文は、ViT(Vision Transformer)ベースのマルチタスク用バックボーンモデルの課題点である、計算コストの高さに焦点を当てています。同論文ではLess Attentionと呼ばれる、前層のAttention-mapを継承する構造を提案しており、これによって大幅なコスト削減とスコアの維持を実現したことを報告しています。今回の論文紹介資料はこちらから閲覧できます。

M2の出口裕希さんが論文「Synthetic Data Generation for Scarce Road Scene Detection Scenarios」の紹介を担当しました。本論文では自律走行での緊急車両の検出精度を高めるため、拡散モデルによるData Augmentationを提案しています。自律走行にかかわらず、データセットに稀であるが重要度の高い事象の検出は極めて重要なタスクです。一方、近年は質の高いデータが枯渇してきていると言われており、AI生成画像によるモデル性能を向上させる技術に関心が寄せられています。今回の論文紹介はこちらから閲覧できます。

瀧と安木が出張を終え、CVPRの参加報告を行いました。シアトルはスターバックスコーヒーの始まりの地でもあり、瀧からは現地のコーヒーも振る舞われました。現地の様子や、印象に残った論文についての紹介があり、トップカンファレンスをはじめとする深層学習研究の勢いを再認識する時間となりました。

華金の夜ですが...瀧研のM1は計算機ゼミ！
隔週で行っているこのゼミでは、Deep Learningを扱うための基礎要素であるLinux・サーバー・Dockerについて瀧先生から講義形式で学びます。
序盤はLinuxの歴史や基本的なコマンド、最終的には研究室のGPUサーバーを使ったハンズオンのチュートリアルまで進みます。今回はサーバー接続の基礎と練習のための仮想マシンの紹介まで進みました。Apple Siliconユーザーが増えたので今年度からはUTMの仮想環境を使う予定です。

シアトル最終日、空港に向かう列車の一部区間が丸々運休していることが判明。慌てふためきましたが、バスを駆使して事なきを得ました。途中、Amazon本社にも立ち寄ることができ、結果的には良いルートが選べたかもしれません。本社スフィアズの傍らで作業する瀧先生は様になっていました！AI活用の目立つ事例でもあるAmazon goに直接足を運べたことも有意義に思えます。その他ボーイング創業の地ならではのシアトル航空博物館に立ち寄るなど、様々なテクノロジーに心揺さぶられつつ、CVPR出張は閉幕しました。

早起きして、ワシントン大学で朝食を済ませることにしました。図書館内にあるスターバックスは有名で、世界屈指の大学の風格が反映されたリッチな空間でした。最終日、疲労感を漂わせながらも会場は最後まで活気づいていました。参加前から最も気になっていた研究論文（From SAM to CAMs）の著者とも話せたことは、大変刺激的な時間でありとても印象に残っています。閉会後も、街の至る所でCVPRの参加証やシャツを着た参加者たちと遭遇し、冷めやらぬ熱気を感じました。先生に起きた不運はまた別の機会に(笑)

自分たちの発表は前日に終えたので、面白そうな発表やポスターを気楽に回ることができました。楽しみにしていた研究発表を聞きに行ったところ、著者さんが昨日の我々の発表を聞きに来ていた方だったようで、こちらのことを覚えていてくださり、うれしくも気の抜けない気持ちになりました(笑)この時期のシアトルは、夜10時ごろまで明るいようで観光もしやすいです。念願のスタバ1号店や、世界に6店舗しかないスタバロースタリー、ランドマークタワーにも足を運ぶことができました。

今日はCVPRのメインカンファレンス初日でした。午前のポスターセッションで発表。会場入り口の真正面の一等地だったので、安木さんは休む間もなくしゃべりっぱなしでした！安木さんからの感想：「会議のスケールと参加者の熱量に圧倒され、絶えずカルチャーショックを味わう一日でした。フレンドリーな方々が多く、研究分野の近い遠い問わず建設的な議論を交わせたことがとても印象深かったです！残りの日程が楽しみでなりません！ワシントン大学の友人と落ち合い、一緒にディナーも堪能しました^^」

M2の野々山裕樹さんが論文「3SHNet: Boosting Image-Sentence Retrieval via Visual Semantic-Spatial Self-Highlighting」の紹介を担当しました。本論文では、Vision and Languageの応用であるImage-Text-Retrievalのタスクにセグメンテーションを導入し、テキスト情報への依存を軽減させることで、性能や推論時の効率を向上させました。また、学習時とテストで異なるデータセットを使用することで、クロスドメインにおける精度の高さについても報告されています。今回の論文紹介資料はこちらから閲覧できます。

瀧と笠置が参加するCREST「バイオDX」の第3回領域会議が秋葉原UDXで開催されました。各グループのリーダーによる報告に加えて、数理セッションとして各グループの深層学習・機械学習担当チームがポスター発表を行いました。瀧・笠置は線虫神経細胞の3次元画像解析に対する適用例としてKalman Filterを用いた細胞追跡やMambaを活用した3D segmentationについて報告しました。

M2の田中景大さんが論文「Its Not a Modality Gap: Characterizing and Addressing the Contrastive Gap」の紹介を担当しました。本論文は、マルチモーダルモデルとして有名なCLIPに生じるモダリティギャップの理解に誤りがある可能性があり、実験によりコントラストギャップが存在することが示しているものです。また、新しい損失関数の追加により、このギャップを縮小し、下流タスクの性能が向上したことを報告しています。今回の論文紹介資料はこちらから閲覧できます。

M2の中村圭佑さんが論文「Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning」の紹介を担当しました。本論文は、Vision and Languageモデルの計算量を抑えるために、Visual tokenをFFN層に加える新しいPEFT(parameter-efficient fine-tuning)手法の論文です。この方法により、訓練と推論の効率が向上し、訓練時間と推論時間を大幅に削減できます。また、従来のPEFT手法や事前学習されたVLモデル（LLaVA）よりも優れた性能を示しました。今回の論文紹介資料はこちらから閲覧できます。

研究室合宿のため、1泊2日で軽井沢に行ってきました！ハイキング、BBQ、温泉、立派なホテルを満喫し、各々研究からプライベートな話まで、濃い時間を過ごすとても良い機会となりました。きっかけが無いとあまり知ることの無いそれぞれの研究の進め方の話は、互いに勉強になることが多いようで、研究に活かせそうな収穫や、コンペへの挑戦に繋がる気配もありました！

M2の藤井真智子さんが論文「FastVPINNs: Tensor-Driven Acceleration of VPINNs for Complex Geometries」の紹介を担当しました。本論文は、PINNs(Physics Informed Neural Networks：物理情報付きニューラルネットワーク)を拡張したVPINNs(Variational PINNs)の高速化を検討した研究論文です。論文中には、変分法やガラーキン法など、他分野で用いられる手法や数式が多く登場するため、新M2中間研究発表の最優秀者である藤井さんでも苦戦している様子でした。PINNsはコンピュータビジョンやLLMとは毛色の異なる研究分野ですが、基礎から応用まで幅広く継続して研究されている分野であり、今後も動向を注視していく予定です。今回の論文紹介資料はこちらから閲覧できます。

M2の学生がM1の学生に向けて「就活お悩み共有会」を開催しました。

就職活動の早期化に伴い、研究と就職活動の両立が求められています。そこで、実際に就職活動を体験したM2の学生が、自身の体験をもとにデータサイエンス職ならではの就職活動の進め方や業界特有のポイントについて説明し、M1の学生たちの就職活動に役立つ情報を共有しました。

イタリア・トレントのECT*研究所で行われた国際ワークショップ(SPICE: Strange hadrons as a Precision tool for strongly InteraCting systEms)で助教の笠置が招待講演を行いました。発表資料はこちらのリンクからご覧いただけます。

トレントはミラノから電車で3時間ほどかかり、電車も遅れるので移動が大変でしたが長閑で良いところでした。

M2の細田大翔さんが論文「Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM 」の紹介を担当しました。本論文は、LLMの効率的な学習方法として従来のBTMとMoEを組み合わせることで、複数GPUによる高いスループットを実現した研究論文です。初めての論文紹介で、本人曰く「今後、論文発表はオリンピックと同じくらいの周期で来てほしい」とのこと。細田さんの次回発表は3ヶ月後の予定です。

今回の論文紹介資料はこちらから閲覧できます。

最近は、瀧が担当する授業の前に、研究室ティータイムを開催しています。瀧のエプロン姿からもわかるように、授業よりも気合が入っていると一部で噂されています。

瀧研究室では、週に一度、M1学生主体の勉強会（深層学習100本ノック）を開催しています。瀧やM2以上の学生も参加し、議論を交わしています。この日は倉沢さんの発表回でした。

D2の安木駿介さんが論文「PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution 」の紹介を担当しました。本論文は、先日安木さんと瀧の共著論文も採択されたCVPR2024の採択論文の一つです。コンピュータビジョン分野では、ViTの高い性能に触発され今もなおCNNの研究が盛んですが、そうした研究の中ではじめてカーネルサイズ100を超えるモデルとして登場したCNNに関する研究論文になります。今回の論文紹介資料はこちらから閲覧できます。 

研究科の懇親会がありました。新M2の中間研究発表の表彰式も行われ、藤井真智子さんが最優秀賞に、優秀賞(4名表彰)には出口裕希さんと中村圭佑さん、田中さんが選ばれ、本研究室から4名が表彰されました。

深層学習研究の最前線では、状態空間モデル（特にMamba）の波が来ています！ここ数カ月、瀧研では臨時の状態空間モデルゼミを開催し、最新研究のキャッチアップに励んでいます。

瀧研は、来年度より11名の1年生と新たに1名の2年生を迎えることになりました。少し早めですが、本日実施した顔合わせ会の様子です。