小林 悟郎
Goro Kobayashi

所属・身分 / Affiliation and Position

株式会社Preferred Networks エンジニア / Engineer for Preferred Networks, Inc.

• LLM開発 事後学習チーム / LLM Dev posttrain team

• Apr.2025 - 

東北大学 言語AI研究センター 客員研究員/ Visiting Researcher for Center for Language AI Research, Tohoku University.

• LLMのアテンションシンクと外れ値についての研究 / Research on Attention Sinks and Outliers

• Jul.2025 - 

興味 / Interests

• 自然言語処理 / Natural Language Processing

  • 日本語大規模言語モデルの開発・応用 / Development and Application of Japanese Large Language Models

  • 機械学習モデルの分析 / Analysis of ML Models

    • 基盤モデルの機械論的解釈 / Mechanistic Interpretability of Foundation Models

  • 言語の埋め込み表現 / Word Embedding, Sentence Embedding, and Document Embedding

趣味 / Hobby

運動・エクササイズ / Excercise

• 筋トレ / Work Out

• ボクシング (フィットネス) / Boxing Fitness

観戦 / Watching

• 野球 / Baseball

• eスポーツ / Esports (VALORANT, Apex Legends, etc.)

• ハンドボール / Handball

プレイ / Playing

• ハンドボール / Handball

• eスポーツ / Esports (VALORANT, Apex Legends, etc.)

研究発表 / Publications

Refereed (査読あり)

• Mengyu Ye, Tatsuki Kuribayashi, Goro Kobayashi, and Jun Suzuki. Can Input Attributions Explain Inductive Reasoning in In-Context Learning? In Findings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), August 2025. (acceptance rate=??%) [paper]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps. (Spotlight Presentation), Proceedings for the 12th International Conference on Learning Representations (ICLR 2024), May 2024. (acceptance rate=31%, spotlights rate=6.2%) [paper]

• Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Goro Kobayashi and Hiroaki Funayama. Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism. Proceedings for the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), December 2023. [paper]

• Hiroto Kurita, Goro Kobayashi, Sho Yokoi and Kentaro Inui. Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words. In Findings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), December 2023. [paper]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Transformer Language Models Handle Word Frequency in Prediction Head. In Findings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023 Findings), July 2023. (acceptance rate=39.1%) [paper] [slide] [poster]

• Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Hiroaki Funayama and Goro Kobayashi. Assessing Chain-of-Thought Reasoning against Lexical Negation: A Case Study on Syllogism. Non-archival submission for the ACL Student Research Workshop (ACL-SRW 2023), July 2023. (acceptance rate=34.5%)

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Incorporating Residual and Normalize Layers into Analysis of Masked Language Models. (Long paper), Proceedings for the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), November 2021. (acceptance rate=23.3%) [paper] [slide] [poster] [video]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. (Long paper), Proceedings for the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), November 2020. (acceptance rate=24.6%) [paper] [slide] [video]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Self-Attention is Not Only a Weight: Analyzing BERT with Vector Norms. Non-archival submission for the 2020 ACL Student Research Workshop (2020 ACL SRW), July 2020. (acceptance rate=35.6%)

Non-refereed (査読なし)

• Preferred Networks: Kaizaburo Chubachi, Yasuhiro Fujita, Shinichi Hemmi, Yuta Hirokawa, Toshiki Kataoka, Goro Kobayashi, Kenichi Maehashi, Calvin Metzger, Hiroaki Mikami, Shogo Murai, Daisuke Nishino, Kento Nozawa, Shintarou Okada, Daisuke Okanohara, Shunta Saito, Shotaro Sano, Shuji Suzuki, Daisuke Tanaka, Avinash Ummadisingu, Hanqin Wang, Sixue Wang, Tianqi Xu. PLaMo 2 Technical Report. arXiv preprint, September 2025. [paper]

• 葉夢宇, 栗林樹生, 小林悟郎, 鈴木潤. 文脈内学習における文脈内事例の寄与度推定. 言語処理学会第 30回年次大会 (NLP2024), March 2024. [paper]

• Hiroto Kurita, Goro Kobayashi, Sho Yokoi and Kentaro Inui. Contrastive Learning‑based Sentence Encoders Implicitly Weight Informative Words. The Machine Learning Summer School in Okinawa 2024 (MLSS 2024), March 2024.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformer言語モデルの予測ヘッド内バイアスによる頻度補正効果. 言語処理学会第29回年次大会, pp.645-650, March 2023. [paper]

• 栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け. 言語処理学会第29回年次大会, pp.639-644, March 2023. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの混ぜ合わせ作用. 第17回NLP若手の会 シンポジウム (YANS), August 2022.

• 栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. 第17回NLP若手の会 シンポジウム (YANS), August 2022.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの作用. 言語処理学会第28回年次大会, pp.1072-1077, March 2022. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎. 非線形モジュールの加法分解に基づくTransformerレイヤーの解析. 第16回NLP若手の会 シンポジウム (YANS), August 2021.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerの文脈を混ぜる作用と混ぜない作用. 言語処理学会第27回年次大会, pp.1224-1229, March 2021. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎. ベクトル長に基づく注意機構と残差結合の包括的な分析. 第15回NLP若手の会 シンポジウム (YANS), September 2020.

• 小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. ベクトル⻑に基づく自己注意機構の解析. 言語処理学会第26回年次大会, pp.965-968, March 2020. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. 文脈を考慮する言語モデルが捉える品詞情報とその軌跡. 第14回NLP若手の会 シンポジウム (YANS), August 2019. [booster] [poster]

解説記事 / Review Articles

• 小林悟郎. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. 会誌「自然言語処理」, Volume 28, Number 1, pp.292-296, March 2021. [PDF]

招待講演 / Invited Talks

• Benjamin Heinzerling, 横井祥, 小林悟郎. 言語モデルの内部機序：解析と解釈. 言語処理学会 第31回年次大会 チュートリアル1, March 2025. [slide] [video]

• 小林悟郎. Day10. LLMの分析と理論（後半パート）. 東京大学 松尾・岩澤研究室 大規模言語モデル講座, October 2024. [slide]

• 小林悟郎. Transformer言語モデルを内部挙動から理解する. 第52回 NLPコロキウム, February 2024. [slide] [video]

• 小林悟郎. 国際会議 EMNLP 2021 参加報告. 情報処理学会 第251回自然言語処理研究会 (第23回音声言語シンポジウム 兼 第8回自然言語処理シンポジウム), December 2021. [slide]

• 小林悟郎. 国際会議 EMNLP 2020 参加報告. 情報処理学会 第246回自然言語処理研究会 (第22回音声言語シンポジウム 兼 第7回自然言語処理シンポジウム), December 2020.

勉強会 / Participation in Study Groups

• 小林悟郎. Knowledge Neurons in Pretrained Transformers (ACL2022). 第14回最先端NLP勉強会, September 2022. [slide]

受賞 / Awards

• 東北大学 総長優秀学生賞/Presidential Award for Outstanding Students
  小林悟郎. March 2025. (育志賞受賞者に贈られる)

• 東北大学学位記授与式 大学院修了生等 答辞総代/Representative Speaker for Graduate Students at the Tohoku University Degree Conferral Ceremony
  小林悟郎. March 2025. (学内全ての修士・博士修了生から1名の総代)

• 第15回 日本学術振興会 育志賞 / JSPS Ikushi Prize
  小林悟郎. トランスフォーマー言語モデルの内部機序の解明. March 2025. (19/177=10.7%   ※各大学および各学会の候補者になる競争があるため実際はさらに競争的)

• ACL SRW 2023 ベストペーパー / Student Research Workshop Award in ACL SRW 2023.
  Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Hiroaki Funayama and Goro Kobayashi. Assessing Chain-of-Thought Reasoning against Lexical Negation: A Case Study on Syllogism. July 2023. (4/50=8%)

• 第17回NLP若手の会 シンポジウム (YANS) 奨励賞 / Encouragement Award in the 17th YANS Symposium.
  小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの混ぜ合わせ作用. August 2022.  (10/68=14.7%)

• 第17回NLP若手の会 シンポジウム (YANS) 奨励賞 / Encouragement Award in the 17th YANS Symposium.
  栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. August 2022.  (10/68=14.7%)

• 第17回NLP若手の会 シンポジウム (YANS) PKSHA Technology賞 / Sponsorship Award in the 17th YANS Symposium.
  栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. August 2022.  (1/68=1.5%)

• 東北大学情報科学研究科長賞 / Tohoku University Graduate School of Information Sciences Dean’s Award.
  小林悟郎. March 2022. (2/143=1.4%)

• 言語処理学会第28回年次大会 委員特別賞 / Special Committee Award in 28th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの作用. March 2022. (16/365=4.4%).

• 言語処理学会第27回年次大会 若手奨励賞 / Young Researcher Encouragement Award in 27th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎. Transformerの文脈を混ぜる作用と混ぜない作用. March 2021. (11/247=4.5%).

• 言語処理学会第26回年次大会 最優秀賞受賞 / Best Paper Award in 26th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. ベクトル⻑に基づく自己注意機構の解析. March 2020. (2/396=0.5%).

学会活動 / Activities for Academic Conferences and Symposiums

• Reviewer, ACL Rolling Review (ARR).

• 賞選考審査員, 言語処理学会第30回年次大会 (NLP2025).

• 運営委員, NLP 若手の会 (YANS), 2023-2024.

• 査読, 学会誌 自然言語処理, 2024.

• 賞選考審査員, セッションA7座長 言語処理学会第30回年次大会 (NLP2024).

• Reviewer, The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023).

• Reviewer,  The 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023).

• 賞選考審査員, 言語処理学会第29回年次大会 (NLP2023).

• Reviewer, The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022).

• 賞選考審査員, 言語処理学会第28回年次大会 (NLP2022).

職歴 / Work Experience

• Apr.2025 - Present.: 株式会社Preferred Networks エンジニア / Engineer for Preferred Networks, Inc.

• Oct.2023 - Dec.2024: 株式会社Preferred Networks パートタイマー (株式会社Preferred Elementsに出向) / Part-time employee for Preferred Networks, Inc.

  • 日本語LLMの指示学習についての研究 / Research on Instruction Tuning for Japanese LLMs

• Sep.2022 - Mar.2025: 株式会社zero to one 業務委託 / Subcontractor for zero to one, Inc. 

  • AI模擬患者プロジェクト / AI-OSCE Project

• Apr.2022 - Mar.2025: 理化学研究所 革新知能統合研究センター (AIP) 研究パートタイマーⅠ / Research Part-time worker I for RIKEN Center for Advanced Intelligence Project (AIP).

  • 言語理解チーム / Natural Language Understanding Team

• Apr.2022 - Mar.2025 日本学術振興会 特別研究員 DC1 / JSPS Research Fellow for the academic (DC1)

  • 研究課題「言語の汎用特徴表現獲得の機序の解明」 / Understanding the Mechanisms Behind Acquiring General-Purpose Language Representations

学歴 / Education

• Apr.2022 - Mar.2025: 東北大学 大学院 情報科学研究科 システム情報科学専攻 博士後期課程 修了/ Ph.D. of Information Science, Graduate School of Information Sciences, Tohoku University, Miyagi, Japan

• Apr.2020 - Mar.2022.: 東北大学 大学院 情報科学研究科 システム情報科学専攻 博士前期課程 修了 / Master of Information Science, Graduate School of Information Sciences, Tohoku University, Miyagi, Japan.

• Apr.2016 - Mar.2020.: 東北大学 工学部 電気情報物理工学科 学士課程 卒業 / Bachelor of Engineering, Department of Electrical, Information and Physics Engineering, Tohoku University, Miyagi, Japan (Advisor: Prof. Kentaro Inui)

連絡先 / Contact

Email : goro.koba560 (at) gmail.com

X (Twitter): @goro_koba