小林 悟郎
Goro Kobayashi

所属・身分 / Affiliation and Position

博士後期課程 2 年 / Second year Ph.D. student

• 東北大学 大学院 情報科学研究科 システム情報科学専攻 / Graduate School of Information Sciences, Tohoku University

• 坂口・乾・徳久研究室 (東北大学自然言語処理研究グループ) 所属 / Member of Tohoku NLP Group

• Apr.2022 - (planned: Mar. 2025)

日本学術振興会 特別研究員 DC1 / JSPS Research Fellow for the academic (DC1)

• 研究課題「言語の汎用特徴表現獲得の機序の解明」 

• Apr.2022 - Mar.2025 

理化学研究所 革新知能統合研究センター (AIP) 研究パートタイマーⅠ / RIKEN Center for Advanced Intelligence Project (AIP) Research Part-time worker Ⅰ 

• 言語理解チーム / Natural Language Understanding Team

• Apr.2022 -

興味 / Interests

• 自然言語処理 / Natural Language Processing

• 機械学習モデルの解釈・分析 / Interpretability and Analysis of ML Models

• 言語の埋め込み表現 / Word Embedding, Sentence Embedding, and Document Embedding

趣味 / Hobby

筋トレ / Work Out

観戦 / Watching

• ハンドボール / Handball

• 野球 / Baseball

• eスポーツ / Esports (VALORANT, Apex Legends, etc.)

プレイ / Playing

• ハンドボール / Handball

• eスポーツ / Esports (VALORANT, Apex Legends, League of Legends, etc.)

研究発表 / Publications

Refereed (査読あり)

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps. (Spotlight Presentation), Proceedings for the 12th International Conference on Learning Representations (ICLR 2024), May 2024. (acceptance rate=31%, spotlights rate=6.2%) [paper]

• Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Goro Kobayashi and Hiroaki Funayama. Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism. Proceedings for the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), December 2023. [paper]

• Hiroto Kurita, Goro Kobayashi, Sho Yokoi and Kentaro Inui. Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words. In findings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), December 2023. [paper]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Transformer Language Models Handle Word Frequency in Prediction Head. In Findings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023 Findings), July 2023. (acceptance rate=39.1%) [paper] [slide] [poster]

• Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Hiroaki Funayama and Goro Kobayashi. Assessing Chain-of-Thought Reasoning against Lexical Negation: A Case Study on Syllogism. Non-archival submission for the ACL Student Research Workshop (ACL-SRW 2023), July 2023. (acceptance rate=34.5%)

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Incorporating Residual and Normalize Layers into Analysis of Masked Language Models. (Long paper), Proceedings for the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP 2021), November 2021. (acceptance rate=23.3%) [paper] [slide] [poster] [video]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. (Long paper), Proceedings for the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020), November 2020. (acceptance rate=24.6%) [paper] [slide] [video]

• Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi and Kentaro Inui. Self-Attention is Not Only a Weight: Analyzing BERT with Vector Norms. Non-archival submission for the 2020 ACL Student Research Workshop (2020 ACL SRW), July 2020. (acceptance rate=35.6%)

Non-refereed (査読なし)

• 葉夢宇, 栗林樹生, 小林悟郎, 鈴木潤. 文脈内学習における文脈内事例の寄与度推定. 言語処理学会第 30回年次大会 (NLP2024), March 2024. [paper]

• Hiroto Kurita, Goro Kobayashi, Sho Yokoi and Kentaro Inui. Contrastive Learning‑based Sentence Encoders Implicitly Weight Informative Words. The Machine Learning Summer School in Okinawa 2024 (MLSS 2024), March 2024.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformer言語モデルの予測ヘッド内バイアスによる頻度補正効果. 言語処理学会第29回年次大会, pp.645-650, March 2023. [paper]

• 栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け. 言語処理学会第29回年次大会, pp.639-644, March 2023. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの混ぜ合わせ作用. 第17回NLP若手の会 シンポジウム (YANS), August 2022.

• 栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. 第17回NLP若手の会 シンポジウム (YANS), August 2022.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの作用. 言語処理学会第28回年次大会, pp.1072-1077, March 2022. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎. 非線形モジュールの加法分解に基づくTransformerレイヤーの解析. 第16回NLP若手の会 シンポジウム (YANS), August 2021.

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerの文脈を混ぜる作用と混ぜない作用. 言語処理学会第27回年次大会, pp.1224-1229, March 2021. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 乾健太郎. ベクトル長に基づく注意機構と残差結合の包括的な分析. 第15回NLP若手の会 シンポジウム (YANS), September 2020.

• 小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. ベクトル⻑に基づく自己注意機構の解析. 言語処理学会第26回年次大会, pp.965-968, March 2020. [paper]

• 小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. 文脈を考慮する言語モデルが捉える品詞情報とその軌跡. 第14回NLP若手の会 シンポジウム (YANS), August 2019. [booster] [poster]

解説記事 / Review Articles

• 小林悟郎. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms. 会誌「自然言語処理」, Volume 28, Number 1, pp.292-296, March 2021. [PDF]

招待講演 / Invited Talks

• 小林悟郎. Transformer言語モデルを内部挙動から理解する. 第52回 NLPコロキウム, February 2024. [slide][video]

• 小林悟郎. 国際会議 EMNLP 2021 参加報告. 情報処理学会 第251回自然言語処理研究会 (第23回音声言語シンポジウム 兼 第8回自然言語処理シンポジウム), December 2021. [slide]

• 小林悟郎. 国際会議 EMNLP 2020 参加報告. 情報処理学会 第246回自然言語処理研究会 (第22回音声言語シンポジウム 兼 第7回自然言語処理シンポジウム), December 2020.

勉強会 / Participation in Study Groups

• 小林悟郎. Knowledge Neurons in Pretrained Transformers (ACL2022). 第14回最先端NLP勉強会, September 2022. [slide]

受賞 / Awards

• ACL SRW 2023 ベストペーパー / Student Research Workshop Award in ACL SRW 2023.
  Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Hiroaki Funayama and Goro Kobayashi. Assessing Chain-of-Thought Reasoning against Lexical Negation: A Case Study on Syllogism. July 2023. (4/50=8%)

• 第17回NLP若手の会 シンポジウム (YANS) 奨励賞 / Encouragement Award in the 17th YANS Symposium.
  小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの混ぜ合わせ作用. August 2022.  (10/68=14.7%)

• 第17回NLP若手の会 シンポジウム (YANS) 奨励賞 / Encouragement Award in the 17th YANS Symposium.
  栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. August 2022.  (10/68=14.7%)

• 第17回NLP若手の会 シンポジウム (YANS) PKSHA Technology賞 / Sponsorship Award in the 17th YANS Symposium.
  栗田宙人, 小林悟郎, 横井祥, 乾健太郎. BERTを用いた文埋め込みモデルによる単語の暗黙的な重み付け. August 2022.  (1/68=1.5%)

• 東北大学情報科学研究科長賞 / Tohoku University Graduate School of Information Sciences Dean’s Award.
  小林悟郎. March 2022. (2/143=1.4%)

• 言語処理学会第28回年次大会 委員特別賞 / Special Committee Award in 28th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎, 栗林樹生, 横井祥, 乾健太郎.  Transformerにおけるフィードフォワードネットの作用. March 2022. (16/365=4.4%).

• 言語処理学会第27回年次大会 若手奨励賞 / Young Researcher Encouragement Award in 27th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎. Transformerの文脈を混ぜる作用と混ぜない作用. March 2021. (11/247=4.5%).

• 言語処理学会第26回年次大会 最優秀賞受賞 / Best Paper Award in 26th Annual Meeting of Association for Natural Language Processing Society of Japan.
  小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎. ベクトル⻑に基づく自己注意機構の解析. March 2020. (2/396=0.5%).

学会活動 / Activities for Academic Conferences and Symposiums

• Reviewer, ACL Rolling Review (ARR).

• 運営委員, NLP 若手の会 (YANS), 2023-2024.

• 査読, 学会誌 自然言語処理, 2024.

• 賞選考審査員, セッションA7座長 言語処理学会第30回年次大会 (NLP2024).

• Reviewer, The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023).

• Reviewer,  The 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023).

• 賞選考審査員, 言語処理学会第29回年次大会 (NLP2023).

• Reviewer, The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022).

• 賞選考審査員, 言語処理学会第28回年次大会 (NLP2022).

職歴 / Work Experience

• Oct.2023 - Present.: 株式会社Preferred Networks 有期雇用契約社員 (株式会社Preferred Elementsに出向) / Part-time employee for Preferred Networks, Inc.

• Sep.2022 - Present.: 株式会社zero to one 業務委託 / Subcontractor for zero to one, Inc. 

• Apr.2022 - Present.: 理化学研究所 革新知能統合研究センター (AIP) 研究パートタイマーⅠ / Research Part-time worker I for RIKEN Center for Advanced Intelligence Project (AIP).

• Apr.2022 - Mar.2025 日本学術振興会 特別研究員 DC1 / JSPS Research Fellow for the academic (DC1)

学歴 / Education

• Apr.2022 - Present.: 東北大学 大学院 情報科学研究科 システム情報科学専攻 博士後期課程 在学中 / Ph.D. student of Information Science, Graduate School of Information Sciences, Tohoku University, Miyagi, Japan

• Apr.2020 - Mar.2022.: 東北大学 大学院 情報科学研究科 システム情報科学専攻 博士前期課程 修了 / Master of Information Science, Graduate School of Information Sciences, Tohoku University, Miyagi, Japan.

• Apr.2016 - Mar.2020.: 東北大学 工学部 電気情報物理工学科 学士課程 卒業 / Bachelor of Engineering, Department of Electrical, Information and Physics Engineering, Tohoku University, Miyagi, Japan (Advisor: Prof. Kentaro Inui)

連絡先 / Contact

Email : goro.koba (at) dc.tohoku.ac.jp

住所 (研究室): 〒980-8579 宮城県仙台市青葉区荒巻字青葉6-6-05 東北大学工学研究科 電子情報システム・応物系1号館6階 660

          Address (office): Natural Language Processing Laboratory, 6-6-05 Aoba, Aramaki, Aoba-ku, Sendai, 980-8579, Japan

X (Twitter): @goro_koba