マルチモーダル
入力文の内容に沿うよう画像を変換【ACL-SRW 2023】し、マルチモーダル機械翻訳の性能を改善しました。
画像表現と言語表現のアライメントに基づくマルチモーダル機械翻訳【TASLP 2021】を提案しました。
画像を意味的な単位で分割して用いるマルチモーダル機械翻訳【Neurocomputing 2022】を提案しました。
研究助成
代表:科学研究費補助金(研究活動スタート支援)
2018年08月〜2020年03月(210万円)
マルチモーダル品質推定に基づく機械翻訳モデルの高度化
分担:情報通信研究機構委託研究
2022年01月〜2026年03月(2,500万円/23,000万円)
マルチモーダル情報理解と制御可能なテキスト生成の研究開発
研究成果
論文誌
Region-Attentive Multimodal Neural Machine Translation
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
Neurocomputing, 2022
Word-Region Alignment-Guided Multimodal Neural Machine Translation
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
IEEE/ACM Transactions on Audio, Speech and Language Processing, 2021
国際会議
Multimodal Neural Machine Translation Using Synthetic Images Transformed by Latent Diffusion Model
Ryoya Yuasa, Akihiro Tamura, Tomoyuki Kajiwara, Takashi Ninomiya, Tsuneo Kato
ACL-SRW, 2023
TMEKU System for the WAT2021 Multimodal Translation Task
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
WAT, 2021(査読なし)【Multimodal Translation Shared Task 英→日トラック1位】
Double Attention-based Multimodal Neural Machine Translation with Semantic Image Regions
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
EAMT, 2020(採択率53%)
国内会議
漫画の機械翻訳における吹き出しよりも長い文脈情報の活用
戒能大翔, 梶原智之, 二宮崇, Tanner Joshua, 石渡祥之佑
情報科学技術フォーラム, 2023
潜在拡散モデルによる変換画像を用いるマルチモーダルニューラル機械翻訳
湯浅亮也, 田村晃裕, 梶原智之, 二宮崇, 加藤恒夫
言語処理学会年次大会, 2023
Neural Machine Translation with Semantically Relevant Image Regions
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
言語処理学会年次大会, 2021
Double Attention-based Multimodal Neural Machine Translation with Semantic Image Region
Yuting Zhao, Mamoru Komachi, Tomoyuki Kajiwara, Chenhui Chu
情報処理学会自然言語処理研究会, 2019
NLP若手の会シンポジウム, 2019