Yoshia Abe's profile

Education

2012.4 - 2015.3: Odate Homei High School, Akita, Japan 

2017.4 - 2021.3: Bachelor's degree, Department of Mechano-Informatics, Faculty of Engineering, the University of Tokyo, Japan 

2021.4 - 2023.3: Master's program, Department of Mechano-Informatics, Graduate School of Information Science and Technology, the University of Tokyo, Japan 

2023.4 - Current: Doctor's program, Department of Mechano-Informatics, Graduate School of Information Science and Technology, the University of Tokyo, Japan

Publications

• 阿部由吾, 米倉将吾, 大村吉幸, 國吉康夫，「身体性を伴う強化学習エージェントによる描画と美的評価の相互作用モデル」, 2022 年度 人工知能学会全国大会(第 36 回)，2022 年 6 月，京都市. (ポスター，査読なし)
  →We proposed a model of process of aesthetic evaluation and drawing using reinforcement learning agent with embodiment. URL: https://www.jstage.jst.go.jp/article/pjsai/JSAI2022/0/JSAI2022_4Yin222/_article/-char/ja/
  
  

• 寺島凌, 阿部由吾，「コード進行を考慮して多様なメロディを生成するTransformerとVAEの複合モデル」，情報処理学会第 134 回音楽情報科学・第 142 回音声言語情報処理合同研究発表会，2022 年 6 月，オンライン. (ポスター，査読なし，equal contribution) （音学シンポジウム学生優秀発表賞受賞）URL:  https://ipsj.ixsq.nii.ac.jp/records/218503
  →コード進行を考慮したメロディ生成Transformerモデルを提案（下記URLから生成例の試聴可）．We proposed an integrated model combining Transformer and VAE, which can generate melodies conditioned on chord sequences and produce diverse examples by adding perturbations to the latent representation in VAE. You can listen to the generated examples here: https://sites.google.com/view/ryotgm0417-sigmus2022/home
  
  

• 阿部由吾, 米倉将吾, 大村吉幸, 國吉康夫,「身体性と内発的動機を伴う強化学習エージェントにおける描画行動の解析」,情報処理学会第32回デジタルコンテンツクリエーション研究会, 研究報告デジタルコンテンツクリエーション(DCC), vol.2022-DCC-32, no.26, 熊本市, 2022年11月.(口頭・ポスター両方，査読なし) ．URL: https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=222313&item_no=1&page_id=13&block_id=8
  
  

• 阿部由吾, 米倉将吾, 大村吉幸, 國吉康夫,「身体性と内発的動機を伴った描画エージェントにおける価値評価基準の形成過程の解析」,ニューロコンピューティング研究会(NC),信学技報,vol.122, no.292,大阪市, 2022 年 12 月. (口頭，査読なし) ．URL: https://ken.ieice.org/ken/paper/20221203vCP7/
  
  

• Yoshia Abe, Yoshiyuki Ohmura, Shogo Yonekura, Hoshinori Kanazawa and Yasuo Kuniyoshi, "Simulating Early Childhood Drawing Behaviors under Physical Constraints Using Reinforcement Learning", 2023 IEEE International Conference on Development and Learning (ICDL2023), IEEE, pp. 156-163, 2023/11/9. (Oral presentation) URL: https://doi.org/10.1109/ICDL55364.2023.10364388
  →We used a reinforcement learning-based drawing agent within a simulated physical environment of a pen and a canvas and demostrated that acquired drawing behaviors can diverge based solely on the differences in physical configurations. 

• Zixin Huang, Hoshinori Kanazawa, Dongmin Kim, Yoshia Abe, Yasuo Kuniyoshi, "Intrinsic Motivation-Based Model in Physical Interaction for Early Development of a Sense of Agency", 2024 IEEE International Conference on Development and Learning (ICDL), The University of Texas, Austin (USA), 2024/5/21. (1-page poster abstracts. Poster number：17)
  
  

• 新納 大輔, 佐々木 康晴, 並河 進, 廣瀬 大, 山上 陽平, 川田 琢磨, 岸本 和也, 小堀 友樹, 新井 奈生, 北 弘樹, 白上 慎也, 福田 匡宏, 伊藤 拓哉, 阿部 由吾, 鶴岡 慶雅, 松原 仁, "コピーライターの思考プロセスを用いたFine-Tuning手法の提案および評価実験", 2024年度人工知能学会全国大会（第38回）, 浜松市, 2024/5/29.（口頭，査読なし） URL: https://doi.org/10.11517/pjsai.JSAI2024.0_2G1GS1102
  →We investigated fine-tuned LLM's capability of copy-writing as a creative task.
  
  

• Yoshia ABE, Tatsuya DAIKOKU, Yasuo KUNIYOSHI, "Assessing the Aesthetic Evaluation Capabilities of GPT-4 with Vision: Insights from Group and Individual Assessments", The 38th Annual Conference of the Japanese Society for Artificial Intelligence 2024 (JSAI2024), Hamamatsu-shi, 2024/5/29. (Oral presentation, without review) URL: https://doi.org/10.11517/pjsai.JSAI2024.0_2Q1IS301
  →We investigated LLM's aesthetic evaluation capabilities and showed its potential and characteristics.
  
  

• Shoya Washizu, Yoshia Abe, Tomohiro Ishizu, Tatsuya Daikoku and Yasuo Kuniyoshi, "Subjective bodily sensations in aesthetic experiences based on image stimuli using the Body Map Test", Association for the Scientific Study of Consciousness 2024, Tokyo, 2024/7/5. (ポスター，査読なし)

• 黄 子馨, 金沢 星慶, 金 東敏, 阿部 由吾, 國吉 康夫, "運動主体感の初期発達のための身体的相互作用に基づく内発的動機づけモデル", 日本赤ちゃん学会第24回学術集会, 東京, 2024/8/25. (ポスター，査読なし)

• Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi, "Quantitative Analysis of Training Methods, Data Size, and User-Specific Effectiveness in DL-Based Personalized Aesthetic Evaluation", The Pacific Rim International Conference on Artificial Intelligence 2024 (PRICAI2024),  2024/11/22. (Oral presentation) URL: https://link.springer.com/chapter/10.1007/978-981-96-0116-5_1
  →We developed a deep learning-based personalized aesthetic evaluation prediction model and analyzed the effects of training methods, data size, and individual users. For approximately two-thirds of users, the predictive performance of the personalized model for each individual exceeds the consistency of evaluations between the individual and other users, suggesting that AI could potentially become the entity that best understands individuals' aesthetic preferences.（DLベースのPersonalizeされた美的評価予測モデルを構築し，訓練手法・データサイズ・ユーザごとの効果を定量的に調査した．現時点で，約2/3のユーザにとっては，その個人に特化したモデルの予測性能は，その個人と他のユーザ群との評価の一致度を上回ることを示し，AIがその個人の美的好みを最も理解してくれる存在となりうる可能性を提示した．）
  
  

• Yoshia Abe, Shuhei Matsuo, Ryoma Kondo, Ryohei Hisano, "Leveraging Large Language Models for Institutional Portfolio Management: Persona-Based Ensembles", 2024 IEEE International Conference on Big Data (BigData2024) (The IEEE International Workshop on Large Language Models for Finance), 2024/12/15. (Oral presentation) URL: https://doi.org/10.1109/BigData62323.2024.10825362
  →This study used large language models (LLMs) to handle the portfolio management task of assets consisting of stocks and bonds. Personas based on different attitudes and preferences regarding investment styles were established, and multiple LLMs were used to predict price movements. By ensembling these predictions, it was shown that both the prediction accuracy and the performance of the management strategy improved. A linguistic analysis of the causal relationships in the LLMs' inference processes was also conducted, confirming that price movements were predicted from different perspectives and focal points depending on the persona.（LLMを用いて，株式と債券からなる資産ポートフォリオの運用タスクを扱った研究．投資スタイルに関する異なる態度・嗜好に基づくペルソナを設定した，複数のLLMに値動きの予測をさせ，それらをアンサンブルすることによって，予測精度や運用戦略の性能が高まることを示した．LLMの推論過程における因果関係の言語的解析も行い，ペルソナごとに異なる姿勢・着眼点で値動きを予測していることを確認した．）

• 新納 大輔, 並河 進, 松下 仁美, 阿部 由吾, "アートディレクターのアイデア発想プロセスを用いたLLMのFine-tuning手法の提案および評価実験", 2025年度人工知能学会全国大会（第39回）, 大阪市, 2025/5/29.（口頭，査読なし） URL: https://confit.atlas.jp/guide/event/jsai2025/subject/3F1-GS-10-01/advanced

• Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi, "Harnessing the Power of LLMs for Image Aesthetics Assessment Through Semantic and Contextual Understanding", IEEE International Conference on Image Processing 2025 (ICIP2025) , 2025/9/17. (Poster presentation) URL: https://ieeexplore.ieee.org/document/11084491
  →We hypothesized that LLMs' capabilities in semantic and contextual understanding could be leveraged for predicting aesthetic evaluations. We explored effective prompting techniques using a proposed list of evaluation factors. We found that the factors related to semantic and contextual understanding enhance LLMs’ performance in predicting beauty.

Qualifications 

• JST次世代研究者挑戦的研究プログラム（SPRING） 東京大学「グリーントランスフォーメーション（ＧＸ）を先導する高度人材育成（SPRING GX）」プロジェクト生採用（2023年度~2025年度）

• 東大松尾研開講「第6期グローバル消費インテリジェンス寄付講座」（2019年度），「深層強化学習オータムセミナー2021」（2021年度），「2021年度世界モデルと知能」（2021年度），「集中講義 2023 Summer 大規模言語モデル」（2023年度，最終コンペ 約2000人の参加者中Top30 ）修了

• DICE-UT World Tour 2024 (Silicon Valley) 派遣生（2024）

• 東大情報理工学系研究科開講「先端人工知能論Ⅰ・Ⅱ」修了（2021年度）

• 「東京大学SummerFoundersProgram2019」（社会課題解決のための製品開発プロジェクト）修了（2019）

• 「竹中育英会奨学金」採用（2018~）

• TOEFL iBT 88点（2020）

• 英検準一級（2016）

• TOEIC 805点（2015）

Skills

• AI Engineering and Research (image recognition, image generation, reinforcement learning, large language models, agent/multi-agent systems, financial engineering)

• Machine Learning / Deep Learning / Large Language Models / Agent Technologies

• Python & c / c++ / c# 

Works / Projects beyond research 

Contact

y-abe[at]isi.imi.i.u-tokyo.ac.jp