"Limitation of Prompt Engineering with Gemini-Flash in Embodied Planning from Ego-Centric Video"（2024年7月17日）

・内容：一人称視点の動画から、次にとるべき行動を4つの選択肢から選ぶ課題に取り組みました。さまざまなプロンプトエンジニアリングの手法を試し、Gemini-Flashの限界を検証しました。

・PDF：https://drive.google.com/file/d/13SImnJ96m8qxHlPPtTs4CjTWGRRgpIqZ/view?usp=sharing

"Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs"（2024年3月20日）

・公開：arXiv（プレプリント）：https://arxiv.org/abs/2403.13801

・プロジェクトページ：https://natural-language-as-policies.github.io/

・共著（指導教員）：Andrew Melnik、Jun Miura、Ville Hautamäki

LLMを用いた身体性エージェントの研究（2022年〜2024年・修士研究）

・内容：大規模言語モデル（LLM）でロボットアームを制御する研究に取り組みました。従来のように関数を呼び出すだけの方法ではなく、ロボットのスキルを自然言語のレベルで表現することで、汎化性能を高めることに注力しました。これにより、ロボットの制御を自然言語に結びつける（グラウンディングする）ことを可能にしました。

・評価：ロボット操作のシミュレーション（VIMA-Bench）の15タスクで評価

・プレプリント：https://arxiv.org/abs/2403.13801

・プロジェクトページ：https://natural-language-as-policies.github.io/

・使用技術：Python、PyTorch、Hugging Face、OpenAI（GPT-3.5、GPT-4）、LLaVA、LLaVA-NeXT

Transformerを用いた時系列予測の研究（2020年〜2022年・学部研究）

・内容：Transformerを用いた時系列予測に取り組み、PyTorchで実験しました。多変量の時系列データに対して、複数の時系列どうしの関係を捉えられるようにattention機構を設計し、予測精度を改善しました。実験の管理にはMLflowを使い、効率化を図りました。

・使用技術：Python、PyTorch、MLflow、Dash

教育用ロボットアームへの深層強化学習の適用（2018年〜2020年・高専研究）

・内容：教育用のロボットアームに深層強化学習を適用するための、シンプルなフレームワークを実装しました。CNNでシーンの情報を画像として取得し、目標物体との距離が最小になるように学習させ、この手法が実現できることを示しました。

・使用技術：Python、OpenCV