学生さん向け

PSE・強化学習PJでの研究活動の流れ

B4の研究室配属者とM1からの研究室配属者でPSE・強化学習PJに配属希望の学生は，4月~6月上旬 (B4は院試勉強の進捗と相談) に動的システム最適化と機械学習・強化学習といったテーマでチュートリアルをおこないます．院試が終わり次第，9月から10月にかけてチュートリアルの復習と自分が使う基本的な技術の実装に取り組んでもらいます．それ以降，具体的な研究課題を決めた後，必要に応じてよりアドバンスドな強化学習，モデル予測制御 (MPPIも含む)の深い勉強をしながら，卒論や修論へむけて研究課題の解決法を考えていきます．

M1からの配属学生は，年明け1~2月に原稿の締め切りがある人工知能学会全国大会 (JSAI) で研究成果を発表できるように研究に取り組んでください．B4に関しても卒論と並行して，JSAIへの投稿が目指せると修士以降の研究活動，就職活動に関してかなり有利に働くと思うので頑張りましょう！

基本的に修士の学生は，自動制御連合(連合)，人工知能学会全国大会(JSAI) などの国内会議で最低1度（基本的には2度）は研究成果を外部発表してください (要約だけのポスター発表より，何かしらの原稿が残るような学会が望ましいです)．M2で修論を書く際には，個別のテーマに関して池本よりも詳しい状態になっていなければなりません．

※一度学会発表を経験した後はある程度自由に研究を進めてもらって構いません（月一で何をやっているかのチーム定例はあります）．
※国際会議発表を行った場合，論文誌投稿を行った場合は国内会議発表は不要ですが，国内会議発表に比べて要求される研究成果のレベルは桁違いに高くなります．

意思決定AIと挑むプロセス制御課題解決_ver4.pdf

注意：まずは高井研に所属する必要があります．一般的には，大阪大学工学部電子情報工学科に入学いただいて，電気工学コースに配属され，B4で高井研に配属されるルートと，大阪大学大学院工学研究科電気電子情報通信工学専攻（電気工学部門）の院試を突破していただき，高井研に配属されるルートの2つがあります．私自身は研究室主宰者ではなく，研究室への受け入れ権限はありませんので，まずは正規の方法で高井研所属になる必要があります．

M1から進学予定の学生へ？：基本的なシステム制御 (MPCの基本的な流れが分かっているとかなり嬉しい) や Probabilistic Machine Learning: An Introduction の2~8章を予習しておくとスムーズに研究に入れると思います．他のPJで研究をする場合もプラスに働くと思います．

参考になる書籍のURL：

機械学習一般の勉強におすすめ： Probabilistic Machine Learning: An Introduction を使って機械学習全般の基礎固めをしておくと研究の幅が広がると思いますし，就職後も活かされる内容になると思います．

強化学習の勉強におすすめ：https://www.andrew.cmu.edu/course/10-703/textbook/BartoSutton.pdf

https://elmoukrie.com/wp-content/uploads/2022/06/understanding-process-dynamics-and-control-costas-kravaris-ioannis-k.-kookos-z-lib.org_.pdf

Sutton 本を勉強した後，深層強化学習の各アルゴリズムの勉強に：
(DQN) https://www.nature.com/articles/nature14236
(DDPG) https://proceedings.mlr.press/v32/silver14，https://arxiv.org/abs/1509.02971
(TRPO) https://arxiv.org/abs/1502.05477
(PPO) https://arxiv.org/abs/1707.06347
(TD3) https://arxiv.org/abs/1802.09477
(SAC) https://arxiv.org/abs/1801.01290，https://arxiv.org/abs/1812.05905， https://arxiv.org/abs/1805.00909

MPCと強化学習のサーベイ：https://arxiv.org/abs/2502.02133

Page updated

Google Sites

Report abuse