Working Group

MLSEは2019年9月より、特定の目的のため年間を通じて活動するWG（Working Group、作業部会）を設置しています。WGでは、ガイドライン、事例集などの成果物に向けて参加者を集い定期的に活動を行います。毎年行われる夏合宿にて企画セッションも行います。

現在では以下のWGが活動しています。各WGの活動に興味がおありの方は、MLSE Discord にある各WGのチャンネルにご参加ください。チャンネル名は下記の各WG紹介の末尾に記載しています。

新規のWGを提案したい方は、MLSE運営委員 1名をリエゾン幹事として、 WG開設申請書をその運営委員に提出してください。リエゾン幹事となる運営委員のあてがない場合、 MLSEのDiscord などにて呼びかけてください。夏合宿における企画セッション提案とともに4月末を目処にご提案いただき、夏から1年単位で活動していただくことが典型的なスケジュールとなります。

AIとアジャイルWG

LLMの台頭がソフトウェア開発に与えた影響は非常に大きく、アジャイルへの影響も全く無視できない状況である。それに伴い、多くの人々がAI駆動によるアジャイルの「来たるべき姿」を予想している状況にある。しかし、大抵それらは現在すぐに実現可能なものではない。現在のAIもしくはソフトウェア開発組織はまだ多くの課題を有しており、現場の実践者がすぐに実践できるわけではない。
それゆえ現場では様々な試行錯誤が行われている最中であるが、一方で、AIは圧倒的な速度で進化しており、今日の知見が明日にも覆される、という可能性が常につきまとう。「次の一歩」でどこに進めばいいのか、を確信しづらい状況に我々は置かれている。

本WGでは、

1. 多くの人々が掲げる将来予想を収集・分析した上で、2030年頃に達成しそうと思われているアジャイルの未来予想図を作成する
2. バックキャスティングの手法を用い、その未来予想図から、その未来を実現するためにはどういった技術が実現されるべきかを明らかにする
3. 以上を定期的に繰り返し、頻度よく更新する

という活動を行って、あるべき姿とそこへの道筋（未来シナリオ）を示し、多くの実践者や研究者にとって指針になる情報を公開していくことを目指す。

幹事

今井健男（ぼのたけ／国立情報学研究所）
渡辺知恵美（筑波技術大学）

Discordチャンネル

～準備中～

期待調整WG

機械学習など、いわゆる人工知能技術を用いたシステムにおいては、システムができることと、ステークホルダがシステムに期待することの間のギャップ(これをここでは認知ギャップと呼ぶ)が大きいことが多く、そのことが多くの悲劇を生んでいる。

2024年10月に行われた湘南会議208 (Trustworthy Machine Learning System Engineering Techniques for Practical Applications) では、この認知ギャップを埋める方法には文書化、説明可能性、トレーサビリティ、透明性など複数の手（ここではモダリティと呼ぶ）があり、それらのうまい組み合わせが認知ギャップを埋めるのに効果的である可能性が指摘された。

本WGでは、認知ギャップが悲劇をもたらした事例、認知ギャップをうまく埋めることに成功した事例を収集し、IT以外の分野からの知見も活かして将来のAIシステムの認知ギャップを解消していく方法論を模索する。

幹事

丸山宏（花王／東大／PFN）
竹内広宜（武蔵大学）

Discordチャンネル

#wg_認知調整

最適化の深化WG

LLMの登場によって、言語運用能力の点で機械は人間並みの能力(ヒューマン・パリティ)を達成した。しかし、LLMは基本的に過去の模倣をしているに過ぎず、新たな知識を探索するためには、探索(最適化)の技術を深化させる必要がある[1]。現在の数理最適化、あるいはブラックボックス最適化の枠組みでは、目的関数や実行可能空間を動的に変化させるような問題設定はできない。しかしながら、真に新しい知識を探索するためには、探索中に探索問題そのものを変化させるような動的な枠組みが必要である。

本WGでは、以下のような方針で、新たな探索問題の枠組みを提案する。

過去に知られている動的計画法などを整理することで、動的な探索・最適化に関する様々なアイディアのタクソノミを作る（動的計画法、動的制約充足問題、制御理論、自律コンピューティング、…）
心理学・社会学・法学・生態学など他分野で知られている、事前に予測できない環境に動的にに適応するメカニズムについて知見をまとめる
上記の知見から、新たな探索問題の枠組みを提案する。新たな分野のリファレンスとなるような出版物（論文あるいは書籍）にまとめる

幹事

丸山宏（花王／東大／PFN）
杉山阿聖（Citadel AI）

discordチャネル

#wg_最適化の深化

LLMシステムのドメイン適用WG

2020年にGPT-3が発表されて以来、様々なタスクに利用可能な基盤モデル・大規模言語モデルが次々と発表され、その活用が既に始まっている。複数のタスクに応用でき、Fine Tuningすることで特定タスクでより高い性能を発揮できるようになった一方で、大量のデータを必要とする、プロンプトのデザインを考える、などデータ収集に対する考慮や、モデルの解釈性の低さへの対応など、今後の機械学習を用いたシステム開発の在り方も大きく変わってくることが予想される。

本ワーキンググループ（WG）は、基盤モデル・大規模言語モデル（LLM）のシステム開発において、機械学習工学として取り組むべき課題の整理と解決策の探究を目的とする。特に、以下の目標達成を目指す：

特定ドメイン（問合せチャットボット、コンシェルジュなど）におけるLLM活用事例のケーススタディを実施し、実装詳細、成果、課題を明らかにする。
重点業界（金融、医療、法務など参加者のニーズに応じて）でのLLMシステム適用における技術的・倫理的課題を特定し、それらの解決策を提案する。
ドメインおよび業界ごとのLLM評価基準を作成し、その作成方法の標準化を図る。特に日本語モデルの評価に焦点を当てる。
RAG（Retrieval-Augmented Generation）などの最新技術を含むLLMシステム開発における機械学習工学的アプローチを整理し、ベストプラクティスを提案する。
ケーススタディや評価基準の作成を通じて得られた知見を共有し、各種ガイドラインへの掲載提案を行う。

幹事

江澤美保（クレスコ）JSSST会員
石川冬樹（国立情報学研究所）JSSST会員
百瀬耕平（株式会社日本総合研究所）
吉岡信和（QAML株式会社/早稲田大学）JSSST会員

Discord チャンネル

#⁠wg_llmドメイン適用

GenAIOps WG

生成AIの登場以降、さまざまな組織がその活用に取り組んでいる。しかし、生成AIを導入したものの業務の効率化・品質向上が達成されたのかどうか明確にできない、といった組織が数多く散見される。また、組織的なAIガバナンスを行いAIの活用を統制して進めようとする組織では、何をもってAIの利用が安全かどうか決められず前に進めない、という課題も見られるようになってきた。

一方で、生成AIを業務活用するためにアプリケーションを構築している組織では似たようなノウハウを蓄積していることが多くあり、同じプラクティスを独立に再発見している状況になってきている。そのため、生成AIの活用に必要なノウハウを体系化し、ベストプラクティスとしてまとめ上げることが望まれるようになってきている。

そこで、本ワーキンググループではまず、LLMの登場により既存のMLOpsに対して変わった事を明確化し、上記ベストプラクティスとして体系化すべき内容を定義し実際に体系化することを目指す。

幹事

杉山阿聖（Citadel AI）
久井裕貴（マネーフォワード）
太田満久（Ubie）

Discord チャンネル

活動を終了したWG

Google Sites

Report abuse