対話システムライブコンペティションとは,オーディエンスの前で実際に対話システムを動作させ,評価を行うイベントです.
対話システムのコンペティションはさまざま開かれていますが,その多くは固定の対話コーパスに対してアルゴリズムを競う形式であるために,対話のライブ要素があまり検討されてこなかったという問題点もありました.そこで,2018年から,よりライブ性の高いイベントを行うことにより,対話システムにおけるよりリアルな難しさや面白さをオーディエンス全員で共有できるようなイベントを始めました.それが「対話システムライブコンペティション(ライブコンペ)」です.
これまでに6回実施してきており,いずれも好評を博してきました.今回は7回目の開催となります.
過去のライブコンペの模様については,過去のイベントサイト(このページの下部にリンク一覧があります)をご覧ください.
本コンペでは,参加者は対話システムの開発を行い,その出来栄えを競い合います.本コンペは,予選とライブイベントから構成されます.予選では,オーガナイザ側が準備する作業者が,開発された対話システムの評価を行います.ライブイベントでは,予選で好成績を収めたシステムとオーガナイザ側が指定する対話者が対話し,その様子をオーディエンス全員で鑑賞・評価します.
昨年度は,所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競う「シチュエーショントラック」のみを実施しました.しかし,近年,対話システムがますます人々の課題解決の多様化と効率化において重要な役割を果たすようになってきました.このような背景を踏まえ,今年度は「シチュエーショントラック」に加えて,高度な課題においてタスク達成を実現する能力を競う「タスクトラック」も実施します.
コンペ参加者は,同一トラックで複数のシステムをエントリすることはできません.各トラックの詳細については シチュエーショントラック,タスクトラックのページをご覧ください.
システムはオーガナイザの負担により評価しますので,システムのアピール以外にも,システムを評価したり,国内の対話システムの中での位置づけを知るという目的にもご利用いただけます. 予選を勝ち残ったチームに限り組織名を公表いたしますので,企業の方も安心してご参加いただけます.
現時点でスケジュールは以下を予定しています.変更となる場合もございますので,最新情報は適宜ホームページを確認ください.
なお,本イベントは例年対話システムシンポジウムにおいて実施していましたが,今年度は3月開催の「言語・音声理解と対話処理研究会 SIG-SLUD」内のイベントとして実施する点にご注意ください.
2024年9月12日(木) キックオフ
2024年12月6日(金) エントリ〆切(本サイトのフォームからエントリください)
2025年1月10日(金) 予選開始(この前日まで開発可能です)
2025年1月31日(金) 結果通知
2025年2月 発表申し込み〆切(〆切日はSLUD本体に準じる予定です)
2025年2月 予稿提出〆切(〆切日はSLUD本体に準じる予定です)
2025年3月20日(木) ライブイベント(SLUD内のイベントとして実施)
対話システムライブコンペティション7では,Remdisをベースにしたソフトウェアを用います.このソフトウェアを用いることで,テキストチャットシステムの出力にマルチモーダルの出力情報を追加するだけで,マルチモーダル対話システムを構築することが可能です.
開発いただく対話システムは,シチュエーショントラック,タスクトラックのページに記載されているシステム仕様を満たす必要があります.
こちらよりエントリください.エントリには,下記の情報が必要です.
チーム名(半角英数字のみ使用可)
代表者のお名前
代表者のメールアドレス
代表者の所属
ボット概要(任意)※現状の想定で構いません.
これまでのライブコンペ同様,主に人文系の学生・研究者を対象に,システム構築に関する技術サポートを実施予定です.サポートをご希望の方は,エントリフォームにおいて「技術サポートを希望」にチェックください.なお,今年もマルチモーダル対話システムの構築に関する講習会を行う予定です.
稲葉通将(電通大)
岩田伸治(サイバーエージェント)
宇佐美まゆみ(東京外大)
大萩雅也(SBIntuitions)
菊池浩史(早稲田大)
児玉貴志(NII)
小室允人(千葉大)
斉志揚(電通大)
境くりま(ATR)
佐々木裕多(東京科学大)
佐藤志貴(サイバーエージェント)
高橋哲朗(鹿児島大)
西川寛之(明海大)
東中竜一郎(名大)
船越孝太郎(東京科学大)
船山智(ATR)
邊土名朝飛(サイバーエージェント)
牧野遼作(早稲田大)
港隆史(ATR/理研)
守屋彰二(東北大)
山崎天(SBIntuitions)
楊潔(早稲田大)
李晃伸(名工大)
東中 竜一郎, 船越 孝太郎, 稲葉 通将, 角森 唯子, 高橋 哲朗, 赤間 怜奈, 宇佐美 まゆみ, 川端 良子, 水上 雅博. (2020). 対話システムライブコンペティションから何が得られたか. 人工知能, 35(3), 333-343.
東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 対話システムライブコンペティション, 人工知能学会研究会資料 SIG-SLUD-B802-31, pp106-111, 2018.
東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 対話システムライブコンペティション2, 人工知能学会研究会資料 SIG-SLUD-B902-09-42, pp42-49, 2019.
東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 角森 唯子, 赤間 怜奈, 宇佐美 まゆみ, 川端 良子, 水上 雅博, 小室 允人, ドルサ テヨルス, 対話システムライブコンペティション3, 人工知能学会研究会資料, 2020.
東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 赤間 怜奈, 佐藤 志貴, 堀内 颯太, ドルサ テヨルス, 小室 允人, 西川 寛之, 宇佐美 まゆみ, 対話システムライブコンペティション4, 人工知能学会研究会資料, pp 92-100, 2021.
東中竜一郎, 高橋哲朗, 堀内颯太, 稲葉通将, 佐藤志貴, 船越孝太郎, 小室允人, 西川寛之, 宇佐美まゆみ, 港隆史, 境くりま, 船山智, 対話システムライブコンペティション5, 第96回言語・音声理解と対話処理研究会, 2022.
東中竜一郎, 高橋哲朗, 稲葉通将, 斉志揚, 佐々木裕多, 船越孝太郎, 守屋彰二, 佐藤志貴, 港隆史, 境くりま, 船山智, 小室允人, 西川寛之, 牧野遼作, 菊池浩史, 宇佐美まゆみ, 対話システムライブコンペティション6, 第99回言語・音声理解と対話処理研究会, 2023.
Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., Akama, R. (2021). Dialogue System Live Competition: Identifying Problems with Dialogue Systems Through Live Event. In: Marchi, E., Siniscalchi, S.M., Cumani, S., Salerno, V.M., Li, H. (eds) Increasing Naturalness and Flexibility in Spoken Dialogue Interaction. Lecture Notes in Electrical Engineering, vol 714. Springer, Singapore. https://doi.org/10.1007/978-981-15-9323-9_16
Higashinaka, R., Takahashi, T., Inaba, M., Qi, Z., Sasaki, Y., Funakoshi, K., Moriya, S., Sato, S., Minato, T., Sakai, K., Funayama, T., Komuro, M., Nishikawa, H., Makino, R., Kikuchi, H., Usami, M. (2023). Dialogue System Live Competition Goes Multimodal: Analyzing the Effects of Multimodal Information in Situated Dialogue Systems. In: The 14th International Workshop on Spoken Dialogue Systems Technology, 2024.
本イベントは,人工知能学会 言語・音声理解と対話処理研究会(SLUD)が主催しています.本イベントは,ムーンショット目標1「2050年までに、人が身体、脳、空間、時間の制約から解放された社会を実現」(JPMJMS2011)の一環として実施します.また,新学術領域研究「人間機械共生社会を目指した対話知能システム学」(19H05692)の成果を用いています.ソフトウェアとして提供するCGEricaとその動作生成システムは,株式会社国際電気通信基礎技術研究所によって開発されたものです.
dialog-system-live-competition-ml[at]googlegroups.com