対話システム
ライブコンペティション5

更新履歴

★ライブイベントは2022/12/13に終了しました★

対話システムライブコンペティションとは?

対話システムライブコンペティションとは,オーディエンスの前で実際に対話システムを動作させ,評価を行うイベントです.

対話システムのコンペティションはさまざま開かれていますが,その多くは固定の対話コーパスに対してアルゴリズムを競う形式であるために,対話のライブ要素があまり検討されてこなかったという問題点もありました.そこで,2018年から,よりライブ性の高いイベントを行うことにより,対話システムにおけるよりリアルな難しさや面白さをシンポジウム参加者全員で共有できるようなイベントを始めました.それが「 対話システムライブコンペティション(ライブコンペ)」です.

これまでに,4回実施してきており,いずれも好評を博してきました.今回は5回目の開催となります.これまではテキストチャットシステムを対象としていましたが,今回初めてマルチモーダル対話システムを対象とします.

過去のライブコンペの模様については,過去のイベントサイト(このページの下部にリンク一覧があります)をご覧ください.

本コンペの概要

本コンペでは,参加者は,各トラックにおいて雑談対話システム(非タスク指向型対話システム)の開発を行い,複数の参加者間で,その出来栄えを競い合います.本コンペは,予選と対話システムシンポジウム内でのライブイベントから構成されます.予選では,クラウドソーシングの作業者が,開発された対話システムの評価を行います.ライブイベントでは,予選で好成績を収めたシステムとシンポジウム参加者が対話し,その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します.

オープントラックは任意の話題について(すなわち,オープンドメインで)ユーザと雑談を行う能力を競います.シチュエーショントラックでは,オープンな雑談とは異なり,所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競います.シチュエーショントラックは,対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙いとしています.

コンペ参加者は,いずれかのトラック,もしくは,両方のトラックにご参加いただけますが,同じトラックに複数のシステムをエントリすることはできません.各トラックの概要については, オープントラック および シチュエーショントラック のページをご覧ください.

現状お手持ちのシステムをエントリいただいても構いません.また,ライブコンペのために新しくシステムを作っていただいても構いません.システムはオーガナイザの負担により評価しますので,お手持ちのシステムのアピール以外にも,システムを評価したり,国内のチャットボットの中での位置づけを知るという目的にもご利用いただけるイベントです.予選を勝ち残ったチームに限り組織名を公表いたしますので,企業の方も安心してご参加いただけます.

スケジュール

エントリについて

開発いただくシステム

マルチモーダル対話システムを対象とします.これまでの対話システムライブコンペティションでは,テキスト対話システムを対象としていましたが,今回から,よりチャレンジングな課題として,マルチモーダル対話システムを対象とすることにしました.

マルチモーダル対話システム開発のためのソフトウェア一式は貸与します.開発者は,音声入力(の音声認識結果)を入力として,システムの発話テキストおよび動作コマンドを出力するプログラムを作成します.ソフトウェアは,文部科学省 科学研究費助成事業「新学術領域研究(研究領域提案型)」人間機械共生社会を目指した対話知能システム学が開発したソフトウェアを用います.このソフトウェアを用いることで,テキストチャットシステムの出力にマルチモーダルの出力情報を追加するだけで,マルチモーダル対話システムを構築することが可能です.

なお,昨年までと同様に SUNABAを使って対話システムを実装する方法も選択できます.SUNABAを用いる場合は,SUNABA上で応答文に加えて表情や姿勢を制御する命令も合わせて出力することによりマルチモーダル対話システムを実現します.

開発いただく対話システムのタイプは,これまでの対話システムライブコンペティションと同様,「雑談対話システム(非タスク指向型対話システム)」です.マルチモーダル対話システムは, オープントラック および シチュエーショントラック それぞれに記載されているシステム仕様の要件を満たす必要があります.システムの作成方法については, Getting Started をご覧ください.

エントリ方法

こちらよりエントリください.エントリには,下記の情報が必要です.

エントリをされますと,ソフトウェア利用に必要な「ソフトウェア仕様に関する誓約書」をお送りします.誓約書を取り交わしましたら,ソフトウェアを利用いただけるようになります.開発には,ソフトウェアが必要となりますので,参加される方はお早めにエントリください.

技術サポートについて

これまでのライブコンペ同様,主にシチュエーショントラックへの参加者を対象に,システム構築に関する技術サポートを実施予定です.サポートをご希望の方は,エントリフォームにおいて「技術サポートを希望」にチェックください.なお,今年もマルチモーダル対話システムの構築に関する講習会を行う予定です.

オーガナイザ

参考文献

東中 竜一郎, 船越 孝太郎, 稲葉 通将, 角森 唯子, 高橋 哲朗, 赤間 怜奈, 宇佐美 まゆみ, 川端 良子, 水上 雅博. (2020). 対話システムライブコンペティションから何が得られたか. 人工知能, 35(3), 333-343.

東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 対話システムライブコンペティション,  人工知能学会研究会資料 SIG-SLUD-B802-31, pp106-111, 2018. 

東中竜一郎, 船越孝太郎, 稲葉通将, 角森唯子, 高橋哲朗, 赤間怜奈, 宇佐美まゆみ, 川端良子, 水上雅博, 対話システムライブコンペティション2, 人工知能学会研究会資料 SIG-SLUD-B902-09-42, pp42-49, 2019. 

東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 角森 唯子, 赤間 怜奈, 宇佐美 まゆみ, 川端 良子, 水上 雅博, 小室 允人, ドルサ テヨルス, 対話システムライブコンペティション3,  人工知能学会研究会資料, 2020. 

東中 竜一郎, 船越 孝太郎, 高橋 哲朗, 稲葉 通将, 赤間 怜奈, 佐藤 志貴, 堀内 颯太, ドルサ テヨルス, 小室 允人, 西川 寛之, 宇佐美 まゆみ, 対話システムライブコンペティション4, 人工知能学会研究会資料, pp 92-100, 2021. 

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., Akama, R. (2021). Dialogue System Live Competition: Identifying Problems with Dialogue Systems Through Live Event. In: Marchi, E., Siniscalchi, S.M., Cumani, S., Salerno, V.M., Li, H. (eds) Increasing Naturalness and Flexibility in Spoken Dialogue Interaction. Lecture Notes in Electrical Engineering, vol 714. Springer, Singapore. https://doi.org/10.1007/978-981-15-9323-9_16

謝辞

本イベントは,人工知能学会 言語・音声理解と対話処理研究会(SLUD)が主催しています.本イベントは,新学術領域研究「人間機械共生社会を目指した対話知能システム学」(19H05692)の一環として実施するものです.また,本イベントの予選については,ムーンショット目標1「2050年までに、人が身体、脳、空間、時間の制約から解放された社会を実現」(JPMJMS2011)の一環として実施します.

お問い合わせ先

dialog-system-live-competition-ml[at]googlegroups.com