Home

昨年度のサイトはこちら

昨年を上回る多数のご参加ありがとうございました

2016年10月5・6日に早稲田大学で行われた第7回対話システムシンポジウムにおいて，対話破綻検出チャレンジ2の特別セッションが開催されました．

対話破綻検出チャレンジとは

本チャレンジでは，対話の破綻（システムが文脈的に不適切な応答をした箇所）を検出する技術（対話破綻検出）に焦点を絞り，参加者が各自開発した手法や技術を持ち寄ることで互いの技術を高め合うことを目的とします．

対話破綻検出は将来の対話システムにとって極めて有用な技術となり得ます．たとえば，システムがある発話をすると対話が破綻するという可能性を事前に推定できれば，それが回避できる可能性が高まります．また，たとえ不適当な応答を防ぐ事ができなくても，その後のユーザの反応から対話の破綻が検出できれば，対話の話題を変えるなど，エラーからの回復戦略を取ることも可能となります．本チャレンジに参加して，ぜひ対話システムの対話能力の底上げに貢献ください．

第二回目となる対話破綻検出チャレンジ2では，より汎用的な対話破綻検出技術の確立を目指し，これまで一つの対話システムのログを対象にしていましたが，三つの対話システムのログを対象にして行います．

予稿集のオーバービューペーパーに関する注意点

下記のオーバービューペーパーにおいて，表5のMSE値 2列目の「(O+T,X)」は「(O, T+X)」の誤りです．謹んで訂正いたします．

また表1に示されている κ値については，第１発話に対するアノテーションを含めるか否かで値が変動します．本データでは第１発話はシステムによるものですが，最初の発話で破綻するとは考えにくく，他の発話に比べて「破綻でない」とアノテーションされる可能性が高いと考えられます．

対話破綻検出チャレンジ１ではこの特性を鑑み，第1発話を除いたκ値を計算しています．一方，本チャレンジでは，全ての発話を平等に扱い，第１発話を含めたκ値を計算しています．そのため，表１における「雑談対話コーパス」「DBDC1」と「DBDC2」ではκ値計算の基準が異なっている点にご留意ください．

対話破綻検出チャレンジ2

The Dialogue Breakdown Detection Challenge 2

東中 竜一郎,船越 孝太郎,稲葉 通将,荒瀬 由紀,角森 唯子

人工知能学会 言語・音声理解と対話処理研究会 第78回(第7回対話システムシンポジウム), pp.64-69, 2016-10-5

本タスクの概要

参加者は雑談対話システム（非タスク指向型対話システム）と人間の対話ログから，対話破綻を検出する手法を開発します．本サイトでは破綻箇所の注釈付き対話コーパスを公開しており，開発・学習用に使用することができます．各参加者が開発した手法は，後日参加者に共有される評価用データを用いて評価されます．

参加方法（現在参加は受け付けていません）

参加を希望される方は以下の情報を事務局までご連絡ください．

参加者のみなさまには，８月下旬ごろに評価用データをお送りします．参加者は対話破綻の検出手法を開発し，評価用データについて自身の手法による検出結果を事務局に送付します．また，１０月５～６日に開催される第７回対話システムシンポジウム内「対話破綻検出チャレンジ2」のセッションにおいて，自身の開発した手法について口頭，もしくは，ポスターにて発表いただきます．

システム発話が破綻かどうかを推定するために，当該システム発話までの対話履歴を入力として使うことができます．当該システム発話より後のシステム・ユーザ発話は入力として使うことはできません．これは，システムが対話中に次の発話を決定する際に，今までの対話の流れに対して不適切な発話の選択を防ぐ検出器としての応用を想定しているためです．

システム発話が破綻かどうかを推定するために，外部データやツールなどを自由に使っていただいて構いません．ご自身が利用可能なデータやツールはどんなものでも使っていただけます．

評価用データによる各チームの性能は対話システムシンポジウムの予稿集に掲載します．また，本サイトでも公開します．

対話破綻検出チャレンジ2のスケジュール（予定）

2016年6月下旬  参加登録開始

2016年7月上旬  開発用データの配布

2016年8月下旬  参加登録〆切

2016年8月下旬～9月上旬  評価データ配布・フォーマルラン

2016年9月上旬  結果・原稿提出

2016年10月5日～6日  対話システムシンポジウム内にて報告会