Home
【対話破綻検出チャレンジ2のスケジュール（予定）】
2016年6月下旬 参加登録開始
2016年7月上旬 開発用データの配布
2016年8月下旬 参加登録〆切
2016年8月下旬～9月上旬 評価データ配布・フォーマルラン
2016年9月上旬 結果・原稿提出
2016年10月5日～6日 対話システムシンポジウム内にて報告会
（以下は2015年度 対話破綻検出チャレンジ1の情報です）
たくさんのご参加ありがとうございました
2015年10月29・30日に早稲田大学で行われた第6回対話システムシンポジウムにおいて，対話破綻検出チャレンジの特別セッションが開催されました．
チャレンジ参加者のプレゼンテーションの動画，および発表資料はこちら
対話破綻検出チャレンジ
対話破綻検出チャレンジでは，対話の破綻（システムが文脈的に不適切な応答をした箇所）を検出する技術（対話破綻検出）に焦点を絞り，参加者が各自開発した手法や技術を持ち寄ることで互いの技術を高め合うことを目的とします．
対話破綻検出は将来の対話システムにとって極めて有用な技術となり得ます．たとえば，システムがある発話をすると対話が破綻するという可能性を事前に推定できれば，それが回避できる可能性が高まります．また，たとえ不適当な応答を防ぐ事ができなくても，その後のユーザの反応から対話の破綻が検出できれば，対話の話題を変えるなど，エラーからの回復戦略を取ることも可能となります．本チャレンジに参加して，ぜひ対話システムの対話能力の底上げに貢献ください．
本タスクの概要
参加者は雑談対話システム（非タスク指向型対話システム）と人間の対話ログから，対話破綻を検出する手法を開発します．本サイトでは破綻箇所の注釈付き対話コーパスを公開しており，開発・学習用に使用することができます．各参加者が開発した手法は，後日参加者に共有される評価用データを用いて評価されます．
対話コーパスはNTT ドコモが一般公開している雑談対話 APIとユーザが対話することで構築されたものです．全ての対話システムの応答に対し，対話の破綻度合いに応じた3段階のラベルが複数のアノテータによって付与されています．このコーパスはProject Next NLP と呼ばれる自然言語処理分野でのエラー分析のプロジェクトを通して作成されたものです．データの詳細はこちらの原稿を参照してください．
参加方法
参加を希望される方は以下の情報を事務局までご連絡ください．
チームID（アルファベットと数字から構成してください）
代表者の連絡先（ご所属，お名前，メールアドレス）
参加者のみなさまには，８月になりましたら評価用データをお送りします．参加者は対話破綻の検出手法を開発し，評価用データについて自身の手法による検出結果を事務局に送付します．また，１０月下旬に開催される第６回対話システムシンポジウム内「対話破綻検出チャレンジ」のセッションにおいて，自身の開発した手法について口頭，もしくは，ポスターにて発表いただきます．
システム発話が破綻かどうかを推定するために，当該システム発話までの対話履歴を入力として使うことができます．当該システム発話より後のシステム・ユーザ発話は入力として使うことはできません．これは，システムが対話中に次の発話を決定する際に，今までの対話の流れに対して不適切な発話の選択を防ぐ検出器としての応用を想定しているためです．
また，今後配布する評価用データにはコメントは付与されませんので，アノテーターのコメントは破綻検出器入力として用いることはできません．雑談対話コーパスでは各発話に24個の破綻ラベルがついているものと，2，3個の破綻ラベルがついているものがありますが，評価用データには複数個の破綻ラベルが付与されます．
システム発話が破綻かどうかを推定するために，外部データやツールなどを自由に使っていただいて構いません．ご自身が利用可能なデータやツールはどんなものでも使っていただけます．
評価用データによる各チームの性能はチーム名を匿名化した形(team0,1,2など)で対話システムシンポジウムの予稿集に掲載します．また，本サイトでも公開します．対話システムシンポジウムのセッションではチーム名と各チームの性能をクローズドな形でシンポジウムの参加者に対してのみ共有します．各チームが自身の評価用データの性能や匿名化されたチーム名を原稿や発表資料に含めるのは構いません（義務ではありません）． ただし，他のチームの所属や性能の公表はご遠慮ください．
重要日程