対話破綻検出チャレンジ用に収集した開発データ・評価データを公開いたします．
1. 内容
本データは対話破綻検出チャレンジの評価用に収集したものです．
本データはNTTドコモが一般公開している雑談対話APIを用いた雑談対話システムとユーザが21発話からなるやりとりを行った対話データで，100対話が収録されています．
各システム発話に対して，対話破綻（対話を継続することが困難）かどうかのアノテーションが3段階で付与されています．30人のアノテータによるアノテーションが付与されています．
対話もアノテーションもクラウドソーシングによって不特定多数のユーザが実施しています．
アノテーションした100対話のうちランダムに選択した20対話を開発用データ（dev）とし，残り80対話を評価用データ（test）としています．
開発データ(dev)：20対話
評価データ(test)：80対話
雑談対話コーパスは対話研究者を中心としたメンバーによって対話・アノテーションが行われていますが，開発・評価データはクラウドソーシングを用いて一般のユーザによって対話・アノテーションが行われています．そのため，データの質が異なる可能性を考慮し，対話破綻検出チャレンジでは開発データを事前に参加チームに配布し，雑談対話データと評価データの違いを考慮できるようにしました．その後，評価データによって参加チームの性能評価を行いました．
2. 収集方法
雑談対話コーパスを収集した際と同様のフローを用いて，クラウドソーシングで募集した不特定多数のユーザから100 対話の対話データを集めています．
対話破綻アノテーションも同じくクラウドソーシングによって不特定多数のユーザに依頼し，各対話30名で行っています．
対話データの収集にはCrowdWorks を用い，アノテーションにはYahoo!クラウドソーシングを用いています．どちらも性別・年齢の統制は行っていません．
学習用データへのアノテーションは専用のツールを用いましたが，開発・評価用ではクラウドソーシングのシステム上それができないため，クラウドソーシングのシステムが提供するインタフェースを用いて，専用ツールによるアノテーションに可能な限り近い設定になるようにしています．
各発話のアノテーションに際して，対話の先頭からアノテーション対象の発話までしかアノテータに見えないようにしているのは，専用ツールによるアノテーションと同じです．
3. 謝辞
人工知能学会から助成金を頂いて収集しています．
4. 開発データ・評価データのライセンス
本データはMITライセンスのもと，無償・無保障にて研究用・商用を問わず利用できます．ただし，本データを利用して得た成果を学会等で発表する際には，可能な限り，本データについての以下の報告・論文を引用するとともに，NTTドコモの雑談対話APIへの参照をお願いします．詳細は本データに同梱されているライセンスをご覧ください．
○ 研究報告
対話破綻検出チャレンジ
The Dialogue Breakdown Detection Challenge
東中 竜一郎,船越 孝太郎,小林 優佳,稲葉 通将
人工知能学会 言語・音声理解と対話処理研究会 第75回(第6回対話システムシンポジウム), pp.27-32, 2015-10-29
○ 雑談対話APIサイト:
https://www.nttdocomo.co.jp/service/developer/smart_phone/analysis/chat/
5. ダウンロード
こちらからダウンロード下さい．
開発データ（48k）
評価データ（188k）
ライセンス
6. お問い合わせ先
対話破綻検出チャレンジ事務局
dialoguebreakdowndetection-admin＜at＞googlegroups.com
(＜at＞を@に置き換えてください)