開発データ・評価データ

対話破綻検出チャレンジ用に収集した開発データ・評価データを公開いたします．

1. 内容

本データは対話破綻検出チャレンジの評価用に収集したものです．

本データはNTTドコモが一般公開している雑談対話APIを用いた雑談対話システムとユーザが21発話からなるやりとりを行った対話データで，100対話が収録されています．

各システム発話に対して，対話破綻（対話を継続することが困難）かどうかのアノテーションが3段階で付与されています．30人のアノテータによるアノテーションが付与されています．

対話もアノテーションもクラウドソーシングによって不特定多数のユーザが実施しています．

アノテーションした100対話のうちランダムに選択した20対話を開発用データ（dev）とし，残り80対話を評価用データ（test）としています．

開発データ(dev)：20対話

評価データ(test)：80対話

雑談対話コーパスは対話研究者を中心としたメンバーによって対話・アノテーションが行われていますが，開発・評価データはクラウドソーシングを用いて一般のユーザによって対話・アノテーションが行われています．そのため，データの質が異なる可能性を考慮し，対話破綻検出チャレンジでは開発データを事前に参加チームに配布し，雑談対話データと評価データの違いを考慮できるようにしました．その後，評価データによって参加チームの性能評価を行いました．

2. 収集方法

雑談対話コーパスを収集した際と同様のフローを用いて，クラウドソーシングで募集した不特定多数のユーザから100 対話の対話データを集めています．

対話破綻アノテーションも同じくクラウドソーシングによって不特定多数のユーザに依頼し，各対話30名で行っています．

対話データの収集にはCrowdWorks を用い，アノテーションにはYahoo!クラウドソーシングを用いています．どちらも性別・年齢の統制は行っていません．

学習用データへのアノテーションは専用のツールを用いましたが，開発・評価用ではクラウドソーシングのシステム上それができないため，クラウドソーシングのシステムが提供するインタフェースを用いて，専用ツールによるアノテーションに可能な限り近い設定になるようにしています．

各発話のアノテーションに際して，対話の先頭からアノテーション対象の発話までしかアノテータに見えないようにしているのは，専用ツールによるアノテーションと同じです．

3. 謝辞

人工知能学会から助成金を頂いて収集しています．

4. 開発データ・評価データのライセンス

本データはMITライセンスのもと，無償・無保障にて研究用・商用を問わず利用できます．ただし，本データを利用して得た成果を学会等で発表する際には，可能な限り，本データについての以下の報告・論文を引用するとともに，NTTドコモの雑談対話APIへの参照をお願いします．詳細は本データに同梱されているライセンスをご覧ください．

○ 研究報告

対話破綻検出チャレンジ

The Dialogue Breakdown Detection Challenge

東中 竜一郎,船越 孝太郎,小林 優佳,稲葉 通将

人工知能学会 言語・音声理解と対話処理研究会 第75回(第6回対話システムシンポジウム), pp.27-32, 2015-10-29

○ 雑談対話APIサイト:

https://www.nttdocomo.co.jp/service/developer/smart_phone/analysis/chat/

5. ダウンロード

こちらからダウンロード下さい．

開発データ（48k）

評価データ（188k）

ライセンス

6. お問い合わせ先

対話破綻検出チャレンジ事務局

dialoguebreakdowndetection-admin＜at＞googlegroups.com

(＜at＞を@に置き換えてください)