参加者は破綻検出結果をjson形式で出力し，事務局に提出していただきます．
本ページでは，そのフォーマットについて説明します．
また，配布している評価スクリプトの入力形式もこのフォーマットです．
ファイルの命名規則
破綻検出対象となる対話ファイルは，「(10桁のdialogue-id).log.json」となっています．
破綻検出結果のファイルは，同じ10桁のdialogue-idを用いて，「(10桁のdialogue-id).labels.json」と命名してください．
例えば，対話ファイル「1408278293.log.json」の破綻検出結果ファイルは「1408278293.labels.json」となります．
破綻検出結果ファイルの書式
破綻検出結果はJSON形式で出力します．
以下が破綻検出結果の例です．
{
"dialogue-id" : "1408278293",
"turns" : [ {
"turn-index" : 0,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 0.8,
"prob-T" : 0.2,
"prob-X" : 0.0
} ]
}, {
"turn-index" : 2,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 0.75,
"prob-T" : 0.15,
"prob-X" : 0.10
} ]
}, {
"turn-index" : 4,
"labels" : [ {
"breakdown" : "X",
"prob-O" : 0.0,
"prob-T" : 0.0,
"prob-X" : 1.0
} ]
}, {
・・・
}, {
"turn-index" : 18,
"labels" : [ {
"breakdown" : "T",
"prob-O" : 0.2,
"prob-T" : 0.6,
"prob-X" : 0.2
} ]
}, {
"turn-index" : 20,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 1.0,
"prob-T" : 0.0,
"prob-X" : 0.0
} ]
} ]
}
各項目の詳細は以下の通りです．
dialogue-id ： 対話IDです．対話データのdialogue-idと一致している必要があります．
turns ： 発話のデータとその破綻検出結果が入ります．
turn-index ： 発話IDです．対話データのturn-indexと一致させる必要があります．今回のチャレンジでは，対話システムの発話IDは常に偶数ですので，破綻検出結果には偶数の発話IDのみが使用されます．
labels ： 破綻検出結果が入ります．
breakdown ： 三段階の破綻検出結果 ( O or T or X )が入ります．
prob-O ： 破綻検出結果がOである確率が入ります．
prob-T ： 破綻検出結果がTである確率が入ります．
prob-X ： 破綻検出結果がXである確率が入ります．