提出フォーマット
参加者は破綻検出結果をjson形式で出力し,事務局に提出していただきます.
本ページでは,そのフォーマットについて説明します.
また,配布している評価スクリプトの入力形式もこのフォーマットです.
ファイルの命名規則
破綻検出対象となる対話ファイルは,「(10桁のdialogue-id).log.json」となっています.
破綻検出結果のファイルは,同じ10桁のdialogue-idを用いて,「(10桁のdialogue-id).labels.json」と命名してください.
例えば,対話ファイル「1408278293.log.json」の破綻検出結果ファイルは「1408278293.labels.json」となります.
破綻検出結果ファイルの書式
破綻検出結果はJSON形式で出力します.
以下が破綻検出結果の例です.
{
"dialogue-id" : "1408278293",
"turns" : [ {
"turn-index" : 0,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 0.8,
"prob-T" : 0.2,
"prob-X" : 0.0
} ]
}, {
"turn-index" : 2,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 0.75,
"prob-T" : 0.15,
"prob-X" : 0.10
} ]
}, {
"turn-index" : 4,
"labels" : [ {
"breakdown" : "X",
"prob-O" : 0.0,
"prob-T" : 0.0,
"prob-X" : 1.0
} ]
}, {
・・・
}, {
"turn-index" : 18,
"labels" : [ {
"breakdown" : "T",
"prob-O" : 0.2,
"prob-T" : 0.6,
"prob-X" : 0.2
} ]
}, {
"turn-index" : 20,
"labels" : [ {
"breakdown" : "O",
"prob-O" : 1.0,
"prob-T" : 0.0,
"prob-X" : 0.0
} ]
} ]
}
各項目の詳細は以下の通りです.
dialogue-id : 対話IDです.対話データのdialogue-idと一致している必要があります.
turns : 発話のデータとその破綻検出結果が入ります.
turn-index : 発話IDです.対話データのturn-indexと一致させる必要があります.今回のチャレンジでは,対話システムの発話IDは常に偶数ですので,破綻検出結果には偶数の発話IDのみが使用されます.
labels : 破綻検出結果が入ります.
breakdown : 三段階の破綻検出結果 ( O or T or X )が入ります.
prob-O : 破綻検出結果がOである確率が入ります.
prob-T : 破綻検出結果がTである確率が入ります.
prob-X : 破綻検出結果がXである確率が入ります.