シチュエーショントラック

シチュエーショントラックのシステム仕様・評価について

シチュエーショントラックでは，設定された状況の中で状況に合致した人間らしい対話を行う能力を競います．

今回の状況設定は，「歓迎会の企画を相談する」というシチュエーションです．参加者（システム）は，ユーザからの相談に乗る形で企画を考えます．ユーザとの会話の開始部を含め，ユーザからの相談に応えて一緒に歓迎会の企画する対話システムを作ってください．システムには音声のコントロール，表情や動きのコントロール等，マルチモーダル情報を効果的に利用することが求められます．今回用いるシチュエーションについては，以下のシチュエーションを参照ください．

予選では，オーガナイザ側が準備する作業者により評価を実施します．本選では，オーガナイザが指定する対話者がそのシステムと会話をし，ライブコンペの参加者全員が評価します．

システム仕様・評価基準は本ページに則るものとします．

満たすべきシステムの仕様

評価の観点から，システムは以下の仕様を満たすように作成してください．

後述のシチュエーションで行われる会話（マルチモーダル：音声出力及びアバターのコントロールを含む）であること．
（ユーザのマルチモーダル情報の入力の導入を現在検討しています．仕様等が決まり次第，追って連絡します．）

5分以上システム発話が継続するようにしてください．5分経ったら，対話は終了することとします．

シチュエーション

背景

ユウキ（ユーザ）とシズカ（システム）のゼミの教員である小林先生が，こんど新しく二人の所属する映画サークルの顧問となる．前の顧問の先生が退職したので，ユウキとシズカとで，小林先生に新たな顧問となっていただけないかと相談したところ，快く引き受けてくださった．来週の土曜日に誕生日を迎える小林先生の誕生日パーティーを兼ねて，サークルのメンバーを集めて歓迎会と称して飲み会を開く予定だ．簡単ではあるがプレゼントも用意したい．ユウキはシズカと一緒に企画を立てることにしたが，そろそろ準備をしなければ間に合わない．とにかくシズカと話し合わなくては何も始まらないので，今日の授業が終わったころに，シズカを大学のカフェに呼び出した．

インストラクション

• ユーザ側からの「そろそろ準備しないとね」という発話で会話を開始してください．

システム側

• システムはシズカという名前の女性です．

• ユーザ側は男性の場合も女性の場合もありますが，いずれも名前はユウキです．開発者は，相手に合わせた対話ができるようシステムを開発してください．

• 待ち合わせ場所に現れたユウキが，「そろそろ準備しないとね」と話しかけてきます．これに応答するところから開始し，ユーザ（ユウキ）からの相談に答えてください．

• ユウキと相談しながら，会場(学内か学外か，駅の近くかどうか，どういう会場がよいか等)，歓迎会の規模，プレゼントの値段，会費等の手はずを決めることが目的の会話です．イベントの具体的な内容よりも企画の方向性について相談してください．

• シズカはできるだけ「盛大な歓迎会」の企画をしたいと考えています．

「盛大な歓迎会」の手はずについて，ユーザと相談するシステムを開発してください．

＊最終的に「盛大な歓迎会」の企画をユーザが受け入れたかどうかは評価とは無関係ですが，ユーザに「盛大な歓迎会」の手はずについて相談を行なっていないと判断される場合には，予選を通過できない可能性があります．

• ユウキからは，事前に小林先生の歓迎会を開きたいという話を聞いているものとします．

• シズカとユウキは，互いに名前を敬称（君，さん等）無しで呼び合うものとします．

ユーザ側

• ユーザはユウキという名前です．自身の性別に合わせて話をしてください．

• 前述の「背景」を読み込んでから対話を開始してください．

• 「そろそろ準備しないとね」と話しかけて対話をスタートさせてください．

• ユウキはできるだけ「控えめな歓迎会」を企画したいと考えています．

• ユウキは，シズカが「盛大な歓迎会」をしたいということは知りません．

• 会場(学内か学外か，駅の近くかどうか，どういう会場がよいか等)，歓迎会の規模，プレゼントの値段，会費等について相談し，システムの意見を受け入れつつ，できるだけ費用を抑えた「控えめな歓迎会」になるようにシズカと相談してください．イベントの具体的な内容よりも企画の方向性について相談するようにしてください．

• なお，システムとの会話は所定の時間（5分間）継続してください．

• シズカとユウキは，互いに名前を敬称（君，さん等）無しで呼び合うものとします．

評価方法・基準

対話システムは，以下の３つの観点のそれぞれについて５段階で評価されます．これらの平均を最終的な評価値とします．

※ここでの文脈とはシチュエーションにおける対話状況全般を指します．

評価の流れ

評価者には，対話の相手がシステムであることはあらかじめ通知されます．評価者が対話を開始する際には特定の発話(「システムリセット」を予定）を行うことで，新しい対話の開始をシステムに伝えます．対話はユーザの発話から始まります． 5分経過した時点で対話は終了することとします．対話システムは上記の評価方法・基準に基づき評価されます．

予選では，オーガナイザが準備する作業者により主観評価されます．予選で高い評価を得たシステムが，ライブイベント（本選）に参加できます．ライブイベントではオーガナイザが指定する対話者がシステムと対話し，その状況をシンポジウムの参加者全員でシチュエーショントラックの基準により鑑賞・評価します．なお，予選の前に疎通に問題ないか，最低限の対話ができるかなどを確認するためのスクリーニングを，オーガナイザ側で実施します．本スクリーニングを通過しなかったシステムはその時点で評価の対象外となります．