タスクトラック

タスクトラックのシステム仕様・評価について

タスクトラックでは，高度な課題においてタスク達成を実現する能力を競います．

今回のタスクトラックにおいて，参加チームは旅行代理店における対話タスクである「観光地決定タスク」にチャレンジします．このタスクでは，カウンターセールス役となった対話システムが，対話を通してお客様の要望に応えます．

予選では，オーガナイザ側が準備する作業者により評価を実施します．本選では，オーガナイザが指定する対話者がそのシステムと会話をし，ライブコンペの参加者全員が評価します．

「観光地決定タスク」

実際の旅行代理店では様々な対話が行われますが，本タスクで，参加チームは下記のような状況で対話を行うシステムを開発します．

• システムはカウンターセールス役になります．

• お客様は1名です．日本語で話します．

• お客様の来店目的は，自身の観光目的にあった観光プランを決定することですが，今回のタスクでは具体的なプラン作成をする前段階となる，「旅行の中心となる1箇所の観光地を日本全国から決定すること」とします．

• お客様は観光目的や旅行で求める体験がありますが，それを満たす観光地に迷っている状況です．

  • 観光目的の例：「絶景・夜景が見たい」「リラックスできる旅がしたい」「社員旅行がしたい」etc.

• システムの目的は，お客様の観光目的を把握し，お客様が満足するような観光地の決定をサポートすることです．

• 対話時間は10分以内です．

「観光地決定タスク」における対話者への指示

対話者には事前に以下の指示を伝えます．

• 観光目的が記述されているカードを5枚引き，その中から2枚を選択してください．選択した2枚のカードに記述されている目的を両方同時に満たしたいお客様として相談してください．

• 具体的に行きたいところが決まっていないので．最終的に旅行の中心となる1つの観光地を決めることが目的です．

• 実際に自分が行くつもりで相談してください．

• システムとは最大10分程度，対話する時間があります．

• システムから，名前や年齢など旅行計画に必要な個人情報を聞かれるかも知れませんのでご了承ください．もし個人的なことを言いたくない場合は，お答え頂かなくても結構ですし，仮名などでお答え頂いても結構です．

「観光地決定タスク」の規則

• 参加者は観光地情報のデータベースとして，「るるぶDATA」のAPIが運営から提供されます．

• 対話の目的「旅行の中心となる1箇所の観光地を日本全国から決定すること」における「観光地」とは，るるぶDATAに含まれる観光地を指します．

  • 対話の最後の発話では，決定した観光地について言及してください．

  • 周辺の観光地を提案することは自由に行うことができます．

• 対話中に対話者の個人情報（名前や年齢など）を聞くことについてのガイドライン

  • 対話システムが対話者から名前，年齢，好みなど旅行の計画に必要な情報は聞いてもよいとします．

  • 対話者には，対話前の説明時に次のように伝えることとします．

    • 『システムから，名前や年齢など旅行計画に必要な個人情報を聞かれるかも知れませんのでご了承ください．もし個人的なことを言いたくない場合は，お答え頂かなくても結構ですし，仮名などでお答え頂いても結構です．』

  • 対話システムを構築する上では，対話者の個人的な情報を聞いた際に，対話者が答えない可能性も想定してください．

• 開発期間中，観光目的が記述されたカードのリストは公開されません．任意の目的に柔軟に対応できるシステムを構築してください．

• 対話システムはモニタ上に，画像，観光地名，観光地に関連する地図を表示することができます．モニタ上の表示内容は対話中に変更しても構いません．

  • 画像・地図の表示方法については，以下のリンクで配布される「Travel Viewer」のみ使用可能とし，変更不可とします．

    • Travel Viewer: https://dslc7.github.io/travel-viewer/

    • README: https://github.com/dslc7/travel-viewer/blob/main/README.md

    • Travel Viewerはタスクトラックの画面上にある，ディスプレイの枠の中にブラウザを配置して使用します．下の「Travel Viewerの配置位置」の画像を参考にしてください．

  • 表示可能な画像はるるぶDATA APIが提供する画像のみとします．

  • 観光地に関する地図は，クエリとズームをパラメータとしてGoogleMapにアクセスした地図を表示できることとします．他の機能（ルートの表示等）の使用は禁止とします．

• 音声合成には Azure API の ja-JP-NanamiNeural を用いてください．他の音声合成の使用は禁止します．

• 指定のMMDAgent-EXの設定 (travel.mdf) を使用してください．CGアバター・背景・各種配置等の変更を禁止します．

• ユーザから「システムリセット」の発話を受け取ったのち、システム側からユーザに話しかけて対話を開始してください．開始の発話は任意とします．

評価方法・基準

対話システムは，「対話者の満足度」「目的に沿った観光地を決定できたか」というタスクの達成度に関する2つの観点から評価されます．両方のスコアの順位が高い参加チームを高く評価します．
（評価基準には，若干の変更の可能性があります）

予選のアンケートの内容

• 「対話者の満足度」という観点に関しては以下の項目で，それぞれ7段階で評価します：

• Inf.：観光地の情報を十分に聞くことができましたか？ （情報の十分さ）

• Nat.：システムとは自然に対話できましたか？ （対話の自然さ）

• App.：システムの対応は適切でしたか？（対話の適切さ）

• Ple.：システムの対応は好ましいものでしたか？（対応の好ましさ）

• Sat.：システムとの対話に満足しましたか？（対話の満足度）

• Tru.：システムのことを信頼できましたか？ （システムの信頼度）

• Use.：観光地を選ぶのにシステムから得られた情報を参考にしましたか？（情報の参考度）

• Rel.：システムの提供する情報は正しいと思いましたか？（提供された情報の信頼性）

• Ret.：またこの旅行代理店を訪れたいと思いますか？ （再来店したい度合い）

• Exp.：旅行に対する期待感を持つことができましたか？（旅行への期待度）

• 「目的に沿った観光地を決定できたか」という観点に関しては以下の項目で評価します：

• • Suc.：最終的に一つの観光地を決定できましたか？ （Yes/No）

  • Obj.：提供された観光地は，それぞれの観光目的カードに記述されている目的を満たしていますか？（対話者が選択した2枚のカードそれぞれについて7段階）

評価の流れ

評価者には，対話の相手がシステムであることはあらかじめ通知されます．対話システムは上記の評価方法・基準に基づき評価されます．

予選では，オーガナイザが準備する作業者により主観評価されます．予選で高い評価を得たシステムが，ライブイベント（本選）に参加できます．ライブイベントではオーガナイザが指定する対話者がシステムと対話し，その状況をオーディエンス全員で鑑賞・評価します．なお，予選の前に疎通に問題ないか，最低限の対話ができるかなどを確認するためのスクリーニングを，オーガナイザ側で実施します．本スクリーニングを通過しなかったシステムはその時点で評価の対象外となります．