Dialogue Robot Comp.

Results

予選結果についての詳細は，ProceedingsのDRC2022 overviewのarticleを参照ください．

予選会結果

予選会出場チーム（12チーム＋実行委員で準備したベースラインシステム）
CIS / d-itlab / DSML-TDU / Flow / irisapu / ISC22 / LINE / MIYABI / MIYAMA / OS / ponponkichi / SZK-L / baseline
評価方法
- 日本科学未来館にて，未来館来場者に各チームの対話システムで動作するアンドロイドと対話してもらい，アンケートで下記の項目について評価してもらった．
- 印象評価（9項目．合計で0～63点）
  1. 満足して遊びに行く観光地を選ぶことができましたか？（選択の満足度）（7点）
  2. .観光地の情報を十分に聞くことができましたか？（情報の十分さ）（7点）
  3. ロボットとは自然に対話できましたか？（対話の自然さ）（7点）
  4. ロボットの対応は適切でしたか？（対話の適切さ）（7点）
  5. ロボットの対応は好ましいものでしたか？（対応の好ましさ）（7点）
  6. ロボットとの対話に満足しましたか？（対話の満足度）（7点）
  7. ロボットのことを信頼できましたか？（ロボットの信頼度）（7点）
  8. 観光地を選ぶのにロボットから得られた情報を参考にしましたか？（情報の参考度）（7点）
  9. またこの旅行代理店を訪れたいと思いますか？（再来店したい度合い）（7点）
- アンドロイドのお薦め効果（-100～100点）

体験者が“お薦め観光地”に対して，行ってみたいと思っている度合いが，対話前後で，どれだけ変化したかを数値化して評価する（値が大きいほど，”お薦め観光地”に対して行ってみたい思う度合が，対話後に強くなったことを示す）．

- 各チームの評価結果（全体験者の平均値）を，印象評価の9項目合計点数と，お薦め効果点数の2軸の散布図でプロットし，印象評価とお薦め効果の両方で高い評価を得ているクラスターを抽出し，そのクラスターに含まれるチームを本選進出チームとした．また，baselineより上位の評価を得たチームを入賞とした．
結果
- 本選会に進出したチーム

MIYAMA / LINE / OS

入賞チーム
CIS / DSML-TDU / irisapu / MIYABI / SZK-L

本選会評価について

本選会出場チーム（3チーム）
MIYAMA / LINE / OS
評価方法
- 審査員：実行委員4名＋旅行代理店業務経験者1名の計5名
  東中竜一郎（名古屋大学大学院情報学研究科）
  港隆史（理化学研究所／国際電気通信基礎技術研究所）
  西崎博光（山梨大学総合研究部）
  長井隆行（大阪大学大学院基礎工学研究科）
  中村光恵（株式会社JTBパブリッシング）
- IROS2022のRobot Competition会場にて，アンドロイドを設置し，審査員が各チームの対話システムで動作するアンドロイドと対話して評価する．また，各チーム代表者は，開発したシステムについて，審査員（および聴衆）に対して，口頭発表を行う．
- 採点方法：1チームあたり，2試行の対話を実施．各試行で，5名の審査員のうちランダムに割り当てられた審査員が対話し，対話した審査員は自身が対話した際の印象を，他の4名は第三者視点での印象を評価．加えて技術点も評価．
- 評価項目は，下記の5つの観点．各チームの評価は，1項目10点（5満点×2試行）×5項目×5名分×2試行＝250点満点．
  1. 観光地の情報が十分に提供されているか？（情報の十分さ）（5点）
  2. ロボットとの対話は自然だったか？（対話の自然さ）（5点）
  3. ロボットの対応は好ましいものだったか？（対応の好ましさ）（5点）
  4. ロボットとの対話は満足できるものだったか？（対応の満足度）（5点）
  5. 高い技術が使われていると感じたか？（技術点）（5点）
    - 実行委員から選ばれた審査員4名は，ロボティクス，音声認識・対話，対話システムなどの観点における技術点を，旅行代理店業務経験者の審査員は，接客の観点における技術点を評価する．