Results
予選会結果
予選会出場チーム(12チーム+実行委員で準備したベースラインシステム)
DSML-TDU / Flow / irisapu / JERRY_cis / MIYAMA / Nit,Oita / NTT-EASE / ROS / SBIntuitions / Tokuolab / TOM_cis / UEC-IL / baseline評価方法
JTB店舗(ユニモール名古屋店,トラベルゲート天神店)にて,店舗の来客に各チームの対話システムで動作するアンドロイドと対話してもらい,アンケートで下記の項目について評価してもらった.
印象評価(9項目.合計で7~63点)
観光地の情報を十分に聞くことができましたか? (情報の十分さ)(7点)
ロボットとは自然に対話できましたか? (対話の自然さ)(7点)
ロボットの対応は適切でしたか?(対話の適切さ)(7点)
ロボットの対応は好ましいものでしたか?(対応の好ましさ)(7点)
ロボットとの対話に満足しましたか?(対話の満足度)(7点)
ロボットのことを信頼できましたか? (ロボットの信頼度)(7点)
観光地を選ぶのにロボットから得られた情報を参考にしましたか?(情報の参考度)(7点)
ロボットの提供する情報は正しいと思いましたか?(提供された情報の信頼性)(7点)
またこのロボットのサービスを利用したいと思いますか? (再利用したい度合い)(7点)
旅行プランの実現可能性
2カ所の観光地を巡るプランを立てることができましたか?(Yes/No)
(自分の常識で判断して)作成したプランは実現可能と思いますか?(Yes/No)
各チームの評価結果(全体験者の平均値)を,印象評価の9項目平均点数と,プラン実現可能性評価の2軸の散布図でプロットし,印象評価とプラン実現可能性の両方で高い評価を得ているクラスターを抽出し,そのクラスターに含まれるチームを本選進出チームとした.ここで,プラン実現可能性は,上記2つの質問の両方にYesと回答した人数の割合として計算した.また,第2クラスターに含まれるチームを入賞とした.
結果
本選会に進出したチーム
MIYAMA / ROS / JERRY_cis / SBIntuitions
入賞チーム
DSML-TDU / NTT-EASE / TOM_cis / UEC-IL
本選会評価について
本選会出場チーム(4チーム)
MIYAMA / ROS / JERRY_cis / SBIntuitions評価方法
審査員:実行委員3名+旅行代理店業務経験者2名の計5名
東中竜一郎(名古屋大学 大学院情報学研究科)
港隆史(理化学研究所/国際電気通信基礎技術研究所)
西崎博光(山梨大学 総合研究部)
梶浦潤一(株式会社JTB )
伊藤萌(株式会社JTB )日本科学未来館の未来館ホールのステージ上にアンドロイドを設置して,審査員が各チームのシステムで動くアンドロイドと対話する.1次審査では,各チーム1回評価を行う.審査員全員が,全チームの評価を行う.5名の内,1名が実際に対話し,残り4名はその対話を第三者視点で観察し,5名全員がそれぞれ評価点数をつける.5名の合計で各チームの評価とするします.1次審査で上位2チームが2次審査に残る.2次審査でも1次審査と同様に各チーム1回評価し,最優秀を競う.2次審査に進めなかった2チームはどちらも3位とする.また,各チーム代表者は,開発したシステムについて,審査員(および聴衆)に対して,口頭発表を行う.
採点方法:5名の審査員のうちランダムに割り当てられた審査員が対話し,対話した審査員は自身が対話した際の印象を,他の4名は第三者視点での印象を評価.加えて技術点も評価.
評価項目は,下記の5つの観点.各チームの評価は,1項目5点×5項目×5名分=125点満点.
ロボットとの対話は自然だったか?(対話の自然さ)(5点)
ロボットの対応は好ましいものだったか? (対応の好ましさ)(5点)
ロボットとの対話は満足できるものだったか?(対応の満足度)(5点)
お客様が満足できるプランが提供できていたか? (プランの満足度)(5点)
ロボットに高い技術が使われていると感じたか?(技術点)(5点)
実行委員から選ばれた審査員3名は,ロボティクス,音声認識・対話,対話システムなどの観点における技術点を,旅行代理店業務経験者の審査員は,接客の観点における技術点を評価する.
本選会結果
3位(優秀賞):チーム MIYAMA と チーム JERRY_cis
2位(優秀賞):チーム ROS
1位(最優秀賞):チーム SBIntuitions