コンペティションの結果の詳細についてはこちら.
予選会出場チーム(11チーム+実行委員で準備したベースラインシステム)
ConNorth / d-itlab / dsml-tdu / easyD / irisapu / kasuga / KSU / nagoya / outy3150 / TeamM&D / tmD / baseline
評価方法
ららぽーとEXPOCITYでアンドロイドと体験者との対面対話で印象評価を行ったが,コロナ禍で十分な体験者数が集まらなかった.そのため,予選会場での対話を記録した映像を用いて,クラウドで印象評価を実施.
評価項目は,下記の8つの観点.
お客様とロボットの対話を第三者視点でどう思うかお答えください.
お客様はロボットから観光地の情報を十分に聞けていましたか? (情報の十分さ[客視点])(1点:そう思わない~7点:そう思う)
.お客様はロボットと自然に対話できていましたか? (対話の自然さ[客視点])(1点:そう思わない~7点:そう思う)
お客様はロボットの対応を好ましく思っていましたか? (対応の好ましさ[客視点]) (1点:そう思わない~7点:そう思う)
お客様はロボットの対応に満足していましたか? (対応の満足度[客視点]) (1点:そう思わない~7点:そう思う)
あなたがこのロボットと対話したお客様だったらという視点でどう思うかお答えください.
あなたはロボットから観光地の情報を十分に聞けたと思いますか? (情報の十分さ[評価者視点]) (1点:そう思わない~7点:そう思う)
.あなたはロボットと自然に対話できたと思いますか? (対話の自然さ[評価者視点])(1点:そう思わない~7点:そう思う)
あなたはロボットの対応を好ましかったと思いますか? (対応の好ましさ[評価者視点]) (1点:そう思わない~7点:そう思う)
あなたはロボットの対応に満足したと思いますか? (対応の満足度[評価者視点])(1点:そう思わない~7点:そう思う)
結果
クラウド評価の結果,下記の上位5チームが本選会に進出.(ベースラインは表彰の対象としないため,本選会では4チームで競う)
TeamM&D / kasuga / dsml-tdu / baseline / d-itlab
本選会出場チーム(4チーム)
TeamM&D / kasuga / dsml-tdu / d-itlab
評価方法
審査員:実行委員4名+旅行代理店業務経験者1名の計5名
東中竜一郎(名古屋大学 大学院情報学研究科)
港隆史(理化学研究所/国際電気通信基礎技術研究所)
西崎博光(山梨大学 総合研究部)
長井隆行(大阪大学 大学院基礎工学研究科)
中村光恵(株式会社JTBパブリッシング )
対話方式:遠隔対話(ATRに設置したアンドロイドを,各チームが遠隔で制御し,Zoom越しにそのアンドロイドと審査員が対話する)
採点方法:1チームあたり,2試行の対話を実施.各試行で,5名の審査員のうちランダムに割り当てられた審査員が遠隔で対話し,対話した審査員は自身が対話した際の印象を,他の4名は第三者視点での印象を評価.
評価項目は,下記の4つの観点.各チームの評価は,1項目10点(5満点×2試行)×4項目×5名分×2試行=200点満点.
観光地の情報が十分に提供されているか? (情報の十分さ)(1点:そう思わない~5点:そう思う)
ロボットとの対話は自然だったか? (対話の自然さ)(1点:そう思わない~5点:そう思う)
ロボットの対応は好ましいものだったか? (対応の好ましさ)(1点:そう思わない~5点:そう思う)
ロボットとの対話は満足できるものだったか?(対応の満足度)(1点:そう思わない~5点:そう思う)
各審査員の採点(2試行の合計)
東中審査員が対話
長井審査員が対話
各審査員の採点(2試行の合計)
西崎審査員が対話
中村審査員が対話
各審査員の採点(2試行の合計)
中村審査員が対話
長井審査員が対話
各審査員の採点(2試行の合計)
港審査員が対話
西崎審査員が対話