データセットの内容,競技のために配布される評価データ,評価方法,提出方法について説明します.
RoboCupサッカーシミュレータによって生成された試合データを提供します:
データセット: https://github.com/hidehisaakiyama/RoboCup2D-data/
このデータセットにはRoboCup2024に出場した10チームによる総当たり戦の各2000試合(1試合10分強のため,試合時間は総計15,000時間分以上)が含まれています.提供されるデータの詳細はデータセット配布元や本サイトのチュートリアルを参照してください.
サッカー競技中の「ゴールが決まる3秒前からゴールに至るまでの選手とボールの移動経路」を予測します.予測する対象は,RoboCup2024に出場した10チームのいずれかによって新規に実行した試合となります(データセットに含まれるhelios2022とhelios2023は対象外).
参加者には,データセットに含まれるものと同形式のファイルがテストデータとして配布されます.テストデータは以下の条件を満たすものとします:
対象のゴールに至るまでにplay_on(通常のプレイ状態)が連続して50フレーム以上ある(1フレーム=0.1秒なので,50フレーム=5秒)
対象のゴール時点から手前の30フレーム(3秒分)が削除されている
対象のゴール以降のデータはすべて削除されている
このテストデータに対して,ゴールに至るまでの選手とボールの移動位置を予測し,.tracking.csv の続きを作成することが目的となります.テストデータは複数配布されます.それらに対してそれぞれ軌道を予測し,提出してください.
終端誤差(endpoint error,ゴールシーンのフレームにおける予測誤差)で評価することを予定しています.
[2025-02-01] 予測対象とするのは,ボール+左チーム選手11体,とします.右チーム選手の予測結果は評価の対象としません.テストデータは10ゴールシーンです.それらの予測を行い,各シーンでの予測誤差(全物体の予測誤差の平均値)を求めます.最終的に,10ゴールシーンの予測誤差の平均値を用います.
[2025-02-01] 評価用のプログラム,および,提出データの例を公開しました.以下リンク先より入手可能です.いずれも同じ内容です.example.zip に例となるデータの一式が含まれています.
[2025-02-18] 評価用のプログラムを更新しました.提出用データ検証用スクリプトを追加しました.詳しくはREADME.mdを参照してください.
https://github.com/open-starlab/STP-challenge-2025
example 以下に評価用プログラムおよび提出データの例が含まれています
[2025-02-18] evaluation.pyの修正: 左チーム選手とボールが終端誤差の計算対象となるように修正されました(右チーム選手が除外されました)。
[2025-02-18] validate_submission.pyの追加: 提出データが要件を満たしているか確認するためのスクリプトが追加されました.
[2025-02-01] テストデータを公開しました.以下リンク先より入手可能です.いずれも同じ内容です.
https://drive.google.com/file/d/1DfXLHEhBkl-ueVGzTusmnzlIUpuCUz4R/view?usp=drive_link
http://alab.ise.ous.ac.jp/robocupdata/2025-03-stp-challenge/
test-data.zip に10試合分のデータが含まれています.これらは,条件を満たすゴールシーンの30フレーム前までで切り取られたものになっています.これらを入力とし,ゴールシーンまでの選手・ボールの軌道を予測してください.
評価用データのファイルを一つのzipファイルに圧縮し,参加申込・投稿 ページの評価用データの提出フォームから提出してください.
[2025-02-01] 評価用データのファイル名は,各試合の.tracking.csvと同一のファイル名にしてください.例えば,AEteam_1-vs-Oxsy_0 の試合に対する予測結果のファイルは,AEteam_1-vs-Oxsy_0.tracking.csv という名前にしてください.
再現性を確認するために,使用したプログラムの提出を求める場合があります.
表彰対象者は以下の提出を求められます.詳細は評価用データの最終提出後に対象者へ連絡します.
データ作成に使用したプログラムコード
手法を説明したTechnical Paper