評価方法

評価指標

応募されたアルゴリズムは，以下の二つの観点から評価します．

アルゴリズムの性能
アルゴリズムの独創性

アルゴリズムの性能

アルゴリズムの性能は正確性および効率性の二点から評価します．正確性については，ターゲット認識器 f とクローン認識器 g の出力が一致しているほど正確であるとしますが，その指標として何が妥当であるかは，ターゲット認識器 f がシングルラベル認識器かマルチラベル認識器かによって異なります．本コンテストでは正確性の指標を次のように設定します．

正確性の指標
- レベル1（シングルラベル認識器）
  - 純粋に認識結果の一致率で評価します．
  - 評価用データセット D={x_i | i=1, ... , n} に対し，f(x_i)=g(x_i) となるデータの個数を m とすると，一致率は 100 × n/m [%] で定められます．これを指標として用います．

レベル2, 3（マルチラベル認識器）
- 適合率および再現率から計算されるF値で評価します．
- 単一のデータ x_i に対し，ターゲット認識器による認識結果ラベルの集合を f(x_i) ，クローン認識器による認識結果ラベルを g(x_i) とすると，x_i に関する適合率・再現率・F値は次のように定められます．
  - 適合率： P(x_i) = |f(x_i)∩g(x_i)| / |g(x_i)|
  - 再現率： R(x_i) = |f(x_i)∩g(x_i)| / |f(x_i)|
  - F値： F(x_i) = 2P(x_i)R(x_i) / (P(x_i)+R(x_i))
- 上式を評価用データセット D={x_i | i=1, ... , n} 中の全てのデータに対し適用し，その平均を最終的な指標として用います．

一方，効率性は，如何に少ないサンプル数で同等の正確性を実現できるか，という尺度になりますので，上述の正確性と切り離して単独で評価することは困難です．そこで，正確性の評価指標を次のように拡張し，効率性も併せて評価します．

効率性も含めた評価指標
- M 本のサンプルから学習したクローン認識器の正確性を A_M とします．A_M は，レベル1の場合は認識結果の一致率，レベル2, 3 の場合はF値の平均となります．
- まず，A_M を様々な M について算出します．
- 次に，横軸に M ，縦軸に A_M を取ってROC曲線をプロットします．
- ROC曲線と M 軸に囲まれた部分の面積（AUC）を最終的な評価指標とします．

アルゴリズムの独創性

本コンテストではアルゴリズムの性能とは別に，アルゴリズムの独創性・創意工夫を含めて総合的に評価します．必ずアルゴリズムのアピール点を説明書に盛り込んでください．ソースコードのみでは，これらを十分に評価できない可能性があります．

Google Sites

Report abuse