応募されたアルゴリズムの評価を,次の三つの観点で行います.
認識率によりアルゴリズムの性能を評価します。指定された矩形に含まれる文字のUnicodeを正しく出力できていれば、高い評価となります。評価用のデータセットはコンテスト終了後に公開される予定です。
ひとつの矩形にはひとつの文字があります。100個の矩形があったとすると、100文字が評価対象です。
50個正解した場合、正解率は50%と計算します。
ひとつの矩形に3つ以上の文字があります。100個の矩形があり、その中に1,000文字が含まれていたとすると、各1,000文字が認識対象です。
250個正解した場合、正解率は25%と計算します。
本コンテストではアルゴリズムの性能とは別に、アルゴリズムの独創性・創意工夫を含めて総合的に評価します。必ずアルゴリズムのアピール点を説明書に盛り込んでください。ソースコードのみでは、これらを十分に評価できない可能性があります。
実装したアルゴリズムの実行に要した処理時間を評価します。データの読み込みと点数計算の時間は含めません。
本コンテストは、大勢の古典籍の専門家の方からのご協力を頂いております。応募されたアルゴリズムを専門家の視点からも評価する予定です。例えば、古典籍の年代や筆者の違いに頑健である、もしくは、類似文字を正確に認識できている、などが考えられます。性能以外で、特色あるアルゴリズムを評価していく予定です。