リーダーボードへの投稿

ここで， <input_file> はシステムに入力される質問データで，以下のような形式の，質問ID qid と質問 question を要素にもつ JSON Lines (jsonl) フォーマットであるとします．

出力する <output_file> は，以下のような形式の，質問ID qid とシステムが予測した解答 prediction を要素にもつ JSON Lines (jsonl) フォーマットであるとします．

参考: 圧縮前のDocker イメージのサイズは，以下のコマンドで確認することができます．

開発の過程で複数のタグの Docker イメージが作られていた場合， docker save したファイルに複数のイメージが含まれ， manifest.json の "RepoTags" にも複数の値（例: <image_name>:v1 と <image_name>:latest など）が設定されている場合があります．その場合は，タグ名を指定して docker save をやり直してください．

1. モデルの訓練

訓練スクリプト train.py を用いて TF-IDF のモデルを訓練します．手順について詳しくは README.md をご覧ください．

2. Docker イメージのビルド

​ Dockerfile を用いて，Docker イメージをビルドします．

Tips: ​以下の工夫により，イメージのサイズを削減することができます．

• apt-get install する時は最後に rm -rf /var/lib/apt/lists/* を行う

• pip install する時は --no-cache-dir を指定し，キャッシュファイルが生成されるのを防ぐ

そのほか，公式の Best practices for writing Dockerfiles も参考にしてください．

3. Docker イメージの動作確認

開発用データセット aio_02_dev_unlabeled_v1.0.jsonl を使って，Docker イメージの動作確認をします．

4. Docker イメージの保存・圧縮

Docker イメージが正しく動作することを確認できたら，イメージをファイルに保存・圧縮します．

1. 質問応答システムの動作に必要なファイルの準備

推論時にシステムが参照できるよう， model/ ディレクトリ以下に，モデルや文書ベクトルのファイルを配置します．

詳しくは model/README.md をご覧ください．

2. Docker イメージのビルド

​ Dockerfile を用いて，Docker イメージをビルドします．

Tips: ​以下の工夫により，イメージのサイズを削減することができます．

• apt-get install する時は最後に rm -rf /var/lib/apt/lists/* を行う

• pip install する時は --no-cache-dir を指定し，キャッシュファイルが生成されるのを防ぐ

そのほか，公式の Best practices for writing Dockerfiles も参考にしてください．

リーダーボードの自動評価システムでは外部への通信が遮断されるため，Docker イメージ内で Hugging Face Transformers などのライブラリを用いる場合は，実行時にモデルやトークナイザがダウンロードされることがないよう，あらかじめファイルがダウンロードされている必要があります．あわせて，ライブラリが外部への通信を試みることによるエラーが発生しないよう，設定をしておく必要があります．

例えば， Dockerfile を用いてイメージをビルドする場合には，以下のような内容を Dockerfile に記述することで，必要なファイルをあらかじめダウンロードし，Docker イメージに含めることができます．

3. Docker イメージの動作確認

開発用データセット aio_02_dev_unlabeled_v1.0.jsonl を使って，Docker イメージの動作確認をします．

Note: --gpus オプションは NVIDIA Container Toolkit がインストールされた環境で有効です．

ここで， <input_dir> は，開発用データセット `aio_02_dev_unlabeled_v1.0.jsonl` が置かれたローカルのディレクトリを， <output_dir> はシステムの予測結果を書き出すローカルのディレクトリを，それぞれ完全パスで指定します．

Docker イメージの実行が終わったら，ローカルの <output_dir>/predictions.jsonl にシステムの予測結果が保存されていることを確認してください．

4. Docker イメージの保存・圧縮

Docker イメージが正しく動作することを確認できたら，イメージをファイルに保存・圧縮します．