最近はilluminaにかわりMGIのDNBSEQが安価で、~150 bpくらいのショートリードシーケンスでは台頭しつつあります。そこで、BGIから送られてきたデータのダウンロード方法をまとめておきます。
BGIからのデータはAWS (Amazonのクラウドサービス) で送られてきます。シーケンスデータのfastqファイルはいくつかに分かれている場合が多いので、一つずつしかダウンロードできないS3のマネジメントコンソールは使用しづらいです。そこでAWSのCUIバージョン (AWS CLI) を使用しています。
AWS CLIの使い方
AWS CLIのインストール
AWS CLIをインストールしてください。
公式ドキュメント：https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html
AWSのIDやパスワードなどの入力
aws configure
を実行するとAWS Access Key IDやAWS Secret Access Keyを入力するように求められるので、それにしたがって入力する。BGIからのデータの場合はDefault region nameとDefault output formatは入力しなくてOKです。
AWSからローカルにコピー
aws s3 cp s3://backetname/ /local/directory/ --recursive
s3://backetname/はリモートのバケットの名前 (BGIからのデータならS3 Bucketとかいてあります)、/local/directory/はダウンロードしたいローカルのディレクトリにしてください。
バージョン情報など
OS: Ubuntu 18.04.6 LTS
$ aws --version
aws-cli/2.11.10 Python/3.11.2 Linux/5.15.0-89-generic exe/x86_64.ubuntu.20 prompt/off
最終更新日：2023年12月28日