データのダウンロード

1. データダウンロードの概要

PFタンパク質結晶構造解析ビームラインでは、実験データのダウンロードサーバーの運用を2021年秋のビームタイムより開始しています。ビームラインのデータストレージにある測定データおよび処理解析パイプラインの実行結果は、ユーザーの設定に従い、ダウンロードサーバーへとコピーされます。ダウンロードサーバーにコピーされたデータは、Webブラウザないし専用クライアントソフトウェアを用いて自身のローカルストレージにダウンロードすることが出来きます。

2022年5月より非来所実験(全自動測定とリモート実験)における実験データのバックアップは、ダウンロードサーバーを用いて行っていただくようお願いします。これにより試料に同梱されたHDDにBLスタッフがデータをバックアップするサービスは原則廃止いたします。

2. データのアップロード方法

ダウンロードサーバーへのアップロードはPReMoを通じて行われますが、自動アップロードと手動アップロードの2つの方法があります。

自動アップロード設定が有効となっていると、実験データやパイプラインの処理結果がPReMoに登録されるタイミングで当該データのアップロードが行われます。

3. データのダウンロード方法

データをダウンロードする方法としてはWebブラウザを用いる方法と専用クライアントを用いる方法があります。前者は簡便ですが、多量のデータのダウンロードには適しません。一方で、後者はソフトウェアのセットアップが必要ですが、自動的にダウンロードサーバーと同期をするので、ビームタイムの進行と同時に自動的にローカルストレージにもデータがダウンロードされる、というメリットがある。また多量のデータのダウンロードにも向いています。

3.1 Webブラウザを用いる方法

!!!注意点!!!!

ディレクトリや複数ファイルをまとめてダウンロードする場合には1つのzipファイルとしてダウンロードされます。大容量のデータをダウンロードする場合には、ダウンロードに長時間を要しそのダウンロード中にエラーが起きるとイチからダウンロードをやり直しとなります。また、大きなzipファイルを解凍するにも時間がかかります。

3.2 専用アプリを用いる方法

!!!注意点!!!!

専用クライアントを用いたダウンロードは正確には「同期」です。したがってダウンロードサーバー上でデータが消去されると、同期しているローカルストレージ側でもデータが消去されます。

ダウンロードサーバー上のデータはストレージの容量の関係から1ヶ月で消去するので、ビームタイム終了後には必ず同期が完了したことを確認して、同期を解除する、ないしはさらにコピーを取るなどを行ってください。

  • 専用アプリのインストール

  • 専用アプリの同期設定

4. 注意点

  • データダウンロードサーバーのストレージ容量は60TB程度であり、1ヶ月で自動的に消去されます。データが消去していた場合にはビームラインストレージから再アップロードを行ってください。。(ビームラインストレージも通常3ヶ月程度でデータを消去しています。)

  • 専用クライアントを用いて同期をしている場合、ダウンロードサーバー上でデータが削除されると、ローカルストレージ側もデータが削除されてしまいます。それまでに同期設定を解除する、もしくはさらにバックアップを取る、などの対応をしてください。

  • データのダウンロード速度は利用者のネットワーク環境に大きく依存していますが、これまでの経験では20 MB/sec.程度が平均で出ています。(この場合500GBが約7時間でダウンロードされます。)