HSC Pipeline Tutorial (Under Construction)
HSC Pipeline Tutorial (Under Construction)
Embedded Files
Reference
Reference
Tutorial for the 2019 HSC Data Analysis Workshop: https://hsc.mtk.nao.ac.jp/HSC_Training_tutorial/index.html
HSC Pipeline Manual: https://hsc.mtk.nao.ac.jp/pipedoc/pipedoc_8_e/index.html
Introduction
Introduction
Computing Environment: Multi-wavelength Data Analysis System (MDAS)
※ Note for MDAS users: Some processes use 8 CPU cores. Please check the MDAS system status before running the analysis.
※ For MDAS users, the HSC pipeline and astrometric reference catalogs are already installed.
hscPipe の version: 8.5.3
Contact
If you find any errors or issues in this tutorial, please contact Itsuki Ogami.
For questions regarding data analysis, please contact the Help Desk.
0. Preparation for Data Analysis
0. Preparation for Data Analysis
Environment Setup
Environment Setup
First, run the environment setup commands. These commands must be executed each time you log in to MDAS.
解析ディレクトリの作成
解析ディレクトリの作成
続いて、解析用ディレクトリを準備し、レジストリを作成します。
/lwk/[User Name]/work/HSC の下を確認すると、_mapper という名前のファイルが作られています。これで解析用ディレクトリの準備は完了です。
Brighter-Fatter カーネルの設定
Brighter-Fatter カーネルの設定
hscPipe 5 以降では、１次処理の際に行われる brighter-fatter 効果 (明るい星のような高カウントのピクセルは、有効面積が小さくなり、隣のピクセルに電荷がいきやすい。その結果、天体が広がって見える効果) を取り除くカーネルを自身の解析ディレクトリの下にコピーする必要があります。 以下に方法を示します。
アストロメトリ用カタログファイルへのリンク作成
アストロメトリ用カタログファイルへのリンク作成
hscPipe の CCD 解析では、1次処理の後にアストロメトリ較正、等級原点較正、天体の検出と測定を行います。 その際に外部のカタログファイルを参照します。この時に使用する外部カタログの設定を行います。
hscPipe4 以前ではログインの度に setup astrometry_net_data コマンドを実行する必要がありましたが、hscPipe8 ではこのリンクを作成するだけで良いです。
HSC filterのtransmission curveデータの設定
HSC filterのtransmission curveデータの設定
hscPipe 7 以降では、解析前にHSC filter の transmission curve データの設定を行う必要があります。
以下を実行することで、設定できます。
hscPipe 7 以降では、解析前にHSC filter の transmission curve データの設定を行う必要があります。
以下を実行することで、設定できます。
CCD 欠損データのセット
CCD 欠損データのセット
hscPipe8 では、解析前にCCD欠損データをセットしなければなりません。下記のコマンドの実行してください。
Rawdata の準備
Rawdata の準備
このチュートリアルでは HDFN 領域の HSC データの解析を行います。
なお、時間節約のため中心 6 CCD のみを解析します。
ここで、生データと pipeline 内部でのデータ名について復習しておきましょう (データ名について)。解析コマンドの中でデータを指定する際にも必要になります。
次に、rawdata を解析用ディレクトリに配置し、登録します。
以下のような出力が出たら ok です。
/lwk/[User Name]/work/HSC の下には、BIAS、DARK、DOMEFLAT、HDFN という名前のフォルダと、registry.sqlite3 というファイルが作られています。
では、レジストリに登録された画像の情報を確認しましょう。 registry.sqlite3 に登録された情報は SQL というデータベース言語を用いて検索することができます (SQL の詳細についてはここでは触れません)。
以上で rawdata の準備は終了です。
Page updated
Google Sites
Report abuse