A First Course in Atmospheric and Oceanic Data Analysis

modis_old

MODISデータのファイル名の意味

https://modisatmos.gsfc.nasa.gov/products_filename.html

[1] csv形式のデータファイルリスト作成

今回使用するデータ

センサーはMODIS/AQUAとMODIS/TERRAの２つ

プロダクトは、Clouds L2 Swarth 1k amd 5km

格子化される前の雲に関する下記の物理量

https://ladsweb.nascom.nasa.gov/search/

にアクセスし、

1Products から3Location までの情報を入力し、4Files をクリックする。

1 Products

Sensor MODIS: Aqua

Cloud Properties: MYD06_L2

2 Time

2011-01-19 - 2011-01-25

Coverage Selection:

Day, Night, Day-Night Boundary

3 Location

Select Area of Interest

Draw Custom Box (Classic)

Current selection -40.7W, 82.1N, 34.9E, 57.1S

4 Files

Select all

右側の上部に表示されるDownload as json or csvのcsvをクリックする

MODISデータのファイル一覧を記したcsvファイルがダウンロードされる。

今回の例では: LAADS_query.2017-04-04T06-48.csv

というファイルが作成された

MODIS/TERRAについても同様のcsvファイルを作成する

MODIS/TERRAについては、Cloud PropertiesはMOD06_L2となる。（YがOに変わっている。）

[2] MODISデータファイルのダウンロード

[2017年 4月 4日火曜日 15:32:31 JST]

[~/install/rip4_131019/RIP4]

[am@aofd165]

$ cd /mnt/raid112MANDA/data

$ cd MODIS/

$ mkdir -vp hdf.PL1101

$ cd hdf.PL1101/

csvファイルをアップロードする。

$ ls -lh

合計 28K

-rw-rw-r-- 1 am am 26K 4月 4 15:48 LAADS_query.2017-04-04T06-48.csv

csvファイルの名前変更

AQUA用のcsvファイル：

$ mv CSVファイル名 AQUA.年.csvとする

例：mv LAADS_query.2017-04-04T06-48.csv AQUA.2011.csv

TERRA用のcsvファイル：

$ mv csvファイル名 TERRA.2011.csv

ダウンロード用スクリプトの準備

末尾に記載した、

modis_datadownload.pl

modis_datadownload.run.sh

をカレントディレクトリにコピーする

modis_datadownload.run.shを適宜変更する

year_list="2011"

を必要に応じて変更する。片方のセンサーのデータしか使わない場合

sensor_list="TERRA AQUA"

も適宜変更する。

ダウンロード用スクリプトの実行

$ modis_datadownload.run.sh

ダウンロードは相当時間がかかるので注意。早めに準備しておくこと。

[2017年 4月 4日火曜日 16:57:29 JST]

[/mnt/raid112MANDA/data/MODIS/hdf.PL1101]

[am@aofd165]

$ srcdump.sh modis_datadownload.run.sh modis_datadownload.pl; head AQUA.2011.csv ; echo;echo;echo;head TERRA.2011.csv

------------------------------

List of the following files:

------------------------------

modis_datadownload.run.sh

modis_datadownload.pl

------------------------------

Machine info

------------------------------

aofd165.bio.mie-u.ac.jp

/mnt/raid112MANDA/data/MODIS/hdf.PL1101

Tue Apr 4 16:57:42 JST 2017

======================

modis_datadownload.run.sh

======================

#!/bin/bash

pl="modis_datadownload.pl"

if [ ! -f $pl ]; then

echo ERROR in $0 : No such file, $pl

exit 1

sensor_list="TERRA AQUA"

year_list="2011"

for YYYY in $year_list; do

for sensor in $sensor_list; do

csv_list="\

${sensor}.${YYYY}.csv \

for csv in ${csv_list}; do

cp -v $csv ${sensor}_list

perl $pl ${sensor}

rm -v ${sensor}_list

echo;echo;echo

done

exit 0

----------------------

End of modis_datadownload.run.sh

----------------------

======================

modis_datadownload.pl

======================

#!/usr/bin/perl

$argn = @ARGV ;

if ( $argn == 1) { $sensor = $ARGV[0] ; } else { print "Sensor type?\n" ; $sensor = <STDIN> ; }

##make directory for downloaded data

$dir_out = $sensor."_out" ;

if (! -e $dir_out) {system "mkdir $dir_out"; }

## open a list of files

$ifile = $sensor."_list" ;

open(in,"<$ifile") ;

@files = <in> ;

close (in) ;

if ($sensor = "TERRA") {$str1 = 'MYD06_L2'; $str2 = 'MYD03'; }

if ($sensor = "AQUA") {$str1 = "MOD06_L2"; $str2 = "MOD03"; }

$str3 = "archive/allData" ; $str4 = "allData";

##download each file

for ($i = 1; $i <scalar (@files); $i++)

{

chomp $files[$i] ;

@arr = split(",", $files[$i]) ;

$c_file = "ftp://ladsweb.nascom.nasa.gov".$arr[1] ;

$c_file =~ s/$str3/$str4/g ;

$g_file = $c_file ;

$g_file =~ s/$str1/$str2/g ;

$g_file = substr($g_file,0,length($g_file)-17)."*hdf" ;

system "wget -nc $c_file ./" ;

system "wget -nc $g_file ./" ;

system "mv -v *hdf $dir_out" ;

}

----------------------

End of modis_datadownload.pl

----------------------

fileId,fileUrls for custom selected,size

1246766771,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0115.006.2014078203539.hdf,18048952

1246768482,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0300.006.2014078203704.hdf,19935659

1246770783,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0435.006.2014078203828.hdf,25910773

1246772295,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0750.006.2014078204005.hdf,23858359

1246772296,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.1245.006.2014078203953.hdf,21639188

1246773290,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.1605.006.2014078204134.hdf,10078695

1246774209,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0615.006.2014078204238.hdf,23481881

1246774210,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0745.006.2014078204228.hdf,18577817

1246777435,/archive/allData/6/MYD06_L2/2011/020/MYD06_L2.A2011020.0925.006.2014078204237.hdf,21369769

fileId,fileUrls for custom selected,size

1585007661,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0135.006.2015049200411.hdf,22172888

1585007662,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0140.006.2015049200433.hdf,14721540

1585034762,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.1310.006.2015049200507.hdf,20559609

1585034970,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0500.006.2015049200556.hdf,13616309

1585035189,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0455.006.2015049200858.hdf,16300662

1585035352,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0130.006.2015049200909.hdf,22996416

1585035509,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0815.006.2015049200923.hdf,12095094

1585061422,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.1945.006.2015049201023.hdf,21359600

1585061594,/archive/allData/6/MOD06_L2/2011/019/MOD06_L2.A2011019.0635.006.2015049201054.hdf,11308266

Google Sites

Report abuse