KUDPC
京大スパコンの使用方法メモ
Last modified: 2014/03/31
*** 以下の情報はすべて下記URLを参考に作成しています ***
スーパーコンピュータの使い方(本家マニュアル) http://web.kudpc.kyoto-u.ac.jp/manual/
A, B, 及び C System での違い
http://www.iimc.kyoto-u.ac.jp/ja/services/comp/services/supercomputer.html
以下の情報は、1ノードあたりを示す。
Aシステム
CPU：32 Cores (AMD Opteron 6200系、Interlagos)
Memory: 64 GB
Bシステム
CPU：16 Cores (Intel Xeon E5系、Sandy Bridge)
Memory: 64 GB
スパコンのログイン方法：
http://web.kudpc.kyoto-u.ac.jp/manual/ja/login
各システムのホスト名：
A: camphor.kudpc.kyoto-u.ac.jp
B: laurel.kudpc.kyoto-u.ac.jp
Mac, Linuxからログインする場合：
(RSA認証キーの作成方法)
http://web.kudpc.kyoto-u.ac.jp/manual/ja/login/pubkey#keygen_mac_linux
(SSH用公開鍵の登録方法)
http://web.kudpc.kyoto-u.ac.jp/manual/ja/login/pubkey#regist
環境設定：
ログインシェルの設定
http://web.kudpc.kyoto-u.ac.jp/manual/ja/config#login_shell
環境設定切り替えソフトウェアの利用
http://web.kudpc.kyoto-u.ac.jp/manual/ja/config#modules
各システムで使用できるコンパイラ・ライブラリ：
http://web.kudpc.kyoto-u.ac.jp/manual/ja/compiler
コンパイラ：
・Aシステムでは、Cray, Intel, PGI, GNU 各コンパイラが使用可能。
・Bシステムでは、Crayコンパイラを除く、上記コンパイラが使用可能。
MPIライブラリ：
・Aシステムでは、CrayのMPIライブラリのみ使用可能。
・Bシステムでは、IntelのMPIライブラリのみ使用可能。
移植されているソフトウェア：
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software
・NetCDF
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#netcdf
・HDF4
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#hdf4
・HDF5
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#hdf5
使用可能なアプリケーションソフトウェア：
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application
・WRF
http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#wrf
プログラムの実行：
会話型処理(A,Bシステム共通)
http://web.kudpc.kyoto-u.ac.jp/manual/ja/run/interactive
Aシステムでのバッチ処理
http://web.kudpc.kyoto-u.ac.jp/manual/ja/run/batchjob/systema
Bシステムでのバッチ処理
http://web.kudpc.kyoto-u.ac.jp/manual/ja/run/batchjob/systembc
ユーザーのジョブを簡易確認
→ $ qs
ジョブを投入できるキューの確認
→ $ qstat -l
ジョブをキューに投入
→ $ qsub < sample.sh
(sample.sh はバッチ処理用ファイル。オススメ設定は以下の文章を参照)
ジョブの状態を確認
→ $ qjobs
投入したジョブをキャンセルする
→ $ qkill [qjobs で表示されるPID]
グループ内のジョブを確認
→ $ qgroup -l
いろいろ試してわかったことログ(for A system)：
・WRFのコンパイル
本家情報(http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#wrf)によると、
$ module load netcdf ; export NETCDF=/opt/app/cray/netcdf/4.1.3/intel/120
とすればインストール済みのNetCDFを使用可能(2013年6月20日追記)。
WRFの場合、OpenMP による計算が MPI 計算よりも劣るため、 dmpar のコンパイルがオススメ。
参考文献: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6641457
・WRFを Intel Compiler でコンパイルする時は
コンパイル前に $ module swich PrgEnv-cray PrgEnv-intel と打つ。
この場合、V3.1.1 ならば configure 時に 8 を選択後、
DM_FC = ftn -f90=$(SFC)
DM_CC = cc -cc=$(SCC)
に変更する。
ちなみにおすすめのコンパイルフラグ( Intel Compilerの場合 )は、
FCOPTIM=-O3 -msse4.2 -unroll0 -fno-alias -ip
もしくは
FCOPTIM=-O3 -msse3 -unroll0 -fno-alias -ip
にすると良い。
・基本的には、qsub で投げる( Iさん, T先生情報 )。
以下のURLからサンプルプログラムを取得し、該当事項を編集する。
http://web.kudpc.kyoto-u.ac.jp/manual/ja/run/batchjob/systembc
・もっと効率良く計算させるためには、
・必要最低限のメモリ
・必要最低限のCPU時間
をあらかじめ計算しその値ぎりぎりに設定して、qsub に投げると良い。
qsub にジョブを投げる場合のバッチファイルの一例(オススメ設定)。
例：
######################################################
#!/bin/bash
#============ LSF Options ============
#QSUB -q gr10001a # 自分のグループIDに変更する
#QSUB -ug gr10001 # 自分のグループIDに変更する
#QSUB -W 48:00 # 経過時間上限値
#QSUB -A p=12:t=32:c=32:m=3840M # p:ノード数
# t:スレッド数
# c:コア数(基本的にtと同じ値を設定)
# m:ジョブ実行時のプロセスあたりの割り当てメモリ量上限値
#============ Shel Script ============
aprun -n $LSB_PROCS -d $LSB_CPUS -N $LSB_PPN ./wrf.exe # プログラムの実行部分
######################################################
いろいろ試してわかったことログ(for B and C system)：
・WRFのコンパイル
・NetCDF, JASPERは自前でコンパイルし、HOME以下においておくほうが良いようだ。
本家情報(http://web.kudpc.kyoto-u.ac.jp/manual/ja/application/software#wrf)によると、
$ module load netcdf ; export NETCDF=/opt/app/cray/netcdf/4.1.3/intel/120
とすればインストール済みのNetCDFを使用可能(2013年6月20日追記)。
・WRFを Intel Compiler でコンパイルする時、mpif90, mpicc ではなく、
「mpiifort」,「mpiicc」 にする。
具体的には、./configure をした後に生成される、configure.wrf 内の
DM_FC = mpiifort
DM_CC = mpiicc
の部分を変更。
→この手法で、WRFV3.1.1、V3.2、V3.2.1、V3.3.1、V3.4、V3.5.1 のコンパイルに成功。
ちなみにおすすめのコンパイルフラグ( Intel Compilerの場合 )は、
FCOPTIM=-O3 -xAVX -unroll0 -fno-alias -ip
または
FCOPTIM=-O3 -xSSE4.2 -unroll0 -fno-alias -ip
にすると良い。
・コンパイル確認済み組み合わせ (2013/10/11追記)
GNU compiler ver.4.4.6, NetCDF ver.3.6.3
WRF ver.3.1.1, 3.2.1, 3.3.1, 3.4.1, 3.5.1
smpar(OpenMP)
PGI compiler ver. , NetCDF ver.3.6.3
WRF ver.3.1.1, 3.5.1
smpar(OpenMP), dmpar(MPICH), sm+dm(OpenMP+OpenMPI)
Intel compiler ver. , NetCDF ver.3.6.3
WRF ver.3.1.1, 3.2.1, 3.3.1, 3.4.1, 3.5.1
smpar(OpenMP), dmpar(MPICH), sm+dm(OpenMP+MPICH2)
・NetCDF4でアウトプットしたい場合 (2013/11/29 追記)
----------
前提条件：NetCDF4、HDF5、ZLIBがコンパイル済みであること
KUDPC内に用意してあるNetCDF ver.4.1.3 がどのようにコンパイルしてあるか不明なので
自前でZLIB, HDF5, NetCDF をそれぞれコンパイルする方が無難。
コンパイルには、こちらを使用すると便利です。
configure script を実行する前に以下の環境変数を設定。
$ export NETCDF4=1
$ export LD_LIBRARY_PATH=[path-to-netcdf]/netcdf-4.1.3/lib:[path-to-hdf5]/hdf5-1.8.7/lib:${LD_LIBRARY_PATH}
上記の環境設定後、
$ ./configure
を実行。
configure.wrf の以下の部分を編集
--- ここから --->
#### NETCDF4 pieces
NETCDF4_IO_OPTS = -DUSE_NETCDF4_FEATURES -DWRFIO_NCD_LARGE_FILE_SUPPORT
GPFS =
CURL =
HDF5 = -L/[path-to-hdf]/hdf5-1.8.7/lib -lhdf5_hl -lhdf5
ZLIB = -L/[path-to-zlib]/zlib-1.2.5/lib -lz -lm
DEP_LIB_PATH =
NETCDF4_DEP_LIB = $(DEP_LIB_PATH) $(HDF5) $(ZLIB) $(GPFS) $(CURL)
<--- ここまで ---
上記の設定を configure.wrf に施す。
さらに、WRFV3/external/io_netcdf/makefile を以下の様に編集する。
LIBS = -L$(NETCDFPATH) -lnetcdff -lnetcdf
以上までの設定が完了したら、通常通りコンパイルする。
上記の設定、コンパイルにより、デフォルトの出力がNetCDF4になる。
これまでのNetCDF出力に戻す場合は、
&time_control
use_netcdf_classic=.true.
/
を追記するだけでOK。
参考URL：http://www.mmm.ucar.edu/wrf/users/wrfv3.5/building_netcdf4.html
参考URL：http://blog.livedoor.jp/rootan2007/archives/51856995.html
----------
・プログラム実行時の注意
・システムBでプログラムを実行する際には、必ず「tssrun」または「qsub」でジョブを投げる。
これは、ログインノードと計算するノードが別々になっているため。
・I/Oに無茶苦茶時間がかかるような場合は、以下のURLを参考にCPUタイムとメモリ使用量を最大値にしてみる。
http://web.kudpc.kyoto-u.ac.jp/manual/ja/config#limit
・基本的には、qsub で投げる( Iさん, T先生情報 )。
以下のURLからサンプルプログラムを取得し、該当事項を編集する。
http://web.kudpc.kyoto-u.ac.jp/manual/ja/run/batchjob/systembc
・もっと効率良く計算させるためには、
・ジョブに必要な最大メモリ
・CPU時間
をあらかじめ計算しその値ぎりぎりに設定して、最大並列数でqsubに投げる。
・LSFオプションで重要なオプション
#QSUB -q gr10001b
→グループ名を指定。
#QSUB -ug gr10001
→アカウント名を指定。
#QSUB -W 12:00
→経過時間の上限値を変更する。
#QSUB -A p=4:t=16:c=16:m=60G
→プロセス数、スレッド数、メモリ使用量を変更する。
・MPI計算の場合、以下の設定をすると計算速度の向上が見込める場合がある。(2013/12/05 追記)
$ export I_MPI_OFA_NUM_ADAPTERS=2
参考URL: http://web.kudpc.kyoto-u.ac.jp/manual/ja/library/intelmpi#infiniband
qsub にジョブを投げる場合のバッチファイルの一例(オススメ設定)。
例：
######################################################
#!/bin/bash
#============ LSF Options ============
#QSUB -q gr10001b
#QSUB -ug gr10001
#QSUB -W 48:00
#QSUB -A p=16:t=1:c=1:m=3840M
#============ Shel Script ============
# 以下の部分がAシステムと異なるので注意
set -x
# for intel compiler
module load intel/12.1
mpiexec.hydra ./wrf.exe
######################################################
(2012/12/06追記)
OpemMPI+OpenMPの計算時の注意(PGI compilerでコンパイルしたもので確認)
module load pgi
module load openmpi/1.6_pgi-12.3
mpiexec -n $LSB_PROCS -npernode $LSB_PPN ./wrf.exe
参考URL：
https://web.kudpc.kyoto-u.ac.jp/manual/ja/library/openmpi#exec
本家へのLINK集：
情報環境機構
http://www.iimc.kyoto-u.ac.jp/ja/
情報環境機構 コンピューティングサービス
http://www.iimc.kyoto-u.ac.jp/ja/services/comp/
スーパーコンピュータシステム の使いかた