Home

Welcome to the HACApK-MAGMA wiki!

wiki機能のテストをかねてTSUBAME 2.5上で実行するための手順を記してみる

magmaの準備

1. magmaの入手

magma-2.2.0.tarを入手して展開する

http://icl.cs.utk.edu/magma/software/

2. パッチの適用

HLRA-JHPCN/magmaをgit cloneし、中のファイルをすべてmagma-2.2.0に上書きする

3. 環境設定

HLRA-JHPCN/magmaのenv.tsubameの中身を実行し、CUDAとMKLのパスを通す

4. make

make、必要に応じてmake install

HACApK-MAGMAのmake

1. 環境設定とmake

（上記のenv.tsubameの環境変数を適用した上で（順番はどちらが先でも良いかな？）） 以下のコマンドを実行したうえでmake -f Makefile.tsubameを実行

source /usr/apps.sp3/isv/intel/ParallelStudioXE/ClusterEdition/2016-Update3/compilers_and_libraries_2016.3.210/linux/bin/compilervars.sh intel64
export PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/i2013.1.046/bin:$PATH
export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.6.5/i2013.1.046/lib:$LD_LIBRARY_PATH
export PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/i2013.1.046_cuda7.5/bin:$PATH
export LD_LIBRARY_PATH=/usr/apps.sp3/mpi/openmpi/1.8.2/i2013.1.046_cuda7.5/lib:$LD_LIBRARY_PATH

実行

実行時にも上記の環境設定（sourceとexport）は必要。 あとはジョブスクリプト内で mpirun -n 1 -hostfile ${PBS_NODEFILE} ./bem-bb-SCM.out ./input_10ts.pbs とかやれば良い。 ジョブ投入は t2sub -q G -W group_list=t2g-jh160041 -l select=1:ncpus=1:gpus=1 -l walltime=10:00 -N test ./job.sh みたいな感じで。 100tsとかメモリサイズが少し大きくなる場合は:mem=6gbとか書いてあげると良い。（書かないと1gb扱いになってしまうのであふれる。）

上記は一番単純な1node1GPUの例。もう少し難しい設定はあとから追記予定。