1、大型機(jī)使用手冊2013-11-18快速使用指南用戶軟件環(huán)境加載用戶軟件環(huán)境加載系統(tǒng)缺省加載Intel編譯器的軟件環(huán)境其余可加載的軟件環(huán)境列表可以在命令行使用下面的命令獲取或查看本手冊后續(xù)部分module avail由用戶根據(jù)自己使用的shell在下列文件中通過 module load / unload命令來加載/卸載自己所需要的運(yùn)行環(huán)境 .bash_profile/.bashrc （bash shell ) .cshrc/.tcshrc (csh / tcsh) .kshrc (ksh)可以在命令行使用下面的命令，獲取自己使用的的shell 信息echo $0示例，用戶zhangsan，she

2、ll為bash，希望登錄后自動加載mvapich2, ncl, netcdf, grads等的軟件環(huán)境信息，則把下列命令添加到/.bash_profile中module load mvapich2 netcdf ncl GrADS快速使用指南PBS腳本設(shè)置腳本設(shè)置以下以下PBS指令為必設(shè)指令指令為必設(shè)指令#PBS S /bin/bash (讓讓module命令在命令在PBS中正常工作需要此設(shè)置）中正常工作需要此設(shè)置）#PBS -q queue_name (可用選擇可用選擇Premium, Regular, Economy, Bigcpu)#PBS -l jobtyp= jobtype (可用選

3、擇可用選擇 parallel, serial )#PBS -l walltime=hh:nn:mm (墻鐘限制）墻鐘限制）PBS腳本中腳本中MPI程序運(yùn)行方式程序運(yùn)行方式mpirun -np nproc my_mpi_app.exe注意：注意： 1. 不需要指定不需要指定-hostfile 參數(shù)參數(shù) 2. 現(xiàn)在啟用了墻鐘限制，腳本有可能需要根據(jù)相應(yīng)的墻鐘限制進(jìn)行調(diào)整，避免由超時造成現(xiàn)在啟用了墻鐘限制，腳本有可能需要根據(jù)相應(yīng)的墻鐘限制進(jìn)行調(diào)整，避免由超時造成強(qiáng)制中斷而的問題強(qiáng)制中斷而的問題示例腳本在示例腳本在/nuist/p/public/app/scripts/pbs_example快速使用指

4、南目錄設(shè)置目錄設(shè)置/nuist/u/home/$LOGNAME ( 用戶主目錄， 個人配額10G)/nuist/p/work/$LOGNAME (用戶工作目錄, 個人配額500G）/nuist/scratch/$LOGNAME (用戶臨時目錄, 個人配額5T）/nuist/p/public/app (常用軟件包安裝目錄，例如：NetCDF, NCL等）/nuist/p/public/data (共用數(shù)據(jù)存放目錄，例如：WRF地形數(shù)據(jù)等）系統(tǒng)預(yù)定義的目錄環(huán)境變量系統(tǒng)預(yù)定義的目錄環(huán)境變量$TEMPDIR /nuist/scratch$WORKDIR /nuist/p/work$APPDIR /nu

5、ist/p/public/app一 系統(tǒng)簡介集群計算節(jié)點(diǎn)308臺兩路六核IBM HS22刀片服務(wù)器,共3696個核存儲一個38TB高速SAS硬盤做成1./nuist/u/home ( 8.4 T )2./nuist/p/public ( 30 T )一個385TB近線SAS硬盤做成3./nuist/p/work ( 212 T )4./nuist/scratch ( 171 T )二 存儲空間設(shè)置 卷功能配額刪除策略備份/nuist/u/home10G/用戶不做刪除備份/nuist/p/work500G,/用戶當(dāng)文件系統(tǒng)的可用空間低于10%的時候?qū)h除一定時間以上的文件（如90天）不備份/nu

6、ist/scratch5T/用戶當(dāng)文件系統(tǒng)可用空間90天的當(dāng)文件系統(tǒng)可用空間30天的當(dāng)文件系統(tǒng)可用空間7天的不備份/nuist/p/public不做刪除， 用于保存共用的基礎(chǔ)數(shù)據(jù)，例如地形數(shù)據(jù)等備份磁盤空間配額使用查詢mmlsquotau username 三 運(yùn)行環(huán)境設(shè)置 編譯器 Intel 11.1.046 PGI ? GNU 4.4.6 / 4.8.2 并行環(huán)境 OpenMPI 1.6.5 MVAPICH2 2.0b 軟件環(huán)境管理 Environment Modules 3.2.8三 運(yùn)行環(huán)境設(shè)置 軟件包/庫安裝位置 /nuist/p/public/app /nuist/p/public

7、/data /usr/lib64 /usr/include /usr/bin三 運(yùn)行環(huán)境設(shè)置 已安裝的軟件包 /nuist/p/app名稱版本編譯器實(shí)現(xiàn)CDO1.6.2NCL6.1.2Intel, GNUNCO4.3.7NCVIEW 2.1.2VIS5D+1.2.1GrADS1.8, 1,9, 2.0.2OpenGrADS1.10, 2.01三 運(yùn)行環(huán)境設(shè)置 已安裝的軟件包 /usr/bin名稱版本編譯器實(shí)現(xiàn)ImageMagic6.5.4.7三 運(yùn)行環(huán)境設(shè)置 已安裝的庫 /nuist/p/public/app名稱版本編譯器實(shí)現(xiàn)BLAS20110419Intel, GNUBUFR10.2.3In

8、tel, GNUEMOSLIB000392Intel, GNUG2CLIB/G2LIB 1.4.0Intel, GNUGDAL1.10.1GRIB_API1.11.0Intel, GNUHDF44.2.9Intel, GNUHGF51.8.11Intel, GNUHDF-EOS22.18V1.00HDF-EOS51.14三 運(yùn)行環(huán)境設(shè)置 已安裝的庫 /nuist/p/public/app名稱版本編譯器實(shí)現(xiàn)LAPACK3.3.1Intel, GNUNETCDF3.6.3, 4.3.0Intel, GNUPROJ4.8.0UDUNITS2.1.24W3LIB2.0.2Intel, GNU三 運(yùn)行環(huán)

9、境設(shè)置 已安裝的庫 /usr/lib64名稱版本編譯器實(shí)現(xiàn)JAPSER1.900.1JPGE6bPNG1.2.46ZLIB1.2.3CAIRO1.8.8FREETYPE2.3.1PIXMAN0.18.4EXPAT2.0.1CURL7.19.7FONTCONFIG2.8.0三 運(yùn)行環(huán)境設(shè)置 已安裝的庫 /nuist/p/public/app/intel/Compiler/11.1/046/mkl/lib/em64t名稱版本編譯器實(shí)現(xiàn)Intel 數(shù)學(xué)核心庫11.1.046三 運(yùn)行環(huán)境設(shè)置 用戶環(huán)境變量設(shè)置 列出加載的模塊 module list 加載可用的模塊 module avail 加載指定的

10、模塊 module load 卸載指定的模塊 module unload 切換不同的模塊 module swap 三 運(yùn)行環(huán)境設(shè)置 系統(tǒng)缺省加載模塊 Intel 編譯器 目錄環(huán)境變量 $TEMPDIR = /nuist/scratch $WORKDIR=/nuist/p/work $APPDIR=/nuist/p/public 加載自己所需要的模塊 在下列文件中通過 module load / unload命令來加載/卸載自己所需要的運(yùn)行環(huán)境 .bash_profile/.bashrc .cshrc .kshrc例如： module load netcdf ncl ncview GrADS三

11、運(yùn)行環(huán)境設(shè)置 使用module命令時的注意事項(xiàng) 如果只使用模塊名而沒有指定版本，則所有操作都是針對缺省版本 當(dāng)使用module swap反復(fù)切換編譯器模塊時，會引起segmentation fault問題。當(dāng)需要對編譯器進(jìn)行反復(fù)切換時，建議使用module unload / module load來進(jìn)行操作 module 命令加載的是系統(tǒng)缺省設(shè)置的運(yùn)行環(huán)境變量，用戶自己的設(shè)置，仍然需要通過設(shè)置用戶主目錄下的.bashrc / .bash_profile / .cshrc等來實(shí)現(xiàn)三 運(yùn)行環(huán)境設(shè)置 Module 使用示例 jliulog02 $ module list Currently Load

12、ed Modulefiles: 1) intel/11.1.046 2) mvapich2/2.0b jliulog02 $ module swap mvapich2 openmpi jliulog02 $ module list Currently Loaded Modulefiles: 1) intel/11.1.046 2) openmpi/1.6.5 jliulog02 $ module load ncl netcdf jliulog02 $ module list Currently Loaded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2

13、 2) openmpi/1.6.5 4) netcdf/4.3.0三 運(yùn)行環(huán)境設(shè)置 jliulog02 $ module listCurrently Loaded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2 2) openmpi/1.6.5 4) netcdf/4.3.0 jliulog02 $ module swap netcdf/4.3.0 netcdf/3.6.3 jliulog02 $ module listCurrently Loaded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2 2) open

14、mpi/1.6.5 4) netcdf/3.6.3三 運(yùn)行環(huán)境設(shè)置 Fortran 編譯命令 Intel : ifort GNU: gfortran C 編譯命令 Intel : icc GNU: gcc C+編譯命令 Intel : icpc GNU : g+ MPI編譯命令 Fortran : mpif90, mpif77 C: mpicc C+ : mpic+, mpicxx四 作業(yè)管理1）隊列設(shè)置）隊列設(shè)置 隊列類型優(yōu)先級權(quán)重系數(shù)說明Premium高2無等待或很少等待，可獨(dú)占節(jié)點(diǎn)，最多可用1000個核Regular中1需要等待，可獨(dú)占節(jié)點(diǎn)，最多使用500個核Economy低0.5等待較

15、長，共享節(jié)點(diǎn)，最多使用500個核Bigcpu中1.5需要等待，可獨(dú)占節(jié)點(diǎn)，可超過1000個核四 作業(yè)管理2）墻鐘限制）墻鐘限制 隊列類型墻鐘限制Premium6小時Bigcpu6小時Regular12小時Economy24小時四 作業(yè)管理3）不同作業(yè)提交到不同類型節(jié)點(diǎn)）不同作業(yè)提交到不同類型節(jié)點(diǎn) MPI作業(yè)結(jié)點(diǎn) OpenMP作業(yè)結(jié)點(diǎn) 串行作業(yè)結(jié)點(diǎn)五賬戶管理規(guī)則五賬戶管理規(guī)則 1）賬號申請）賬號申請 項(xiàng)目負(fù)責(zé)人填寫“計算資源申請表”申請資源 項(xiàng)目成員填寫“高性能計算機(jī)賬號申請表”開通其個人賬號。 項(xiàng)目負(fù)責(zé)人指定各成員可以使用的記賬賬號，開通/停止項(xiàng)目成員賬號由項(xiàng)目負(fù)責(zé)人(或相關(guān)授權(quán)人員)提出 每

16、個人擁有獨(dú)立的大型機(jī)用戶賬號 只有有效的項(xiàng)目號和在該項(xiàng)目號下有效的成員才能提交作業(yè) 如果標(biāo)準(zhǔn)隊列和計算資源的分配不能滿足項(xiàng)目需求，可以根據(jù)具體的項(xiàng)目需求，設(shè)置特殊隊列和分配計算資源。五賬戶管理規(guī)則五賬戶管理規(guī)則超級計算機(jī)計算資源申請表超級計算機(jī)計算資源申請表姓名姓名院系院系電話電話電子郵件電子郵件計算項(xiàng)目類別計算項(xiàng)目類別個人項(xiàng)目個人項(xiàng)目 業(yè)務(wù)項(xiàng)目業(yè)務(wù)項(xiàng)目 部門項(xiàng)目部門項(xiàng)目計算項(xiàng)目號計算項(xiàng)目號計算項(xiàng)目描述計算項(xiàng)目描述起止時間起止時間年度配額年度配額（萬核（萬核小時）小時）配額估算依據(jù)配額估算依據(jù)申請人：申請人： 填表人：填表人： 日期：日期：填表說明：填表說明：1.個人的計算項(xiàng)目號格式為個人的計

17、算項(xiàng)目號格式為 P+工號工號+三位數(shù)字（第一個為三位數(shù)字（第一個為001， 第二個為第二個為002，. ）。）。2.業(yè)務(wù)業(yè)務(wù)/部門項(xiàng)目的姓名為實(shí)際運(yùn)行的業(yè)務(wù)或部門名稱，計算項(xiàng)目號由超算中心統(tǒng)一安排，起止時間不用填寫。部門項(xiàng)目的姓名為實(shí)際運(yùn)行的業(yè)務(wù)或部門名稱，計算項(xiàng)目號由超算中心統(tǒng)一安排，起止時間不用填寫。3.項(xiàng)目描述要注明實(shí)際的科研項(xiàng)目及所用到的的模式或軟件。項(xiàng)目描述要注明實(shí)際的科研項(xiàng)目及所用到的的模式或軟件。4.年度配額僅為預(yù)申請配額，最終核準(zhǔn)的配額要根據(jù)計算機(jī)的實(shí)際年度計算能力協(xié)調(diào)分配。年度配額僅為預(yù)申請配額，最終核準(zhǔn)的配額要根據(jù)計算機(jī)的實(shí)際年度計算能力協(xié)調(diào)分配。五賬戶管理規(guī)則五賬戶管理規(guī)

18、則超級計算機(jī)賬號申請表姓名姓名學(xué)號學(xué)號/工號工號預(yù)設(shè)賬號預(yù)設(shè)賬號電話電話電子郵件電子郵件院系院系用戶類別用戶類別教師教師 學(xué)生學(xué)生 合作、訪問學(xué)者合作、訪問學(xué)者計算計算項(xiàng)目號項(xiàng)目號有效期有效期項(xiàng)目主管人項(xiàng)目主管人申請人：申請人： 日期：日期：填表說明：填表說明：1.校內(nèi)教師和學(xué)生需填寫學(xué)號校內(nèi)教師和學(xué)生需填寫學(xué)號/工號；合作、訪問人員不用填寫。工號；合作、訪問人員不用填寫。2.預(yù)設(shè)賬號為擬開通使用的超級計算機(jī)賬號，如有沖突，由超算中心重新分配。預(yù)設(shè)賬號為擬開通使用的超級計算機(jī)賬號，如有沖突，由超算中心重新分配。3.記帳項(xiàng)目號從項(xiàng)目負(fù)責(zé)人處獲取，并由項(xiàng)目負(fù)責(zé)人簽字。記帳項(xiàng)目號從項(xiàng)目負(fù)責(zé)人處獲取，

19、并由項(xiàng)目負(fù)責(zé)人簽字。教師有效期如無特別指定，可不用填寫；合作、訪問人員需要指定有效期；學(xué)生賬號的有效期從申請日期起到規(guī)定畢業(yè)年份的教師有效期如無特別指定，可不用填寫；合作、訪問人員需要指定有效期；學(xué)生賬號的有效期從申請日期起到規(guī)定畢業(yè)年份的6月底。月底。 五賬戶管理規(guī)則五賬戶管理規(guī)則2）賬戶數(shù)目限制）賬戶數(shù)目限制 由于存儲空間的限制，目前最大用戶數(shù)將限制為400人3）賬戶清理）賬戶清理以下情況將被視為非活動賬戶，自動進(jìn)行清理賬戶到期后，給予30天的寬容期，在寬容期內(nèi)，只能下載備份自己的數(shù)據(jù)， 30天后賬戶將被自動清楚，并刪除所有相關(guān)目錄超過一年沒有使用的賬戶，將提前30天通知賬戶將關(guān)閉，30天

20、后自動關(guān)閉已離校或已結(jié)束合作關(guān)系，將提前30天通知賬戶將關(guān)閉，30天后自動關(guān)閉五賬戶管理規(guī)則五賬戶管理規(guī)則3）帳戶密碼規(guī)則）帳戶密碼規(guī)則 密碼長度至少8個字符長 密碼中至少需要有一個大寫字母 密碼中至少需要有一個小寫字母 密碼中至少需要有一個數(shù)字 密碼中至少需要一個其他符號(例如,!,#$%等)4) 缺省初始密碼缺省初始密碼 賬號名賬號名Nu1st 例如：例如：zhang#Nu1st六計算資源管理六計算資源管理 1）計算資源申請計算資源申請 每年由項(xiàng)目負(fù)責(zé)人根據(jù)需求按項(xiàng)目進(jìn)行計算配額申請，年度總配額分別除以12和4后，按30日配額和90日配額進(jìn)行滑動管理。在任意連續(xù)30日/90日內(nèi)如果超出配額

21、限制，則該項(xiàng)目組的所有賬號都需要暫停使用，直到30日/90日累計算量降到配額限制以下才能恢復(fù)使用。亦即，整個項(xiàng)目每日的最大可用計算量 = 30日/90日配額 前29日/89日的累計計算量 每年10月中旬開始進(jìn)行計算配額申報，截至日期為10月底， 11月中旬將由大型機(jī)主管部門組織高性能資源分配協(xié)調(diào)會，討論并協(xié)調(diào)高性能計算資源的最終分配方案六計算資源管理六計算資源管理2）計算量統(tǒng)計方式）計算量統(tǒng)計方式計算量按核小時為單位來進(jìn)行統(tǒng)計 獨(dú)占任務(wù) 墻鐘小時 x 所用計算節(jié)點(diǎn) x 核數(shù)/節(jié)點(diǎn) x 權(quán)重系數(shù) 共享任務(wù)核秒/3600 x 權(quán)重系數(shù)七不允許行為七不允許行為 以下情況將不被允許以下情況將不被允許1

22、. 在登錄節(jié)點(diǎn)上運(yùn)行較大需要大資源的程序，導(dǎo)致節(jié)點(diǎn)響應(yīng)緩慢，影響到其他用戶2. 繞過作業(yè)管理，直接提交任務(wù)到計算結(jié)點(diǎn)3. 通過使用更改文件時間等手段來干擾/繞過工作目錄卷、臨時文件目錄卷的文件清理機(jī)制處理處理不進(jìn)行通知，直接中止正在運(yùn)行的程序第一次違反，將給以警告第二次違反，將立即禁用賬號30天第三次違反，？八作業(yè)提交1. PBS指令 在腳本中以“#PBS”開頭#PBS -N jobname可選設(shè)置，作業(yè)名#PBS S /bin/bash必需設(shè)置，指定PBS的Shell為bash#PBS -P project number必需設(shè)置，作業(yè)項(xiàng)目號，P+位數(shù)字# PBS -q queue必須設(shè)置，隊

23、列名，Premium, Regular, Economy, Bigcpu (注意注意: 隊隊列名大小寫敏感列名大小寫敏感)#PBS -l nodes=N:ppn=M必須設(shè)置，N:節(jié)點(diǎn)數(shù), M:每個結(jié)點(diǎn)核數(shù)#PBS -l jobtyp=parallel | serial必須設(shè)置，作業(yè)類型，serial, parallel#PBS -l walltime=hh:nn:mm可選設(shè)置，墻鐘限制，不同隊列，墻鐘限制不一樣，最長小時八作業(yè)提交#PBS -l place=free:excl | share可選設(shè)置，excl 獨(dú)占節(jié)點(diǎn)，share 共享結(jié)點(diǎn) #PBS -M meeartch可選設(shè)置，作業(yè)報告發(fā)

24、送電子郵件地址#PBS -m bea可選設(shè)置，作業(yè)報告發(fā)送狀態(tài)，b 開始，e 結(jié)束， a 中止#PBS V可選設(shè)置，復(fù)制用戶環(huán)境變量#PBS -o jobname.out可選設(shè)置，標(biāo)準(zhǔn)輸出輸出文件#PBS -e jobname.err可選設(shè)置，標(biāo)準(zhǔn)錯誤輸出文件注：注釋PBS指令，在指令前再加一個“”，例如：#PBS VPBS指令也可以通過命令行方式提供，不放到腳本中，指令前不需要加“PBS”例如：qsub -n helloworld -P P123456789 -l nodes=2:ppn=12 -l jobtype=parallel -l place=free:excl -l walltim

25、e=00:05:00 -q Regular job.sh八作業(yè)提交變變 量量 名名說說 明明登陸SHELL繼承來的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點(diǎn)名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊列名稱$PBS_O_WORKDIRqsub提交的作業(yè)的絕對路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號$PBS_JOBNAME用戶指定的作業(yè)名$PBS_NODEFILEPBS系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名$PBS_QUEUEPBS腳本在執(zhí)行時的隊列名2. PBS的環(huán)境變量八作業(yè)提交. 命令運(yùn)

26、行方式 MPI程序mpirun -n np mpi_app.exe OpenMP程序export OMP_NUM_THREADS = np./omp_app.exe 串行程序./serial_app.exe八作業(yè)提交示例一，MPI并行作業(yè)，使用兩個節(jié)點(diǎn)，每個節(jié)點(diǎn)個核，獨(dú)占使用#!/bin/bash #PBS S /bin/bash#PBS -N helloworld#PBS -P P123456789#PBS -q queue Regular#PBS -l nodes=2:ppn=12#PBS -l jobtyp=parallel#PBS -l walltime=00:05:00#PBS -l

27、 place=free:excl cd $PBS_O_WORKDIRnprocs=cat $PBS_NODEFILE | wc -lmpirun -np $nprocs ./hello.exe八作業(yè)提交示例二，串行作業(yè)，使用1個節(jié)點(diǎn)，個核運(yùn)行4個任務(wù)#!/bin/sh#PBS -l nodes=1:ppn=4#PBS -l jobtype=serialcd $WORK_DIR1/usr/bin/time myapp1.exe & &cd $WOR_DIR2/usr/bin/time myapp2.exe & &cd $WORK_DIR3/usr/bin/time myapp3.exe & &c

28、d $WORK_DIR4/usr/bin/time myapp4.exeWaitForAllDone.sh八作業(yè)提交示例三，關(guān)聯(lián)作業(yè)#!/bin/bash job1=qsub job1.sh job2=qsub -W depend=afterok:$job1 job2.sh job3=qsub -W depend=afterok:$job2 job3.sh job4=qsub -W depend=afterok:$job3 job4.sh exit 0 afterok: : 當(dāng)指定的作業(yè)正常退出afternotok: ：當(dāng)指定的作業(yè)異常退出afterany: : 只要指定的作業(yè)結(jié)束不論正?；虍?/p>

29、常八作業(yè)提交示例四，OpenMP作業(yè)#!/bin/sh#PBS -l nodes=1:ppn=12#PBS -l jobtype=parallelexport OMP_NUM_THREADS=12./my_openmp_app.exe八作業(yè)提交qdel 刪除作業(yè).qdel job_id .qstat 查詢作業(yè)信息qstat # 顯示所有用戶信息qstat -f # 顯示完整信息qstat -u username #查詢指定用戶的作業(yè)情況qstat -q #查詢隊列情況九常見編譯問題nWRFDA 1. Intel 編譯問題: catastrophic error: *Internal compi

30、ler error: segmentation violation signal raised* Please report this error along with the circumstances in which it occurred in a Software Problem Report. Note: File and line given may not be explicit cause of this error. var/build/da.make 3.5.1 3.5 (line 410, 413) 3.4.1 3.4 (line 401, 404) 3.3.1 (line 385, 388) 把 $(FCFLAGS)改為 -O1 $(FCBASEOPTS)九常見編譯問題 2.gen_be_etkf 運(yùn)行時，segmentation fault var/gen_be/gen_be_etkf.f90 3.5.1 3.5 3.4.1