1、機(jī)群管理/使用培訓(xùn)廈門大學(xué)Agenda機(jī)群介紹Linux操作系統(tǒng)LCOMS機(jī)群管理系統(tǒng)賬號管理Intel HPC tools機(jī)群性能監(jiān)控有問題怎么辦？機(jī)群介紹高性能計(jì)算機(jī)群中的基礎(chǔ)概念機(jī)群硬件配置機(jī)群軟件配置機(jī)群系統(tǒng)配置開啟/關(guān)閉機(jī)群機(jī)群介紹高性能計(jì)算機(jī)群中的基礎(chǔ)概念管理結(jié)點(diǎn)（Management Node/Head Node/HN）：機(jī)群中的一個(gè)結(jié)點(diǎn)，負(fù)責(zé)管理整個(gè)高性能計(jì)算機(jī)群。登錄結(jié)點(diǎn)（Login Node/LN）：機(jī)群中的一個(gè)或者多個(gè)結(jié)點(diǎn)，用于提供用戶登錄服務(wù)，受控于管理結(jié)點(diǎn)。存儲結(jié)點(diǎn)（IO Node）：機(jī)群中的一個(gè)或者多個(gè)結(jié)點(diǎn)，用于提供共享文件系統(tǒng)，受控于管理結(jié)點(diǎn)。計(jì)算結(jié)點(diǎn)（Compu

2、te Node/CN）：機(jī)群中的一個(gè)或者多個(gè)節(jié)點(diǎn)，專用于處理計(jì)算問題，受控于管理節(jié)點(diǎn)。機(jī)群硬件配置39個(gè)計(jì)算結(jié)點(diǎn)2*Intel 5675 6核處理器32 GB內(nèi)存2*E7-4860256GB內(nèi)存1個(gè)管理結(jié)點(diǎn)(也作為存儲結(jié)點(diǎn)/登陸結(jié)點(diǎn))2*Intel E5645 6核處理器24 GB內(nèi)存1套管理網(wǎng)絡(luò)：GigaByte Ethernet機(jī)群軟件配置軟件名稱版本RHEL5.7lcoms11.7Intel Cluster Studio2011 XELcoms-paramon1.2.3Lcoms-paratune1.2.3機(jī)群系統(tǒng)配置外網(wǎng)IP地址登陸結(jié)點(diǎn)名稱結(jié)點(diǎn)IP使用者console192.168.1

3、.251管理員，用戶機(jī)群系統(tǒng)配置系統(tǒng)管理員賬號ID： rootPW：*用戶賬號詢問管理員開啟/關(guān)閉機(jī)群開啟機(jī)群存儲結(jié)點(diǎn) 管理結(jié)點(diǎn) 計(jì)算結(jié)點(diǎn)關(guān)閉機(jī)群 計(jì)算結(jié)點(diǎn) 管理結(jié)點(diǎn) 存儲結(jié)點(diǎn)Warning：開關(guān)機(jī)順序很重要Linux操作系統(tǒng)基礎(chǔ)命令基礎(chǔ)文件BASHLinux操作系統(tǒng)基礎(chǔ)命令（1）序號命令說明1ls查看文件2cp拷貝文件3mv移動(dòng)或重命名文件4rm刪除文件5touch創(chuàng)建空文件或更新文件時(shí)間6cd改變當(dāng)前路徑7pwd查看當(dāng)前完整路徑8mkdir創(chuàng)建新目錄9rmdir刪除空目錄Linux操作系統(tǒng)基礎(chǔ)命令（2）序號命令說明10cat/more/less查看文件內(nèi)容11date顯示當(dāng)前時(shí)間12cal

4、顯示日歷13df顯示磁盤用量14du計(jì)算目錄下文件占用磁盤的大小15head顯示文件開頭部分內(nèi)容16tail顯示文件結(jié)尾部分內(nèi)容17shutdown -r now/init 6重啟18shutdown -h now/init 0關(guān)機(jī)Linux操作系統(tǒng)基礎(chǔ)文件（2）序號命令說明9/proc虛擬文件系統(tǒng)，包含系統(tǒng)信息等資料10/rootroot用戶的主目錄11/sbin存儲系統(tǒng)管理指令12/tmp臨時(shí)文件的存放路徑13/usr存放與用戶直接相關(guān)的文件與目錄14/var存儲在系統(tǒng)運(yùn)行中可能會更改的數(shù)據(jù)Linux操作系統(tǒng)BASHShell：命令行解釋器，是用戶與系統(tǒng)溝通的媒介bash：shell的一種

5、，是Bourne Again Shell的縮寫與BASH相關(guān)的文件：/.bashrc/.bash_profile /.bash_history lcoms介紹lcoms是一個(gè)十分方便的機(jī)群管理軟件，不但安裝和管理比較容易，還自帶了許多管理和應(yīng)用軟件管理服務(wù)器管理用戶管理網(wǎng)絡(luò)管理軟件Help任何Rocks的命令都是在后面加上help得到幫助信息如：# rocks list host helplcoms管理結(jié)點(diǎn)查看結(jié)點(diǎn)信息# rocks list host# rocks list host interface刪除結(jié)點(diǎn)信息# rocks remove host cn001同步系統(tǒng)信息# rocks

6、sync config# rocks sync users并行運(yùn)行命令# rocks run host “command” 重新安裝結(jié)點(diǎn)# ssh cn001 /boot/kickstart/cluster-kickstart賬號管理創(chuàng)建/刪除用戶（以root用戶身份在管理結(jié)點(diǎn)上操作）# useradd user1 #添加用戶user1# passwd user1#修改用戶user1的密碼# userdel -r user1#刪除用戶user1# rocks sync users#同步到所有結(jié)點(diǎn)賬號管理設(shè)置磁盤quota# quotaon -auvg#開啟quota功能# quotaoff -

7、auvg#關(guān)閉quota功能# repquota /export/home#顯示quota使用情況# edquota -u user1#給user設(shè)置quota# edquota -p user1 -u user2#設(shè)置user1的配置給user2Intel Cluster Studio安裝目錄/share/apps/intel設(shè)置環(huán)境變量source /export/soft/intel/Compiler/11.1/073/bin/iccvars.sh intel64source /export/soft/intel/impi/3.2.0.011/bin64/mpivars.sh作業(yè)調(diào)度軟件

8、介紹作業(yè)調(diào)度軟件介紹創(chuàng)建作業(yè)腳本提交/刪除作業(yè)查看作業(yè)運(yùn)行狀態(tài)作業(yè)調(diào)度軟件介紹基礎(chǔ)的使用命令qsub 作業(yè)提交qstat 作業(yè)狀態(tài)查詢qdel 從隊(duì)列中刪除作業(yè)qhost 顯示現(xiàn)在在線的主機(jī)qconf 作業(yè)相關(guān)信息的配置創(chuàng)建作業(yè)腳本# cat linpack.qsub 腳本內(nèi)容如下： #!/bin/bash #$ -S /bin/bash#使用bash shell #$ -cwd#將作業(yè)輸出文件存放在當(dāng)前提交目錄 #$ -j y#標(biāo)準(zhǔn)輸出和錯(cuò)誤輸出合并 #$ -N $JOB_NAME#指定作業(yè)顯示名稱 #$ -pe make 8#指定并行處理環(huán)境，并申請8個(gè)處理單元source /share/

9、soft/intel/Compiler/11.1/073/bin/iccvars.sh intel64source /share/soft/intel/impi/3.2.0.011/bin64/mpivars.shexport I_MPI_DEVICE=rdssm#設(shè)置Intel MPI的環(huán)境變量 cd /em64t/#進(jìn)入作業(yè)所在目錄 mpirun -r ssh -np $NSLOTS ./xhpl#運(yùn)行l(wèi)inpack可執(zhí)行文件查看作業(yè)運(yùn)行狀態(tài)# qstat#查看所有作業(yè)狀態(tài)# qstat -j $JOB_ID#查看指定作業(yè)詳細(xì)信息# qstat -t#查看作業(yè)運(yùn)行在哪些結(jié)點(diǎn) 機(jī)群性能監(jiān)控Lcoms-paramonLcoms-paramonLcoms-paramon應(yīng)用運(yùn)行特征收集器性能數(shù)據(jù)CPU/內(nèi)存/磁盤/網(wǎng)絡(luò)快速上手顏