2022/11/27生物信息學高性能計算平臺的構(gòu)建與使用2022/11/26生物信息學高提綱生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/27提綱生物信息中心情況簡介2022/11/262022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介WhyBioinformatics?2022/11/27WhyBioinformatics?2022/11/26Bioinformatics:Whatdoweneed?

Whatdoweneed?滿足各種生物信息學分析所需的大規(guī)模計算能力的平臺對分子生物信息數(shù)據(jù)能夠快速獲取的平臺從互聯(lián)網(wǎng)快速接入服務器并進行生物信息學分析的平臺Bioinformatics:WhatdoweneeWhyHighPerformanceComputing（HPC）？2022/11/271超大規(guī)模的數(shù)據(jù)處理基因組測序序列：5×1020量級蛋白質(zhì)折疊計算：3×1023

量級藥物設計平均篩選10000種化合物以上才能得到一種新藥2超大計算規(guī)模的算法分子動力學模擬分子相互作網(wǎng)絡分子進化分析

蛋白質(zhì)結(jié)構(gòu)模擬……3多用戶同時的計算需求

一個和尚、兩個和尚、三個和尚…WhyHighPerformanceComputing我們的已經(jīng)完成的工作滿足各種生物信息學分析的HPC快速獲取各種分子生物信息數(shù)據(jù)隨時從網(wǎng)絡接入提交計算任務來分析數(shù)據(jù)1.將多個重要的生物信息數(shù)據(jù)庫本地化安裝2.建立了一個高性能計算系統(tǒng)3.將平臺接入校園網(wǎng)/互聯(lián)網(wǎng)我們的已經(jīng)完成的工作滿足各種生物信息學分析的HPC快速獲取各生物信息學平臺的架構(gòu)磁盤存儲陣列萬兆網(wǎng)絡交換機數(shù)據(jù)庫系統(tǒng)高性能服務器刀片式服務器集群（Cluster）存儲系統(tǒng)高性能計算系統(tǒng)生物信息學平臺的架構(gòu)http://bioinfo.tmmu.生物信息學平臺硬件與軟件系統(tǒng)HardwareSoftwareOurPlatform浪潮天梭高性能服務器集群（cluster）Linux系統(tǒng):

RocksCluster5.4CentOS5.5RedHatAS4生物信息學平臺硬件與軟件系統(tǒng)HardwareSoftwar......SystemAreaNetworkLocalAreaNetworkLANMemoryI/OBusMemoryBusSystem1ChipsetSANCPUsLANMemoryI/OBusMemoryBusSystem2ChipsetSANCPUsLANMemoryI/OBusMemoryBusSystem3ChipsetSANCPUsWhatisCluster(集群)?2022/11/27多臺計算機通過高速網(wǎng)絡連成一個并行計算系統(tǒng)......SystemAreaNetworkLocalWhycluster?2022/11/27容易擴展從幾十個節(jié)點到幾萬個節(jié)點容易并行并行計算的最優(yōu)選擇之一容易維護單個節(jié)點的故障不影響整體Whycluster?2022/11/26容易擴展從幾十個Whycluster?2022/11/27普通PCclusterWhycluster?2022/11/26普通PCclusJaguarRoadrunner天河1號KComputerJaguarRoadrunner天河1號KComputerWhatisRocksCluster?RocksCluster集成生物信息學軟件包一種免費集群操作系統(tǒng)基于CentOSLinuxWhatisRocksCluster?RocksClRocksCluster5.4的主要功能模塊2022/11/27

RocksRoll基本功能模塊RedHatLinux內(nèi)核操作系統(tǒng)組件SUNGridEngine分布式任務管理系統(tǒng)1.Baseroll2.Kernel3.OS4.SGE5.bioBiosoftPackageRocksCluster5.4的主要功能模塊2022/我校生物信息學平臺拓撲結(jié)構(gòu)圖用戶用戶26個刀片式計算節(jié)點OneComputer！我校生物信息學平臺拓撲結(jié)構(gòu)圖用用戶OneComputer！生物信息平臺物理分布視圖生物信息平臺物理分布視圖生物信息學平臺計算機群數(shù)據(jù)庫節(jié)點雙路Intel至強5450處理器2.83GHZ8個核心，32G內(nèi)存其他節(jié)點8核、16G內(nèi)存存儲系統(tǒng)30個1TB硬盤的存儲陣列性能指標：208個計算核心2萬億次/秒浮點運算生物信息學平臺計算機群數(shù)據(jù)庫節(jié)點以RocksCluster為核心的Linux操作環(huán)境Rockscluster5.416G內(nèi)存64位CentOS5.432G內(nèi)存64位Rockscluster5.416G內(nèi)存64位bio-linux6.02GRAM32位

管理節(jié)點

數(shù)據(jù)庫節(jié)點

終端計算機

計算節(jié)點平臺操作環(huán)境以RocksCluster為核心的Linux操作環(huán)境Roc為什么選擇Unix/Linux來構(gòu)建平臺？科學研究的通用平臺90%以上的科學軟件在Unix/Linux下開發(fā)多數(shù)生物信息學軟件只有Unix/Linux版本數(shù)量龐大的各種小工具

Sed,awk,vi,emacs,diff,cvs,etc…極多的高質(zhì)量文檔免費^_^!為什么選擇Unix/Linux來構(gòu)建平臺？科學研究的通用平臺各節(jié)點的主機名稱及IP地址管理節(jié)點主機名稱：;IP地址：01計算節(jié)點（26臺刀片式服務器）Blade1:compute-0-0～compute-0-9Blade2:compute-1-0～compute-1-9Blade3:compute-2-0～compute-2-5數(shù)據(jù)庫節(jié)點：主機名：databaseIP地址：02訪問域名：

2022/11/27各節(jié)點的主機名稱及IP地址管理節(jié)點2022/11/26平臺的并行計算環(huán)境MPI（MessagePassingInterface)MPICH2最基本的MPI，運行簡單，應用廣泛，效率不高安裝路徑：/opt/mpich2/gnu/bin/openmpi功能強大、靈活，支持infiniband，效率高安裝路徑：/opt/openmpi/bin/各計算節(jié)點的公共目錄/disk1和/disk2，容量均為8T2022/11/27平臺的并行計算環(huán)境MPI（MessagePassing平臺的任務管理系統(tǒng)SGE任務管理系統(tǒng)：自動分配計算資源來運行用戶的計算任務SunGridEngine(SGE)LSFOpenPBS本平臺安裝的是SGE用戶在進行生物信息學計算之前，需要編寫SGE計算腳本文件，通過提交腳本文件來使用計算資源。2022/11/27平臺的任務管理系統(tǒng)SGE任務管理系統(tǒng)：自動分配計算資源來運

其他設備：bio-linux終端計算機

1.安裝了bio-linux系統(tǒng)，圖形操作界面

2.集成了十多種生物信息學軟件，免費使用

3.可迅速連接高性能計算系統(tǒng)進行大規(guī)模計算分析2022/11/27其他設備：bio-linux終端計算機生物信息學高性能計算平臺的構(gòu)建與使用課件生物信息學平臺的使用方式使用方式通過校園網(wǎng)或互聯(lián)網(wǎng)的任意計算機遠程登錄使用前來我?；A部生命科學樓7樓本地使用生物信息學平臺的使用方式使用方式2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介國際生物信息數(shù)據(jù)庫的本地化過程下載元數(shù)據(jù)構(gòu)建檢索系統(tǒng)發(fā)布數(shù)據(jù)庫國際生物信息數(shù)據(jù)庫的本地化過程下載元數(shù)據(jù)構(gòu)建檢索系統(tǒng)發(fā)布數(shù)據(jù)已經(jīng)收錄的數(shù)據(jù)庫GenbankUniprotKBPDBEMBLRefseqProsite……MRS檢索系統(tǒng)20多個生物醫(yī)學相關(guān)的數(shù)據(jù)庫主要數(shù)據(jù)庫每日更新集成Blast、ClustalW、Jmol等分析工具可將自己的Web-Server程序、數(shù)據(jù)庫發(fā)布到互聯(lián)網(wǎng)已經(jīng)收錄的數(shù)據(jù)庫GenbankUniprotKBPDBEMMRS數(shù)據(jù)庫綜合檢索系統(tǒng)Entrez＝TheLifeScienceSearchEngine-----NCBISRS=SequenceRetrievalSystem-----EBIMRS=Maarten’sRetrievalSystem-----BICatTMMUGoogle=Thébestgenericsearchandretrievalsystem2022/11/27fastLinuxx86-64versionfreeMRS數(shù)據(jù)庫綜合檢索系統(tǒng)Entrez＝TheLife生物信息數(shù)據(jù)庫的使用231登錄生物信息中心主頁：

從主頁進入生物信息數(shù)據(jù)庫在檢索欄內(nèi)通過輸入關(guān)鍵詞等方式檢索數(shù)據(jù)選擇所需要

的數(shù)據(jù)庫生物信息數(shù)據(jù)庫的使用231登錄生物信息中心主頁：生物信息學高性能計算平臺的構(gòu)建與使用課件生物信息數(shù)據(jù)庫檢索系統(tǒng)：一站式檢索生物信息數(shù)據(jù)庫檢索系統(tǒng)：一站式檢索2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介高性能計算系統(tǒng)的使用Linux基礎知識1已安裝生物信息學軟件2用戶使用流程3生物信息學實例分析4高性能計算系統(tǒng)的使用Linux基礎知識1已安裝生物信息學軟件1、Linux基礎知識

什么是Linux？免費的類Unix操作系統(tǒng)，適合PC機、服務器具有Unix的全部功能，穩(wěn)定，高效，網(wǎng)絡性能優(yōu)異以Linux為基礎的不同的發(fā)行版（Distribution）：Ubuntu:適合初學者Debian:Ubuntu的始祖，適合系統(tǒng)管理員Fedora:適合專業(yè)開發(fā)者Redhat/CentOS:適合個人或企業(yè)級服務器openSUSE：適合個人辦公1、Linux基礎知識

什么是Linux？免費的類Linux很難嗎？看起來很復雜，不知從何下手–實際上上手很快Linux系統(tǒng)不好用–*nux不是用來當桌面的書太多，每本都很厚–推薦O’Reilly系列Linux很難嗎？看起來很復雜，不知從何下手Linux系統(tǒng)的主要組成Linux的內(nèi)核：內(nèi)核是系統(tǒng)的核心，是運行程序和管理像磁盤和打印機等硬件設備的核心程序。LinuxSHELL:Shell是系統(tǒng)的用戶界面，提供了用戶與內(nèi)核進行交互操作的一種接口。Linux文件系統(tǒng):Linux文件系統(tǒng)是文件存放在磁盤等存儲設備上的組織方法。Linux能支持多種文件系統(tǒng)，如EXT2、EXT3、FAT、VFAT、ISO9660、NFS、SMB等。Linux應用系統(tǒng)：標準的Linux系統(tǒng)都有一整套稱為應用程序的程序集，包括文本編輯器、編程語言、辦公套件、Internet工具、數(shù)據(jù)庫等。Linux系統(tǒng)的主要組成Linux的內(nèi)核：內(nèi)核是系統(tǒng)的核心，Linux命令模式下的基本操作命令ls或者ll:列出當前目錄下全部文件相當于DOS下的dircd:改變當前目錄至指定目錄例：[zouly@big~]$cd/disk1/biosoft/mkdir:建立文件夾例：[zouly@big~]$mkdirblast-testcp:拷貝文件命令例：[zouly@big~]$cpenzyme.dat/disk1/data/pwd:查看用戶當前所在的路徑Linux命令模式下的基本操作命令ls或者ll:列出當Linux命令模式下的基本操作命令cat：查看文件內(nèi)容[zouly@big~]$cat1OMB.pdbmore:逐屏顯示文件內(nèi)容vi：新建文件或編輯文件例：[zouly@big~]$vi1OMB.pdb

mv:移動文件或目錄rm:刪除文件或目錄Linux命令模式下的基本操作命令cat：查看文件內(nèi)容Linux下解壓縮文件全能的解壓縮命令：tar例：tarxvfjblast2.2.21.tar.bz2tarxvfzblast2.2.21.tar.gztarxvfzblast2.2.21.taztarxvfblast2.2.21.tarLinux下解壓縮文件全能的解壓縮命令：tar2、平臺上已安裝的生物信息學軟件軟件類型軟件名稱軟件版本安裝路徑說明序列相似性比較fasta35.4.9/opt/bio*(系統(tǒng)自帶)blast2.2.21/disk1/biosoft?(后安裝)mpiblast1.5.0/opt/bio并行blast*多序列比對ClustalW2.0.12/opt/bio*ClustalW-mpi0.15/disk1/biosoft并行ClustalW?T_coffee8.14/opt/bio*MUSCLE4.0/disk1/biosoft?2、平臺上已安裝的生物信息學軟件軟件類型軟件名稱軟件版本安裝軟件類型軟件名稱軟件版本安裝路徑說明全基因組比較Mauve2.3.1/disk1/biosoft?GenomeComp1.3/disk1/biosoft?MUMmer3.22/disk1/biosoft?基因組注釋和分析glimmer3.0.2/opt/bio微生物基因預測*EMBOSS6.1.0/opt/bio綜合分析包*ncbi6.1-4/opt/bio綜合分析包*分子進化與系統(tǒng)發(fā)生分析phylip3.69/opt/bio*mrbayes3.1.2/opt/bio*PAML4.4/disk1/biosoft?軟件類型軟件名稱軟件版本安裝路徑說明全基因組比較Mauve2軟件類型軟件名稱軟件版本安裝路徑說明蛋白質(zhì)序列和結(jié)構(gòu)分析Hmmer2.3.2/opt/bio保守結(jié)構(gòu)域鑒定*DomainFinder2.0.4/disk1/biosoft?Interproscan4.6/disk1/biosoft?Modeller9v9/disk1/biosoft蛋白質(zhì)結(jié)構(gòu)預測?Rasmol2.7.3/disk1/biosoft三維結(jié)構(gòu)觀察?序列拼接與分析Tigr_Assembler3.0.2/opt/bio*CAP33.0/disk1/biosoft?Stadenpackage2.0b6/disk1/biosoft?分子對接Autodock4.2.1/opt/bio*Autodock_vina4.3/disk1/biosoft?Dock/Dock_mpi6.4/disk1/biosoft?軟件類型軟件名稱軟件版本安裝路徑說明蛋白質(zhì)序列和結(jié)構(gòu)分析Hm軟件類型軟件名稱軟件版本安裝路徑說明分子模擬gromacs4.0.5/opt/bio*NAMD2.7/disk1/biosoft?VMD1.8.6/disk1/biosoft?分子網(wǎng)絡分析osprey1.2.0/disk1/biosoft分子網(wǎng)絡構(gòu)建?cytoscape2.6.3/disk1/biosoft分子網(wǎng)絡可視化?RNA折疊與非編碼RNA預測mfold3.5/disk1/biosoft?unafold3.8/disk1/biosoft?miranda3.3/disk1/biosoftmiRNA作用位點預測?其他軟件MatlabR2010a/disk1/biosoft?primer33.0/disk1/biosoft引物設計?軟件類型軟件名稱軟件版本安裝路徑說明分子模擬gromacs4如何在平臺上運行一個生物軟件？安裝在/opt/bio/下面的軟件，登錄平臺后可直接運行例如：[zouly@big~]$autodock4安裝在/disk1/biosoft/下的軟件，SSH登錄平臺后，運行帶完整路徑的執(zhí)行程序名例：[zouly@big~]$/disk1/biosoft/autodock/bin/aotudock4上傳軟件到自己的目錄下使用例：上傳Autodock程序到自己的目錄/disk1/zouly/Autodock[zouly@big~]$./Autodock4/autodock4點擊演示如何在平臺上運行一個生物軟件？安裝在/opt/bio/下面的如何進入本地數(shù)據(jù)庫的ftp下載原始數(shù)據(jù)生物信息數(shù)據(jù)ftp地址為02

對應的計算網(wǎng)絡內(nèi)的ip為：03利用Linux自帶的ftp工具進入，命令：ftp032022/11/27如何進入本地數(shù)據(jù)庫的ftp下載原始數(shù)據(jù)生物信息數(shù)據(jù)ftp地址輸入用戶名:

anonymous，即可登陸使用get命令可以下載其中的文件到用戶目錄使用close命令關(guān)閉ftp連接使用quit命令退出ftp程序2022/11/27輸入用戶名:anonymous，即可登陸2022/11/23、用戶使用流程介紹用戶申請帳號SSH方式登錄平臺編寫計算任務的腳本提交計算任務計算完成,獲得結(jié)果3、用戶使用流程介紹用戶申請帳號SSH方式登錄平臺編寫計算任3.1用戶賬號申請和使用

通過下列電子郵箱申請免費使用帳號bioinfo_tmmu@126.com申請用戶名為姓名拼音與數(shù)字的組合，如賈君鵬，可申請用戶名jiajp

或jiajunpeng或jiajp1982，等等申請的帳號和密碼將通過郵箱發(fā)送給用戶用戶目錄默認在/disk1或/disk2下，如賈君鵬的目錄:/disk1/jiajp2022/11/273.1用戶賬號申請和使用通過下列電子郵箱申請免費使用帳號3.2登錄/退出平臺平臺登錄的IP地址：01連接校園網(wǎng)和互聯(lián)網(wǎng)的計算機均可登錄通過SSH方式登錄平臺Windows用戶推薦使用Xmanager軟件包中的xshell軟件來登錄Linux用戶可直接通過SSH方式登錄要登錄圖形桌面推薦使用VNCViewer軟件進行用戶計算機與平臺之間上傳下載數(shù)據(jù)推薦使用Xmanager中的xftp來進行以上軟件可到

下載2022/11/273.2登錄/退出平臺平臺登錄的IP地址：202.202.2使用Xmanager中的Xshell登陸平臺Xshell登陸演示登陸后的個人用戶目錄位于/disk1如：用戶zouly登陸后，其用戶目錄為/disk1/zouly2022/11/27使用Xmanager中的Xshell登陸平臺Xshell登陸使用Xmamager中的xshell軟件登錄平臺示例2022/11/27視頻演示使用Xmamager中的xshell軟件登錄平臺示例202SSH方式登錄成功！SSH方式登錄成功！使用XFTP在用戶和平臺之間上傳下載文件2022/11/27使用XFTP在用戶和平臺之間上傳下載文件2022/11/262022/11/27本地目錄計算平臺用戶目錄視頻演示2022/11/26本地目錄計算平臺用戶目錄視頻演示使用VNCViewer登錄圖形界面的步驟第1步：自己的電腦上安裝VNC-4.0軟件第2步：SSH方式登錄平臺，然后運行vncserver命令，設定vnc連接密碼，確定連接端口號（圖中端口號是3）以用戶zouly為例，運行vncserver命令:使用VNCViewer登錄圖形界面的步驟第1步：自己的電腦2022/11/27第3步，修改用戶登陸配置文件$HOME/.vnc/xstartup如，zouly用戶修改/disk1/zouly/.vnc/xstartup將該文件中最后一行的twm&修改為gnome-session&第4步：啟動VNCViewer，輸入01:端口號2022/11/26第3步，修改用戶登陸配置文件$HOME第5步:輸入連接密碼,遠程圖形界面登錄成功視頻演示第5步:輸入連接密碼,遠程圖形界面登錄成功視頻演示第6步：退出圖形化登陸，刪除連接端口號刪除連接端口的命令：vncserver–kill:端口號例如：2022/11/27第6步：退出圖形化登陸，刪除連接端口號刪除連接端口的命令：v3.3編寫計算任務腳本確定需要使用哪個軟件來進行計算分析閱讀該軟件的使用手冊，了解軟件的使用方法根據(jù)你的計算任務，編寫一個SGE計算任務腳本文件，該文件對你需要系統(tǒng)進行計算的任務進行描述。2022/11/273.3編寫計算任務腳本確定需要使用哪個軟件來進行計算分析Example：使用clustalw-mpi進行多序列比對2022/11/27問題：對來自多個菌種的traG蛋白質(zhì)序列進行比對解決思路：使用并行ClustalW程序ClustalW-mpi，對序列進行多序列比對.參考分析流程：SSH登錄系統(tǒng)上傳序列文件traG.fasta

到自己的目錄編寫SGE腳本文件，提交分析結(jié)果Example：使用clustalw-mpi進行多序列比對2步驟1：上傳待分析的數(shù)據(jù)traG.fasta通過xftp上傳數(shù)據(jù)到用戶工作目錄/disk1/zouly/traG步驟1：上傳待分析的數(shù)據(jù)traG.fasta通過xft步驟2：編寫mpiblast的計算腳本文件在工作目錄內(nèi)創(chuàng)建一個文件，如clustalw-mpi.qsub，內(nèi)容如下#!/bin/bash#$-cwd#$-jy#$-S/bin/bash#exportMPI_DIR=/opt/openmpi/$MPI_DIR/bin/mpirun-np$NSLOTS/disk1/biosoft/clustalW-mpi/clustalw-mpi-0.15/clustalw-mpi-infile=traG.fasta-outfile=result.aln步驟2：編寫mpiblast的計算腳本文件在工作目錄內(nèi)創(chuàng)建2022/11/27#!/bin/bash#$-cwd#$-jy#$-S/bin/bash#clustalw-mpi.qsub腳本文件內(nèi)容的含義解析：公共部分，所有腳本通用/disk1/biosoft/clustalw-mpi/clustalw-mpi-0.15/clustalw-mpi-infile=traG.fasta-outfile=result.aln聲明使用openmpi并行環(huán)境exportMPI_DIR=/opt/openmpi/$MPI_DIR/bin/mpirun調(diào)用mpirun進行并行計算使用clustalw-mpi進行序列比對的程序命令2022/11/26#!/bin/bashclustalw-/disk1/biosoft/clustalw-mpi/clustalw-mpi-0.15/clustalw-mpi-infile=traG.fasta-outfile=result.alnclustalw-mpi程序的路徑-infile=指定輸入的序列文件名-outfile=指定保存比對結(jié)果的文件名clustalw-mpi程序執(zhí)行命令解析：/disk1/biosoft/clustalw-mpi/cl步驟3：向系統(tǒng)提交計算任務將寫好的腳本程序提交到系統(tǒng)，SGE將自動分配計算節(jié)點開始計算提交計算任務的命令如下：[zouly@bigtraG]$qsub-peorte16clustalw-mpi.qsubYourjob54("clustalw-mpi.qsub")hasbeensubmitted提交計算任務的命令解析：qsub提交計算任務的命令-peorte16申請使用16個CPU計算核心來進行計算clustalw-mpi.qsub腳本文件的名稱步驟3：向系統(tǒng)提交計算任務將寫好的腳本程序提交到系統(tǒng)，SGE步驟4：查看計算任務狀態(tài)查看任務運行狀態(tài)的命令qstat（查看基本信息）qstat-f（查看計算節(jié)點工作狀態(tài)）qstat-jjob-ID（查看正在運行的任務的詳細情況）2022/11/27[zouly@bigtraG]$qstatjob-IDpriornameuserstatesubmit/startatqueue------------------------------------------------------------------------------------------------540.55500clustalw-mzoulyr04/27/201115:49:46all.q@compute-0-9.local步驟4：查看計算任務狀態(tài)查看任務運行狀態(tài)的命令2022/11步驟5：查看計算結(jié)果結(jié)果保存在result.aln文件中2022/11/27步驟5：查看計算結(jié)果結(jié)果保存在result.aln文件中20使用qdel命令刪除已經(jīng)提交的計算任務使用命令：qdeljob-ID例如，用戶提交的計算任務ID號為60，則刪除該計算任務的方法：[zouly@bigt]$qdel602022/11/27使用qdel命令刪除已經(jīng)提交的計算任務使用命令：qdelSSH連接生物信息學平臺演示圖形方式連接生物信息學平臺演示XFTP上傳下載文件使用clustalw-mpi進行并行計算任務提交演示2022/11/27生物信息學平臺使用演示SSH連接生物信息學平臺演示2022/11/26生物信息學使用平臺進行生物信息學分析實例使用Mauve比對多個腸道桿菌全基因組1使用Modeller進行蛋白質(zhì)結(jié)構(gòu)建模2使用Gromacs進行分子動力學模擬3使用平臺進行生物信息學分析實例使用Mauve比對多個2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介AnyQuestion?生物學中有著至少500年也解決不完的有趣問題。——DonnaldE.Knuth（美國著名計算機科學家）AnyQuestion?思考題申請一個高性能計算平臺賬號，登錄并運行一個程序在生物信息學中心數(shù)據(jù)庫系統(tǒng)中檢索并下載某個蛋白質(zhì)家族的1000條以上的序列數(shù)據(jù)，編寫計算腳本，使用高性能計算系統(tǒng)進行并行多序列比對，給出比對結(jié)果2022/11/27思考題申請一個高性能計算平臺賬號，登錄并運行一個程序202277Thankyou!77Thankyou!2022/11/27生物信息學高性能計算平臺的構(gòu)建與使用2022/11/26生物信息學高提綱生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/27提綱生物信息中心情況簡介2022/11/262022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介WhyBioinformatics?2022/11/27WhyBioinformatics?2022/11/26Bioinformatics:Whatdoweneed?

Whatdoweneed?滿足各種生物信息學分析所需的大規(guī)模計算能力的平臺對分子生物信息數(shù)據(jù)能夠快速獲取的平臺從互聯(lián)網(wǎng)快速接入服務器并進行生物信息學分析的平臺Bioinformatics:WhatdoweneeWhyHighPerformanceComputing（HPC）？2022/11/271超大規(guī)模的數(shù)據(jù)處理基因組測序序列：5×1020量級蛋白質(zhì)折疊計算：3×1023

量級藥物設計平均篩選10000種化合物以上才能得到一種新藥2超大計算規(guī)模的算法分子動力學模擬分子相互作網(wǎng)絡分子進化分析

蛋白質(zhì)結(jié)構(gòu)模擬……3多用戶同時的計算需求

一個和尚、兩個和尚、三個和尚…WhyHighPerformanceComputing我們的已經(jīng)完成的工作滿足各種生物信息學分析的HPC快速獲取各種分子生物信息數(shù)據(jù)隨時從網(wǎng)絡接入提交計算任務來分析數(shù)據(jù)1.將多個重要的生物信息數(shù)據(jù)庫本地化安裝2.建立了一個高性能計算系統(tǒng)3.將平臺接入校園網(wǎng)/互聯(lián)網(wǎng)我們的已經(jīng)完成的工作滿足各種生物信息學分析的HPC快速獲取各生物信息學平臺的架構(gòu)磁盤存儲陣列萬兆網(wǎng)絡交換機數(shù)據(jù)庫系統(tǒng)高性能服務器刀片式服務器集群（Cluster）存儲系統(tǒng)高性能計算系統(tǒng)生物信息學平臺的架構(gòu)http://bioinfo.tmmu.生物信息學平臺硬件與軟件系統(tǒng)HardwareSoftwareOurPlatform浪潮天梭高性能服務器集群（cluster）Linux系統(tǒng):

RocksCluster5.4CentOS5.5RedHatAS4生物信息學平臺硬件與軟件系統(tǒng)HardwareSoftwar......SystemAreaNetworkLocalAreaNetworkLANMemoryI/OBusMemoryBusSystem1ChipsetSANCPUsLANMemoryI/OBusMemoryBusSystem2ChipsetSANCPUsLANMemoryI/OBusMemoryBusSystem3ChipsetSANCPUsWhatisCluster(集群)?2022/11/27多臺計算機通過高速網(wǎng)絡連成一個并行計算系統(tǒng)......SystemAreaNetworkLocalWhycluster?2022/11/27容易擴展從幾十個節(jié)點到幾萬個節(jié)點容易并行并行計算的最優(yōu)選擇之一容易維護單個節(jié)點的故障不影響整體Whycluster?2022/11/26容易擴展從幾十個Whycluster?2022/11/27普通PCclusterWhycluster?2022/11/26普通PCclusJaguarRoadrunner天河1號KComputerJaguarRoadrunner天河1號KComputerWhatisRocksCluster?RocksCluster集成生物信息學軟件包一種免費集群操作系統(tǒng)基于CentOSLinuxWhatisRocksCluster?RocksClRocksCluster5.4的主要功能模塊2022/11/27

RocksRoll基本功能模塊RedHatLinux內(nèi)核操作系統(tǒng)組件SUNGridEngine分布式任務管理系統(tǒng)1.Baseroll2.Kernel3.OS4.SGE5.bioBiosoftPackageRocksCluster5.4的主要功能模塊2022/我校生物信息學平臺拓撲結(jié)構(gòu)圖用戶用戶26個刀片式計算節(jié)點OneComputer！我校生物信息學平臺拓撲結(jié)構(gòu)圖用用戶OneComputer！生物信息平臺物理分布視圖生物信息平臺物理分布視圖生物信息學平臺計算機群數(shù)據(jù)庫節(jié)點雙路Intel至強5450處理器2.83GHZ8個核心，32G內(nèi)存其他節(jié)點8核、16G內(nèi)存存儲系統(tǒng)30個1TB硬盤的存儲陣列性能指標：208個計算核心2萬億次/秒浮點運算生物信息學平臺計算機群數(shù)據(jù)庫節(jié)點以RocksCluster為核心的Linux操作環(huán)境Rockscluster5.416G內(nèi)存64位CentOS5.432G內(nèi)存64位Rockscluster5.416G內(nèi)存64位bio-linux6.02GRAM32位

管理節(jié)點

數(shù)據(jù)庫節(jié)點

終端計算機

計算節(jié)點平臺操作環(huán)境以RocksCluster為核心的Linux操作環(huán)境Roc為什么選擇Unix/Linux來構(gòu)建平臺？科學研究的通用平臺90%以上的科學軟件在Unix/Linux下開發(fā)多數(shù)生物信息學軟件只有Unix/Linux版本數(shù)量龐大的各種小工具

Sed,awk,vi,emacs,diff,cvs,etc…極多的高質(zhì)量文檔免費^_^!為什么選擇Unix/Linux來構(gòu)建平臺？科學研究的通用平臺各節(jié)點的主機名稱及IP地址管理節(jié)點主機名稱：;IP地址：01計算節(jié)點（26臺刀片式服務器）Blade1:compute-0-0～compute-0-9Blade2:compute-1-0～compute-1-9Blade3:compute-2-0～compute-2-5數(shù)據(jù)庫節(jié)點：主機名：databaseIP地址：02訪問域名：

2022/11/27各節(jié)點的主機名稱及IP地址管理節(jié)點2022/11/26平臺的并行計算環(huán)境MPI（MessagePassingInterface)MPICH2最基本的MPI，運行簡單，應用廣泛，效率不高安裝路徑：/opt/mpich2/gnu/bin/openmpi功能強大、靈活，支持infiniband，效率高安裝路徑：/opt/openmpi/bin/各計算節(jié)點的公共目錄/disk1和/disk2，容量均為8T2022/11/27平臺的并行計算環(huán)境MPI（MessagePassing平臺的任務管理系統(tǒng)SGE任務管理系統(tǒng)：自動分配計算資源來運行用戶的計算任務SunGridEngine(SGE)LSFOpenPBS本平臺安裝的是SGE用戶在進行生物信息學計算之前，需要編寫SGE計算腳本文件，通過提交腳本文件來使用計算資源。2022/11/27平臺的任務管理系統(tǒng)SGE任務管理系統(tǒng)：自動分配計算資源來運

其他設備：bio-linux終端計算機

1.安裝了bio-linux系統(tǒng)，圖形操作界面

2.集成了十多種生物信息學軟件，免費使用

3.可迅速連接高性能計算系統(tǒng)進行大規(guī)模計算分析2022/11/27其他設備：bio-linux終端計算機生物信息學高性能計算平臺的構(gòu)建與使用課件生物信息學平臺的使用方式使用方式通過校園網(wǎng)或互聯(lián)網(wǎng)的任意計算機遠程登錄使用前來我?；A部生命科學樓7樓本地使用生物信息學平臺的使用方式使用方式2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介國際生物信息數(shù)據(jù)庫的本地化過程下載元數(shù)據(jù)構(gòu)建檢索系統(tǒng)發(fā)布數(shù)據(jù)庫國際生物信息數(shù)據(jù)庫的本地化過程下載元數(shù)據(jù)構(gòu)建檢索系統(tǒng)發(fā)布數(shù)據(jù)已經(jīng)收錄的數(shù)據(jù)庫GenbankUniprotKBPDBEMBLRefseqProsite……MRS檢索系統(tǒng)20多個生物醫(yī)學相關(guān)的數(shù)據(jù)庫主要數(shù)據(jù)庫每日更新集成Blast、ClustalW、Jmol等分析工具可將自己的Web-Server程序、數(shù)據(jù)庫發(fā)布到互聯(lián)網(wǎng)已經(jīng)收錄的數(shù)據(jù)庫GenbankUniprotKBPDBEMMRS數(shù)據(jù)庫綜合檢索系統(tǒng)Entrez＝TheLifeScienceSearchEngine-----NCBISRS=SequenceRetrievalSystem-----EBIMRS=Maarten’sRetrievalSystem-----BICatTMMUGoogle=Thébestgenericsearchandretrievalsystem2022/11/27fastLinuxx86-64versionfreeMRS數(shù)據(jù)庫綜合檢索系統(tǒng)Entrez＝TheLife生物信息數(shù)據(jù)庫的使用231登錄生物信息中心主頁：

從主頁進入生物信息數(shù)據(jù)庫在檢索欄內(nèi)通過輸入關(guān)鍵詞等方式檢索數(shù)據(jù)選擇所需要

的數(shù)據(jù)庫生物信息數(shù)據(jù)庫的使用231登錄生物信息中心主頁：生物信息學高性能計算平臺的構(gòu)建與使用課件生物信息數(shù)據(jù)庫檢索系統(tǒng)：一站式檢索生物信息數(shù)據(jù)庫檢索系統(tǒng)：一站式檢索2022/11/27生物信息中心情況簡介生物信息學平臺的構(gòu)建數(shù)據(jù)庫檢索系統(tǒng)的使用高性能計算系統(tǒng)的使用生物信息學分析實例Q&A2022/11/26生物信息中心情況簡介高性能計算系統(tǒng)的使用Linux基礎知識1已安裝生物信息學軟件2用戶使用流程3生物信息學實例分析4高性能計算系統(tǒng)的使用Linux基礎知識1已安裝生物信息學軟件1、Linux基礎知識

什么是Linux？免費的類Unix操作系統(tǒng)，適合PC機、服務器具有Unix的全部功能，穩(wěn)定，高效，網(wǎng)絡性能優(yōu)異以Linux為基礎的不同的發(fā)行版（Distribution）：Ubuntu:適合初學者Debian:Ubuntu的始祖，適合系統(tǒng)管理員Fedora:適合專業(yè)開發(fā)者Redhat/CentOS:適合個人或企業(yè)級服務器openSUSE：適合個人辦公1、Linux基礎知識

什么是Linux？免費的類Linux很難嗎？看起來很復雜，不知從何下手–實際上上手很快Linux系統(tǒng)不好用–*nux不是用來當桌面的書太多，每本都很厚–推薦O’Reilly系列Linux很難嗎？看起來很復雜，不知從何下手Linux系統(tǒng)的主要組成Linux的內(nèi)核：內(nèi)核是系統(tǒng)的核心，是運行程序和管理像磁盤和打印機等硬件設備的核心程序。LinuxSHELL:Shell是系統(tǒng)的用戶界面，提供了用戶與內(nèi)核進行交互操作的一種接口。Linux文件系統(tǒng):Linux文件系統(tǒng)是文件存放在磁盤等存儲設備上的組織方法。Linux能支持多種文件系統(tǒng)，如EXT2、EXT3、FAT、VFAT、ISO9660、NFS、SMB等。Linux應用系統(tǒng)：標準的Linux系統(tǒng)都有一整套稱為應用程序的程序集，包括文本編輯器、編程語言、辦公套件、Internet工具、數(shù)據(jù)庫等。Linux系統(tǒng)的主要組成Linux的內(nèi)核：內(nèi)核是系統(tǒng)的核心，Linux命令模式下的基本操作命令ls或者ll:列出當前目錄下全部文件相當于DOS下的dircd:改變當前目錄至指定目錄例：[zouly@big~]$cd/disk1/biosoft/mkdir:建立文件夾例：[zouly@big~]$mkdirblast-testcp:拷貝文件命令例：[zouly@big~]$cpenzyme.dat/disk1/data/pwd:查看用戶當前所在的路徑Linux命令模式下的基本操作命令ls或者ll:列出當Linux命令模式下的基本操作命令cat：查看文件內(nèi)容[zouly@big~]$cat1OMB.pdbmore:逐屏顯示文件內(nèi)容vi：新建文件或編輯文件例：[zouly@big~]$vi1OMB.pdb

mv:移動文件或目錄rm:刪除文件或目錄Linux命令模式下的基本操作命令cat：查看文件內(nèi)容Linux下解壓縮文件全能的解壓縮命令：tar例：tarxvfjblast2.2.21.tar.bz2tarxvfzblast2.2.21.tar.gztarxvfzblast2.2.21.taztarxvfblast2.2.21.tarLinux下解壓縮文件全能的解壓縮命令：tar2、平臺上已安裝的生物信息學軟件軟件類型軟件名稱軟件版本安裝路徑說明序列相似性比較fasta35.4.9/opt/bio*(系統(tǒng)自帶)blast2.2.21/disk1/biosoft?(后安裝)mpiblast1.5.0/opt/bio并行blast*多序列比對ClustalW2.0.12/opt/bio*ClustalW-mpi0.15/disk1/biosoft并行ClustalW?T_coffee8.14/opt/bio*MUSCLE4.0/disk1/biosoft?2、平臺上已安裝的生物信息學軟件軟件類型軟件名稱軟件版本安裝軟件類型軟件名稱軟件版本安裝路徑說明全基因組比較Mauve2.3.1/disk1/biosoft?GenomeComp1.3/disk1/biosoft?MUMmer3.22/disk1/biosoft?基因組注釋和分析glimmer3.0.2/opt/bio微生物基因預測*EMBOSS6.1.0/opt/bio綜合分析包*ncbi6.1-4/opt/bio綜合分析包*分子進化與系統(tǒng)發(fā)生分析phylip3.69/opt/bio*mrbayes3.1.2/opt/bio*PAML4.4/disk1/biosoft?軟件類型軟件名稱軟件版本安裝路徑說明全基因組比較Mauve2軟件類型軟件名稱軟件版本安裝路徑說明蛋白質(zhì)序列和結(jié)構(gòu)分析Hmmer2.3.2/opt/bio保守結(jié)構(gòu)域鑒定*DomainFinder2.0.4/disk1/biosoft?Interproscan4.6/disk1/biosoft?Modeller9v9/disk1/biosoft蛋白質(zhì)結(jié)構(gòu)預測?Rasmol2.7.3/disk1/biosoft三維結(jié)構(gòu)觀察?序列拼接與分析Tigr_Assembler3.0.2/opt/bio*CAP33.0/disk1/biosoft?Stadenpackage2.0b6/disk1/biosoft?分子對接Autodock4.2.1/opt/bio*Autodock_vina4.3/disk1/biosoft?Dock/Dock_mpi6.4/disk1/biosoft?軟件類型軟件名稱軟件版本安裝路徑說明蛋白質(zhì)序列和結(jié)構(gòu)分析Hm軟件類型軟件名稱軟件版本安裝路徑說明分子模擬gromacs4.0.5/opt/bio*NAMD2.7/disk1/biosoft?VMD1.8.6/disk1/biosoft?分子網(wǎng)絡分析osprey1.2.0/disk1/biosoft分子網(wǎng)絡構(gòu)建?cytoscape2.6.3/disk1/biosoft分子網(wǎng)絡可視化?RNA折疊與非編碼RNA預測mfold3.5/disk1/biosoft?unafold3.8/disk1/biosoft?miranda3.3/disk1/biosoftmiRNA作用位點預測?其他軟件MatlabR2010a/disk1/biosoft?primer33.0/disk1/biosoft引物設計?軟件類型軟件名稱軟件版本安裝路徑說明分子模擬gromacs4如何在平臺上運行一個生物軟件？安裝在/opt/bio/下面的軟件，登錄平臺后可直接運行例如：[zouly@big~]$autodock4安裝在/disk1/biosoft/下的軟件，SSH登錄平臺后，運行帶完整路徑的執(zhí)行程序名例：[zouly@big~]$/disk1/biosoft/autodock/bin/aotudock4上傳軟件到自己的目錄下使用例：上傳Autodock程序到自己的目錄/disk1/zouly/Autodock[zouly@big~]$./Autodock4/autodock4點擊演示如何在平臺上運行一個生物軟件？安裝在/opt/bio/下面的如何進入本地數(shù)據(jù)庫的ftp下載原始數(shù)據(jù)生物信息數(shù)據(jù)ftp地址為02

對應的計算網(wǎng)絡內(nèi)的ip為：03利用Linux自帶的ftp工具進入，命令：ftp032022/11/27如何進入本地數(shù)據(jù)庫的ftp下載原始數(shù)據(jù)生物信息數(shù)據(jù)ftp地址輸入用戶名:

anonymous，即可登陸使用get命令可以下載其中的文件到用戶目錄使用close命令關(guān)閉ftp連接使用quit命令退出ftp程序2022/11/27輸入用戶名:anonymous，即可登陸2022/11/23、用戶使用流程介紹用戶申請帳號SSH方式登錄平臺編寫計算任務的腳本提交計算任務計算完成,獲得結(jié)果3、用戶使用流程介紹用戶申請帳號SSH方式登錄平臺編寫計算任3.1用戶賬號申請和使用

通過下列電子郵箱申請免費使用帳號bioinfo_tmmu@126.com申請用戶名為姓名拼音與數(shù)字的組合，如賈君鵬，可申請用戶名jiajp

或jiajunpeng或jiajp1982，等等申請的帳號和密碼將通過郵箱發(fā)送給用戶用戶目錄默認在/disk1或/disk2下，如賈君鵬的目錄:/disk1/jiajp2022/11/273.1用戶賬號申請和使用通過下列電子郵箱申請免費使用帳號3.2登錄/退出平臺平臺登錄的IP地址：01連接校園網(wǎng)和互聯(lián)網(wǎng)的計算機均可登錄通過SSH方式登錄平臺Windows用戶推薦使用Xmanager軟件包中的xshell軟件來登錄Linux用戶可直接通過SSH方式登錄要登錄圖形桌面推薦使用VNCViewer軟件進行用戶計算機與平臺之間上傳下載數(shù)據(jù)推薦使用Xmanager中的xftp來進行以上軟件可到

下載2022/11/273.2登錄/退出平臺平臺登錄的IP地址：202.202.2使用Xmanager中的Xshell登陸平臺Xshell登陸演示登陸后的個人用戶目錄位于/disk1如：用戶zouly登陸后，其用戶目錄為/disk1/zouly2022/11/27使用Xmanager中的Xshell登陸平臺Xshell登陸使用Xmamager中的xshell軟件登錄平臺示例2022/11/27視頻演示使用Xmamager中的xshell軟件登錄平臺示例202SSH方式登錄成功！SSH方式登錄成功！使用XFTP在用戶和平臺之間上傳下載文件2022/11/27使用XFTP在用戶和平臺之間上傳下載文件2022/11/262022/11/27本地目錄計算平臺用戶目錄視頻演示2022/11/26本地目錄計算平臺用戶目錄視頻演示使用VNCViewer登錄圖形界面的步驟第1步：自己的電腦上安裝VNC-4.0軟件第2步：SSH方式登錄平臺，然后運行vncserver命令，設定vnc連接密碼，確定連接端口號（圖中端口號是3）以用戶zouly為例，運行vncserver命令:使用VNCViewer登錄圖形界面的步驟第1步：自己的電腦2022/11/27第3步，修改用戶登陸配置文件$HOME/.vnc/xstartup如，zouly用戶修改/disk1/zouly/.vnc/xstartup將該文件中最后一行的twm&修改為gnome-session&第4步：啟動VNCViewer，輸入01:端口號2022/11/26第3步，修改用戶登陸配置文件$HOME第5步:輸入連接密碼,遠程圖形界面登錄成功視頻演示第5步:輸入連接密碼,遠程圖形界面登錄成功視頻演示第6步：退出圖形化登陸，刪除連接端口號刪除連接端口的命令：vncserver–kill:端口號例如：2022/11/27第6步：退出圖形化登陸，刪除連接端口號刪除連接端口的命令：v3.3編寫計算任務腳本確定需要使用哪個軟件來進行計算分析閱讀該軟件的使用手冊，了解軟件的使用方法根據(jù)你的計算任務，編寫一個SGE計算任務腳本文件，該文件對你需要系統(tǒng)進行計算的任務進行描述。2022/11/273.3編寫計算任務腳本確定需要使用哪個軟件來進行計算分析Example：使用clustalw-mpi進行多序列比對2022/11/27問題：對來自多個菌種的traG蛋白質(zhì)序列進行比對解決思路：使用并行ClustalW程序ClustalW-mpi，對序列進行多序列比對.參考分析流程：SSH登錄系統(tǒng)上傳序列文件traG.fasta

到自己的目錄編寫SGE腳本文件，提交分析結(jié)果Example：使用clustalw-mpi進行多序列比對2步驟1：上傳待分析的數(shù)據(jù)traG.fasta通過xftp上傳數(shù)據(jù)到用戶工作目錄/disk1/zouly/traG步驟1：上傳待分析的數(shù)據(jù)traG.fasta通過xft步驟2：編寫mpiblast的計算腳本文件在工作目錄內(nèi)創(chuàng)建一個文件，如clust