CSNS計算環(huán)境設(shè)計與現(xiàn)狀提綱計算與存儲需求初步設(shè)計方案當(dāng)前進(jìn)展2Part1計算與存儲需求3計算需求4云計算平臺實驗用戶需要200核CPU，1T內(nèi)存所內(nèi)用戶需要500核，2TB內(nèi)存批處理集群700核CPU，3TB內(nèi)存提供MPI并行計算環(huán)境交互式集群200核CPU，提供圖形界面提供MPI并行計算環(huán)境公共軟件庫提供公共軟件庫掛載MPI并行計算占大多數(shù)存儲需求5云平臺存儲虛擬實例需要5TB鏡像及快照存儲需要5TB實驗數(shù)據(jù)存儲SSD快速存儲50TBSAS存儲300TB數(shù)據(jù)庫集群用戶元數(shù)據(jù)，千萬級條記錄應(yīng)用系統(tǒng)（zabbix、slurm、日志等）數(shù)據(jù)備份磁帶庫200TBPart2初步設(shè)計方案6建議方案-子項目計算網(wǎng)絡(luò)用戶管理云計算平臺批處理集群交互式集群分布式存儲數(shù)據(jù)庫集群公共軟件庫云存儲備份系統(tǒng)運維環(huán)境支撐環(huán)境7建議方案-云計算平臺-開源云平臺OpenStackOpenStackCloudStackOpenNebulaEucalyptus……8控制性兼容性可擴展性靈活性行業(yè)標(biāo)準(zhǔn)實踐檢驗建議方案-云計算平臺-虛擬化技術(shù)-KVMKVM自2.6.20版開始已自動包含在每個Linux內(nèi)核中KVM在Linux內(nèi)核中的集成使它能夠自動利用新Linux內(nèi)核版本中的任何改進(jìn)。盡管Xen仍可提供比KVM性能更高的裸機虛擬化，但這些性能改進(jìn)的價值往往比不上KVM虛擬化的簡單性和易用性價值9根據(jù)2014年4月亞特蘭大OpenStack全球峰會前的全球用戶調(diào)研，在Hypervisor中，部署基于KVM的云平臺占到了62%。建議方案-云計算平臺-OpenStack+KVM10建議方案-批處理集群-物理集群-作業(yè)管理系統(tǒng)

Torque/MauiHTCondorSlurm社區(qū)支持只支持torque，Maui不再支持活躍活躍文檔支持Torque較好，maui文檔較差好好HA不支持centralmanager&jobqueuefailoverheadnodefailoverIPv6支持noyes,withlimitationsno隊列支持支持不支持支持穩(wěn)定性低高高擴展性無好Debated.Probablydependingonthehardwaretype(HPCvsHTC)asmuchastheconfigurationoftheDBandplug-ins.作業(yè)上限

18000+6000開始出現(xiàn)問題？應(yīng)用場景HTC/HPCHTCHTC/HPC對云平臺的支持

OpenNebulaOpenStack無安裝簡單簡單簡單配置支持puppet支持puppet不支持puppet并行作業(yè)支持一般不支持跨節(jié)點好，尤其對MPI的支持最好11建議方案-批處理集群-物理集群-作業(yè)管理系統(tǒng)slurm散裂并行MPI的作業(yè)占大部分作業(yè)系統(tǒng)使用slurm控制節(jié)點雙機備份數(shù)據(jù)庫采用mysql集群12建議方案-虛擬集群13能夠根據(jù)用戶作業(yè)的數(shù)目進(jìn)行實時的虛擬機動態(tài)創(chuàng)建和刪除，實現(xiàn)資源彈性管理。存儲系統(tǒng)14鏡像文件的存儲，大文件虛擬實例的存儲，大文件塊存儲（云硬盤）：需求較少，不方便云計算平臺配套存儲實驗數(shù)據(jù)存儲實驗數(shù)據(jù)大多數(shù)是大文件用戶文件比較復(fù)雜，大小文件都有建議方案-分布式存儲15Ceph？Gluster？大文件存儲方面，gluster要優(yōu)于cephGluster（兩套）面向云平臺面向?qū)嶒灁?shù)據(jù)建議方案-分布式存儲-數(shù)據(jù)庫集群-Mysql存儲引擎選擇16MyISAM（☆☆☆）MySQL4和5使用默認(rèn)的MyISAM存儲引擎。從MYSQL5.5開始，MySQL已將默認(rèn)存儲引擎從MyISAM更改為InnoDB。不支持事務(wù)處理InnoDB（☆☆☆☆）支持事務(wù)處理支持行級鎖XtraDB（☆☆☆☆☆）XtraDB是InnoDB存儲引擎的增強版本，被設(shè)計用來更好的使用更新計算機硬件系統(tǒng)的性能，同時還包含有一些在高性能環(huán)境下的新特性。建議方案-分布式存儲-數(shù)據(jù)庫集群-Mysql分支選擇PerconaServer分支（☆☆☆☆☆）Percona公司發(fā)布完全與MySQL兼容提供了高性能XtraDB引擎提供PXC高可用解決方案附帶了percona-toolkit等DBA管理工具箱MariaDB分支（☆☆☆☆）對MySQL做了較多優(yōu)化，完全與mysql兼容支持Innodb和XtraDB等多種存儲引擎17建議方案-分布式存儲-MMM/MHA高可用解決方案MMM提供了MySQL主主復(fù)制配置的監(jiān)控、故障轉(zhuǎn)移和管理的一套可伸縮的腳本套件當(dāng)可寫的主節(jié)點故障時，MMM套件可以立刻監(jiān)控到，然后將服務(wù)自動切換到另一個主節(jié)點，繼續(xù)提供服務(wù)，從而實現(xiàn)MySQL的高可用。18所以，mysql選擇PerconaServer分支MMM/MHAMYSQL高可用解決方案19part3當(dāng)前進(jìn)展20云計算平臺進(jìn)展虛擬化環(huán)境Juno+SL7.0Controller(2)+computer(8)192vCPU，1005.8GBRAM網(wǎng)絡(luò)物理網(wǎng)絡(luò)4臺交換機5個網(wǎng)段242,246,248,249,250虛擬網(wǎng)絡(luò)——vlan云計算平臺進(jìn)展22虛擬化環(huán)境建設(shè)控制節(jié)點高可用使用gluster提供統(tǒng)一存儲（包含塊存儲、實例存儲和文件存儲）控制節(jié)點和計算節(jié)點的松耦合架構(gòu)，保證虛擬實例的獨立性虛擬化環(huán)境建設(shè)實現(xiàn)虛擬機和內(nèi)網(wǎng)機器無縫互通消除網(wǎng)絡(luò)節(jié)點轉(zhuǎn)發(fā)瓶頸和單點故障統(tǒng)一認(rèn)證存儲系統(tǒng)進(jìn)展23Glusterfs，提供NAS存儲，存儲空間-90TBRAID6E雙副本Nova，cinder，pubvolInstance存儲共享存儲熱遷移存儲（已經(jīng)利用了9TB）Gluster，91TInstance——13T（gluster）Cinder——13T（gluster）pubvol——65T（gluster）基于slurm資源管理系統(tǒng)不同的登錄網(wǎng)關(guān)224核，448MB內(nèi)存NIS用戶統(tǒng)一管理提供公共軟件庫提供多版本MPI并行計算環(huán)境24批處理計算集群計算集群中子物理組計算集群（托管）120核白光源計算集群（托管）224核虛擬機計算集群（sns）96核探測器組計算集群（det）192核25運維環(huán)境進(jìn)展資源管理openDCIM/統(tǒng)一配置管理Foreman+Puppet時間校準(zhǔn)服務(wù)NTP域名系統(tǒng)DNS54版本控制與持續(xù)集成Gitlab/26支撐環(huán)境建設(shè)進(jìn)展服務(wù)監(jiān)控z