版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
高性能計(jì)算集群建設(shè)需求一、項(xiàng)目概況以保障海洋安全風(fēng)險(xiǎn)防控、防災(zāi)減災(zāi)決策等重大戰(zhàn)略支撐服務(wù)能力為目標(biāo),開展CPU+GPU混合架構(gòu)的高性能集群建設(shè)工作,鞏固強(qiáng)化我市海洋領(lǐng)域高性能計(jì)算能力,為提升海洋預(yù)警能力和海洋災(zāi)害應(yīng)急響應(yīng)能力提供支撐。二、工作內(nèi)容1、集群概述建設(shè)一套高性能計(jì)算集群,具備運(yùn)行風(fēng)暴潮數(shù)值預(yù)報(bào)系統(tǒng)和市級(jí)重點(diǎn)承災(zāi)體預(yù)警系統(tǒng)的能力,提供相應(yīng)的集群安裝調(diào)試服務(wù)、培訓(xùn)服務(wù)。各系統(tǒng)功能如下:(1)計(jì)算系統(tǒng):國產(chǎn)C86CPU計(jì)算節(jié)點(diǎn)不少于20個(gè)、總物理核數(shù)不少于1280核心,國產(chǎn)異構(gòu)計(jì)算節(jié)點(diǎn)不少于1臺(tái),GPU數(shù)量不低于8個(gè),整體理論雙精度浮點(diǎn)運(yùn)算能力性能達(dá)到107TFlops。(2)存儲(chǔ)系統(tǒng):采用分布式存儲(chǔ)和集中存儲(chǔ)并行的方式,存儲(chǔ)能力不低于100TB。(3)登錄/管理系統(tǒng):配置不少于1臺(tái)登錄節(jié)點(diǎn),用于用戶登錄、程序編譯開發(fā)和作業(yè)提交等,配置不少于1臺(tái)管理節(jié)點(diǎn),保證集群業(yè)務(wù)連續(xù)性。(4)網(wǎng)絡(luò)系統(tǒng):配置1套計(jì)算存儲(chǔ)網(wǎng)絡(luò),計(jì)算網(wǎng)絡(luò)采用InfiniBandHDR網(wǎng)絡(luò),存儲(chǔ)網(wǎng)絡(luò)采用InfiniBandHDR網(wǎng)絡(luò),網(wǎng)絡(luò)全部采用冗余配置,避免網(wǎng)絡(luò)單點(diǎn)故障。(5)集群基礎(chǔ)軟件系統(tǒng):整體系統(tǒng)需提供完備的集群系統(tǒng)軟件,包括節(jié)點(diǎn)Linux操作系統(tǒng),集群操作系統(tǒng),提供系統(tǒng)監(jiān)控、管理、告警、統(tǒng)計(jì)、作業(yè)調(diào)度等功能和組件,GNU、Intel等編譯環(huán)境,BLAS、LAPACK、FFTW、IntelMKL等常用數(shù)學(xué)函數(shù)庫,OpenMP及MPI并行開發(fā)環(huán)境,加速處理部件開發(fā)環(huán)境及其它相關(guān)的HPC開發(fā)運(yùn)行環(huán)境和計(jì)算資源運(yùn)維管理等。采購清單表序號(hào)設(shè)備名稱數(shù)量單位1CPU計(jì)算節(jié)點(diǎn)20臺(tái)2異構(gòu)計(jì)算節(jié)點(diǎn)11臺(tái)3異構(gòu)計(jì)算節(jié)點(diǎn)21臺(tái)4管理節(jié)點(diǎn)2臺(tái)5分布式存儲(chǔ)3臺(tái)6磁盤陣列1臺(tái)7計(jì)算網(wǎng)絡(luò)1臺(tái)8管理網(wǎng)絡(luò)1臺(tái)9操作及調(diào)度系統(tǒng)1套2、技術(shù)參數(shù)要求技術(shù)參數(shù)分為集群總體技術(shù)參數(shù)和各設(shè)備技術(shù)參數(shù),具體詳見本節(jié)表格。(1)集群總體技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求集群性能要求建設(shè)1套基于國產(chǎn)芯片組成的高性能計(jì)算集群系統(tǒng),整體理論雙精度峰值計(jì)算能力不低于100Tflops,計(jì)算網(wǎng)絡(luò)不低于200Gb/s,存儲(chǔ)容量不低于100TB,分布式存儲(chǔ)不低于20%。(2)CPU計(jì)算節(jié)點(diǎn)技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌要求國產(chǎn)品牌,所投品牌機(jī)型與官網(wǎng)型號(hào)一致,提供技術(shù)規(guī)格書或產(chǎn)品官網(wǎng)截圖等有效的證明材料。機(jī)型規(guī)格配置≥2U機(jī)架式服務(wù)器,原廠上架導(dǎo)軌套件。處理器◆符合信創(chuàng)要求,配置≥2顆國產(chǎn)C86-3G架構(gòu)處理器,支持多線程和睿頻技術(shù)?!舴闲艅?chuàng)要求,每顆CPU核數(shù)≥32核心,≥64線程,基礎(chǔ)主頻≥2.7GHz,L3緩存≥64MB。支持國密算法GM/T,提供商用密碼產(chǎn)品二級(jí)以上認(rèn)證證書復(fù)印件或掃描件。內(nèi)存支持≥32個(gè)內(nèi)存插槽,最大可支持4TB內(nèi)存容量,支持ECC。配置≥16根32GB3200MHzDDR4ECC內(nèi)存。存儲(chǔ)最大支持≥12個(gè)前置熱插拔3.5硬盤或24個(gè)2.5硬盤,支持SAS/SATA/NVMe。板載支持≥8個(gè)U.2NVMeSSD,最高支持24個(gè)NVMeSSD。后置支持≥4個(gè)2.5寸硬盤+4個(gè)3.5寸硬盤。配置≥1塊960GBSATASSD硬盤。I/O擴(kuò)展PCI-EI/O插槽總數(shù):≥10個(gè)PCIe插槽。網(wǎng)卡配置≥2個(gè)10/100/1000Mbps千兆自適應(yīng)電口。配置≥1塊單口200GbHDRHCA卡。電源配置≥2塊熱插拔1200W電源模塊,1+1冗余,并提供配套的電源連接線。風(fēng)扇滿配冗余熱插拔風(fēng)扇??煽啃試噎h(huán)境標(biāo)志產(chǎn)品認(rèn)證證書,CCC認(rèn)證證書復(fù)印件或掃描件。管理維護(hù)功能可支持TCM\TPM安全模塊。用戶可以設(shè)定想要阻止訪問BMC的黑名單,或者設(shè)定允許訪問BMC的白名單,提升安全性。支持BMC用戶安全機(jī)制管理、證書管理和數(shù)據(jù)傳輸加密。支持自動(dòng)或手動(dòng)模式故障截屏、支持故障錄像功能、開機(jī)自檢代碼、支持sel故障日志處理建議提示、支持一鍵下載黑匣子日志?!舭踩珵榉习踩缺?尚庞?jì)算要求,所投機(jī)型通過可信計(jì)算3.0認(rèn)證,并提供認(rèn)證證書或提供原廠說明承諾函文件復(fù)印件/掃描件。服務(wù)5年免費(fèi)原廠質(zhì)保,中標(biāo)后提供原廠商針對(duì)本次項(xiàng)目的授權(quán)函和原廠售后服務(wù)承諾函。操作系統(tǒng)配置符合信創(chuàng)的正版操作系統(tǒng),且該操作系統(tǒng)能夠與采購項(xiàng)(10)操作及調(diào)度系統(tǒng)兼容,組建滿足業(yè)務(wù)需求的計(jì)算集群。(3)異構(gòu)計(jì)算節(jié)點(diǎn)1技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌要求國產(chǎn)品牌,所投品牌機(jī)型與官網(wǎng)型號(hào)一致。機(jī)型規(guī)格配置≥2U機(jī)架式服務(wù)器,原廠上架導(dǎo)軌套件。處理器◆符合信創(chuàng)要求,配置≥2顆國產(chǎn)C86-3G架構(gòu)處理器,支持多線程和睿頻技術(shù)。◆符合信創(chuàng)要求,每顆CPU核數(shù)≥24核心,≥48線程,基礎(chǔ)主頻≥2.2GHz,L3緩存≥64MB。支持國密算法GM/T,提供商用密碼產(chǎn)品二級(jí)以上認(rèn)證證書復(fù)印件或掃描件。內(nèi)存支持≥32個(gè)內(nèi)存插槽,最大可支持4TB內(nèi)存容量,支持ECC。配置≥8根32GB3200MHzDDR4ECC內(nèi)存。存儲(chǔ)配置≥4塊960GB2.5吋6GbRSSD硬盤。陣列卡配置≥1塊獨(dú)立RAID卡,≥4G緩存,支持0/00/1/10/5/6/60。網(wǎng)絡(luò)接口配置≥2個(gè)10/100/1000Mbps千兆自適應(yīng)電口。配置≥1塊單口200GbHDRHCA卡。PCIE擴(kuò)展板載最大支持10個(gè)PCIe插槽?!鬐PU卡最大支持3個(gè)雙寬訓(xùn)練加速卡或最大支持8個(gè)單寬推理卡。配置≥2塊GPU卡,支持混合精度計(jì)算FP32、TF32、FP16、BF16、INT8,單卡單精度浮點(diǎn)算力≥50TFLOPS@TF32,單卡半精度浮點(diǎn)算力≥110TFLOPS@BF16,單卡整型算力≥239TOPS@INT8,單卡顯存容量≥48GB,單卡顯存帶寬≥864GB/s。電源配置≥1200W冗余電源模塊,CRPS標(biāo)準(zhǔn)電源。風(fēng)扇配置≥4個(gè)熱插拔高速系統(tǒng)風(fēng)扇,支持動(dòng)態(tài)智能風(fēng)扇調(diào)速的散熱系統(tǒng),風(fēng)扇支持N+1冗余及熱插拔功能??尚排c安全可支持TCM\TPM安全模塊,用戶可以設(shè)定想要阻止訪問BMC的黑名單,或者設(shè)定允許訪問BMC的白名單,提升安全性。支持BMC用戶安全機(jī)制管理、證書管理和數(shù)據(jù)傳輸加密。產(chǎn)品證書具備并提供國家強(qiáng)制性產(chǎn)品認(rèn)證證書(CCC)、環(huán)境標(biāo)志產(chǎn)品認(rèn)證證書復(fù)印件或掃描件。管理維護(hù)功能支持自動(dòng)或手動(dòng)模式故障截屏、支持故障錄像功能、開機(jī)自檢代碼、支持sel故障日志處理建議提示、支持一鍵下載黑匣子日志。服務(wù)5年免費(fèi)原廠質(zhì)保。操作系統(tǒng)配置符合信創(chuàng)的正版操作系統(tǒng),且該操作系統(tǒng)能夠與采購項(xiàng)(10)操作及調(diào)度系統(tǒng)兼容,組建滿足業(yè)務(wù)需求的計(jì)算集群。(4)異構(gòu)計(jì)算節(jié)點(diǎn)2技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌要求國產(chǎn)品牌,所投品牌機(jī)型與官網(wǎng)型號(hào)一致,提供技術(shù)規(guī)格書或產(chǎn)品官網(wǎng)截圖等有效的證明材料。機(jī)型規(guī)格配置≥4U機(jī)架式服務(wù)器,原廠上架導(dǎo)軌套件。處理器◆符合信創(chuàng)要求,配置≥2顆國產(chǎn)C86-3G架構(gòu)處理器,支持多線程和睿頻技術(shù)。◆符合信創(chuàng)要求,每顆CPU核數(shù)≥32核心,≥64線程,基礎(chǔ)主頻≥2.2GHz,L3緩存≥64MB。支持國密算法GM/T,提供商用密碼產(chǎn)品二級(jí)以上認(rèn)證證書復(fù)印件或掃描件。內(nèi)存支持≥32個(gè)內(nèi)存插槽,最大可支持4TB內(nèi)存容量,支持ECC。配置≥16根32GB3200MHzDDR4ECC內(nèi)存。存儲(chǔ)配置≥4塊960GB2.5吋6GbRSSD硬盤。陣列卡配置≥1塊獨(dú)立RAID卡,≥4G緩存,支持0/00/1/10/5/6/60。網(wǎng)絡(luò)接口配置≥2個(gè)10/100/1000Mbps千兆自適應(yīng)電口。配置≥1塊單口200GbHDRHCA卡。PCIE擴(kuò)展板載最大支持12個(gè)PCIe4.0插槽?!鬐PU卡配置≥8塊加速卡,通用GPGPU架構(gòu),GPU卡算力覆蓋不少于FP64/FP32/FP16/INT8等精度,可支撐訓(xùn)練、推理等不同場(chǎng)景下的應(yīng)用。單卡顯存容量≥32GB,顯存帶寬不低于1024GB/s。單卡雙精度浮點(diǎn)算力≥9.7TFLOPS@FP64。電源配置≥4塊1600W冗余電源模塊,CRPS標(biāo)準(zhǔn)電源。風(fēng)扇配置≥4個(gè)熱插拔高速系統(tǒng)風(fēng)扇,支持動(dòng)態(tài)智能風(fēng)扇調(diào)速的散熱系統(tǒng),風(fēng)扇支持N+1冗余及熱插拔功能??尚排c安全可支持TCM\TPM安全模塊,用戶可以設(shè)定想要阻止訪問BMC的黑名單,或者設(shè)定允許訪問BMC的白名單,提升安全性。支持BMC用戶安全機(jī)制管理、證書管理和數(shù)據(jù)傳輸加密。產(chǎn)品證書具備并提供國家強(qiáng)制性產(chǎn)品認(rèn)證證書(CCC)、環(huán)境標(biāo)志產(chǎn)品認(rèn)證證書復(fù)印件或掃描件。管理維護(hù)功能支持自動(dòng)或手動(dòng)模式故障截屏、支持故障錄像功能、開機(jī)自檢代碼、支持sel故障日志處理建議提示、支持一鍵下載黑匣子日志。服務(wù)5年免費(fèi)原廠質(zhì)保。操作系統(tǒng)配置符合信創(chuàng)的正版操作系統(tǒng),且該操作系統(tǒng)能夠與采購項(xiàng)(10)操作及調(diào)度系統(tǒng)兼容,組建滿足業(yè)務(wù)需求的計(jì)算集群。(5)管理節(jié)點(diǎn)技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌要求國產(chǎn)品牌,所投品牌機(jī)型與官網(wǎng)型號(hào)一致,提供技術(shù)規(guī)格書或產(chǎn)品官網(wǎng)截圖等有效的證明材料。機(jī)型規(guī)格配置≥2U機(jī)架式服務(wù)器,原廠上架導(dǎo)軌套件。處理器◆符合信創(chuàng)要求,配置≥2顆國產(chǎn)C86-3G架構(gòu)處理器,支持多線程和睿頻技術(shù)?!舴闲艅?chuàng)要求,每顆CPU核數(shù)≥16核心,≥32線程,基礎(chǔ)主頻≥2.5GHz,L3緩存≥32MB。支持國密算法GM/T,提供商用密碼產(chǎn)品二級(jí)以上認(rèn)證證書復(fù)印件或掃描件。內(nèi)存支持≥16個(gè)內(nèi)存插槽,最大可支持2TB內(nèi)存容量,支持ECC。配置≥8根32GB3200MHzDDR4ECC內(nèi)存。存儲(chǔ)最大支持≥12個(gè)前置熱插拔3.5/2.5吋硬盤,支持SAS/SATA/SSD硬盤。后置支持≥2個(gè)SAS/SATA/SSD硬盤。配置≥4塊960GBSATASSD硬盤。陣列卡配置≥1塊獨(dú)立RAID卡,≥4G緩存,支持0/00/1/10/5/6/60。I/O擴(kuò)展PCI-EI/O插槽總數(shù):≥5個(gè)PCIe4.0插槽。網(wǎng)卡配置≥2個(gè)10/100/1000Mbps千兆自適應(yīng)電口。配置≥1塊單口200GbHDRHCA卡。配置≥1塊雙口16GbFCHBA卡(滿配16GbFC光模塊)。電源配置≥2塊熱插拔800W電源模塊,1+1冗余,并提供配套的電源連接線。風(fēng)扇滿配冗余熱插拔風(fēng)扇??煽啃試噎h(huán)境標(biāo)志產(chǎn)品認(rèn)證證書,CCC認(rèn)證證書復(fù)印件或掃描件。管理維護(hù)功能可支持TCM\TPM安全模塊。用戶可以設(shè)定想要阻止訪問BMC的黑名單,或者設(shè)定允許訪問BMC的白名單,提升安全性。支持BMC用戶安全機(jī)制管理、證書管理和數(shù)據(jù)傳輸加密。支持自動(dòng)或手動(dòng)模式故障截屏、支持故障錄像功能、開機(jī)自檢代碼、支持sel故障日志處理建議提示、支持一鍵下載黑匣子日志?!舭踩珵榉习踩缺?尚庞?jì)算要求,所投機(jī)型通過可信計(jì)算3.0認(rèn)證,并提供認(rèn)證證書復(fù)印件或掃描件。服務(wù)5年免費(fèi)原廠質(zhì)保。操作系統(tǒng)配置符合信創(chuàng)的正版操作系統(tǒng),且該操作系統(tǒng)能夠與采購項(xiàng)(10)操作及調(diào)度系統(tǒng)兼容,組建滿足業(yè)務(wù)需求的計(jì)算集群。(6)分布式存儲(chǔ)技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌國產(chǎn)品牌,存儲(chǔ)與CPU計(jì)算節(jié)點(diǎn)服務(wù)器同一品牌。產(chǎn)品架構(gòu)◆采用Scale-Out分布式集群存儲(chǔ)架構(gòu),支持全局單一文件系統(tǒng)和統(tǒng)一命名空間,不接受IO節(jié)點(diǎn)+擴(kuò)展柜或JBOD的模式,同時(shí)支持全對(duì)稱式、非對(duì)稱式部署兩種方式。單個(gè)存儲(chǔ)系統(tǒng)可擴(kuò)展到≥4096個(gè)存儲(chǔ)節(jié)點(diǎn)。全冗余架構(gòu),無單點(diǎn)故障,支持多種網(wǎng)絡(luò)類型,包括1GbE、10GbE、25GbE、100Gb、200Gb等。存儲(chǔ)協(xié)議◆存儲(chǔ)集群支持NFS、CIFS、POSIX多協(xié)議,要求存儲(chǔ)單節(jié)點(diǎn)可以同時(shí)提供文件協(xié)議、對(duì)象協(xié)議和塊協(xié)議。數(shù)據(jù)可靠性支持多副本與EC糾刪碼兩種數(shù)據(jù)保護(hù)方式。單一系統(tǒng)能容忍任意1個(gè)數(shù)據(jù)節(jié)點(diǎn)、2個(gè)硬盤同時(shí)失效。支持磁盤分組、節(jié)點(diǎn)分區(qū)等技術(shù),縮小故障域,近一步保障數(shù)據(jù)安全,支持磁盤、節(jié)點(diǎn)、機(jī)柜級(jí)冗余。硬盤或節(jié)點(diǎn)失效可自動(dòng)觸發(fā)數(shù)據(jù)重構(gòu),重構(gòu)過程無需管理員干預(yù),可調(diào)整數(shù)據(jù)恢復(fù)優(yōu)先級(jí)。系統(tǒng)功能支持文件系統(tǒng)、目錄、用戶、用戶組配額,支持針對(duì)容量、文件數(shù)設(shè)置統(tǒng)計(jì)配額、限制配額,支持目錄精準(zhǔn)配額后且性能無明顯下降,支持嵌套配額后且性能無明顯下降。存儲(chǔ)節(jié)點(diǎn)的NAS連接支持基于連接數(shù)、輪詢、帶寬、CPU使用率等方式的負(fù)載均衡。支持SSD作為二級(jí)緩存,加速數(shù)據(jù)訪問請(qǐng)求。支持基于目錄QoS功能,可通過硬閾值和軟閾值設(shè)置限制配額,在超出硬閾值或者超出軟閾值時(shí),則限制使用,保證關(guān)鍵業(yè)務(wù)的性能資源?!糁С諷MB/CIFS、NFS、FTP/FTPS、HTTP/HTTPS、POSIX(MPI-10)、S3、CSI、HDFS、ISCSI、FC、LocalSCSI、Lidrbd、XBD多種訪問協(xié)議。支持文件、對(duì)象及HDFS協(xié)議互通,避免因訪問協(xié)議不同造成的數(shù)據(jù)拷貝。POSIX協(xié)議訪問延時(shí)在10ms以內(nèi)。支持WORM(一次寫入,多次讀取,不可修改)功能,使文件在設(shè)定的保護(hù)期內(nèi)不可被隨意篡改和刪除。支持文件/目錄級(jí)快照,存儲(chǔ)系統(tǒng)支持快照≥20000。存儲(chǔ)系統(tǒng)的Web界面可實(shí)現(xiàn)快照的回滾。支持?jǐn)?shù)據(jù)再快速和低速存儲(chǔ)介質(zhì)上流動(dòng),可以根據(jù)文件名、文件大小、訪問時(shí)間、修改時(shí)間等設(shè)置數(shù)據(jù)遷移策略。產(chǎn)品原生支持?jǐn)?shù)據(jù)遷移功能(子模塊),遷移過程可視化?!糁С謱?duì)重要數(shù)據(jù)進(jìn)行遷移和備份第三方存儲(chǔ),根據(jù)需要可將遷移和備份數(shù)據(jù)還原恢復(fù)。此功能與產(chǎn)品同品牌?!舴植际酱鎯?chǔ)磁盤或節(jié)點(diǎn)故障后,可自動(dòng)觸發(fā)數(shù)據(jù)重建修復(fù),數(shù)據(jù)重建1TB容量時(shí)間≤10分鐘。硬件要求本次配置≥3個(gè)節(jié)點(diǎn)。單節(jié)點(diǎn)配置≥高性能64位國產(chǎn)C86-3G架構(gòu)處理器。單節(jié)點(diǎn)內(nèi)存≥128GB。單節(jié)點(diǎn)硬盤≥2*480GSSD硬盤,≥1*3.84TBNVMESSD企業(yè)級(jí)固態(tài)盤,≥8*1.92TBSSD企業(yè)級(jí)固態(tài)硬盤。單節(jié)點(diǎn)配置≥RAID卡。單節(jié)點(diǎn)配置≥1*單口100GHDRHCA網(wǎng)卡,1*雙口1GE電口網(wǎng)卡。單節(jié)點(diǎn)配置熱插拔冗余電源、電源線及原廠導(dǎo)軌。運(yùn)維管理提供對(duì)存儲(chǔ)整機(jī)、所有類型磁盤、網(wǎng)絡(luò)接口、電源模塊等部件的視圖級(jí)監(jiān)控,故障位置需與實(shí)際保持一致。支持主動(dòng)預(yù)測(cè)硬盤故障,自動(dòng)糾錯(cuò)處理,可主動(dòng)對(duì)慢盤進(jìn)行隔離。支持SSD磨損均衡。支持網(wǎng)絡(luò)亞健康監(jiān)測(cè)、網(wǎng)絡(luò)故障自動(dòng)處理。提供GUI管理界面,支持運(yùn)維可視化,無需第三方軟件或插件,即可支持同一Web界面管理多套存儲(chǔ)集群?!舯镜卮鎯?chǔ)系統(tǒng)支持部署IO可視化分析工具,提供IO讀寫分布統(tǒng)計(jì)、IO塊大小統(tǒng)計(jì)、客戶端帶寬和IOPS統(tǒng)計(jì)、延遲統(tǒng)計(jì)、讀寫操作類型統(tǒng)計(jì)、文件操作次數(shù)統(tǒng)計(jì)等分析。支持對(duì)存儲(chǔ)系統(tǒng)的狀態(tài)異常進(jìn)行告警,支持界面顯示、Email、短信、SNMP等方式展示和通知。服務(wù)5年免費(fèi)原廠質(zhì)保。操作系統(tǒng)配置符合信創(chuàng)的正版操作系統(tǒng),且該操作系統(tǒng)能夠與采購項(xiàng)(10)操作及調(diào)度系統(tǒng)兼容,組建滿足業(yè)務(wù)需求的計(jì)算集群。(7)磁盤陣列技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求品牌要求國產(chǎn)品牌,與CPU計(jì)算節(jié)點(diǎn)服務(wù)器同一品牌。體系架構(gòu)存儲(chǔ)系統(tǒng)支持IPSAN、FCSAN、NAS等組網(wǎng)方式,本次提供iSCSI、FC、NFS、CIFS、HTTP、FTP等多種協(xié)議許可。NAS功能應(yīng)為非網(wǎng)關(guān)實(shí)現(xiàn)方式。硬件采用全模塊架構(gòu)冗余設(shè)計(jì),無單一故障點(diǎn)??刂破鹘Y(jié)構(gòu)多控制器架構(gòu),最大支持8個(gè)控制器,控制器之間支持緩存鏡像。本次配置≥兩個(gè)存儲(chǔ)控制器,且單機(jī)箱兩控制器間采用PCI-E互聯(lián)?!鬋ache容量雙控制器配置≥64GBCache(緩存不包含SSD磁盤、高速Flash及NAS控制器緩存)。SSD緩存加速配置SSD緩存加速功能,要求同時(shí)支持讀寫性能加速,降低應(yīng)用延遲。不接受通過存儲(chǔ)分層方式實(shí)現(xiàn)。緩存保護(hù)配置BBU+Flash永久電池保護(hù)模組,不存在斷電時(shí)間限制?!艚涌谂渲帽敬闻渲谩?個(gè)1GbE接口,≥8個(gè)16GbFC接口(滿配16GbFC光模塊)。配置≥12GbSAS3.04X后端磁盤接口。磁盤驅(qū)動(dòng)器支持3.5寸7.2KNL-SAS,2.5寸10KSAS,SSD等多種類型磁盤。支持三種磁盤在同一磁盤柜中混插。擴(kuò)展性雙控最大可擴(kuò)展到≥200塊硬盤。實(shí)配容量配置≥16塊8TB3.5吋7200轉(zhuǎn)NL_SAS硬盤。RAID級(jí)別支持RAID0/1/5/6/10/50/60等RAID級(jí)別。LUN單LUN支持最大容量≥1PB??煺张渲每煺展δ埽?jiǎn)尉碇С挚煺諗?shù)≥512個(gè)。支持系統(tǒng)定時(shí)自動(dòng)創(chuàng)建快照,且定時(shí)快照策略可通過存儲(chǔ)自身管理軟件配置,定時(shí)快照最小時(shí)間間隔≤5分鐘。精簡(jiǎn)配置支持自動(dòng)精簡(jiǎn)功能,實(shí)現(xiàn)存儲(chǔ)設(shè)備的容量按需動(dòng)態(tài)擴(kuò)展。系統(tǒng)兼容性支持UOS、銀河麒麟、中科方德等國產(chǎn)操作系統(tǒng),支持達(dá)夢(mèng)、人大金倉、南大通用等國產(chǎn)數(shù)據(jù)庫。系統(tǒng)運(yùn)維支持智能日志導(dǎo)出功能,即通過USB端口自動(dòng)將日志導(dǎo)出到U盤,且導(dǎo)出的日志內(nèi)容需與存儲(chǔ)界面的日志內(nèi)容一致。系統(tǒng)擴(kuò)充性系統(tǒng)具有完全在線、無需停機(jī)的微碼升級(jí)以及容量擴(kuò)充能力,支持GUI升級(jí)。磁盤節(jié)能支持MAID2.0磁盤節(jié)能技術(shù),當(dāng)磁盤不用的時(shí)候,支持磁盤降速和停轉(zhuǎn),節(jié)省功耗。服務(wù)5年免費(fèi)原廠質(zhì)保。(8)計(jì)算網(wǎng)絡(luò)技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)要求◆端口配置≥200Gbps40端口IB交換機(jī)。吞吐量不低于16Tb/s交換機(jī)總吞吐量。性能不低于158000萬條消息/秒的能力,不高于130ns交換機(jī)延遲。架構(gòu)具有自我修復(fù)的自主性??蓪?shí)現(xiàn)將集合操作從CPU卸載至交換網(wǎng)絡(luò)。支持自適應(yīng)路由。支持集群卸載。支持VL映射(VL-VL)。線纜IB線纜規(guī)格和數(shù)量,根據(jù)項(xiàng)目實(shí)際需求配置滿足系統(tǒng)運(yùn)行要求的IB線纜。服務(wù)5年質(zhì)保。(9)管理網(wǎng)絡(luò)技術(shù)指標(biāo)要求技術(shù)指標(biāo)招標(biāo)參數(shù)接口固化10/100/1000M自適應(yīng)電口≥48個(gè),1G/10GSFP+光口≥4個(gè)。交換容量交換容量≥432Gbps,包轉(zhuǎn)發(fā)率≥144Mpps。協(xié)議支持RIP/RIPng、OSPFv2/OSPFv3等三層路由協(xié)議。支持SNMP、CLI(Telnet/Console)、RMON、SSH、Syslog、NTP/SNTP、FTP、TFTP、Web。支持快速以太網(wǎng)鏈路檢測(cè)協(xié)議,可快速檢測(cè)鏈路的通斷和光纖鏈路的單向性,并支持端口下的環(huán)路檢測(cè)功能。光模塊配置≥4*萬兆光模塊。保護(hù)策略支持SAVI功能,可防止地址解析欺騙。支持CPU保護(hù)功能,能限制非法報(bào)文對(duì)CPU的攻擊,保護(hù)交換機(jī)在各種環(huán)境下穩(wěn)定工作。支持專門基礎(chǔ)網(wǎng)絡(luò)保護(hù)機(jī)制,能夠限制用戶向網(wǎng)絡(luò)中發(fā)送數(shù)據(jù)包的速率,對(duì)有攻擊行為的用戶進(jìn)行隔離,保證設(shè)備和整網(wǎng)的安全穩(wěn)定運(yùn)行。性能MAC地址表項(xiàng)≥32K。服務(wù)5年質(zhì)保。(10)操作及調(diào)度系統(tǒng)技術(shù)指標(biāo)要求技術(shù)指標(biāo)參數(shù)◆統(tǒng)一門戶統(tǒng)一門戶,提供計(jì)算服務(wù)運(yùn)營能力,包括資源服務(wù)申請(qǐng)、資源審批、配額管理、數(shù)據(jù)管理、權(quán)限管理、分級(jí)管理、計(jì)費(fèi)功能及集群自動(dòng)化運(yùn)維、運(yùn)營狀況統(tǒng)計(jì)等功能。可以實(shí)現(xiàn)科學(xué)計(jì)算、工程計(jì)算、人工智能等業(yè)務(wù)形態(tài)融合與門戶統(tǒng)一。融合架構(gòu)可對(duì)多種不同硬件平臺(tái)進(jìn)行融合管理與調(diào)度,可實(shí)現(xiàn)高性能計(jì)算與智能計(jì)算業(yè)務(wù)形態(tài)融合管理,可實(shí)現(xiàn)國產(chǎn)CPU與非國產(chǎn)CPU統(tǒng)一調(diào)度,可實(shí)現(xiàn)國產(chǎn)GPGPU加速卡與非國產(chǎn)GPGPU加速卡統(tǒng)一調(diào)度。應(yīng)用兼容性兼容CUDA、HIP、OpenCL編程模型,兼容CUDA、ROCm運(yùn)行環(huán)境,并支持相應(yīng)程序和應(yīng)用軟件接入門戶與正常運(yùn)行。API接口及門戶定制開放門戶開發(fā)接口API及文檔,允許采購單位在該門戶系統(tǒng)基礎(chǔ)上做二次開發(fā),提供產(chǎn)品承諾。單點(diǎn)登錄提供統(tǒng)一的用戶認(rèn)證管理,實(shí)現(xiàn)用戶單點(diǎn)登錄功能及各算力中心之間統(tǒng)一用戶管理,滿足用戶多中心資源使用等功能。用戶管理支持LDAP、NIS認(rèn)證系統(tǒng)整合,提供用戶機(jī)時(shí)申請(qǐng)功能。引入配額策略,對(duì)用戶的可用資源進(jìn)行預(yù)分配和實(shí)時(shí)計(jì)費(fèi),并可靈活控制用戶配額的有效期限,精確地記錄和控制用戶資源使用量,從而實(shí)現(xiàn)精細(xì)粒度的資源記賬和配額統(tǒng)籌。異構(gòu)資源管理提供智能計(jì)算與高性能計(jì)算融合服務(wù),智能識(shí)別用戶提交任務(wù)需求,實(shí)現(xiàn)異地多集群資源管理與調(diào)度。多集群調(diào)度調(diào)度系統(tǒng)支持面向多中心的聯(lián)合調(diào)度,支持對(duì)異構(gòu)模式多進(jìn)程和異構(gòu)多線程運(yùn)行模式的啟動(dòng)。支持包括預(yù)留和搶占等在內(nèi)的資源保證策略,提供高并發(fā)提交和高吞吐量調(diào)度(10000作業(yè)/秒以上)的支持。資源申請(qǐng)審批提供資源服務(wù)申請(qǐng),租戶/用戶可查看和申請(qǐng)資源,同時(shí)可以查看已使用資源的數(shù)量、資源到期時(shí)間等信息。提供資源審批,對(duì)用戶資源申請(qǐng)進(jìn)行審批,可審批的資源包含:通用/異構(gòu)計(jì)算資源、應(yīng)用模版、存儲(chǔ)等。應(yīng)用管理實(shí)現(xiàn)云端統(tǒng)一應(yīng)用中心,面向多集群環(huán)境提供服務(wù)。支持應(yīng)用軟件、服務(wù)類目的跨域資源管理,實(shí)現(xiàn)應(yīng)用訂閱即用,支持包括工業(yè)仿真、科學(xué)計(jì)算、生物化學(xué)、氣象環(huán)保、人工智能等領(lǐng)域應(yīng)用。支持搭建統(tǒng)一應(yīng)用倉庫,實(shí)現(xiàn)異地多集群的統(tǒng)一應(yīng)用管理和安裝規(guī)范,支持應(yīng)用軟件的跨域快速下發(fā)和部署。管理員可以根據(jù)業(yè)務(wù)場(chǎng)景靈活配置(如Ansys、MS、Abaqus、Gaussian、Vasp、Tensorflow等)。團(tuán)隊(duì)/課題組管理支持課題組管理,系統(tǒng)管理員可以創(chuàng)建課題組,課題組管理員可以創(chuàng)建、管理組內(nèi)用戶,對(duì)組內(nèi)用戶進(jìn)行添加、刪除,以及資源分配工作,課題組管理員還能查看所屬組內(nèi)是否用戶賬單信息等。配額管理系統(tǒng)支持配額管理,基于并行文件存儲(chǔ)的用戶和用戶組的磁盤配額管理,用戶創(chuàng)建后默認(rèn)提供一定數(shù)量的配額,當(dāng)使用量不足時(shí)可以在線擴(kuò)展。多集群管理實(shí)現(xiàn)多算力集群納管功能,提供統(tǒng)一算力入口滿足用戶各種算力需求,提供統(tǒng)一運(yùn)營平臺(tái),包括:團(tuán)隊(duì)管理、資源審批、計(jì)費(fèi)、數(shù)據(jù)管理、應(yīng)用中心、多集群資源統(tǒng)一管理運(yùn)營服務(wù)能力。數(shù)據(jù)分析支持用戶數(shù)據(jù)分析、資源數(shù)據(jù)分析、報(bào)表等。資源數(shù)據(jù):可查看多個(gè)接入的集群中不同集群的CPU總機(jī)時(shí)統(tǒng)計(jì)、加速卡機(jī)時(shí)統(tǒng)計(jì)、集群作業(yè)統(tǒng)計(jì)、應(yīng)用作業(yè)統(tǒng)計(jì)等信息,支持設(shè)置所需查看時(shí)間段,支持導(dǎo)出。報(bào)表:支持從用戶、隊(duì)列、節(jié)點(diǎn)、應(yīng)用、作業(yè)規(guī)模等不同維度查看統(tǒng)計(jì)信息。支持從用戶、隊(duì)列、集群等不同維度查看分析報(bào)表。支持查看異常作業(yè)統(tǒng)計(jì),以及占比情況,支持查看異常作業(yè)原因分析。支持設(shè)置不用時(shí)間段,支持設(shè)置不用時(shí)間段,支持查看多個(gè)接入的集群中不同集群統(tǒng)計(jì)情況。鏡像管理支持公有鏡像管理,用戶可以訂閱平臺(tái)公有的容器鏡像資源進(jìn)行使用。管理員可以向公有鏡像庫上傳鏡像資源。支持私有鏡像管理,將私有鏡像分享至公有鏡像庫,供其他用戶訂閱和使用。支持本地鏡像上傳和自定義?!糁С钟脩糇远x鏡像,包括在線固化,本地上傳,從DockerHub拉取,基于Dockerfile在線制作等模式,提供鏡像制作進(jìn)度和日志查詢功能?!糁С昼R像推送,支持用戶將自定義鏡像或訂閱鏡像推送至訓(xùn)練、調(diào)優(yōu)、推理等圖形化流程進(jìn)行使用。用戶推送的鏡像僅對(duì)自身生效,不影響平臺(tái)其他用戶。容器端口支持用戶自定義容器的服務(wù)端口,支持http和socket等端口模式。多調(diào)度兼容支持Slurm等高性能計(jì)算調(diào)度器作為調(diào)度引擎,適配不同的業(yè)務(wù)場(chǎng)景。多加速器兼容支持在同一調(diào)度器中,同時(shí)管理、調(diào)度和監(jiān)控業(yè)界主流NVDIAGPU和DCU、MLU等國產(chǎn)加速器。應(yīng)用集成提供所有常見高性能應(yīng)用(如Ansys、Abaqus、Gaussian、Vasp、等)的作業(yè)的交互式提交頁面,整合文件管理、VNC等功能,有效降低工程應(yīng)用人員使用算力中心的門檻。作業(yè)提交支持遠(yuǎn)程命令行提交、模板提交、圖形提交多種作業(yè)提交方式。拓?fù)湔{(diào)度支持基于集群網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的調(diào)度算法:支持將作業(yè)調(diào)度到一個(gè)或幾個(gè)交換機(jī)對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)。支持按照刀箱、機(jī)柜(機(jī)架)調(diào)度作業(yè)。物理視圖提供直觀的物理視圖,按照機(jī)房-機(jī)柜-服務(wù)器的維度,真實(shí)還原設(shè)備的真實(shí)物理位置分布和位置關(guān)系。分層顯示各個(gè)位置下的各類資產(chǎn)數(shù)量、告警數(shù)量。支持快速查看各類資產(chǎn)的告警信息。提供服務(wù)器、交換機(jī)等資產(chǎn)的詳細(xì)狀態(tài)監(jiān)控視圖,分類展示該節(jié)點(diǎn)的靜態(tài)信息和運(yùn)行狀態(tài)。靜態(tài)配置信息包括CPU型號(hào)、內(nèi)存大小、管理IP、操作系統(tǒng)版本等。動(dòng)態(tài)信息包括磁盤分區(qū)狀態(tài)、網(wǎng)卡狀態(tài)、進(jìn)程狀態(tài)、IPMI傳感器狀態(tài)、GPU狀態(tài)等。支持刀片機(jī)箱和刀片服務(wù)器的監(jiān)控,提供刀箱前視圖和后視圖3D展現(xiàn),自動(dòng)關(guān)聯(lián)告警。節(jié)點(diǎn)熱圖支持以熱圖方式集中展現(xiàn)集群中所有服務(wù)器/刀片機(jī)箱的關(guān)鍵指標(biāo),如CPU利用率、內(nèi)存利用率、網(wǎng)絡(luò)可用性、電源狀態(tài)、溫度等,支持指標(biāo)快速切換。大屏提供存儲(chǔ)監(jiān)控、作業(yè)監(jiān)控、集群監(jiān)控等大屏儀表盤,直觀展示集群運(yùn)行情況、節(jié)點(diǎn)使用情況、作業(yè)狀態(tài)、集群資產(chǎn)等信息。調(diào)度視圖提供調(diào)度視圖,可直觀查看Slurm服務(wù)狀態(tài)、Agent線程數(shù)、RPC線程數(shù)、未調(diào)度作業(yè)等待時(shí)間最大值、等待調(diào)度時(shí)間大于10分鐘作業(yè)列表等信息。IB網(wǎng)絡(luò)視圖以拓?fù)湫问?,展示IB網(wǎng)絡(luò)內(nèi)的各種交換機(jī)—服務(wù)器之間的連接關(guān)系和運(yùn)行狀態(tài),能夠展示任意兩臺(tái)相連資產(chǎn)間的流量情況。支持查看資產(chǎn)的詳細(xì)運(yùn)行狀態(tài)、日志、告警等信息。支持拓?fù)渥园l(fā)現(xiàn)、拓?fù)浠€管理等能力。以太網(wǎng)絡(luò)視圖以拓?fù)湫问?,展示以太網(wǎng)絡(luò)內(nèi)的安全設(shè)備、交換機(jī)等資產(chǎn)之間的連接關(guān)系、運(yùn)行狀態(tài)以及任意兩臺(tái)資產(chǎn)之間的流量情況。支持查看詳細(xì)的資產(chǎn)運(yùn)行狀態(tài)和流量信息。支持查看資產(chǎn)的關(guān)鍵運(yùn)行日志和告警信息。同時(shí)支持拓?fù)渥园l(fā)現(xiàn),拓?fù)浠€管理、多種視圖切換等能力。數(shù)據(jù)分析支持多資產(chǎn)、多指標(biāo)組合下的統(tǒng)計(jì)報(bào)表生成,支持自主選擇對(duì)比維度,以統(tǒng)計(jì)圖的形式展示統(tǒng)計(jì)結(jié)果。分布式真正模塊化設(shè)計(jì)、分布式架構(gòu)部署、SaaS模式服務(wù)平臺(tái)。采集方式多樣,采集效率高。技術(shù)創(chuàng)新,上千種采集指標(biāo)。監(jiān)控性能支持大規(guī)模監(jiān)控管理,系統(tǒng)采集節(jié)點(diǎn)規(guī)模支持10000+節(jié)點(diǎn),1000+采集指標(biāo)秒級(jí)反饋,秒級(jí)響應(yīng),采集秒級(jí)反饋,查詢秒級(jí)響應(yīng)。管理節(jié)點(diǎn)資源占用不超過50%,計(jì)算節(jié)點(diǎn)代理資源占用率不超過4%。告警通知策略支持自定義告警通知策略,在告警觸發(fā)時(shí),實(shí)現(xiàn)消息預(yù)警、郵件告警等通知方式。告警展現(xiàn)支持多種告警信息顯示方式:包括告警列表以及與機(jī)房物理視圖、熱圖等監(jiān)控視圖結(jié)合展示等。資產(chǎn)全生命周期管理支持資產(chǎn)(如服務(wù)器、機(jī)柜、刀箱、交換機(jī)等)的批量導(dǎo)入導(dǎo)出功能。支持可視化的資產(chǎn)管理,所見即所得。可對(duì)資產(chǎn)信息進(jìn)行修改、分組管理,支持修改歷史追溯。支持資產(chǎn)自動(dòng)發(fā)現(xiàn),覆蓋IPMI,Agent,SNMP三種發(fā)現(xiàn)方式。支持根據(jù)管理規(guī)則自動(dòng)生成資產(chǎn)信息。集群健康狀態(tài)檢查對(duì)全部計(jì)算節(jié)點(diǎn)進(jìn)行健康度檢查,篩選出存在故障的節(jié)點(diǎn),進(jìn)行自動(dòng)處理或報(bào)修到售后。BMC巡檢通過檢查服務(wù)器運(yùn)行狀態(tài),識(shí)別故障服務(wù)器,根據(jù)故障類型將故障服務(wù)器自動(dòng)報(bào)修至售后。工單支持用戶提交故障工單、變更工單等,在預(yù)定義流程基礎(chǔ)上,支持管理員按需自定義流程。操作系統(tǒng)64bitLinux企業(yè)級(jí)操作系統(tǒng),本次配置≥24個(gè)節(jié)點(diǎn)服務(wù)器預(yù)裝及授權(quán)。軟件授權(quán)集群管理調(diào)度軟件按照單節(jié)點(diǎn)進(jìn)行授權(quán),本次配置≥24個(gè)節(jié)點(diǎn)的軟件授權(quán)。◆統(tǒng)一納管本次項(xiàng)目新建的調(diào)度系統(tǒng)無縫對(duì)接原有算力集群調(diào)度系統(tǒng),實(shí)現(xiàn)統(tǒng)一納管新老集群,并實(shí)現(xiàn)新老集群之間的統(tǒng)一資源監(jiān)控、統(tǒng)一作業(yè)調(diào)度管理、統(tǒng)一運(yùn)營、統(tǒng)一運(yùn)維。服務(wù)5年免費(fèi)原廠質(zhì)保,5年原廠免費(fèi)升級(jí)服務(wù)。(11)質(zhì)保及售后等其他技術(shù)指標(biāo)要求質(zhì)保期質(zhì)保期自項(xiàng)目驗(yàn)收合格之日起不少于5年。安裝調(diào)試(1)交貨、安裝地點(diǎn):采購人指定地點(diǎn)。(2)安裝完成時(shí)間:根椐采購人要求完成安裝調(diào)試,如在規(guī)定的時(shí)間內(nèi)由于服務(wù)單位的原因不能完成安裝和調(diào)試,服務(wù)單位應(yīng)承擔(dān)由此給采購人造成的損失。(3)安裝標(biāo)準(zhǔn):符合我國國家有關(guān)技術(shù)規(guī)范要求和技術(shù)標(biāo)準(zhǔn),所有的軟件和硬件必須保證同時(shí)安裝到位。(4)負(fù)責(zé)所有采購設(shè)備的安裝、調(diào)試、集成(包括采購人另行采購的3臺(tái)服務(wù)器)。(5)在投標(biāo)文件中應(yīng)提供安裝調(diào)試計(jì)劃。質(zhì)保及售后服務(wù)要求(1)此項(xiàng)目為交鑰匙工程,應(yīng)對(duì)本系統(tǒng)整體負(fù)責(zé),需充分考慮采購人在招標(biāo)文件中未列明的所需輔材,后續(xù)采購人將不再為輔材單獨(dú)支付費(fèi)用,招標(biāo)文件中未提及但完備系統(tǒng)建設(shè)所需的其它軟硬件和改造內(nèi)容由服務(wù)單位提供,并提供同等保修服務(wù),報(bào)價(jià)包含在投標(biāo)總價(jià)中。(2)本項(xiàng)目系統(tǒng)所有硬件設(shè)備、配件等提供不少于5年保修期,軟件提供不少于5年的版本升級(jí)服務(wù),以及軟硬件長(zhǎng)期的技術(shù)支持。需在投標(biāo)文件中提供原廠售后服務(wù)承諾函或承諾在收到中標(biāo)通知書后7個(gè)工作日內(nèi)提供原廠售后服務(wù)承諾的承諾函。售后服務(wù)承諾函包括但不限于以下內(nèi)容:承諾免費(fèi)提供海洋預(yù)報(bào)臺(tái)原有和本次新建高性能計(jì)算集群的維護(hù)。承諾為完成風(fēng)暴潮漫灘預(yù)報(bào)系統(tǒng)和市級(jí)重點(diǎn)承災(zāi)體預(yù)警系統(tǒng)的海洋數(shù)值預(yù)報(bào)模型搭建和運(yùn)行提供所有必要的配套軟件環(huán)境。驗(yàn)收后免費(fèi)提供一次整體搬遷和測(cè)試服務(wù)。(3)接到用戶故障申告電話后于10分鐘內(nèi)做出響應(yīng),可以在第一時(shí)間接收客戶需求并予以必要
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 工程進(jìn)度跟蹤與調(diào)整方案
- 2025江蘇省闌尾切除術(shù)藥物治療路徑專家共識(shí)(第一版)課件
- 污水處理廠提標(biāo)升級(jí)項(xiàng)目社會(huì)穩(wěn)定風(fēng)險(xiǎn)評(píng)估報(bào)告
- 施工現(xiàn)場(chǎng)職業(yè)病防治方案
- 混凝土結(jié)構(gòu)維修與養(yǎng)護(hù)方案
- 2026遼寧省水利廳直屬事業(yè)單位面向部分院校招聘14人參考題庫含答案
- 污水管網(wǎng)及處理設(shè)施提升改造工程經(jīng)濟(jì)效益和社會(huì)效益分析報(bào)告
- 城市燃?xì)夤艿缿?yīng)急響應(yīng)預(yù)案制定
- 保險(xiǎn)養(yǎng)老功能深度解析
- 陽光教師培訓(xùn)心得體會(huì)
- 陜西省建筑場(chǎng)地墓坑探查與處理技術(shù)規(guī)程
- 2022-2023學(xué)年四川省樂山市市中區(qū)外研版(三起)六年級(jí)上冊(cè)期末測(cè)試英語試卷(含聽力音頻)
- 滕州菜煎餅創(chuàng)新創(chuàng)業(yè)計(jì)劃書
- 2024北京朝陽區(qū)初一(上)期末道法試卷及答案
- 假體隆胸后查房課件
- 送貨單格式模板
- GB/T 42430-2023血液、尿液中乙醇、甲醇、正丙醇、丙酮、異丙醇和正丁醇檢驗(yàn)
- 關(guān)于地方儲(chǔ)備糧輪換業(yè)務(wù)會(huì)計(jì)核算處理辦法的探討
- 上海農(nóng)貿(mào)場(chǎng)病媒生物防制工作標(biāo)準(zhǔn)
- YY 0334-2002硅橡膠外科植入物通用要求
- GB/T 1773-2008片狀銀粉
評(píng)論
0/150
提交評(píng)論