[編號ODCC-2024-0500A]應(yīng)用報告開放數(shù)據(jù)中心標準推進委員會2024.09發(fā)布版權(quán)聲明轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明編寫組 1 2 2 3（一）IntelDAOS特性介紹 4 6（三）人工智能場景分析 7 8 8 8 8 9 10 10 10 12 12 13 14線的傳輸速率達到32GT/s，各領(lǐng)域均已陸續(xù)推出PCIeGen5相關(guān)產(chǎn)盡管使用高性能SSD能帶來顯著的性能提升，但目前的大部分傳統(tǒng)應(yīng)用在設(shè)計時未考慮高性能SSD的特性，在存儲架構(gòu)、文件系統(tǒng)、存儲管理等方面存在性能瓶頸，無法充分發(fā)揮高性能SSD的潛力。而新型高性能應(yīng)用能充分利用高性能SSD的性能特點，更好地據(jù)傳輸接口標準PCIeGen5的接口帶寬達到了32GT/s，與帶寬上限及應(yīng)用本身的限制方面存在各種各樣的瓶頸，無法充分發(fā)揮PCIe這些應(yīng)用克服了傳統(tǒng)應(yīng)用的性能瓶頸，能夠使得高性能SSD充分發(fā)本白皮書的范圍涵蓋了傳統(tǒng)慢速應(yīng)用的性能瓶頸的分析，Intel克服應(yīng)用的性能瓶頸，充分發(fā)揮PCIeGen5SSD的性能優(yōu)勢，使得1AIArtificialIntelligenceDistributedAsynchronousOGraphicsProcessingHighPerformanceComputNVMNon-VolatileMemoryNVMeNon-VolatileMemoryexprePersistentMemoryDeveRemoteDirectMemoryStoragePerformanceDYahoo!CloudServingBen三、傳統(tǒng)應(yīng)用的性能瓶頸分析面無法充分發(fā)揮高性能SSD的潛力，導致在數(shù)據(jù)訪問和處理時，無2統(tǒng)優(yōu)化以及應(yīng)用本身的限制方面依然面臨瓶頸，包括并發(fā)量、IO頁存芯片的通道。高性能SSD通常能處理大量的并發(fā)讀寫請求以獲得是頻繁的中斷帶來的上下文切換對CPU資源和系統(tǒng)的開銷較大。與高性能SSD處理I/O的速度相比，中斷的處理時間占比顯然更大，在使用高性能SSD時，需要綜合考慮應(yīng)用的特點，針對這些性四、新型高性能應(yīng)用的特性分析3IntelDAOS(DistributeAsynchronousObjectStorage)是一種專為大規(guī)模分布式NVM而設(shè)計的完全實現(xiàn)在用戶態(tài)的開源全閃分布式存儲系統(tǒng)，支持橫向擴展。IntelDAOS使用PMDK和SPDK等用戶態(tài)為高性能計算應(yīng)用提供高帶寬、低延遲和高IOPS，并且支持結(jié)合數(shù)IntelDAOS針對高性能存儲的主要BypassOSkernel：直接使用PMDK，SPDK等用戶態(tài)庫繞過操4DAOS使用PMDK來存儲所有內(nèi)部元數(shù)據(jù)、應(yīng)用程序/中間件鍵小I/O。兩者相互配合實現(xiàn)了在用戶空間端到端運行，并且不RDMA：RDMA（RemoteDire5（二）Aerospike特性介紹數(shù)據(jù)庫，讀寫速度極快。它與眾所周知的高性能K-V類型數(shù)據(jù)庫的能，但是成本太高。而Aerospike最大的特點就是同時支持RAM和Aerospike針對高性能存儲的主要設(shè)計特點如直接將SSD作為塊設(shè)備讀寫，避免額外的I/O損耗，降低了延遲。需要更新記錄時，它從SSD中讀取記錄并將更新后的數(shù)據(jù)寫入緩沖區(qū)，當緩沖區(qū)被寫滿時將數(shù)據(jù)以大數(shù)據(jù)塊方式寫入SSD中，充分利6I/O速度的限制：模型訓練時緩慢的I/O會浪費GPU率低下會導致GPU算力浪費，優(yōu)化GPU的數(shù)據(jù)傳輸可以減少AI模到磁盤中，并且使用checkpoint機制恢復訓練時需要重新讀取7隨著SSD容量和速度的增加，當前存儲器解決方案正在分擔五、PCIeGen5SSD搭配高性能應(yīng)用的驗證在本白皮書中，我們驗證了在IntelDAOS文件系統(tǒng)下分別使用PCIeGen4SSD和PCIeGen5SSD時系統(tǒng)的讀寫性能以觀測PCIe負載生成器，主要用于SSD的基準性能測試和壓力測試，為了對Client:AMDEPYC955464-CoreProcessor(256proceServer:Intel(R)Xeon(R)Platinum8460Y+(160pro8Numjobs在本白皮書中，我們分別使用三星PCIeGen5SSDPM9D3a和由此可見，通過IntelDAOS的各項針對高性能9Aerospike的性能測試工具使用YCSB，YCSB是一款開源的AMDEPYC955464-CoreProcessor(256processor)WorkloadA在本白皮書中，我們使用YCSB工具對Aerospike進行了測試，選取了讀寫均衡型工作負載(讀/寫比例為50%/50%)來模擬真實應(yīng)用高性能數(shù)據(jù)庫Aerospike的性能優(yōu)勢。DeepSpeed的Zero-Infinity技術(shù)將Bloom模型的優(yōu)化器狀態(tài)卸載到Intel(R)Xeon(R)Platinum84Linux6.4.0(Ubuntu22.04.4AdamW從表6可以看出，在Bloom模型訓練中，SSD上的最大帶寬基ModelMax-WriteAI大模型等新型高性能應(yīng)用的特性和適用場景，介紹了PCIeGen5