基于數(shù)據(jù)處理器（DPU）的新數(shù)據(jù)中心存儲范式開放數(shù)據(jù)中心標準推進委員會ODCC2025年9月在當今數(shù)字化時代，數(shù)據(jù)中心面臨著前所未有的挑戰(zhàn)。隨著人工智能、大數(shù)據(jù)和云計算的快速發(fā)展，傳統(tǒng)存儲架構(gòu)已經(jīng)難以滿足存儲系統(tǒng)的性能、可擴展性和效率成為了關(guān)鍵瓶頸。近年來，存算分離架構(gòu)作為一種創(chuàng)新的解決方案，正在引起業(yè)界的廣泛關(guān)注。這種架構(gòu)將存儲資源與計算資源解耦，為數(shù)據(jù)中心帶來了更高的靈活性和效率。其中，以VASTData為代表的"ShareEverything"架構(gòu)已經(jīng)在市場上取得了顯著成功，證明了存算分離的巨大潛力。然而，隨著技術(shù)的進步，一種更為先進的存算分離方案正在嶄露頭角——基于數(shù)據(jù)處理單元（DPU）的存算分離架構(gòu)。這種新型架構(gòu)不僅繼承了傳統(tǒng)存算分離的優(yōu)勢，還通過引入專門的硬件加速器，進一步離存儲架構(gòu)，分析其技術(shù)原理、優(yōu)勢特點，并探討其在現(xiàn)代數(shù)據(jù)中 6 9 40 46 1基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2一、現(xiàn)有存儲架構(gòu)分析（一）傳統(tǒng)分布式存儲架構(gòu)的局限資源（特別是NVMeSSD）之間的錯配。在資源配比問題主要體現(xiàn)和副本同步等計算需求，往往需要配置高性能CPU。然而，當存儲容量和IO需求相對較小時，這些高性能CPU的計算能力就會出現(xiàn)存儲相關(guān)任務(wù)，很容易達到處理瓶頸。此時，即便配備了高性能的系統(tǒng)整體性能的關(guān)鍵因素。相反，在計算密集型場景下，CPU主要基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC22這些問題的根源在于傳統(tǒng)分布式存儲架構(gòu)將計算和存儲資源綁（二）存算分離架構(gòu)3備（如NVMeSSD）構(gòu)成，提供大容量、高性能的存儲能力。這種關(guān)鍵紐帶。這種高速網(wǎng)絡(luò)不僅能夠提供低延遲、高帶寬的通信能力，本地存儲一樣。NVMe-oF保留了NVMe協(xié)議的低延遲特性，同時支基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC24媲美本地NVMeSSD，為存算分離架構(gòu)提供了強有力的技術(shù)支撐。資回報率（ROI）。盡管存算分離架構(gòu)解決基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC25二、數(shù)據(jù)處理器（DPU）技術(shù)與存算分離向一種革命性的技術(shù)——數(shù)據(jù)處理單元（DataProcessingUnit，DPU）。DPU作為新一代的基礎(chǔ)設(shè)施硬件加速器，為存算分離架構(gòu)（一）數(shù)據(jù)處理器（DPU）技術(shù)簡介速緩存和內(nèi)存系統(tǒng)。作為新一代數(shù)據(jù)中心的核心組件，DPU能夠有效卸載、加速和隔離各類基礎(chǔ)設(shè)施功能。在網(wǎng)絡(luò)處理方面，最新的引擎專門針對關(guān)鍵任務(wù)進行優(yōu)化，包括加密/解密、壓縮/解壓縮等，顯著提升了這些常見操作的處理效率。DPU的可編程性是其另一大6據(jù)特定應(yīng)用場景定制功能，實現(xiàn)靈活的業(yè)務(wù)適配。同時，DPU提供集成，DPU能夠有效管理和加速存儲、網(wǎng)絡(luò)、安全和虛擬化等多個（二）NVIDIABlueField-3DPU關(guān)鍵特性高性能網(wǎng)絡(luò)連接：支持400G/200G以太網(wǎng)或NDR400Gb/s強大的計算能力：集成了多個ARM核心，可以運行復雜的軟件可編程性：支持NVIDIADOCA軟件框架，便于開發(fā)和部署自基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC27在存算分離架構(gòu)中，DPU的獨立運行能力和供電特性為系統(tǒng)穩(wěn)基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC28更為重要的是，DPU配備了獨立的供電接口，這個看似簡單的），的穩(wěn)定性。而獨立供電設(shè)計從根本上解決了這個問題，確保了DPU數(shù)據(jù)一致性更容易維護：DPU可以在主機故障期間繼續(xù)處理未故障恢復更加高效：當主機系統(tǒng)恢復后，DPU無需重新初始化基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC29（三）基于DPU的存儲架構(gòu)設(shè)計在整體架構(gòu)中，系統(tǒng)主要分為兩個主要部分：計算節(jié)點集群和計算節(jié)點既可以是CPU服務(wù)器也可以是GPU服務(wù)器，無論哪主要運行存儲系統(tǒng)的客戶端組件，負責處理應(yīng)用程序的存儲請求，服務(wù)器僅運行NVMe-oFTarget端負載，不承擔復雜的存儲處理任基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2盤陣；而由于DPU既可以作為IO節(jié)點單獨使用，同時又可以作為基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2性能隔離與資源聚合優(yōu)勢：雖然單個DPU的計算資源（16個優(yōu)勢。在相同總核心數(shù)的對比下：傳統(tǒng)架構(gòu)：雙路CPU服務(wù)器提供256個CPU核心，內(nèi)存帶寬更重要的是，DPU架構(gòu)實現(xiàn)了物理級別的資源隔離：存儲后端基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2），更重要的是，DPU架構(gòu)實現(xiàn)了網(wǎng)絡(luò)帶寬的線性聚合：消除副本DPU架構(gòu)的網(wǎng)絡(luò)優(yōu)化優(yōu)勢：第一，流量模式大幅簡化，在存儲基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2SSD的SRIOV（SingleRootI/OVirtualizatio傳統(tǒng)架構(gòu)中，一個SSD只能被單個CPU節(jié)點獨占訪問，所有的I/O操作都必須通過該節(jié)點的PCIe總線和CPU進行處理。而在個不同的DPU節(jié)點提供獨立的訪問通道，每個DPU都擁有專屬的在傳統(tǒng)的CPU-centric架構(gòu)中，單點故障恢復面臨兩重瓶頸：池化徹底打破了傳統(tǒng)架構(gòu)的限制：并行計算調(diào)度：當單個SSD發(fā)生智能存儲分層與寫入優(yōu)化：DPU存算分離架構(gòu)可以通過CASL延遲不穩(wěn)定：QLC的寫入延遲波動較大，特別是在高負載情況緩存溢出性能斷崖：當SLC緩存滿載后，寫入性能會出現(xiàn)斷崖存儲架構(gòu)：CASL構(gòu)建了雙級存儲體系。第一級TLC緩存層通過為發(fā)起端與多個TLC設(shè)備建立高速連接，聚合為統(tǒng)一緩存資源池。大小、緩存容量狀態(tài)和網(wǎng)絡(luò)帶寬利用率等維度，對TLC緩存進行實時管理，確保熱數(shù)據(jù)在緩存中保持更長時間，減少Q(mào)LC訪問頻率。IO重組與批量下刷：當TLC緩存積累足夠數(shù)據(jù)后，硬件IO調(diào)概念越來越為眾多客戶所熟知，他主要是有DPU代理CPU及專用的控制器管理連接SSD，成為一種大容量高性能的存儲設(shè)備，配合DPU的存算分離方案相比于存算一天的全閃服務(wù)器架構(gòu)有著諸多優(yōu)1.網(wǎng)絡(luò)帶寬與存儲帶寬的嚴重不匹配，傳統(tǒng)AllFlashSe基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC22.固化配比vs靈活插拔的架構(gòu)差異，傳統(tǒng)AllFlashServer基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2成本敏感場景：采用最優(yōu)的DPU與SSD配比，實現(xiàn)性能與成基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2三、數(shù)據(jù)處理器（DPU）技術(shù)與存算分離（一）CSALQLC加速方案1.背景介紹隨著現(xiàn)實世界中數(shù)據(jù)的日益增長的和客戶對存儲設(shè)備容量的需求，主流的固態(tài)硬盤產(chǎn)商紛紛推出大容量的固態(tài)硬盤。固數(shù)達到了200層以上，業(yè)界主流的單盤企業(yè)級SSD容量就達到基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2如圖14所示，相較于傳統(tǒng)的TLC和HDD混閃架構(gòu)，在對外提供相同容量的存儲空間時，全閃大容量QLC陣列在很大程度上降低了電力消耗（從機房耗電總量的45%降低到13%），并且在機柜數(shù)閃陣列每TB的接口帶寬遠遠高于機械硬盤的陣列，這也意味著讀于企業(yè)級固態(tài)硬盤控制器中的DRAM尺寸是有限的，而DRAM通常），但是隨著IU尺寸的加大，也帶來了WAF增大和磁盤壽命等一盤的IU尺寸對齊，但是他們并沒有開源代碼。這對中小企業(yè)來說，在使用大尺寸IU的固態(tài)硬盤場景下，會變得非常的困難。Solidigm），基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2如圖15所示，CSAL通過引入分層存儲架構(gòu)，利用高性能存儲介質(zhì)（如D7-PS1010）作為前端緩存和寫緩沖區(qū)，將主機的隨機寫緩存后轉(zhuǎn)化為對底層QLC大容量固態(tài)硬盤的的順序?qū)懖僮?，步驟中，完成了IU對齊的工作，即把上層4K塊的寫入聚合成64K），基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2），），工智能訓練過程中，經(jīng)常會保存checkpoint點的大量臨時數(shù)據(jù)，存我們對CSAL做了一定程度上的修改，引入2.架構(gòu)介紹BlueField-3卡上的計算資源可以很好的支計算需求，例如FTL表的查找，用戶塊數(shù)據(jù)的合并等。同時，我們也可以通過修改CSAL軟件中配置選項，使用DRAM替代高性存儲節(jié)點由全閃固態(tài)硬盤組成，可以是高速TLC緩存盤，也可以是高密度QLC容量盤，每個存儲節(jié)點中會帶有BlueField-3卡，滿足強計算的需求，通過我們的統(tǒng)計發(fā)現(xiàn)，BlueField-3卡上的算力的從單機服務(wù)蛻變成跨網(wǎng)絡(luò)的靈活存儲。全閃陣列（JBOF）存儲節(jié)案例一，當計算節(jié)點在訓練過程中，需要一個200TB大小的存上創(chuàng)建一個由2個NVMe-oF目標端組成的虛擬盤（假設(shè)單個QLC），并成64K，直接寫入QLC容量盤。案例二，當計算節(jié)點被用來做推理服務(wù)器的時候，由于使用了模式是小塊的隨機讀寫，用來做緩存的高性能目標端會處理好IU對3.測試拓撲為了證明IU對齊對固態(tài)硬盤的性能提升和CSAL在DPU基礎(chǔ)來的NVMe-oF的虛擬盤，在測試環(huán)境中，使用存儲節(jié)點上的DPU暴露給計算節(jié)點。為了做對比測試，我們把①（QLC大容量固在測試過程中，我們分別對寫入數(shù)據(jù)塊大小，寫入隊列深度，基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC24.測試數(shù)據(jù)5種性能的測試，這五種測試的IO模式分別對應(yīng)了人工智能計算中對于非均勻隨機分布的zipf（齊普夫分布）測試中，由于熱點數(shù)據(jù)的緩存效應(yīng)，在性能上對比上，CSAL方案也比單獨的QLC固態(tài)有15倍的性能提升。5.方案展望隨著人工智能技術(shù)的普及和日益增多的AI推理應(yīng)用進入市場，基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2最大限度的提高客戶在網(wǎng)絡(luò)和存儲上的資金投入。例如，在目前比（二）SRIOV加速方案SR-IOV（SingleRootI/OVirtualization）是一種基于硬件實率。SR-IOV引入了兩種類型功能的概念：物理功能(Physical負責管理VF的生命周期（如創(chuàng)建、刪除、資源分配等）；VF則是），劃分為多個獨立的VF，每個VF可直接分配給不同虛擬機（VM）或基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2計，確保高可用性；優(yōu)化的閃存控制器，提供穩(wěn)定的QoS；支持高），基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2本方案使用三星PCIeGen5NVMeSSDPM1743和NVIDIA2.架構(gòu)介紹基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2介質(zhì)。該方案將存儲后端工作負載卸載到BlueField-3DPU上，在有效卸載后端存儲的壓力的同時，充分發(fā)揮了NV勢，打造了一個高性價比的存儲方案。利用三星PCIeGen5NVMe當三個副本數(shù)據(jù)對應(yīng)的OSD分布在不同的DPU時，就會產(chǎn)生基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2之間的東西向流量傳輸開銷。在高并發(fā)的寫入場景中，這種跨DPU于存算分離架構(gòu)的無東西向流量的三副本方案：通過修改Ceph的提升了Ceph三副本配置的寫入性能?；跀?shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2(ErasureCoding）的方式來做部署。EC通過將數(shù)據(jù)分塊并生成校所有EC校驗塊和數(shù)據(jù)塊分布在同一DPU的不同OSD上，當客戶他們發(fā)送到同一DPU的其他OSD上，徹底消除了東西向流量傳輸基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC23.測試拓撲4.測試數(shù)據(jù)在存算分離架構(gòu)下無論是Ceph的三副本模式還是EC模式，Ceph都能通過消除東西向流量帶來顯圖28所示，在僅使用了一臺部署了8塊PM1743的標準服務(wù)器的情PM1743的新一代Ceph存儲架構(gòu)，代表了存儲技術(shù)發(fā)展的重要里程放了NVMeSSD在Ceph系統(tǒng)上的性能潛力；同時架構(gòu)的硬件部署需求，僅僅通過在計算節(jié)點部署B(yǎng)lueField-3DPU5.方案展望臨的性能瓶頸，使下一代數(shù)據(jù)平臺成為可能。隨著AI、大數(shù)據(jù)等現(xiàn)代應(yīng)用工作負載的持續(xù)發(fā)展，基于BlueField-3DPU的存算分離架（三）分布式Raid加速方案1.背景介紹存在明顯的局限性：多副本方案雖然性能優(yōu)異但存儲成本高昂，而EC方案雖然存儲效率較高但在隨機寫入現(xiàn)出色，但受限于本地化約束，無法適應(yīng)現(xiàn)代分布式存儲的需求。單機本地環(huán)境擴展到分布式網(wǎng)絡(luò)環(huán)境成為可能。Xinnor公司開發(fā)的2.架構(gòu)介紹存儲資源池由多個JBOF節(jié)點組成，每個節(jié)點配置多個高性能NVMeSSD設(shè)備。這些設(shè)備通過NVMe-oFTargetSer3.測試拓撲為了全面驗證XiRaid方案的性能表現(xiàn)，測試環(huán)境采用了如下拓4.測試數(shù)據(jù)基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2Write表3不同場景下分布式XiRaid的性能5.方案展望基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2RAID計算從主機CPU卸載到存儲側(cè)，實現(xiàn)真正的存算分離。這種塊層面數(shù)據(jù)保護的普適性：與傳統(tǒng)需要在文件系統(tǒng)或?qū)ο蟠鎯Φ确植际酱鎯ο到y(tǒng)可以統(tǒng)一采用單副本模式，通過XiRaid獲得數(shù)據(jù)發(fā)效率和系統(tǒng)穩(wěn)定性。相比傳統(tǒng)多副本方案節(jié)省50-70%存儲空間，基于DPU的XiRaid分布式RAID解決方案不僅是一項技術(shù)創(chuàng)新，基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2四、存儲系統(tǒng)方案案例核心存儲組件，采用主從架構(gòu)設(shè)計，通過NameNode管理元數(shù)據(jù)，DataNode存儲實際數(shù)據(jù)。其設(shè)計理念"一次寫入，多次讀取"和"移設(shè)施，到金融行業(yè)的銀行風控系統(tǒng)、交易數(shù)據(jù)分析和監(jiān)管報告生成，再到電信運營商的用戶行為分析、網(wǎng)絡(luò)優(yōu)化和計費系統(tǒng)數(shù)據(jù)存儲，平臺的訓練數(shù)據(jù)集存儲、模型版本管理和特征工程數(shù)據(jù)湖建設(shè)中，HDFS更是不可或缺的基礎(chǔ)設(shè)施。通過與Spark、Hive、HBase、基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC22.傳統(tǒng)HDFS方案的性能與擴展性挑戰(zhàn)導致昂貴的SSD存儲資源無法充分發(fā)揮，實際利用率不足50%。壓縮至1/3，更關(guān)鍵的是副本跨節(jié)點同步產(chǎn)生大量東西向網(wǎng)絡(luò)存拷貝、系統(tǒng)調(diào)用和網(wǎng)絡(luò)協(xié)議棧處理，CPU資源大量消耗在數(shù)據(jù)搬立擴展，AI訓練中常見的計算密集型和存儲密集型階段無法獲得針基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2這些根本性挑戰(zhàn)表明，傳統(tǒng)HDFS架構(gòu)在面對SSD存儲和AI3.基于DPU存算分離的HDFS優(yōu)化方案基于DPU的HDFS優(yōu)化方案通過存算分離架構(gòu)，將傳統(tǒng)DataNode的副本管理和數(shù)據(jù)保護邏輯完全下沉到DPU層，實現(xiàn)單邏輯，讀取請求直接訪問的是同一個DPU上的遠端數(shù)據(jù)，通過NVMe-oFRDMA充分發(fā)揮NVMeSSD的隨機讀取性能。結(jié)合基于基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC24.DPU存算分離方案與傳統(tǒng)架構(gòu)對比測試對比測試環(huán)境進行深度性能評估。在DPU優(yōu)化方案中，采用6個構(gòu)建無東西向網(wǎng)絡(luò)流量的單副本架構(gòu)，并在DPU層面實現(xiàn)LVM三副本架構(gòu)，每節(jié)點同樣配置8×PMNVMeSSD，總計24塊高性能存儲設(shè)備。兩套方案均使用相同規(guī)格的DPU節(jié)點（B3220）作為精心設(shè)計的三個核心測試場景全面評估系統(tǒng)性能。測試采用固定的構(gòu)建了多層次的IO粒度測試矩陣。具體而言，8個并行文件對應(yīng)并行文件對應(yīng)1280MB單文件大小，64個并行文件對應(yīng)640MB單文應(yīng)160MB單文件大小。寫入測試場景小的配置，專門模擬AI訓練過程中大模型檢查點保存的典型工作負并行文件、256MB塊大小，模擬AI推理服務(wù)中對訓練數(shù)據(jù)的隨機訪基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2架構(gòu)與傳統(tǒng)X86三副本架構(gòu)在性能表現(xiàn)上基本達到了等效水平。從圖代表的傳統(tǒng)X86方案在各個測試場景中的性能數(shù)據(jù)非常接近。在READ性能測試中，兩種方案的吞吐量表現(xiàn)幾乎重疊，差異幅度在機讀取測試中，兩種方案同樣展現(xiàn)出高度一致基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2同時，成功維持了與傳統(tǒng)HDFS三副本相當?shù)膶懭胄阅?。這種性能基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2在性能等效的前提下，DPU存算分離架構(gòu)在成本結(jié)構(gòu)方面展現(xiàn)出顯著優(yōu)勢。傳統(tǒng)方案需要采購3臺完整的X86服務(wù)器，每臺服務(wù)散熱系統(tǒng)、機箱等全套硬件組件相比之下，DPU方案僅需要6塊BlueField-3DPU卡加上一個JBOF存儲機柜，相比傳統(tǒng)方案節(jié)省40%以上的硬件投資。更重要的是，DPU卡直接安裝在現(xiàn)有計算節(jié)降低了機架空間占用和配套基礎(chǔ)設(shè)施成本。從TCO（總擁有成本）5.HDFS的DPU存算分離架構(gòu)應(yīng)用展望DPU存算分離架構(gòu)在系統(tǒng)擴展性方面展現(xiàn)出傳統(tǒng)架構(gòu)無法比擬基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2費。DPU方案實現(xiàn)真正的存算分離，存儲擴展通過增加JBOF機柜精確的資源配置，在大規(guī)模AI集群部署場景中轉(zhuǎn)化為顯著的成本節(jié)省和部署效率提升。從系統(tǒng)維護角度分析，DPU存算分離架構(gòu)顯著降低了運維復雜度和維護成本。傳統(tǒng)方案中每臺X86服務(wù)器都是獨立故障域，涉及多個硬件組件，故障診斷復雜且耗時。DPU方案將DPU方案通過創(chuàng)新的LVM3-Copy機制將數(shù)據(jù)保護邏輯完全本同步的延遲開銷。DPU單副本架構(gòu)使得讀取操作直接定位到唯一數(shù)存儲設(shè)備的最短數(shù)據(jù)路徑。從資源利用角度分析，傳統(tǒng)X86三副本副本管理等開銷性操作上。DPU方案通過單副本模式實現(xiàn)90%以上的存儲利用率，DPU專用硬件加速單元承擔數(shù)據(jù)編解碼、校驗計算基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2針對AI訓練和推理場景的特殊需求，DPU存算分離架構(gòu)展現(xiàn)出能優(yōu)勢能夠更好地匹配TB/s級別聚合帶寬需求，寫入延遲的顯著改性能的大幅提升直接轉(zhuǎn)化為推理服務(wù)響應(yīng)時間的縮短。DPU架構(gòu)的（二）BeeGFS1.系統(tǒng)概述與應(yīng)用廣泛性單一文件系統(tǒng)可支持數(shù)萬個客戶端并發(fā)訪問，聚合帶寬可達TB/s級(CERN)等頂級科研機構(gòu)的大規(guī)?？茖W計算、汽車碰撞測試和航空航天CFD仿真等工程計算、基因測序分析和蛋白質(zhì)折疊?；跀?shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC22.傳統(tǒng)BeeGFS方案的性能與擴展性挑戰(zhàn)示了現(xiàn)有架構(gòu)的根本性局限。在存算一體架構(gòu)下，NVMeSSD的高性能I/O能力無法完全釋放到網(wǎng)絡(luò)層面，CPU需要同時處理計算任面對AI訓練場景對超過500GB/s數(shù)據(jù)加載帶寬、百萬級元數(shù)據(jù)操作、毫秒級訪問延遲和99.99%可用性的嚴苛需求，無論是存算基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC23.基于DPU存算分離的BeeGFS優(yōu)化方案層分離架構(gòu)：上層計算服務(wù)器專注于AI訓練等計算密集型任務(wù)，運行BeeGFS客戶端進行數(shù)據(jù)訪問；中間層DPU服務(wù)器完全接管存儲節(jié)點，專門運行NVMe-oFTarget提供高性能塊存儲服務(wù)。這基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2的完全解耦。DPU內(nèi)置的數(shù)據(jù)處理加速器支持零拷貝數(shù)據(jù)傳輸、智能預取和緩存管理，大幅降低數(shù)據(jù)訪問延遲?；跀?shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2消除了傳統(tǒng)服務(wù)器的CPU、內(nèi)存等計算資源開銷，大幅降低單位存和存儲容量的獨立擴展?？筛鶕?jù)AI工作負載特點靈活配置各層資源JBOF提供純存儲服務(wù)的三層分離架構(gòu)，為AI時代的大規(guī)模數(shù)據(jù)密集型應(yīng)用提供了高效、靈活且成本優(yōu)化的存4.DPU存算分離方案介紹基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC2模式，在從文件大小4K到4M進行全覆蓋，在不同線程和不同的隊列深度下測試，得到不同Client壓力下的存儲集群的整體性能數(shù)據(jù)。從測試數(shù)據(jù)中可以看到單個Client下隨機讀可以達到66GBps的輸出，雙Client最高可以實現(xiàn)82GBps輸出，三節(jié)點達到了基于數(shù)據(jù)處理器（DPU）的新一代存算分離存儲架構(gòu)：重構(gòu)數(shù)據(jù)中心存儲范式研究報告（ODCC25.BeeGFS的DPU存算分離架構(gòu)應(yīng)用展望在資源利用效率方面，DPU存算分離方案解決了傳統(tǒng)架構(gòu)中主機CPU可以專注于業(yè)務(wù)計算任務(wù)，避免了高性能CPU資源在存儲I/O