AIGC目錄 AIGC AIGC產(chǎn)業(yè)邁入發(fā)展新階 AIGC產(chǎn)業(yè)支持政策全面布 AIGC AIGC整體架 AIGC作業(yè)流程下的存儲(chǔ)數(shù)據(jù)流 AIGC AIGC AIGC AIGC催生新一代數(shù)據(jù)存儲(chǔ)架 AIGC加速數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)快速增 AIGC加速數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)完 AIGC具有廣闊的研究和應(yīng)用前景。AI技術(shù)的快速革新極大地推進(jìn)了AIGC的高速發(fā)展，其研究和應(yīng)用亦被推廣到多個(gè)行業(yè)。據(jù)統(tǒng)計(jì)，AIGC在內(nèi)容創(chuàng)作領(lǐng)域，可以將內(nèi)容生成效率提升數(shù)倍至數(shù)十倍，降低人力成本高達(dá)50%以上。在廣告、游戲、影視等行業(yè)，AIGC的應(yīng)用不僅豐富了內(nèi)容形式，還推動(dòng)了行業(yè)的數(shù)字化轉(zhuǎn)型。未來(lái)，隨著技術(shù)的不斷進(jìn)步，AIGC有望在更多領(lǐng)域?qū)崿F(xiàn)突破，如教育、醫(yī)療、科研等，進(jìn)一步拓寬其應(yīng)用邊界。據(jù)預(yù)測(cè)，到2030年，AIGC的市場(chǎng)規(guī)模將達(dá)到數(shù)千億美元，成為推動(dòng)全球經(jīng)濟(jì)增長(zhǎng)的重要力量。為全面分析AIGC與數(shù)據(jù)存儲(chǔ)的緊密關(guān)系，從數(shù)據(jù)存儲(chǔ)的角度揭示AIGC技術(shù)的內(nèi)在邏輯和發(fā)展趨勢(shì)，我們推出《AIGC數(shù)據(jù)存儲(chǔ)技術(shù)研究報(bào)告》。在報(bào)告中，我們將深入探討AIGC場(chǎng)景下對(duì)數(shù)據(jù)存儲(chǔ)提出的新要求和新挑戰(zhàn)，以及數(shù)據(jù)存儲(chǔ)對(duì)新要求和新挑戰(zhàn)的技術(shù)應(yīng)對(duì)。同時(shí)，我們還將關(guān)注數(shù)據(jù)存儲(chǔ)技術(shù)的創(chuàng)新和發(fā)展，以期為AIGC技術(shù)的進(jìn)一步應(yīng)用和推廣提供有益的參考和啟示。AIGCAIGCAIGCAIGC 1.1.1AIGC產(chǎn)業(yè)邁入發(fā)展新階 20世紀(jì)90年代中期至21世紀(jì)10年代中期，AIGC發(fā)展進(jìn)入沉淀階段。這一階段，AIGC多數(shù)是通過(guò)預(yù)先設(shè)定的規(guī)則和算法來(lái)生成內(nèi)容。例如，在自然語(yǔ)言處理領(lǐng)域中，研究人員嘗試?yán)靡?guī)則和語(yǔ)法知識(shí)來(lái)生成語(yǔ)句，實(shí)現(xiàn)新聞稿件的自動(dòng)化生成。同樣地，由于規(guī)則和模板的缺陷，生成的內(nèi)容往往缺乏個(gè)性化和創(chuàng)意性。隨著人工智能技術(shù)的進(jìn)步和深度學(xué)習(xí)算法的發(fā)展，從21世紀(jì)10年代中期至今，AIGC進(jìn)入了快速發(fā)展階段，其大規(guī)模應(yīng)用逐漸成為現(xiàn)實(shí)，開(kāi)始出現(xiàn)在新聞、廣告、音樂(lè)、電影、游戲等多個(gè)領(lǐng)域中。生產(chǎn)的內(nèi)容更加逼真、富有創(chuàng)意和個(gè)性化。同時(shí)，一些新興的技術(shù)框架，如生成對(duì)抗網(wǎng)絡(luò)（GAN），也為AIGC產(chǎn)業(yè)的發(fā)展提供了新的動(dòng)力。2021年底，隨著ChatGT的嶄露頭角，AIGC進(jìn)入了大規(guī)模爆發(fā)時(shí)代。ChatGT的強(qiáng)大表現(xiàn)進(jìn)一步證明了AIGC技術(shù)在內(nèi)容生成領(lǐng)域的巨大潛力，促使越來(lái)越多的企業(yè)和研究機(jī)構(gòu)投入到AIGC產(chǎn)業(yè)中，助推AIGC全產(chǎn)業(yè)鏈的成形，涵蓋了數(shù)據(jù)層、算力層、算法/模型層和商業(yè)化應(yīng)用層等多個(gè)環(huán)節(jié)。其中，產(chǎn)業(yè)鏈上游主要包括數(shù)據(jù)提供、算法模型訓(xùn)練等環(huán)節(jié)，為AIGC提供基礎(chǔ)支撐；中游則是AIGC技術(shù)提供商，他們專注于開(kāi)發(fā)和優(yōu)化AIGC技術(shù)，為下游應(yīng)用提供技術(shù)支持；下游則是各種AIGC應(yīng)用場(chǎng)景，如媒體、娛樂(lè)、教育、廣告等，這些領(lǐng)域正在廣泛采用AIGC技術(shù)，實(shí)現(xiàn)內(nèi)容創(chuàng)作的智能化和高效化。 1.1.2AIGC產(chǎn)業(yè)支持政策全面布 AIGC產(chǎn)業(yè)的發(fā)展不僅得益于人工智能技術(shù)的進(jìn)步，與政府政策支持也是密不可分的。近五年來(lái)，政府出臺(tái)了一系列政策，鼓勵(lì)人工智能技術(shù)的研發(fā)和應(yīng)用，為AIGC產(chǎn)業(yè)的發(fā)展提供了良好的環(huán)境。現(xiàn)將國(guó)家各部委支持、指導(dǎo)AIGC產(chǎn)業(yè)發(fā)展的主要相關(guān)政策梳理如下：AIGCAIGC工業(yè)和信息化部等創(chuàng)新發(fā)展的實(shí)施意工業(yè)和信工信部等工程實(shí)施方案（2023-2035國(guó)家網(wǎng)信辦等七部工業(yè)和信息化部等產(chǎn)業(yè)發(fā)展的指導(dǎo)意科技部等工業(yè)和信三年行動(dòng)計(jì)劃（2021-2023設(shè)工作指引（修訂國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)等五能標(biāo)準(zhǔn)體系建設(shè)指AIGCAIGCAIGC聚焦于國(guó)際領(lǐng)先的ataDiectNetworks(DDN)與國(guó)內(nèi)某存儲(chǔ)廠商，作為行業(yè)內(nèi)的代表性企業(yè)，其在存儲(chǔ)技術(shù)創(chuàng)新方面分別展現(xiàn)出獨(dú)特的優(yōu)勢(shì)。DDN作為全球領(lǐng)先的大數(shù)據(jù)存儲(chǔ)供應(yīng)商，其A3I（Accelerated,Ay-ScaleAI）解決方案是專為AI和深度學(xué)習(xí)設(shè)計(jì)的，它針對(duì)數(shù)據(jù)密集型工作負(fù)載提供了前所未有的靈活性和高性能。滿足從大型企業(yè)、服務(wù)提供商、研究機(jī)構(gòu)到政府機(jī)構(gòu)的廣泛需求，其優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：第一，并行架構(gòu)的性能和效率。DDN的A3I解決方案采用真并行架構(gòu)，確保在任何規(guī)模下都能提供高性能、高效率、GPU利用率和存儲(chǔ)容量；第二，全面的深度學(xué)習(xí)加速。A3I解決方案能夠同時(shí)為所有工作負(fù)載提供實(shí)時(shí)加速，確保數(shù)據(jù)密集型任務(wù)能夠連續(xù)且高效地執(zhí)行。第三，無(wú)縫部署和集成。A3I解決方案易于部署，是預(yù)配置、即插即用的，為AI工作負(fù)載和GPU支持解決方案提供了最強(qiáng)大的擴(kuò)展平臺(tái)。第四，靈活的容量擴(kuò)展。DDN的存儲(chǔ)平臺(tái)提供了靈活的容量擴(kuò)展選項(xiàng)，支持從少量TB到幾十PB的擴(kuò)展，滿足不同企業(yè)的需求。AIGCAIGC第二章AIGC第二章AIGCAIGC 2.1.1AIGC整體架 數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)源 數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集數(shù)據(jù)集元數(shù)據(jù)對(duì)象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)對(duì)象服務(wù)視頻服務(wù)塊服務(wù)文件服務(wù)AIGCAIGC如圖2-1所示，AIGC整體架構(gòu)分為五層，自上而下分別是：應(yīng)用層SaaS、模型層MaaS、數(shù)據(jù)層aaS、平臺(tái)層aaS以及基礎(chǔ)設(shè)施層IaaS。應(yīng)用層SaaS是AIGC技術(shù)產(chǎn)生價(jià)值的窗口，模型根據(jù)輸入數(shù)據(jù)生成新的內(nèi)容；模型層MaaS是AIGC的核心環(huán)節(jié)，主要通過(guò)大量的數(shù)據(jù)來(lái)訓(xùn)練、驗(yàn)證模型并支撐模型的運(yùn)轉(zhuǎn)；數(shù)據(jù)層aaS主要分為數(shù)據(jù)服務(wù)、數(shù)據(jù)集成、數(shù)據(jù)治理三個(gè)部分，其中數(shù)據(jù)服務(wù)主要負(fù)責(zé)數(shù)據(jù)的處理和高質(zhì)量數(shù)據(jù)集的生成，數(shù)據(jù)集成主要對(duì)數(shù)據(jù)進(jìn)行匯集，數(shù)據(jù)治理主要對(duì)各個(gè)來(lái)源的數(shù)據(jù)集進(jìn)行統(tǒng)一管理、安全檢查等；平臺(tái)層aaS對(duì)數(shù)據(jù)、計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源進(jìn)行調(diào)度，例如網(wǎng)關(guān)服務(wù)、數(shù)據(jù)庫(kù)服務(wù)、多租戶管理、鑒權(quán)認(rèn)證，其中對(duì)于存儲(chǔ)的服務(wù)主要有文件服務(wù)、對(duì)象服務(wù)、塊服務(wù)和視頻服務(wù)等；基礎(chǔ)設(shè)施層IaaS構(gòu)建了AIGC的基礎(chǔ)設(shè)施底座，包括計(jì)算資源（CPU、GPU、NPU）、介質(zhì)資源（磁帶、HDD、SSD、內(nèi)存等）、網(wǎng)絡(luò)資源（TCP/IP、InfiniBandswitchA等）。在AIGC的整體架構(gòu)中，存儲(chǔ)隨著數(shù)據(jù)流動(dòng)而存在。如圖2-1所示，存儲(chǔ)主要在數(shù)據(jù)層、平臺(tái)層和基礎(chǔ)層，同時(shí)對(duì)應(yīng)用層和模型層起支撐作用。由此可見(jiàn)，在AIGC整體架構(gòu)中，存儲(chǔ)起著至關(guān)重要的作用。當(dāng)前得益于數(shù)據(jù)量的快速增長(zhǎng)和摩爾定律的快速發(fā)展，在更多的場(chǎng)景下，用戶更傾向于借助強(qiáng)大的算力以及數(shù)據(jù)驅(qū)動(dòng)模型進(jìn)步。而人工智能場(chǎng)景也逐漸從以模型為中心向以數(shù)據(jù)為中心轉(zhuǎn)變，算力、算法和數(shù)據(jù)已經(jīng)成為推動(dòng)AIGC發(fā)展的三駕馬車。就人工智能發(fā)展趨勢(shì)和實(shí)際應(yīng)用而言，在AIGC場(chǎng)景中，存儲(chǔ)不再是簡(jiǎn)單的數(shù)據(jù)容器，而是推動(dòng)AIGC發(fā)展的核心組件。 2.1.2AIGC作業(yè)流程下的存儲(chǔ)數(shù)據(jù)流 AIGCAIGCMetadataStorage 10Gb100Gb高速AIGC 多協(xié)議：數(shù)據(jù)采集階段涉及的數(shù)據(jù)來(lái)源多種多樣，包括互聯(lián)網(wǎng)、企業(yè)內(nèi)部數(shù)據(jù)庫(kù)、物聯(lián)網(wǎng)傳感器等。這些數(shù)據(jù)往往通過(guò)不同的協(xié)議進(jìn)行傳輸和存儲(chǔ)，如HTTP、FTP、TSP等。因此，存儲(chǔ)系統(tǒng)需要支持多種通訊協(xié)議，以便與各種數(shù)據(jù)源順暢對(duì)接，實(shí)現(xiàn)數(shù)據(jù)的無(wú)縫采集和傳輸。AIGCAIGC 易管理：數(shù)據(jù)預(yù)處理涉及多種操作，如數(shù)據(jù)清洗、格式轉(zhuǎn)換、特征提取等，這些操作往往需要根據(jù)具體的數(shù)據(jù)特性和業(yè)務(wù)需求進(jìn)行調(diào)整。存儲(chǔ)系統(tǒng)應(yīng)提供靈活的數(shù)據(jù)管理能力，支持?jǐn)?shù)據(jù)的靈活組織、檢索和更新，以滿足數(shù)據(jù)預(yù)處理過(guò)程中的多樣化需求。 高I/O、低延遲：數(shù)據(jù)訓(xùn)練階段需要頻繁地從存儲(chǔ)系統(tǒng)中讀取大量數(shù)據(jù)，用以更新模型的參數(shù)和權(quán)重。因此，存儲(chǔ)系統(tǒng)必須具備高性能的讀寫(xiě)能力，如在萬(wàn)卡集群、萬(wàn)億參數(shù)大模型的快速訓(xùn)練時(shí)，需要存儲(chǔ)提供TB級(jí)的帶寬，小模型的訓(xùn)練推理則要求存儲(chǔ)系統(tǒng)提供超過(guò)百萬(wàn)級(jí)的IOPS和低時(shí)延。確保數(shù)據(jù)能夠迅速加載到計(jì)算資源中，減少I(mǎi)/O等待時(shí)間，提高訓(xùn)練效率。易管理：在數(shù)據(jù)訓(xùn)練階段，存儲(chǔ)系統(tǒng)還需要提供靈活的數(shù)據(jù)管理和優(yōu)化功能。這包括數(shù)據(jù)壓縮、去重、緩存管理、冷熱數(shù)據(jù)分離等策略，以優(yōu)化存儲(chǔ)資源的利用率和性能。同時(shí)，還需要支持?jǐn)?shù)據(jù)的動(dòng)態(tài)遷移和平衡，以應(yīng)對(duì)訓(xùn)練過(guò)程中計(jì)算資源和存儲(chǔ)資源的變化。AIGCAIGC 高可靠：數(shù)據(jù)歸檔的首要目標(biāo)是確保數(shù)據(jù)的長(zhǎng)期保存與耐久性。這意味著存儲(chǔ)系統(tǒng)必須具備高可靠性和長(zhǎng)壽命，能夠抵御物理?yè)p壞、電源故障、自然災(zāi)害等風(fēng)險(xiǎn)，確保數(shù)據(jù)不會(huì)因時(shí)間流逝或外部環(huán)境變化而丟失。此外，還需定期執(zhí)行數(shù)據(jù)完整性檢查和修復(fù)，以保證數(shù)據(jù)的持續(xù)可用性。AIGCAIGCAIGC

AIGC在第二章中，我們?cè)敿?xì)分析AIGC場(chǎng)景下從數(shù)據(jù)采集到數(shù)據(jù)歸檔的各個(gè)階段對(duì)存儲(chǔ)系統(tǒng)的特定需求。為了方便分析，對(duì)第二章中所提需求做進(jìn)一步整理，對(duì)整個(gè)AIGC作業(yè)流程的需求分為軟件和硬件兩個(gè)層面。在硬件層面上，為滿足海量數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要具有大容量、可擴(kuò)展，同時(shí)在歸檔階段還需要存儲(chǔ)可長(zhǎng)期保存數(shù)據(jù)，具有耐久性。在軟件功能上，為滿足多模態(tài)數(shù)據(jù)存儲(chǔ)需求，存儲(chǔ)需要支持多種協(xié)議，同時(shí)，為滿足高性能場(chǎng)景的存儲(chǔ)需求、提升大模型訓(xùn)練效率，存儲(chǔ)需要具有高性能、高并發(fā)、低延遲和快速數(shù)據(jù)檢索的功能，支持并行數(shù)據(jù)處理和分布式訓(xùn)練。此外，在整個(gè)流程中，數(shù)據(jù)管理和數(shù)據(jù)治理也是非常重要的需求。 客戶客戶節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)在當(dāng)前的AI基礎(chǔ)設(shè)施平臺(tái)中，計(jì)算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來(lái)了NUMA（Non-UniormMemoryAccess）節(jié)點(diǎn)數(shù)據(jù)的增加。在多核處理器環(huán)境下，會(huì)產(chǎn)生大量的跨NUMA問(wèn)。如圖3-3所示，在未經(jīng)過(guò)NUMA均衡的存儲(chǔ)系統(tǒng)中，存儲(chǔ)的緩存空間集中在單個(gè)NUMA節(jié)點(diǎn)內(nèi)存內(nèi)。當(dāng)請(qǐng)求量增大時(shí)，所有其他NUMA節(jié)點(diǎn)的CPU核的數(shù)據(jù)訪問(wèn)均集中在單個(gè)Socket內(nèi)，造成了大量跨Socket、跨NUMA訪問(wèn)。這不僅導(dǎo)致了CPU核的超負(fù)荷運(yùn)載和大量閑置，還使得單次遠(yuǎn)端NUMA節(jié)點(diǎn)訪問(wèn)造成的微小時(shí)延累積，進(jìn)一步增大整體時(shí)延。為了降低跨NUMA訪問(wèn)帶來(lái)的時(shí)延，通過(guò)內(nèi)核親和力調(diào)度技術(shù)，在數(shù)控分離架構(gòu)下使內(nèi)核客戶端可自主控制數(shù)據(jù)頁(yè)緩存分配策略并主動(dòng)接管用戶下發(fā)的I/O任務(wù)。這種方式能夠更加靈活地實(shí)現(xiàn)各類客戶端內(nèi)核態(tài)到遠(yuǎn)端存儲(chǔ)池的數(shù)據(jù)移動(dòng)策略。其中，針對(duì)不同的I/O線程進(jìn)行NUMA感知優(yōu)化，將業(yè)務(wù)讀線程與數(shù)據(jù)自動(dòng)分配到相同的NUMA節(jié)點(diǎn)上，使所有數(shù)據(jù)均在本地NUMA內(nèi)存命中，有效減少了高并發(fā)下NUMA節(jié)點(diǎn)間數(shù)據(jù)傳輸，降低了I/O鏈路時(shí)延并提升內(nèi)存訪問(wèn)效率，保證各NUMA節(jié)點(diǎn)的負(fù)載均衡。GPUGPUGPUGPUGPUppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANodeppppppppppaaaaaaaaaaggggggggggeeeeeeeeeNUMANode小文件聚合也是AIGC場(chǎng)景下實(shí)現(xiàn)文件性能加速的重要手段。具體來(lái)看，第一，寫(xiě)入過(guò)程。首先，小文件寫(xiě)入時(shí)先進(jìn)入到快速層，介質(zhì)是快于HDD的NVME或持久內(nèi)存，配置的EC或副本模式也更快速，對(duì)數(shù)據(jù)進(jìn)行落盤(pán)，并記錄元數(shù)據(jù)；然后，文件拼接后形成4MB-10MB的大文件落向HDD層，如果聚合模塊中的數(shù)據(jù)需要釋放時(shí)，更改元數(shù)據(jù)文件，使其數(shù)據(jù)索引到HDD位置，整體過(guò)程根據(jù)文件的尺寸不同提升小文件5-10倍的性能。第二，讀出過(guò)程。根據(jù)數(shù)據(jù)所在位置分別從聚合層和HDD層讀取，EC算法支持從單分片中讀取，讀取通常不受影響，同時(shí)并發(fā)性能也會(huì)隨之提高。第三，GC過(guò)程。如果數(shù)據(jù)刪除過(guò)多或產(chǎn)生空洞，后臺(tái)需要進(jìn)行GC的數(shù)據(jù)整理。GC過(guò)程的常用方法有兩種：一是搬移數(shù)據(jù)，搬移數(shù)據(jù)可以重新排列得到更多的可用空間利用率，但是大量的搬移則會(huì)占用帶寬和資源，適用于刪除一次就刪掉了大量數(shù)據(jù)且需要重新排布的數(shù)據(jù)較少的場(chǎng)景；二是對(duì)空洞管理的方案，根據(jù)空洞的管理進(jìn)行聚合，性能比較穩(wěn)定，但是磁盤(pán)空間利用率低，適用于少量刪除或整體文件尺寸比較平均一致的場(chǎng)景。ECCache（聚合模塊AIGCAIGC數(shù)據(jù)存儲(chǔ)中的高密硬件設(shè)計(jì)包括高密硬盤(pán)設(shè)計(jì)、免工具設(shè)計(jì)、高性能接口、高效散熱設(shè)計(jì)、簡(jiǎn)易維護(hù)設(shè)計(jì)等。分開(kāi)來(lái)看，高密硬盤(pán)布局可以在有限的機(jī)箱空間（如4U或5U高度）內(nèi)，通過(guò)優(yōu)化硬盤(pán)布局和排列方式最大化硬盤(pán)數(shù)量；免工具設(shè)計(jì)，旨在方便拆卸，大大縮短運(yùn)維時(shí)間成本，如HDD硬盤(pán)框抽屜設(shè)計(jì)，支持單獨(dú)抽出維護(hù)（內(nèi)滑軌+坦克鏈）；高性能接口技術(shù)，如PCIe4.0轉(zhuǎn)SAS4.0、PCIe5.0SI設(shè)計(jì)等，能夠支持更高的帶寬和更低的延遲，滿足AIGC等高性能計(jì)算場(chǎng)景的需求；高效散熱設(shè)計(jì)，如優(yōu)化氣流通道、使用高性能風(fēng)扇和散熱器，以及通過(guò)智能溫控技術(shù)配合先進(jìn)的風(fēng)冷系統(tǒng)，可以實(shí)現(xiàn)最佳工作環(huán)境，保障系統(tǒng)穩(wěn)定運(yùn)行；簡(jiǎn)易維護(hù)設(shè)計(jì)，如BMC技術(shù)，技術(shù)人員可以通過(guò)Web管理界面、故障診斷LED等指引設(shè)備，并可通過(guò)UID指示燈標(biāo)記有故障的機(jī)器，提高系統(tǒng)可用性。在大容量存儲(chǔ)介質(zhì)方面，QCNAND的崛起為大容量存儲(chǔ)介質(zhì)的發(fā)展提供了契機(jī)。QCNAND閃存每個(gè)存儲(chǔ)單元可記錄4個(gè)位的數(shù)據(jù)，相比傳統(tǒng)的SC、MC、TC，具有更高的數(shù)據(jù)密度，能夠在相同空間內(nèi)存儲(chǔ)更多的數(shù)據(jù)。由于QC技術(shù)的快速發(fā)展，當(dāng)前NVMeSSD最大容量已經(jīng)超過(guò)百TB，大大提升了高速存儲(chǔ)介質(zhì)的存儲(chǔ)密度。同時(shí)，X-NAND等關(guān)鍵技術(shù)的誕生，也緩解了采用AC介質(zhì)所帶來(lái)的性能下降問(wèn)題，提升TC/QC的性能，進(jìn)而加速Q(mào)C的普及。而在數(shù)據(jù)的備份歸檔階段，HDD仍然是主要的選擇之一，在HDD內(nèi)部，通過(guò)改進(jìn)磁記錄技術(shù)，如采用垂直磁記錄（PMR）和疊瓦式磁記錄（SMR）技術(shù)，可以增加磁盤(pán)表面的存儲(chǔ)密度。對(duì)于以讀取為主的冷數(shù)據(jù)存儲(chǔ)場(chǎng)景，這種介質(zhì)能夠在同樣的盤(pán)片數(shù)量下實(shí)現(xiàn)更大的存儲(chǔ)容量，滿足AIGC系統(tǒng)中大量歷史數(shù)據(jù)和模型參數(shù)的存儲(chǔ)需求。數(shù)據(jù)壓縮本質(zhì)是通過(guò)使用算法和技術(shù)減少數(shù)據(jù)存儲(chǔ)或傳輸過(guò)程中所占空間或帶寬的過(guò)程。傳統(tǒng)的數(shù)據(jù)壓縮算法包含了無(wú)損壓縮（如Hu?man編碼、LZ系列編碼等）和有損壓縮（分形壓縮、小波壓縮等），以上算法和技術(shù)很難滿足AIGC場(chǎng)景下量大、類多、速度快的數(shù)據(jù)的壓縮需求，新的數(shù)據(jù)壓縮技術(shù)順勢(shì)而生?；旌狭袎嚎s（HCC）技術(shù)以塊的形式組織數(shù)據(jù)，同時(shí)利用行存儲(chǔ)和列存儲(chǔ)的方法存儲(chǔ)數(shù)據(jù)。數(shù)據(jù)一旦被定位，一個(gè)行集合中的列值會(huì)被分組到一起，然后將其進(jìn)行壓縮，待壓縮完成后數(shù)據(jù)會(huì)被存儲(chǔ)到壓縮單元中。利用HCC技術(shù)的倉(cāng)庫(kù)壓縮和存檔壓縮都取得了高效的壓縮比，其中，倉(cāng)庫(kù)壓縮在典型情況下可以提供10：1的壓縮率，存檔壓縮比可以達(dá)到15：1，極大的節(jié)省了存儲(chǔ)空間。此外，存儲(chǔ)系統(tǒng)支持基于固定長(zhǎng)度數(shù)據(jù)塊或可變長(zhǎng)度數(shù)據(jù)塊的重復(fù)數(shù)據(jù)判斷和刪除機(jī)制，通過(guò)SHA256等算法計(jì)算數(shù)據(jù)指紋表記錄數(shù)據(jù)特征，當(dāng)有相同指紋特征的數(shù)據(jù)寫(xiě)入時(shí)只保留一份數(shù)據(jù)，將重復(fù)數(shù)據(jù)刪除，其中基于可變長(zhǎng)度數(shù)據(jù)塊計(jì)算的指紋信息更加靈活和精確，可支持更高的數(shù)據(jù)重刪率。通過(guò)數(shù)據(jù)重刪技術(shù)可在重復(fù)數(shù)據(jù)占比較高的數(shù)據(jù)類型存儲(chǔ)時(shí)顯著節(jié)省存儲(chǔ)空間。 通過(guò)全局元數(shù)據(jù)共享技術(shù)構(gòu)建全局統(tǒng)一命名空間，對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，可視化呈現(xiàn)熱冷數(shù)據(jù)的分布，檢索系統(tǒng)任意位置的數(shù)據(jù)并進(jìn)行訪問(wèn)，在高速池上實(shí)現(xiàn)海量百億級(jí)文件秒級(jí)檢索。 故障恢復(fù)技術(shù)通過(guò)多副本和糾刪碼算法實(shí)現(xiàn)數(shù)據(jù)的冗余保護(hù)，這與中國(guó)傳統(tǒng)醫(yī)學(xué)中的邏輯理念不謀而合,即“治已病”。存儲(chǔ)系統(tǒng)的K+M糾刪碼級(jí)別有：K+1、K+2、K+3和K+4，其中，K表數(shù)據(jù)塊的數(shù)量如，K+2允許系統(tǒng)在不同的節(jié)點(diǎn)上故障兩塊硬盤(pán)，或故障兩個(gè)節(jié)點(diǎn)。系統(tǒng)不僅能支持硬盤(pán)級(jí)的故障，而且還支持機(jī)柜級(jí)或節(jié)點(diǎn)級(jí)的故障。只要系統(tǒng)中同時(shí)故障的節(jié)點(diǎn)數(shù)不超過(guò)M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過(guò)數(shù)據(jù)重構(gòu)過(guò) 計(jì)，對(duì)外提供統(tǒng)一的增值特性服務(wù)，在NFS、CIFS、HDFS或S3協(xié)議中的一種協(xié)議下設(shè)置了某個(gè)高級(jí)特性后對(duì)其 數(shù)據(jù)分層管理基于數(shù)據(jù)的訪問(wèn)頻率、重要性以及其他相關(guān)屬性，通過(guò)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)，建立數(shù)據(jù)訪問(wèn)頻率預(yù)測(cè)模型，準(zhǔn)確識(shí)別出熱數(shù)據(jù)和冷數(shù)據(jù)，并分別存儲(chǔ)在不同的存儲(chǔ)介質(zhì)或存儲(chǔ)層級(jí)上。當(dāng)數(shù)據(jù)在變?yōu)闇乩錉顟B(tài)并滿足設(shè)定的分層遷移策略時(shí)，自動(dòng)遷移到異地的存儲(chǔ)系統(tǒng)中或是不同存儲(chǔ)介質(zhì)的異構(gòu)存儲(chǔ)系統(tǒng)中，當(dāng)后續(xù)的作業(yè)階段觸發(fā)了對(duì)已遷移數(shù)據(jù)的訪問(wèn)請(qǐng)求時(shí)，自動(dòng)將數(shù)據(jù)回遷至原存儲(chǔ)系統(tǒng)中。通過(guò)數(shù)據(jù)分層管理策略實(shí)現(xiàn)數(shù)據(jù)在全生命周期內(nèi)的自動(dòng)遷移和透明流動(dòng)，包括在后端存儲(chǔ)使用磁帶庫(kù)和藍(lán)光存儲(chǔ)等冷存儲(chǔ)介質(zhì)的場(chǎng)景，實(shí)現(xiàn)數(shù)據(jù)在高性能的SSD介質(zhì)、HDD磁盤(pán)、以及低成本的冷存儲(chǔ)介質(zhì)之間的高效流轉(zhuǎn)。同時(shí)，存儲(chǔ)系統(tǒng)根據(jù)設(shè)定的存儲(chǔ)策略判斷匹配的存儲(chǔ)池資源，通過(guò)自動(dòng)遷移功能按前端I/O負(fù)載的變化調(diào)整數(shù)據(jù)遷移速率，可最大限度地降低數(shù)據(jù)遷移動(dòng)作本身對(duì)系統(tǒng)的性能影響。AIGCAIGCAIGC數(shù)據(jù)存儲(chǔ)解決方案采用分布式存儲(chǔ)和備份歸檔作為存儲(chǔ)底座。采用不同盤(pán)位的分布式全閃和混閃存儲(chǔ)與備份歸檔存儲(chǔ)共同構(gòu)建統(tǒng)一資源池，分布式并行存儲(chǔ)的burstbu?er功能，能夠智能識(shí)別熱點(diǎn)數(shù)據(jù)，精準(zhǔn)分級(jí)。統(tǒng)一資源池和全局文件系統(tǒng)能保證數(shù)據(jù)跨介質(zhì)、跨設(shè)備流動(dòng)，防止形成數(shù)據(jù)孤島，備份歸檔的存儲(chǔ)特性則保證數(shù)據(jù)的長(zhǎng)期保存和耐久性，具備數(shù)據(jù)流動(dòng)能力。 100GB-TBHDDHDDHDDHDDHDDHDD HDDHDDHDDHDDHDDHDD 疊瓦式磁記錄(SMR)、二維磁記錄(TDMR)、點(diǎn)陣式磁記錄(BPMR)以及能量輔助磁記錄，以降低冷數(shù)據(jù)歸檔存儲(chǔ)成本，具備強(qiáng)大的數(shù)據(jù)容納能力?；诜植际酱鎯?chǔ)架構(gòu)和數(shù)據(jù)、元數(shù)據(jù)管理功能，則可對(duì)外提供數(shù)據(jù)并行處理、模型分布式訓(xùn)練的數(shù)據(jù)管理能力。存儲(chǔ)系統(tǒng)發(fā)生故障時(shí)會(huì)導(dǎo)致數(shù)據(jù)讀寫(xiě)操作失敗、降低CHK讀寫(xiě)性能，影響訓(xùn)練效率。字節(jié)級(jí)分布式鎖、系統(tǒng)故障快速恢復(fù)、系統(tǒng)故障預(yù)測(cè)和系統(tǒng)防護(hù)相結(jié)合，可以加快故障恢復(fù)、提前預(yù)測(cè)故障和進(jìn)行系統(tǒng)防護(hù)，達(dá)到為存儲(chǔ)底座提供全方位保護(hù)的效果，保證數(shù)據(jù)安全?；诜植际酱鎯?chǔ)多協(xié)議融合互通的功能，該方案可實(shí)現(xiàn)同時(shí)支持文件、對(duì)象和大數(shù)據(jù)存儲(chǔ)服務(wù)，對(duì)外同時(shí)提供POSIX、NFS、CIFS、FTP、FTPS、HTTP、HDFS、S3和CSI等多種數(shù)據(jù)協(xié)議，實(shí)現(xiàn)不同協(xié)議下用戶權(quán)限共享、語(yǔ)義無(wú)損、性能一致，同時(shí)數(shù)據(jù)在存儲(chǔ)池內(nèi)僅保存一份，但是可以通過(guò)多種協(xié)議訪問(wèn)，避免不同協(xié)議下數(shù)據(jù)的拷貝，節(jié)省50%的數(shù)據(jù)存儲(chǔ)空間。而通過(guò)全局元數(shù)據(jù)共享技術(shù)則可以構(gòu)建統(tǒng)一命名空間，支持跨平臺(tái)、跨形態(tài)、跨地域的全局?jǐn)?shù)據(jù)管理，并對(duì)外提供統(tǒng)一的數(shù)據(jù)視圖，用戶可方便地檢索任意位置系統(tǒng)的數(shù)據(jù)并進(jìn)行訪問(wèn)，在高速池上可實(shí)現(xiàn)10億文件秒級(jí)檢索，體現(xiàn)了此方案的數(shù)據(jù)共享能力。AIGC 以上存儲(chǔ)解決方案為計(jì)算平臺(tái)提供超高的性能支持，可達(dá)400萬(wàn)IOPS和500GB帶寬，滿足大模型訓(xùn)練過(guò)程中大規(guī)模數(shù)據(jù)讀寫(xiě)的帶寬需求，有效避免大模型訓(xùn)練過(guò)程中大量小文件toen讀取時(shí)延的問(wèn)題，滿足整個(gè)存儲(chǔ)資源的整體性能。同時(shí)，該方案可提供全數(shù)據(jù)生命周期管理的能力，實(shí)現(xiàn)數(shù)據(jù)按熱度進(jìn)行流動(dòng)、提供熱、溫、冷、冰四級(jí)存儲(chǔ)介質(zhì)，實(shí)現(xiàn)高效、節(jié)能的數(shù)據(jù)分級(jí)存儲(chǔ)。在上層，智能化運(yùn)維管理平臺(tái)，采用AIOPS主動(dòng)運(yùn)維監(jiān)控、預(yù)測(cè)分析、提升管理效率、降低運(yùn)維成本。以上功能特性滿足AIGC模型訓(xùn)練場(chǎng)景下極低時(shí)延與極高IOPS需求。滿足跨學(xué)科領(lǐng)域研究的需求，為智慧醫(yī)療、智能感知、人機(jī)協(xié)同、數(shù)字孿生、材料發(fā)現(xiàn)、芯片制造、視覺(jué)影像多個(gè)研究方向的大模型研究提供了安全可靠的數(shù)據(jù)存儲(chǔ)底座。文件、對(duì)象融合存儲(chǔ)，TCO降低HDRIB全NVMe20*AS1300024多模型、百GB HOME目 工具鏡像倉(cāng) 容器持久存該方案的平臺(tái)配置的存儲(chǔ)系統(tǒng)采取分級(jí)策略，配置一級(jí)高性能存儲(chǔ)+二級(jí)大容量存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)在不同層級(jí)間自由流轉(zhuǎn)。存儲(chǔ)模塊全部支持多種存儲(chǔ)類型，多種功能模塊協(xié)同工作，打破單一軟硬件技術(shù)壁壘，使業(yè)務(wù)運(yùn)行更加順暢。并且該方案提供閃存存儲(chǔ)空間300TB，存儲(chǔ)吞吐可達(dá)100GB/s+。該解決方案配備高性能存儲(chǔ)系統(tǒng)，為用戶提供強(qiáng)大、高效的數(shù)據(jù)存儲(chǔ)空間和數(shù)據(jù)訪問(wèn)的能力，同時(shí)提供了多種數(shù)據(jù)特征提取、整合，多維度動(dòng)態(tài)組織數(shù)據(jù)集的能力，為用戶“再創(chuàng)新，再發(fā)現(xiàn)”提供了強(qiáng)力的工具。計(jì)算模塊提供了異構(gòu)計(jì)算框架的兼容能力，復(fù)雜流程的解析能力/并發(fā)能力和異構(gòu)資源的高效利用能力。實(shí)現(xiàn)一套集群中多種業(yè)務(wù)并行，多種計(jì)算并行，多租戶共享。 客戶需要一套高性能的全閃存儲(chǔ)系統(tǒng)，支持?jǐn)?shù)百億參數(shù)的醫(yī)學(xué)影像生成模型訓(xùn)練，規(guī)劃3PB全閃存儲(chǔ)集群，要求聚合帶寬200GB/s，集群OPS達(dá)到350萬(wàn)。為了支持?jǐn)?shù)據(jù)采集、預(yù)處理和歸檔，客戶還需要一套大容量的混閃存儲(chǔ)系統(tǒng)，規(guī)劃30PB混閃存儲(chǔ)集群，要求性能達(dá)到50GB/s，集群OPS為135萬(wàn)。醫(yī)療數(shù)據(jù)的安全和隱私保護(hù)至關(guān)重要，客戶要求存儲(chǔ)系統(tǒng)在保證高性能的同時(shí)，必須具備強(qiáng)大的數(shù)據(jù)安全和隱私保護(hù)機(jī)制。數(shù)據(jù)采 數(shù)據(jù)處 數(shù)據(jù)訓(xùn) 數(shù)據(jù)推全閃存儲(chǔ)高200GB帶寬，350萬(wàn)數(shù)據(jù)預(yù)處理階段有大量醫(yī)學(xué)影像數(shù)據(jù)需要快速上傳和預(yù)處理。通過(guò)優(yōu)化數(shù)據(jù)路徑，減少數(shù)據(jù)傳輸路徑中的瓶頸，提高上傳和預(yù)處理速度。通過(guò)并發(fā)優(yōu)化算法，提升多客戶端同時(shí)上傳和處理數(shù)據(jù)的效率（上傳速率和性能），利用智能緩存技術(shù)，加快常用數(shù)據(jù)的訪問(wèn)速度，高并發(fā)上傳和智能緩存技術(shù)使數(shù)據(jù)處理時(shí)間節(jié)省30%。模型訓(xùn)練階段深度學(xué)習(xí)模型訓(xùn)練需要高性能存儲(chǔ)系統(tǒng)，訓(xùn)練過(guò)程中需要頻繁讀取和寫(xiě)入大量數(shù)據(jù)，因此需要較高的吞吐性能，3PB全閃存儲(chǔ)集群支持高帶寬和高OPS，滿足深度學(xué)習(xí)模型訓(xùn)練需求。數(shù)據(jù)分片和并行處理技術(shù)通過(guò)將大文件分成多個(gè)小塊存儲(chǔ)和處理，提高數(shù)據(jù)存儲(chǔ)和訪問(wèn)效率。通過(guò)內(nèi)置的智能調(diào)度算法自動(dòng)調(diào)整存儲(chǔ)資源分配，確保高性能需求的訓(xùn)練任務(wù)順利進(jìn)行。通過(guò)全局去重技術(shù)，減少重復(fù)數(shù)據(jù)存儲(chǔ)量，提升存儲(chǔ)利用率。全閃存儲(chǔ)集群優(yōu)化后，聚合帶寬達(dá)到250GB/s，OPS超過(guò)400萬(wàn)，訓(xùn)練和推理效率提升110%。多層次的數(shù)據(jù)保護(hù)機(jī)制確保醫(yī)療數(shù)據(jù)的安全性和隱私保護(hù)，提升系統(tǒng)的合規(guī)性和可靠性，確保了研究中心醫(yī)療影像數(shù)據(jù)安全的相關(guān)保密規(guī)定得到嚴(yán)格落實(shí)。 GPUGPU小文件高IOPS容器服 模型訓(xùn) 分析任 高頻交支持GDSGPU該方案不僅提供了極高的IOPS，還具備了極低的延遲和極強(qiáng)的小文件讀寫(xiě)能力以及元數(shù)據(jù)處理能力。在面對(duì)海量小文件場(chǎng)景下，性能無(wú)衰減。配合分布式計(jì)算系統(tǒng)，可以承載多種分析應(yīng)用，并且通過(guò)進(jìn)程和容器的方式運(yùn)行批量計(jì)算、并行計(jì)算，動(dòng)態(tài)高效分配資源。提供對(duì)GPU等稀缺資源的管理和調(diào)度能力，高效利用人工智能技術(shù)助力量化分析流程。面對(duì)智能分析數(shù)據(jù)處理過(guò)程中的性能瓶頸，通過(guò)計(jì)算和存儲(chǔ)的協(xié)同，解決了I/O瓶頸帶來(lái)的分析效率低下和計(jì)算資源利用率低的問(wèn)題。AIGCAIGCAIGC 隨著AIGC產(chǎn)業(yè)的大力發(fā)展，各地方政府也在積極推進(jìn)大型智算中心的構(gòu)建，例如北京、深圳、上海等地已經(jīng)出臺(tái)了多種布局算力基礎(chǔ)設(shè)施的實(shí)施方案。目前，國(guó)內(nèi)單個(gè)智算中心的存儲(chǔ)規(guī)模均在EB級(jí)，智算中心的規(guī)模和數(shù)量不斷擴(kuò)大，帶來(lái)了存儲(chǔ)的能耗的快速上升。相關(guān)數(shù)據(jù)顯示，2023年，全國(guó)數(shù)據(jù)中心耗電量達(dá)到2700億千瓦時(shí)，占社會(huì)總用電量的3%。而智算中心引入了更多的算力相關(guān)設(shè)備，其耗電量將遠(yuǎn)高于同等規(guī)模的數(shù)據(jù)中心。根據(jù)斯坦福人工智能研究院發(fā)布的《2023年人工智能指數(shù)報(bào)告》顯示，GPT-3單次訓(xùn)練耗電量就已高達(dá)1287兆瓦時(shí)，智算中心內(nèi)綠色能源使用占比超過(guò)20%，液冷機(jī)柜數(shù)量占比超過(guò)50%，存儲(chǔ)能耗中80%于存儲(chǔ)介質(zhì)。目前主流的存儲(chǔ)介質(zhì)主要包括HDD磁盤(pán)和SSD磁盤(pán)。其中HDD磁盤(pán)功耗大約在6W以上，而SSD磁盤(pán)在靜態(tài)無(wú)負(fù)荷條件下，功耗僅大約在0.05W到.2W之間。然而，由于SSD單盤(pán)價(jià)格相對(duì)較高，且在相同容量下，需要更多數(shù)量的HDD，直接導(dǎo)致存儲(chǔ)的總能耗大幅上升，嚴(yán)重阻礙國(guó)內(nèi)“碳達(dá)峰&碳中和”的進(jìn)展。對(duì)于滿足AIGC高性能需求的同時(shí)提升存儲(chǔ)系統(tǒng)的能效比并降低能耗成本這一問(wèn)題，各存儲(chǔ)廠商紛紛出臺(tái)了相應(yīng)的解決方案。比較典型的有以下幾種，一是采用能耗更低的全閃存存儲(chǔ)（ll-Flashtoag,AFS）存存儲(chǔ)方案。全閃存存儲(chǔ)利用固態(tài)硬盤(pán)（SSD）的高速讀寫(xiě)能力，提供極低的延遲和高吞吐量，非常適合AIGC應(yīng)用中的實(shí)時(shí)數(shù)據(jù)處理需求。混閃存存儲(chǔ)則結(jié)合了SSD和傳統(tǒng)硬盤(pán)驅(qū)動(dòng)器（HDD），通過(guò)智能數(shù)據(jù)分層技術(shù)，將最活躍的數(shù)據(jù)存儲(chǔ)在SSD上，而將較少訪問(wèn)的數(shù)據(jù)存儲(chǔ)在HDD上，從而在性能和成本之間取得平衡。二是智能數(shù)據(jù)管理策略。這些策略包括自動(dòng)數(shù)據(jù)分層，它根據(jù)數(shù)據(jù)訪問(wèn)的頻率和模式，動(dòng)態(tài)地將數(shù)據(jù)在不同存儲(chǔ)層之間遷移。通過(guò)冷數(shù)據(jù)歸檔技術(shù)將不常訪問(wèn)的數(shù)據(jù)移動(dòng)到更節(jié)能的存儲(chǔ)介質(zhì)上，減少對(duì)高性能存儲(chǔ)資源的需求，減少不必要的數(shù)據(jù)存儲(chǔ)和訪問(wèn)。此外，還有在數(shù)據(jù)中心的存儲(chǔ)中實(shí)施數(shù)據(jù)去重和壓縮技術(shù)，減少存儲(chǔ)需求以及利用軟件定義存儲(chǔ)和存儲(chǔ)虛擬化技術(shù)提高資源利用率等技