OrionXAI算力資源池化解決方案技術(shù)白皮書OrionXAI算力資源池化解決方案技術(shù)白皮書版權(quán)所有?北京趨動科技有限公司2023。保留 1 2 3 4 5 5 6 6 6 7 7 7 8 8 10 10 11 11 12 14 14 14 15 16 16 17 187.3.1通過“隨需應(yīng)變”功能支持訓(xùn)練/推理 187.3.2通過“任務(wù)隊列”功能支持訓(xùn)練/推理任務(wù)自動排隊 197.3.3通過“搶占”功能支持任務(wù)搶占資源 207.3.4通過“顯存超分”功能支持多任務(wù)疊加常駐 217.3.5通過“雙類資源池”功能支持物理/虛擬切換 227.3.6通過“熱遷移”功能支持AI任務(wù)平滑遷移 237.3.7通過“多Arch”架構(gòu)可同時支持AI計算與圖形渲染 25 28 30 30 31 33圖表目錄圖表1-1全球人工智能市場規(guī)模走勢圖 1圖表2-1GPU資源池化技術(shù)演進(jìn)圖 2圖表3-1ORIONX架構(gòu)圖 3圖表5-1ORIONX邏輯架構(gòu)圖 5圖表5-2管理平面邏輯結(jié)構(gòu)圖 8圖表5-3數(shù)據(jù)平面邏輯結(jié)構(gòu)圖 9圖表6-1ORIONX與容器云平臺集成 10圖表6-2ORIONX和KUBERNETES集成 11圖表6-3ORIONX和KVM集成 12圖表6-5ORIONX和VMWARE集成 13圖表7-1通過化零為整功能支持訓(xùn)練 15圖表7-2通過隔空取物功能支持訓(xùn)練 16圖表7-3通過化整為零功能支持推理 17圖表7-4通過隔空取物功能支持推理 18圖表7-5通過隨需應(yīng)變功能支持訓(xùn)練/推理 19圖表8-1模型推理測試結(jié)果 31圖表8-2模型訓(xùn)練測試結(jié)果 32OrionXAI算力資源池化解決方案技術(shù)白皮書1圖表1-1全球人工智能市場規(guī)模走勢圖OrionXAI算力資源池化解決方案技術(shù)白皮書22GPU資源池化技術(shù)的演進(jìn)?任意虛擬化。將物理GPU按照算力和顯存兩個維度，自定義切分，獲得滿足AI應(yīng)OrionXAI算力資源池化解決方案技術(shù)白皮書33OrionX產(chǎn)品概述圖表3-1OrionX架構(gòu)圖44OrionX產(chǎn)品優(yōu)勢?提高利用率?高性能?輕松彈性擴(kuò)展?靈活調(diào)度?全局管理oGPU全局資源池性能監(jiān)控，為運維人?對AI開發(fā)人員友好o一鍵解決AI開發(fā)人員面臨的訓(xùn)練模型中GPU/CPU配比和多機(jī)多卡模型拆55OrionX軟件架構(gòu)5.1OrionX的邏輯架構(gòu)圖表5-1OrionX邏輯架構(gòu)圖CUDA(ComputeUnifiedDevOrionXAI算力資源池化解決方案技術(shù)白皮書65.2OrionX的功能組件?各個分布式功能組件的服務(wù)注冊、服務(wù)發(fā)現(xiàn)功能。?多副本高可用的元數(shù)據(jù)存儲和管理。?提供運維所需要的各種RestAPI。?發(fā)現(xiàn)和管理物理GPU資源。OrionXAI算力資源池化解決方案技術(shù)白皮書7?把物理GPU資源抽象成彈性?兼容CUDA接口。?支持虛擬機(jī)、容器和宿主機(jī)的網(wǎng)絡(luò)隔離。?分級的運維賬號登錄與管理。?查看各組件的部署拓?fù)湟约霸斍椤?多維度、多角度查看資源池的資源使用情況。?細(xì)粒度管理資源池內(nèi)的資源。5.3OrionX組件間通信OrionXAI算力資源池化解決方案技術(shù)白皮書8?OrionXController支持多副本、高可用的部署模式。?各個功能組件啟動的次序無要求。?當(dāng)某一個功能組件從錯誤中恢復(fù)之后，可以自動同步到正確的狀態(tài)。?高帶寬、低延遲。9圖表5-3數(shù)據(jù)平面邏輯結(jié)構(gòu)圖6部署形態(tài)6.1OrionX與容器云平臺集成OrionX支持原生容器，各個組件都可以通過容器鏡像方式用，大大簡化了客戶算法工程師運維、管理AI圖表6-1OrionX與容器云平臺集成OrionXAI算力資源池化解決方案技術(shù)白皮書6.2OrionX與Kubernetes集成?OrionXKubernetesDeo通過Kubernetes定義的DevicePlugin標(biāo)準(zhǔn)向Kub?OrionXKubernetesSchedulerExtender圖表6-2OrionX和Kubernetes集成6.3OrionX與KVM集成OrionXAI算力資源池化解決方案技術(shù)白皮書6.4OrionX與VMware集成OrionXAI算力資源池化解決方案技術(shù)白皮書7OrionX應(yīng)用場景7.1OrionX支持大模型場景的典型應(yīng)用通過Ring-Reduce的數(shù)據(jù)交換方法提高了通訊效率，并通過啟動多個進(jìn)程的方式減輕OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-1通過化零為整功能支持訓(xùn)練OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-2通過隔空取物功能支持訓(xùn)練7.2OrionX支持小模型場景的典型應(yīng)用OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-3通過化整為零功能支持推理“隔空取物”支持推理、開發(fā)、教學(xué)實訓(xùn)等小模型場景，可7.3OrionX支持大/小模型場景的典型應(yīng)用OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-5通過隨需應(yīng)變功能支持訓(xùn)練/推理OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-6通過任務(wù)隊列功能支持訓(xùn)練/推理任務(wù)自動排隊上述“任務(wù)隊列”中，OrionX允許對某OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-7通過搶占功能支持任務(wù)搶占資源快響應(yīng)速度。但是這類常駐任務(wù)一般算力利用極低，而且潮汐OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-8通過顯存超分功能支持多任務(wù)疊加常駐OrionXGPU兩類不同資源，以應(yīng)對不同任務(wù)OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-9通過雙類資源池功能支持物理/虛擬切換成維護(hù)工作。遷移的源端和目的端需要采用相同硬件設(shè)備、driver/成功后，按照任務(wù)遷移時的原有進(jìn)度繼續(xù)執(zhí)行，不需要重新模型加載圖表7-10算力池資源負(fù)載均衡圖表7-11算力資源碎片整理圖表7-12GPU服務(wù)器下線維護(hù)業(yè)務(wù)模型計算和渲染同時需要需求。在多Arch架構(gòu)下，單個容器或虛擬機(jī)可運行多協(xié)議圖表7-13通過多Arch架構(gòu)可同時支持AI計算與圖形渲染容器和虛機(jī)申請的多ArchvGPU算力資源可以支持AI圖表7-14虛擬數(shù)字人推理場景圖表7-15研究科學(xué)計算場景OrionXAI算力資源池化解決方案技術(shù)白皮書7.4OrionX支持多元異構(gòu)算力芯片利用軟件定義異構(gòu)算力技術(shù)構(gòu)建異構(gòu)算力資源池，一方面可以實現(xiàn)資源高效管理和彈性供OrionXAI算力資源池化解決方案技術(shù)白皮書圖表7-16OrionX支持多元異構(gòu)算力芯片使用國產(chǎn)中國海光、中國寒武紀(jì)、美國英偉達(dá)等異構(gòu)算力加速屬算力資源提供給上層應(yīng)用使用。異構(gòu)算力池化解決方案可在OrionXAI算力資源池化解決方案技術(shù)白皮書8性能測試8.1測試環(huán)境?硬件配置?軟件配置?測試用例OrionXAI算力資源池化解決方案技術(shù)白皮書8.2測試結(jié)果?NativeGPU：表示將測試用例運行在物理GPU之上，不使用虛擬機(jī)或者容器?OrionLocalCo圖表8-1模型推理測試結(jié)果圖表8-2模型訓(xùn)練測試結(jié)果OrionXAI算力資源池化解決方案技術(shù)白皮書9兼容性列表?網(wǎng)絡(luò)?寒武紀(jì)Neuware