?

YRCloudFile IOIOKVCacheKVCache AIIOcheckpoint推理階段產(chǎn)??量的KV

AI

隨著AI的爆發(fā)，數(shù)據(jù)容量的

YRCloudFile YRCloudFile核?組件POSIX私有客戶端集群管理服務(wù)元數(shù)據(jù)管理服務(wù)數(shù)據(jù)管理服務(wù)性能的基?｜?件打散到多個?件創(chuàng)建的時候指定OSD通過計算獲取切?位置，避免訪問

FileFileFile FileFilefile

file

filefilelayout={osd1,osd2…osdn}req={file_id,offset,len}

file

filefile

filefile

file OSS服務(wù)綁定?IO采?RDMA?IO和元數(shù)據(jù)采?RDMA 全閃?體機產(chǎn)品3節(jié)點集群性能480GB/s，750萬 每GBps帶寬成本下降

5代英特爾??強?

NVIDIANDR400/400GbEEthernet

?持E3.S/U.2PCIe5.0和QLCNVMe

每節(jié)點雙卡400GbIB/RoCE?絡(luò)?持單節(jié)點性能90GB/s帶寬和250萬基于多IB/RoCE??MultiChannel性能優(yōu)化?持GDS?級特性焱融追光?體機焱融追光?體機 海量??件的關(guān)鍵｜dirdirdirdirfilefiledirfilefilefilefileMDSMDSMDSfile fileMDS??錄會hash選擇MDS 元數(shù)據(jù)集群｜lazypage 元數(shù)據(jù)集群｜ 元數(shù)據(jù)集群｜ 采?UDP消息通知，批量通知并獲取

OSS匯聚上報?跳，避免MGR集群壓?增?MGR依賴ETCD集群選主MGR是MDS/OSD按照順序通知組件接收狀態(tài)變化，osd->mds->

智能數(shù)據(jù)分層｜dirdirdirdirfilefilefilefilefilefile對象存儲對象存儲YRCloudFile 智能數(shù)據(jù)加載｜YRCloudFileS3://bucketl/image/202110/..yrfs://mnt/image/202110/..yrfs://mnt/image/202110/..S3://bucketl/image/202110/..yrfs://mnt/image/202110/..S3://bucketl/image/202110/..yrfs://mnt/image/202110/..yrfs://mnt/videos..yrfs://mnt/models..S3://bucketl/image/202110/.. YRCloudFile 提供ip?名單和token 通過POSIX通過POSIXACLLDAPAD域控服CREATERENAMEUNLINKELK平臺，實現(xiàn)?效的審計?對性能的影響在5% GPU集群客戶端GPU集群客戶端200GbIBCPU集群客戶端25Gb200GbIB25Gb

PagePagePageCache的預(yù)讀和寫緩存可以極?Cache 濼霋?Multi-Channel，提供IB/RoCE?持GDS（GPUDirect模型開 模型訓(xùn) 推理驗?持400Gb?絡(luò)，單節(jié)點提供90GBps帶寬，300w IBIBRDMA、TCPdataload數(shù)據(jù)流動dataload數(shù)據(jù)流動標準存 標準存 焱融數(shù)據(jù)湖存儲系 歸檔存 歸檔存 歸檔存 歸檔存 焱融AI全閃存儲系統(tǒng) KVCache提升KVCache緩存命中率突破GPU顯存空間上限提供PB級的KVCache緩存空間多節(jié)點共享KV提供單節(jié)點40GBps帶寬，保證KVCache訪問延遲相?緩存不命中情況下，緩存命中TTFT延遲降低90%降低計算成本，提供更?的token KVCache對?測試在?上下?場景中，使?YRCloudFileKVCache可實現(xiàn)?達13倍的TTFT性能提升。這?顯著優(yōu)化得益于其?效緩存命中率和對?規(guī)

在較?并發(fā)數(shù)下，對于不同的上下??度，YRCloudFileKVCache所提供的TTFT延遲可縮?4倍以上；這表明YRCloudFileKVCache在?并發(fā)場 ?持多種數(shù)據(jù)源，包括S3、NAS、HDFS，GPUDirectMulti- GPUDirectMulti- 推理場景的增強，?前在推出KVCache解決?案