AI無界，Kimi萬億參數(shù)大模型的全球云網(wǎng)架構(gòu)演進之路AIWithoutBorders:TheGlobalCloudNetworkArchitectureEvolutionPathofKimkimiGlobalTraining-InferenceNetworkcloudpracticesharing裴豐碩月之暗面高級工程師FutureEvolutionandThinking·LongLLM時代誕生支持20萬字輸入的·LongLLM時代誕生支持20萬字輸入的kimi智能助手上線kimi開放平臺發(fā)布kimi-researcher發(fā)布kimiK2發(fā)布并開源·kimiK2更新0905200萬字上下文;·kimiK0-math模型發(fā)布kimiK1視覺思考模型發(fā)布kimik2:GloballyLeadingopensourceFoundationModelKimiK2取得開源模型中的SOTA成績，展現(xiàn)出在代碼、Agent等任務(wù)上的第一個agent原生的通用模型。截止7月17號，在斯坦福大學(xué)和LMSYS團隊組織的大模型公開競技平臺LMArena上，KimiK2位列開源模型的第一位，總體排名第五（前四均為閉源模型）。kimi"DeepResearch":ModelasAgent推理輪次Search關(guān)鍵詞數(shù)量搜索的URL數(shù)量生成報告字數(shù)Browser工具使用次數(shù)端到端強化學(xué)習(xí)ToolUse:Search、Browse、Code、Write工具使用：搜索、瀏覽、編程、寫作AI業(yè)務(wù)系統(tǒng)中網(wǎng)絡(luò)特點海量算力海量數(shù)據(jù)為什么需要注重網(wǎng)絡(luò)的設(shè)計?多業(yè)務(wù)混跑網(wǎng)絡(luò)是連接數(shù)據(jù)和算力的核心底座，一張好的網(wǎng)絡(luò)，可以幫助我們更好的提升模型訓(xùn)練的效率算力整合易構(gòu)、異地算力整合流量調(diào)度算力整合易構(gòu)、異地算力整合流量調(diào)度有規(guī)則、有優(yōu)先級、有序高帶寬、低時延的傳輸數(shù)據(jù)關(guān)鍵衡量指標(biāo)：規(guī)模、穩(wěn)定性、即時彈性、路由策略豐富度、流量可視AnalysisofNetworkuses模型微調(diào)與對齊數(shù)據(jù)準(zhǔn)備與預(yù)處理模型架構(gòu)設(shè)計與預(yù)訓(xùn)練模型微調(diào)與對齊數(shù)據(jù)準(zhǔn)備與預(yù)處理模型架構(gòu)設(shè)計與預(yù)訓(xùn)練模型評估與部署數(shù)據(jù)準(zhǔn)備階段公開數(shù)據(jù)集、互聯(lián)網(wǎng)內(nèi)容、三方合作數(shù)據(jù)獲取上傳預(yù)訓(xùn)練階段模型部署階段鏡像傳輸，模型傳輸，推理集群分布式推理，模型應(yīng)用請求推理服務(wù)大模型推理大模型推理大模型應(yīng)用大模型訓(xùn)練AI任務(wù)調(diào)度、訓(xùn)練推理框架、監(jiān)控系統(tǒng)GPU算力、通信、高性能存儲公有云基礎(chǔ)設(shè)施NetworkArchitectureDesignfromkimiModelTrainingInferenceperspective?數(shù)據(jù)集整合-預(yù)處理-訓(xùn)練-強化學(xué)習(xí)等流量需要在推理場景推理場景?TTFT和TBT，用戶推理請求可以在服務(wù)入口與推理模SRE視角下的網(wǎng)絡(luò)規(guī)劃指南多路徑冗余個，且物理地點不同多路徑冗余個，且物理地點不同可靠性容量規(guī)劃專區(qū)專用，不安全的服務(wù)單獨VPC部署，避免對生產(chǎn)網(wǎng)的安全威脅故障自愈單條線路故障故障自愈單條線路故障能自動識別并切換到備用線路每條專線上的流量使用率、丟包率全路徑可觀測，可分析多入口容災(zāi)單入口故障核心業(yè)務(wù)要有逃生能力帶寬容量靈活調(diào)整多入口容災(zāi)單入口故障核心業(yè)務(wù)要有逃生能力云內(nèi)跨區(qū)域帶寬可靈活調(diào)整，關(guān)鍵業(yè)務(wù)流量優(yōu)先，保障核心TR數(shù)據(jù)中心ATRTRTR利用云上全球網(wǎng)絡(luò)A公共云B公共云云企業(yè)網(wǎng)數(shù)據(jù)中心B阿里云RegionA阿里云綜合對比分析拓撲設(shè)計復(fù)雜購買設(shè)備周期長尋找場地溝通難建設(shè)成本快速開通即開即用分鐘配置運維成本專業(yè)性要求高改造割接投入大文檔全面實踐積累多上手速度快容災(zāi)建設(shè)復(fù)雜廣域故障可控性低阿里云兜底SLA有保障供應(yīng)商鎖定地點固定變更難靈活擴展帶寬自由分配隨時升降配擴展地點更容易TradeTR數(shù)據(jù)中心ATRTRTR利用云上全球網(wǎng)絡(luò)A公共云B公共云云企業(yè)網(wǎng)數(shù)據(jù)中心B阿里云RegionA阿里云綜合對比分析拓撲設(shè)計復(fù)雜購買設(shè)備周期長尋找場地溝通難建設(shè)成本快速開通即開即用分鐘配置運維成本專業(yè)性要求高改造割接投入大文檔全面實踐積累多上手速度快容災(zāi)建設(shè)復(fù)雜廣域故障可控性低阿里云兜底SLA有保障供應(yīng)商鎖定地點固定變更難靈活擴展帶寬自由分配隨時升降配擴展地點更容易A公共云B公共云干環(huán)網(wǎng)數(shù)據(jù)中心A數(shù)據(jù)中心B數(shù)據(jù)中心A阿里云RegionA阿里云多產(chǎn)品融合，完成多語料數(shù)據(jù)集整合1.多入口整合數(shù)據(jù)集：使用BGP、單線、IPv4和IPv6等多種線路類型的EIP，搭配共享帶寬，構(gòu)建高性價比的公網(wǎng)交互出入口；2.高性價比的數(shù)據(jù)私享通道：引入PrivateLink，構(gòu)建了云上合作伙伴之間的數(shù)據(jù)私享通道，保證數(shù)據(jù)安全的同時，降本成本開支；算力和數(shù)據(jù)一張網(wǎng)，支撐訓(xùn)推業(yè)務(wù)有序混跑1.算網(wǎng)搭建：基于云企業(yè)網(wǎng)CEN、轉(zhuǎn)發(fā)路由器TR、高速通道專線搭建異構(gòu)算力、異地多產(chǎn)品融合，完成多語料數(shù)據(jù)集整合1.多入口整合數(shù)據(jù)集：使用BGP、單線、IPv4和IPv6等多種線路類型的EIP，搭配共享帶寬，構(gòu)建高性價比的公網(wǎng)交互出入口；2.高性價比的數(shù)據(jù)私享通道：引入PrivateLink，構(gòu)建了云上合作伙伴之間的數(shù)據(jù)私享通道，保證數(shù)據(jù)安全的同時，降本成本開支；算力和數(shù)據(jù)一張網(wǎng)，支撐訓(xùn)推業(yè)務(wù)有序混跑1.算網(wǎng)搭建：基于云企業(yè)網(wǎng)CEN、轉(zhuǎn)發(fā)路由器TR、高速通道專線搭建異構(gòu)算力、異地算力、混合云算力一張網(wǎng)，數(shù)據(jù)按需傳輸，算力池化調(diào)度；2.流量調(diào)度：端到端QoS、TR路由策略，保證多業(yè)務(wù)有序調(diào)度和優(yōu)先級保障；訓(xùn)練業(yè)務(wù)，數(shù)據(jù)量大，SLA要求較低，選擇低成本的銅牌鏈路；推理業(yè)務(wù)，數(shù)據(jù)量小，SLA要求高，選擇低時延的金牌鏈路；資源部署和提效1.使用CADT（CloudApplicationDeploymentTool），完成自動化部署；2.非常適合LLM類型的業(yè)務(wù)，資源多、規(guī)模大、變配頻率高，可充分提效；推理業(yè)務(wù)用戶請求入口TR-xxRegionTR-xxRegion訓(xùn)練業(yè)務(wù)銅牌鏈路推理業(yè)務(wù)金牌鏈路云企業(yè)網(wǎng)推理業(yè)務(wù)用戶請求入口TR-xxRegionTR-xxRegion訓(xùn)練業(yè)務(wù)銅牌鏈路推理業(yè)務(wù)金牌鏈路云企業(yè)網(wǎng)CENTR-xxRegion管控鏈路，按流量計費TR-xxRegion云下IDCGPU輔助訓(xùn)練區(qū)OSS/CPFS靈駿GPU智算集群數(shù)據(jù)集整合及預(yù)處理區(qū)數(shù)據(jù)集整合及預(yù)處理區(qū)VPCVPCVPCVBRVPC模型訓(xùn)推一體區(qū)VPC模型訓(xùn)推一體區(qū)kini'scrossRegionTrainingInferenceNetworkManagement全局網(wǎng)絡(luò)可管全局拓撲可視全局流量可分析kini'scrossRegionTrainingInferenceNetworkTuning多業(yè)務(wù)端到端QoSxx地域xx地域物理專線xxVPCVBRTR-多業(yè)務(wù)端到端QoSxx地域xx地域物理專線xxVPCVBRTR--xx跨域CEN管控業(yè)務(wù)流量管控業(yè)務(wù)流量訓(xùn)練業(yè)務(wù)流量推理業(yè)務(wù)流量訓(xùn)練業(yè)務(wù)流量推理業(yè)務(wù)流量多業(yè)務(wù)路由隔離管控大帶寬專線生產(chǎn)VPCVPCTR多業(yè)務(wù)路由隔離管控大帶寬專線生產(chǎn)VPCVPCTR-RegionBTR-RegionA訓(xùn)練VPC存儲VPC大帶寬專線跑BGP動態(tài)路由協(xié)議生產(chǎn)小專線生產(chǎn)小專線按需增加peeringCPECPECPECPE清洗VPCVBRVBRkimi主站入口，高彈性設(shè)計①主站采用混合云多集群容災(zāi)機制；②容器化部署，提升彈性突發(fā)能力；③多集群采用阿里云ACKOne平臺統(tǒng)一納管；④應(yīng)用負載均衡ALB作為核心流量入口，采用多集群網(wǎng)關(guān)形式，分別作為多個容器集群的Ingress入口，按比例進行流量分發(fā)；①使用共享帶寬包kimi主站入口，高彈性設(shè)計①主站采用混合云多集群容災(zāi)機制；②容器化部署，提升彈性突發(fā)能力；③多集群采用阿里云ACKOne平臺統(tǒng)一納管；④應(yīng)用負載均衡ALB作為核心流量入口，采用多集群網(wǎng)關(guān)形式，分別作為多個容器集群的Ingress入口，按比例進行流量分發(fā)；①使用共享帶寬包，月95計費方式，保證突發(fā)彈性；②所有公網(wǎng)ALB的EIP均接入共享帶寬包，共享一份公網(wǎng)帶寬；VPCVPC阿里云ACKOne統(tǒng)一納管統(tǒng)一納管Kubernetes容器集群VPCVPC阿里云ACKOne統(tǒng)一納管統(tǒng)一納管Kubernetes容器集群用戶請求用戶請求用戶共享帶寬共享帶寬ACK容器集群VBR從大模型推理框架的發(fā)展趨勢看網(wǎng)絡(luò)架構(gòu)變化Mooncake：推理的PD分離架構(gòu)網(wǎng)絡(luò)架構(gòu)如何更優(yōu)雅的服務(wù)PD分離架構(gòu)機頭VPC虛擬網(wǎng)絡(luò)機尾HPN高性能網(wǎng)絡(luò)業(yè)務(wù)出海趨勢下，網(wǎng)絡(luò)架構(gòu)應(yīng)如何演進HOWNetworkArchitectureshouldEvolveunderBusinessGlobalizationTrends---------b就近接入就近接入全球加速-就近接入場景1：AI應(yīng)用入口調(diào)度合作共創(chuàng)場景1：AI應(yīng)用入口調(diào)度合作共創(chuàng)場景1:AI應(yīng)用入口調(diào)度場景1:AI應(yīng)用入口調(diào)度三方tools和resourcesALBALB三方tools和resource