趙慶杰（盧令）Serverless基礎(chǔ)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人2023年12月15日“趙慶杰目前就職于阿里云云原生Serverless團(tuán)隊(duì)，專注于Serverless、PaaS，分布式系統(tǒng)架構(gòu)等方向，致力于打造新一代的Serverless技術(shù)平臺(tái)，把平臺(tái)技術(shù)做到更加普惠。曾就職于百度，負(fù)責(zé)內(nèi)部最大的PaaS平臺(tái)，承接了80%的在線業(yè)務(wù)，在PaaS方向，后端分布式系統(tǒng)架構(gòu)等領(lǐng)域有豐富的經(jīng)驗(yàn)”01AI應(yīng)用的發(fā)展趨勢(shì)以及面臨挑戰(zhàn)02Serverless技術(shù)加速AI應(yīng)用的構(gòu)建03ServerlessAI成果展示 ·AI應(yīng)用穩(wěn)步增長百花齊鳴的AI百花齊鳴的AI應(yīng)用市場競爭下，“迭代速度”成為關(guān)鍵因素AI計(jì)算開發(fā)者領(lǐng)域AI在線應(yīng)用（推理）AI工具算法框架算法庫快速部署網(wǎng)關(guān)鑒權(quán)服務(wù)依賴AI應(yīng)用PaAI計(jì)算開發(fā)者領(lǐng)域AI在線應(yīng)用（推理）AI工具算法框架算法庫快速部署網(wǎng)關(guān)鑒權(quán)服務(wù)依賴AI應(yīng)用PaaS平臺(tái)AIStudio?AI應(yīng)用的構(gòu)建復(fù)雜，且需要多環(huán)境部署支持，需要與非AI應(yīng)用集成?隨著AI應(yīng)用功能逐漸豐富，調(diào)用鏈路長極大影響問題的快速發(fā)現(xiàn)?AI應(yīng)用組件無法復(fù)用，持續(xù)重復(fù)造輪子，浪費(fèi)資源成本，如綠網(wǎng)能力，隊(duì)列等?網(wǎng)關(guān)通用能力，安全鑒權(quán)，限流保護(hù)，多協(xié)議支持，防護(hù)攻擊等模型訓(xùn)練?GPU資源緊缺且成本高，需要持續(xù)保有購買?卡型不統(tǒng)一導(dǎo)致算力不統(tǒng)一，進(jìn)而影響應(yīng)用層架構(gòu)?隨著計(jì)算規(guī)模的提升，容錯(cuò)能力也越來越重要?大數(shù)據(jù)的讀取，以及模型的快速加載，對(duì)于底層的技術(shù)要求越來越高資源調(diào)度基礎(chǔ)設(shè)施：數(shù)據(jù)存儲(chǔ)與高性能網(wǎng)絡(luò)分布式調(diào)度資源虛擬化異構(gòu)計(jì)算GPUGPUCPUCPUFPGAFPGA起來反而比CPU慢全系統(tǒng)優(yōu)化復(fù)雜度硬件復(fù)雜度調(diào)度效率復(fù)雜度資源管理復(fù)雜度GPU機(jī)器用工程相關(guān)工程相關(guān)負(fù)責(zé)AI應(yīng)用平臺(tái)建設(shè)和管理?工程能力比較強(qiáng)，更希望有一個(gè)平臺(tái)可以提升整體的研發(fā)效能，降低運(yùn)維成本；?往往和實(shí)驗(yàn)室/公司內(nèi)的設(shè)備有強(qiáng)關(guān)聯(lián)，需要有安全保障等；算法相關(guān)負(fù)責(zé)算法相關(guān)負(fù)責(zé)AI模型開發(fā)調(diào)試?算法能力比較強(qiáng)，希望有一個(gè)好用的AI模型管理平臺(tái)；?希望可以在本進(jìn)行開發(fā)調(diào)試、線上進(jìn)行測試的時(shí)候，有一個(gè)便捷的環(huán)境等；如何高效率低成本落地如何方便快捷部如何高效率低成本落地如何方便快捷部署使用接口相關(guān)通過API等對(duì)接口進(jìn)行工程化封裝?工程能力比較強(qiáng)，更希望有一些項(xiàng)目案例等，可以幫助業(yè)務(wù)快速的發(fā)布和上線；?有完整的應(yīng)用開發(fā)、調(diào)試、發(fā)布流程等；函數(shù)計(jì)算提供構(gòu)建現(xiàn)代化高可用AI應(yīng)用的簡化路徑，是AI應(yīng)用的最佳實(shí)踐場景化案例庫Composer應(yīng)用全生命周期管理函數(shù)計(jì)算AI場景特定能力模型/應(yīng)用生態(tài)bbAPIGWFaaSBaaSRDSFaaSBaaSRDS數(shù)據(jù)來源于阿里云業(yè)務(wù)數(shù)據(jù)上手簡單，降本提效?三步上手最佳實(shí)踐，一鍵模型托管，上手門檻降低80%；?快速彈性CPU+GPU實(shí)例賦能AI應(yīng)用降本提效；擁抱開源，開放生態(tài)?ModelScope，HuggingFace開源生態(tài)聯(lián)動(dòng)；?LangChain等AI開源框架與阿里云產(chǎn)品高集成；最佳實(shí)踐，心智強(qiáng)化?10+應(yīng)用場景，50+應(yīng)用案例，一鍵部署，快速體驗(yàn)；?覆蓋2W+AI應(yīng)用開發(fā)者，打造阿里云函數(shù)計(jì)算AI第一心智；ServerlessGPU–按請(qǐng)求計(jì)量ServerlessGPU虛擬化技術(shù)?ServerlessGPU虛擬化技術(shù)?算力強(qiáng)隔離，顯存強(qiáng)隔離?故障強(qiáng)隔離?GPU兼容原生應(yīng)用?熱資源池：避免Node級(jí)別ScaleOut引起的分鐘級(jí)別冷啟動(dòng)。?資源供給：FCGPU/IaaSGPU兩級(jí)資源池共同保證GPU資源供給。?使用成本：FCGPU資源池平臺(tái)持有，用戶只為真實(shí)使用付費(fèi)。如何消除冷啟動(dòng)--容器啟動(dòng)加速CSE-PoolCSE-Pool觸發(fā)API-ServerContainerManagerK8SCRI-SocketTabTabTabTabTabGCGC日志收集日志收集mount神龍物理機(jī)?高頻：滿足每分鐘創(chuàng)建20000實(shí)例的高頻創(chuàng)建/刪除求GB級(jí)鏡像實(shí)例秒級(jí)啟動(dòng)鏡像中存在大量冗余數(shù)據(jù)，按需加載鏡像中存在大量冗余數(shù)據(jù)，按需加載遠(yuǎn)端數(shù)據(jù)結(jié)合多種存儲(chǔ)服務(wù)構(gòu)建層次化的緩存體系通過負(fù)載感知的方式最大化緩存效果塊存儲(chǔ)的性能，共享存儲(chǔ)的成本GB級(jí)鏡像啟動(dòng)開銷～3秒SD7~8GB模型啟動(dòng)20秒最大鏡像支持15GB典型負(fù)載模式：一次性提交大量任務(wù)，啟動(dòng)數(shù)百-數(shù)千實(shí)例處理共享存儲(chǔ)帶寬有限，大規(guī)模實(shí)例啟動(dòng)打滿帶寬共享存儲(chǔ)延時(shí)10-20ms，比塊存儲(chǔ)慢10X以上?針對(duì)Serverless系統(tǒng)高度優(yōu)化，以應(yīng)用為粒度進(jìn)行組網(wǎng)?大并發(fā)啟動(dòng)性能7X提升CloudDiskCloudDisk頂會(huì)論文?UsenixATC2020:DADIBlock頂會(huì)論文?UsenixATC2020:DADIBlock-LevelImageServiceforAgileandElasticApplication?UsenixATC2021:FaaSNet:ScalableandFastProvisioningofCustomServerlessContainerRuntimesatAlibabaCloudFunctionCompute?應(yīng)用啟動(dòng)tracing數(shù)據(jù)驅(qū)動(dòng)塊存儲(chǔ)預(yù)取數(shù)據(jù)來源于阿里云業(yè)務(wù)數(shù)據(jù)一鍵啟停開發(fā)測試環(huán)境多可用區(qū)容災(zāi)一鍵啟停開發(fā)測試環(huán)境多可用區(qū)容災(zāi)例一鍵開啟所有應(yīng)用可用區(qū)的容災(zāi)。……一鍵配置公網(wǎng)訪問+VPC通信/path-a//path-a/path-b/path-aSAE實(shí)例SAE實(shí)例APPASAE實(shí)例SAE實(shí)例APPBAPPAPPCSAE實(shí)例基于業(yè)務(wù)流量,精準(zhǔn)彈性:綜合資源利用率達(dá)到75%變更過程中，如果出現(xiàn)部署包不可用、變更過程中，如果出現(xiàn)部署包不可用、健康檢查失敗等異常情況，SAE會(huì)GitPush自動(dòng)進(jìn)行回退 Gitlab GitlabWebhookJenkins Deploy無損下線、全鏈路灰度aeae"3通知消費(fèi)者…""2服務(wù)下",線"",線 Agent消費(fèi)者1正常調(diào)用Agent提供者A主動(dòng)通知主動(dòng)通知客戶端主動(dòng)刷新5應(yīng)用重啟Agent客戶端主動(dòng)刷新5應(yīng)用重啟AgentBAgent4調(diào)用其他提供者 Agent"Agent" Agent AgentServerless開發(fā)平臺(tái)Serverless開發(fā)平臺(tái)AI場景將會(huì)提供StableAI場景將會(huì)提供StableDiffusion，LangChain，OCR等多種形式的AI應(yīng)用案例，用戶可以一鍵選擇，快速部署，直接使用針對(duì)行業(yè)內(nèi)熱門應(yīng)用、場景、模型，提供定制化UI，進(jìn)一步提升使用體驗(yàn)，例如StableDiffusion應(yīng)用提供包括模型管理在內(nèi)的應(yīng)用管理頁面只有模型、只有代碼、或有模型又有代碼的用戶，可以使用通用的Serverless應(yīng)用管理能力/Web應(yīng)用管理能力，幫助用戶更好，更方便的使用函數(shù)計(jì)算用戶只需提供HuggingFace、Modelscope的模型地址/創(chuàng)空間地址，即可快速構(gòu)建AI應(yīng)用，并天然具備API調(diào)用能力或UI使用能力YesYesYesYesYes大語言模型知識(shí)庫應(yīng)用大語言模型知識(shí)庫應(yīng)用人人都可以擁有自己“專屬”的AIGC環(huán)境優(yōu)秀的開發(fā)者體驗(yàn)AI應(yīng)用一鍵部署，快速上手；優(yōu)秀的開發(fā)者體驗(yàn)AI應(yīng)用一鍵部署，快速上手；AI應(yīng)用一鍵多環(huán)境劃分，標(biāo)準(zhǔn)GitOPS流程；ModelScope一鍵托管；AIPlugin一鍵發(fā)布到通義千問；阿里云函數(shù)計(jì)算與應(yīng)用中心，具備與生態(tài)連通，與開源結(jié)合，快速上手、一鍵部署的完整通路，優(yōu)秀的開發(fā)者體驗(yàn)。提效降本的現(xiàn)代應(yīng)用心智高效能低成本進(jìn)行AI應(yīng)用的開發(fā)與部署是無數(shù)AI開發(fā)者/企業(yè)的重要關(guān)注點(diǎn)，Serverless架構(gòu)憑借高資源利用率與按量付費(fèi)模式，以及服務(wù)端免運(yùn)維的開發(fā)者心智，成為一眾AI開發(fā)者/企業(yè)的首選；完備的開發(fā)者套件，是開發(fā)者將AI應(yīng)用部署到云原生架構(gòu)必不可少的一環(huán)，在這一部分，阿里云Serverless架構(gòu)擁有ServerlessDevs，應(yīng)用中心等完備的開發(fā)者套件，可以幫助開發(fā)者從0到1再到N，將業(yè)務(wù)Serverless化，并提供全生命周期管理能力。GPU實(shí)例是AI領(lǐng)域不可或缺的計(jì)算資源，在高昂的成本下，可彈性，且可快速彈性的GPU實(shí)力成為AI應(yīng)用不可獲取的部分。阿里云函數(shù)計(jì)算擁有快速彈性的GPU實(shí)例，以及大規(guī)格的函數(shù)計(jì)算性能實(shí)例，這部分是承載AI應(yīng)用穩(wěn)定、高性能推理的重要環(huán)節(jié)。AI創(chuàng)作設(shè)計(jì)解決方案合作AK校驗(yàn)ServerlessGPUAPI接口對(duì)接API接口對(duì)接FCFC異步隊(duì)列SDSDAPI處理ServerlessGPUecs提供AIACC加速器企業(yè)級(jí)特性2.基于模型的提示詞擴(kuò)展GB級(jí)鏡像實(shí)例秒級(jí)啟動(dòng)架構(gòu)圖基本流程架構(gòu)圖知識(shí)庫問答知識(shí)庫問答Text將非結(jié)構(gòu)化內(nèi)容進(jìn)行向量處理Text本地文檔內(nèi)部數(shù)據(jù)TextSplitterUnstructuredLoaderTextChunks本地文檔內(nèi)部數(shù)據(jù)TextSplitterUnstructuredLoaderTextChunks將用戶的輸入問題，跟系統(tǒng)問答的預(yù)埋提示詞整合作為大模型輸入 Embedding Embedding對(duì)大模型輸入的內(nèi)容進(jìn)行結(jié)構(gòu)化輸出QueryQueryEmbeddingQueryVectorVectorSimEmbeddingQueryVectorVectorSimilarity技術(shù)細(xì)節(jié)VectorStoreTopTopKRelatedChunksPromptTemplatePromptLLMResponseLLMResponse用戶身邊0成本的“高級(jí)技術(shù)專家”，致力于提升云原生產(chǎn)品使用體驗(yàn)、降低云原生應(yīng)用生產(chǎn)門檻資源生成｜面向容器,生成云原生資源配置利用大模型技術(shù)實(shí)現(xiàn)云原生資源配置的交互式創(chuàng)建、修改與應(yīng)用等，提升資源維管效率原生、應(yīng)用構(gòu)建｜、.-"樞·面向云原生中間件產(chǎn)品，.-"樞·知識(shí)問答｜領(lǐng)域知識(shí)專家故障診斷｜面向應(yīng)用,知識(shí)問答｜領(lǐng)域知識(shí)專家集成云原生已有的系統(tǒng)診斷能力，面向業(yè)務(wù)應(yīng)用構(gòu)建具備全棧技術(shù)能力的輔助診斷助手云原生大模型踐行可擴(kuò)展架構(gòu)設(shè)計(jì)，便于更多的云原生產(chǎn)品因大模型技術(shù)而受益知識(shí)大腦