詳解AI應(yīng)用開發(fā)新范式洛浩云原生-解決方案架構(gòu)師AI原生、Agent驅(qū)動AIAgent正成為下一代應(yīng)用的核心驅(qū)動力AI原生應(yīng)用與AgenticAI的崛起：AI不再僅僅是數(shù)據(jù)分析的輔助工具，而是逐步成為業(yè)務(wù)流程和應(yīng)成本效益與可持續(xù)性：隨著數(shù)據(jù)量和AI工作負(fù)載的爆炸式增長，成本控制和資源優(yōu)化將成為企業(yè)選擇平臺的關(guān)鍵因素。無服務(wù)器和按量付費(fèi)模式將成為主流，同時，平臺將提供更精細(xì)的成本管理和優(yōu)化工具，以確保長期運(yùn)營的可持續(xù)性。Data+AI能力的普及化：行業(yè)致力于通過自然語言交互、無代碼/低代碼工具等方式，將數(shù)據(jù)洞察和AI能力賦能給更廣泛的非技術(shù)業(yè)務(wù)用戶，加速AI在企業(yè)內(nèi)部的普及和應(yīng)用?？捎^測性成為核心競爭力：隨著現(xiàn)代系統(tǒng)復(fù)雜性的不斷增加，高效且經(jīng)濟(jì)地處理海量日志、指標(biāo)和追蹤數(shù)據(jù)變得至關(guān)重要?？捎^測性能力正與實(shí)時分析緊密結(jié)合，成為確保AI應(yīng)用和數(shù)據(jù)平臺穩(wěn)定運(yùn)行的01從云原生應(yīng)用到AI原生應(yīng)用單體架構(gòu)垂直架構(gòu)SOA架構(gòu)微服務(wù)架構(gòu)云原生架構(gòu)AI原生架構(gòu)服務(wù)管理按量使用極致彈性模塊化負(fù)載均衡服務(wù)管理按量使用極致彈性模塊化負(fù)載均衡實(shí)現(xiàn)快維護(hù)成本高原子、自治?流量網(wǎng)關(guān)ESB微服務(wù)網(wǎng)關(guān)云原生網(wǎng)關(guān)AI網(wǎng)關(guān)？AI原生應(yīng)用架構(gòu)AI原生應(yīng)用架構(gòu)：AI原生、Agent驅(qū)動，以數(shù)據(jù)為中心，整合工具鏈?zhǔn)謾C(jī)APP生態(tài)手機(jī)APP生態(tài)微服務(wù)1微服務(wù)2微服務(wù)3MySQL/Redis/OSS云原生應(yīng)用架構(gòu)手機(jī)APPAI原生應(yīng)用架構(gòu)AgentAgent1AgentAgent2AgentAgent3ServerlessServerless大模型（通義大模型（通義…）大數(shù)據(jù)（Blink+ES）大數(shù)據(jù)平臺大數(shù)據(jù)平臺數(shù)據(jù)庫數(shù)據(jù)庫AI大數(shù)據(jù)/AI安全用戶業(yè)務(wù)可觀測消息隊(duì)列Serverless應(yīng)用計算平臺（Serverless應(yīng)用引擎SAE、函數(shù)計算FC、Server容器服務(wù)平臺容器服務(wù)平臺Token觀測核API管理流量防護(hù)消費(fèi)者鑒權(quán)服務(wù)發(fā)現(xiàn)多端應(yīng)用、Token觀測核API管理流量防護(hù)消費(fèi)者鑒權(quán)服務(wù)發(fā)現(xiàn)多端應(yīng)用、AIAgent百煉應(yīng)用/FCAIStudio/Dify/JManus/SpringAIAlibaba…Serverless應(yīng)用引擎…AI應(yīng)用觀測：OpenTelemetry可觀測標(biāo)準(zhǔn)協(xié)議01從云原生應(yīng)用到AI原生應(yīng)用AI應(yīng)用觀測模型上下文協(xié)議（ModelContextProtocol）是一個開源協(xié)議，由Anthropic（Claude開發(fā)公司）開發(fā)，旨在讓大型語言模型（LLM）能夠以標(biāo)準(zhǔn)化的方式連接到外部數(shù)據(jù)源和工具。它就像AI應(yīng)用的通用接口，幫助開發(fā)者構(gòu)建更靈活、更具上下文感知能力的AI應(yīng)用，而無需為每個AI模型和外部系統(tǒng)組合進(jìn)行定制集成。發(fā)送請求+tools發(fā)送請求+toolsscheme調(diào)用工具返回結(jié)果本地文本地數(shù)大模型應(yīng)用（MCPClient調(diào)用工具返回結(jié)果本地文本地數(shù)大模型應(yīng)用（MCPClient大模型/Agent）拼裝內(nèi)容，返回響應(yīng)調(diào)用工具返回結(jié)果遠(yuǎn)程調(diào)用MCP可擴(kuò)展性安全性可擴(kuò)展性安全性模塊化AIAgent實(shí)踐打通，挖掘，優(yōu)化私域數(shù)據(jù)AIAgentFCAIStudio/百煉/Dify/JManus/Spring-AI-AI網(wǎng)關(guān)AI網(wǎng)關(guān)微調(diào)微調(diào)終端用戶——瀏覽器/APP/小程序快速構(gòu)建拖拽式編排快速構(gòu)建數(shù)據(jù)庫調(diào)用數(shù)據(jù)庫調(diào)用簡單易用簡單易用高可用高可用持指定三AZ查聯(lián)動，提供無損上下線成本經(jīng)濟(jì)成本經(jīng)濟(jì)持續(xù)迭代持續(xù)迭代具備灰度發(fā)布能力結(jié)合日志查詢，問題定位更加百煉智能體和流程編排直接引用阿里云市場積攢多年的成熟API服務(wù)，助力客戶打造AI原生應(yīng)用智能體/編排應(yīng)用插件廣場插件廣場零售電商工作流應(yīng)用數(shù)據(jù)搜索游戲娛樂金融商業(yè)&阿里云云市場批量引入高質(zhì)量智能體插件零售電商工作流應(yīng)用數(shù)據(jù)搜索游戲娛樂金融商業(yè)&阿里云云市場批量引入高質(zhì)量智能體插件AIStudio提供類似Dify的可視化Agent構(gòu)建平臺，同時采用自研工作流執(zhí)行引擎，10倍提升Agent運(yùn)行效率支持Dify低代碼DSL一鍵轉(zhuǎn)成SAA高代碼工程方案，性能提升5~10倍基于通義大模型，面向企業(yè)和開發(fā)者客戶，打造一站式大模型服務(wù)和大模型應(yīng)用構(gòu)建平臺通義曉蜜通義千問系列通義千問系列通義萬相系列通義開源系列百煉析言通義萬相系列通義開源系列百煉應(yīng)用生態(tài)應(yīng)用生態(tài)模型生態(tài)通義領(lǐng)域大模型通義領(lǐng)域大模型阿里云AI計算服務(wù)2.成本最省：規(guī)格靈活，支持切卡使用；快照技業(yè)界獨(dú)家，通過啟動GPU快照鎖定稀缺GPU資源并實(shí)現(xiàn)毫秒級到秒級首次推理啟動，彈性效率比虛機(jī)/容器快5~10倍造，支持前后端分離與ServerlessAPI，解決開源托管的性能與穩(wěn)定性問題）：），首次推理冷啟動耗時分布示意圖SD-v1-5-inpainting（4.27GB）0->1TTFISD-v1-5-inpainting（4.27GB）0->1TTFI首次推理冷啟動耗時分布示意圖推理標(biāo)準(zhǔn)模式秒級快照推理標(biāo)準(zhǔn)模式秒級快照毫秒級快照運(yùn)行時鏡像模型首次推理運(yùn)行時準(zhǔn)備鏡像拉取模型加載首次推理推理運(yùn)行時鏡像推理運(yùn)行時鏡像模型首次推理首次推理運(yùn)行時鏡像模型推理運(yùn)行時鏡像模型推理標(biāo)準(zhǔn)模式秒級快照標(biāo)準(zhǔn)模式秒級快照毫秒級快照首次推理FunctionAI一鍵創(chuàng)建應(yīng)用FunctionAI聚焦AI應(yīng)用場景：模型服務(wù)（魔搭社區(qū)/HuggingFace熱門模型托管）；圖像生成（SD、ComfyUIServerlessAPI）；MCP&Agent（企業(yè)專屬FunctionAI一鍵創(chuàng)建應(yīng)用StreamableStreamableHTTP)Agent服務(wù)Bolt.diy,OpenManus,etc.）模型服務(wù)DeepSeek,etc.)無縫升級無縫升級AI應(yīng)用開發(fā)范式應(yīng)用開發(fā)應(yīng)用市場AI運(yùn)行時內(nèi)置vLLM,SGLang,AI運(yùn)行時內(nèi)置vLLM,SGLang,Ollama,HuggingFace推理框架STDIO零改造升級SSE開源模型/智能體應(yīng)用增強(qiáng)AI網(wǎng)關(guān)——AI應(yīng)用流量入口與集成利器API調(diào)用統(tǒng)一身份認(rèn)證AI網(wǎng)關(guān)支持多模型協(xié)議代理、豐富的插件策略、ResttoAPI調(diào)用統(tǒng)一身份認(rèn)證使用AI網(wǎng)關(guān)統(tǒng)一代理整合Agent、大模型服務(wù)、MCPServer多多模型協(xié)議代理統(tǒng)一鑒權(quán)多租戶管理APIKey二次簽發(fā)JWT統(tǒng)一鑒權(quán)多租戶管理APIKey二次簽發(fā)JWT認(rèn)證自定義鑒權(quán)AI安全防護(hù)AI安全圍欄多模型適配協(xié)議轉(zhuǎn)換LLMAPI協(xié)議轉(zhuǎn)換deepseek通義千問deepseekMCPAPI請求內(nèi)容審核大模型大模型敏感詞替換AgentAPI敏感詞替換OpenAI多模態(tài)APIAPI-Key托管多模態(tài)模型請求緩存請求緩存ComfyUITTS可觀測AI觀測統(tǒng)計LLM訪問日志TokenFunctionFunctionAI一鍵創(chuàng)建AI應(yīng)用函數(shù)計算聯(lián)合阿里云百煉發(fā)布業(yè)界首個全生命周期MCP服務(wù)市場，函數(shù)計算聯(lián)合魔搭社區(qū)發(fā)布最大MCP中文社區(qū)痛點(diǎn)用MCPAl領(lǐng)域的痛點(diǎn)用MCPAl領(lǐng)域的llUSB-C接口"優(yōu)勢穩(wěn)定調(diào)用：弱化提示詞依賴用用魔搭社區(qū)MCP廣場?降低門檻：云上托管/本地部署/三方集成函數(shù)計算FCMCP運(yùn)行時函數(shù)計算函數(shù)計算FCMCP運(yùn)行時內(nèi)置開發(fā)框架一鍵部署免運(yùn)維自動彈性低成本開源托管（STDIO零改造升級SSE開放使用（注冊到百煉或自建模型/Agent調(diào)用內(nèi)置開發(fā)框架一鍵部署免運(yùn)維自動彈性低成本?主流云產(chǎn)品官方MCP托管：ECS,OSS,RDS,PolarDB,OTS,Hologress,DataWorks等?企業(yè)特性增強(qiáng)：加持FC彈性降本優(yōu)勢，不使用自動縮0，原子化易管理，省tokenMCP服務(wù)避免大范圍傳入MCP服務(wù)列SpringAIAlibaba等應(yīng)用為GenAI應(yīng)用可觀測而生OpenTelemetryGenAI為GenAI應(yīng)用可觀測而生OpenTelemetryGenAI可觀測鏈路追蹤OpenTelemetry版通義千問語義約定穩(wěn)定性遵循最新OpenTelemetry社區(qū)GenAI語義約定。相比社區(qū)規(guī)范提供更加精細(xì)化的埋點(diǎn)和屬性。提示詞輸入、輸出觀測AI應(yīng)用可觀測體系大模型應(yīng)用專屬分析視圖大模型應(yīng)用專屬分析視圖AI全棧統(tǒng)一監(jiān)控?基于Prometheus實(shí)現(xiàn)前后端應(yīng)用、網(wǎng)關(guān)、模型服務(wù)與基礎(chǔ)設(shè)施等全棧統(tǒng)一監(jiān)控?構(gòu)建LLM領(lǐng)域?qū)僖晥D，包括模型性能分析、Token成本分析、GPU資源異動分析等模型調(diào)用端到端鏈路追蹤模型日志存儲與評估分析?模型調(diào)用日志存儲?統(tǒng)一日志分析平臺SAE實(shí)例01從云原生應(yīng)用到AI原生應(yīng)用啟動的Agent提供干凈獨(dú)占的運(yùn)行環(huán)境用率，降低資使用源成本-AI時代最佳運(yùn)行時墨飏函數(shù)計算產(chǎn)品經(jīng)理02AI時代運(yùn)行時關(guān)鍵技術(shù)DeployAIAgentsFastwithSecureCloudSandboxesAISandboxRuntime是典型的AI時代運(yùn)行時，開發(fā)者可以是人類，也可以是AI，兩者場景幾乎一致生成代碼生成代碼、運(yùn)行代碼、分析數(shù)據(jù)、生成UI等控制電腦瀏覽網(wǎng)頁、表單填寫、操作軟件、內(nèi)容提取等執(zhí)行命令執(zhí)行任務(wù)、依賴管理、文件操作、分析診斷等強(qiáng)化學(xué)習(xí)有交互性、目標(biāo)導(dǎo)向、根據(jù)環(huán)境反饋調(diào)整行為等AI時代運(yùn)行時關(guān)鍵需求-需求分析AIAgent痛點(diǎn)：行為不可預(yù)測、易受注入攻擊、權(quán)限邊界模糊啟動速度快內(nèi)置環(huán)境多權(quán)限控制好輕量隔離AI時代運(yùn)行時關(guān)鍵需求-技術(shù)選型開發(fā)環(huán)境正在從本地遷移到云端，AI時代運(yùn)行時首先得是Serverless運(yùn)行時全托管，交付沙箱運(yùn)行時全托管，交付沙箱運(yùn)行時毫秒級~秒級啟動，內(nèi)置編程環(huán)境半托管，交付容器運(yùn)行時半托管，交付容器運(yùn)行時數(shù)十秒~數(shù)分鐘啟動，環(huán)境依賴鏡像半托管，交付資源數(shù)分鐘啟動，無內(nèi)置環(huán)境半托管，交付資源數(shù)分鐘啟動，無內(nèi)置環(huán)境VMAI時代運(yùn)行時關(guān)鍵需求-功能矩陣函數(shù)計算FC為AI時代運(yùn)行時提供彈性算力和應(yīng)用開發(fā)工具套件，助力Serverless+AI開發(fā)更簡單開箱即用開箱即用二次開發(fā)全托部署降本提效圖像生成ComfyUI,SD,圖像生成ComfyUI,SD,etc.模型服務(wù)Qwen,DeepSeek,etc.AI工具M(jìn)CPSSE&企業(yè)專屬市場AI應(yīng)用ServerlessDify，流程編排3.6~3.113.6~3.11高密部署，主動調(diào)度第四代神龍架構(gòu)安全隔離，自動容災(zāi)高密部署，主動調(diào)度第四代神龍架構(gòu)安全隔離，自動容災(zāi)沙箱容器2.0快速交付，極致彈性資源池化2.0云產(chǎn)品Serverless化XPU算力GPU算力（Tesla,Ada,Hopper,XPU算力GPU算力（Tesla,Ada,Hopper,X個業(yè)務(wù)場景50+運(yùn)行環(huán)境/100+產(chǎn)品集成A4大底座核心能力AN種異構(gòu)算力資源池函數(shù)計算FC為AI時代運(yùn)行時提供云上最小規(guī)格、最豐富推理卡型、最細(xì)計費(fèi)粒度的全托管Serverless異構(gòu)算力最小規(guī)格：FC0.05C128MB，虛機(jī)1C512最小規(guī)格：FC0.05C128MB，虛機(jī)1C512MB，容器0.25C512MB規(guī)格粒度啟動效率虛機(jī)數(shù)分鐘，容器30+秒~數(shù)分鐘0不使用不計費(fèi)FC不刪除元數(shù)據(jù)，供給算力即服務(wù)，釋放算力即不再計費(fèi)元數(shù)據(jù)：指代碼和相關(guān)配置利用率費(fèi)），云上唯一100%利用率函數(shù)計算FC提供彈性實(shí)例（按請求實(shí)時調(diào)度、按快照加速冷啟動）、常駐實(shí)例（按預(yù)付費(fèi)額度分配實(shí)例）2種調(diào)度策略AI時代運(yùn)行時關(guān)鍵技術(shù)-彈性實(shí)例函數(shù)計算FC按請求調(diào)度實(shí)例，實(shí)例冷啟動（100%利用率）或通過快照熱啟動（額外付費(fèi)加速啟動為實(shí)例+快照付費(fèi)請求實(shí)例AA資源池AI時代運(yùn)行時關(guān)鍵技術(shù)-快照函數(shù)計算FC業(yè)界獨(dú)家技術(shù)優(yōu)勢，通過快照加速冷啟動的同時，大幅降低資源閑置/鎖定成本運(yùn)行時鏡像模型推理免費(fèi)運(yùn)行時準(zhǔn)備鏡像拉取模型加載首次推理運(yùn)行時鏡像模型推理秒級快照模型加載首次推理收費(fèi)運(yùn)行時鏡像模型推理毫秒級快照首次推理標(biāo)準(zhǔn)模式秒級快照運(yùn)行時鏡像模型推理免費(fèi)運(yùn)行時準(zhǔn)備鏡像拉取模型加載首次推理運(yùn)行時鏡像模型推理秒級快照模型加載首次推理收費(fèi)運(yùn)行時鏡像模型推理毫秒級快照首次推理標(biāo)準(zhǔn)模式秒級快照毫秒級快照客戶案例業(yè)務(wù)痛點(diǎn)GPU算力成本建模效率時延極度敏感高峰期流量大算力浪費(fèi)較多快照分類和收費(fèi)策略2.秒級快照：如Qwen，秒級快照內(nèi)置Debian+CUDA+Qwen，模型未加載到顯存3.毫秒級快照：如Qwen，毫秒級快照內(nèi)置Debian+CUDA+Qwen，模型已加4.快照收費(fèi)：平臺快照1:N不計費(fèi)，秒級/毫秒級快照標(biāo)準(zhǔn)模式秒級快照毫秒級快照AI時代運(yùn)行時關(guān)鍵技術(shù)-常駐實(shí)例函數(shù)計算FC按請求調(diào)度實(shí)例，實(shí)例分配自預(yù)付費(fèi)常駐資源池，為資源池付費(fèi)，且以FC功能特性最大化使用資源池請求實(shí)例AA資源池AI時代運(yùn)行時關(guān)鍵技術(shù)-安全隔離函數(shù)計算FC業(yè)內(nèi)獨(dú)家支持會話親和、長連場景的Sandbox安全隔離，AIAgent上下文不殘留AI時代運(yùn)行時關(guān)鍵技術(shù)-集成生態(tài)函數(shù)計算FC聯(lián)動阿里云產(chǎn)品生態(tài)，打通AIAgent+計算+存儲+網(wǎng)絡(luò)+數(shù)據(jù)庫+大數(shù)據(jù)完整上下游閉環(huán)智能體世界數(shù)據(jù)庫數(shù)據(jù)庫開源AgentServerlessDify開源托管商業(yè)Agent百煉智能體商業(yè)Agent百煉智能體&工作流集成人能用，AI也能用，盡量讓AI用APIG微服務(wù)ARMS應(yīng)用集成CloudFlowAI應(yīng)用開發(fā)大數(shù)據(jù)ADB存儲人工智能ADB通義靈碼OTS魔搭社區(qū)通義靈碼OSS通義千問通義萬象通義法問通義智文互聯(lián)互通流程編排事件驅(qū)動互聯(lián)互通流程編排AI時代運(yùn)行時最佳實(shí)踐-模型服務(wù)函數(shù)計算FunctionAI提供SD/ComfyUI、DeepSeek/Qwen等AI應(yīng)用樣板間，深度集成通義產(chǎn)品系列、魔搭社區(qū)等模板模板/模型服務(wù)100+熱門AI應(yīng)用模板如SD、ComfyUI、Flux等支持一鍵部署，快速托管熱門模型如Q6000+熱門大模型6000+熱門大模型支持一鍵部署至用戶指定函數(shù)計算，快速體驗(yàn)和托管主流模型AI時代運(yùn)行時最佳實(shí)踐-MCP服務(wù)函數(shù)計算FunctionAI聯(lián)合百煉發(fā)布業(yè)界首個全生命周期MCP服務(wù)市場，聯(lián)合魔搭社區(qū)發(fā)布最大MCP中文社區(qū)開發(fā)者可在FunctionAI零改造將開源MCP升級為SSE/StreamaAI時代運(yùn)行時最佳實(shí)踐-智能體/工作流函數(shù)計算FunctionAI作為智能體/工作流/MCP工具等AI運(yùn)行時底座，深度集成百煉等大模型應(yīng)用平臺智能體應(yīng)用工具底座FunctionAIAIStudio函數(shù)節(jié)FunctionAIAIStudio函數(shù)節(jié)AI時代運(yùn)行時最佳實(shí)踐-客戶故事設(shè)計師定制個人工作助手客戶原聲場景:某4A景區(qū)設(shè)計師蔣鵬,希望用Al繪畫平臺為游客照進(jìn)行風(fēng)格化助力,增加趣味性和景區(qū)收入痛點(diǎn):不會編程、GPU價格昂貴,saas化平臺無法滿足個性化定制需求78%出圖速度設(shè)計師定制個人工作助手客戶原聲場景:某4A景區(qū)設(shè)計師蔣鵬,希望用Al繪畫平臺為游客照進(jìn)行風(fēng)格化助力,增加趣味性和景區(qū)收入痛點(diǎn):不會編程、GPU價格昂貴,saas化平臺無法滿足個性化定制需求78%出圖速度初創(chuàng)公司自媒體浪潮中的潮流引領(lǐng)客戶原聲社交的高新企業(yè),高度自動化的直播截幀送審技術(shù)是其業(yè)務(wù)創(chuàng)新的核心推動力之一痛點(diǎn):大規(guī)模突發(fā)流量,保障業(yè)務(wù)爆發(fā)式發(fā)展的同時追求穩(wěn)定、高效、降本20%高度自動化大型企業(yè)靈活可定制，加速業(yè)務(wù)AI創(chuàng)新客戶原聲場景服裝企業(yè)森馬,希望借助Al技術(shù)實(shí)現(xiàn)服裝行業(yè)從產(chǎn)品設(shè)計、生產(chǎn)制造、營銷推廣的多場景提效。痛點(diǎn)GPU成本高、開發(fā)周期長、適配多種開源大語言模型,定制化要求高33%迭代效率3天>30分開發(fā)者開發(fā)有趣的Web項(xiàng)目客戶原聲場景:wolai是一款開發(fā)者打破"邊界"的在線文檔產(chǎn)品,其獨(dú)特的功能和舒適的交互吸引著眾多極客用戶盡享web體驗(yàn)痛點(diǎn)nidea"要快速驗(yàn)證,訪問體驗(yàn)要極度絲滑,增量發(fā)布要穩(wěn)定常態(tài)100萬/年->50萬/年前端開發(fā)->全棧開發(fā)基于FunctionAI分鐘級構(gòu)建生產(chǎn)級AI應(yīng)用——Serverless+AI讓應(yīng)用開發(fā)更簡單云原生-Serverless-函數(shù)計算&AI研發(fā)負(fù)責(zé)人傳統(tǒng)應(yīng)用開發(fā)AI應(yīng)用開發(fā)智能體知識庫記憶/工具服務(wù)智能體知識庫記憶/工具服務(wù)數(shù)據(jù)庫大語言數(shù)據(jù)庫大語言模型研發(fā)的關(guān)注點(diǎn)發(fā)生變化傳統(tǒng)應(yīng)用開發(fā)：如何確保業(yè)務(wù)邏輯正確穩(wěn)定運(yùn)行AI應(yīng)用開發(fā)：如何最大可靠的發(fā)揮LLM價值業(yè)務(wù)邏輯基礎(chǔ)設(shè)施業(yè)務(wù)邏輯基礎(chǔ)設(shè)施研發(fā)基礎(chǔ)設(shè)施AI應(yīng)用基本要素門檻高、迭代快，效果好，低成本1大模型2領(lǐng)域模型開箱即用、一鍵托管、可觀測完備、低成本開箱即用、快速迭代、靈活可擴(kuò)展，低成本3業(yè)務(wù)邏輯基本要素4領(lǐng)域抽象領(lǐng)域適配、業(yè)界標(biāo)準(zhǔn)、活躍生態(tài)AI應(yīng)用性能、成本、穩(wěn)定、安全、體驗(yàn)5BaaS服務(wù)6流程編排分鐘級構(gòu)建AI應(yīng)用的挑戰(zhàn)克服LLM幻覺缺少解決方案開發(fā)部署效率業(yè)務(wù)靈活定制快速測試訪問業(yè)務(wù)成本最優(yōu)業(yè)務(wù)靈活定制運(yùn)行時安全隔離數(shù)據(jù)安全訪問基礎(chǔ)設(shè)施穩(wěn)定性基礎(chǔ)設(shè)施彈性與擴(kuò)展性極簡運(yùn)維按需付費(fèi)極簡運(yùn)維按需付費(fèi)提供產(chǎn)品競爭力?簡單，易用，減少發(fā)布/擴(kuò)容時??通過不斷的優(yōu)化資源供給能力：降低用戶保有資源的成本，提?通過不斷的加強(qiáng)和云產(chǎn)品及周邊生態(tài)的集成，降低用戶業(yè)務(wù)構(gòu)建的門檻，減少業(yè)務(wù)發(fā)布和擴(kuò)容運(yùn)維時間，提升業(yè)務(wù)效率；??平臺及體驗(yàn)?zāi)芰ι墸涸品?wù)集成，事件驅(qū)動，函數(shù)編排，應(yīng)用模版，計費(fèi)優(yōu)化，觀測能力集成業(yè)務(wù)開發(fā)先進(jìn)工具按需模型托管服務(wù)極低成本靈活組裝便于二次開發(fā)一鍵極速創(chuàng)建AI業(yè)務(wù)開發(fā)先進(jìn)工具按需模型托管服務(wù)極低成本靈活組裝便于二次開發(fā)針對AI場景的Studio開發(fā)能一鍵快速拉起，解決AI應(yīng)用開發(fā)者無從下手的困境針對AI場景的Studio開發(fā)能一鍵快速拉起，解決AI應(yīng)用開發(fā)者無從下手的困境務(wù)平均成本降低60%AI領(lǐng)域應(yīng)用的主體應(yīng)用集成及應(yīng)用運(yùn)維價值?AI領(lǐng)域應(yīng)用的主體應(yīng)用集成及應(yīng)用運(yùn)維價值智能體?行動：碎片化代碼，需要靈活、快速、輕量的運(yùn)行時，函數(shù)是最合適的形態(tài)（MCP，function智能體HostingServicesMCP/FunctionHostingServicesMCP/FunctionCallingServerlessGPU模型服務(wù)Serverless是Agent的最佳運(yùn)行時承載ServerlessGPU支撐自定義領(lǐng)域模型托管工具算力，擴(kuò)展及運(yùn)維價值工具FunctionAIFunctionAI一鍵創(chuàng)建應(yīng)用FunctionAI聚焦AI應(yīng)用場景：模型服務(wù)（魔搭社區(qū)/HuggingFace熱門模型托管）；圖像生成（SD、ComfyUIServerlessAPI）；MCP&Agent（企業(yè)專屬M(fèi)CP市場）Agent服務(wù)組裝式開發(fā)，彈性開放，按需選擇Agent服務(wù)模型托管無縫升級無縫升級AI應(yīng)用開發(fā)范式應(yīng)用開發(fā)應(yīng)用市場AI運(yùn)行時內(nèi)置vLLM,SGLang,AI運(yùn)行時內(nèi)置vLLM,SGLang,Ollama,HuggingFace推理框架STDIO零改造升級SSE開源模型/智能體應(yīng)用增強(qiáng)模型服務(wù)：讓模型使用更簡單，推理性能更卓越價格低價格低價格價格低價格低價格高冷啟動長無冷?低延時：規(guī)避GPU按量場景下的冷啟動?降成本：對比K8S自建，大幅降低AI落地成本?保交付：GPU緊張背景，確定資源交付，保證業(yè)務(wù)永續(xù)傳統(tǒng)的在線推理場景新興的大模型推理場景傳統(tǒng)的在線推理場景新興的大模型推理場景應(yīng)用應(yīng)用延時高度變化，負(fù)載高度不確定，偏C端的應(yīng)用形態(tài)，日均資源利用率普遍較低；例延時高度變化，負(fù)載高度不確定，偏C端的應(yīng)用形態(tài)，日均資源利用率普遍較低；例如：傳統(tǒng)的CV類模型（OCR）、NLP模型（機(jī)器翻譯），CosyVoice，SenseVoiceAIGC浪潮下的新興推理應(yīng)用，LLM文生文、StableDiffusiFunASR文生音頻等加速框架?SaaS昂貴且無法自主可控?虛機(jī)/容器自建彈性效率弱、利用率低、成本高?文生圖WebUI/API開發(fā)門檻高，模型/插件下載國內(nèi)網(wǎng)絡(luò)不可用?深度集成ServerlessGPU，兌現(xiàn)彈性降本優(yōu)勢、快速出圖?專屬工作空間：激活、銷毀快，簡單易用?企業(yè)級特性增強(qiáng)：ServerlessAPI，自帶流量灰度，多實(shí)?文件管理：方便模型，插件上傳，支持本地上傳?模型廣場：快速找到符合業(yè)務(wù)需要的模型?工作流廣場：提供流程和流程依賴的整體部署SDWebUI/CompyUI一鍵部署，提供專屬工作空間和網(wǎng)絡(luò)加速能力，支持上傳、下載自定義模型及插件開發(fā)調(diào)試一鍵發(fā)布ServerlessAPI，隔離測試和生產(chǎn)環(huán)境，通過API調(diào)用實(shí)現(xiàn)同步/異步/流式/WebSocket出圖插件廣場：加速智能體應(yīng)用集成MCP為LLM連接數(shù)據(jù)源和工具提供了標(biāo)準(zhǔn)化的方法?MCP稀疏調(diào)用、非穩(wěn)態(tài)調(diào)用、脈沖型調(diào)用特征明顯，算力規(guī)格要求小，天然適合彈性?Nodejs、Python主流，啟動快，天然適合FaaS運(yùn)行時?多租隔離，滿足安全要求?內(nèi)置負(fù)載均衡以及安全防護(hù)，支持集成網(wǎng)關(guān)實(shí)現(xiàn)更高階流量管理?大部分MCPserver都是STDIO模式，不支持多并發(fā)，不具備鑒權(quán)能力?SSE會話親和性特性，不適合Serverless按量彈性不同實(shí)例?SSE協(xié)議長連接特性，造成函數(shù)實(shí)例長時間活躍，持續(xù)產(chǎn)生費(fèi)用?本地調(diào)試?yán)щy，問題難定位，缺少開發(fā)及部署MCP的最佳實(shí)踐?內(nèi)置MCPProxy，存量STDIO無改造直接生成SSE/StreamableHttp服務(wù)，且具備單實(shí)例多并發(fā)能力?發(fā)布MCP會話親和性調(diào)度，保證相同sessionID會話綁定到相同實(shí)例，具備會話配額控制保證單實(shí)例會話公平、MCP會話優(yōu)雅升級?發(fā)布長連接閑置計費(fèi)，最高降低87%成本?提供模板一鍵部署、自定義MCP服務(wù)，滿足開源托管以及二次開發(fā)需求?提供隱私變量管理、服務(wù)鑒權(quán)、內(nèi)網(wǎng)訪問能力，本地STDIO協(xié)議無需改造即可提供安全的企業(yè)級服務(wù)AIStudio：打造穩(wěn)定高性能低代碼Agent部署平臺AIStudio提供類似Dify的可視化Agent構(gòu)建平臺，同時采用自研工作流執(zhí)行引擎，10倍提升Agent運(yùn)行效率多端應(yīng)用多端應(yīng)用API管理流量防護(hù)消費(fèi)者鑒權(quán)服務(wù)發(fā)現(xiàn)FunctionAIStudio/Dify/OpenManus/SpringAIAlibabaToken觀測Token觀測核代碼服務(wù)AI應(yīng)用觀測：OpenTelemetry可觀測標(biāo)準(zhǔn)協(xié)議ServerlessServerlessAIInfra：函數(shù)計算率，降低資使用源成本動的Agent提供干凈獨(dú)占的運(yùn)行環(huán)境Trace支持AI時代的“智能流量中樞”，AI網(wǎng)關(guān)搭建與落地趙世振阿里云云原生產(chǎn)品架構(gòu)師01AI應(yīng)用發(fā)展趨勢及挑戰(zhàn)AI應(yīng)用發(fā)展趨勢AI應(yīng)用爆發(fā)式增長Agent生態(tài)（MCP、A2A）單一模型使用AI生態(tài)演進(jìn)安全與合規(guī)風(fēng)險集成復(fù)雜度高可用保障影響用戶體驗(yàn)成本失控模型代理模型代理護(hù)AI網(wǎng)關(guān)工具代理護(hù)AI網(wǎng)關(guān)工具代理Agent代理AI限流Agent代理AI限流Redis/VectorDBAI安全護(hù)欄Redis/VectorDBAI安全護(hù)欄夸克安全鑒權(quán)管理lAPI-KEY托管、二次分發(fā)安全鑒權(quán)管理lAPI-KEY托管、二次分發(fā)l消費(fèi)者鑒權(quán)l(xiāng)聯(lián)網(wǎng)搜索優(yōu)化模型幻覺統(tǒng)一接入代理l多模型統(tǒng)一代理lAgentAPI封裝AI網(wǎng)關(guān)落地實(shí)踐--解決同一域名/API訪問不同模型的問題核心問題1：公司GPU資源有限，部署了滿血版DeepSeekR1，還有其他一些小模型以及使用百煉的模型服務(wù)，現(xiàn)在域名都不統(tǒng)一，分發(fā)、管理、集成的成本都很高，如何使?jié)M血DSR1和其他模型或者閉源LLMAPI服務(wù)共存，保持同一個API接口，不同業(yè)務(wù)通過請求中的模型名稱，切換不同的模型。滿血DSR1和其他模型或者閉源LLMAPI服務(wù)共存，保持同一個API接口，不同業(yè)務(wù)通過請求中（Header，Cookie等）攜帶的業(yè)務(wù)標(biāo)識，匹配到不同的模型。3同一個API請求3不同模型2還是閉源LLMAPI，都可以作為模建議使用多模型服務(wù)類型創(chuàng)建AIAPI，在一個AIAPI中可以添加多個模型建議優(yōu)先推薦使用模型名稱匹配切換的AI網(wǎng)關(guān)落地實(shí)踐--解決用戶管理失控問題解法：OpenAIAPI的協(xié)議基本已經(jīng)是標(biāo)準(zhǔn)協(xié)議，目前市場面上幾乎所有的LLM都支持OpenAIAPI協(xié)議。所以提供遵循OpenAIAPI協(xié)議的HTTP接口就可以讓企業(yè)員工通過各種方式使用LLM服務(wù)和能力。核心問題2：企業(yè)內(nèi)部部署DeepSeekR1滿血版，公司好幾千人，但GPU資源有限，如何限制用戶？解法：AI接口一旦暴露出去，基本上不可能只讓一小部分人知道，所以需要對訪問LLM服務(wù)的用戶做以限制，只讓能訪問的人訪問，不能訪問的人即便知道了接口也無法訪321APIKey管理321給消費(fèi)者分配可以訪問哪些LLM服給消費(fèi)者分配可以訪問哪些LLM服建議建議建議可以將一個消費(fèi)者對應(yīng)到一個團(tuán)隊(duì)或一個項(xiàng)目組，根據(jù)具體業(yè)務(wù)分配可以將一個消費(fèi)者對應(yīng)到一個團(tuán)隊(duì)或一個項(xiàng)目組，根據(jù)具體業(yè)務(wù)分配分發(fā)核心問題：我們使用百煉平臺上提供的DSR1671B模型的API，但是有15000QPM和1200000TPM的配額限制，不能滿足業(yè)務(wù)需求，但是每次升配很麻煩。不只是百煉，目前所有的模型托管平臺都有QPM和TPM的限制，并且有些平臺是很難升配這個限制的，所以大多數(shù)用戶都會選擇申請多個帳號（APIKey），變相的撐大這個配額限制，但缺點(diǎn)是在業(yè)務(wù)里管理多個APIKey是一件很麻煩的事。對輸入/輸出內(nèi)容做緩存，減少對模型服務(wù)的請求次數(shù)以及Token消耗，從而提升業(yè)務(wù)側(cè)的請求性能。32AIAPI維度結(jié)果緩存API32AIAPI維度結(jié)果緩存時，可以實(shí)時動態(tài)添加模型服務(wù)的模型服務(wù)支持多時，可以實(shí)時動態(tài)添加模型服務(wù)的模型服務(wù)支持多AI網(wǎng)關(guān)，每個模型服務(wù)都可以配置支持精確匹配支持向量化檢索匹配建議建議建議的行為集成到客戶自己的自動化平的行為集成到客戶自己的自動化平在非常垂直類，問題和答案非常固定的應(yīng)用場景下可以開精確匹配在泛業(yè)務(wù)場景下開啟結(jié)果緩存可能會降低推理精度或準(zhǔn)確性，需要結(jié)合業(yè)務(wù)判斷和考量AI網(wǎng)關(guān)落地實(shí)踐--解決模型服務(wù)高可用的問題核心問題：公司的主力模型是PAI上部署的DSR1671B，但GPU資源并不是基解法：有兩種做法，并且可以搭配使用：可以構(gòu)建多個個兜底模型服務(wù)，如果要保證模型一致，可以主力使用PAI上部署的，兜底使用百煉平臺提供的。實(shí)現(xiàn)當(dāng)PAI上部署的DS服務(wù)請求失敗時，F(xiàn)allback到百煉平臺托管的DSR1服務(wù)。從而保證業(yè)務(wù)的連續(xù)性和健壯性。通過基于Tokens的限流策略，解決Burst流量，保護(hù)后端模型服務(wù)。2是百煉LLMAPI是百煉LLMAPI服務(wù)，都可以作為AIAPI限流策略需要配合Redis實(shí)現(xiàn)，但是只需要開通Redis和在AI消費(fèi)者，客戶端IPAI網(wǎng)關(guān)落地實(shí)踐--解決安全合規(guī)的問題核心問題：模型托管平臺自帶好幾層內(nèi)容安全審核機(jī)制，但是我們在IDC部署或者在FC部署的，如何能方便的接入內(nèi)容安全審核服務(wù)？解法：AI網(wǎng)關(guān)中的AIAPI集成了阿里云的內(nèi)容安全防護(hù)和AI安全護(hù)欄服務(wù)，可以一鍵開啟。安全防護(hù)的規(guī)則還是要在內(nèi)容安全服務(wù)側(cè)配置。AI網(wǎng)關(guān)落地實(shí)踐—聯(lián)網(wǎng)搜索解決大模型不滿血的問題核心問題：公司部署了DeepSeekR1671B的模型，但推理的結(jié)果和DS官網(wǎng)推理的結(jié)果有差距，似乎不滿血？解法：推理的結(jié)果和DS官網(wǎng)推理的結(jié)果有差距大概率是因?yàn)镈S官網(wǎng)開啟了聯(lián)網(wǎng)搜索。DeepSeekR1671B的模型推理能力是很強(qiáng)，但訓(xùn)練的數(shù)據(jù)也是有限