企業(yè)級(jí)AI

應(yīng)用開發(fā)：從技術(shù)選型到生產(chǎn)落地黛忻阿里云Serverless

AI

團(tuán)隊(duì)Contents目錄01

企業(yè)級(jí)

AI應(yīng)用開發(fā)運(yùn)行時(shí)選型02

ServerlessAI運(yùn)行時(shí)關(guān)鍵技術(shù)03

客戶案例

-Serverelss+AI讓應(yīng)用開發(fā)更簡(jiǎn)單企業(yè)級(jí)AI應(yīng)用開發(fā)運(yùn)行時(shí)選型01AI原生范式對(duì)基礎(chǔ)設(shè)施提出全新的要求構(gòu)建支持AIAgent的高效基礎(chǔ)設(shè)施Embrace

UncertaintyAgent-Centric基礎(chǔ)設(shè)施的核心服務(wù)對(duì)象從“人類用戶”轉(zhuǎn)變?yōu)椤白灾鰽gent”，以Agent而非服務(wù)或API為中心以Agent為中心承認(rèn)

LLM輸出的非確定性，通過基礎(chǔ)設(shè)施能力降低風(fēng)險(xiǎn)，而非追求絕對(duì)可控，從“防

御性編程”轉(zhuǎn)向“容錯(cuò)自愈”接受不確定性基礎(chǔ)設(shè)施主動(dòng)協(xié)調(diào)Agent完成目標(biāo)，而非被動(dòng)響應(yīng)請(qǐng)求，Agent和Agent或者Agent和工具之間的協(xié)作依靠事件驅(qū)動(dòng)和動(dòng)態(tài)彈性狀態(tài)是Agent的“記憶”與“人格”載體，基礎(chǔ)設(shè)施必須原生支持狀態(tài)的持久化、低延遲訪問與跨環(huán)境遷移狀態(tài)優(yōu)先任務(wù)驅(qū)動(dòng)協(xié)作Task-DrivenOrchestrationState-FirstAI時(shí)代開發(fā)者關(guān)注業(yè)務(wù)創(chuàng)新而非基礎(chǔ)設(shè)施Serverless是AI原生架構(gòu)的最短實(shí)現(xiàn)路徑靜態(tài)資源分配預(yù)留固定資源，利用率低，無彈性或分鐘級(jí)彈性狀態(tài)管理復(fù)雜依賴

Redis/DB管理，故障恢復(fù)復(fù)雜，跨節(jié)點(diǎn)遷移幾乎不可行API驅(qū)動(dòng)依賴網(wǎng)關(guān)/MQ實(shí)現(xiàn)同步和異步調(diào)用或，微服務(wù)架構(gòu)協(xié)作復(fù)雜度高運(yùn)維負(fù)擔(dān)沉重依賴專業(yè)運(yùn)維團(tuán)隊(duì)配置集群、環(huán)境，自建監(jiān)控日志代價(jià)高動(dòng)態(tài)彈性按請(qǐng)求彈性，毫秒/秒級(jí)供給資源，支持低峰縮0彈性降本狀態(tài)持久化內(nèi)置狀態(tài)持久化或集成工作流，支持快照或會(huì)話管理，自帶3AZ容災(zāi)事件驅(qū)動(dòng)通過云產(chǎn)品事件驅(qū)動(dòng)自動(dòng)執(zhí)行，架構(gòu)原子化解耦，協(xié)作更容易免運(yùn)維VM/容器運(yùn)行時(shí)

AI

時(shí)代需求Serverless運(yùn)行時(shí)?

從Serverless架構(gòu)到AI原生架構(gòu)安全隔離安全隔離的多語(yǔ)言運(yùn)行環(huán)境，自帶監(jiān)控日志告警等配套設(shè)施智能體Agent×

從傳統(tǒng)架構(gòu)到AI原生架構(gòu)流量不可預(yù)測(cè)易受注入攻擊多租戶數(shù)據(jù)敏感彈性開發(fā)提效模型工具彈性降本管理者開發(fā)者異構(gòu)算力會(huì)話管理輕量經(jīng)濟(jì)ServerlessAI運(yùn)行時(shí)從Serverless到ServerlessAIServerlessAI運(yùn)行時(shí)是AI原生應(yīng)用的最佳選擇智能體ServerlessAI運(yùn)行時(shí)關(guān)鍵技術(shù)02函數(shù)計(jì)算

FC：

ServerlessAI運(yùn)行時(shí)0運(yùn)維、輕量、經(jīng)濟(jì)、彈性異構(gòu)算力

ServerlessAI運(yùn)行時(shí)

生態(tài)集成Web函數(shù)Python

3.6~3.11Node.js

17~22Java

8~21PHP/Go/.NET/…自定義運(yùn)行時(shí)自定義鏡像Serverless平臺(tái)底座Qwen,

DeepSeek,etc.ComfyUI,

SD,etc.低代碼編排、高代碼編碼0

按請(qǐng)求調(diào)度，毫/秒計(jì)費(fèi)，低峰自動(dòng)縮

0虛機(jī)包月浪費(fèi)多，容器為集群持續(xù)付費(fèi)Python/Node/Java/PHP/Go/.NET

等50+

內(nèi)置運(yùn)行時(shí)環(huán)境，支持自定義運(yùn)行時(shí)和自定義鏡像，方便開發(fā)者靈活定制產(chǎn)品集成，事件驅(qū)動(dòng)云產(chǎn)品

Serverless

化高密部署，主動(dòng)調(diào)度第四代神龍架構(gòu) GPU算力（Tesla,Ada,

Hopper,etc.)不使用不計(jì)費(fèi)FC

不為

3AZ

容災(zāi)額外付費(fèi)，虛機(jī)/容器則需額外付費(fèi)！快速交付，極致彈性資源池化

2.0安全隔離，自動(dòng)容災(zāi)沙箱容器

2.0MCP&

Sandbox最小規(guī)格：

FC

0.05C128MB，虛機(jī)

1C512MB，容器

0.

25C512MBGPU

函數(shù)冷啟動(dòng)速度：

FC

毫秒~秒級(jí)，虛機(jī)數(shù)分鐘，容器

30+秒~數(shù)分鐘100倍啟動(dòng)效率AI應(yīng)用開箱即用內(nèi)置多語(yǔ)言運(yùn)行環(huán)境5倍

規(guī)格粒度函數(shù)類型50+內(nèi)置環(huán)境

CPU算力（x86)智能體Agent模型服務(wù)AI

工具圖像生成 XPU算力任務(wù)函數(shù)事件函數(shù)數(shù)據(jù)來源：公開數(shù)據(jù)異構(gòu)算力FC安全容器安全加固策略（核心是限制代碼破壞范圍）：

安全容器提供基于虛擬機(jī)級(jí)別的隔離

函數(shù)調(diào)度盡可能調(diào)度到同一臺(tái)神龍服務(wù)器

加固安全策略：端口封禁、命令行封禁等

組件裁減：精簡(jiǎn)不必要驅(qū)動(dòng)和內(nèi)核接口，啟動(dòng)速度更快、資源占用更少

實(shí)例回收：銷毀重建，避免殘留/tmp目錄、日志、環(huán)境變量、進(jìn)程等普通容器用內(nèi)核提供的

namespace和cgroup做資源限制和隔離（從機(jī)器上圈了一部分資源給容器用），在安全性上存在不足：

容器內(nèi)的進(jìn)程在宿主機(jī)上可以看到

容器和宿主機(jī)共用內(nèi)核，可以對(duì)宿主機(jī)進(jìn)行破壞

ServerlessAI運(yùn)行時(shí)安全——資源強(qiáng)隔離安全容器User

CodeRuntimeGuest

Kernel安全容器User

CodeRuntimeGuest

Kernel傳統(tǒng)容器技術(shù)

函數(shù)計(jì)算FC運(yùn)行時(shí)操作系統(tǒng)內(nèi)核云主機(jī)物理服務(wù)器容器User

CodeRuntime容器User

CodeRuntime硬件虛擬化神龍服務(wù)器租戶A租戶

B租戶A租戶

B

安全隔離

性能隔離

故障隔離安全沙箱容器

模型運(yùn)行時(shí)關(guān)鍵技術(shù)函數(shù)計(jì)算ServerlessGPU相對(duì)虛擬/容器的核心優(yōu)勢(shì)：請(qǐng)求感知調(diào)度、毫秒級(jí)閑置喚醒、

1/N卡切分使用、

Serverless混合調(diào)度按請(qǐng)求彈性

定時(shí)彈性

水位伸縮用戶常駐資源池

+平臺(tái)彈性資源池混合調(diào)度毫秒級(jí)閑置喚醒

1/N卡切分使用實(shí)時(shí)負(fù)載分析與請(qǐng)求感知調(diào)度，資源效率最高，時(shí)延更穩(wěn)定百倍加速

業(yè)界領(lǐng)先（毫秒級(jí)）+

自動(dòng)彈性

+

閑置喚醒用戶發(fā)起推理請(qǐng)求請(qǐng)求達(dá)到函數(shù)網(wǎng)關(guān)請(qǐng)求感知調(diào)度常駐資源池（用戶包月購(gòu)買）

彈性資源池（平臺(tái)保有，用戶按量使用）輕量靈活1/N切卡powered

by

基礎(chǔ)軟件

sCR，數(shù)據(jù)來源：測(cè)試得出請(qǐng)求載感知調(diào)度ServerlessGPU

的價(jià)值客戶案例業(yè)務(wù)痛點(diǎn)使用價(jià)值時(shí)延極度敏感高峰期流量大算力浪費(fèi)較多+50%建模效率FCGPU適用于三類典型場(chǎng)景高頻短時(shí)調(diào)用

模型運(yùn)行時(shí)：

GPU冷啟動(dòng)優(yōu)化函數(shù)計(jì)算首推ServerlessGPU啟動(dòng)快照

，實(shí)現(xiàn)毫秒級(jí)的首次推理響應(yīng)，

0->1首包耗時(shí)對(duì)比

K8sGPU

，從分鐘級(jí)優(yōu)化至毫秒級(jí)25s1ms最小實(shí)例=0最小實(shí)例>020s1ms最小實(shí)例=0

最小實(shí)例>0實(shí)時(shí)/準(zhǔn)實(shí)時(shí)在線推理服務(wù)的痛點(diǎn)2.高并發(fā)：高峰期突增的吞吐量可能導(dǎo)致系統(tǒng)性能下降1.低時(shí)延：實(shí)時(shí)/準(zhǔn)實(shí)時(shí)業(yè)務(wù)時(shí)延敏感，一般要求秒級(jí)響應(yīng)，部分場(chǎng)景下需要毫秒級(jí)4.低容錯(cuò)：小流量推理場(chǎng)景單卡容災(zāi)能力差，故障率高3.高成本：低峰期和小規(guī)格模型資源浪費(fèi)，高峰期資源不足，成本優(yōu)化難SD-v1-5-inpainting（4.27GB）0->1TTFI運(yùn)行時(shí)

鏡像

模型彈性實(shí)例（冷啟動(dòng)）最小實(shí)例數(shù)=0彈性實(shí)例（熱啟動(dòng)）最小實(shí)例>0運(yùn)行時(shí)準(zhǔn)備

鏡像拉取模型加載首次推理預(yù)熱實(shí)例

首次推理毫秒級(jí)響應(yīng)Qwen-14B-Chat-Int4（9.01GB）0->1TTFI首次推理冷啟動(dòng)耗時(shí)分布示意圖-40%

GPU算力成本稀疏調(diào)用突發(fā)流量適用場(chǎng)景：模型文件放在OSS/

NAS，應(yīng)用程序通過掛載點(diǎn)訪問。對(duì)模型大小沒有限制。

OSS：大量實(shí)例并行加載模型、需要本地冗余，或者多地域部署的場(chǎng)景。訪問數(shù)量較少的大文件。

NAS:需要極速的啟動(dòng)性能。模型加載加速方案：模型下載加速。函數(shù)計(jì)算用OSS緩存常用的模型，下載服務(wù)會(huì)自動(dòng)判斷系統(tǒng)是否緩存過，已緩存會(huì)

走OSS

內(nèi)網(wǎng)下載。下載本身通過分片下載，多線程/多函數(shù)實(shí)例下載做了一些優(yōu)化。適用場(chǎng)景：

<1GB的傳統(tǒng)領(lǐng)域模型（CV/TTS）

，模型變更頻率比較低模型加載加速方案：鏡像加速預(yù)熱

+

P2P鏡像分發(fā)

模型運(yùn)行時(shí)：模型加載加速模型隨容器鏡像分發(fā)模型下載加速CPUGPU零運(yùn)維，毫秒級(jí)啟動(dòng)，最大支持2w實(shí)例/分鐘極速交付，

免費(fèi)提供

3AZ

自動(dòng)容災(zāi)標(biāo)桿客戶RLSandboxSim

Sandbox沙箱即服務(wù)服務(wù)化API，支持十萬函數(shù)百萬實(shí)例級(jí)別的沙箱執(zhí)行Serverless級(jí)Session

親和/隔離架構(gòu)負(fù)載感知調(diào)度，按會(huì)話彈性伸縮，支持會(huì)話親和/會(huì)話隔離智能體/工具運(yùn)行時(shí)關(guān)鍵技術(shù)函數(shù)計(jì)算

FC：沙箱即服務(wù)、

Session親和/隔離架構(gòu)、毫秒級(jí)啟動(dòng)與按需付費(fèi)業(yè)界首創(chuàng)Serverless級(jí)Session親和/隔離架構(gòu)智能體運(yùn)行時(shí)開源開放：與AgentScope、

LangChain、

LlamaIndex等主流開發(fā)框架集成毫秒級(jí)啟動(dòng)與按需付費(fèi)：強(qiáng)隔離、突破性上下文保持，啟動(dòng)效率領(lǐng)先傳統(tǒng)容器方案

100倍，按需使用，按量付費(fèi)，低峰縮

0成本最優(yōu)業(yè)界領(lǐng)先的開箱即用、多語(yǔ)言代碼安全執(zhí)行引擎沙箱即服務(wù)服務(wù)化：提供Code

Interpreter

API、

Browser

API內(nèi)置開發(fā)環(huán)境：

Python/Node.js/Java/PHP/

Shell/.NET等

50+多語(yǔ)言環(huán)境，支持

OCI標(biāo)準(zhǔn)鏡像和自定義運(yùn)行時(shí)靈活擴(kuò)展Serverless異構(gòu)算力智能體運(yùn)行時(shí)Code

InterpreterBrowser

Use行業(yè)頭部廠商會(huì)話親和MCP場(chǎng)景強(qiáng)訴求。依賴連續(xù)會(huì)話狀態(tài)，需確保同一用戶請(qǐng)求始終路由至同一個(gè)實(shí)例，避免因?qū)嵗袚Q導(dǎo)致SessionID丟失和工具調(diào)用失敗，保障多輪交互連續(xù)性與可靠性。支持

MCPSSE/

MCPStreamable

HTTP/Header

Field/Cookie四種親和類型。會(huì)話隔離AISandbox場(chǎng)景強(qiáng)訴求。一個(gè)用戶會(huì)話（Session)獨(dú)占并綁定一個(gè)函數(shù)實(shí)例。避免不同請(qǐng)求之間的數(shù)據(jù)殘留和數(shù)據(jù)泄漏。

會(huì)話管理—會(huì)話親和&

隔離

函數(shù)計(jì)算&

MSE

Nacos：輕松部署和管控MCPServer核心痛點(diǎn)：部署運(yùn)維成本高，

MCP調(diào)試迭代必須重啟，服務(wù)分散難管理，缺乏動(dòng)態(tài)管控能力

自動(dòng)服務(wù)注冊(cè)發(fā)現(xiàn)：自動(dòng)注冊(cè)到指定MSE

Nacos實(shí)例，統(tǒng)一

服務(wù)發(fā)現(xiàn)，便于Agent客戶端/AI網(wǎng)關(guān)動(dòng)態(tài)尋址與調(diào)用。

動(dòng)態(tài)元信息管理：支持對(duì)工具描述、參數(shù)定義等元信息進(jìn)行運(yùn)行時(shí)更新，變更實(shí)時(shí)生效，無需重啟服務(wù)。

Tools動(dòng)態(tài)開關(guān)：

對(duì)特定Tool啟用禁用，實(shí)現(xiàn)故障隔離/灰度控制。

全鏈路集成：和AI

網(wǎng)關(guān)、

Nacos

MCP

router無縫對(duì)接。

免運(yùn)維：無需關(guān)心基礎(chǔ)設(shè)施，直接部署。

彈性伸縮：按請(qǐng)求自動(dòng)擴(kuò)縮，支持0-N。

低成本：

按負(fù)載自動(dòng)支持忙閑時(shí)計(jì)費(fèi)，對(duì)稀疏調(diào)用非常友好。

協(xié)議兼容：支持SSE/STDIO

/Steamable。函數(shù)計(jì)算：免運(yùn)維、低成本、彈性MSE

Nacos：統(tǒng)一管控，可維護(hù)階段二:按請(qǐng)求計(jì)費(fèi)傳統(tǒng)

FaaS計(jì)費(fèi)模式問題：為代碼運(yùn)行時(shí)刻付費(fèi)，無請(qǐng)求時(shí)

0成本。

但長(zhǎng)連接?；顖?chǎng)景（如

MCPServer/WebSocket）

因低負(fù)載存活仍計(jì)

費(fèi)，成本高。階段三:按實(shí)際資源消耗計(jì)費(fèi)Serverless

AI計(jì)費(fèi)模式價(jià)值：按實(shí)際資源消耗，精準(zhǔn)區(qū)分忙閑時(shí)計(jì)費(fèi)。消除長(zhǎng)會(huì)話/低負(fù)載?；钊哂喑杀?，無縫支持AI強(qiáng)交互場(chǎng)景。階段一:按資源租用計(jì)費(fèi)虛機(jī)/容器計(jì)費(fèi)模式問題：

為實(shí)例的持續(xù)運(yùn)行付費(fèi)。

無請(qǐng)求時(shí)不能縮0仍計(jì)費(fèi)

，

資源空轉(zhuǎn)成本高。 AI時(shí)代計(jì)費(fèi)演進(jìn)——從請(qǐng)求驅(qū)動(dòng)到價(jià)值驅(qū)動(dòng)MCP

Server基于Serverless

AI的計(jì)費(fèi)方案

，

長(zhǎng)連接閑置計(jì)費(fèi)最高降低

87%x-custom-affinity-header:SessionID-1x-custom-affinity-header:SessionID-2x-custom-affinity-header:SessionID-3mount

/user-id-1/session-id-Serverless

AI解決方案

引入會(huì)話粒度度存儲(chǔ)粘性，將會(huì)話和一個(gè)持久化的，歸屬特定租戶的存儲(chǔ)子

目錄進(jìn)行強(qiáng)綁定。

平臺(tái)基于POSIX標(biāo)準(zhǔn)多租存儲(chǔ)安全實(shí)踐框架，落地層次化縱深防御體系mount

/user-id-1/session-id-mount

/user-id-1/session-id-123NASOSS傳統(tǒng)共享存儲(chǔ)問題（虛機(jī)/容器/FaaS架構(gòu))Agent

Code

Sandbox多租戶數(shù)據(jù)共享，有安全問題。無法滿足同一個(gè)函數(shù)的每個(gè)實(shí)例路徑不同的需求。掛載存儲(chǔ)路徑是變化不確定的。

Sandbox實(shí)例動(dòng)態(tài)掛載—從計(jì)算隔離到存儲(chǔ)隔離延伸Sandbox函數(shù)實(shí)例-1實(shí)例-2實(shí)例-3

函數(shù)計(jì)算

FC

持久化存儲(chǔ)會(huì)話-1會(huì)話-2會(huì)話-3OpenWeb

UI用戶客戶案例-Serverelss+AI讓應(yīng)用開發(fā)更簡(jiǎn)單03

函數(shù)計(jì)算

FC智能體高代碼AgentRL

Sandbox

50+內(nèi)置多語(yǔ)言運(yùn)行環(huán)境，代碼執(zhí)行延遲

<100ms

會(huì)話親和/隔離架構(gòu)，滿足Agent/Sandbox上下文保持需求

零運(yùn)維、毫秒級(jí)彈性、按量付費(fèi)的企業(yè)級(jí)安全沙箱，兼容

E2BServerless智能體運(yùn)行時(shí)

函數(shù)計(jì)算

FC模型領(lǐng)域模型大語(yǔ)言模型

開箱即用，

DevPod二次開發(fā)，彈性交付

GPU，低峰縮

0

內(nèi)置vLLM/SGLang/Ollama/LMDeploy推理框架

最快30s將開源模型轉(zhuǎn)化為生產(chǎn)級(jí)OpenAI

兼容APIServerless模型運(yùn)行時(shí)

函數(shù)計(jì)算

FC工具M(jìn)CP

ServerCode

Interpreter

零改造將開源

STDIO

MCP升級(jí)為

SSE/Streamable

HTTP

原子化解耦，

MCP

Server冷熱分離，彈性伸縮

RT抖動(dòng)少

MCP

SSE親和調(diào)度，閑置計(jì)費(fèi)，低峰自動(dòng)縮

0成本最優(yōu)Serverless工具運(yùn)行時(shí)阿里內(nèi)部案例—智能體/工具運(yùn)行時(shí)最佳實(shí)踐魔搭社區(qū)、

Qwen、百煉，大規(guī)模使用函數(shù)計(jì)算

FC提供的Serverless運(yùn)行時(shí)構(gòu)建模型、智能體和AI工具Serverless運(yùn)行時(shí)已經(jīng)成為阿里云AI原生應(yīng)用的核心載體助力Qwen3-Coder成為領(lǐng)先的的代碼模型業(yè)界首個(gè)全生命周期

MCP服務(wù)市場(chǎng)2萬+熱門模型一鍵托管到云上環(huán)境客戶端Request

ResponseVPCAPI

網(wǎng)關(guān)endpoint響應(yīng)轉(zhuǎn)發(fā)任務(wù)緩存

任務(wù)分發(fā)Batch

RequestTTS

FC

GPUGPU實(shí)例并行推理框架ASR

自定義鏡像

實(shí)時(shí)/準(zhǔn)實(shí)時(shí)推理場(chǎng)景—

Serverless

GPU解決方案函數(shù)計(jì)算給吉利AI座艙的交互和娛樂功能提供大規(guī)模推理服務(wù)，共同打造大規(guī)模、高可用、高性能的推理引擎。場(chǎng)景覆蓋：意圖解析、文生圖、情感TTS等。

閃

ZEE

KR

算力成本：相比之前

IaaSGPU資源供給，

FC成本優(yōu)化33%。

算力集群簡(jiǎn)化維護(hù)：降低運(yùn)維壓力，讓業(yè)務(wù)專注模型和業(yè)務(wù)本身。

端到端高可用SLA99.99%（持續(xù)建設(shè)中）：AI推理引擎的端到端可觀測(cè)、Trace追蹤、灰度發(fā)布，

SRE保障機(jī)制等。

高性能：冷啟動(dòng)低延遲&模型預(yù)熱、推理請(qǐng)求批量執(zhí)行等。

低成本：提升GPU資源利用率

高可用：模型請(qǐng)求高可靠接入、推理服務(wù)高可靠、故障恢復(fù)。

故障恢復(fù)策略：快速定位和恢復(fù)?；?/p>

FC+

網(wǎng)關(guān)+可觀測(cè)能力打造的AI原生架構(gòu)，具備端到端高可用、高性能、低時(shí)延、性價(jià)比高的算力供給。預(yù)熱實(shí)例+忙閑時(shí)自動(dòng)計(jì)費(fèi)、一站式集成、模型優(yōu)雅上下線、多AZ等解決方案痛點(diǎn)

&挑戰(zhàn)客戶價(jià)值TTS服務(wù)endpointGPU實(shí)例WebSocketGateway任務(wù)聚合調(diào)度服務(wù)并行推理語(yǔ)音緩存模型模型初創(chuàng)公司智能家居領(lǐng)域的潮流引領(lǐng)客戶原聲場(chǎng)景:某睿科技是一家聚焦于一站式智能家居視頻解決方案的高新技術(shù)企業(yè),通過

Al

的增強(qiáng)大大擴(kuò)寬場(chǎng)景、

提升體驗(yàn)。痛點(diǎn)視頻業(yè)務(wù)有明顯的峰谷特性,深受

saas

限流、昂貴且無法定制的困擾Qwen/DeepSeek降本40%彈性不限流靈活定制0

運(yùn)維設(shè)計(jì)師定制個(gè)人工作助手客戶原聲場(chǎng)景:某4A景區(qū)設(shè)計(jì)師蔣鵬,希望用Al繪畫平臺(tái)為游客照進(jìn)行風(fēng)格化助力,增加趣味性和景區(qū)收入痛點(diǎn):

不會(huì)編程,希望開箱即用,無需操

心軟硬件維護(hù),費(fèi)用可控。ComfyUI降本78%出圖速度1圖/10分鐘

->1分鐘/12圖大型企業(yè)靈活可定制，加速業(yè)務(wù)AI創(chuàng)新客戶原聲場(chǎng)景:服裝企業(yè)森馬,希望借助

Al技術(shù)實(shí)現(xiàn)服裝行業(yè)從產(chǎn)品設(shè)計(jì)、

生產(chǎn)制造、

營(yíng)銷推廣的多場(chǎng)景提效。痛點(diǎn)適配多種開源大模型,定制化要

求高、開發(fā)周期長(zhǎng)、

GPU

持有浪費(fèi)多Stable

Diffusion降本33%迭代效率3天

->30分開發(fā)者少兒閱讀App創(chuàng)新功能客戶原聲場(chǎng)景:某朵科技是一家兒童閱讀解決方案提者,引入2.5w+繪本童書,1.5w+音頻內(nèi)容,其利用生成式語(yǔ)音大模型開發(fā)的Al

互動(dòng)閱讀解鎖閱讀新方式。痛點(diǎn)ll

idea"要快速驗(yàn)證,開發(fā)效率要

高,特別是要避免繁瑣的環(huán)境和資源維護(hù)CosyVoice開發(fā)提效客戶端開發(fā)

-

>

全棧開發(fā)ServerlessxAI，函數(shù)計(jì)算FC幫助企業(yè)跨越技術(shù)鴻溝，讓模型服務(wù)兼具SaaS體驗(yàn)

和自建優(yōu)勢(shì)模型服務(wù)

-生產(chǎn)實(shí)踐降本1萬/年

->0.5萬/年客戶痛點(diǎn)

安全風(fēng)險(xiǎn)：

AI代碼風(fēng)險(xiǎn)未知，需強(qiáng)隔離

成本壓力：流量不可預(yù)期，資源常備成本高昂

彈性瓶頸：突發(fā)流量擴(kuò)容不及時(shí)，錯(cuò)失爆款良機(jī)方案價(jià)值

輕量級(jí)安全沙箱：提供輕量、快速、虛擬機(jī)級(jí)別強(qiáng)隔離的執(zhí)

行環(huán)境。

Serverless降本：

縮容到0以及根據(jù)請(qǐng)求/CPU真實(shí)負(fù)載的忙閑時(shí)智能計(jì)費(fèi)

，完美匹配AI應(yīng)用的脈沖式調(diào)用，整體成本優(yōu)化

60%

左右

極致彈性：

基于內(nèi)存快照，

1毫秒內(nèi)從掛起狀態(tài)極速恢復(fù)會(huì)話

海量并發(fā)承載：數(shù)十萬級(jí)函數(shù)輕量化管理支持項(xiàng)目級(jí)別的分

享，支持C端用戶爆點(diǎn)項(xiàng)目的可擴(kuò)展；

百萬級(jí)

Session超高并發(fā)，滿足Agent輕量靈活與極速?gòu)椥曰诤瘮?shù)計(jì)算

FCSandbox構(gòu)建智能體開發(fā)平臺(tái) 千問強(qiáng)化學(xué)習(xí)

阿里云百煉行業(yè)頭部廠商THANKSFunction

AI：

生成式AI

的落地實(shí)踐與案例分享——

Serverless

到Serverless

AI

讓AI

應(yīng)用開發(fā)更簡(jiǎn)單世如(史明偉）阿里云云原生—Serverless—函數(shù)計(jì)算&AI

研發(fā)負(fù)責(zé)人Contents目錄01

ServerlessAI原生應(yīng)用架構(gòu)02

FunctionAI產(chǎn)品能力介紹03

ServerlessAI場(chǎng)景案例分享AI應(yīng)用組成核心抽象發(fā)生變化傳統(tǒng)應(yīng)用開發(fā)AI應(yīng)用開發(fā)服務(wù)知識(shí)庫(kù)智能體大語(yǔ)言模型記憶/工具中間件數(shù)據(jù)庫(kù)AI應(yīng)用研發(fā)的關(guān)注點(diǎn)發(fā)生變化傳統(tǒng)應(yīng)用開發(fā)：

如何確保業(yè)務(wù)邏輯正確穩(wěn)定運(yùn)行

AI

應(yīng)用開發(fā)：

如何最大可靠的發(fā)揮LLM價(jià)值A(chǔ)I業(yè)務(wù)優(yōu)先要求基礎(chǔ)設(shè)施更加敏捷高效基礎(chǔ)設(shè)施基礎(chǔ)設(shè)施業(yè)務(wù)邏輯Data

+

LLMAIAgent0代碼/低代碼/高代碼函數(shù)計(jì)算

，

函數(shù)智能

Serverless

應(yīng)用引擎多端應(yīng)用手機(jī)PADAI

網(wǎng)關(guān) AI應(yīng)用可觀測(cè)：云監(jiān)控2.0針對(duì)AI應(yīng)用提供全棧智能可觀測(cè)能力AI

網(wǎng)關(guān)ServerlessAI原生架構(gòu)新范式BuildingaNewparadigm

ofAl

NativeArchitecture

on

server

less全棧Serverless全棧高可用雙層安全簡(jiǎn)單易用AgentRuntime/AIStudioSandbox

RuntimeMCP

Runtime…Difyon

SAE

JManusSpringAIAlibaba…LLMsMSE

NacosMCP

RegistryRocketMQA2A/優(yōu)先級(jí)調(diào)度/異步通信手表生態(tài)PC消費(fèi)者鑒權(quán)流量防護(hù)Agent代理服務(wù)發(fā)現(xiàn)FCGPU

部署模型MCPServer

on

FC阿里云百煉APIToken觀測(cè)Token

限流FC

sandbox安全護(hù)欄消費(fèi)者鑒權(quán)MCP

ProxyAI

ProxyFC

GPU1.開箱即用的ServerlessGPU服務(wù)，請(qǐng)求感知調(diào)度，縮容到

0，

3AZ容災(zāi)2.整卡/切卡，細(xì)粒度資源靈活售賣；毫秒級(jí)閑置喚醒技術(shù)，冷啟動(dòng)快百倍；3.常駐資源池

+彈性資源混池，

FC提供開箱即用的Serverless混合調(diào)度能

力，更省成本，業(yè)界領(lǐng)先百倍加速模型服務(wù)1.

豐富的模型廣場(chǎng)開箱即用，支持魔搭、

HugginFace以及自訓(xùn)練開源模型一鍵托管，ServerlessGPU成本更優(yōu)2.內(nèi)置vLLM/SGLang等框架，支持

DeepGPU/Nunchaku推理加速3.DevPod模型開發(fā)/自動(dòng)打鏡像，靈活定制兼具SaaS體驗(yàn)和自建優(yōu)勢(shì)模型開發(fā)

模型運(yùn)行模型運(yùn)維

DevPod

+

推理加速

+

零運(yùn)維①生圖/視頻/語(yǔ)音/LoRA訓(xùn)練

②DeepSeek/Qwen等Serverless

GPU內(nèi)置推理加速框架模型管理AI應(yīng)用1.AgenticAI應(yīng)用開發(fā)平臺(tái)，低代碼兼容dify性能提升

10倍，高代碼默認(rèn)集成AgentScope、

Langchain、

LammaIndex、CrewAI等主流開發(fā)框架2.

開箱即用、安全隔離、極致彈性的ServerlessAI運(yùn)行時(shí)與沙箱，平均TCO降60%3.集成健康檢查、日志收集、監(jiān)控告警，減少90%

的人工運(yùn)維工作量

Agent廣場(chǎng)

①深度定制，高性能②簡(jiǎn)單靈活，快速上手高代碼低代碼

FunctionAI：從算力到應(yīng)用，AI全棧升級(jí)魔搭社區(qū)、

Qwen、百煉、

PAI、

Qoder，大規(guī)模使用函數(shù)計(jì)算

FC提供的ServerlessAI運(yùn)行時(shí)構(gòu)建模型、智能體和工具AgentRun基礎(chǔ)設(shè)施

請(qǐng)求感知調(diào)度實(shí)時(shí)負(fù)載分析與請(qǐng)求感知調(diào)度，資源效率最高，時(shí)延更穩(wěn)定一鍵部署上云開源模型一鍵轉(zhuǎn)化為兼容OpenAI、生產(chǎn)可用的

ServerlessAPIAPI

&

SDK用戶發(fā)起推理請(qǐng)求請(qǐng)求達(dá)到函數(shù)網(wǎng)關(guān)EGS/裸金屬/ASIT4/A10/L20/4090/H20/

…ECS/裸金屬5/6/7/8代+Spot混用靈駿PPU/H20/

…+

自動(dòng)彈性業(yè)界領(lǐng)先（毫秒級(jí)）+

閑置喚醒

輕量靈活

1/N切卡常駐資源池（用戶）彈性資源池（平臺(tái)）請(qǐng)求彈性

定時(shí)彈性

水位伸縮

模型廣場(chǎng)領(lǐng)域模型運(yùn)行時(shí)與沙箱模型管理憑證管理?Noggin

g

Face

自訓(xùn)練模型上下文管理評(píng)估與強(qiáng)化學(xué)習(xí)數(shù)據(jù)分析師工具市場(chǎng)智能陪伴可觀測(cè)智能客服研究助理AICodingAgentScopeLlamaIndexLangchainFlow模式快速創(chuàng)建AI自動(dòng)生成大語(yǔ)言模型Contents目錄01

ServerlessAI原生應(yīng)用架構(gòu)02

FunctionAI產(chǎn)品能力介紹03

ServerlessAI場(chǎng)景案例分享FunctionAI：讓AI應(yīng)用開發(fā)更簡(jiǎn)單FunctionAI

一鍵創(chuàng)建應(yīng)用海量Serverless

AI應(yīng)用模板，開箱即用，支持二次開發(fā)魔搭社區(qū)、百煉官方集成，

開源模型/智能體應(yīng)用增強(qiáng)AI

運(yùn)行時(shí)內(nèi)置vLLM,SGLang,Ollama,

HuggingFace

推理框架MCP

運(yùn)行時(shí)內(nèi)置MCP

開發(fā)框架，

STDIO

零改造升級(jí)SSE無縫升級(jí)AI

應(yīng)用開發(fā)范式圖像生成FunArtAgent開發(fā)AgentRunAgent低代碼AIStudio模型托管FunModel應(yīng)用開發(fā)

應(yīng)用市場(chǎng)組裝式開發(fā)，彈性開放，按需選擇模型服務(wù)享受PaaS自由度的同時(shí)獲得SaaS便捷性，按調(diào)用量付費(fèi)，模型部署成本降低90%ServerlessAPI模型服務(wù)：AI模型一鍵轉(zhuǎn)化為ServerlessAPIModel

service:one

clickAI

Modeltoserver

lessAPI

Transformation開源模型一鍵部署，AI模型一鍵Serverless化，云端模型開發(fā)部署零門檻函數(shù)計(jì)算-Serverless

GPU自然語(yǔ)言處理

語(yǔ)音計(jì)算機(jī)視覺計(jì)算科學(xué)多模態(tài)模型類型模型市場(chǎng)模型框架免運(yùn)維/低運(yùn)維與ComfyUI/SDDify等生態(tài)一鍵聯(lián)動(dòng)百萬級(jí)實(shí)例規(guī)模*毫秒級(jí)彈性*按量付費(fèi)，降低成本Devpod模型在線開發(fā)/構(gòu)建按量付費(fèi)CPU+GPU集群6+模型框架一鍵托管

與Agent服務(wù)一鍵集成100+熱門模型在線體驗(yàn)

200+模型一鍵部署HuggingFace大語(yǔ)言模型Transformers/PyTorch垂類模型vLLM/SGLang/OllamaModelscope價(jià)格低極速模式無冷啟動(dòng)價(jià)格高預(yù)留模式無冷啟動(dòng)價(jià)格低彈性模式冷啟動(dòng)長(zhǎng)*毫秒級(jí)彈性和百萬規(guī)模集群緊針對(duì)部分模型的測(cè)試結(jié)果，并不代表全部模型都可以具備該能力企業(yè)級(jí)server

lessAPI

調(diào)用高性價(jià)比的GPU彈性算力；支持一鍵將ComfyUI工作

流、

Stable

Diffusion發(fā)布為API，實(shí)現(xiàn)資源獨(dú)享，自動(dòng)彈性擴(kuò)容，內(nèi)置隊(duì)列，支持異步調(diào)用文生圖/聲音/視頻：多模態(tài)AI創(chuàng)作平臺(tái)Text-to-Image/Audio/video:Multi

modal

AIl

creativeplatformCPU/GPU

分離(即將發(fā)布)將開發(fā)和運(yùn)行分離，開發(fā)態(tài)不再消耗GPU資源，由CPU資源負(fù)責(zé)用戶的流程開發(fā)，只有調(diào)試執(zhí)行生圖操作時(shí)才調(diào)度GPU資源完成內(nèi)容渲染。文生圖生圖/文生視頻提供開箱即用的云端ComfyUI，

Stable

Diffusion工具，解決部署安裝復(fù)雜，及本地環(huán)境顯存限制問題。提供模型廣場(chǎng)，插件廣場(chǎng)，工作流廣場(chǎng)加速業(yè)務(wù)開發(fā)。LORA模型訓(xùn)練提供

Muse

LoRa，

Kohya

Lora等多種

LoRA訓(xùn)練器，解決從數(shù)據(jù)集打標(biāo)到模型訓(xùn)練的全過程。多模態(tài)內(nèi)容生成引擎，AI創(chuàng)作零門檻AgentRun:AgenticAI應(yīng)用基礎(chǔ)設(shè)施AgentRun:AgenticAIApplication

Infrastructure函數(shù)計(jì)算/FunctionAI賦能企業(yè)AI應(yīng)用高效開發(fā)與穩(wěn)定運(yùn)行開發(fā)部署運(yùn)維函數(shù)計(jì)算

FC連續(xù)三次入圍《ForresterWavem:Serverless

DevelopmentPlatforms》領(lǐng)導(dǎo)者象限亞太區(qū)第一，全球前三SandboxCodeInterprete

rBrowserUseComputeUsemobileUseRuntimeAPI

網(wǎng)關(guān)AI

網(wǎng)關(guān)AgentToolsModel全棧監(jiān)控智能體框架無侵入埋點(diǎn)和鏈路跟蹤，

全鏈路Agent、

LLM、網(wǎng)關(guān)、運(yùn)行時(shí)指標(biāo)和日志成本管理及質(zhì)量評(píng)估使用評(píng)測(cè)模型對(duì)輸入輸出進(jìn)行評(píng)估，

涵蓋語(yǔ)義、質(zhì)量、安全風(fēng)險(xiǎn)AI/Ml平臺(tái)預(yù)集成與

FC、容器，

PAI，百煉默認(rèn)集成，

一鍵接入可觀測(cè)數(shù)據(jù)采集與可觀測(cè)大盤RocketMQ異步調(diào)用Agent/MCP/

Prompt注冊(cè)API網(wǎng)關(guān)

CloudFlow開箱即用

異構(gòu)算力安全隔離（請(qǐng)求/會(huì)話/函數(shù)）GPU算力解耦&

1/N切分內(nèi)置多語(yǔ)言執(zhí)行引擎

xPU算力

百煉云監(jiān)控

GPU算力

CPU算力Header/Prams打標(biāo)SLSARMSAI

網(wǎng)關(guān)流量灰度高代碼深度定制，低代碼快速搭建，全面提升AI應(yīng)用開發(fā)效率智能路由

語(yǔ)義檢索自然語(yǔ)言AI生成AgentScopeAgentScope輕量、安全隔離、極致彈性的ServerlessAI運(yùn)行時(shí)輕量化函數(shù)會(huì)話親和流程編排細(xì)粒度資源毫秒級(jí)彈性……服務(wù)治理與可觀測(cè)，為AI應(yīng)用保駕護(hù)航快速創(chuàng)建Function

CallToolsRuntimeToken

限流模型路由Token配額AgentRuntime…….Agent-NAgent-1ModelRuntimeLLM-1LLM-1LLM-1MCP……低代碼高代碼basebasebasegraygraygrayA2A協(xié)議工作流引擎標(biāo)準(zhǔn)工作流

（Standard）

快速工作流

（Express）畫布&視圖AIStudio

CloudStudioLLM/Agent

知識(shí)檢索條件分支/并行/迭代

更多

…版本管理日志/監(jiān)控/鏈路追蹤別名流量灰度沙箱隔離/彈性擴(kuò)縮交互式開發(fā)可觀測(cè)/可運(yùn)維/可靠交付定時(shí)觸發(fā)消息隊(duì)列日志HTTP…AIStudio:高性能低代碼Agent開發(fā)平臺(tái)代碼執(zhí)行函數(shù)計(jì)算MCP

MarkplaceModel

Registry基礎(chǔ)組件拓展自定義觸發(fā)調(diào)度Contents目錄01

ServerlessAI原生應(yīng)用架構(gòu)02

FunctionAI平臺(tái)能力介紹03

ServerlessAI場(chǎng)景案例分享成本難以控制平常資源消耗相對(duì)平穩(wěn)，傳統(tǒng)包月方案資源配置不夠靈

活，資源閑置率較高彈性能力要求極高AIGC課程高峰期需要幾分鐘內(nèi)彈出幾百?gòu)埧ǖ腉PU資源，彈性能力要求很高與光同塵AIGC案例：業(yè)務(wù)特點(diǎn)及挑戰(zhàn)業(yè)務(wù)流量在平峰與高峰期有十幾倍的Gap業(yè)務(wù)發(fā)展迅速，人員需要聚焦在業(yè)務(wù)本身，傳統(tǒng)方案運(yùn)維程序繁瑣，大大增加運(yùn)維的工作量運(yùn)維管理投入大維度

(模型服務(wù)商)paas(函數(shù)計(jì)算

Function)laas

(VM/容器自建)安全×

數(shù)據(jù)風(fēng)險(xiǎn)高：數(shù)據(jù)在第三方，合規(guī)不可控?

數(shù)據(jù)風(fēng)險(xiǎn)低：數(shù)據(jù)在客戶私網(wǎng)，廠商基礎(chǔ)安全保障?

數(shù)據(jù)風(fēng)險(xiǎn)低:數(shù)據(jù)在客戶私網(wǎng)，廠商基礎(chǔ)安全保障效率?

開發(fā)效率最高：開箱即用，零配置×幾乎不可定制：無法修改底層框架，可選模型少?

開發(fā)效率高：開箱即用，無需管服務(wù)器及其環(huán)境依賴?

定制效率高：框架/模型自由，開源選擇多×開發(fā)效率低：需手動(dòng)配置集群、網(wǎng)絡(luò)、依賴×定制效率低：小規(guī)模效率高，大規(guī)模效率低可靠?

可靠性最高：?

可靠性高：×

可靠性低：服務(wù)商提供SLA，自動(dòng)容災(zāi)3AZ高可用，自動(dòng)容災(zāi)自主實(shí)現(xiàn)高可用架構(gòu)×完全黑盒：?

黑盒+白盒：?

完全白盒：故障依賴服務(wù)商修復(fù)自帶監(jiān)控日志鏈路追蹤等工具需要自建監(jiān)控日志，代價(jià)高彈性?

有限彈性：按請(qǐng)求彈性，配額受限則不可再?gòu)棥?/p>

成本不可控：按請(qǐng)求單價(jià)高，突發(fā)流量費(fèi)用激增?

極致彈性：按請(qǐng)求彈性，毫秒/秒級(jí)供給資源?

成本可控：按資源單價(jià)低，利用率高浪費(fèi)少×

普通彈性：手動(dòng)/自動(dòng)擴(kuò)展VM或

Pod，分鐘級(jí)×

成本可控：按資源單價(jià)低，利用率低浪費(fèi)多基于上頁(yè)提到的挑戰(zhàn)，我們可以發(fā)現(xiàn)IaaS基于成本、效率、穩(wěn)定性、彈性上均不滿足我們要求。與光作為創(chuàng)企，在

PoC

階段快速驗(yàn)證效果，

SaaS/

PaaS

的開箱即用無疑是最簡(jiǎn)單的選擇。隨著規(guī)模擴(kuò)大，從百卡

GPU

需求增長(zhǎng)到千卡級(jí)別，核心業(yè)務(wù)的自建和創(chuàng)新PaaS無疑是

ROI最高的選擇。等到業(yè)務(wù)成熟，有專業(yè)團(tuán)隊(duì)，

PaaS/IaaS

自建是追求自主可控的必然選擇。函數(shù)計(jì)算作為

PaaS產(chǎn)品，從安全、成本、告警監(jiān)控、問題排查、異步調(diào)度等多個(gè)方面能平滑滿足各階段的需求一般有

2種技術(shù)選型：模型服務(wù)商（如

OpenAI、百煉等）、

開源自建（Qwen、

DeepSeek、

ComfyUI、

SD

等）技術(shù)選型統(tǒng)一資源調(diào)度平臺(tái)運(yùn)維模型訓(xùn)練與評(píng)測(cè)模型API萬相系列Qwen系列第三方模型

容器服務(wù)

SAE

函數(shù)計(jì)算

FC

消息隊(duì)列

RocketMQ網(wǎng)絡(luò)

數(shù)據(jù)庫(kù)

RDS 對(duì)象存儲(chǔ)OSSAIGC教育培訓(xùn)短劇創(chuàng)作商業(yè)影片生成圖片編輯腳本擴(kuò)寫協(xié)作管理一鍵導(dǎo)出提案智能分鏡生成快速生成視頻輕松拖拽時(shí)間線想法裂變技術(shù)架構(gòu)模型設(shè)計(jì)數(shù)據(jù)采集與處理函數(shù)管理數(shù)據(jù)資產(chǎn)模型訓(xùn)練模型盲評(píng)模型廣場(chǎng)工作流廣場(chǎng)基礎(chǔ)設(shè)施層應(yīng)用運(yùn)維異步任務(wù)監(jiān)控報(bào)警賬號(hào)管理彈性API實(shí)例登陸應(yīng)用層平臺(tái)層模型集成服務(wù)發(fā)布上線速度分鐘級(jí)系統(tǒng)

SLA達(dá)到4

個(gè)

9效率革命與成本重構(gòu)工作空間

+生產(chǎn)API

獨(dú)立計(jì)費(fèi)ComfyUI

+

Flux提速

2

倍多種生產(chǎn)工作流可用一鍵部署

+模型管理

UI界面與光AI視覺生成APIFLUX模型Qwen-Image其他模型

…

…SD

模型WANX模型30%模型加載速度提升50%運(yùn)維效率提升文/圖生視頻分鏡生成圖片編輯發(fā)布效率提升推理速度提升

隨著AI浪潮的發(fā)展，吉利汽車在今年推出新一代AI智能化服務(wù)，成為核心競(jìng)爭(zhēng)力之一，在吉利銀河

M9車型深度搭載。

基于阿里云函數(shù)計(jì)算的ServerlessGPU算力集群為AI座艙的交互和娛樂功能提供大模型推理服務(wù)，共同打造大規(guī)模、高可用、高性能的推理引擎。

場(chǎng)景涵蓋意圖解析、文生圖、情感TTS等。尤其在語(yǔ)音交互方面，吉利自研超擬人TTS，采用大量微調(diào)和訓(xùn)練，打造吉利汽車專屬的逼真、富有情感、自然生動(dòng)又穩(wěn)定一致的語(yǔ)音交互體驗(yàn)。AI上更闊氣的家/AI上更百變的家/AI上更智慧的家/AI上更強(qiáng)大的家/AI上更輕松的家/AI上更安心的家AI讓生活更美好AI

Makes

Life

Better函數(shù)計(jì)算彈性GPU

算力服務(wù)

統(tǒng)一網(wǎng)關(guān)服務(wù)

公有云

TTS

服務(wù)

公有云調(diào)度服務(wù)

公有云生圖服務(wù)

健康檢測(cè)服務(wù)

公有云多模態(tài)模型服務(wù)

日志采集服務(wù)

...

公有云量產(chǎn)區(qū)研發(fā)項(xiàng)目1研發(fā)項(xiàng)目2資源統(tǒng)一池化+統(tǒng)一調(diào)度吉利汽車AI業(yè)務(wù)部署架構(gòu)Ge

ely

AutomobileAI

ApplicationDeploymentArchitecture

領(lǐng)克

…車端ToB

平臺(tái)

星睿智算中心通用區(qū)（長(zhǎng)興）訓(xùn)練資源池?cái)U(kuò)展異構(gòu)算力資源：GPUTTS服務(wù)圖像多模態(tài)服務(wù)模型訓(xùn)練共享存儲(chǔ)：高性能存儲(chǔ)/NAS/對(duì)象存儲(chǔ)

吉利

極氪高校/對(duì)外

生態(tài)合作動(dòng)態(tài)GPU資源池平臺(tái)能力復(fù)用數(shù)據(jù)共享

B端業(yè)務(wù)推理區(qū)

研發(fā)訓(xùn)練資源ToB智能體服務(wù)PD分離潮汐部署訓(xùn)推調(diào)度DMZ對(duì)外服務(wù)區(qū)ToC

平臺(tái)生圖系統(tǒng)服務(wù)測(cè)試資源池ASR服務(wù)共享存儲(chǔ)研發(fā)項(xiàng)目3研發(fā)項(xiàng)目5研發(fā)項(xiàng)目4使用…客戶Z

作為中國(guó)最大的問答社區(qū)之一，每天面臨海量?jī)?nèi)容審核需求，傳統(tǒng)人工審核方式效率低下，難以應(yīng)對(duì)突發(fā)流量。解決方案基于AIStudio工作流引擎構(gòu)建LLM

內(nèi)容審查系統(tǒng)，

采用多級(jí)審核流程：?第一級(jí)：基于規(guī)則的快速過濾?

第二級(jí)：

LLM語(yǔ)義理解和上下文分析?第三級(jí)：人工確認(rèn)和反饋學(xué)習(xí)技術(shù)亮點(diǎn)?

利用AIStudio高吞吐特性，

支持1000QPS的內(nèi)容審核需求?

沙箱環(huán)境確保敏感內(nèi)容處理安全性?

彈性伸縮應(yīng)對(duì)突發(fā)流量，降低資源成本AIStudio場(chǎng)景案例：社區(qū)內(nèi)容審查挑戰(zhàn)云上開源自建托管Dify挑戰(zhàn)客戶S

作為中國(guó)家電市場(chǎng)著名品牌，

需要為客戶提供智能化家電控制能力，通過手機(jī)，語(yǔ)音對(duì)話進(jìn)行家電交互。對(duì)于Agent的響應(yīng)效率和并發(fā)處理性能提出了嚴(yán)苛的要求。技術(shù)亮點(diǎn)?

利用AIStudio

高吞吐，高并發(fā)滿足并發(fā)要求，

高性能滿足響應(yīng)要求?代碼處理節(jié)點(diǎn)，沙箱環(huán)境確保敏感內(nèi)容處理安全性?

彈性伸縮應(yīng)對(duì)突發(fā)流量，降低資源成本，應(yīng)對(duì)家電用戶動(dòng)態(tài)流量需求AIStudio場(chǎng)景案例：智能家電交互?Agent

Sandbox

Runtime：

如CodeSandbox、

Browser

Use

Sandbox、仿真訓(xùn)練Sandbox、

RL

Sandbox?成本最優(yōu)：

按請(qǐng)求擴(kuò)縮，提升AI

Agent資源利用率，降低資使用源成本?多租強(qiáng)隔離：

安全容器+動(dòng)態(tài)存儲(chǔ)掛載，為每個(gè)啟動(dòng)的Agent提供干凈獨(dú)占的運(yùn)行環(huán)境?啟動(dòng)速度快：CPU百毫秒彈性伸縮?內(nèi)置完善的監(jiān)控日志能力：

OpenTelemetryTrace支持?會(huì)話親和調(diào)度：

保持業(yè)務(wù)運(yùn)行時(shí)及業(yè)務(wù)上下文?業(yè)務(wù)隔離：

運(yùn)行時(shí)支持按請(qǐng)求隔離，

會(huì)話隔離智譜Sandbox場(chǎng)景案例：為Chat

Coding提供安全的驗(yàn)證環(huán)境MCP行業(yè)案例：百煉、魔搭社區(qū)

MCP服務(wù)市場(chǎng)聯(lián)合魔搭社區(qū)發(fā)布最大MCP

中文社區(qū)，聯(lián)合百煉發(fā)布業(yè)界首個(gè)全生命周期MCP

服務(wù)市場(chǎng)，將MCP

沉淀為平臺(tái)資產(chǎn)STDIO零改造升級(jí)為MCP快速開發(fā)和部署MCP服務(wù)百煉全周期MCP服務(wù)魔搭社區(qū)MCP

市場(chǎng)FunctionAI客戶交流群/welcomeTHANKSServerless應(yīng)用引擎SAE：

從傳統(tǒng)應(yīng)用到AI應(yīng)用的一站式托管賦能企業(yè)安全高效構(gòu)建部署

AI智能體應(yīng)用盧令Serverless

應(yīng)用引擎（Serverless

AI|App

Engine）技術(shù)負(fù)責(zé)人Contents目錄01

傳統(tǒng)應(yīng)用運(yùn)維的9簡(jiǎn)、穩(wěn)、省9

優(yōu)化之道02

加速AI創(chuàng)新：從快速探索到高效落地傳統(tǒng)應(yīng)用運(yùn)維的9簡(jiǎn)、穩(wěn)、省9優(yōu)化之道01平臺(tái)提供的

K8s集群

+微服務(wù)引擎

+ARMS應(yīng)用監(jiān)控

+SLS

LogtailIaaS資源層

（神龍+ECI+VPC+

…)單體Web應(yīng)用屏蔽

K8s系統(tǒng)復(fù)雜性?產(chǎn)品化支持多種灰度策略：藍(lán)綠發(fā)布，滾動(dòng)升級(jí)，全鏈路灰度，標(biāo)簽路由等。?

以應(yīng)用維度暴露給業(yè)務(wù)使用方，以優(yōu)化的界面暴露給業(yè)務(wù)研發(fā)。?免費(fèi)提供全鏈路的無侵入式監(jiān)控，和微服務(wù)治理能力?企業(yè)級(jí)特性的加強(qiáng)：符合企業(yè)習(xí)慣的權(quán)限管理，優(yōu)化的批量操作，巡檢等。兼容容器生態(tài)?

無縫容器鏡像部署模式，解決無廠商綁定?支持

K8sAPI接口，無縫支持ArgoCD，

Rancher等CICD平臺(tái)?

支持Sidecar模式，可以自定義安裝Agent能力?

支持

KubectlYaml部署，保留容器黑屏操作能力全套微服務(wù)治理運(yùn)維配套自動(dòng)構(gòu)建鏡像權(quán)限隔離/審批生命周期管理 簡(jiǎn)：一站式容器托管平臺(tái)，讓運(yùn)維更簡(jiǎn)單應(yīng)用管理SpringCloud/

Dubbo無縫遷移Serverless應(yīng)用引擎（SAE）一鍵啟停環(huán)境限流降級(jí)日志

&鏈路監(jiān)控CICD集成事件中心分批/金絲雀發(fā)布微服務(wù)流量灰度端云聯(lián)調(diào)日志管理服務(wù)鑒權(quán)無損上下線自動(dòng)彈性伸縮Java冷啟動(dòng)加速移動(dòng)APP后臺(tái)阿里云沙箱容器2.0zip源碼包

/Docker鏡像等多種方式部署微服務(wù)應(yīng)用小程序后臺(tái)通過

war/jar/phpSaaS類服務(wù)定時(shí)/xxl-Job業(yè)務(wù)應(yīng)用...跨可用區(qū)容災(zāi)（Multi-AZ）?

應(yīng)用實(shí)例自動(dòng)分發(fā)至多可用區(qū)（AZ），單區(qū)故障秒級(jí)流量切換，可用性達(dá)99.95%+。?

秒級(jí)自動(dòng)切換，

RTO≈0，

RPO≈0智能流量調(diào)度?

同可用區(qū)優(yōu)先路由：優(yōu)先訪問同AZ

實(shí)例，跨區(qū)延遲降低80%（1ms→0.2ms）。?

全局負(fù)載均衡（

SLB）：故障時(shí)自動(dòng)

切換至健康A(chǔ)Z

，業(yè)務(wù)零中斷。移動(dòng)應(yīng)用Web應(yīng)用合作伙伴內(nèi)部系統(tǒng)

AI應(yīng)用云原生網(wǎng)關(guān)

服務(wù)統(tǒng)一出口微服務(wù)治理云原生可觀測(cè)安全防護(hù)t

多可用區(qū)容災(zāi)SAE默認(rèn)應(yīng)用實(shí)例分散部署在多個(gè)可用區(qū)，實(shí)現(xiàn)跨機(jī)房容災(zāi)。單個(gè)可用區(qū)故障時(shí)，流量自動(dòng)切換至其他可用區(qū)，保障業(yè)務(wù)連續(xù)性。 穩(wěn)：從架構(gòu)到防護(hù)，全程保障線上穩(wěn)定運(yùn)行全托管運(yùn)維?

無需維護(hù)資源，

自動(dòng)維護(hù)多AZ資源池，無需手動(dòng)配置，運(yùn)維成本降低70%。?

按需跨

AZ彈性伸縮，資源利用率提升50%SAE應(yīng)用可用區(qū)C多可用區(qū)優(yōu)勢(shì)多可用區(qū)容災(zāi)對(duì)于SAE是默認(rèn)的能力：一鍵開啟SAE內(nèi)部架構(gòu)示意圖可用區(qū)B可用區(qū)A

OSS存儲(chǔ)

安全防護(hù)

NAS存儲(chǔ)注冊(cè)配置中心?當(dāng)流量突發(fā)超過預(yù)設(shè)閾值時(shí)，SAE秒級(jí)擴(kuò)展資源至

集群規(guī)模100%上限，單應(yīng)用支持萬級(jí)實(shí)例瞬間拉起，承載百萬級(jí)

QPS

沖

瞬時(shí)響應(yīng)擊，保障業(yè)務(wù)零降級(jí)、零中斷。?

擴(kuò)容過程不斷開現(xiàn)有連接、不變更

零感知切換服務(wù)IP

，業(yè)務(wù)流量無感知切換至新實(shí)例，服務(wù)連續(xù)性100%保障。秒級(jí)計(jì)費(fèi)粒度?突發(fā)時(shí)按秒計(jì)費(fèi)擴(kuò)容，流量回落后自動(dòng)縮容至基線實(shí)例數(shù)，閑時(shí)成本直降50%。極速擴(kuò)容（秒級(jí)拉起實(shí)例）、高并發(fā)承載能力?無需人工干預(yù)，系統(tǒng)實(shí)時(shí)監(jiān)控流量（如QPS、CPU）并觸發(fā)擴(kuò)容。?通過資源超分配（

Over-Subscription）技術(shù)，在不增加實(shí)例數(shù)的條件下提升單實(shí)例處理能力，避免傳統(tǒng)橫向擴(kuò)容

的復(fù)雜度。?基線+彈性組合都Serverless

付費(fèi)

?。簶O致資源利用率：按需付費(fèi)

+零冗余

+超賣讓利核心競(jìng)爭(zhēng)力靈活應(yīng)對(duì)資源變化混合計(jì)費(fèi)模式非橫向擴(kuò)容全自動(dòng)觸發(fā)。加速AI創(chuàng)新：從快速探索到高效落地02企業(yè)真正需要的是：開箱即用的開發(fā)體驗(yàn)

+生產(chǎn)級(jí)的性能、穩(wěn)定性及安全保障運(yùn)維復(fù)雜度高?

本地部署復(fù)雜且維護(hù)成本高，需

要頻繁升級(jí)版本?

需要自己管理應(yīng)用的版本發(fā)布?

周邊配套不完善：沒有配套的治理、可觀測(cè)體系，事前事后無法及時(shí)發(fā)現(xiàn)并定位問題安全合規(guī)風(fēng)險(xiǎn)?

流量防護(hù)弱，很容易被穿透?

數(shù)據(jù)隱私與合規(guī)性管理困難開源平臺(tái)性能差?

各組件（如：Worker、

Plugin、數(shù)據(jù)庫(kù)等）參數(shù)非最優(yōu)配置?

管控面與數(shù)據(jù)鏈路耦合，高并發(fā)無法保證穩(wěn)定性?

數(shù)據(jù)源存儲(chǔ)格式單一，推理服務(wù)需要大量的計(jì)算資源，資源分配不均會(huì)導(dǎo)致性能瓶頸成本不可控?

資源錯(cuò)配，要么業(yè)務(wù)低峰期閑置燒錢，要么業(yè)務(wù)高峰期瞬間被打滿，影響業(yè)務(wù)?

人力維護(hù)投入大規(guī)?；涞谹I應(yīng)用的痛點(diǎn)+SAE算力支持SAE在AI原生應(yīng)用領(lǐng)域的定位不做開發(fā)平臺(tái)的替代者，

而是做它們的“護(hù)航艦”SAE致力于托管主流開源AI智能體應(yīng)用開發(fā)平臺(tái)（深度適配+全局賦能）AI原生應(yīng)用架構(gòu)云原生

應(yīng)用架構(gòu)向量數(shù)據(jù)庫(kù)MySQL/Redis/OSSServerlessK8s大模型（通義…）大數(shù)據(jù)（Blink+ES）CPUGPU微服務(wù)1微服務(wù)3微服務(wù)2ToolsDifyMemory手機(jī)APPPCPC生態(tài)IOT手機(jī)APPAPI

GatewayAPI管理流量防護(hù)WAF防護(hù)服務(wù)發(fā)現(xiàn)端

&生態(tài)手機(jī)手表PCPAD生態(tài)AI

GatewayAI

ProxyToken限流綠網(wǎng)/敏感信息過濾Cache/

RAGTools/MCPServerServerless（AI）應(yīng)用引擎托管AIAgents方案優(yōu)勢(shì)簡(jiǎn)單易用?

一分鐘創(chuàng)建AI應(yīng)用，無需任

何額外配置?

默認(rèn)集成全鏈路監(jiān)控，保證系

統(tǒng)穩(wěn)定性?

無需關(guān)系底層資源，按需彈縮

資源持續(xù)迭代?

SAE默認(rèn)具備灰度發(fā)布，分

批發(fā)布，鏡像加速，

Pod粒

度監(jiān)控，保證

Dify進(jìn)行安全

二次開發(fā)?Dify版本更新快，通過SAE

可安全兼容升級(jí)。安全保障?

全鏈路提供防護(hù)策略：

Ddos

防護(hù)，Web防護(hù)墻，流量防

護(hù)，云安全中心。?

VPC

內(nèi)獨(dú)立部署，數(shù)據(jù)不出安全域，保證數(shù)據(jù)絕對(duì)安全低成本?

按需按量付費(fèi)，潮汐流量彈性使用，無需冗余保證資源?

支持多種規(guī)格資源，并提供閑時(shí)計(jì)量資源類型，提供更低成本的算力穩(wěn)定高可用?

配置化，支持三AZ部署，默認(rèn)支持智能化可用區(qū)，實(shí)

例粒度的自動(dòng)化遷移?

默認(rèn)支持負(fù)載均衡與健康檢查聯(lián)動(dòng)保證無損上下線模型通義LlamaSAE全托管AI

智能體解決方案Serverless

App（AI）

EngineAI智能體（Agents)Jmanus/Dify/workflow

….工具集MCP

ServerRAGDocument

ReaderDocumentTransformerEmbedding

ModelVector

StoreMemoryLocal

Memory

Chat

MemoryRedis

Memory…PromptPromptTemplate

Dynamic

PromptModelChat

Model

Image

Model低成本?

推出

Besteffort，輕量版算力，讓業(yè)

務(wù)享受到云算力的讓利。?

無需擴(kuò)縮，就可以用閑置能力支持業(yè)務(wù)的低峰，成本降低80%。?

專業(yè)版免費(fèi)提供全鏈路的無侵入式監(jiān)

控和微服務(wù)治理能力。靈活+性能?

一鍵部署及版本升級(jí)：

Dify

，Jmanus，

OpenManus

，Airflow等成熟框架?

支持

K8syaml，

kubectl快速部署任

何的開源AI框架?

性能優(yōu)化：參數(shù)調(diào)優(yōu)、控制面與數(shù)據(jù)

面分離?

無廠商綁定降本增效-低成本托管AI應(yīng)用套件Agent啟動(dòng)加速

-默認(rèn)具備鏡像加速普通容器啟動(dòng)慢根因：

1.容器啟動(dòng)之前，

OCIV1標(biāo)準(zhǔn)的鏡像下載和解壓耗時(shí)大2.應(yīng)用啟動(dòng)僅依賴6.4%的鏡像數(shù)據(jù)DADI鏡像加速方案：轉(zhuǎn)化鏡像格式、

OnDemand

read

（按需加載啟動(dòng)容器）加速原理3.混合彈性（定時(shí)彈性

&指標(biāo)彈性混用）適用于固定時(shí)段內(nèi)有突發(fā)流量、典型脈沖，常穩(wěn)時(shí)段內(nèi)流量波動(dòng)不均的應(yīng)用場(chǎng)景，多用于媒體報(bào)社

/在線教育

/語(yǔ)音識(shí)別合成等行業(yè)。應(yīng)用實(shí)例常規(guī)默認(rèn)值(基于CPU彈）eg：最大10，最小2特殊時(shí)間段1eg：最大30，最小15特殊時(shí)間段Neg：

最大50，最小40優(yōu)勢(shì)：比開源K8s

HPA指標(biāo)豐富，且可以自定義指標(biāo)。1.指標(biāo)彈性（CPU、

Mem、QPS、

RT等）適用于有突發(fā)流量、典型脈沖的應(yīng)用場(chǎng)景，

多用于互娛/游戲

/社交平臺(tái)

/

電商等行業(yè)。應(yīng)用實(shí)例優(yōu)勢(shì)：比開源K8s

HPA指標(biāo)豐富，且可以自定義指標(biāo)。2.定時(shí)彈性適用于資源畫像存在周期性的應(yīng)用場(chǎng)景，多用于餐飲/

出行

/證券

/

醫(yī)療政府等行業(yè)

。應(yīng)用實(shí)例優(yōu)勢(shì)：操作簡(jiǎn)單，易用。作為SAE的核心競(jìng)爭(zhēng)力，相對(duì)傳統(tǒng)

ECS的彈性，

SAE更精準(zhǔn)更降本；相對(duì)

K8s彈性，

SAE

的指標(biāo)和策略更豐富，上手門檻更低。應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例運(yùn)維配套-

自定義彈性伸縮應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例……………生產(chǎn)環(huán)境命名空間一鍵開啟所有應(yīng)用所有應(yīng)用的實(shí)例均縮容到0，不產(chǎn)生計(jì)費(fèi)。但系統(tǒng)會(huì)保留應(yīng)用配置信息，便于需要時(shí)一鍵秒級(jí)拉起?！滋?/p>

夜晚定時(shí)啟停中大型企業(yè)多套環(huán)境，內(nèi)部環(huán)境長(zhǎng)期資源浪費(fèi)，使用SAE一鍵啟停，可以節(jié)省一部分資源成本。一鍵起停開發(fā)測(cè)試環(huán)境測(cè)試環(huán)境命名空間測(cè)試環(huán)境命名空間生產(chǎn)環(huán)境命名空間應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例應(yīng)用實(shí)例一鍵停止所有應(yīng)用一鍵開啟所有應(yīng)用一鍵開啟所有應(yīng)用…………AI應(yīng)用全棧統(tǒng)一監(jiān)控?支持單批、分批、金絲雀等發(fā)布策略。支持按流量灰度、按內(nèi)容灰度。批次間自動(dòng)/手動(dòng)任選?發(fā)布過程可監(jiān)控，白屏化實(shí)時(shí)查看發(fā)布日志和結(jié)果，及時(shí)定位，?允許人工介入控制發(fā)布流程，手動(dòng)確認(rèn)通過、異常中止、

一鍵回滾將阿里巴巴沉淀多年的安全生產(chǎn)實(shí)踐產(chǎn)品化

，應(yīng)用生命周期管理純白屏化操作，

應(yīng)用發(fā)布可灰度、可觀測(cè)、可回滾。運(yùn)維配套-可灰度、可觀測(cè)、可回滾SAEAI場(chǎng)景模板市場(chǎng)SAEAI場(chǎng)景模板市場(chǎng)

-

Dify創(chuàng)建SAEAI場(chǎng)景模板市場(chǎng)

-

Dify創(chuàng)建THANKS傳統(tǒng)架構(gòu)

Serverless容器化遷移實(shí)踐SAE賦能企業(yè)高效、穩(wěn)定、無縫實(shí)現(xiàn)全托管容器化楊躍山阿里云云原生高級(jí)架構(gòu)師成本?

成本壓力大?

歷史包袱大，需要考慮遺留系

統(tǒng)，系統(tǒng)考慮遷移路徑?

系統(tǒng)集成復(fù)雜度高?

如何快速、低成本融合先進(jìn)的云原生技術(shù)：容器化

+微服務(wù)

+可觀測(cè)

+

Serverless技術(shù)?

部署在IDC或運(yùn)營(yíng)商云IaaS?

技術(shù)架構(gòu)滯后?

缺少體系化的PaaS服務(wù)構(gòu)建?

穩(wěn)定性與高可用性保障?

安全性面向挑戰(zhàn)大?

架構(gòu)轉(zhuǎn)型難度?

toC及新