Serverless助力大語(yǔ)言模

型工程化實(shí)踐演講人：姬軍翔亞馬遜云科技/高級(jí)解決方案架構(gòu)師01LMSI

模型

02LLM

應(yīng)用案例分析03Serverless最佳實(shí)踐

04

回顧和總結(jié)InfoQ極客傳媒

機(jī)器境人遠(yuǎn)推薦系統(tǒng)

1lB3M25Fartetch

機(jī)

器

子

習(xí)CTO●關(guān)于我

版

本

控制

Java

Git

山機(jī)o

學(xué)習(xí)T

天施AWC微服務(wù)機(jī)器學(xué)P

架

構(gòu)Gi聊天機(jī)器人物流器本控制搜原型長(zhǎng)詞優(yōu)先一版本控制解決方案物流心ava實(shí)施設(shè)

計(jì)下程師本到GitTF

)LMSI語(yǔ)言模型系統(tǒng)接口模型InfoQ極客傳媒●

構(gòu)建大語(yǔ)言模型應(yīng)用的常見(jiàn)挑戰(zhàn)準(zhǔn)確度，性能不達(dá)標(biāo)提示工程構(gòu)建復(fù)雜Serverless/

框架部署成本高使用托管模型●

一些應(yīng)對(duì)方法●

語(yǔ)言模型系統(tǒng)接口模型(LMSI)高OSI7層網(wǎng)絡(luò)模型

LMSI

v21.

應(yīng)用層(安全和用戶管理，部署)2.

優(yōu)化層(提示詞的自動(dòng)優(yōu)化)3.

控制層(合理的分片邏輯/并發(fā)推理等)4.

提示約束層(單獨(dú)的前置/后置合規(guī)模型)5.

提示層(多種提示模塊的組合)6.

神經(jīng)網(wǎng)絡(luò)層(單個(gè)或多個(gè)大語(yǔ)言模型)7.

算力層

(GPU/CPU)1.應(yīng)用層(Application

Layer)2.表示層(Presentation

Layer)3.

會(huì)話層(SessionLayer)4.傳輸層(Transport

Layer)5.網(wǎng)絡(luò)層(Network

Layer)6.數(shù)據(jù)鏈路層(Data

Link

Layer)7.物

理層(Physical

Layer)InfoQ極客傳媒抽

象

程

度低AutoGenLangChainLamalndexDSPYHFTransformers云廠商1應(yīng)用層2優(yōu)化層3控制層4提示約束層5提示層6神經(jīng)網(wǎng)絡(luò)層7算力層●

LMSlv2

和大語(yǔ)言模型框架的對(duì)應(yīng)關(guān)系案例分析基于

Serverless

的大語(yǔ)言模型翻譯應(yīng)用InfoQ極客傳媒某游戲公司需要翻譯游戲的多語(yǔ)言版本，因?yàn)榇嬖谳^多游戲中特有的地名，人名，機(jī)器

翻譯的效果不好，主要是人工翻譯為主，翻譯的時(shí)間根據(jù)工作量的不同從數(shù)天到數(shù)周不

等，業(yè)務(wù)團(tuán)隊(duì)希望利用大語(yǔ)言模型加速翻譯過(guò)程并降低翻譯成本。"mapping":{"CHS":"

奇怪的漁人吐司","CHT":"奇怪的漁人吐司","DE":

"MisslungeneFischerschnitte","EN":

"Suspicious

Fisherman'sToast",Define

BusinessGoalsldentifyChalengesFindSolutions●

基于大語(yǔ)言模型的游戲內(nèi)容翻譯業(yè)務(wù)聲明●

快速發(fā)現(xiàn)挑戰(zhàn)和對(duì)應(yīng)的解決方案專(zhuān)有名詞的翻譯合規(guī)合法長(zhǎng)文本翻譯部署準(zhǔn)確度提升應(yīng)用評(píng)估翻譯風(fēng)格效果反饋名稱(chēng)《互聯(lián)網(wǎng)信息服務(wù)深度合成管

理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》信息安全要求第七條深度合成服務(wù)提供者應(yīng)當(dāng)落實(shí)信息安全主體責(zé)任，建立健全用戶注冊(cè)、算法機(jī)制機(jī)理審核、科技倫理審查、信息發(fā)布審核、數(shù)據(jù)安全、個(gè)人信息保護(hù)、反某著名企業(yè)網(wǎng)絡(luò)詐騙、應(yīng)急處置等管理制度，

具有安全可控的技術(shù)保障措施。輸入Input第十一條提供者對(duì)使用者的輸入信息和使用記錄應(yīng)當(dāng)依法履

行保護(hù)義務(wù)，不得收集非必要個(gè)人信息，不得非法留存能夠

識(shí)別使用者身份的輸入信息和使用記錄，不得非法向他人提

供使用者的輸入信息和使用記錄。輸出Output第九條提供者應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任，履行

網(wǎng)絡(luò)信息安全義務(wù)。涉及個(gè)人信息的，依法承擔(dān)個(gè)人信息處理者責(zé)任，履行個(gè)人

信息保護(hù)義務(wù)?！馎l相關(guān)法規(guī)Session/緩存?zhèn)€人信息保護(hù)(PII)知識(shí)庫(kù)/RAG●

完整的大模型應(yīng)用的復(fù)雜性數(shù)據(jù)科學(xué)家

小模型客戶專(zhuān)有數(shù)據(jù)中國(guó)區(qū)合規(guī)跨境數(shù)據(jù)網(wǎng)關(guān)跨境數(shù)據(jù)傳輸服務(wù)開(kāi)源模型大模型用戶SageMaker

Model

ServeBusinessExpertTechnical

Expert●

通用的大語(yǔ)言模型應(yīng)用的解決方案Pro

BedrockPrompt

FlowsApplicationModelDeplo

ymenOffine

LargeFine

Tuning

Flow最佳實(shí)踐用Serverless承載大模型應(yīng)用InfoQ極客傳媒●

如何定義Serverless?ObjectStorageBig

DataTransformBlockStorageCloudFunctionsBig

DataQueryVM

VPCCloud

ProgrammingSimplified:A

BerkeleyViewonServerlessputingInfoQ極客傳媒Mobile

BackendDatabaseFuture

Serverless

Cloud

ServicesServerlessBase

Cloud

PlatformHardware

Server

Network

Storage

AcceleratorKey-ValueDatabaseMessagingDegreeofAbstractonIAM

Billing

MonitoringFuture

ServerlessApplicationsEvent

Data

ProcessingApplicationsWebAPls保持簡(jiǎn)單性控制函數(shù)間的調(diào)用

控制函數(shù)總數(shù)保留本地調(diào)試能力單元測(cè)試

使用Mockup引入函數(shù)編排

管理狀態(tài)StepFunction/

AgentFlow●FaaS

最佳實(shí)踐1

.

安裝2.生成支架3

.部署4.修改業(yè)務(wù)邏輯

5.重新部署Serverless框架Chalice演示●EventSource自動(dòng)配置自動(dòng)打包自動(dòng)生成和配置權(quán)限●

框架背后的機(jī)制SNSAPIGateway

Lambda$cd

helloworld/.chalice/deployments$unzipf6e….python3.6.zip-d/tmp/unzipped/$tree/tmp/unzipped//tmp/unzipped/

app.py

chalice

init

.py

app.pyPILBdfFontFile.py[...MOREFILES...]

init___.py—_imaging.cpython-36m-x86_64-1inux-gnu.so

Pillow-5.3.0.dist-info

chalicelib

init

.py

utils.py

puppy.jpgInfoQ

極客傳媒app.pyrequirements.txt

chalicelib

init

.py

自動(dòng)打包$tree

helloworld——puppy.jpghelloworld/vendorutils.pyIAM

policy{"version":"2012-10-17","statement":[

":

[Allow","logs:CreateLogGroup","logs:CreateLogstream","logs:PutLogEvents"],"Resource":"arn:aws:logs:*:*:*"},{"Effect":"Allow","Action":["ec2:DescribeRegions"],"Resource":["*"],"sb3ea4426b816122053a06feb6"}]}InfoQ極客傳媒:"ocAcEff""helloworld/app.pyimportboto3from

chalice

import

Chaliceapp=Chalice(app_name='helloworld')

ec2

=boto3.client('ec2')

eafp

.

b

lol

(v)ent,context):aws

cada_functiakelammp●

自動(dòng)生成和配置權(quán)限r(nóng)eturec2_describe_regions()n_{●自定義權(quán)限helloworld/.chalice/config.json"version":"2.0"

,

{:"{:

"helloworld"

,"api_gateway_stage":

"api"

,"autogen_policy":false

,"iam_policy_file":

"app-policy.json""edapsa""$tree

helloworld/.chalice/helloworld/.chalice/—app-policy.jsonconfig.json}}

Event

Sources的自動(dòng)配置@app.schedule(Rate(5,unit=Rate.MINUTES))def

handler(event):pass@app.on_s3_event(bucket='mybucket′)def

event_handler(event:S3Event):app.log.info("bucket

event:÷s,key÷s",event.bucket,event.key)Capp.on_sqs_message(queue='myqueue')def

eventhandler(event:SQSEvent):app.log.info("Event:8s",event.to_dict())

對(duì)流式推理的支持@app.on_ws_message()def

message(event):try:app.websocket_api.send(connection_id=event.connection_id,message=event.body)except

WebsocketDisconnectedError

as

e:pass●Serverless大模型推理Model

hub,模型微調(diào)亞馬遜云科技的模型

合作伙伴的模型提示詞

APIlayerStable微調(diào)

Text

Embeddings

Al21

Claude

Diffusion●

Servless的分布式“大”模型訓(xùn)練#配置訓(xùn)練作業(yè)參數(shù)training_params

={'AlgorithmSpecification':{'Traininglmage':'123456789012.dkr.ecr.us-west-2.amazonaws/my-training-image:latest,

'TraininglnputMode:'File’'ResourceConfig':{'InstanceCount':4,

#

使用4個(gè)實(shí)例進(jìn)行分布式訓(xùn)練'InstanceType':‘ml.p3.2xlarge’,.'HyperParameters':{epochs':‘10’,'sagemaker_distributed_dataparallel_enabled':'true’#啟用SageMaker數(shù)據(jù)并行'inputDataConfig':[#啟動(dòng)訓(xùn)練作業(yè)，結(jié)束后自動(dòng)釋放資源response=sagemaker_client.create_training_job(**training_params)serverless_config=

ServerlessConfig(max_concurrency=50,memory_size_in_mb=1024)pytorch_model=

PyTorchModel(serverless_inference_config=serverless_config,..)predictor

=pytorch_model.deploy(serverless=True)pytorch_model=

PyTorchModel(model_data=f“s3://{sess.d