面向大模型的新編程范式某某著名企業(yè)高級(jí)技術(shù)戰(zhàn)略專家某某著名企業(yè)高級(jí)技術(shù)戰(zhàn)略專家20年從事軟件系統(tǒng)設(shè)計(jì)、開發(fā)和產(chǎn)品管理的經(jīng)驗(yàn)，目前在某著名企業(yè)中國(guó)從事技術(shù)戰(zhàn)略和技術(shù)生態(tài)孵化工作，推廣基于OpenAI等大語言模型技術(shù)的新應(yīng)用架構(gòu)。IT行業(yè)新技術(shù)始終保持第一線的跟蹤，多年在GOPS、InfoQ，CSDN等技術(shù)論壇從事技術(shù)布道和經(jīng)驗(yàn)分享工作。G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站智能應(yīng)用的新機(jī)遇開發(fā)運(yùn)營(yíng)模式目錄開發(fā)平臺(tái)與工具開發(fā)最佳實(shí)踐G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站01智能應(yīng)用的新機(jī)遇G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站生成式

AI

正在改變應(yīng)用開發(fā)ArtificialIntelligence195619972017GenerativeAI2022AI演變GenerativeAi技術(shù)應(yīng)用發(fā)展實(shí)現(xiàn)圖G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站生成式

AI

正在改變應(yīng)用開發(fā)GPT-4/3CodexDALL·E

2/3ChatGPT提示：提示：提示：一只白色的暹羅貓回應(yīng):陸地上跑得最快的動(dòng)物是什么？Tablecustomers,columns=[CustomerId,FirstName,LastName,pany,Address,City,State,Country,PostalCode]為一家冰淇淋店寫一個(gè)標(biāo)語。獵豹，其速度可達(dá)每小時(shí)60英里（97公里）?；貞?yīng):我們的每一勺都能帶來微笑!是什么讓它們這么快？為德克薩斯州的所有名為Jane

的客戶創(chuàng)建一個(gè)SQL查詢=獵豹是為速度而生的，有幾種適應(yīng)能力，使它們成為速度最快的陸地動(dòng)物：苗條的身體、長(zhǎng)腿、靈活的脊椎、大鼻孔和不會(huì)縮回的爪子?；貞?yīng):SELECT*FROMcustomersWHEREState=

'TX'ANDFirstName=

'Jane'G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站引起變革的核心技術(shù)大型語言模型LLMG

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站最新的大模型能力GPT-4o和其他模型能力比較G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站Benchmark指標(biāo)的解讀G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站MMLU

(Measuring

Massive

Multitask

Language

Understanding)的問題G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站MATH

(Mathematical

Problem

Solving)的問題G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站MGSM

(Multilingual

Grade

School

Math)的問題G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站DROP

(Discrete

Reasoning

Over

Paragraphs)的問題閱讀以下文章，并回答問題：""從1231年開始，高麗間歇性地遭到蒙古帝國(guó)的入侵。在此期間，高麗由崔氏家族領(lǐng)導(dǎo)的軍事政權(quán)控制。1232年，名義上的國(guó)政府逃到江華島，蒙古騎兵無法登陸該島，從而抵抗蒙古入侵。不幸的是，由于基礎(chǔ)脆弱，高麗經(jīng)常面臨叛亂。1258年的叛亂導(dǎo)致蒙古人建立了雙城和東寧府。與這些叛軍不同，三別抄是軍事政府的一個(gè)機(jī)構(gòu)，由崔氏家族組織以維持安全。然而，不同于崔氏私人護(hù)衛(wèi)隊(duì)，三別抄承擔(dān)了由警察和戰(zhàn)斗部隊(duì)執(zhí)行的公共職能，實(shí)際上取代了六軍。1258年，崔氏家族的第四代崔義被金俊利用三別抄推翻。金俊采取了親蒙古政策，并派遣沇到蒙古帝國(guó)。同時(shí)，國(guó)和近蒙古人，以從金俊手中恢復(fù)權(quán)力。然而，在1268年，金俊被林衍下令的三別抄消滅。第二年，林衍試圖替換計(jì)劃被蒙古軍隊(duì)的幫助下逆轉(zhuǎn)。1270年，林衍的繼任者林惟茂被親蒙古派用三別抄殺死。這標(biāo)志著軍事政權(quán)的終結(jié)。"""問題：文中提到的哪兩個(gè)有G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站02開發(fā)運(yùn)營(yíng)模式G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站人工智能先驅(qū)赫伯特·西蒙所期待的“人的智能”傳統(tǒng)AI/ML?術(shù)??“訓(xùn)練模型很難”?

??機(jī)器學(xué)習(xí)?困難流程考試出現(xiàn)問題要重新復(fù)習(xí)?年認(rèn)知??赫伯特·西蒙的智能剪刀預(yù)訓(xùn)練基礎(chǔ)模型上下???特定的世界知識(shí)簡(jiǎn)化流程隨學(xué)隨考，快速迭代G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站LLM引領(lǐng)的新的應(yīng)用模式G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站傳統(tǒng)智能對(duì)話應(yīng)用開發(fā)傳統(tǒng)智能應(yīng)用（例如

Azure）?

創(chuàng)建

Azure租戶和基礎(chǔ)結(jié)構(gòu)?

對(duì)數(shù)以千計(jì)的話語和對(duì)話進(jìn)行注釋，以構(gòu)建自定義

NL模型?

使用

VisualStudio和

BFSDK在代碼中創(chuàng)建主題?

托管

Azure機(jī)器人服務(wù)并實(shí)例化相應(yīng)的通道?動(dòng)創(chuàng)作的主題?將應(yīng)用部署到服務(wù)預(yù)測(cè)并為每個(gè)可能的?戶問題構(gòu)建?個(gè)?動(dòng)主題然后，隨著內(nèi)容的變化，使這些主題保持最新?

構(gòu)建自己的自定義分析管道?

每次您的知識(shí)內(nèi)容發(fā)生變化（例如，不同的時(shí)間）時(shí)，請(qǐng)?jiān)诖a中更新副駕駛錯(cuò)失良機(jī)花在??構(gòu)建主題上的時(shí)間錯(cuò)過或升級(jí)的對(duì)話構(gòu)建的主題G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站生成式

AI

的智能對(duì)話應(yīng)用開發(fā)Copilot

Studio

with

GenerativeAI?

完整的

E2ESaaS–無需托管或管理基礎(chǔ)設(shè)施?

無需顯式

NL訓(xùn)練或自定義模型，自帶?動(dòng)創(chuàng)作的主題強(qiáng)大的大型語言模型使?

CopilotStudio

快速?動(dòng)創(chuàng)作關(guān)鍵業(yè)務(wù)主題?

使用生成式

AI指向知識(shí)來源并在幾分鐘內(nèi)擁有有用的機(jī)器人?

使用用的圖形界面和

1000多個(gè)預(yù)構(gòu)建連接器，使用關(guān)鍵業(yè)務(wù)主題自定義副駕駛，或調(diào)用自定義

API?

開發(fā)人員、低代碼用戶可以在同一畫布內(nèi)進(jìn)行協(xié)作，并排進(jìn)行圖形多創(chuàng)作和代碼發(fā)布您的知識(shí)源和

API，?成式

AI

將處理其余?作長(zhǎng)尾的?泛覆蓋，隨著內(nèi)容的變化，副駕駛?定義構(gòu)建?

只需點(diǎn)擊幾下，即可在幾分鐘內(nèi)發(fā)布到的答案也隨之變化您選擇的頻道主題+Copilot主題由?成式Answers和的幫助

Actions處理構(gòu)建的主題G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站LLMOps——新的AI應(yīng)用開發(fā)運(yùn)營(yíng)流程2.

實(shí)驗(yàn)7.

反饋和數(shù)據(jù)收集1.

數(shù)據(jù)管理探索性數(shù)據(jù)分析、數(shù)據(jù)規(guī)范化、數(shù)據(jù)質(zhì)量、標(biāo)記和豐富OuterLoop使用不同的數(shù)據(jù)、提示或代碼運(yùn)行將手動(dòng)或自動(dòng)生成的用戶反饋路由到試驗(yàn)以提高解決方案性能基于

LLM的解決方案以更改輸出6.

監(jiān)控跟蹤和分析生產(chǎn)環(huán)境中的系統(tǒng)運(yùn)行狀況和模型性能InnerLoop4.

驗(yàn)證和部署3.

評(píng)估根據(jù)預(yù)定義的指標(biāo)和先前實(shí)驗(yàn)結(jié)果的結(jié)果評(píng)估新輸出的性能。5.

推理根據(jù)部署的模型和用戶輸入進(jìn)行預(yù)測(cè)，并將結(jié)果返回給用戶。在部署到生產(chǎn)環(huán)境之前，將模型和解決方案組件部署到

QA環(huán)境以評(píng)估性能G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站從

MLOps

到

LLMOps

的范式轉(zhuǎn)變傳統(tǒng)

MLOpsLLMOps機(jī)器學(xué)習(xí)工程師機(jī)器學(xué)習(xí)工程師應(yīng)用開發(fā)人員目標(biāo)受眾數(shù)據(jù)科學(xué)家模型、數(shù)據(jù)、環(huán)境、功能LLM,

agents,

plugins,prompts,

chains,

APIs要共享的資產(chǎn)質(zhì)量：準(zhǔn)確性、相似性危害：偏倚、毒性正確：接地性指標(biāo)/評(píng)估ML

模型準(zhǔn)確性成本：每個(gè)請(qǐng)求的令牌延遲：響應(yīng)時(shí)間、RPS預(yù)構(gòu)建、微調(diào)的

API

（MaaS）從頭開始構(gòu)建G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站在線監(jiān)控和可觀測(cè)性Queryl

同一任務(wù)可以GroundingPromptingLLMAnswerl

數(shù)據(jù)源問題l

RAG檢索錯(cuò)誤l

錯(cuò)誤的提示l模板錯(cuò)誤l

幻覺數(shù)據(jù)隱私l

錯(cuò)誤答案l相同的任務(wù)，有多種輸入變體ll

風(fēng)險(xiǎn)但答案不一致LLM系統(tǒng)本身的非確定性通過持續(xù)跟蹤和監(jiān)控實(shí)現(xiàn)信任診斷分析，持續(xù)改進(jìn)及時(shí)發(fā)出警報(bào)，確保符合法規(guī)要求G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站03開發(fā)平臺(tái)與工具G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站運(yùn)用Copilot

Stack框架開發(fā)智能應(yīng)用G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站形成完整智能應(yīng)用的開發(fā)工作使用

LLM

提供程序設(shè)置訂閱上傳、分塊和創(chuàng)建知識(shí)的向量索引設(shè)置一個(gè)進(jìn)程以保持索引同步與知識(shí)索引和其他

API

集成開發(fā)一個(gè)Copilot類應(yīng)用的工作為特殊方案開發(fā)自定義工作流構(gòu)建業(yè)務(wù)流程協(xié)調(diào)程序以在生成式系統(tǒng)和對(duì)話系統(tǒng)之間進(jìn)行仲裁Set

up

hosting

for

your

backend

service與所需的用戶體驗(yàn)平臺(tái)集成G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站Azure

AI

Studio生成式

AI使用場(chǎng)景企業(yè)級(jí)聊天Betterknowledgemining語音分析BetteranalyticsandserviceAzure

AIStudioBuild

your

own

copilotYour

data.

Your

apps.

Your

people使用場(chǎng)景內(nèi)容生成NewproductsandservicesHyper-personalizationBettersalesandmarketingG

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站引入企業(yè)自身的數(shù)據(jù)Azure數(shù)據(jù)源(search,

files,

databases,

storage

etc.)App

orCopilot

agentAzure

OpenAIService第三方數(shù)據(jù)源(files,

databases,

storage

data

etc.)G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站PromptFlow在UI與代碼之間無縫切換G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站基于無代碼構(gòu)建智能應(yīng)用——Copilot

StudioCopilot

Studio

是一款端到端的對(duì)話式

AI

產(chǎn)品，適用于使用生成式

AI、大型語言模型和數(shù)據(jù)構(gòu)建自己的

Copilot

或擴(kuò)展MicrosoftCopilot。G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站用于Copilot

Studio開發(fā)智能應(yīng)用創(chuàng)建、管理、發(fā)布和擴(kuò)展

Copilot在幾分鐘內(nèi)完成

-全部來自一個(gè)工具和

E2ESaaS服務(wù)與

Gen

AI

就知識(shí)進(jìn)行聊天通過您的文件、網(wǎng)站、共享、Dataverse、第三方系統(tǒng)等獲取企業(yè)特定的答案與

AI

服務(wù)集成與

AzureAIStudio、AzureCog服務(wù)、BotFramework和各種其他Microsoft對(duì)話服務(wù)集成構(gòu)建和發(fā)布建特定主題用您希望嚴(yán)格控的特定、精心策劃的主題來補(bǔ)生成性響應(yīng)。使用強(qiáng)大的圖形作室輕松構(gòu)建它們監(jiān)控和改進(jìn)具有豐富的開箱即用見解和分析Copilot

Studio發(fā)布到多個(gè)頻道,并立即在

SaaS服務(wù)上上線，或選擇使用自定義功能擴(kuò)展

Copilotfor構(gòu)建操作和插件創(chuàng)建操作、插件、使用

1000多個(gè)預(yù)構(gòu)建連接器或

PowerMicrosoft365分析和改進(jìn)Automate調(diào)用后端和

APIG

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站04開發(fā)最佳實(shí)踐G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站應(yīng)用大模型主要的三種技術(shù)方式提示Prompting嵌入Embedding微調(diào)/訓(xùn)練/定制Fine-Tuning?

針對(duì)LLM模型的pletionAPI?

針對(duì)Embedding模型的EmbeddingAPI?

針對(duì)可以微調(diào)的模型的Fine-Tuning

API?

通過好的提問引導(dǎo)答案?

知識(shí)向量是文本的索引?

將知識(shí)、格式、習(xí)慣、風(fēng)?

通過舉例促成上下文學(xué)習(xí)

?

相當(dāng)于知識(shí)的筆記本和字典，

格訓(xùn)練進(jìn)入模型，相當(dāng)于?

模型：gpt-35-turbo,

GPT-開卷考試前準(zhǔn)備參考書?

模型：text-embedding-ada-002閉卷考試前背題庫?

提示是LLM時(shí)代的代碼?

模型：text-davinci-0034G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站提示——用清晰的提示觸發(fā)零樣本（Zero-Shot）學(xué)習(xí)G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站提示——用匹配場(chǎng)景的示例觸發(fā)少樣本（Few-Shot）學(xué)習(xí)Zero-ShotFew-ShotG

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站應(yīng)用大模型主要的三種技術(shù)方式一顆恒星的大部分活動(dòng)壽命都是由于熱核聚變而閃耀的。黑洞的存在可以通過它與其他物質(zhì)的相互作用來推斷。中子星是大質(zhì)量超巨星的坍縮核心[15

34

24

13

…][16

22

89

26…][20

13

31

89…]G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站嵌入——將向量存儲(chǔ)到向量數(shù)據(jù)庫G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站微調(diào)——從原型時(shí)的大模型逐步降低到大規(guī)模生產(chǎn)的小模型?

模型并非越大約好。越大能力越強(qiáng)，但是速度也越慢，價(jià)格也越高?

建議先從Davinci開始建立一個(gè)benchmark，隨后逐一降低模型復(fù)雜度驗(yàn)證Fine-Tuning能達(dá)到的結(jié)果?

選出一個(gè)認(rèn)為最均衡的模型少量數(shù)據(jù)D模型Fine-Benchmarktuning比對(duì)高性能少數(shù)據(jù)高價(jià)格高延遲比對(duì)C模型比對(duì)B模型需更多數(shù)據(jù)低延遲A模型逐步增加數(shù)據(jù)量和降低模型復(fù)雜度低價(jià)格合理性能G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站應(yīng)用實(shí)現(xiàn)的新設(shè)計(jì)模式——RAG微調(diào)訓(xùn)練（閉卷考試）

嵌?+向量數(shù)據(jù)庫（開卷考試）GPT-3DomainDataSmall

SetofLabeledData?minimum

ofseveralhigh-dimensionalvectorspace(Embeddings)thousandexamplesMaximum

of2.5Mtokenor

80-100mbsize?Modelparametersadjusted(WeightsandBias)GradientUpdateFine-TunedGPT-3ModelPerformanydomainspecificNLPtasksG

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站應(yīng)用實(shí)現(xiàn)的新設(shè)計(jì)模式——大模型驅(qū)動(dòng)FunctionCallü

大模型理解用戶意圖ü

大模型理解函數(shù)作用ü

大模型理解參數(shù)含義ü

大模型解析上下文包含的參數(shù)值ü

大模型驅(qū)動(dòng)函數(shù)調(diào)用，動(dòng)態(tài)傳入合適的參數(shù)G

O

P

S

全

球

運(yùn)

維

大

會(huì)

暨

X

O

p

s

技

術(shù)

創(chuàng)

新

峰

會(huì)

2

0

2

4

·

北

京

站應(yīng)用實(shí)現(xiàn)的新設(shè)計(jì)模式——Agent模式defplan(self,classAgentAction(NamedTuple):"""Agent'sactiontotake."""intermediate_steps:List[Tuple[AgentAction,str]],callbacks:Callbacks=None,**kwargs:Any,tool