生成式AI導(dǎo)論人工智能產(chǎn)業(yè)發(fā)展現(xiàn)狀與展望圖靈新智算人工智能投研院系列培訓(xùn)課程INTELLIGENTCOMPUTINGFORBETTER

FUTURE智算未來(lái)服務(wù)亞太1n人工智能產(chǎn)業(yè)的發(fā)展歷程過(guò)去的AI和今天的AI有什么不一樣？n行業(yè)發(fā)展現(xiàn)狀與案例介紹AI能做什么？

現(xiàn)在發(fā)展到什么階段？n當(dāng)前行業(yè)面臨的挑戰(zhàn)和機(jī)會(huì)還有機(jī)會(huì)嗎？

最新的方向n關(guān)于AI的未來(lái)展望講座內(nèi)容和定位n生成式人工智能（

Generative

AI）

原理簡(jiǎn)介魔術(shù)背后的手法之前不需要上過(guò)任何AI相關(guān)課程

、不需要會(huì)寫(xiě)程序就能基本理解生成式AI的原理。快速了解技術(shù)趨勢(shì)和產(chǎn)業(yè)發(fā)展內(nèi)幕生成式人工智能（

Generative

AI

）原理簡(jiǎn)介生成式人工智能(Generative

AI)機(jī)器學(xué)習(xí)(Machine

Learning)深度學(xué)習(xí)(Deep

Learning)Transformer

大語(yǔ)言模型(LLM)自監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練監(jiān)督學(xué)習(xí)增強(qiáng)學(xué)習(xí)提詞工程(Prompt)向量數(shù)據(jù)庫(kù)RAGFine-Tune思維鏈（

COT）....19世紀(jì)的一位法國(guó)藝術(shù)家Jean-Marc

C?té所描繪出對(duì)100年后(西元2000年)的未來(lái)世界想像人工智能（目標(biāo)）讓機(jī)器展現(xiàn)

「智慧」

（而不是完成某項(xiàng)工作） 人工智能（

Artificial

Intelligence,

AI

）生成式人工智能（

Generative

AI

）：機(jī)器產(chǎn)生復(fù)雜有結(jié)構(gòu)的物件文章

影像

語(yǔ)音由文字構(gòu)成由像素構(gòu)成由取樣點(diǎn)構(gòu)成用中文字組成100

字的文章有多少的可能性？假設(shè)中文常用字為1000個(gè)，

1000

x

1000

x

1000

x

1000……=

10103

（宇宙中的原子總數(shù)估計(jì)10的80次方）從近乎無(wú)窮的可能中找出適當(dāng)?shù)慕M合生成式人工智能（

Generative

AI

）：機(jī)器產(chǎn)生復(fù)雜有結(jié)構(gòu)的物件

寫(xiě)一篇100字的文章，標(biāo)題為《想象力的價(jià)值》

Hamlet生成式人工智能（

Generative

AI

）：機(jī)器產(chǎn)生復(fù)雜有結(jié)構(gòu)的物件分類(lèi)(Classification)：

從有限的選項(xiàng)中做選擇(不是生成式人工智能)。...人臉識(shí)別

、

圖像識(shí)別

、視頻分析

、基于知識(shí)庫(kù)的問(wèn)答機(jī)器人

...垃圾郵件監(jiān)測(cè)貓狗分類(lèi)人工智能（目標(biāo)）生成式人工智能（目標(biāo)之一）文字

影像

聲音“更接近于人的思維與表達(dá)

”生成式人工智能（

Generative

AI

）機(jī)器學(xué)習(xí)

≈機(jī)器自動(dòng)從資料中找到一個(gè)函數(shù)(Machine

Learning)參數(shù)(Parameter)有一個(gè)函數(shù)

y

=

f(x)=ax+b

假設(shè)輸入

x

=

1，

輸出y

=

？假設(shè)輸入

x=

4,

輸出y

=

5假設(shè)輸入

x=

2,

輸出答案

a

=

3,

b

=

-7初中的時(shí)候你用人力算出參數(shù)，

機(jī)器學(xué)習(xí)則是自動(dòng)找出參數(shù)的方法請(qǐng)找出

a

b

：y

=

-1輸入：輸出：

貓輸入：輸出：輸入：輸出：輸入：輸出：

貓訓(xùn)練,

training

(學(xué)習(xí),

learning)幾萬(wàn)個(gè)參數(shù)有一個(gè)函數(shù)

貓

or

狗

=f

（

）

=

…a

…

b

…c

…d

…e

…f

…g

…a=

1.3,

b=?7.2,

c=

0.4,

…假設(shè)要做一個(gè)機(jī)器，能分辨貓和狗通過(guò)機(jī)器學(xué)習(xí)可以把幾萬(wàn)個(gè)參數(shù)找出來(lái)！模型

（Model）狗狗假設(shè)要做一個(gè)機(jī)器，能分辨貓和狗測(cè)試,

testing

(推理,

inference)深度學(xué)習(xí)(Deep

Learning)是一種機(jī)器學(xué)習(xí)技術(shù)類(lèi)神經(jīng)網(wǎng)絡(luò)

(Neural

Network)

CNN，

RNN幾萬(wàn)個(gè)參數(shù)

a=

1.3,

b=?7.2,

c=

0.4,

…貓

or

狗

=f

(模型

（Model）深度學(xué)習(xí)（更厲害的手段）生成式人工智能生成式人工智能（目標(biāo)之一）機(jī)器學(xué)習(xí)（手段）人工智能（目標(biāo)）人工智能（目標(biāo)）機(jī)器學(xué)習(xí)（手段）深度學(xué)習(xí)（更厲害的手段）生成式人工智能目前的生成式人工智能大多數(shù)由深度學(xué)習(xí)實(shí)現(xiàn)生成式人工智能數(shù)十億到上百億的參數(shù)模型（Model）模型框架類(lèi)神經(jīng)網(wǎng)絡(luò)的一種ChatGPT也是個(gè)函數(shù)AI繪圖也是個(gè)函數(shù)（

Stable

Diffusion,

Midjourney,

DALL

·E

）上億的參數(shù)彩色卡通貓?jiān)乱瓜碌暮谪埍寂艿呢埵覂?nèi)的波斯貓海濱的黑狗花叢中的狗模型

（Model）AI的模糊與精準(zhǔn)：函數(shù)的過(guò)擬合問(wèn)題

字

...字字字圖片復(fù)雜的物件一篇文章由文字構(gòu)成生成策略AutoregressiveGeneration依據(jù)某種特定的順序生成較小的單位由像素構(gòu)成生成式AI能產(chǎn)生在訓(xùn)練時(shí)從來(lái)沒(méi)有看到過(guò)的東西輸入:

什么是人工智能？輸入:

說(shuō)個(gè)跟人工智能有關(guān)的故事輸入:

寫(xiě)一首詩(shī)輸入:

人工智能的英文翻譯....輸出:

人工智能就是

…

…輸出:

很久很久以前

…

…輸出:

床前明月光

…

…輸出:

Artificial

Intelligence

(AI)....輸入文字：寫(xiě)一篇100字的文章，

標(biāo)題為《想象力的價(jià)值》訓(xùn)練數(shù)據(jù)測(cè)試時(shí)創(chuàng)造出了全新的文章...上億的參數(shù)人工智能（目標(biāo)）機(jī)器學(xué)習(xí)（手段）深度學(xué)習(xí)（更厲害的手段）生成式人工智能生成式人工智能大語(yǔ)言模型（

LLM）G:

Generative

生成P:

Pre-trained

預(yù)訓(xùn)練T:

Transformer?由OpenAI開(kāi)發(fā)，2.0→3.0→3.5→4.0→...?

Google

Bard(Gemini)，

Anthropic

Claude，

Mata

Llama

也是類(lèi)似技術(shù)?國(guó)內(nèi)：

智譜

、

文心一言

、

通義千文

、

百川

、Mini

Max

、

Kimi....ChatGPT北京大→互聯(lián)

→大模型是很重要的技術(shù)

....,所以必須引起重視

→

ChatGPT

學(xué)

ChatGPT

網(wǎng)

ChatGPT

[END]ChatGPT真正做的事情

—

文字接龍語(yǔ)言模型深圳最高的山是哪座？

→

ChatGPT

深圳最高的山是哪座？

梧

→

ChatGPT

深圳最高的山是哪座？

梧桐→ChatGPT

深圳最高的山是哪座？

梧桐山→ChatGPT

ChatGPT真正做的事情

—

文字接龍

語(yǔ)言模型梧

桐

山[END]答案ChatGPT真正做的事情

—

文字接龍ChatGPT50%幾率學(xué)可以選擇的符號(hào)（Token）北京大→學(xué)

哥擲骰子Token：詞元，最小語(yǔ)義單位Token是離散文本符號(hào)的連續(xù)的數(shù)學(xué)表示，

以便于在向量空間中進(jìn)行相似性搜索和比較為什么英文的Token

不是單詞？因?yàn)橛⑽膯卧~無(wú)法窮舉。不同語(yǔ)言模型的Token

通常不會(huì)相同大型語(yǔ)→大型語(yǔ)言

→大型語(yǔ)言模型是很重要的技術(shù)....,所以必須引起重視

→ChatGPT真正做的事情

—

文字接龍ChatGPTChatGPTChatGPT每次答案都可能不同...ChatGPT真正做的事情

—

文字接龍這就是為什么ChatGPT有時(shí)候會(huì)

一本正經(jīng)的胡說(shuō)ChatGPT真正做的事情

—

文字接龍上下文人

→人工

→人工智能技術(shù)正在飛速發(fā)展

→語(yǔ)言模型怎么學(xué)習(xí)文字接龍？任何文本句子都可以是教材！比如一句話：

“人工智能技術(shù)正在飛速發(fā)展

”ChatGPTChatGPTChatGPT...語(yǔ)言模型怎么學(xué)習(xí)文字接龍？任何文本句子都可以是教材！互聯(lián)網(wǎng)上有無(wú)窮無(wú)盡的文句——用來(lái)做預(yù)訓(xùn)練（Pre-train）2018

GPT1:參

數(shù)：117M數(shù)

據(jù)：1G2019

GPT2:參

數(shù)：1.5B數(shù)

據(jù)：40G2020

GPT3:參

數(shù)：175B數(shù)

據(jù)：580G（相當(dāng)于閱讀哈利波特全集

30

萬(wàn)遍）20222020ChatGPT之前的GPT模型研究者們一度認(rèn)為當(dāng)模型參數(shù)量超過(guò)某個(gè)量級(jí)時(shí)，會(huì)出現(xiàn)一些突然出現(xiàn)的新能力

。然而，這種現(xiàn)象隨后被質(zhì)疑與度量的選擇有關(guān)

。唐老師進(jìn)一步分析了能力涌現(xiàn)曲線與模型訓(xùn)練損失的關(guān)系，指出涌現(xiàn)能力實(shí)際上與模型損失的關(guān)聯(lián)更為直接。大力出奇跡：“智能涌現(xiàn)”/blog/better-language-models/GPT2模型的能力與參數(shù)量及訓(xùn)練量有關(guān)后天努力數(shù)據(jù)質(zhì)量訓(xùn)練方法訓(xùn)練數(shù)據(jù)數(shù)量參數(shù)量先天資質(zhì)但是...GPT3

175B只從互聯(lián)網(wǎng)學(xué)習(xí)的問(wèn)題預(yù)訓(xùn)練(自監(jiān)督式學(xué)習(xí))世界第一高峰是監(jiān)督式學(xué)習(xí)深圳最高的山是哪座？繼續(xù)學(xué)習(xí)微調(diào)(finetune)ChatGPTGPT3.5的改進(jìn)：監(jiān)督學(xué)習(xí)通過(guò)互聯(lián)網(wǎng)學(xué)習(xí)GPT「梧桐山」梧桐山喜馬拉雅山基礎(chǔ)模型世界第一高峰是監(jiān)督式學(xué)習(xí)深圳最高的山是那座？增強(qiáng)式學(xué)習(xí)(ReinforcementLearning,

RL)請(qǐng)幫我寫(xiě)個(gè)好笑的故事GPTChatGPTCh

tGPT喜馬拉雅山「梧桐山」……通過(guò)互聯(lián)網(wǎng)學(xué)習(xí)

辛苦省力預(yù)訓(xùn)練對(duì)齊……a訓(xùn)練GPT的GPT：instructGPT關(guān)于文字生成圖片

、視頻

、以及SORA文生圖：擴(kuò)散模型擴(kuò)散模型還原圖像的過(guò)程Sora：結(jié)合Transformer架構(gòu)的擴(kuò)散模型如何把噪聲還原成圖像？提示：

生成一個(gè)笑臉的簡(jiǎn)筆畫(huà)生成式AI已經(jīng)努力向人類(lèi)“對(duì)齊”Alignment人類(lèi)如何向生成式AI“對(duì)齊”？提詞工程（Prompt

engineering）人類(lèi)如何與生成式AI對(duì)齊微調(diào)（Fine-Tune）增強(qiáng)檢索（RAG）提詞（

Prompt

）工程鼓勵(lì)ChatGPT想一想鼓勵(lì)ChatGPT想一想情緒勒索也有用？所謂的咒語(yǔ)，就是引導(dǎo)人工智能一步一步思考GPT4（

工具使用

）ChatGPT的上傳文檔（

知識(shí)庫(kù)功能

）RAGRetrieval-Augmented

Generation增強(qiáng)檢索生成，

是讓大模型能快速獲得最新知識(shí)的方法之一。向量數(shù)據(jù)庫(kù)貓貓的二維向量空間蘋(píng)果多維向量空間向量數(shù)據(jù)庫(kù)的查詢(xún)方式：不精確，但很合理如

何

評(píng)

價(jià)

OpenAI的

CEO

突

然

被

解

職

，3天

后

又

被公司重新請(qǐng)回

，上

上

演

了

現(xiàn)

實(shí)

中

的“權(quán)

力

游戲

”這件事

？對(duì)

不

起

,我

不

清

楚

...Chunk1:Sam

Altman

被

解

職

，硅

谷

上

演“甄嬛傳

”...Chunk2:Sam

Altman

回

歸

OpenAI，董

事

會(huì)

集

體

辭

職

...Chunk3:OpenAI鬧

劇

收

場(chǎng)

，誰(shuí)

是

贏

家

誰(shuí)

是

輸

家

？...RAG增強(qiáng)檢索

優(yōu)化模型輸出...暴

露

了

OpenAI內(nèi)

部

關(guān)于公司未來(lái)發(fā)展方向的重大分歧

，所有的反轉(zhuǎn)反

映

了

OpenAI內(nèi)

部

的

激烈

權(quán)

力

斗

爭(zhēng)

...請(qǐng)基于以下信息回答如

何

評(píng)

價(jià)

OpenAI...：Chunk1:Chunk2:Chunk3：模型微調(diào)（

Fine-Tune

）：改變模型原有的參數(shù)（

權(quán)重

）只調(diào)整輸出全量微調(diào)疊加權(quán)重Fine-Tune適用的場(chǎng)景微調(diào)永久改變了模型訓(xùn)練出來(lái)的參數(shù)，適合：

補(bǔ)全某個(gè)領(lǐng)域的知識(shí)短板，

糾正原來(lái)的結(jié)果偏差。不適合：

變化快

、

需要實(shí)時(shí)得到的知識(shí)。不適合：

和通用大模型原有能力重合的訓(xùn)練

。（會(huì)導(dǎo)致過(guò)擬合）文字接龍的極限？與人類(lèi)思維方式的比較773字40個(gè)成語(yǔ)滕

王

閣序王

勃30字AI產(chǎn)業(yè)是如何發(fā)展到今天的？生成式AI和之前的AI有何不同？產(chǎn)業(yè)現(xiàn)狀如何？還有機(jī)會(huì)嗎？最新的技術(shù)發(fā)展趨勢(shì)，

以及生成式AI在企業(yè)如何落地應(yīng)用？人工智能在50年代就已經(jīng)具備雛形FrankRosenBlatt“感知器

”馬克一號(hào)1960～1980年的人工智能：符號(hào)AI哈弗大學(xué)Marvin

Minsky

1956年提出人工智能概念計(jì)算機(jī)學(xué)習(xí)符號(hào)人類(lèi)給予指令1980年:Hinton的波茲曼機(jī)重啟神經(jīng)網(wǎng)絡(luò)技術(shù)Geoffrey

Hinton波茲曼機(jī)1980年代的自動(dòng)駕駛研究卡內(nèi)基梅隆大學(xué)符號(hào)指令A(yù)I無(wú)法取得突破1980年代的自動(dòng)駕駛研究史上第一臺(tái)自動(dòng)駕駛車(chē)：

Alvinn，

時(shí)速60英里1990年代

神經(jīng)網(wǎng)絡(luò)的復(fù)興法國(guó)科學(xué)家楊立昆，

貝爾實(shí)驗(yàn)室卷積神經(jīng)網(wǎng)絡(luò)（

CNN）

的提出者福島邦彥影像識(shí)別系統(tǒng)：

2周訓(xùn)練后可辨識(shí)手寫(xiě)字跡（美國(guó)銀行在90年代用這套系統(tǒng)處理了10%的支票簽名）賽諾夫斯基Terry

Sej

nowski合成聲音機(jī)器：

NetTalk1990年代

神經(jīng)網(wǎng)絡(luò)的復(fù)興2009～2014

神經(jīng)網(wǎng)絡(luò)AI的崛起Hinton的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方式用于微軟的語(yǔ)音識(shí)別（解決從背景雜音中辨識(shí)人聲的問(wèn)題）英偉達(dá)的GPU用于AI計(jì)算2010年

谷歌開(kāi)始大規(guī)模使用神經(jīng)網(wǎng)絡(luò)用16000顆芯片訓(xùn)練視頻識(shí)別AI數(shù)據(jù)來(lái)源：

youtube斯坦佛大學(xué)教授吳恩達(dá)“貓咪論文”2011年Hinton接手Google人工智能實(shí)驗(yàn)室2012年人才大戰(zhàn)：

Google

、微軟

、

百度4400萬(wàn)美元deepmind2014年Google收購(gòu)DeepMind2014年競(jìng)購(gòu)DeepMind：

FaceBook

、Google（6.5億$)20142014FaceBook（

Meta

）與百度20122014～2017：神經(jīng)網(wǎng)絡(luò)AI超越人類(lèi)馬斯克：

DeepMind的發(fā)展讓人擔(dān)心2014/11超智慧AI將會(huì)毀滅人類(lèi)？尼克．

伯斯特隆姆特斯拉在AI上的持續(xù)投入10萬(wàn)卡

H100訓(xùn)練集群DeepMind研發(fā)的AI戰(zhàn)勝人類(lèi)2016年AlphaGo4:1戰(zhàn)勝李世石2017年AlphaGo3:0

戰(zhàn)勝柯潔AI史上的神奇瞬間AI在自學(xué)習(xí)中發(fā)現(xiàn)了擊敗人類(lèi)的招數(shù)1/10000的概率2016年后美國(guó)AI人才流出漸進(jìn)式生成對(duì)抗網(wǎng)絡(luò)ProGAN中國(guó)政府從2016年開(kāi)始大力扶持AI：第一輪AI產(chǎn)業(yè)浪潮計(jì)算機(jī)視覺(jué)

（computer

vision）2017～2022:神經(jīng)網(wǎng)絡(luò)算法的極限AI的短板：算法偏見(jiàn)AI的短板：檢測(cè)錯(cuò)誤2019年新西蘭清真寺槍擊案基于標(biāo)注的瓶頸ML小模型時(shí)代的難點(diǎn)解決特定領(lǐng)域的特定問(wèn)題?

任務(wù)開(kāi)發(fā)成本高

、

時(shí)間周期長(zhǎng)?

相同任務(wù)的微小需求變化，

需要30%-70%的重新開(kāi)發(fā)成本，

無(wú)法產(chǎn)品化?

模型開(kāi)發(fā)和維護(hù)成本高?

高水平算法研究員稀缺S

li

L

能用擴(kuò)大規(guī)模解決的問(wèn)題，

就不要開(kāi)發(fā)新的算法；

如ca

ng

aw——

果要搞新的算法，

就是為了更好的擴(kuò)大規(guī)模！大模型時(shí)代使用AI方式的演變行業(yè)發(fā)展現(xiàn)狀全球AI投資規(guī)模變化趨勢(shì)全球AI市場(chǎng)規(guī)模數(shù)據(jù)：5年預(yù)測(cè)n

預(yù)計(jì)人工智能市場(chǎng)規(guī)模將從2023年到2030年增長(zhǎng)近20倍，超過(guò)2萬(wàn)億美元。n

復(fù)合年增長(zhǎng)率（

CAGR）

為38.

1%n

到2025年，將有多達(dá)9700萬(wàn)人從事人工智能領(lǐng)域的工作。n

預(yù)計(jì)到2030年

，人工智能將為美國(guó)國(guó)內(nèi)生產(chǎn)總值（

GDP）

帶來(lái)顯著的21%的凈增長(zhǎng)。n

人工智能有望創(chuàng)造9700萬(wàn)個(gè)就業(yè)崗位，并到2030年為經(jīng)濟(jì)貢獻(xiàn)15.7萬(wàn)億美元。https://bluetree.digital/ai-industry-growth-metrics/2023年開(kāi)始的AI發(fā)展由算力驅(qū)動(dòng)“后摩爾定律時(shí)代”的新算力增長(zhǎng)模式未來(lái)計(jì)算性能的增長(zhǎng)機(jī)會(huì)主要來(lái)自技術(shù)堆棧上層：軟件

、

算法和硬件架構(gòu)。新算力的增長(zhǎng)路徑不再是芯片工藝的競(jìng)賽，

而是基礎(chǔ)設(shè)施

、

算力產(chǎn)品

、

定制架構(gòu)的系統(tǒng)化工程。隨著半導(dǎo)體光刻技術(shù)路線圖的結(jié)束，

所有通過(guò)半導(dǎo)體小型化工藝進(jìn)一步提高性能的方法將在大約

2025

年結(jié)束。Figure

from

Kunle

Olukotun,

Lance

Hammond,

Herb

Sutter,

Mark

Horowitz

and

extended

by

John

Shalf.CREDIT:

N.CARY/SCIENCE96行業(yè)影響：過(guò)去50年的科技組件未來(lái)50年的科技組件Coat

ue：生成式AI是迄今為止最大的一波科技浪潮2015～2020s云與Saas2022～2027

生成式AI2010s

移動(dòng)互聯(lián)網(wǎng)2000s互聯(lián)網(wǎng)00一切才剛剛開(kāi)始一切才剛剛開(kāi)始加速計(jì)算在AI領(lǐng)域1000倍以上的性能提升lTransformer架構(gòu)緩解了深度學(xué)習(xí)訓(xùn)練過(guò)程的內(nèi)存墻問(wèn)題，但在推理階段仍面臨此挑戰(zhàn)。lLLM推理時(shí)使用的autoregressive

decoding要求在預(yù)測(cè)每個(gè)token之前都需要加載所有模型權(quán)重。l例如，

Llama

3.1400B模型在生成每個(gè)token時(shí)都需要從內(nèi)存中加載4000億個(gè)權(quán)重。因內(nèi)存墻的存在，Token生成能力

≠

FLOPS。Theturning

point

is

a

batch

size

of：?113for

M

I250?

492for

M

I300X?

567for

H100Single

Stream

memorywall：

?

Mi250:200tokens/sec,

?

Mi300:331tokens/sec,

?

H100:209tokens/sec現(xiàn)有智算集群架構(gòu)具有100倍以上的性能優(yōu)化空間“連接與調(diào)度

”的優(yōu)化空間遠(yuǎn)遠(yuǎn)大于芯片本身跨服務(wù)器連接帶寬速度落后160倍板外通訊芯片級(jí)主板級(jí)目前被證明可行的AI算力建設(shè)模式：根據(jù)LLM大模型的技術(shù)路線高度定制，靈活組合AI

軟硬一體工程IB/Ethernet機(jī)外互聯(lián)NVLink/PCIE板上互聯(lián)處理計(jì)算單元分配芯片關(guān)于AI算力基礎(chǔ)設(shè)施的誤區(qū)應(yīng)用模型集群整機(jī)芯片n

非標(biāo)準(zhǔn)化n

技術(shù)迭代n算力與通訊相互制約AI基礎(chǔ)設(shè)施的定制化、工程化決定了AI算力不適用傳統(tǒng)基建的“先修路蓋房子

”的規(guī)?；Ｊ健cale

outScale

up分而治之軟件算法集中行業(yè)龍頭：英偉達(dá)的算力帝國(guó)當(dāng)前AI行業(yè)面臨的挑戰(zhàn)DeepSeek帶來(lái)的機(jī)會(huì)核心邏輯芯片$

200HBM內(nèi)存芯片$

1500CoWos封裝$

700

其他物料$

500合計(jì)

$

3000英偉達(dá)市值超過(guò)3萬(wàn)億美元，

AI芯片產(chǎn)品營(yíng)收超千億美元英偉達(dá)GPU的超高利潤(rùn)率H100

官方售價(jià)$35000

實(shí)際拿貨$45000～$50000毛利率超過(guò)90%

！?

頭部芯片企業(yè)侵蝕大部分行業(yè)利潤(rùn)?NV24Q1$148億利潤(rùn)?

OpenAI

24年化營(yíng)收

$40億?

紅衫資本：生成式AI需要產(chǎn)生$6000億收入才能抵消投入成本當(dāng)前產(chǎn)業(yè)環(huán)境的現(xiàn)實(shí)情況市場(chǎng)的真正需求商業(yè)模式挑戰(zhàn)AI芯片大模型?

更強(qiáng)大的基礎(chǔ)模型?

解決模型的幻覺(jué)和隨機(jī)性?

符合主流技術(shù)路線?

降低“用模型

”的成本?

靈活的技術(shù)路線?

控制成本擴(kuò)張?

高額折舊vs技術(shù)迭代?

設(shè)備利用率vs

價(jià)格?

客戶(hù)需求的持續(xù)性?

國(guó)資保值增值要求?

融資還款壓力?

方案合規(guī)性不確定性降低成本資金確定性AI應(yīng)用算力租賃整機(jī)盈虧線算力服務(wù)市場(chǎng)正在發(fā)生預(yù)期中的變化模型預(yù)訓(xùn)練廠商數(shù)量縮減閑置算力資源涌向市場(chǎng)推理與微調(diào)需求快速增長(zhǎng)算力補(bǔ)貼成為常態(tài)(國(guó)內(nèi))超大規(guī)模公司大規(guī)模智算中小規(guī)模智算月租價(jià)￥6.2萬(wàn)～

7.3萬(wàn)20232024大型行業(yè)科技企業(yè)應(yīng)用?

研發(fā)投入5000萬(wàn)到5億；?

H100/H200訓(xùn)練微調(diào)，

H20/A100推理?

模型更新迭代周期長(zhǎng)成本高（按季度微調(diào)）?

推理成本高昂（每用戶(hù)成本250元/月）大參數(shù)模型應(yīng)用的高門(mén)檻一梯隊(duì)1000B級(jí)別二梯隊(duì)110B~405B級(jí)別三梯隊(duì)34B~72B級(jí)別四梯隊(duì)7B～13B

級(jí)別【開(kāi)源】千問(wèn)27B/13BYi-9B/百川7B/13B/GLM6B/9B【僅云端】GPT4o/Claude

3

Opus千問(wèn)MAX/Kimi【部分開(kāi)源】Llama3.1/Yi-Large/Mistral8x22MoE/GLM

130B/qWen

110B【大部分開(kāi)源】Llama34B/72B千問(wèn)272B/Yi-34BH100/H200/B200，數(shù)十億美金投入4090/L20/L40，極度壓縮成本，模型能力不足大部分產(chǎn)生運(yùn)營(yíng)現(xiàn)金流項(xiàng)目，

中小AI企業(yè)標(biāo)桿性項(xiàng)目，

龍頭科技企業(yè)自用用戶(hù)體驗(yàn)當(dāng)前的局限知識(shí)的Embedding

、連通與權(quán)重：

大力出奇跡，

上限是數(shù)據(jù)集對(duì)模型的SFT和RLHF

主要是教模型識(shí)別正確和不正確輸出的模式，

并未明確地教它們定義正確的基本規(guī)則

。Chatbots,Al

with

conversational

language聊天機(jī)器人，

能對(duì)話的AIReasoners,

human-level

problemsolving推理系統(tǒng)，

具備人類(lèi)水平的問(wèn)題解決能力Agents,systems

that

can

take

actions智能體，

能夠采取行動(dòng)的系統(tǒng)Innovators,Althatcanaid

in

invention人工智能驅(qū)動(dòng)的創(chuàng)新Organizations,Al

that

can

do

the

work

of

an

organization能夠完成組織工作的AI組織/系統(tǒng)Level

1Level

2Level

3Level4Level

5PreTrain

-預(yù)訓(xùn)練范式Agent

-

智能體范式PostTrain&Inference

-后訓(xùn)練與推理范式機(jī)會(huì)方向：通往AGI的5級(jí)范式

Stages

ofArtificial

Intelligence......AI對(duì)應(yīng)人類(lèi)的兩種思維模式全面

、大幅度超越了所有前代模型！?

AIME

2024（美國(guó)高中數(shù)學(xué)邀請(qǐng)賽，

相當(dāng)于中國(guó)高中數(shù)學(xué)聯(lián)賽，數(shù)學(xué)奧賽篩選賽）

：

o3得分96.7%，

僅錯(cuò)1題；?Frontier

Math

基準(zhǔn)測(cè)試：

o3創(chuàng)下新紀(jì)錄，

解決了25.2%的問(wèn)

題，

而其他模型均未超過(guò)2%；?

SWE-Bench編程測(cè)試：

比o1領(lǐng)先22.8%；?Codeforces編程競(jìng)賽：

elo分高達(dá)2727；

OpenAI

首席科學(xué)家的得分也只有2665；?GPQA

Diamond

基準(zhǔn)測(cè)試（

Graduate-Level

Google-ProofQ&A

Benchmark，

生物

、物理

、化學(xué)等領(lǐng)域的測(cè)試題）

：

o3

得分未

87.7%，

遠(yuǎn)超人類(lèi)專(zhuān)家；?

ARC-AGI

基準(zhǔn)測(cè)試：

o3在低算力能力下的得分是o1的3倍還

多，

超87%；2024年12月發(fā)布的OpenAI

O3有多強(qiáng)？O3在ARC-AGI測(cè)試中的得分OpenAI

O3已驗(yàn)證新范式的有效性O(shè)3解決了知識(shí)模型范式/LLM的根本局限：

無(wú)法重組知識(shí)

、無(wú)法創(chuàng)造新知識(shí)，

只有靜態(tài)的知識(shí)記憶-提取-組合l把人類(lèi)所有的知識(shí)壓縮到一個(gè)萬(wàn)億參數(shù)級(jí)別的

模型里面

。（

見(jiàn)過(guò)已知的所有）l擁有千萬(wàn)維度的語(yǔ)義空間，理解概念關(guān)聯(lián)性。l能夠理解人類(lèi)的語(yǔ)言（語(yǔ)言也是知識(shí)的一種）

。l任何問(wèn)題都能在已存在的語(yǔ)義空間里面提取出

相關(guān)的知識(shí)；l組合-提煉成人類(lèi)語(yǔ)言后給予輸出，順序生成。l通過(guò)思維鏈（樹(shù)）處理沒(méi)有見(jiàn)過(guò)的問(wèn)題。l面向沒(méi)有見(jiàn)過(guò)的問(wèn)題創(chuàng)造新的解法。l解決方案/算法的搜索和執(zhí)行；l新算法的合成，新知?jiǎng)?chuàng)造；認(rèn)知（處理沒(méi)有見(jiàn)過(guò)的問(wèn)題）推理（多種可能性中選最優(yōu)）ChatGPT4OOpenAIO3無(wú)法勝任復(fù)雜任務(wù)語(yǔ)言模型隨機(jī)幻覺(jué)基于思考模式基于樣本n謎題

、數(shù)學(xué)證明n復(fù)雜的決策問(wèn)題n開(kāi)放式答案n需要顯式的多步驟思考

1+1

=

？簡(jiǎn)單問(wèn)題

知識(shí)性回答

即時(shí)響應(yīng)類(lèi)的推理模型的適用場(chǎng)景DeepSeek的意義：頂級(jí)模型免費(fèi)了（

開(kāi)源

）基礎(chǔ)模型V3

推理模型R1DeepSeek顯性輸出推理過(guò)程相比之下，OpenAI隱藏推理過(guò)程DeepSeek的500萬(wàn)美金訓(xùn)練成本是怎么回事？nOpenAI

、Meta官方從來(lái)沒(méi)有公布過(guò)GPT-4

、GPT-4o

、Llama

3.1的訓(xùn)練成本nDeepSeek只公布了基座模型V3的訓(xùn)練成本，并沒(méi)有公布推理模型R1的訓(xùn)練成本n557.6萬(wàn)美元的訓(xùn)練成本并不包括前期研究以及關(guān)于架構(gòu)

、算法或數(shù)據(jù)的消融實(shí)驗(yàn)所產(chǎn)生的成本n

從V3開(kāi)始通過(guò)GRPO

RL和CoT訓(xùn)練，

讓模型生成600K高質(zhì)量推理數(shù)據(jù)

。n

用600K（推理）

+200K（非推理）

數(shù)據(jù)重新從

V3

Base

Model訓(xùn)練R1

。n

DeepSeek

R1是先學(xué)會(huì)了推理規(guī)則，

再匹配人類(lèi)喜好（語(yǔ)言一致性

、格式

、安全等）

。n

R1Zero是一個(gè)完全不依賴(lài)SFT的版本，

創(chuàng)建了領(lǐng)域特定語(yǔ)言（

DSL）

。DeepSeek

R1的完整訓(xùn)練過(guò)程12MoE架構(gòu)：任務(wù)的分流，更細(xì)的分工通過(guò)MOE架構(gòu)顯著減少了推理的計(jì)算量DeepSeek的訓(xùn)練并沒(méi)有繞開(kāi)CUDA，也并沒(méi)有創(chuàng)造新的方法PTX

GRPOvalue

model（價(jià)值模型）

，顯著降低了推理時(shí)的內(nèi)存占用和時(shí)間開(kāi)銷(xiāo)

。為模型輸出提供更精準(zhǔn)的評(píng)估

，不僅衡量答案的絕對(duì)質(zhì)量，還通過(guò)相對(duì)比較（與其他回答的對(duì)比）來(lái)更全面地定位其優(yōu)劣。GRPO通過(guò)優(yōu)化PPO算法，解決了計(jì)算優(yōu)勢(shì)值時(shí)需要同時(shí)依賴(lài)獎(jiǎng)勵(lì)模型（

reward

model）和價(jià)值模型（

value

model）

的問(wèn)題，成功移除了核心機(jī)制（猜測(cè)）：n強(qiáng)化微調(diào)(后訓(xùn)練階段)：基礎(chǔ)模型會(huì)在推理時(shí)

，生成成百

上千個(gè)可能的解決方案/CoT，沿著思維鏈推理

，嘗試多種解決方案，最終得出一個(gè)正確答案；n用一個(gè)驗(yàn)證模型（

verfier

model），檢查復(fù)核這些答案，評(píng)分，檢查計(jì)算或推理錯(cuò)誤；給予獎(jiǎng)勵(lì)或懲罰。n從預(yù)測(cè)下一個(gè)Token，到預(yù)測(cè)下一個(gè)解法/解決方案

/CoT/thinkingsteps（一系列token，組合成的

solution）。R1/O1：ChatGPT

+

AlphaGoAlphaGo的強(qiáng)化學(xué)習(xí)原理格式激勵(lì)問(wèn)：

2x-1

=

4-3x，x

=

？答：加1分答：x

=

1——

零分問(wèn)：

2x-1

=

4-3x，x

=

？答：x

=

1

——加1分答：x

=

2

——

零分強(qiáng)化學(xué)習(xí)（

RL

）中的激勵(lì)模型準(zhǔn)確度激勵(lì)n

General

Reasoning

and

Knowledge

(50%)n

Mathematical

Reasoning

(25%)n

Code

Generation

(25%)Standardized:All

models

are

evaluated

under

identicalconditionswith

consistent

prompting

strategies,temperature

settings,

and

evaluation

criteria.Unbiased:We

employ

evaluationtechniquesthat

avoidunfairly

penalizing

modelsfor

answersthat

correctlyfollow

the

instructions

in

our

prompts.This

includes

using

clearprompts,

robust

answer

extraction

methods,

andflexibleanswervalidationto

accommodatevalidvariations

in

model

outputs.Zero-Shot

Instruction

Prompted:We

evaluate

using

clearinstructionswithout

examples

or

demonstrations,testingmodels'

abilitytofollow

directionswithoutfew-shot

learning.This

approach

alignswith

modern

instruction-tuned

and

chat

style

models.Transparent:Wefully

disclose

our

methodology,

including

prompttemplates,

evaluation

criteria,

and

limitations.模型能力排名：R1處于第一梯隊(duì)Level

1預(yù)訓(xùn)練圖靈一體化算力網(wǎng)GPU.TR

NGT

智算生態(tài)COT后訓(xùn)練與推理Agent系統(tǒng)構(gòu)建巨大的產(chǎn)業(yè)機(jī)會(huì)：從訓(xùn)練到推理的整體方案支撐TR

NGT整套私有化部署環(huán)境Agent框架與推理系統(tǒng)AgentNexus?&

InferencePoD?基礎(chǔ)設(shè)施技術(shù)平臺(tái)EvoCompute?高性?xún)r(jià)比推理方案Level

2Level

3企業(yè)如何用大模型部分行業(yè)案例介紹配置“用模型

”的能力是AI時(shí)代的核心競(jìng)爭(zhēng)力！流程優(yōu)化分析決策運(yùn)營(yíng)管理市場(chǎng)營(yíng)銷(xiāo)客戶(hù)服務(wù)外部大模型內(nèi)部知識(shí)圖譜辦公

設(shè)計(jì)企業(yè)私有本地化的大模型企業(yè)大模型管理中樞發(fā)現(xiàn)自動(dòng)化理解總結(jié)生成編程業(yè)務(wù)數(shù)據(jù)外部數(shù)據(jù)技術(shù)文檔日常文檔知識(shí)庫(kù)代碼報(bào)表日志企業(yè)大模型能力進(jìn)化路徑 對(duì)外提供行業(yè)大模型服務(wù) 使用互聯(lián)網(wǎng)上的大模型服務(wù)本地化的大模型企業(yè)專(zhuān)屬大模型本地化的大模型大模型時(shí)代的企業(yè)核心能力，

是

“用模型

”的能力模型調(diào)優(yōu)本地知識(shí)庫(kù)本地知識(shí)庫(kù)本地知識(shí)庫(kù)AI智能體外部調(diào)用AI智能體提詞工程提詞工程外部調(diào)用提詞工程管理管理辦公業(yè)務(wù)辦公辦公業(yè)務(wù)業(yè)務(wù)管理用精用好用上行業(yè)應(yīng)用案例利用生成式人工智能改善工藝流程，

提升整體效率，

降低成本行業(yè)應(yīng)用案例

成立2年，

估值15億美金合同AI審核自動(dòng)協(xié)議起草規(guī)劃能力轉(zhuǎn)診建議

同理心案例：?jiǎn)栐\環(huán)節(jié)的AI

智能體診斷效果評(píng)估病人的信心AI扮演問(wèn)診不斷調(diào)優(yōu)問(wèn)題發(fā)現(xiàn)開(kāi)放與誠(chéng)懇診斷準(zhǔn)確率141行業(yè)應(yīng)用案例n

心理健康技術(shù)公司

Grow

Therapy—估值14億美元grow

therapy請(qǐng)幫我制作一份報(bào)告

，總結(jié)過(guò)去12個(gè)月內(nèi)訪問(wèn)過(guò)我們度假酒店的客戶(hù)的概況。我希望報(bào)告包括以下內(nèi)容：-

新客戶(hù)與老客戶(hù)及其人

口統(tǒng)計(jì)摘要-

顧客來(lái)自哪里以及停留

時(shí)間-

客戶(hù)類(lèi)型及其訪問(wèn)原因微軟Power

BI客戶(hù)重復(fù)到訪的主要驅(qū)動(dòng)力是什么？大模型算力如何選型？從使用場(chǎng)景的效果計(jì)量將大參數(shù)模型加載到多張顯卡的顯存，并且保持這些顯存之間高效的數(shù)據(jù)交換?？偹懔LOPS/總通訊帶寬/MFU

.在一定的并發(fā)下

，保障特定模型推理輸出Token的延遲（TTFT）

、速率（TPOT）這兩個(gè)核心指標(biāo)。顯存容量芯片算力卡間速率顯存容量多機(jī)組網(wǎng)顯存帶寬預(yù)訓(xùn)練場(chǎng)景推理場(chǎng)景對(duì)應(yīng)不同的組合H20推理DeepSeek

R1性能分析關(guān)于AI的未來(lái)展望AI對(duì)電力的需求（

電力和DC資源的挑戰(zhàn)

）當(dāng)前要實(shí)現(xiàn)工業(yè)經(jīng)濟(jì)到數(shù)字經(jīng)濟(jì)的大跨越

、大提升，

初步答案是“數(shù)據(jù)

、算法和算力的基礎(chǔ)設(shè)施化

”。這當(dāng)中最為重要的就是算力的基礎(chǔ)設(shè)施化。國(guó)家發(fā)改委：算力基礎(chǔ)設(shè)施化農(nóng)業(yè)經(jīng)濟(jì)數(shù)字經(jīng)濟(jì)工業(yè)經(jīng)濟(jì)?

通用算力?

智算算力?

超算算力算力國(guó)家發(fā)改委：數(shù)字新基建的邏輯?

公共數(shù)據(jù)?

企業(yè)數(shù)據(jù)?

個(gè)人數(shù)據(jù)數(shù)據(jù)全國(guó)一體化算力網(wǎng)（從“東數(shù)西算

”工程開(kāi)始起步

）全國(guó)一體化數(shù)聯(lián)網(wǎng)（從“數(shù)據(jù)20條

”開(kāi)始起步）?

數(shù)據(jù)應(yīng)用類(lèi)算法?

算力調(diào)度類(lèi)算法?

加密算法算法統(tǒng)一大電網(wǎng)中

國(guó)我國(guó)電網(wǎng)均實(shí)行統(tǒng)一規(guī)劃

、統(tǒng)一調(diào)度

、統(tǒng)一管理