DeepSeek

核心技術白話解讀報告主題：DeepSeek核心技術白話解讀全校Al公開課

DeepSeek

與未來AI

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授王

鵬西北工業(yè)大學計算機學院2025年2月26日空天地海一體化大數(shù)據(jù)應用技術國家工程實驗室MationafrngineexingLabcratoryfeclntegrated

Aero5pace-Guund-Oean8igDataAplkationTechnclogy國家級人才全校Al公開課

DeepSeek與未來AI

創(chuàng)新報告主題：DeepSeek

核心技術白話解讀第一部分引

言嘉賓：王鵬西北工業(yè)大學計算機學院教授國家級人才DeepSeek

的突破性定位首個低成本、高性能的開源大語言模型性能比肩GPT-4

、OpenAl-01等頂尖閉源大模型，訓練成本僅為后者的5%-10%全校Al公開課

DeepSeek

與未來AI

創(chuàng)新報告主題：DeepSeek核心技術白話解讀嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek-V3

性能DeepSeek-R1

性能國家級人才報告主題：DeepSeek

核心技術白話解讀DeepSeek

的幾個版本出

金嘉賓：王鵬西北工業(yè)大學計算機學院教授

我是

DeepSeek,

根高興見到你!先思考后回答，

衡

6

互

4oe

任地報鴨?對標OpenAI-01

更DeepSeek

有語言和推理模型，及模型對應的滿血蒸餾等諸多版本與未來AI

創(chuàng)新推理大模型DeepSeek-R1語言大模型DeepSeek-V3全校Al公開課將大型模型的知識壓縮到更小的模型中，性能稍弱但輕便高效deepseek探索未至之境M

平MDeepSeek模型不變，通

過降低參數(shù)精度，提高推理效率DeepSeek完整的版本性能強大但計算開銷大通對推量化版本滿血版本蒸餾版本用

標

理對標ChatGPT通用語言大模型

，國家級人才開加對著ut4里

助料

科二報告主題：DeepSeek核心技術白話解讀DeepSeek

技術創(chuàng)新的核心邏輯功能實現(xiàn)更少的模型參數(shù)更少的計算存儲更少的通訊開銷DeepSeek

與未來

創(chuàng)

新嘉賓：王

鵬西北工業(yè)大學計算機學院教授技術創(chuàng)新學習策略模型框架全校Al公開課終極目標更少的成本核心邏輯：用更少的成本做更多的事更少的數(shù)據(jù)標注國家級人才工程實現(xiàn)AI機器學習模型：一種映射，在給定輸入情況(x)下、輸出一定結果的函數(shù)f(x)。機器學習：根據(jù)反饋信號調整模型的參數(shù)，以使模型的表現(xiàn)符合預期X

f(x)輸入

模型

輸出2.1學習策略創(chuàng)新：背景知識全校Al公開課

與未來AI

創(chuàng)新報告主題：DeepSeek

核心技術白話解讀西北工業(yè)大學計算機學院教授

國家級人才DeepSeek嘉賓：王鵬反饋信號2.1學習策略創(chuàng)新：背景知識全校Al公開課

與未來AI

創(chuàng)新類比：老師手把手教你做題，直接告訴你解題思路優(yōu)勢：學習目標明確，訓練效率高，易收斂劣勢：依賴標注數(shù)據(jù)，泛化能力受限類比：只告訴你答案是否正確，不指導解題思路優(yōu)勢：無需標注數(shù)據(jù)，可處理開放性問題劣勢：需大量試錯，訓練效率低，難收斂報告主題：DeepSeek

核心技術白話解讀X輸

入

模型

輸出輸出是否正確強化學習：間接的評估性的反饋監(jiān)督學習：直接的指導性的反饋監(jiān)督學習和強化學習是兩種常見的機器學習策略DeepSeek西北工業(yè)大學計算機學院教授嘉賓：王鵬+

輸出國家級人才X輸入

模型與標準答案之間的差距報告主題：DeepSeek

核心技術白話解讀大模型訓練流程：預

訓

練

+

后

訓

練預訓練在海量文本數(shù)據(jù)上進行“下一詞預測”的(自)

監(jiān)督學習，用于學習足夠多的語言知識預訓練2.1學習策略創(chuàng)新：背景知識監(jiān)督微調，在少量帶有思考過程(思維鏈)的

監(jiān)督數(shù)據(jù)上進行“下一詞預測”學習，用于激

發(fā)推理能力思維連監(jiān)督微調全校Al公開課

與未來AI

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授后訓練DeepSeek在海監(jiān)督隨機初始化

海量數(shù)據(jù)LMs)預訓練后的大模型LLMs)預訓練后的

大模型2?問題國家級人才問題相關的

思維鏈啟發(fā)微調后的

大模型??(

點報告主題：DeepSeek

核心技術白話解讀Drep5aekR1-ZereAJMEaccuracyduringtrainingj3cDeepSeek-R1-Zero

的強化學習曲線

DeepSeek-R1-Zero

平均響應長度逐漸增加神奇之處：通過一個不需要思維鏈標注、不需要過程監(jiān)督、依靠最簡單的反饋信號、依賴很少的學習循環(huán)次數(shù)的極其簡單的后訓練流程，就可大幅提升模型的推理能力。2.1學習策略創(chuàng)新：算法實現(xiàn)DeepSeek:

首次在后訓練階段用強化學習完全代替監(jiān)督微調

(R1-Zero)。

采

用的GRPO算法放棄了對思維過程進行監(jiān)督的執(zhí)念，去除了過程價值評分模型

(crit

ic)DeepSeok-R1-Zeroaveratlngthporresoonseduringbaninac6sccokc0DeepSeek

與未來

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授全校Al公開課國家級人才AIQuestion:Ifa>1,then

thesumof

therealsolutionsof

Va-Va+x=xisequaltoResponse:<think>Tosolvetheequationva-va+x=x,let'sstartbysquaringboth

…(va-va+x)2=x2→a-va+x=x2.Rearrangeto

isolatethe

inner

squareroot

term:(a-x2)2=a+xa2-2ax2+(x2)2=a+x

一

x?-2ax2-x+(a2-a)=0Wait,wait.Wait.That'sanahamomentIcan

flag

here.Let'sreevaluatethis

step-by-stepto

identify

if

the

correct

sum

canbe

…We

startedwith

the

equation:Va-√a+x=xFirst,let's

square

both

sides;a-va+x=x2

一ya+x=a-x2Next,I

could

square

both

sides

again,treating

the

equation:

…報告主題：DeepSeek

核心技術白話解讀

該模型學會了使用擬人化的語氣進行重新思考。

像人一樣有頓悟的時刻，讓

我們見證了強化學習的力量和美麗。2.1學習策略創(chuàng)新：頓悟時刻全校Al公開課

與未來AI

創(chuàng)新DeepSeek-R1-Zero

中一個有趣的“頓悟時刻”嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek行有不得，反求諸己，我悟出了更好的國家級人才大幅增加后訓練階段的可擴展性，降低數(shù)據(jù)標注成本開

啟LLM推理能力的自我進化之門：與其直接教解題思路，不如讓模型自己悟出更好的從強人工智能到超人工智能?報告主題：DeepSeek

核心技術白話解讀2.1學習策略創(chuàng)新：科學意義與未來AI

創(chuàng)

新全校Al公開課DeepSeek嘉賓：王

鵬西北工業(yè)大學計算機學院教授國家級人才深度神經(jīng)網(wǎng)絡的核心思想是信息的逐層傳播與變換傳播的多樣性：CNN

關注空間局部性，RNN

強調時序依賴，Transformer

實現(xiàn)全局交互，但均

遵循“輸入→處理→輸出”的傳播邏輯。變換的核心性：無論線性變換、非線性激活，還是注意力權重的動態(tài)計算，本質上都是對信息的加工和提取。目標的一致性：最終目標是通過層級變換，將原始輸入映射到有意義的輸出。報告主題：DeepSeek

核心技術白話解讀加目

標2.2模型結構創(chuàng)新：背景知識全校Al公開課

與未來AI

創(chuàng)新3

28

4

1034”2

144

10245124地人盈準

97家打范

D平趨籃詐夠穿嘉賓：王鵬西北工業(yè)大學計算機學院教授Transformer

模型結構因其全局依賴建模能力、并行計算效率和可擴展性，成為大模型的首選架構DeepSeekTransformer結構國家級人才循環(huán)神經(jīng)網(wǎng)絡RNN卷積神經(jīng)網(wǎng)絡CNNH-mMMIdN

o

m++4E

c

n

l

i

n屬前向計算網(wǎng)絡：實現(xiàn)多層非線性變換，大約2/3的模型參數(shù)集中于此自注意力機制：其核心思想是通過動態(tài)計算輸入元素間的權重，捕捉元素之間的復雜依賴關系，賦予模型強大的上下文建模能力。參數(shù)量占約1/3,但其計算復雜度為輸入序列長度的平方，在長文本條件下消耗了大部分計算存儲資源單層Transformer結構報告主題：DeepSeek核心技術白話解讀2.2模型結構創(chuàng)新：背景知識Feed-Forward

NetworkRMSNorm中AttentionRMSNorm嘉賓：王鵬西北工業(yè)大學計算機學院教授與未來AI

創(chuàng)新全

校Al公開課DeepSeekTransformer結構：國家級人才大模型的過參數(shù)化：參數(shù)量遠超過了擬合訓練數(shù)據(jù)所需的最小參數(shù)量，但學習到的模型可能只存在于一個低本質維度的子空間中。這是Deepseek

模型結構創(chuàng)新的重要前提報告主題：DeepSeek

核心技術白話解讀傳統(tǒng)機器學習理論：模型復雜度增加時，測試誤差先下降后上升現(xiàn)代機器學習實踐：在過參數(shù)化的深度學習中測試誤差會再次下降，形成“雙下降”曲線，這成為大模型研究的重要動機之一under-parameterizedover-parameterizedTest

risk“classical”"modern"regime

interpolatingregimeinterpolationthresholdCapacityof

H(b)2.2模型結構創(chuàng)新：背景知識over-fittingTest

riskTrainingrisksweet

spotCapacity

of

H全校Al公開課

與未來AI

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek國家級人才Training

riskunder-itting(a)RiskRiskFeed-Forward

NetworkRMSNormAttentionRMSNormMOE:將單一前向計算網(wǎng)絡分割成若干個小網(wǎng)絡，通過動態(tài)激活部分專家提升計算效率DeepSeekMOE:更細粒度的專家分割，將MOE

的計算優(yōu)勢發(fā)

揮到極限。但隨之帶來負載均衡、通信路由等問題，通過工程方

法進行了解決Outpc

Hiden

Oatgut

Hicden00望望

皇1

2

N

2

4

[Route

d

k=2

R

MK=41rout

Hidden

00

Input

Hidceh

0o2.2模型結構創(chuàng)新：混合專家結構報告主題：DeepSeek核心技術白話解讀嘉賓：王

鵬西北工業(yè)大學計算機學院教授與未來AI

創(chuàng)新混合專家結構

(MOE):對前向計算網(wǎng)絡的改進全校Al公開課(3)Conventional

Top-2Routing

(b)+Fine-grained

Expert

segmentation

lc)+Shared

txpert

lsolstion(DeeoSeekMoElDeepSeek國家級人才使

用分

布采用理2.3工程實現(xiàn)創(chuàng)新嘉賓：王鵬

采用4D

并行策略，結合通信計算重疊技術，

將萬億Token

訓練時間壓縮至3.7天。DeepSeek

與未來

創(chuàng)新報告主題：DeepSeek

核心技術白話解讀使用8位浮點數(shù)量化激活和權重，配合動態(tài)精度累加，在保證精度的同時提升訓練速度30%。DeepSeek

結合計算硬件做了大量的工程創(chuàng)新實現(xiàn)極致性價比預填充與解碼階段分離，結合冗余專家動態(tài)路由，實現(xiàn)高吞吐量與低延遲的在線服務。全校Al公開課推理部署分離策略分布式訓練優(yōu)化西北工業(yè)大學計算機學院教授FP8

混合精度訓練國家級人才AI反向傳播2.3工程實現(xiàn)創(chuàng)新：背景知識報告主題：DeepSeek核心技術白話解讀反向傳播根據(jù)誤差調整網(wǎng)絡，誤差逐層傳遞到上一層，并最終更新所有參數(shù)。嘉賓：王

鵬西北工業(yè)大學計算機學院教授與未來AI

創(chuàng)新上一層計算后，向前傳給下一層直至最終輸出y。圖靈獎和諾貝爾獎獲得者Jeff

Hinton主要貢獻之一全校Al公開課前向傳播反向傳播是多層神經(jīng)網(wǎng)絡的梯

度

下

降

算

法DeepSeek前向傳播是得到輸出的過程。國家級人才Input

IWeightScaingFachor

ScaingFactorNcNoNcXTersorCoroOutput*□*□

二CUDA

Core報告主題：DeepSeek核心技術白話解讀格式動態(tài)范圍

符號位指數(shù)位小數(shù)位總數(shù)位FP32

約3.4×1038

1

8

23

32FP16

約6.

1×10?

1

5

10

16FP8

E4M3

約4.5×102

1

4

3

8FP8

E5M2

約5.7×10?

1

5

2

8Sion8附exponentmantissP32

8623btisFP16

5bns

11bitFP8E4M3:

4bsSbit2.3工程實現(xiàn)創(chuàng)新：FP8

混合精度訓練DeepSeek

與未來

創(chuàng)新浮點數(shù)在計算機中的表示方法，

FP8

的動態(tài)范圍最小，容易引起上溢和下溢問題嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek

通過細粒度量化方法減輕由異常值引起的量化誤差全校Al公開課DeepSeek

首次使用FP8

混合精度訓練大模型國家級人才AI強化學習多頭潛在注意力

(MLA)混合專家結構

(MOE)FP8混合精度訓練分布式訓練優(yōu)化小結更少的數(shù)據(jù)標注更少的模型參數(shù)更少的計算存儲更少的通訊開銷全校Al公開課

與未來AI

創(chuàng)新報告主題：DeepSeek

核心技術白話解讀嘉賓：王鵬西北工業(yè)大學計算機學院教授技術核心邏輯：用更少的成本做更多的事DeepSeek用更少的成本做更多的事國家級人才段位任務算力(GPU

hr)

低參微調后訓練預訓練青銅日常使用最低-白銀Agent更低.黃金低參數(shù)微調低√××星耀后訓練約5Kx√×王者全過程復現(xiàn)約2788K×√√報告主題：DeepSeek核心技術白話解讀玩轉DeepSeek

的幾個段位全校Al公開課

與未來AI

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek循序漸進地掌握

DeepSeek國家級人才報告主題：DeepSeek

核心技術白話解讀玩

轉DeepSeek

·

青銅全校Al公開課

與未來AI

創(chuàng)新嘉賓：王鵬西北工業(yè)大學計算機學院教授國家級人才“青銅”段位：需要通過直接問答和提示工程快速掌握DeepSeek

的基礎應用重點利用現(xiàn)有的問答能力和構建簡單的提示工程，調整輸出，提升生產效率DeepSeek“白銀”段位：LLM作為Agent,與其他軟件系統(tǒng)進行連接和功能擴展檢索增強型生成模型

RAG(Retrieval-AugmentedGeneration)Pipeline魅瀾返回報

告

主

題

：DeepSeek

核心技術白話解讀分塊向量化教據(jù)堤敢

arbedeingpeamet模板大桶衛(wèi)ILLM用戶逐步擴展DeepSeek

的應用場景，進一步提升模型的功能玩

轉DeepSeek

·

白銀嘉賓：王鵬西北工業(yè)大學計算機學院教授與未來AI

創(chuàng)新全校Al公開課DeepSeek基于API實現(xiàn)輔助修改文檔基于插件實現(xiàn)AI編程輔助國家級人才報告主題：DeepSeek

核心技術白話解讀后訓練包括對特定任

務的微調、強化學習、

自適應訓練、多任務學

習等手段通過幫助模型更好地處理復雜問題，提升任務的執(zhí)行效率。玩

轉DeepSeek

·

星

耀“星耀”段位：進入后訓練階段，對已經(jīng)訓練的模型進行進一步的訓練與調整，

提高模型的泛化能力和在實際應用中的表現(xiàn)全校Al

公開課

DeepSeek與未來AI創(chuàng)新Specifio(Private)

knowledgebasesuparvied

fine-tuningBose

LLMEnvironment環(huán)境i

Policy策

路Aaon)Bigwebdota強化學習Reward獎勵State

狀態(tài)嘉賓：王鵬西北工業(yè)大學計算機學院教授Fine-tunedLLMAction動作特定任務的微調國家級人才-pre-training報告主題：DeepSeek

核心技術白話解讀下游任務通過從頭開始進行模型的預訓練并結合后訓練的技術進行全面優(yōu)化玩轉DeepSeek

·

王者全校Al公開課

DeepSeek

與未來AI

創(chuàng)新鍋X

Ai

KunyATON3180LNPUT莫MODEL就nieLASS:FichTa0VTPUTsT嘉賓：王鵬西北工業(yè)大學計算機學院教授精通模型全流程訓練的每個環(huán)節(jié)使模型在復雜場景下達到最佳表現(xiàn)“王者”段位：需要掌握預訓練與后訓練的全過程oKCAMODEL少量

數(shù)據(jù)海量

數(shù)據(jù)國家級人才低參數(shù)微調蓄街

藥州再噬-DeepSeek與未來AI

創(chuàng)新第四部分思考與展望報告主題：DeepSeek

核心技術白話解讀嘉賓：王

鵬西北工業(yè)大學計算機學院教授全校Al公開課國家級人才DeepSeek

的出現(xiàn)使得西方市場恐慌成本降低使得市場需求擴大黃仁勛在訪談中說：“你知道，就像是R1

從天而降，我們不再需要進行任何計算?但事實恰恰相反?！盌eepSeek

的多項核心技術仍是基于Nvidia

平臺開發(fā)國產硬件已支持部署，但目前是否能支持FP8

訓練?報告主題：DeepSeek

核心技術白話解讀現(xiàn)象思考1:為什么英偉達的股價大起大落?嘉賓：王鵬西北工業(yè)大學計算機學院教授成本降低這件事情怎么理解：恐

慌

→

推

動普及和應

用與未來AI

創(chuàng)新全校Al

公開課DeepSeek黃仁勛接受訪談國家級人才現(xiàn)象思考2:對DeepSeek

部署熱潮的反思對于高校的Al科研，也許應將重點放在白銀到王者段位之間，專注于更高效的模型訓練和任務優(yōu)化，推動實際應用和技術進

步，而非單純的模型部署。報告主題：DeepSeek核心技術白話解讀大多數(shù)用戶只能在青銅和白銀

段位中進行操作，并且需要掌

握諸如提示工程和RAG

等技術，

這限制了其進一步的應用深度。嘉賓：王鵬西北工業(yè)大學計算機學院教授DeepSeek

的部署熱潮雖然激發(fā)了興趣，但大多數(shù)用戶停留在基礎段位與未來AI

創(chuàng)

新全校Al公開課DeepSeek西工大開設的相關Al課程教學大綱

西

工大規(guī)劃出版的人工智能相關的跨學科教材RAGEnginaering國家級人才Damanunsoaandngt

m

l

中Fina-tuning文生圖模型的幻覺A

white

boal

sitingo

The

word'START

ona

Ame

insit

andatop

ofa

table.

padabear通過提升模型的推理能力和語境理解，減少不準確或無關的生成內容報告主題：DeepSeek核心技術白話解讀現(xiàn)有問題1:幻覺消除全校Al公開課

與未來AI

創(chuàng)新幻覺問題

(hallucination)普遍存在于大模型中，在文生圖和圖生文任務仍然存在嘉賓：王鵬西北工業(yè)大學計算機學院教授Atablewithacup

ofcoffe.abowlofcereal,andabptop

coupsaterAtablewiththres

applebplops

acup

of

coffoeanda

bowl

of

cerealTworpebarsusswitn

stickersona

tiled

counterAbuachofbanausaswitshickerson

them,DeepSeekAtablewithfivewineglasses.Wineglasses

on

a

tzhle

witaredplaccnat,圖生文模型的幻覺FT

model

original