應(yīng)用 New

深度學(xué)習(xí)框架核心功能避免了解硬件底層開發(fā)接口，如CudaCcuDNNcuBlas隔離硬件差異，如CudaConeAPIXTDKBangC可擴(kuò)展，如硬件后端、算子、Pass、Dialect模型和框架代碼規(guī)模對(duì)比Llama32Tensorflow420298307

自動(dòng)微分功能深度學(xué)習(xí)框架發(fā)展歷程PaddlePaddle

Theano

Caffe

TensorFlow

PyTorchv0.1

TensorFlow+EagerPyTorch

飛槳CINN

PyTorch

+Graph

DeepBelief

大模型技術(shù)發(fā)展趨勢(shì) Mamba:Linear-TimeSequenceModelingSelectiveStateSwitchTransformers:ScalingtoSelectiveState

人工智能引發(fā)科學(xué)發(fā)現(xiàn)和模式創(chuàng)新變革 2021年DeepMind公司提出AlphaFold2模型

2022年英偉達(dá)&西門子基于AI和物理的風(fēng)電場(chǎng)數(shù)字孿生4,000倍

大模型時(shí)代的深度學(xué)習(xí)框架AIforScience

飛槳框架架構(gòu)圖PHI神經(jīng)網(wǎng)絡(luò)編譯器TensorPaddleSSAGraphProgram寒武紀(jì)昇騰海光昆侖英偉達(dá)各模塊之間的關(guān)系（含自動(dòng)并行飛槳新一代框架動(dòng)轉(zhuǎn) 拆動(dòng)態(tài) 靜態(tài) 框架基礎(chǔ)算 編譯defy=conv2d(x,z=batch_norm(y,…)returnMax(x,

新IR自動(dòng)微

自動(dòng)并行組合算子 靜態(tài)圖和動(dòng)態(tài)圖開發(fā)模式（編譯期（編譯期 動(dòng)靜轉(zhuǎn)換技術(shù)動(dòng)靜轉(zhuǎn)換技術(shù)飛槳?jiǎng)愚D(zhuǎn)靜P飛槳?jiǎng)愚D(zhuǎn)靜Python語法支持率94%，領(lǐng)先PyTorch的59%飛槳模型整圖導(dǎo)出成功率95%，領(lǐng)先PyTorch的62%通過比較官網(wǎng)文檔說明的Python語法34PaddleSOT動(dòng)靜轉(zhuǎn)換

解決深度學(xué)習(xí)模型下Python語言與框架IR之間差異性，實(shí)現(xiàn)轉(zhuǎn)靜訓(xùn)練100%的成功率，極致化用戶體驗(yàn)

中間表示IR靜態(tài) 中間表 運(yùn)行

IR中間表示IR應(yīng)用示例

DeclarativeRewriteRule機(jī)制（即DRR）三段式Pass開發(fā)范式，讓開發(fā)者更聚焦于Pass邏輯的處理，無需關(guān)心底層IRSourceSourcePass樣例：移除冗余連續(xù)的CastDeclarativeRewriteRule機(jī)制（即DRR）DRR應(yīng)用廣泛，在算子Fuse融合類Pass開發(fā)上，簡潔易用，有效降低60FlashAttenFlashAttenConv2d+Add+Act算子融合高擴(kuò)展中間表示PIR高擴(kuò)展性

PIR 功能完善的Pass功能完善的Pass多層級(jí)的多層級(jí)的OperatorKernelCINNControlFlowShape提升 提升 下降 下降 持通過使用PIR，Pass開發(fā)成本降低60%，推理性能提升超過提前靜態(tài)選Kernel常量折疊PassInplacePass大模型對(duì)算力的挑戰(zhàn) 帶寬瓶計(jì)算量vs摩爾定 參數(shù)量vs顯 算力vs帶GPUTensor31210002250多多 面臨問題 解決思 技術(shù)方 BatchSize=1都跑不起 進(jìn)一步提高Batch飛槳分布式技術(shù)架構(gòu)演進(jìn)路線手動(dòng)并行代碼示例（TP&PP）

修改TP修改PP分布式標(biāo)記（DistAttr）sum,動(dòng)靜統(tǒng)一自動(dòng)并行DataDataDataDataData

動(dòng)靜統(tǒng)一自動(dòng)并行Llama2以Llama模型為例，無需考慮通信邏輯，核心代碼可減少50%，Llama232*A100

Llama232*A100同類開源產(chǎn)品飛槳手動(dòng)并行飛槳自動(dòng)并行動(dòng)靜統(tǒng)一自動(dòng)并行架構(gòu)高階自動(dòng)微分2D (

62)(

62 ?w

6x2+

6x2+

w=Dx∈[0, y∈[0,在x=0和x=?兩條邊上，有撓度?和力矩??為在x=0和x=?兩條邊上，有撓度?和力矩??為 qx=?D6x(6x2

6y2 qy=?D6y(6x2

6y2 Mx=?D(6x2+v6y2 My=?D(6y2+v6x2

=D(1?v)組合算子機(jī)制PythonPythonC++前向算子組合規(guī) 基礎(chǔ)算子微分規(guī)基礎(chǔ)算子體 注動(dòng)態(tài)圖基礎(chǔ)算 靜態(tài)圖基礎(chǔ)算動(dòng)態(tài)圖：拆解N+1面向組合算子模型精度和顯存優(yōu)化耗 耗 單位微 算子組合手動(dòng)融合編譯深度學(xué)習(xí)編譯器

LLVMIR

CINNDialect的Fusion

動(dòng)態(tài)shape

（Operator（Operator

HostLaunchCUDAKernel（CINN&Shape

CUDAC

LLVMShapeDialect解讀飛槳對(duì)框架內(nèi)150+基礎(chǔ)算子和典型算子新增支持了動(dòng)態(tài)ShapeIneSymbocShap可動(dòng)態(tài)地隨計(jì)算圖Pass的應(yīng)用，自適應(yīng)且Lazy動(dòng)態(tài)Shape下Kernel生成在CodeGen階段，自動(dòng)關(guān)聯(lián)動(dòng)態(tài)Shape符號(hào)，控制流分支自適應(yīng)基于飛槳高階自動(dòng)微分及編譯優(yōu)化技術(shù)，NVIDAIModulu上44個(gè)飛槳為后端的案例科學(xué)計(jì)算模型優(yōu)化構(gòu)建飛槳AIforScience基于飛槳高階自動(dòng)微分及編譯優(yōu)化技術(shù)，NVIDAIModulu上44個(gè)飛槳為后端的案例科學(xué)計(jì)算模型優(yōu)化構(gòu)建飛槳AIforSciencePyTorchPyTorchPaddlePaddleNVIDIANVIDIAoPaddlePaddleVSPyTorchA100GPU硬件適配方案計(jì)算 計(jì)算

深度學(xué)習(xí)框架（飛槳等

PHI

TorchInductor

TritonIR

如cuBLAS，

碼如CudaC高級(jí)編程語言編譯器如

碼如CudaC

LLVMIR

LLVMIRLLVM

芯片軟件棧提供匯編編程語言及優(yōu)化接口，如NVID