ICS35.040

CCSL71

團(tuán)體標(biāo)準(zhǔn)

T/CESAXXXX—202X

人工智能科學(xué)計(jì)算共性算子功能要求

Artificialintelligence-Scientificcomputing-Functionalrequirements

ofcommonoperators

征求意見稿

在提交反饋意見時(shí)，請將您知道的相關(guān)專利連同支持性文件一并附上。

已授權(quán)的專利證明材料為專利證書復(fù)印件或扉頁，已公開但尚未授權(quán)的專利申請

證明材料為專利公開通知書復(fù)印件或扉頁，未公開的專利申請的證明材料為專利申請

號(hào)和申請日期。

202X-XX-XX發(fā)布202X-XX-XX實(shí)施

中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布

T/CESAXXXX—202X

目??次

前言.................................................................................III

1范圍.................................................................................1

2規(guī)范性引用文件.......................................................................1

3術(shù)語和定義...........................................................................1

4縮略語...............................................................................1

5約定.................................................................................2

5.1起始下標(biāo).........................................................................2

5.2參數(shù)順序.........................................................................2

5.3編程語言.........................................................................2

5.4自動(dòng)廣播.........................................................................2

5.5錯(cuò)誤處理.........................................................................2

5.6線程安全.........................................................................2

5.7張量對(duì)象不透明性.................................................................3

5.8稠密張量和稀疏張量接口一致性.....................................................3

5.9量化的支持.......................................................................3

6數(shù)據(jù)結(jié)構(gòu).............................................................................3

6.1元素類型.........................................................................3

6.2形狀信息.........................................................................4

6.3布局信息.........................................................................4

6.4設(shè)備信息.........................................................................4

6.5其它擴(kuò)展.........................................................................4

7科學(xué)計(jì)算算子接口.....................................................................4

7.1接口概述.........................................................................4

7.2應(yīng)用場景.........................................................................5

7.3接口列表.........................................................................5

8參考文獻(xiàn)............................................................................26

II

T/CESAXXXX—202X

人工智能科學(xué)計(jì)算共性算子功能要求

1范圍

本文件規(guī)定了人工智能科學(xué)計(jì)算類算子（主要包括高階微分、復(fù)數(shù)操作、傅里葉變換、線性代數(shù)、

分?jǐn)?shù)階微分、積分操作6類）的功能要求。

本文件適用于人工智能算子庫的設(shè)計(jì)、開發(fā)與應(yīng)用，也可用于指導(dǎo)人工智能領(lǐng)域計(jì)算框架與算子庫

和芯片的系統(tǒng)集成與開發(fā)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T41867-2022信息技術(shù)人工智能術(shù)語

ISO/IEC2382:2015InformationtechnologyVocabulary

IEEE2941.1-2022IEEEStandardforOperatorInterfacesofArtificialIntelligence

3術(shù)語和定義

GB/T41867-2022和IEEE2941.1-2022界定的以及下列術(shù)語和定義適用于本文件。

3.1

科學(xué)計(jì)算sciencecomputing

科學(xué)計(jì)算是指利用計(jì)算機(jī)再現(xiàn)、預(yù)測和發(fā)現(xiàn)客觀世界運(yùn)動(dòng)規(guī)律和演化特性的全過程，包括建立物理

模型,研究計(jì)算方法，設(shè)計(jì)并行算法，研制應(yīng)用程序，開展模擬計(jì)算和分析計(jì)算結(jié)果等過程。

3.2

共性算子commonoperator

共性算子是指在人工智能科學(xué)計(jì)算領(lǐng)域中，能夠跨越不同科學(xué)和工程學(xué)科的界限，服務(wù)于多種計(jì)算

模型和算法的基礎(chǔ)計(jì)算單元或操作。

4縮略語

下列縮略語適用于本文件。

ASIC：專用集成電路（applicationspecificintegratedcircuit）

CPU：中央處理器（centralprocessingunit）

FPGA：現(xiàn)場可編程門陣列（fieldprogrammablegatearray）

GPU：圖形處理器(graphicprocessingunit)

1

T/CESAXXXX—202X

NPU：神經(jīng)網(wǎng)絡(luò)處理器（neural-networkprocessingunit）

5約定

5.1起始下標(biāo)

除特別說明外，約定編號(hào)和計(jì)數(shù)從0開始。

5.2參數(shù)順序

為了方便理解，本文件中的接口函數(shù)參數(shù)列表采用輸入?yún)?shù)在前，輸出參數(shù)在后方式，實(shí)際使用中

不做此要求。

5.3編程語言

接口函數(shù)可用多種編程語言實(shí)現(xiàn)。

5.4自動(dòng)廣播

本文件不強(qiáng)制要求二元逐元素操作的張量的維度一致，但標(biāo)準(zhǔn)實(shí)現(xiàn)者應(yīng)將低維張量操作數(shù)自動(dòng)廣播

以匹配高維張量操作數(shù)的維數(shù)來完成運(yùn)算。例如：當(dāng)其中一個(gè)張量操作數(shù)的維度為0，也即標(biāo)量時(shí)，

要求標(biāo)準(zhǔn)實(shí)現(xiàn)者在操作內(nèi)部將標(biāo)量自動(dòng)廣播成和另一個(gè)操作數(shù)形狀相同的張量來完成計(jì)算，不限定具體

實(shí)現(xiàn)方式，比如可以直接通過專用硬件實(shí)現(xiàn)。

5.5錯(cuò)誤處理

本文件的接口錯(cuò)誤處理原則為對(duì)于不可修復(fù)錯(cuò)誤，直接退出操作，而對(duì)于可修復(fù)錯(cuò)誤，采用返回錯(cuò)

誤碼方式，由標(biāo)準(zhǔn)使用者決定如何處理錯(cuò)誤，返回錯(cuò)誤碼時(shí)應(yīng)優(yōu)先返回相對(duì)具體的錯(cuò)誤碼，在沒有對(duì)應(yīng)

具體錯(cuò)誤碼的情況，再返回一般性錯(cuò)誤碼。本標(biāo)準(zhǔn)規(guī)定的錯(cuò)誤碼見表1。

表1錯(cuò)誤碼

名稱類別

沒有錯(cuò)誤無

類型不匹配（STATUS_TYPE_MISMATCH）邏輯錯(cuò)誤

維度不匹配（STATUS_DIMENSIONS_MISMATCH）邏輯錯(cuò)誤

對(duì)象未初始化（STATUS_UNINITIALIZED_OBJECT）邏輯錯(cuò)誤

非法參數(shù)（STATUS_INVALID_ARGUMENT）邏輯錯(cuò)誤

內(nèi)存不足（STATUS_ALLOC_FAILED）運(yùn)行錯(cuò)誤

超出范圍（STATUS_OUT_OF_RANGE）運(yùn)行錯(cuò)誤

其他內(nèi)部錯(cuò)誤（STATUS_INTERNAL_ERROR）運(yùn)行錯(cuò)誤

注：本標(biāo)準(zhǔn)允許使用者提供其他自定義的錯(cuò)誤返回碼。

5.6線程安全

接口函數(shù)應(yīng)該適用于多線程環(huán)境：

a)同一個(gè)接口函數(shù)能夠被多線程同時(shí)調(diào)用；

b)不同線程可以調(diào)用不同接口函數(shù)序列。如果不存在數(shù)據(jù)競爭，那么執(zhí)行順序可以任意，但是要

保證同一序列的結(jié)果與其串行結(jié)果一致；如果存在數(shù)據(jù)競爭，則由調(diào)用者負(fù)責(zé)同步操作，而接口不提供

同步這樣的線程管理功能。

2

T/CESAXXXX—202X

5.7張量對(duì)象不透明性

張量類對(duì)象對(duì)接口使用者不透明，需通過對(duì)應(yīng)的句柄和相應(yīng)的接口函數(shù)對(duì)其進(jìn)行管理、訪問和操作，

給予標(biāo)準(zhǔn)實(shí)現(xiàn)者更大的自由度去為不同的場景和硬件進(jìn)行優(yōu)化。

5.8稠密張量和稀疏張量接口一致性

本標(biāo)準(zhǔn)中稠密和稀疏張量的構(gòu)建操作采用不同的接口，而基于兩種張量的各類操作則采用統(tǒng)一的接

口，即不對(duì)參數(shù)中的張量是否稀疏進(jìn)行任何假設(shè)，但是要求標(biāo)準(zhǔn)實(shí)現(xiàn)者在Tensor類中要有標(biāo)識(shí)張量是

否稀疏的成員變量。

5.9量化的支持

5.9.1量化方式

本標(biāo)準(zhǔn)支持對(duì)稱和非對(duì)稱兩種量化方式。

5.9.2量化數(shù)據(jù)類型

量化數(shù)據(jù)類型見表2。

表2量化數(shù)據(jù)類型

量化數(shù)據(jù)類型

8位有符號(hào)對(duì)稱量化整數(shù)（QT_SYM_INT8）

8位有符號(hào)非對(duì)稱量化整數(shù)（QT_ASYM_INT8）

8位有符號(hào)通道級(jí)對(duì)稱量化整數(shù)（QT_SYM_PER_CHANNEL_INT8）

8位無符號(hào)非對(duì)稱量化整數(shù)（QT_ASYM_UINT8）

16位有符號(hào)對(duì)稱量化整數(shù)（QT_SYM_INT16）

16位有符號(hào)非對(duì)稱量化整數(shù)（QT_ASYM_INT16）

16位有符號(hào)通道級(jí)對(duì)稱量化整數(shù)（QT_SYM_PER_CHANNEL_INT16）

16位無符號(hào)非對(duì)稱量化整數(shù)（QT_ASYM_UINT16）

5.9.3量化的粒度

量化的粒度主要可分為張量級(jí)和通道級(jí)：

a）張量級(jí)量化：張量內(nèi)部所有數(shù)據(jù)共享同一個(gè)scale。支持的數(shù)據(jù)類型有：8位有符號(hào)對(duì)稱量化整

數(shù)和16位有符號(hào)對(duì)稱量化整數(shù)，可選支持8位無符號(hào)非對(duì)稱量化整數(shù)、8位有符號(hào)非對(duì)稱量化整數(shù)、

16位無符號(hào)非對(duì)稱量化整數(shù)和16位有符號(hào)非對(duì)稱量化整數(shù)。

b）通道級(jí)量化：張量內(nèi)部同一通道的數(shù)據(jù)共享同一個(gè)scale。支持的數(shù)據(jù)類型有：8位有符號(hào)通道

級(jí)對(duì)稱量化整數(shù)和16位有符號(hào)通道級(jí)對(duì)稱量化整數(shù)。

6數(shù)據(jù)結(jié)構(gòu)

6.1元素類型

用于描述元素的數(shù)據(jù)類型。支持無符號(hào)整數(shù)：8位、16位、32位、64位；有符號(hào)整數(shù)：8位、16

位、32位、64位；浮點(diǎn)實(shí)數(shù)：16位、32位、64位；浮點(diǎn)復(fù)數(shù)：（32+32）位、（64+64）位；布爾類型，

字符串類型等。

3

T/CESAXXXX—202X

6.2形狀信息

用于描述張量維數(shù)和每一維的大小。如果張量維數(shù)為，每一維對(duì)應(yīng)的大小為，則

張量的形狀可以表示為，最左邊的為第1維，最右邊的為第維。例如：標(biāo)量維數(shù)為

??0,?1,?2,…,???1

0，形狀為；向量維數(shù)為1，形狀為；矩陣維數(shù)為，形狀為。

[?0,?1,?2,…,???1]?

6.3布局信[]息[?0]2[?0,?1]

用于描述張量的存儲(chǔ)格式以及張量各個(gè)維度的邏輯順序。存儲(chǔ)格式包括稠密存儲(chǔ)和稀疏存儲(chǔ)。邏輯

順序指張量遍歷讀取和存儲(chǔ)具體數(shù)據(jù)時(shí)，各個(gè)維度的優(yōu)先順序。

當(dāng)使用稠密存儲(chǔ)時(shí)，對(duì)于形狀為，邏輯順序?yàn)閇]的維向量來說，

首先取邏輯順序中最左邊第個(gè)元素，對(duì)應(yīng)到當(dāng)前要遍歷的維度，按照的次序存

[?0,?1,?2,…,???1]?0,?1,?2,…,???1?

儲(chǔ)，其次取邏輯順序中最左邊第個(gè)元素，對(duì)應(yīng)到當(dāng)前要遍歷的維度，按照的次

1?0??0(0,1,2,…,??0?1)

序存儲(chǔ)，以此類推。例如：張量形狀為[2,3]，邏輯順序?yàn)閇0,1]，則先取邏輯順1序最左側(cè)的第一個(gè)元1素，

2?1??(0,1,2,…,???1)

對(duì)應(yīng)維度，其次取邏輯順序中的第二個(gè)元素，對(duì)應(yīng)維度=，則張量數(shù)據(jù)物理

?0=0

上第一個(gè)元0素對(duì)應(yīng)的坐標(biāo)為[0,0]，第二個(gè)元素對(duì)應(yīng)的坐標(biāo)為[1,0]，第三個(gè)元素1對(duì)應(yīng)的坐標(biāo)為[0,1]，以此

??=?0=2?1=1???1=3

類推。

當(dāng)使用稠密存儲(chǔ)時(shí)，默認(rèn)的邏輯順序?yàn)閇n-1,n-2,…,0]。

當(dāng)使用稀疏存儲(chǔ)時(shí)，標(biāo)準(zhǔn)實(shí)現(xiàn)者需要對(duì)所采用的具體格式進(jìn)行詳細(xì)說明。

6.4設(shè)備信息

用于描述張量數(shù)據(jù)存儲(chǔ)的設(shè)備類型和設(shè)備編號(hào)。其中設(shè)備類型包括CPU、GPU、FPGA、ASIC、

NPU等任何支持AI操作的設(shè)備。如果存在多個(gè)同類型的設(shè)備，可通過指定設(shè)備編號(hào)來區(qū)分。

6.5其它擴(kuò)展

用于提供自定義的擴(kuò)展功能，比如內(nèi)存管理等相關(guān)信息。

7科學(xué)計(jì)算算子接口

7.1接口概述

科學(xué)計(jì)算算子接口名稱和描述見表3。

表3科學(xué)計(jì)算算子接口概述

接口名稱接口描述

高階微分反向計(jì)算雅可比矩陣、海森矩陣、逐元素加法、逐元素減法、逐元素乘法、逐元素除法、逐元素雙曲正切

函數(shù)運(yùn)算、逐元素正弦函數(shù)運(yùn)算、逐元素余弦函數(shù)運(yùn)算、逐元素Sigmoid函數(shù)運(yùn)算、矩陣乘法、矩陣冪運(yùn)算、

張量拷貝、張量拼接、張量擴(kuò)展、張量刪除維度、張量增加維度、張量縮放和偏置、張量重排、張量逐元

素正負(fù)判斷、張量類型轉(zhuǎn)換、張量切片、張量求和、張量均值

復(fù)數(shù)操作判斷是否是復(fù)數(shù)、計(jì)算相位角、由極坐標(biāo)表示計(jì)算復(fù)平面坐標(biāo)、復(fù)數(shù)取模、復(fù)數(shù)轉(zhuǎn)換為實(shí)數(shù)、實(shí)數(shù)轉(zhuǎn)化為

復(fù)數(shù)、復(fù)數(shù)愛因斯坦求和、以均勻分布隨機(jī)數(shù)創(chuàng)建稠密復(fù)數(shù)張量、創(chuàng)建元素值全為指定復(fù)數(shù)的稠密復(fù)數(shù)張

量、創(chuàng)建元素值全為0+0i的稠密復(fù)數(shù)張量、復(fù)數(shù)張量切片

傅里葉變二維離散傅里葉變換、二維離散逆傅里葉變換

換

線性代數(shù)計(jì)算一般方陣的特征值與特征向量

4

T/CESAXXXX—202X

分?jǐn)?shù)階微分?jǐn)?shù)階微分

分

積分操作蒙特卡洛積分、高斯積分、梯形公式積分

7.2應(yīng)用場景

科學(xué)計(jì)算算子接口應(yīng)用場景見表4。

表4科學(xué)計(jì)算算子應(yīng)用場景

名稱場景涉及的算子

流體力學(xué)高階微分、積分操作、線性代數(shù)

結(jié)構(gòu)力學(xué)分?jǐn)?shù)階微分、積分操作、線性代數(shù)

電磁仿真傅里葉變換、積分操作、線性代數(shù)

控制論復(fù)數(shù)操作、積分操作、線性代數(shù)

生命科學(xué)高階微分、積分操作、線性代數(shù)

物質(zhì)科學(xué)復(fù)數(shù)操作、積分操作、線性代數(shù)

地質(zhì)學(xué)積分操作、線性代數(shù)

氣象學(xué)復(fù)數(shù)操作、積分操作、線性代數(shù)

空間科學(xué)復(fù)數(shù)操作、積分操作、線性代數(shù)

物理學(xué)復(fù)數(shù)操作、積分操作、線性代數(shù)、傅里葉變換

計(jì)算機(jī)圖形學(xué)積分操作、線性代數(shù)

7.3接口列表

7.3.1高階微分

7.3.1.1反向計(jì)算雅可比矩陣

該算子使用反向傳播計(jì)算函數(shù)的雅可比矩陣。

Jacobian對(duì)象被創(chuàng)建后，采用惰性求值方法進(jìn)行計(jì)算，對(duì)其進(jìn)行多維索引來獲取整個(gè)雅可比矩陣或

子矩陣，進(jìn)行實(shí)際求值計(jì)算并返回結(jié)果。在實(shí)際求值的過程中，對(duì)計(jì)算完畢的子矩陣進(jìn)行緩存，避免在

后續(xù)的索引過程中產(chǎn)生重復(fù)計(jì)算。該接口的參數(shù)列表見表5。

表5反向計(jì)算雅可比矩陣參數(shù)列表

參數(shù)類型參數(shù)說明

待微分函數(shù)輸入要計(jì)算雅可比矩陣的函數(shù)。此函數(shù)的輸入?yún)?shù)應(yīng)該是數(shù)組、標(biāo)量。它應(yīng)該返回?cái)?shù)組或標(biāo)量。

輸入張量輸入表示自變量，待微分函數(shù)的輸入

是否有附加數(shù)據(jù)輸入布爾變量，指待微分函數(shù)是否返回一個(gè)元組，其中第一個(gè)元素是數(shù)學(xué)函數(shù)的輸出，第二個(gè)

元素是附加數(shù)據(jù)。

此變量為真表示待微分函數(shù)返回的是這樣的元組結(jié)構(gòu)，它會(huì)正確計(jì)算海森矩陣。默認(rèn)情況

下此變量為假，即假設(shè)函數(shù)只返回一個(gè)純數(shù)值作為輸出。

是否是全純函數(shù)輸入布爾變量，指示待微分函數(shù)是否是全純函數(shù)

雅可比矩陣輸出表示計(jì)算結(jié)果

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

5

T/CESAXXXX—202X

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.2海森矩陣

該算子用于計(jì)算函數(shù)的海森矩陣。

Hessian對(duì)象被創(chuàng)建后，采用部分惰性求值方法進(jìn)行計(jì)算，對(duì)其進(jìn)行多維索引來獲取整個(gè)海森矩陣

或子矩陣，進(jìn)行實(shí)際求值計(jì)算并返回結(jié)果。在實(shí)際求值的過程中，對(duì)計(jì)算完畢的子矩陣進(jìn)行緩存，避免

在后續(xù)的索引過程中產(chǎn)生重復(fù)計(jì)算。該接口的參數(shù)列表見表6。

表6海森矩陣參數(shù)列表

參數(shù)類型參數(shù)說明

待微分函數(shù)輸入要計(jì)算海森矩陣的函數(shù)。此函數(shù)的輸入?yún)?shù)應(yīng)該是數(shù)組、標(biāo)量。它應(yīng)該返回?cái)?shù)組或標(biāo)量。

輸入張量輸入表示自變量，待微分函數(shù)的輸入

是否有附加數(shù)據(jù)輸入布爾變量，指待微分函數(shù)是否返回一個(gè)元組，其中第一個(gè)元素是數(shù)學(xué)函數(shù)的輸出，第二個(gè)

元素是附加數(shù)據(jù)。

此變量為真表示待微分函數(shù)返回的是這樣的元組結(jié)構(gòu)，它會(huì)正確計(jì)算海森矩陣。默認(rèn)情況

下此變量為假，即假設(shè)函數(shù)只返回一個(gè)純數(shù)值作為輸出。

是否是全純函數(shù)輸入布爾變量，指示待微分函數(shù)是否是全純函數(shù)

海森矩陣輸出表示計(jì)算結(jié)果

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.3逐元素加法

正向傳播對(duì)兩個(gè)張量逐元素求和。

反向傳播對(duì)逐元素加法操作的結(jié)果C，計(jì)算其對(duì)A和B的導(dǎo)數(shù)。該接口的參數(shù)列表見表7。

C=A+B

表7逐元素加法正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為整數(shù)、浮點(diǎn)數(shù)

輸入張量輸入與第一個(gè)輸入張量在計(jì)算上兼容

輸出張量輸出表示計(jì)算結(jié)果

表8逐元素加法反向傳播的參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量的梯度（從網(wǎng)絡(luò)后續(xù)部分傳回的）。

輸出張量輸出關(guān)于輸入張量A的梯度，與輸入的梯度相同。

輸出張量輸出關(guān)于輸入張量B的梯度，與輸入的梯度相同。

6

T/CESAXXXX—202X

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的張量加法操作接口。

7.3.1.4逐元素減法

正向傳播對(duì)兩個(gè)張量逐元素求差。

反向傳播對(duì)逐元素減法操作的結(jié)果C，計(jì)算其對(duì)A和B的導(dǎo)數(shù)。該接口正向、反向傳播的參數(shù)

C=A?B

列表見表9和表10。

表9逐元素減法正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為整數(shù)、浮點(diǎn)數(shù)

輸入張量輸入與第一個(gè)輸入張量在計(jì)算上兼容

輸出張量輸出表示計(jì)算結(jié)果

表10逐元素減法反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量的梯度（從網(wǎng)絡(luò)后續(xù)部分傳回的）。

輸出張量輸出關(guān)于輸入張量A的梯度，與輸入的梯度相同。

輸出張量輸出關(guān)于輸入張量B的梯度，為輸入的梯度的負(fù)值。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的張量減法操作接口。

7.3.1.5逐元素乘法

正向傳播對(duì)兩個(gè)張量逐元素求乘積。

反向傳播對(duì)逐元素乘法操作的結(jié)果C，計(jì)算其對(duì)A和B的導(dǎo)數(shù)。該接口正向、反向傳播的參數(shù)

C=A?B

列表見表11和表12。

表11逐元素乘法正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為整數(shù)、浮點(diǎn)數(shù)

輸出張量輸出與第一個(gè)輸入張量在計(jì)算上兼容

輸出張量輸出表示計(jì)算結(jié)果

7

T/CESAXXXX—202X

表12逐元素乘法反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為dC*B。

輸出張量輸出關(guān)于輸入張量B的梯度，計(jì)算為dC*A。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的張量乘法操作接口。

7.3.1.6逐元素除法

正向傳播對(duì)兩個(gè)張量逐元素做除法。

反向傳播對(duì)逐元素除法操作的結(jié)果C，計(jì)算其對(duì)A和B的導(dǎo)數(shù)。該接口正向、反向傳播的參數(shù)

C=A/B

列表見表13和表14。

表13逐元素除法正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為整數(shù)、浮點(diǎn)數(shù)

輸入張量輸入與第一個(gè)輸入張量在計(jì)算上兼容

輸出張量輸出表示計(jì)算結(jié)果

表14逐元素除法反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為dC/B。

輸出張量輸出關(guān)于輸入張量B的梯度，計(jì)算為-dC*A/B2。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的張量除法操作接口。

7.3.1.7逐元素雙曲正切函數(shù)運(yùn)算

對(duì)逐元素雙曲正切函數(shù)運(yùn)算操作的結(jié)果C，計(jì)算其對(duì)A的導(dǎo)數(shù)。該接口正向、反

向傳播的參數(shù)列表見表15和表16。

C=tanh(A)

表15逐元素正切函數(shù)運(yùn)算正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

8

T/CESAXXXX—202X

輸入張量輸入元素類型可以為浮點(diǎn)數(shù)

輸出張量輸出表示計(jì)算結(jié)果

表16逐元素正切函數(shù)運(yùn)算反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為dC*(1+tanh2(A))。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的正切函數(shù)接口。

7.3.1.8逐元素正弦函數(shù)運(yùn)算

對(duì)逐元正弦函數(shù)運(yùn)算操作的結(jié)果C，計(jì)算其對(duì)A的導(dǎo)數(shù)。該接口正向、反向傳播的

參數(shù)列表見表17和表18。

C=sin(A)

表17逐元素正弦函數(shù)運(yùn)算正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為浮點(diǎn)數(shù)

輸出張量輸出表示計(jì)算結(jié)果

表18逐元素正弦函數(shù)運(yùn)算反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為dC*cos(A)。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的正弦函數(shù)接口。

7.3.1.9逐元素余弦函數(shù)運(yùn)算

對(duì)逐元余弦函數(shù)運(yùn)算操作的結(jié)果C，計(jì)算其對(duì)A的導(dǎo)數(shù)。該接口正向、反向傳播的

參數(shù)列表見表19和表20。

C=cos(A)

表19逐元素余弦函數(shù)運(yùn)算正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為浮點(diǎn)數(shù)

9

T/CESAXXXX—202X

輸出張量輸出表示計(jì)算結(jié)果

表20逐元素余弦函數(shù)運(yùn)算反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為-dC*sin(A)。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的余弦函數(shù)接口。

7.3.1.10逐元素Sigmoid函數(shù)運(yùn)算

對(duì)逐元素Sigmoid函數(shù)運(yùn)算操作的結(jié)果C，計(jì)算其對(duì)A的導(dǎo)數(shù)。該接口正向、

反向傳播的參數(shù)列表見表21和表22。

C=Sigmoid(A)

表21逐元素Sigmoid函數(shù)運(yùn)算正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為浮點(diǎn)數(shù)

輸出張量輸出表示計(jì)算結(jié)果

表22逐元素Sigmoid函數(shù)運(yùn)算反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出張量C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量輸出關(guān)于輸入張量A的梯度，計(jì)算為dC?C?(1?C)。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.11矩陣乘法

前向傳播用于計(jì)算兩個(gè)矩陣乘積。反向傳播基于輸出矩陣C的梯度，計(jì)算其對(duì)輸入矩陣A和B的

梯度影響。該接口正向、反向傳播的參數(shù)列表見表23和表24。

表23矩陣乘法正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入描述用于矩陣乘法的第一個(gè)輸入張量mat1

輸入張量輸入描述用于矩陣乘法的第二個(gè)輸入張量mat2

輸出張量輸出輸出張量mat1和張量mat2的乘積

10

T/CESAXXXX—202X

表24矩陣乘法反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

前向輸出張量輸入關(guān)于輸出矩陣C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度，具有形狀(m,p)。

輸出張量輸出關(guān)于矩陣A的梯度dA，計(jì)算為dC*B.T，其中B.T是矩陣B的轉(zhuǎn)置，dA具有形狀(m,n)。

輸出張量輸出關(guān)于矩陣B的梯度dB，計(jì)算為A.T*dC，其中A.T是矩陣A的轉(zhuǎn)置，dB具有形狀(n,p)。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的矩陣乘法接口。

7.3.1.12矩陣冪運(yùn)算

正向傳播計(jì)算矩陣的冪，即。反向傳播基于輸出矩陣C的梯度，計(jì)算其對(duì)輸入矩陣A的梯

度影響。該接口正向、反向傳播的參數(shù)?列表見表25和表26。

C=?

表25矩陣冪運(yùn)算正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入元素類型可以為浮點(diǎn)實(shí)數(shù)

冪輸入一個(gè)非負(fù)整數(shù)，表示冪指數(shù)

輸出張量輸出表示計(jì)算結(jié)果

表26矩陣冪運(yùn)算反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于輸出矩陣C的梯度dC：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度，具有形狀(m,m)。

輸出張量輸出關(guān)于矩陣A的梯度dA。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.13張量拷貝

在前向傳播時(shí)，張量拷貝操作創(chuàng)建了一個(gè)內(nèi)容相同的新張量。此算子將對(duì)拷貝結(jié)果的張量計(jì)算其關(guān)

于原始張量的高階微分。反向傳播將關(guān)于副本張量的梯度傳遞回原始張量。該接口正向、反向傳播的參

數(shù)列表見表27和表28。

表27張量拷貝正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入被復(fù)制的張量

輸出張量輸出復(fù)制操作后的張量

11

T/CESAXXXX—202X

表28張量拷貝反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于張量副本的梯度dCopies：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度，與張量副本的形狀相同。

輸出張量輸出關(guān)于原張量T的梯度dT：是所有副本梯度的累加，具有與原張量T相同的形狀。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的復(fù)制張量接口。

7.3.1.14張量拼接

前向傳播將多個(gè)張量沿著指定軸拼接成一個(gè)新的張量。反向傳播將關(guān)于拼接后張量的梯度分配回原

始張量。該接口正向、反向傳播的參數(shù)列表見表29和表30。

表29張量拼接正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量數(shù)組輸入一個(gè)包含要拼接的張量的列表。

軸輸入一個(gè)整數(shù)，指定要沿其拼接的軸。

輸出張量輸出所有輸入張量沿著指定軸拼接后的結(jié)果。

表30張量拼接反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入關(guān)于拼接后張量的梯度dConcatenated：從網(wǎng)絡(luò)后續(xù)部分傳回的梯度。

輸出張量列表輸出關(guān)于原始張量的梯度列表[dT1,dT2,...,dTk]：每個(gè)原始張量的梯度。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的張量合并接口。

7.3.1.15張量擴(kuò)展

這個(gè)算子在前向傳播中將一個(gè)張量擴(kuò)展到一個(gè)更大的形狀，在反向傳播中將關(guān)于擴(kuò)展后張量的梯度

壓縮回原始張量的形狀。該接口正向、反向傳播的參數(shù)列表見表31和表32。

表31張量擴(kuò)展正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入待擴(kuò)展的張量，任意數(shù)據(jù)類型。

形狀輸入給定輸入張量擴(kuò)展后的形狀，應(yīng)為一維數(shù)組。

輸出張量輸出擴(kuò)展后的張量，形狀和輸入形狀相同。

12

T/CESAXXXX—202X

表32張量擴(kuò)展反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

前向輸出張量輸入關(guān)于擴(kuò)展后張量的梯度dExpanded：從網(wǎng)絡(luò)后續(xù)部分傳來的梯度。

高階導(dǎo)數(shù)張量輸出關(guān)于原始張量T的梯度dT：與原始張量T相同形狀的梯度。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的擴(kuò)張張量接口。

7.3.1.16張量刪除維度

此算子用于張量刪除維度操作（squeeze）。反向傳播在傳入梯度已刪除維度的位置上添加維度，恢

復(fù)到與輸入張量相同的形狀。該接口正向、反向傳播的參數(shù)列表見表33和表34。

表33張量刪除維度正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入表示輸入張量

刪除位置數(shù)組輸入表示要?jiǎng)h除維度的位置數(shù)組，如果為空，則處理所有維度

輸出張量輸出表示刪除維度為1的輸出張量

表34張量刪除維度反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

前向輸出張量輸入梯度張量dOutput：輸出張量的梯度。

高階導(dǎo)數(shù)張量輸出梯度張量dInput：恢復(fù)到與輸入張量相同形狀的梯度張量。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的刪除維度接口。

7.3.1.17張量增加維度

此算子用于張量增加維度操作（unsqueeze）。反向傳播從梯度張量中去除前向傳播中增加的維度，

以恢復(fù)到原始輸入張量的形狀。該接口正向、反向傳播的參數(shù)列表見表35和表36。

表35張量增加維度正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

13

T/CESAXXXX—202X

輸入張量輸入表示輸入張量

插入位置輸入表示插入新維度的位置

輸出張量輸出表示插入新維度后的輸出張量

表36張量增加維度反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

前向輸出張量輸入梯度張量dOutput：表示增加維度后的輸出張量的梯度。

高階導(dǎo)數(shù)張量輸出梯度張量dInput：恢復(fù)到原始輸入張量形狀的梯度張量。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失敗：表張量分配空間不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

注：前向傳播參考IEEE2941.1-2022標(biāo)準(zhǔn)中的擴(kuò)展維度接口。

7.3.1.18張量縮放和偏置

正向傳播對(duì)于輸入張量中的每個(gè)元素，執(zhí)行以下操作：。反向傳

播計(jì)算輸入張量、縮放因子和偏置的梯度。該接口正向、反向傳播的參數(shù)列表見表37和表38。

output[i]=scale×input[i]+bias

表37張量縮放和偏置正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入表示輸入張量

縮放因子輸入任意數(shù)據(jù)類型標(biāo)量，用于乘以輸入張量的系數(shù)。

偏置值輸入任意數(shù)據(jù)類型標(biāo)量，加到縮放后的張量上的值。

輸出張量輸出應(yīng)用了縮放和偏置之后的張量。

表38張量縮放和偏置反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入輸出梯度dOutput：正向傳播的輸出張量對(duì)某個(gè)損失函數(shù)的梯度。

輸出張量輸出輸入梯度dInput：損失函數(shù)相對(duì)于輸入張量的梯度。

輸出張量輸出縮放梯度dScale：損失函數(shù)相對(duì)于縮放因子的梯度。

輸出張量輸出偏置梯度dBias：損失函數(shù)相對(duì)于偏置的梯度。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.19張量重排

14

T/CESAXXXX—202X

正向傳播對(duì)張量進(jìn)行重新排列，改變其形狀（shape）和/或維度（dimension）的順序，但保持?jǐn)?shù)據(jù)

本身不變。反向傳播對(duì)梯度張量進(jìn)行相反的重新排列，使其與正向傳播的輸入張量對(duì)齊。該接口正向、

反向傳播的參數(shù)列表見表39和表40。

表39張量重排正向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入待重排的原始張量。

重排規(guī)則輸入個(gè)定義新維度順序的模式，例如，從(N,H,W,C)到(N,C,H,W)的重排規(guī)則是(0,3,1,2)

輸出張量輸出重排后的張量。

表40張量重排反向傳播參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入正向傳播輸出張量的梯度。

輸出張量輸出重排后的梯度張量，與正向傳播的輸入張量對(duì)齊。

函數(shù)返回值：

——沒有錯(cuò)誤：操作成功。

——對(duì)象未初始化：表示輸入張量沒有初始化。

——類型不匹配：表示參數(shù)的數(shù)據(jù)類型不一致。

——分配失?。罕韽埩糠峙淇臻g不足。

——內(nèi)部錯(cuò)誤：表示內(nèi)部調(diào)用出錯(cuò)。

7.3.1.20張量逐元素正負(fù)判斷

正向傳播對(duì)張量中的每個(gè)元素進(jìn)行正負(fù)判斷，生成一個(gè)布爾值的張量代表逐元素正負(fù)。該接口正向、

反向傳播的參數(shù)列表見表41和表42。

表41張量逐元素正負(fù)判斷參數(shù)列表

參數(shù)類型參數(shù)說明

輸入張量輸入表