國(guó)家標(biāo)準(zhǔn)報(bào)批資料

國(guó)家標(biāo)準(zhǔn)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第3部分:

圖神經(jīng)網(wǎng)絡(luò)》（征求意見(jiàn)稿）編制說(shuō)明

一、工作簡(jiǎn)況

根據(jù)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)2023年標(biāo)準(zhǔn)制修訂計(jì)劃的安排，下達(dá)由北京大學(xué)

牽頭制定國(guó)家標(biāo)準(zhǔn)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第3部分：圖神經(jīng)網(wǎng)絡(luò)》

（計(jì)劃項(xiàng)目代號(hào)為20230718-T-469）的制定計(jì)劃。本項(xiàng)目的主要起草單位包括北

京大學(xué)、鵬城實(shí)驗(yàn)室、北京郵電大學(xué)、廈門(mén)大學(xué)、清華大學(xué)、中國(guó)電子技術(shù)標(biāo)準(zhǔn)

化研究院、中國(guó)科學(xué)院自動(dòng)化研究所、浙江大學(xué)華為技術(shù)有限公司、北京百度網(wǎng)

訊科技有限公司、海信集團(tuán)有限公司、杭州?？低晹?shù)字技術(shù)股份有限公司、深

圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司、上海商湯智能科技有限公司。

《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第3部分：圖神經(jīng)網(wǎng)絡(luò)》的正式制定

起始于2021年6月舉行的工作組第15次會(huì)議，啟動(dòng)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模

型壓縮第3部分：圖神經(jīng)網(wǎng)絡(luò)》，確定了標(biāo)準(zhǔn)框架草案，繼續(xù)征集相關(guān)技術(shù)提案；

2021年8月，接收?qǐng)D神經(jīng)網(wǎng)絡(luò)表示等提案，輸出神經(jīng)網(wǎng)絡(luò)表示與模型壓縮WD0.1；

2021年12月，完善圖神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)框架，輸出標(biāo)準(zhǔn)WD撰寫(xiě)規(guī)范，

更新需求征集書(shū)；2022年3月，更新神經(jīng)網(wǎng)絡(luò)表示W(wǎng)D撰寫(xiě)規(guī)范，輸出標(biāo)準(zhǔn)WD0.2；

2022年6月-2022年12月，接收?qǐng)D數(shù)據(jù)算子、圖神經(jīng)網(wǎng)絡(luò)算子等提案，輸出標(biāo)準(zhǔn)

WD0.8；2023年8月，由國(guó)家標(biāo)準(zhǔn)委下達(dá)國(guó)家標(biāo)準(zhǔn)計(jì)劃，接收?qǐng)D神經(jīng)網(wǎng)絡(luò)加速等提

案，更新WD撰寫(xiě)規(guī)范，輸出標(biāo)準(zhǔn)WD0.9；XXX。

主要起草人田永鴻牽頭標(biāo)準(zhǔn)制定工作、提出了技術(shù)提案、參與了參考軟件開(kāi)

發(fā)并負(fù)責(zé)了標(biāo)準(zhǔn)文本編輯工作；主要起草人XXX，提出了技術(shù)提案、參與了標(biāo)準(zhǔn)

制定過(guò)程中的討論、參考軟件開(kāi)發(fā)和標(biāo)準(zhǔn)文本審閱修訂；主要起草人黃鐵軍、高

文參與了標(biāo)準(zhǔn)需求討論及部分技術(shù)討論、在標(biāo)準(zhǔn)制定過(guò)程中給出了指導(dǎo)意見(jiàn)。

二、標(biāo)準(zhǔn)編制原則和確定主要內(nèi)容的論據(jù)及解決的主要問(wèn)題

《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第3部分：圖神經(jīng)網(wǎng)絡(luò)》標(biāo)準(zhǔn)主要定

義不同圖神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)表示、支持不同圖神經(jīng)網(wǎng)絡(luò)模型的加速與存儲(chǔ)規(guī)

范，將幫助簡(jiǎn)化研究、應(yīng)用與人工智能框架的耦合關(guān)系，從而使得相關(guān)技術(shù)與產(chǎn)

品可以更方便地應(yīng)用在不同場(chǎng)景。

國(guó)家標(biāo)準(zhǔn)報(bào)批資料

本標(biāo)準(zhǔn)主要面向三類(lèi)主要應(yīng)用場(chǎng)景（結(jié)構(gòu)化場(chǎng)景、非結(jié)構(gòu)化場(chǎng)景和其他場(chǎng)

景）。該標(biāo)準(zhǔn)主要定義圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)表示（運(yùn)算和參數(shù)）的語(yǔ)義，確定圖

神經(jīng)網(wǎng)絡(luò)模型的編碼格式標(biāo)準(zhǔn)。同時(shí)支持與圖神經(jīng)網(wǎng)絡(luò)相關(guān)的圖數(shù)據(jù)采樣及圖數(shù)

據(jù)壓縮方法；支持圖神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)輕量化設(shè)計(jì)、特征采樣、表示緩存、網(wǎng)絡(luò)

結(jié)構(gòu)搜索、蒸餾、量化、剪枝、權(quán)重預(yù)測(cè)與共享等模型加速及壓縮方法，以及圖

神經(jīng)網(wǎng)絡(luò)模型的編碼格式標(biāo)準(zhǔn)。

本標(biāo)準(zhǔn)提供一種圖神經(jīng)網(wǎng)絡(luò)表示標(biāo)準(zhǔn)的框架，以規(guī)范化圖結(jié)構(gòu)數(shù)據(jù)以及圖神

經(jīng)網(wǎng)絡(luò)的表示格式，提高圖神經(jīng)網(wǎng)絡(luò)在各類(lèi)設(shè)備上的開(kāi)發(fā)與運(yùn)行效率。

如圖1所示，圖神經(jīng)網(wǎng)絡(luò)表示標(biāo)準(zhǔn)的架構(gòu)包括如下部分。

圖數(shù)據(jù)的語(yǔ)法和語(yǔ)義：提供圖結(jié)構(gòu)數(shù)據(jù)表示的基本語(yǔ)法和語(yǔ)義說(shuō)明。

基本定義：定義了圖數(shù)據(jù)的基本內(nèi)容，包含節(jié)點(diǎn)特征、邊特征、鄰

接矩陣等，并對(duì)所有的定義進(jìn)行了詳細(xì)的描述。

圖數(shù)據(jù)類(lèi)型：在基本定義基礎(chǔ)上，描述了根據(jù)不同應(yīng)用場(chǎng)景而劃分

的不同類(lèi)別的圖數(shù)據(jù)格式，例如同質(zhì)圖、異質(zhì)圖、批量圖、動(dòng)態(tài)圖

等。

圖基本運(yùn)算：描述對(duì)圖結(jié)構(gòu)信息的基本運(yùn)算，例如求解節(jié)點(diǎn)的度等。

圖基本任務(wù)：描述對(duì)圖數(shù)據(jù)的下游任務(wù)的定義，例如節(jié)點(diǎn)分類(lèi)、鏈

路預(yù)測(cè)、圖分類(lèi)任務(wù)等。

圖采樣：建立在圖數(shù)據(jù)的語(yǔ)法和語(yǔ)義之上，描述為了降低存儲(chǔ)壓力、降

低計(jì)算消耗，而獲得“計(jì)算子圖”的方法。

節(jié)點(diǎn)采樣：描述節(jié)點(diǎn)級(jí)采樣方法。

層級(jí)采樣：描述層級(jí)采樣方法。

子圖采樣：描述子圖采樣方法。將“隨機(jī)游走”視為一種子圖級(jí)采

樣方法。

圖神經(jīng)網(wǎng)絡(luò)模型：提供在圖數(shù)據(jù)表示基礎(chǔ)之上，對(duì)圖神經(jīng)網(wǎng)絡(luò)模型表示

的基本語(yǔ)法和語(yǔ)義說(shuō)明。

基礎(chǔ)算子：描述應(yīng)用在圖神經(jīng)網(wǎng)絡(luò)模型上的基本運(yùn)算操作定義。

基礎(chǔ)模型：描述不區(qū)分下游任務(wù)的一系列圖神經(jīng)網(wǎng)絡(luò)模型的定義。

點(diǎn)級(jí)模型：專(zhuān)門(mén)應(yīng)用于節(jié)點(diǎn)級(jí)任務(wù)的一系列圖神經(jīng)網(wǎng)絡(luò)模型的定義。

邊級(jí)模型：專(zhuān)門(mén)應(yīng)用于邊級(jí)任務(wù)的一系列圖神經(jīng)網(wǎng)絡(luò)模型的定義。

圖級(jí)模型：專(zhuān)門(mén)應(yīng)用于圖級(jí)任務(wù)的一系列圖神經(jīng)網(wǎng)絡(luò)模型的定義。

前沿模型：描述當(dāng)前一些前沿的圖神經(jīng)網(wǎng)絡(luò)模型定義，如魯棒圖神

經(jīng)網(wǎng)絡(luò)、可解釋圖神經(jīng)網(wǎng)絡(luò)等。

國(guó)家標(biāo)準(zhǔn)報(bào)批資料

圖神經(jīng)網(wǎng)絡(luò)壓縮：描述建立在圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)模型表示基礎(chǔ)之上，

用于節(jié)省存儲(chǔ)和計(jì)算開(kāi)銷(xiāo)的圖神經(jīng)網(wǎng)絡(luò)壓縮方法。

圖數(shù)據(jù)壓縮：針對(duì)基礎(chǔ)圖數(shù)據(jù)的壓縮方法，目的是減少圖數(shù)據(jù)的存

儲(chǔ)空間。

模型量化與剪枝：圖神經(jīng)網(wǎng)絡(luò)模型的量化和剪枝方法。

模型蒸餾：圖神經(jīng)網(wǎng)絡(luò)模型的蒸餾方法。

圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架：描述應(yīng)用于以上圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)模型的計(jì)算

框架，包含框架的系統(tǒng)體系結(jié)構(gòu)和參考技術(shù)實(shí)現(xiàn)，以及計(jì)算框架與第三

方數(shù)據(jù)源的接口。

基于深度學(xué)習(xí)平臺(tái)的圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架：描述基于深度學(xué)習(xí)平臺(tái)

的圖神經(jīng)網(wǎng)絡(luò)框架的組成及相關(guān)組件關(guān)系。

系統(tǒng)體系結(jié)構(gòu)：描述系統(tǒng)的整體組件邏輯結(jié)構(gòu)，包括各個(gè)組件的

職責(zé)、交互方式和關(guān)系等。

技術(shù)實(shí)現(xiàn)架構(gòu)：描述系統(tǒng)的具體實(shí)現(xiàn)方式，包括體系結(jié)構(gòu)中各個(gè)

組件使用的編程語(yǔ)言、框架、數(shù)據(jù)庫(kù)等技術(shù)選擇方案。

與深度學(xué)習(xí)平臺(tái)的接口規(guī)范：描述圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)與深度學(xué)習(xí)平

臺(tái)的接口規(guī)范。

圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架與第三方數(shù)據(jù)源接口：描述圖神經(jīng)網(wǎng)絡(luò)計(jì)算框

架與第三方數(shù)據(jù)源接口規(guī)范。

圖數(shù)據(jù)庫(kù)接口規(guī)范：描述圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架與圖數(shù)據(jù)庫(kù)的接口

規(guī)范。

批處理系統(tǒng)接口規(guī)范：描述圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架與批處理系統(tǒng)的

接口規(guī)范。

其它接口規(guī)范：描述圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架與其它數(shù)據(jù)源的接口規(guī)

范。

三、主要試驗(yàn)[或驗(yàn)證]情況分析

對(duì)于《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分：大規(guī)模預(yù)訓(xùn)練模型》

各部分的測(cè)試驗(yàn)證應(yīng)分別滿足下面要求：

1、圖數(shù)據(jù)的語(yǔ)法和語(yǔ)義需要規(guī)范圖結(jié)構(gòu)數(shù)據(jù)表示的基本語(yǔ)法和語(yǔ)義說(shuō)明。

2、圖采樣建立在圖數(shù)據(jù)的語(yǔ)法和語(yǔ)義之上，降低存儲(chǔ)壓力、降低計(jì)算消耗，

而獲得“計(jì)算子圖”的方法。

3、圖神經(jīng)網(wǎng)絡(luò)模型提供在圖數(shù)據(jù)表示基礎(chǔ)之上，對(duì)圖神經(jīng)網(wǎng)絡(luò)模型表示的

基本語(yǔ)法和語(yǔ)義說(shuō)明進(jìn)行規(guī)范化。

4、圖神經(jīng)網(wǎng)絡(luò)壓縮建立在圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)模型表示基礎(chǔ)之上，用于節(jié)

省存儲(chǔ)和計(jì)算開(kāi)銷(xiāo)。

國(guó)家標(biāo)準(zhǔn)報(bào)批資料

5、圖神經(jīng)網(wǎng)絡(luò)計(jì)算框架規(guī)范應(yīng)用于以上圖數(shù)據(jù)和圖神經(jīng)網(wǎng)絡(luò)模型的計(jì)算框

架，包含框架的系統(tǒng)體系結(jié)構(gòu)和參考技術(shù)實(shí)現(xiàn)，以及計(jì)算框架與第三方

數(shù)據(jù)源的接口。

四、知識(shí)產(chǎn)權(quán)情況說(shuō)明

參照AVS工作組制定的完善的工作組規(guī)約和知識(shí)產(chǎn)權(quán)政策，包括：《數(shù)字音

視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組章程》、《數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組章程細(xì)

則》、《數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組會(huì)員協(xié)議》、《數(shù)字音視頻編解碼技

術(shù)標(biāo)準(zhǔn)工作組知識(shí)產(chǎn)權(quán)政策》。這些文件為工作組的規(guī)范化、國(guó)際化奠定了法律

基礎(chǔ)，并為全球范圍內(nèi)協(xié)調(diào)好標(biāo)準(zhǔn)和專(zhuān)利關(guān)系問(wèn)題探索出一條新的道路。這些規(guī)

約和政策已在第一代AVS標(biāo)準(zhǔn)制定及應(yīng)用中經(jīng)過(guò)了實(shí)踐的檢驗(yàn)。

具體而言，在標(biāo)準(zhǔn)的制定過(guò)程中，對(duì)于國(guó)際標(biāo)準(zhǔn)中因利益關(guān)系“塞進(jìn)”的專(zhuān)

利技術(shù)，堅(jiān)決清除；對(duì)于工作組成員的有價(jià)值的技術(shù)提案，在其作出至少同意在

中國(guó)范圍以專(zhuān)利池方式授權(quán)標(biāo)準(zhǔn)用戶使用的前提下，大膽采用；對(duì)于必要但又有

國(guó)外專(zhuān)利覆蓋的技術(shù)點(diǎn)，盡最大可能通過(guò)自主技術(shù)進(jìn)行替代；對(duì)于國(guó)際標(biāo)準(zhǔn)中不

涉及專(zhuān)利的公開(kāi)技術(shù)、技術(shù)框架和本領(lǐng)域的先進(jìn)技術(shù)都采取積極吸收的態(tài)度。特

別是得益于第一代AVS標(biāo)準(zhǔn)的產(chǎn)業(yè)化推廣及普及，工作組吸引到越來(lái)越多的國(guó)際

有影響力企業(yè)的真正加盟，他們攜帶了國(guó)際先進(jìn)的技術(shù)參與第二代AVS標(biāo)準(zhǔn)的制

定，并且與國(guó)內(nèi)研究機(jī)構(gòu)和企業(yè)一樣承諾遵守工作組的知識(shí)產(chǎn)權(quán)政策。事實(shí)已證

明，AVS“大膽采用先進(jìn)技術(shù)，小心規(guī)避有潛在授權(quán)風(fēng)險(xiǎn)的專(zhuān)利”的技術(shù)路線是

正確的，達(dá)到并超過(guò)最新國(guó)際標(biāo)準(zhǔn)水平的目標(biāo)是可以實(shí)現(xiàn)的。

AVS工作組根據(jù)《信息技術(shù)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮第2部分：大規(guī)模預(yù)訓(xùn)

練模型》（送審稿），對(duì)在我國(guó)獲得授權(quán)的專(zhuān)利或者已經(jīng)公開(kāi)的專(zhuān)利申請(qǐng)，進(jìn)行

了“拉網(wǎng)式”檢索和分析，以確定神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)是否存在知識(shí)產(chǎn)

權(quán)風(fēng)險(xiǎn)。

根據(jù)分析，神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)相關(guān)的中國(guó)專(zhuān)利可分為三大類(lèi)：

1、AVS工作組中技術(shù)提案單位或工作組成員正在申請(qǐng)或擁有的自主專(zhuān)利。根

據(jù)目前提案單位及工作組成員單位披露情況，已知的專(zhuān)利數(shù)量為7項(xiàng)，來(lái)自4家單

位。這些專(zhuān)利或潛在專(zhuān)利的權(quán)利人均承諾同意將專(zhuān)利納入“專(zhuān)利池”統(tǒng)一進(jìn)行實(shí)

施許可，因此這些專(zhuān)利將是未來(lái)神經(jīng)網(wǎng)絡(luò)表示與模型壓縮技術(shù)專(zhuān)利池的主要組成

部分；

國(guó)家標(biāo)準(zhǔn)報(bào)批資料

2、神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)使用了部分已過(guò)專(zhuān)利保護(hù)期限的專(zhuān)利技術(shù)，

即公開(kāi)技術(shù)。

通過(guò)對(duì)國(guó)際、國(guó)內(nèi)相關(guān)專(zhuān)利的認(rèn)真仔細(xì)的調(diào)查分析，我們認(rèn)為中國(guó)研究機(jī)構(gòu)

和企業(yè)的自主專(zhuān)利技術(shù)以及公開(kāi)技術(shù)構(gòu)成了神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)的專(zhuān)

利主體。神經(jīng)網(wǎng)絡(luò)表示與模型壓縮標(biāo)準(zhǔn)作為國(guó)家標(biāo)準(zhǔn)，憑借自主技術(shù)的明顯優(yōu)勢(shì)

地位和公平合理的“專(zhuān)利池”統(tǒng)一許可模式，在知識(shí)產(chǎn)權(quán)方面具有明顯的技術(shù)主

動(dòng)權(quán)，能夠妥善解決知識(shí)產(chǎn)權(quán)問(wèn)題。

可能涉及標(biāo)準(zhǔn)文本中如下XX項(xiàng)與數(shù)字視頻編解碼技術(shù)相關(guān)的專(zhuān)利的使用。專(zhuān)

利申請(qǐng)?zhí)柤懊Q(chēng)如下：

序號(hào)專(zhuān)利申請(qǐng)?zhí)枌?zhuān)利名稱(chēng)

1202010419839.4一種基于移位圖卷積神經(jīng)網(wǎng)絡(luò)骨骼點(diǎn)行為識(shí)別系統(tǒng)及其識(shí)

別方法

2202010419814.4一種自適應(yīng)時(shí)序移位神經(jīng)網(wǎng)絡(luò)時(shí)序行為識(shí)別方法

3201910349275.9異質(zhì)圖神經(jīng)網(wǎng)絡(luò)生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

4201910945503.9一種用于短文本的分類(lèi)方法及裝置

5202010555093.X基于多通路圖卷積神經(jīng)網(wǎng)絡(luò)的對(duì)象分類(lèi)方法及裝置

6202011604370.8一種基于圖卷積網(wǎng)絡(luò)模型的分類(lèi)方法及裝置

7202110552598.5一種信息預(yù)測(cè)方法、裝置、存儲(chǔ)介質(zhì)及計(jì)算機(jī)設(shè)備

8201910052269.7一種套現(xiàn)用戶檢測(cè)方法、裝置及設(shè)備

9202010750181.5一種基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)處理方法、裝置及設(shè)備

10202110023447.0基于統(tǒng)一優(yōu)化目標(biāo)框架圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類(lèi)方法及裝置

11201711239629.1一種基于異質(zhì)信息網(wǎng)絡(luò)表示的推薦方法及裝置

12201910342766.0一種基于元路徑引導(dǎo)嵌入的查詢(xún)推薦方法及裝置

13202111003074.7圖節(jié)點(diǎn)關(guān)系表征生成和圖節(jié)點(diǎn)業(yè)務(wù)關(guān)系預(yù)測(cè)方法及裝置

14202011038681.2一種圖數(shù)據(jù)采樣方法和系統(tǒng)

五、采用國(guó)際標(biāo)準(zhǔn)和國(guó)外先進(jìn)標(biāo)準(zhǔn)情況

本部分未采用對(duì)應(yīng)國(guó)際標(biāo)準(zhǔn)，而是采用自主