Informationtechnology—Datacodingfor2024-05-20發(fā)布深圳市8K超高清視頻產(chǎn)業(yè)協(xié)作聯(lián)盟發(fā)布I 3 3 本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定——第2部分：圖像。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。T/SUCA024旨在確立面向機器智1面向機器智能的數(shù)據(jù)編碼第2部分：圖像本文件規(guī)定了適應(yīng)多種比特率、分辨率和質(zhì)量要求的面GB/T33475.2—2016信息技術(shù)高效多媒體編碼第2部分：T/SUCA024中語法、語義及算法的），2預(yù)測補償predictionco34縮略語CNN：卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwCDF：累積分布函數(shù)（CumulativeDiFPN：特征金字塔網(wǎng)絡(luò)（FeaturePyramidNetwork）LSB：最低有效位（LeastSignificant5.1通則——優(yōu)先級高的運算符先于優(yōu)先級低的運算符進行計算，運算符的優(yōu)先級的值越小表示該運算符5.2算術(shù)運算符+5-5*43/4整除運算，沿向0的取值方向截斷。例如，7/4和-7/-4截斷至1，-7/4和7/-4截斷÷4a4f(i)5自變量i取由a到b（含b）的所有整數(shù)值時，函數(shù)f(i)的累加和445.3邏輯運算符4!2如果表達式express的結(jié)果為真或不為0，則使用a進行賦值；否則>77<77885.5位運算符&9|~26將a以2的補碼整數(shù)表示的形式向右移b位。僅當(dāng)b取正數(shù)6將a以2的補碼整數(shù)表示的形式向左移b位。僅當(dāng)b取正數(shù)5.6賦值=11遞減，x--相當(dāng)于x=x-1。當(dāng)用于數(shù)組下標時，在自減運算前55.7數(shù)學(xué)函數(shù) x——自變量x。j——上界。5.8結(jié)構(gòu)關(guān)系符例如：a->b表示a是一個結(jié)構(gòu)，b是a5.9位流語法、解析過程和解碼過程的描述方法語法表描述了所有符合本文件的位流語法的超集，附加的語法限制在相關(guān)條中說明。表7給出了描述語法的偽代碼例子。當(dāng)語法元素6ne(v)/*花括號括起來的語句組是復(fù)合語句，在功能上視作單個語句{…}否則執(zhí)行alternative語句。如果alternative語句不需要執(zhí)行，結(jié)分和相關(guān)的alternative語句可if(condition)primarystatementfor(initialstatement;condition;suprimarystatementbreak7概述byte_aligned()next_bits(n)read_bits(n)5.9.3描述符u(n)義取特定值的連續(xù)n個二進制位。解析過程在7ne(v)有符號整數(shù)語法元素。解析過程使用基于神經(jīng)網(wǎng)絡(luò)的概率估計和數(shù)值熵解析，在7.無符號整數(shù)語法元素。解析過程使用碼表解析，在7“禁止”定義了一些特定語法元素值，這些值不應(yīng)出現(xiàn)在符合本文件的“標記位”（marker_bit）指該應(yīng)忽略這些位?！氨Ａ粑弧辈粦?yīng)出現(xiàn)從任意字節(jié)對85.10數(shù)據(jù)形式5.10.1張量和張量中的元素對于張量T，T[i][j][k]代表一個由i、j、k索5.10.2矩陣和矩陣中的元素對于矩陣M，M[j1:j2][:w]代表第1個維度從j1索引到(j2-1)索引確定的所有元素，其中j1為小于h5.10.3列表和列表中的元素不大于a且大于i1的非負整數(shù)。當(dāng)i1不出5.11二維卷積二維卷積表示為Conv(c_in,c_out,s,k_ver,k_hor)(input,weight,bias)——s表示卷積步長；——k_ver和k_hor表示卷積核的高和寬。9解析和解碼過程加載了神經(jīng)網(wǎng)絡(luò)的整套模型參數(shù)。Conv的weight和bias是該整套模型參數(shù)中的一部當(dāng)在一系列操作中調(diào)用本條中定義的Conv且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)置Conv(c_in,c_out,s,k_ver,k_hor)。Conv(c_in,c_out,s,k_ver,k_hor)(input,weight,bias){for(j=0;j<h_out;j++){}}}}}5.12超分重組超分重組表示為Shuffle(s_vh)為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時Shuffle簡略表示為Shuffle(sfor(j=0;j<h_out;j++)}5.13交叉超分重組交叉超分重組表示為CrossUpShuffl——c_out=c_in/4。當(dāng)在一系列操作中調(diào)用本條中定義的CrossUpShuffle且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時CrossUpShuffle簡略表示為for(j=0;j<h_in;j++){}}}5.14交叉降分重組——h_out=h_in/2；——w_out=w_in/2；入張量設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時CrossDownShuffle簡略表示為CrossDownShuffle(inpfor(j=0;j<h_out;j++){}}張量拼接表示為Concat(input該過程的輸入是兩個寬度和高度大小相同的張量input1(c1,h,w)和input2(c2,h,w)。該過程的結(jié)果是張量output(c1+c2,h,w)。for(j=0;j<h;j++)5.16滲漏激活函數(shù)滲漏激活函數(shù)表示為LeakyReLU(設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時LeakyReLU簡略表示為LeakyReLUfor(j=0;j<h_out;j++){output[i][j][k]=}}}5.17標準激活函數(shù)當(dāng)在一系列操作中調(diào)用本條中定義的ReLU且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時ReLU簡略表示為ReLfor(j=0;j<h_out;j++){}}5.18二維深度卷積二維深度卷積表示為DepthConv(c,s,k_ver,k_hor)(input,weight,bias)，其中：——s表示卷積步長；——k_ver和k_hor表示卷積核的高和寬。DepthConv(c,s,k_ver,k_hor)(input)。DepthConv(c,s,k_ver,k_hor)。DepthConv(c,s,k_ver,k_hor)(input,weight,bias){for(j=0;j<h_out;j++){}output[x][j][k]+}}5.19二維整數(shù)卷積二維整數(shù)卷積表示為IntConv(c_in,c_out,s,k_ver,k_hor)(input,weight,bias,——c_in表示輸入整數(shù)張量的通道數(shù)；——s表示卷積步長；——k_ver和k_hor表示整數(shù)卷積核的高和寬?！斎胝麛?shù)張量的截斷值max；IntConv(c_in,c_out,s,k_ver,k_hor)(input)。當(dāng)在一系列操作中調(diào)用本條中定義的IntConv且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)(c_in,c_out,s,k_ver,k_hor)。for(j=0;j<h_in;j++)clipped_input[i][j][k]=Clip3(-max,max-1,input[i][j][k])Conv(c_in,c_out,s,k_ver,k_hor)(clipped_input[:c_in][:h_in][w_in],weight,bias)for(j=0;j<h_out;j++)5.20二維轉(zhuǎn)置卷積二維轉(zhuǎn)置卷積表示為Tconv(c_in,c_out,s_vh,k_ver,k_hor)(input,weight,bias——k_ver和k_hor表示卷積核的高和寬。當(dāng)在一系列操作中調(diào)用本條中定義的Tconv且未明確設(shè)置Tconv(c_in,c_out,s_vh,k_ver,k_hor)。Tconv(c_in,c_out,s_vh,k_ver,k_hor)(input,weight,bias){for(j=0;j<h_in;j++)Conv(c_in,c_out,1,k_ver,k_hor)(temp[:c_in][:h_out][:w_out],weight,bias)}——front表示在張量的通道維度上向前填充張量樣本的數(shù)量；——c_out=c_in+front+back；默認的填充的值為0。當(dāng)在一系列操作中調(diào)用本條中定義的Pad且未明確設(shè)置輸入張量的情況下，默Pad(up,bottom,left,right,front,back)。Pad(up,bottom,leftfor(j=0;j<h_out;j++)if(i>=front&i<(c_out-back)&j>=left&j<(h_out-right)&k>=up&k<(w_out-bottom))output[i][j][k]=input[i-front][j-up][k-left]}——h_out表示在裁剪后的張量的高度；當(dāng)在一系列操作中調(diào)用本條中定義的Crop且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時Crop簡略表示為Crop(h_out,wfor(j=0;j<h_out;j++)}5.23張量取絕對值該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時ABS簡略表for(j=0;j<h;j++)}——low_thr表示張量中元素值被截斷的下限值；該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時Clip簡略表示為Clip(low_thr,highfor(j=0;j<h;j++)output[i][j][k]=clip3(low_th}Add執(zhí)行如下操作：Add(input1,input2){for(j=0;j<h;j++)}5.26二維加權(quán)卷積二維加權(quán)卷積表示為MaskConv(c)(input,weight1,weight2,bias1,bias2)，其中：c表示張量的通道一部分參數(shù)，在解析和解碼過程中不再變化。此時MaskConv簡略表示為MaskConv(c)(i當(dāng)在一系列操作中調(diào)用本條中定義的MaskConv且未明確設(shè)置輸入張量的情況下，默認將輸入張量設(shè)置為該系列操作中當(dāng)前操作的前一個操作的輸出張量，此時MaskConv簡略表示為MaskConvfor(j=0;j<h;j++)5.27二維殘差卷積二維殘差卷積表示為ResConv(c_in,c_out,tp)(input,weight1,weight2,weight3,bias1,bias2,bias3)，——c_out表示輸出張量的通道數(shù)；為ResConv(c_in,c_out,s,k_ver,k_hor)(input)。ResConv(c_in,c_out,s,k_ver,k_hor)。起始碼由起始碼前綴和起始碼值構(gòu)成。起始碼前綴是位串‘00000if(image_structure_enabled_flag)if(image_rec_enabled_flag)}u(4)u(8)u(8)u(8)image_structure_enabledu(1)u(1)if(image_structure_enabled_flag){u(16)u(16)}u(1)if(imh_extension_fu(15)for(i=0;i<imh_extimh_extension_data_byte[i]u(8)}}u(5)for(j=0;j<zH;j++)ne(v)for(j=0;j<yH;j++)ne(v)u(1)if(ifd_extension_flag){u(15)ifd_extension_data_byte[i]u(8)}}image_structure_datu(4)for(j=0;j<iW/bS;j++)bounding_boxes_enabledu(1)if(bounding_boxes_enabled_flag){bounding_boxes_num_miu(16)u(14)u(14)u(14)u(14)bounding_box_category_u(8)}}u(1)if(isd_extension_flu(32)for(i=0;i<isd_eisd_extension_data_byte[i]u(8)}}u(6)u(6)u(6)u(6)u(4)u(1)}超先驗張量寬度z_width_mi超先驗張量高度z_height_m012圖像結(jié)構(gòu)數(shù)據(jù)允許標志image_str15位無符號整數(shù)。表示圖像頭中擴展數(shù)據(jù)的長度，以字節(jié)為單位。如果位流中不存在圖像頭擴展數(shù)據(jù)字節(jié)imh_extension_da碼過程。符合本文件的解碼器應(yīng)忽略imh_extension_data_byte[i]的碼率控制因子標號rate_control_fact5位無符號整數(shù)。表示解碼應(yīng)使用的碼率控制因子qRC，碼率控制因子標號和碼率控制因子的對應(yīng)0123456789特征殘差張量元素值y_residue[i][j][k]16位無符號整數(shù)。表示圖像特征數(shù)據(jù)中擴展數(shù)據(jù)的長度，以字節(jié)為單位。如果位流中不存在ifd_extension_length不存在，但ifd_extension_length的使用可以在本文件的某些未來版本中指定，并且符合本文件的解碼器圖像特征數(shù)據(jù)擴展數(shù)據(jù)字節(jié)ifd_extension_d碼過程。符合本文件的解碼器應(yīng)忽略ifd_extension_data_byte[i塊掩膜覆蓋區(qū)域尺寸大小標號group_mask_block_si4位無符號整數(shù)。規(guī)定塊掩膜中一個掩膜點在圖像中覆蓋的方形區(qū)域的尺寸大小bS（見表義塊掩膜中所有掩膜點在圖像中覆蓋的方形區(qū)域的尺寸大group_mask_block_size_bS的值01塊掩膜值group_mask_valubounding_box_category_id[i]的值01人2車16位無符號整數(shù)。表示圖像結(jié)構(gòu)數(shù)據(jù)中擴展數(shù)據(jù)的長度，以字節(jié)為單位。如果位流中不存在不存在，但isd_extension_length的使用可以在本文件的某些未來版本中指定，并且符合本文件的解碼器也應(yīng)允許isd_extension_lengt圖像結(jié)構(gòu)數(shù)據(jù)擴展數(shù)據(jù)字節(jié)isd_extension_d碼過程。符合本文件的解碼器應(yīng)忽略isd_extension_data_byte[i重建圖像數(shù)據(jù)格式標號rec_imarec_image_format_id的值0123——如果語法元素的描述符是u(n)，應(yīng)使用7.2的操作；——如果語法元素的描述符是f(n)，應(yīng)使用7.3的操作；——如果語法元素的描述符是le(v)，應(yīng)使用7.5的操作。無符號整數(shù)的解析值為函數(shù)read_bits(n)（見）的返回值，該返回值用高位在前的二進制表b)如果當(dāng)前語法元素是z，進行7.4.2的初始化操作，然后c)如果當(dāng)前語法元素是y_residue,進行7.4.2的初始化操作，然后執(zhí)行7.4.4的操作。MaskCdf=0x0000000000000001<<CdfPrecision-1MaskBypass=0x00000001<<BypassPrecision-1StateLowerBound=0x0000000000000001<<(StatePrecision-1)StateLSB=read_bits(StatStateMSB=read_bits(State4)將Offsets[:zN]按照D.14)將Offsets[:yN]按照D.23)將MaxValue設(shè)置為MaxValues[5)執(zhí)行7.4.6的操作，得到z[i]3)將MaxValue設(shè)置為MaxValues[5)執(zhí)行7.4.6的操作，得到y(tǒng)_residue[i][j][k]的值；c)使用二維整數(shù)卷積IntConv(C,C,1,3,3)；for(j=0;j<yH;j++){}}ABS()zABS()z——State。CDFCur=State&MaskCdf}c)進行的解析狀態(tài)值檢驗，將State設(shè)置為檢驗后的NewState；——State。New=read_bits(StatePrecision)——State。1)進行的數(shù)據(jù)讀取，得到BypassVal和State；3)如果BypassVal的值不等于Maskb)將RawVal和j的值均初始化為0，循環(huán)進行BypassLen1)進行的數(shù)據(jù)讀取，得到BRawVal=(BypassVal<<(j*B——State。——BypassVal；——State。b)進行的解析狀態(tài)值檢驗，將State設(shè)置為檢驗后的NewState。1)令j=0~(iW/bS)，每次按照附錄D.3中表D.3規(guī)定的塊掩膜碼表進行解析得到group_mask_value[i][jb)解析圖像位流（見8.2）；d)解碼圖像特征數(shù)據(jù)（見8.3）；），注：圖像特征數(shù)據(jù)可以通過特征適配以用于本文件在表15中約定的任務(wù)網(wǎng)絡(luò)以外的其他任a)按照第6章規(guī)定的位流中語法元素的順序，使用第7章規(guī)定的解析過程逐個解析圖像位流中b)按照第6章中的規(guī)定，根據(jù)這些語法元素的解析值推導(dǎo)得到的本文件中的全局變量的值。），b)進行特征張量超分（見8.3.3），得到重建a)進行反量化（見）；b)進行超先驗張量超分（見）；c)進行特征張量預(yù)測補償（見）；d)進行特征張量調(diào)制（見）。反量化for(j=0;j<yH;j++)yResDQ[i][j][k]=float(y_resb)使用二維轉(zhuǎn)置卷積Tconv(C,C,2,4,4)；e)使用二維卷積Conv(C,C,1,3,3)；f)使用二維轉(zhuǎn)置卷積Tconv(C,C,2,4,4)；LeakyReLU()LeakyReLU()LeakyReLU()LeakyReLU()zyHyperzyResDQPad[:C][:yHP][:yWP]=Pad(c)進行第0階特征張量預(yù)測（見.2）；d)進行第1階特征張量預(yù)測（見8.3.2.e)進行第2階特征張量預(yù)測（見.4）；f)進行第3階特征張量預(yù)測（見.5）；g)進行預(yù)測張量調(diào)整（見.10）；h)進行第4階特征張量預(yù)測（見.6i)進行第5階特征張量預(yù)測（見j)進行第6階特征張量預(yù)測（見.8）；k)進行第7階特征張量預(yù)測（見.9）；l)進行交叉超分重組：b)將i設(shè)置為0，進行預(yù)測融合（見.11d)將i設(shè)置為1，進行預(yù)測融合（見.11）；d)將i設(shè)置為2，進行預(yù)測融合（見.11d)將i設(shè)置為3，進行預(yù)測融合（見.11）；c)將i設(shè)置為4，進行預(yù)測融合（見.11）；d)將i設(shè)置為6，進行預(yù)測融合（見.11）；b)進行二維卷積Conv(C/2,C,1,3,3)；d)進行二維卷積Conv(C,C,1,3,3)； yTmpyTmpModifiedyTmpyPredTmpyHyperPadDownPartCPadyPredTmpfor(j=0;j<yW;j++)for(j=0;j<yH;j++)ReLUReLU()h)進行二維加權(quán)卷積:MaskConv(C)MaskConv(C)MaskConv(C)MaskConv(C)ryra)如果bounding_boxes_enabled_flag的值為1，解碼），3)第i個目標框的高度BoundingBox[i]->4)第i個目標框的寬度BoundingBox[i]->w等于bo——riW=rW*4-crop_left_siz——riH=rH*4-crop_upper_sfor(j=crop_upper_size;j<rH*4-crop_bottomimR[j-crop_upper_size][k-crop_left_sizeimG[j-crop_upper_sizeimB[j-crop_upper_size][k-crop_left_size]=RT15[2}for(j=0;j<riW;j++)for(j=0;j<riW;j++)}for(j=0;j<riW;j++)}for(j=0;j<riW;j++){}4)如果rec_image_format_id的值為3，for(j=0;j<riW;j++){}}MaskConv(C/2)MaskConv(C/2)MaskConv(C)MaskConv(C)rr低有效位，檢查該位之前寫入的22位，如果這22位都是‘0’，在該位之前插入‘10’，該位成為下一字節(jié)構(gòu)成位串‘000000000000000000000010’，丟棄當(dāng)前字節(jié)的最低兩個有效位。丟棄一個字節(jié)最低兩個有效位可采用任意等效的方式，本文件不 個檔次規(guī)定的解碼器應(yīng)完全支持該檔次定義本附錄描述了不同檔次所對應(yīng)的各種限制。所有未被限定的語法元素和參數(shù)可以取任何本文件所profile_id定義了位流的檔次。profile_id的值CyNy的累計概率列表數(shù)yPy的概率精度44yScaleFactor4神經(jīng)網(wǎng)絡(luò)模型參數(shù)包括神經(jīng)網(wǎng)絡(luò)中卷積操作使用的卷積核權(quán)重和偏置以及神經(jīng)網(wǎng)絡(luò)中其他操作的解析和解碼過程中使用的神經(jīng)網(wǎng)絡(luò)模型參數(shù)，按照PyTorch的序列化狀態(tài)字典格式存儲在電子附件中，獲取路徑為：/share/506555c6f2b1906fb4c5492D.1解析z[i][j][k]時使用的解析語法元素z[i][j][k]時使用的矩陣、列表和張量及其獲取方式如下：——矩陣CDFS，其數(shù)據(jù)內(nèi)容參見URL1的csv文件，其存放格式為：令i=0~zN，逐行存放/share/9ffa3bd4936653b62edde7/share/7f28f3ee8841dd0ecd400a/share/12f16695be3d77134627de3/share/a0d37a965e9a54dd860f/share/967c95258b7ef510c50cD.2解析y_residue[i][j][k解析語法元素y_residue[i][j][k]時使用的矩陣和列表及其獲取方式如下：——矩陣CDFS，其數(shù)據(jù)內(nèi)容參見URL6的csv文件，其存放格式為：令i=0~yN，逐行存放/share/90b79d6ddbd909cf6e25151/share/ab35cbfe233478f1d8b9eb6/share/7f03cf5b8163109e4ce7e1/share/9f60a1e0307a201bb58af/share/b102cbe51b6e23740b4dd8c解析group_mask_value時使用的碼表01234567891101111101000011111011110000000111111111111111111111111110111110100001111101111000011011111010000111110111100000001111110111110100001111101111000000011111111111111111111111111111111101111101000011111011110000000111111111111111111111111111101111101000011111011110000000111111111111111111111111111110111110100001111101111000000011111111110111110100001111101111000000011111111111011111010000111110111100000001111111111110111110100001111101111000000011111111111110111110100001111101111000000011111111111111011111010000111110111100000001111111111111110111110100001111101111000000011111111111111110111110100001111101111000000011111111111111111101111101000011111011110000000111111111111111111101111101000011111011110000000111111111111111111110111110100001111101111000000011111111111111111111011111010000111111101111101000011111011110000000111111111111111111111011111010000111110111101111101000011111011110000000111111111111111111111101111101000011111011110110111110100001111101111000000011111111111111111111111011111010000111110111100001101111101000011111011110000000111011111010000111110111100000001111111011111010000111110111101111101000011111011110000000111111111111011111010000111110111110111110100001111101111000000011111111111111011111010000111110111111011111010000111110111100000001111111111111111011111010000111110111101101111101000011111011110000000111111111111111111011111010000111110111101101111101000011111011110011011111010000111110111100011011111010000111110110111110100001111101111000001101111101000011111011111011111010000111110111100000011011111010000111110111100000001111111011111010000111110111100000001101111101000011111011110011011111010000111110111100000001111101111101000011111011110000110111110100001111101111000000011111111111111111111111110111110100001111101111000000011111111111111111111110111110100001111101111000000011111111111111111111111111111011111010000111110111100000001111111111111111111111111111111111111111111111111111111011111010000111110111100000001111111101111101000011111011110000000111111111111111111111111111111110111110100001111101111000000011111111101111101000011111011110000000111111111111111111111111111110111110100001111101111000000011111111111111111111111111111111101111101000011111011110000000111111111110111110100001111101111000000011111111110111110100001111101111000000011111111111011111010000111110111100000001111111111111011111010000111110111100000001111111111110111110100001111101111000000011111111111110111110100001111101111000000011111111111111101111101000011111011110000000111111111111110111110100001111101111000000011111111111111101111101000011111011110000000111111111111111110111110100001111101111000000011111111111111110111110100001111101111000000011111111111111111011111010000111110111100000001111111111111111110111110100001111101111000000011111111111111111110111110100001111101111000000011111111111111111111011111010000111110110111110100001111101111000000011111111111111111111011111010000111110111011111010000111110111110111110100001111101111000000011111111111111111111101111101000011111011111101111101000011111011110110111110100001111101111001101111101000011111011110000000111111111111111111111101111101000011111011110001101111101000011111011110000011011111010000111110111100000011011111010000111110111100000001111011111010000111110111100000001111111111011111010000111110111100000001111111101111101000011111011110000000111111111111111111111111011111010000111110111100000001111111111101111101000011111011110111110100001111101111000000011111111111111111101111101000011111011110000000111111111111111111111111101111101000011111011110000000111111111111101111101000011111011110000000111111111111110111110100001111101111000000011111111111111011111010000111110111100000001111111111111111111111111101111101000011111011111101111101000011111011110000000111111111111111111111111111011111010000111110111100000001111111111111111110111110100001111101111000000011111111111111111111111111110111110100001111101111011011111010000