(19)國家知識產(chǎn)權(quán)局地址518129廣東省深圳市龍崗區(qū)坂田華限公司11319幀間預(yù)測方法及裝置于人工智能(AI)的視頻或圖像壓縮技術(shù)領(lǐng)域領(lǐng)域，具體涉及基于神經(jīng)網(wǎng)絡(luò)的視頻壓縮技術(shù)領(lǐng)已重建圖像塊各自的運動矢量；根據(jù)P個已重建獲取當前塊的周邊區(qū)域中的多個已重建圖像塊各自獲取當前塊的周邊區(qū)域中的多個已重建圖像塊各自的運動矢量矢量對應(yīng)的多個概率值根據(jù)與多個先驗候選運動矢量對應(yīng)的多個概率值，得到與多個先驗候選運動矢量對應(yīng)的多個權(quán)重因子根據(jù)多個先驗候選運動矢量分別執(zhí)行運動補償?shù)玫蕉鄠€預(yù)測值根據(jù)多個權(quán)重因子和多個預(yù)測值加權(quán)求和得到當前塊的預(yù)測值2獲取當前塊的周邊區(qū)域中的多個已重建圖像塊各自的運動信息，所述周邊區(qū)域包括所述當前塊的空間鄰域和/或時間鄰域；將所述多個已重建圖像塊各自的運動信息輸入經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)得到所述當前塊的多個先驗候選運動矢量以及與所述多個先驗候選運動矢量對應(yīng)的多個概率值；根據(jù)所述與所述多個先驗候選運動矢量對應(yīng)的多個概率值獲取與所述多個先驗候選運動矢量對應(yīng)的多個權(quán)重因子；根據(jù)所述多個先驗候選運動矢量分別執(zhí)行運動補償?shù)玫脚c所述多個先驗候選運動矢量對應(yīng)的多個預(yù)測值；根據(jù)所述多個預(yù)測值和所述多個權(quán)重因子加權(quán)求和得到所述當前塊的預(yù)測值。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取當前塊的周邊區(qū)域中的多個已重獲取第一已重建圖像塊的多個先驗候選運動矢量，所述第一已重建圖像塊是所述多個已重建圖像塊中的任意一個；根據(jù)所述第一已重建圖像塊的多個先驗候選運動矢量分別在搜索窗口內(nèi)進行偏移以得到所述第一已重建圖像塊的多個后驗候選運動矢量；根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量獲取所述第一已重建圖像塊的所述運動信息。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量獲取所述第一已重建圖像塊的所述運動信息，包括：獲取所述第一已重建圖像塊的重建值；根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量分別執(zhí)行運動補償?shù)玫脚c所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值；根據(jù)所述第一已重建圖像塊的重建值和所述與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值獲取與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測誤差值；所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的多個后驗候選運動矢量以及所述與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測誤差值，或者，所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的最優(yōu)運動矢量，所述第一已重建圖像塊的最優(yōu)運動矢量是所述多個預(yù)測誤差值中的最小預(yù)測誤差值對應(yīng)的后驗候選運動矢量。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量獲取所述第一已重建圖像塊的所述運動信息，包括：獲取所述第一已重建圖像塊的重建值；根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量分別執(zhí)行運動補償?shù)玫脚c所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值；根據(jù)所述第一已重建圖像塊的重建值和所述與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值獲取與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測誤差值；對所述與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測誤差值進行歸一化處理得到與所述多個后驗候選運動矢量對應(yīng)的多個概率值；3所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的多個后驗候選運動矢量以及所述與所述多個后驗候選運動矢量對應(yīng)的多個概率值，或者，所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的最優(yōu)運動矢量，所述第一已重建圖像塊的最優(yōu)運動矢量是所述多個概率值中的最大概率值對應(yīng)的后驗候選運動矢量。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量獲取所述第一已重建圖像塊的所述運動信息，包括：獲取所述第一已重建圖像塊的重建值；根據(jù)所述第一已重建圖像塊的多個后驗候選運動矢量分別執(zhí)行運動補償?shù)玫脚c所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值；將所述第一已重建圖像塊的重建值和所述與所述多個后驗候選運動矢量對應(yīng)的多個預(yù)測值輸入經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)得到與所述多個后驗候選運動矢量對應(yīng)的多個概率值；所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的多個后驗候選運動矢量以及所述與所述多個后驗候選運動矢量對應(yīng)的多個概率值，或者，所述第一已重建圖像塊的所述運動信息包括所述第一已重建圖像塊的最優(yōu)運動矢量，所述第一已重建圖像塊的最優(yōu)運動矢量是所述多個概率值中的最大概率值對應(yīng)的后驗候選運動矢量。6.根據(jù)權(quán)利要求2-5中任一項所述的方法，其特征在于，所述當前塊的多個先驗候選運動矢量包括所述多個已重建圖像塊各自的多個后驗候選運動矢量去重后剩余的所有后驗候選運動矢量；或者，所述當前塊的多個先驗候選運動矢量包括所述多個已重建圖像塊各自的多個后驗候選運動矢量去重后剩余的部分后驗候選運動矢量。7.根據(jù)權(quán)利要求1-6中任一項所述的方法，其特征在于，所述根據(jù)所述與所述多個先驗候選運動矢量對應(yīng)的多個概率值獲取與所述多個先驗候選運動矢量對應(yīng)的多個權(quán)重因子，當所述多個概率值之和為1時，將與第一先驗候選運動矢量對應(yīng)的概率值作為與所述第一先驗候選運動矢量對應(yīng)的權(quán)重因子；或者，當所述多個概率值之和不為1時，對所述多個概率值進行歸一化處理；將與所述第一先驗候選運動矢量對應(yīng)的概率值的歸一化值作為與所述第一先驗候選運動矢量對應(yīng)的權(quán)重其中，所述第一先驗候選運動矢量是所述多個先驗候選運動矢量中的任意一個。8.根據(jù)權(quán)利要求1-7中任一項所述的方法，其特征在于，還包括：獲取訓(xùn)練數(shù)據(jù)集合，其中所述訓(xùn)練數(shù)據(jù)集合包括多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的所述運動信息，以及當前塊的多個先驗候選運動矢量、與所述多個先驗候選運動矢量對應(yīng)的多個概率值，所述多個已重建圖像塊是所述當前塊的空間鄰域和/或時間鄰域中的圖像塊；根據(jù)所述訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到所述神經(jīng)網(wǎng)絡(luò)。9.一種編碼器，其特征在于，包括處理電路，用于執(zhí)行權(quán)利要求1至8中任一項所述的方10.一種解碼器，其特征在于，包括處理電路，用于執(zhí)行權(quán)利要求1至8中任一項所述的方法。11.一種計算機程序產(chǎn)品，其特征在于，包括程序代碼，當其在計算機或處理器上執(zhí)行4時，用于執(zhí)行權(quán)利要求1至8中任一項所述的方法。12.一種編碼器，其特征在于，包括：一個或多個處理器；非瞬時性計算機可讀存儲介質(zhì)，耦合到所述處理器并存儲由所述處理器執(zhí)行的程序，其中所述程序在由所述處理器執(zhí)行時，使得所述編碼器執(zhí)行權(quán)利要求1至8中任一項所述的方法。13.一種解碼器，其特征在于，包括：一個或多個處理器；非瞬時性計算機可讀存儲介質(zhì)，耦合到所述處理器并存儲由所述處理器執(zhí)行的程序，其中所述程序在由所述處理器執(zhí)行時，使得所述解碼器執(zhí)行權(quán)利要求1至8中任一項所述的方法。14.一種非瞬時性計算機可讀存儲介質(zhì)，其特征在于，包括程序代碼，當其由計算機設(shè)備執(zhí)行時，用于執(zhí)行權(quán)利要求1至8中任一項所述的方法。5[0001]本申請是分案申請，原申請的申請?zhí)柺?02011043942.X,原申請日是2020年09月28日，原申請的全部內(nèi)容通過引用結(jié)合在本申請中。技術(shù)領(lǐng)域[0002]本申請實施例涉及基于人工智能(artificialintelligence,AI)的視頻或圖像壓縮技術(shù)領(lǐng)域，尤其涉及一種幀間預(yù)測方法及裝置。背景技術(shù)[0003]視頻編碼(視頻編碼和解碼)廣泛用于數(shù)字視頻應(yīng)用，例如廣播數(shù)字電視、互聯(lián)網(wǎng)和移動網(wǎng)絡(luò)上的視頻傳輸、視頻聊天和視頻會議等實時會話應(yīng)用、數(shù)字多功能影音光盤(DigitalVersatileDisc,DVD)和藍光光盤、視頻內(nèi)容采集和編輯系統(tǒng)以及可攜式攝像機的安全應(yīng)用。[0004]即使在影片較短的情況下也需要對大量的視頻數(shù)據(jù)進行描述，當數(shù)據(jù)要在帶寬容量受限的網(wǎng)絡(luò)中發(fā)送或以其它方式傳輸時，這樣可能會造成困難。因此，視頻數(shù)據(jù)通常要先壓縮然后在現(xiàn)代電信網(wǎng)絡(luò)中傳輸。由于內(nèi)存資源可能有限，當在存儲設(shè)備上存儲視頻時，視頻的大小也可能成為問題。視頻壓縮設(shè)備通常在信源側(cè)使用軟件和/或硬件，以在傳輸或存儲之前對視頻數(shù)據(jù)進行編碼，從而減少用來表示數(shù)字視頻圖像所需的數(shù)據(jù)量。然后，壓縮的數(shù)據(jù)在目的地側(cè)由視頻解壓縮設(shè)備接收。在有限的網(wǎng)絡(luò)資源以及對更高視頻質(zhì)量的需求不斷增長的情況下，需要改進壓縮和解壓縮技術(shù)，這些改進的技術(shù)能夠提高壓縮率而幾乎不影響圖像質(zhì)量。[0005]視頻編碼中的預(yù)測可以分為幀內(nèi)預(yù)測和幀間預(yù)測。幀間預(yù)測是在已重建的圖像中，為當前圖像中的當前塊尋找匹配的參考塊，將參考塊中的像素點的值作為當前塊中的像素點的值的預(yù)測值。編碼器在參考圖像中為當前塊嘗試多個參考塊，然后決策出適合當前塊的參考塊，并傳輸運動信息到解碼器。解碼器通過碼流中的運動信息，即可找到對應(yīng)圖像塊的參考塊，進而得到該圖像塊的預(yù)測。運動信息包括了一個或兩個指向參考塊的運動矢量(motionvector,MV),以及參考塊所在圖像的指示信息(通常記為參考幀索引(referenceindex,RI))。在高效率視頻編碼(highefficiencyvideocoding,HEVC)標準中，定義了兩種幀間預(yù)測模式，分別為先進的運動矢量預(yù)測(advancedmotionvectorprediction,AMVP)模式和融合(Merge)模式。這兩種模式均為先通過當前塊的空域或時域相鄰的已重建圖像塊的運動信息構(gòu)建候選運動信息列表，然后從候選運動信息列表中確定最優(yōu)運動信息作為當前塊的運動信息，進而基于當前塊的運動信息獲取當前塊的預(yù)測。[0006]因此如何根據(jù)多個候選運動信息獲取當前塊的預(yù)測是實現(xiàn)幀間預(yù)測的關(guān)鍵。發(fā)明內(nèi)容[0007]本申請?zhí)峁┮环N幀間預(yù)測方法及裝置，以提升幀間預(yù)測的準確度，減小幀間預(yù)測6[0008]第一方面，本申請?zhí)峁┮环N幀間預(yù)測方法，包括：獲取當前塊的周邊區(qū)域中的P個已重建圖像塊各自的運動矢量，所述周邊區(qū)域包括所述當前塊的空間鄰域和/或時間鄰域；根據(jù)所述P個已重建圖像塊各自的運動矢量得到所述當前塊的Q個先驗候選運動矢量以及與所述Q個先驗候選運動矢量對應(yīng)的Q個概率值；根據(jù)與M個先驗候選運動矢量對應(yīng)的M個概個先驗候選運動矢量分別執(zhí)行運動補償?shù)玫組個預(yù)測值；根據(jù)所述M個預(yù)測值和對應(yīng)的所述M個權(quán)重因子加權(quán)求和得到所述當前塊的預(yù)測值。[0009]當前塊的周邊區(qū)域包括當前塊的空間鄰域和/或時間鄰域，其中空間鄰域的圖像塊可以包括位于當前塊左側(cè)的左方候選圖像塊和位于當前塊上方的上方候選圖像塊。[0010]已重建圖像塊可以是指編碼端已經(jīng)編碼并獲取其重建的編碼圖像塊或者解碼端已解碼重構(gòu)的解碼圖像塊。已重建圖像塊也可以是指將編碼圖像塊或解碼圖像塊等大小劃分而來的預(yù)設(shè)大小的基本單元圖像塊。[0011]已重建圖像塊的運動矢量可以包括：(1)已重建圖像塊的多個后驗運動矢量，該多個后驗運動矢量是根據(jù)已重建圖像塊的重建值和多個后驗候選運動矢量對應(yīng)的預(yù)測值確定的；或者，(2)已重建圖像塊的最優(yōu)運動矢量，該最優(yōu)運動矢量是上述多個后驗運動矢量中概率值最大或預(yù)測誤差值最小的后驗運動矢量。[0012]已重建圖像塊的多個后驗候選運動矢量是根據(jù)該已重建圖像塊的多個先驗候選運動矢量得到的。針對已重建圖像塊的多個先驗候選運動矢量中的任意一個先驗候選運動矢量，可以讓其在一個預(yù)設(shè)的搜索窗口內(nèi)進行偏移，生成多個偏移候選運動矢量?？梢?，已重建圖像塊的一個先驗候選運動矢量可以得到多個偏移候選運動矢量。已重建圖像塊的多個先驗候選運動矢量，均按上述操作，得到的所有偏移候選運動矢量即為已重建圖想塊的多個后驗候選運動矢量。上述P個已重建圖像塊均可按照該方法獲取各自的多個后驗候選[0013]已重建圖像塊的多個后驗運動矢量可以是指上述多個后驗候選運動矢量；也可以是指上述多個后驗候選運動矢量中的部分運動矢量，例如上述多個后驗候選運動矢量中選出的多個指定的運動矢量。上述P個已重建圖像塊均可按照該方法獲取各自的多個后驗運[0014]可以將P個已重建圖像塊各自的運動矢量輸入經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)得到當前塊的Q個先驗候選運動矢量以及與Q個先驗候選運動矢量對應(yīng)的Q個概率值。該神經(jīng)網(wǎng)絡(luò)可以參照下文訓(xùn)練引擎25的描述，此處不再贅述。[0015]當前塊的Q個先驗候選運動矢量可以是指P個已重建圖像塊各自的多個后驗運動矢量去重后剩余的所有運動矢量，也可以是指P個已重建圖像塊各自的多個后驗運動矢量去重后剩余的所有運動矢量中的部分運動矢量。[0016]可選的，M=Q,此時M個概率值是指上述Q個概率值，M個先驗候選運動矢量是指上述Q個先驗候選運動矢量。[0017]可選的，M<Q,此時M個概率值均大于Q個概率值中除M個概率值外的其他概率值，從當前塊的Q個先驗候選運動矢量中選取與該M個概率值對應(yīng)的M個先驗候選運動矢量。即從當前塊的與Q個先驗候選運動矢量對應(yīng)的Q個概率值中選取概率值最大的前M個概率值，并從當前塊的Q個先驗候選運動矢量中選取與M個概率值對應(yīng)的M個先驗候選運動矢量，基7于M個概率值和M個先驗候選運動矢量進行權(quán)重因子和預(yù)測值的計算，進而得到當前塊的預(yù)測值。而與多個先驗候選運動矢量對應(yīng)的多個概率值中除前述M個概率值外的其余概率值，由于值較小可以忽略，這樣可以減少計算量，提高幀間預(yù)測的效率。一對應(yīng)，例如，當前塊有5個先驗候選運動矢量，與其對應(yīng)的多個概率值可以是5個概率值，也可以是少于5個概率值。[0019]當M個概率值之和為1時，將與第一先驗候選運動矢量對應(yīng)的概率值作為與第一先驗候選運動矢量對應(yīng)的權(quán)重因子。即M個先驗候選運動矢量各自的權(quán)重因子，是M個先驗候?qū)⑴c第一先驗候選運動矢量對應(yīng)的概率值的歸一化值作為與第一先驗候選運動矢量對應(yīng)的權(quán)重因子。即M個先驗候選運動矢量各自的權(quán)重因子，是M個先驗候選運動矢量各自的概率值的歸一化值。上述第一先驗候選運動矢量只是為了便于描述而采用的一個名詞，其并驗候選運動矢量對應(yīng)的M個權(quán)重因子之和為1。[0020]根據(jù)幀間預(yù)測的原理，一個候選運動矢量可以在當前塊的參考幀中找到一個參考塊，根據(jù)該參考塊對當前塊進行幀間預(yù)測得到對應(yīng)于該候選運動矢量的預(yù)測值，可見當前塊的預(yù)測值對應(yīng)于候選運動矢量。因此根據(jù)M個先驗候選運動矢量分別執(zhí)行運動補償，可以針對同一個先驗候選運動矢量，其對應(yīng)的預(yù)測值和權(quán)重因子之間也建立起對應(yīng)關(guān)系，將對應(yīng)于同一個先驗候選運動矢量的權(quán)重因子和預(yù)測值相乘，再將對應(yīng)于多個先驗候選運動矢量的多個乘積相加得到當前塊的預(yù)測值。[0022]本申請通過基于當前塊的周邊區(qū)域中的多個已重建圖像塊各自的運動矢量得到當前塊的多個權(quán)重因子和多個預(yù)測值，將對應(yīng)于同一個先驗候選運動矢量的權(quán)重因子和預(yù)測值相乘，再將對應(yīng)于多個先驗候選運動矢量的多個乘積相加得到當前塊的預(yù)測值，這樣得到的當前塊的預(yù)測值是結(jié)合了多個先驗候選運動矢量，從而能夠更好的擬合現(xiàn)實世界中豐富多變的紋理，提升幀間預(yù)測的準確度，減小幀間預(yù)測的誤差，改善幀間預(yù)測的整體率失[0023]在一種可能的實現(xiàn)方式中，除了獲取P個已重建圖像塊各自的運動矢量外，還可以獲取該P個已重建圖像塊各自的相關(guān)信息。已重建圖像塊的相關(guān)信息可以是該已重建圖像塊的與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值，該多個預(yù)測誤差值也是根據(jù)已重建圖像塊的重建值和多個后驗候選運動矢量對應(yīng)的預(yù)測值確定的。[0024]根據(jù)已重建圖像塊的多個后驗候選運動矢量分別對已重建圖像塊執(zhí)行運動補償，可以得到多個預(yù)測值，該多個預(yù)測值和前述多個后驗候選運動矢量對應(yīng)。[0025]將多個預(yù)測值分別與已重建圖像塊的重建值進行比較，得到多個預(yù)測誤差值，該多個預(yù)測誤差值和多個后驗候選運動矢量對應(yīng)。本申請可以采用絕對誤差和(sumofabsolutedifference,SAD)或平方誤差和(sumofsquareddifference,SSE)等方法獲取對應(yīng)于某一個后驗候選運動矢量的預(yù)測誤差值。8[0026]若已重建圖像塊的多個后驗運動矢量是指上述多個后驗候選運動矢量，則已重建圖像塊的與上述多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值是指對應(yīng)于上述多個后驗候選運動矢量的多個預(yù)測誤差值；若已重建圖像塊的多個后驗運動矢量是指上述多個后驗候選運動矢量中的部分運動矢量，則已重建圖像塊的與上述多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值是指從對應(yīng)于上述多個后驗候選運動矢量的多個預(yù)測誤差值中選出的與該部分運動矢量對應(yīng)的預(yù)測誤差值。[0027]相應(yīng)的，輸入神經(jīng)網(wǎng)絡(luò)的包括P個已重建圖像塊各自的多個后驗運動矢量以及與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值。[0028]在一種可能的實現(xiàn)方式中，除了獲取P個已重建圖像塊各自的運動矢量外，還可以獲取該P個已重建圖像塊各自的相關(guān)信息。已重建圖像塊的相關(guān)信息可以是該已重建圖像塊的與多個后驗運動矢量對應(yīng)的多個概率值，該多個概率值也是根據(jù)已重建圖像塊的重建值和多個后驗候選運動矢量對應(yīng)的預(yù)測值確定的。[0029]已重建圖像塊的與多個后驗運動矢量對應(yīng)的多個概率值可以有以下兩種獲取方[0030]一種是根據(jù)上述方法中得到的已重建圖像塊的多個預(yù)測誤差值，得到已重建圖像塊的多個概率值。例如，可以使用歸一化指數(shù)函數(shù)、線性歸一化方法等方法對已重建圖像塊的多個預(yù)測誤差值進行歸一化處理，得到多個預(yù)測誤差值的歸一化值，該多個預(yù)測誤差值的歸一化值即為已重建圖像塊的多個概率值，基于已重建圖像塊的多個預(yù)測誤差值與多個后驗運動矢量的對應(yīng)關(guān)系，已重建圖像塊的多個概率值也與已重建圖像塊的多個后驗運動矢量對應(yīng)，該概率值可以表示與之對應(yīng)的后驗運動矢量成為該已重建圖像塊的最優(yōu)運動矢量的概率。[0031]另一種是將已重建圖像塊的重建值和第一種方法中得到的已重建圖像塊的多個預(yù)測值，輸入經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)得到已重建圖像塊的與多個后驗運動矢量對應(yīng)的多個概率值。該神經(jīng)網(wǎng)絡(luò)可以參照上述訓(xùn)練引擎25的描述，此處不再贅述。[0032]相應(yīng)的，輸入神經(jīng)網(wǎng)絡(luò)的包括P個已重建圖像塊各自的多個后驗運動矢量以及與多個后驗運動矢量對應(yīng)的多個概率值。[0033]因此，在通過上述兩種方法得到的與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值或者概率值之后，已重建圖像塊的最優(yōu)運動矢量可以有以下兩種獲取方法：[0034]一種是將與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值中的最小預(yù)測誤差值對應(yīng)的后驗運動矢量作為已重建圖像塊的最優(yōu)運動矢量。[0035]另一種是將與多個后驗運動矢量對應(yīng)的多個概率值中的最大概率值對應(yīng)的后驗運動矢量作為已重建圖像塊的最優(yōu)運動矢量。[0036]需要說明的時，本申請中的最優(yōu)運動矢量僅是指通過上述兩種方法之一獲取到的運動矢量，是已重建圖像塊的多個后驗運動矢量的其中之一，但該最優(yōu)運動矢量并不是對已重建圖像塊進行幀間預(yù)測時采用的唯一的運動矢量。[0037]在一種可能的實現(xiàn)方式中，在獲取當前塊的重建值后，可以立即獲取當前塊的后驗運動矢量及其相關(guān)信息，該獲取方法包括：[0038]一、根據(jù)當前塊的重建值和當前塊的多個后驗候選運動矢量對應(yīng)的預(yù)測值得到當前塊的多個后驗運動矢量以及與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值，當前塊的多個9后驗運動矢量是根據(jù)當前塊的多個先驗候選運動矢量得到的。[0039]二、根據(jù)當前塊的重建值和當前塊的多個后驗候選運動矢量對應(yīng)的預(yù)測值輸入神經(jīng)網(wǎng)絡(luò)，得到當前塊的多個后驗運動矢量以及與多個后驗運動矢量對應(yīng)的多個概率值，當前塊的多個后驗運動矢量是根據(jù)當前塊的多個先驗候選運動矢量得到的，或者，根據(jù)當前塊的多個預(yù)測誤差值得到當前塊的多個后驗運動矢量對應(yīng)的多個概率值。[0040]三、將當前塊的多個后驗運動矢量中概率值最大或預(yù)測誤差值最小的后驗運動矢量確定為當前塊的最優(yōu)運動矢量。[0041]在一種可能的實現(xiàn)方式中，訓(xùn)練引擎在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時所依據(jù)的訓(xùn)練數(shù)據(jù)集合包括多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的多個后驗運動矢量、與所述多個后驗運動矢量對應(yīng)的多個概率值，以及當前塊的多個后驗運動矢量、與所述多個后驗運動矢量對應(yīng)的多個概率值，所述多個已重建圖像塊是所述當前塊的空間鄰域和/或時間鄰域中的圖像塊；根據(jù)所述訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)。[0042]在一種可能的實現(xiàn)方式中，訓(xùn)練引擎在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時所依據(jù)的訓(xùn)練數(shù)據(jù)集合包括多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的多個后驗運動矢量、與所述多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值，以及當前塊的多個后驗運動矢量、與所述多個后驗運動矢量對應(yīng)的多個概率值，所述多個已重建圖像塊是所述當前塊的空間鄰域和/或時間鄰域中的圖像塊；根據(jù)所述訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)。[0043]在一種可能的實現(xiàn)方式中，訓(xùn)練引擎在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時所依據(jù)的訓(xùn)練數(shù)據(jù)集合包括多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的最優(yōu)運動矢量，以及當前塊的多個后驗運動矢量、與所述多個后驗運動矢量對應(yīng)的多個概率值，所述多個已重建圖像塊是所述當前塊的空間鄰域和/或時間鄰域中的圖像塊；根據(jù)所述訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)。[0044]可選的，所述神經(jīng)網(wǎng)絡(luò)至少包括卷積層和激活層。其中，所述卷積層的卷積核的深5或者7×7。例如，某一卷積層的尺寸為3×3×2×10,其中，3×3表示該卷積層中的卷積核的尺寸；2表示卷積層中包含的卷積核的深度，輸入該卷積層的數(shù)據(jù)通道數(shù)和卷積層中包含的卷積核的深度一致，即輸入該卷積層的數(shù)據(jù)通道數(shù)也是2;10表示卷積層中包含的卷積核的個數(shù)，輸出該卷積層的數(shù)據(jù)通道數(shù)和卷積層中包含的卷積核的個數(shù)一致，即輸出該卷積層的數(shù)據(jù)通道數(shù)也是10。[0045]可選的，所述神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)CNN、深度神經(jīng)網(wǎng)絡(luò)DNN或者循環(huán)神經(jīng)網(wǎng)[0046]第二方面，本申請?zhí)峁┮环N編碼器，包括處理電路，用于執(zhí)行根據(jù)上述第一方面任一項所述的方法。[0047]第三方面，本申請?zhí)峁┮环N解碼器，包括處理電路，用于執(zhí)行上述第一方面任一項所述的方法。[0048]第四方面，本申請?zhí)峁┮环N計算機程序產(chǎn)品，包括程序代碼，當其在計算機或處理器上執(zhí)行時，用于執(zhí)行上述第一方面任一項所述的方法。[0049]第五方面，本申請?zhí)峁┮环N編碼器，包括：一個或多個處理器；非瞬時性計算機可讀存儲介質(zhì)，耦合到所述處理器并存儲由所述處理器執(zhí)行的程序，其中所述程序在由所述處理器執(zhí)行時，使得所述解碼器執(zhí)行上述第一方面任一項所述的方法。[0050]第六方面，本申請?zhí)峁┮环N解碼器，包括：一個或多個處理器；非瞬時性計算機可讀存儲介質(zhì)，耦合到所述處理器并存儲由所述處理器執(zhí)行的程序，其中所述程序在由所述處理器執(zhí)行時，使得所述編碼器執(zhí)行上述第一方面任一項所述的方法。[0051]第七方面，本申請?zhí)峁┮环N非瞬時性計算機可讀存儲介質(zhì)，包括程序代碼，當其由計算機設(shè)備執(zhí)行時，用于執(zhí)行上述第一方面任一項所述的方法。[0052]第八方面，本發(fā)明涉及幀間預(yù)測裝置，有益效果可以參見第一方面的描述此處不再贅述。所述幀間預(yù)測裝置具有實現(xiàn)上述第一方面的方法實施例中行為的功能。所述功能可以通過硬件實現(xiàn)，也可以通過硬件執(zhí)行相應(yīng)的軟件實現(xiàn)。所述硬件或軟件包括一個或多個與上述功能相對應(yīng)的模塊。在一個可能的設(shè)計中，所述幀間預(yù)測裝置包括：運動估計單元和幀間預(yù)測處理單元，其中，運動估計單元，用于獲取當前塊的周邊區(qū)域中的P個已重建圖像塊各自的運動矢量，所述周邊區(qū)域包括所述當前塊的空間鄰域和/或時間鄰域；幀間預(yù)測處理單元，用于實現(xiàn)上述第一方面任一項所述的方法。這些模塊可以執(zhí)行上述第一方面方法示例中的相應(yīng)功能，具體參見方法示例中的詳細描述，此處不做贅述。[0053]附圖及以下說明中將詳細描述一個或多個實施例。其它特征、目的和優(yōu)點在說明、附圖以及權(quán)利要求中是顯而易見的。附圖說明[0054]圖1a為本申請實施例的譯碼系統(tǒng)10的示例性框圖；[0055]圖1b為本申請實施例的視頻譯碼系統(tǒng)40的示例性框圖；[0056]圖2為本申請實施例的視頻編碼器20的示例性框圖；[0057]圖3為本申請實施例的視頻解碼器30的示例性框圖；[0058]圖4為本申請實施例的視頻譯碼設(shè)備400的示例性框圖；[0059]圖5為本申請實施例的裝置500的示例性框圖；[0060]圖6a-圖6e為本申請實施例的用于幀間預(yù)測的神經(jīng)網(wǎng)絡(luò)的幾個示例性架構(gòu)；[0061]圖7為本申請實施例的候選圖像塊的示例性的示意圖；[0062]圖8為本申請實施例的幀間預(yù)測方法的過程800的流程圖；[0063]圖9為本申請實施例的幀間預(yù)測方法的過程900的流程圖；[0064]圖10為本申請實施例的搜索窗口的示例性的示意圖；[0065]圖11為本申請實施例的幀間預(yù)測方法的過程1100的流程圖；[0066]圖12為本申請實施例的幀間預(yù)測方法的過程1200的流程圖；[0067]圖13為本申請實施例的幀間預(yù)測裝置1300的結(jié)構(gòu)示意圖。具體實施方式[0068]本申請實施例提供一種基于AI的視頻壓縮技術(shù)，尤其是提供一種基于神經(jīng)網(wǎng)絡(luò)的視頻壓縮技術(shù)，具體提供一種基于神經(jīng)網(wǎng)絡(luò)(neuralnetwork,NN)的幀間預(yù)測技術(shù)，以改進傳統(tǒng)的混合視頻編解碼系統(tǒng)。[0069]視頻編碼通常是指處理形成視頻或視頻序列的圖像序列。在視頻編碼領(lǐng)域，術(shù)語“圖像(picture)”、“幀(frame)”或“圖片(image)”可以用作同義詞。視頻編碼(或通常稱為11編碼)包括視頻編碼和視頻解碼兩部分。視頻編碼在源側(cè)執(zhí)行，通常包括處理(例如，壓縮)原始視頻圖像以減少表示該視頻圖像所需的數(shù)據(jù)量(從而更高效存儲和/或傳輸)。視頻解碼在目的地側(cè)執(zhí)行，通常包括相對于編碼器作逆處理，以重建視頻圖像。實施例涉及的視頻[0070]在無損視頻編碼情況下，可以重建原始視頻圖像，即重建的視頻圖像與原始視頻圖像具有相同的質(zhì)量(假設(shè)存儲或傳輸期間沒有傳輸損耗或其它數(shù)據(jù)丟失)。在有損視頻編碼情況下，通過量化等執(zhí)行進一步壓縮，來減少表示視頻圖像所需的數(shù)據(jù)量，而解碼器側(cè)無法完全重建視頻圖像，即重建的視頻圖像的質(zhì)量比原始視頻圖像的質(zhì)量較低或較差。[0071]幾個視頻編碼標準屬于“有損混合型視頻編解碼”(即，將像素域中的空間和時間預(yù)測與變換域中用于應(yīng)用量化的2D變換編碼結(jié)合)。視頻序列中的每個圖像通常分割成不重疊的塊集合，通常在塊級上進行編碼。換句話說，編碼器通常在塊(視頻塊)級處理即編碼視頻，例如，通過空間(幀內(nèi))預(yù)測和時間(幀間)預(yù)測來產(chǎn)生預(yù)測塊；從當前塊(當前處理/待處理的塊)中減去預(yù)測塊，得到殘差塊；在變換域中變換殘差塊并量化殘差塊，以減少待傳輸(壓縮)的數(shù)據(jù)量，而解碼器側(cè)將相對于編碼器的逆處理部分應(yīng)用于編碼或壓縮的塊，以重建用于表示的當前塊。另外，編碼器需要重復(fù)解碼器的處理步驟，使得編碼器和解碼器生成相同的預(yù)測(例如，幀內(nèi)預(yù)測和幀間預(yù)測)和/或重建像素，用于處理，即編碼后續(xù)塊。[0072]在以下譯碼系統(tǒng)10的實施例中，編碼器20和解碼器30根據(jù)圖1a至圖3進行描述。[0073]圖1a為本申請實施例的譯碼系統(tǒng)10的示例性框圖，例如可以利用本申請技術(shù)的視頻譯碼系統(tǒng)10(或簡稱為譯碼系統(tǒng)10)。視頻譯碼系統(tǒng)10中的視頻編碼器20(或簡稱為編碼器20)和視頻解碼器30(或簡稱為解碼器30)代表可用于根據(jù)本申請中描述的各種示例執(zhí)行各技術(shù)的設(shè)備等。[0074]如圖1a所示，譯碼系統(tǒng)10包括源設(shè)備12,源設(shè)備12用于將編碼圖像等編碼圖像數(shù)據(jù)21提供給用于對編碼圖像數(shù)據(jù)21進行解碼的目的設(shè)備14。[0075]源設(shè)備12包括編碼器20,另外即可選地，可包括圖像源16、圖像預(yù)處理器等預(yù)處理器(或預(yù)處理單元)18、通信接口(或通信單元)22。[0076]圖像源16可包括或可以為任意類型的用于捕獲現(xiàn)實世界圖像等的圖像捕獲設(shè)備，和/或任意類型的圖像生成設(shè)備，例如用于生成計算機動畫圖像的計算機圖形處理器或任意類型的用于獲取和/或提供現(xiàn)實世界圖像、計算機生成圖像(例如，屏幕內(nèi)容、虛擬現(xiàn)實(virtualreality,VR)圖像和/或其任意組合(例如增強現(xiàn)實(augmentedreality,AR)圖像)的設(shè)備。所述圖像源可以為存儲上述圖像中的任意圖像的任意類型的內(nèi)存或存儲器。[0077]為了區(qū)分預(yù)處理器(或預(yù)處理單元)18執(zhí)行的處理，圖像(或圖像數(shù)據(jù))17也可稱為原始圖像(或原始圖像數(shù)據(jù))17。[0078]預(yù)處理器18用于接收原始圖像數(shù)據(jù)17,并對原始圖像數(shù)據(jù)17進行預(yù)處理，得到預(yù)處理圖像(或預(yù)處理圖像數(shù)據(jù))19。例如，預(yù)處理器18執(zhí)行的預(yù)處理可包括修剪、顏色格式轉(zhuǎn)換(例如從RGB轉(zhuǎn)換為YCbCr)、調(diào)色或去噪?？梢岳斫獾氖?，預(yù)處理單元18可以為可選組件。[0079]視頻編碼器(或編碼器)20用于接收預(yù)處理圖像數(shù)據(jù)19并提供編碼圖像數(shù)據(jù)21(下面將根據(jù)圖2等進一步描述)。[0080]源設(shè)備12中的通信接口22可用于：接收編碼圖像數(shù)據(jù)21并通過通信信道13向目的設(shè)備14等另一設(shè)備或任何其它設(shè)備發(fā)送編碼圖像數(shù)據(jù)21(或其它任意處理后的版本),以便存儲或直接重建。[0081]目的設(shè)備14包括解碼器30,另外即可選地，可包括通信接口(或通信單元)28、后處理器(或后處理單元)32和顯示設(shè)備34。[0082]目的設(shè)備14中的通信接口28用于直接從源設(shè)備12或從存儲設(shè)備等任意其它源設(shè)備接收編碼圖像數(shù)據(jù)21(或其它任意處理后的版本),例如，存儲設(shè)備為編碼圖像數(shù)據(jù)存儲設(shè)備，并將編碼圖像數(shù)據(jù)21提供給解碼器30。[0083]通信接口22和通信接口28可用于通過源設(shè)備12與目的設(shè)備14之間的直連通信鏈路，例如直接有線或無線連接等，或者通過任意類型的網(wǎng)絡(luò)，例如有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)或其任意組合、任意類型的私網(wǎng)和公網(wǎng)或其任意類型的組合，發(fā)送或接收編碼圖像數(shù)據(jù)(或編碼數(shù)據(jù))21。[0084]例如，通信接口22可用于將編碼圖像數(shù)據(jù)21封裝為報文等合適的格式，和/或使用任意類型的傳輸編碼或處理來處理所述編碼后的圖像數(shù)據(jù)，以便在通信鏈路或通信網(wǎng)絡(luò)上進行傳輸。[0085]通信接口28與通信接口22對應(yīng)，例如，可用于接收傳輸數(shù)據(jù)，并使用任意類型的對應(yīng)傳輸解碼或處理和/或解封裝對傳輸數(shù)據(jù)進行處理，得到編碼圖像數(shù)據(jù)21。[0086]通信接口22和通信接口28均可配置為如圖1a中從源設(shè)備12指向目的設(shè)備14的對應(yīng)通信信道13的箭頭所指示的單向通信接口，或雙向通信接口，并且可用于發(fā)送和接收消息等，以建立連接，確認并交換與通信鏈路和/或例如編碼后的圖像數(shù)據(jù)傳輸?shù)葦?shù)據(jù)傳輸相[0087]視頻解碼器(或解碼器)30用于接收編碼圖像數(shù)據(jù)21并提供解碼圖像數(shù)據(jù)(或解碼圖像數(shù)據(jù))31(下面將根據(jù)圖3等進一步描述)。[0088]后處理器32用于對解碼后的圖像等解碼圖像數(shù)據(jù)31(也稱為重建后的圖像數(shù)據(jù))進行后處理，得到后處理后的圖像等后處理圖像數(shù)據(jù)33。后處理單元32執(zhí)行的后處理可以示設(shè)備34等顯示的解碼圖像數(shù)據(jù)31等任何其它處理。[0089]顯示設(shè)備34用于接收后處理圖像數(shù)據(jù)33,以向用戶或觀看者等顯示圖像。顯示設(shè)備34可以為或包括任意類型的用于表示重建后圖像的顯示器，例如，集成或外部顯示屏或硅基液晶顯示器(liquidcrystalonsilicon,LCoS)、數(shù)字光處理器(digitallightprocessor,DLP)或任意類型的其它顯示屏。[0090]譯碼系統(tǒng)10還包括訓(xùn)練引擎25,訓(xùn)練引擎25用于訓(xùn)練編碼器20(尤其是編碼器20中的幀間預(yù)測單元)或解碼器30(尤其是解碼器30中的幀間預(yù)測單元),以處理輸入圖像或圖像區(qū)域或圖像塊以生成輸入圖像或圖像區(qū)域或圖像塊的預(yù)測值。[0091]可選的，本申請實施例中訓(xùn)練數(shù)據(jù)集合包括：多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個概率值，以及當前塊的多個后驗候選運動矢量、與多個后驗候選運動矢量對應(yīng)的多個概率值，多個已重建圖像塊是當前塊的空間鄰域和/或時間鄰域中的圖像塊。經(jīng)訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)的輸入為當前塊的周邊區(qū)域中的多個已重建圖像塊各自的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個概率值，輸出為當前塊的多個先驗候選運動矢量、與多個先驗候選運動矢量對應(yīng)的多個概率值。[0092]可選的，本申請實施例中訓(xùn)練數(shù)據(jù)集合包括：多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值，以及當前塊的多個后驗候選運動矢量、與多個后驗候選運動矢量對應(yīng)的多個概率值，多個已重建圖像塊是當前塊的空間鄰域和/或時間鄰域中的圖像塊。經(jīng)訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)的輸入為當前塊的周邊區(qū)域中的多個已重建圖像塊各自的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個預(yù)測誤差值，輸出為當前塊的多個先驗候選運動矢量、與多個先驗候選運動矢量對應(yīng)的多個概率值。[0093]可選的，本申請實施例中訓(xùn)練數(shù)據(jù)集合包括：多組圖像塊的信息，其中每組圖像塊的信息包括多個已重建圖像塊各自的最優(yōu)運動矢量，以及當前塊的多個后驗候選運動矢量、與多個后驗候選運動矢量對應(yīng)的多個概率值，多個已重建圖像塊是當前塊的空間鄰域和/或時間鄰域中的圖像塊。經(jīng)訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)的輸入為當前塊的周邊區(qū)域中的多個已重建圖像塊各自的最優(yōu)運動矢量，輸出為當前塊的多個先驗候選運動矢量、與多個先驗候選運動矢量對應(yīng)的多個概率值。[0094]可選的，本申請實施例中訓(xùn)練數(shù)據(jù)集合包括：多組圖像塊的信息，其中每組圖像塊的信息包括圖像塊的重建值和多個后驗候選運動矢量對應(yīng)的預(yù)測值，以及圖像塊的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個概率值。經(jīng)訓(xùn)練數(shù)據(jù)集合訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)的輸入為當前塊的重建值和多個后驗候選運動矢量對應(yīng)的預(yù)測值，輸出為當前塊的多個后驗運動矢量、與多個后驗運動矢量對應(yīng)的多個概率值。[0095]訓(xùn)練引擎25訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程使得輸出的當前塊的多個先驗候選運動矢量逼近當前塊的多個后驗運動矢量，與多個先驗候選運動矢量對應(yīng)的多個概率值逼近與多個后驗運動矢量對應(yīng)的多個概率值。每個訓(xùn)練過程可以使用64個圖像的小批量大小和1e-4的初始學習率，遵循步長大小為10.多組圖像塊的信息可以是通過編碼器對多個當前塊進行幀間編碼時生成的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)能夠用于實現(xiàn)本申請實施例提供的幀間預(yù)測方法，即，將當前塊的周邊區(qū)域中的多個已重建圖像塊的運動矢量及其相關(guān)信息輸入該神經(jīng)網(wǎng)絡(luò)，可以得到當前塊的多個先驗候選運動矢量以及與多個先驗候選運動矢量對應(yīng)的多個概率值。下文將結(jié)合圖6a-6e詳細說明神經(jīng)網(wǎng)絡(luò)。[0096]本申請實施例中的訓(xùn)練數(shù)據(jù)可以存入數(shù)據(jù)庫(未示意)中，訓(xùn)練引擎25基于訓(xùn)練數(shù)據(jù)訓(xùn)練得到目標模型(例如：可以是用于圖像幀間預(yù)測的神經(jīng)網(wǎng)絡(luò))。需要說明的是，本申請實施例對于訓(xùn)練數(shù)據(jù)的來源不做限定，例如可以是從云端或其他地方獲取訓(xùn)練數(shù)據(jù)進行模型訓(xùn)練。[0097]訓(xùn)練引擎25訓(xùn)練得到的目標模型可以應(yīng)用于譯碼系統(tǒng)10中，例如，應(yīng)用于圖1a所示的源設(shè)備12(例如編碼器20)或目的設(shè)備14(例如解碼器30)。訓(xùn)練引擎25可以在云端訓(xùn)練得到目標模型，然后譯碼系統(tǒng)10從云端下載并使用該目標模型；或者，訓(xùn)練引擎25可以在云端訓(xùn)練得到目標模型并使用該目標模型，譯碼系統(tǒng)10從云端直接獲取處理結(jié)果。例如，訓(xùn)練引擎25訓(xùn)練得到具備幀間預(yù)測功能的目標模型，譯碼系統(tǒng)10從云端下載該目標模型，然后編碼器20中的幀間預(yù)測單元244或解碼器30中的幀間預(yù)測單元344可以根據(jù)該目標模型對輸入的圖像或圖像塊進行幀間預(yù)測，得到圖像或圖像塊的預(yù)測。又例如，訓(xùn)練引擎25訓(xùn)練得到具備幀間預(yù)測功能的目標模型，譯碼系統(tǒng)10無需從云端下載該目標模型，編碼器20或解碼器30將圖像或圖像塊傳輸給云端，由云端通過目標模型對該圖像或圖像塊進行幀間預(yù)測，得到圖像或圖像塊的預(yù)測并傳輸給編碼器20或解碼器30。[0098]盡管圖1a示出了源設(shè)備12和目的設(shè)備14作為獨立的設(shè)備，但設(shè)備實施例也可以同時包括源設(shè)備12和目的設(shè)備14或同時包括源設(shè)備12和目的設(shè)備14的功能，即同時包括源設(shè)備12或?qū)?yīng)功能和目的設(shè)備14或?qū)?yīng)功能。在這些實施例中，源設(shè)備12或?qū)?yīng)功能和目的設(shè)備14或?qū)?yīng)功能可以使用相同硬件和/或軟件或通過單獨的硬件和/或軟件或其任意組合來實現(xiàn)。[0099]根據(jù)描述，圖1a所示的源設(shè)備12和/或目的設(shè)備14中的不同單元或功能的存在和(準確)劃分可能根據(jù)實際設(shè)備和應(yīng)用而有所不同，這對技術(shù)人員來說是顯而易見的。[0100]編碼器20(例如視頻編碼器20)或解碼器30(例如視頻解碼器30)或兩者都可通過如圖1b所示的處理電路實現(xiàn)，例如一個或多個微處理器、數(shù)字信號處理器(digitalsignal處理器或其任意組合。編碼器20可以通過處理電路46實現(xiàn)，以包含參照圖2編碼器20論述的各種模塊和/或本文描述的任何其它編碼器系統(tǒng)或子系統(tǒng)。解碼器30可以通過處理電路46實現(xiàn)，以包含參照圖3解碼器30論述的各種模塊和/或本文描述的任何其它解碼器系統(tǒng)或子系統(tǒng)。所述處理電路46可用于執(zhí)行下文論述的各種操作。如圖5所示，如果部分技術(shù)在軟件中實施，則設(shè)備可以將軟件的指令存儲在合適的非瞬時性計算機可讀存儲介質(zhì)中，并且使用一個或多個處理器在硬件中執(zhí)行指令，從而執(zhí)行本申請技術(shù)。視頻編碼器20和視頻解碼器30中的其中一個可作為組合編解碼器(encoder/decoder,CODEC)的一部分集成在單個設(shè)[0101]源設(shè)備12和目的設(shè)備14可包括各種設(shè)備中的任一種，包括任意類型的手持設(shè)備或容業(yè)務(wù)服務(wù)器或內(nèi)容分發(fā)服務(wù)器)、廣播接收設(shè)備、廣播發(fā)射設(shè)用任意類型的操作系統(tǒng)。在一些情況下，源設(shè)備12和目的設(shè)備14可配備用于無線通信的組[0102]在一些情況下，圖1a所示的視頻譯碼系統(tǒng)10僅僅是示例性的，本申請?zhí)峁┑募夹g(shù)可適用于視頻編碼設(shè)置(例如，視頻編碼或視頻解碼),這些設(shè)置不一定包括編碼設(shè)備與解碼設(shè)備之間的任何數(shù)據(jù)通信。在其它示例中，數(shù)據(jù)從本地存儲器中檢索，通過網(wǎng)絡(luò)發(fā)送，等等。視頻編碼設(shè)備可以對數(shù)據(jù)進行編碼并將數(shù)據(jù)存儲到存儲器中，和/或視頻解碼設(shè)備可以從存儲器中檢索數(shù)據(jù)并對數(shù)據(jù)進行解碼。在一些示例中，編碼和解碼由相互不通信而只是編碼數(shù)據(jù)到存儲器和/或從存儲器中檢索并解碼數(shù)據(jù)的設(shè)備來執(zhí)行。[0103]圖1b為本申請實施例的視頻譯碼系統(tǒng)40的示例性框圖，如圖1b所示，視頻譯碼系統(tǒng)40可以包含成像設(shè)備41、視頻編碼器20、視頻解碼器30(和/或藉由處理電路46實施的視頻編/解碼器)、天線42、一個或多個處理器43、一個或多個內(nèi)存存儲器44和/或顯示設(shè)備45。些實例中，顯示設(shè)備45可以用于呈現(xiàn)視頻數(shù)據(jù)。處理電路46可以包含專用集成電路頻譯碼系統(tǒng)40也可以包含可選的處理器43,該可選處理器43類似地可以包含專用集成電路器(staticrandomaccessm頻編碼器20,以實施參照圖2和/或本文中所描述的任何其它編碼器系統(tǒng)或子系統(tǒng)所論述的圖3的視頻解碼器30和/或本文中所描述的任何其它解碼器系統(tǒng)或子系統(tǒng)所論述的各種模通信耦合至圖像緩沖器。圖形處理單元可以包含通過處理電路46實施的視頻解碼器30,以ITU-T視頻編碼專家組(videocodingexpertsgroup,VCEG)和ISO/IEC運動圖像專家組(motionpictureexpertsgroup,MPEG)的視頻編碼聯(lián)合工作組(jointcollaborationteamonvideocoding,JCT-VC)開發(fā)的高性能視頻編碼(high-efficiencyvideo[0111]編碼器和編碼方法[0112]圖2為本申請實施例的視頻編碼器20的示例性框圖。如圖2所示，視頻編碼器20包括輸入端(或輸入接口)201、殘差計算單元204、變換處理單元206、量化單元208、反量化單元210、逆變換處理單元212、重建單元214、環(huán)路濾波器220、解碼圖像緩沖器(decodedpicturebuffer,DPB)230、模式選擇單元260、熵編碼單元270和輸出端(或輸出接口)272。模式選擇單元260可包括幀間預(yù)測單元244、幀內(nèi)預(yù)測單元254和分割單元262。幀間預(yù)測單元244可包括運動估計單元和運動補償單元(未示出)。圖2所示的視頻編碼器20也可稱為混合型視頻編碼器或基于混合型視頻編解碼器的視頻編碼器。[0113]參見圖2,幀間預(yù)測單元為經(jīng)過訓(xùn)練的目標模型(亦稱為神經(jīng)網(wǎng)絡(luò)),該神經(jīng)網(wǎng)絡(luò)用于處理輸入圖像或圖像區(qū)域或圖像塊，以生成輸入圖像塊的預(yù)測值。例如，用于幀間預(yù)測的神經(jīng)網(wǎng)絡(luò)用于接收輸入的圖像或圖像區(qū)域或圖像塊，并且生成輸入的圖像或圖像區(qū)域或圖像塊的預(yù)測值。下面將結(jié)合圖6a-圖6e詳細地描述用于幀間預(yù)測的神經(jīng)網(wǎng)絡(luò)。[0114]殘差計算單元204、變換處理單元206、量化單元208和模式選擇單元260組成編碼路濾波器220、解碼圖像緩沖器(decodedpicturebuffer,DPB)230、幀間預(yù)測單元244和幀內(nèi)預(yù)測單元254組成編碼器的后向信號路徑，其中編碼器20的后向信號路徑對應(yīng)于解碼器的信號路徑(參見圖3中的解碼器30)。反量化單元210、逆變換處理單元212、重建單元214、環(huán)路濾波器220、解碼圖像緩沖器230、幀間預(yù)測單元244和幀內(nèi)預(yù)測單元254還組成視頻編[0115]圖像和圖像分割(圖像和塊)[0116]編碼器20可用于通過輸入端201等接收圖像(或圖像數(shù)據(jù))17,例如，形成視頻或視頻序列的圖像序列中的圖像。接收的圖像或圖像數(shù)據(jù)也可以是預(yù)處理后的圖像(或預(yù)處理后的圖像數(shù)據(jù))19.為簡單起見，以下描述使用圖像17。圖像17也可稱為當前圖像或待編碼的圖像(尤其是在視頻編碼中將當前圖像與其它圖像區(qū)分開時，其它圖像例如同一視頻序列，即也包括當前圖像的視頻序列，中的之前編碼后圖像和/或解碼后圖像)。[0117](數(shù)字)圖像為或可以視為具有強度值的像素點組成的二維陣列或矩陣。陣列中的像素點也可以稱為像素(pixel或pel)(圖像元素的簡稱)。陣列或圖像在水平方向和垂直方向(或軸線)上的像素點數(shù)量決定了圖像的大小和/或分辨率。為了表示顏色，通常采用三個顏色分量，即圖像可以表示為或包括三個像素點陣列。在RBG格式或顏色空間中，圖像包括對應(yīng)的紅色、綠色和藍色像素點陣列。但是，在視頻編碼中，每個像素或顏色空間表示，例如YCbCr,包括Y指示的亮度分量(有時也用L表示)以及Cb、Cr表示的兩個色度分量。亮度(luma)分量Y表示亮度或灰度水平強度(例如，在灰度等級圖像中兩者相同),而兩個色度(chrominance,簡寫為chroma)分量Cb和Cr表示色度或顏色信息分量。相應(yīng)地，YCbCr格式的圖像包括亮度像素點值(Y)的亮度像素點陣列和色度值(Cb和Cr)的兩個色度像素點陣列。RGB格式的圖像可以轉(zhuǎn)換或變換為YCbCr格式，反之亦然，該過程也稱為顏色變換或轉(zhuǎn)換。如果圖像是黑白的，則該圖像可以只包括亮度像素點陣列。相應(yīng)地，圖像可以為例如單色格式的亮度像素點陣列或4:2:0、4:2:2和4:4:4彩色格式的亮度像素點陣列和兩個相應(yīng)的色度像素點陣列。[0118]在一個實施例中，視頻編碼器20的實施例可包括圖像分割單元(圖2中未示出),用于將圖像17分割成多個(通常不重疊)圖像塊203。這些塊在H.265/HEVC和VVC標準中也可以稱為根塊、宏塊(H.264/AVC)或編碼樹塊(codingtreeblock,CTB),或編碼樹單元(codingtreeunit,CTU)。分割單元可用于對視頻序列中的所有圖像使用相同的塊大小和使用限定塊大小的對應(yīng)網(wǎng)格，或在圖像或圖像子集或圖像組之間改變塊大小，并將每個圖像分割成對應(yīng)塊。[0119]在其它實施例中，視頻編碼器可用于直接接收圖像17的塊203,例如，組成所述圖像17的一個、幾個或所有塊。圖像塊203也可以稱為當前圖像塊或待編碼圖像塊。[0120]與圖像17一樣，圖像塊203同樣是或可認為是具有強度值(像素點值)的像素點組成的二維陣列或矩陣，但是圖像塊203的比圖像17的小。換句話說，塊203可包括一個像素點陣列(例如，單色圖像17情況下的亮度陣列或彩色圖像情況下的亮度陣列或色度陣列)或三個像素點陣列(例如，彩色圖像17情況下的一個亮度陣列和兩個色度陣列)或根據(jù)所采用的顏色格式的任何其它數(shù)量和/或類型的陣列。塊203的水平方向和垂直方向(或軸線)上的像素點數(shù)量限定了塊203的大小。相應(yīng)地，塊可以為M×N(M列×N行)個像素點變換系數(shù)陣列等。[0121]在一個實施例中，圖2所示的視頻編碼器20用于逐塊對圖像17進行編碼，例如，對每個塊203執(zhí)行編碼和預(yù)測。[0122]在一個實施例中，圖2所示的視頻編碼器20還可以用于使用片(也稱為視頻片)分割和/或編碼圖像，其中圖像可以使用一個或多個片(通常為不重疊的)進行分割或編碼。每個片可包括一個或多個塊(例如，編碼樹單元CTU)或一個或多個塊組(例如H.265/HEVC/VVC標準中的編碼區(qū)塊(tile)和VVC標準中的磚(brick)。[0123]在一個實施例中，圖2所示的視頻編碼器20還可以用于使用片/編碼區(qū)塊組(也稱為視頻編碼區(qū)塊組)和/或編碼區(qū)塊(也稱為視頻編碼區(qū)塊)對圖像進行分割和/或編碼，其中圖像可以使用一個或多個片/編碼區(qū)塊組(通常為不重疊的)進行分割或編碼，每個片/編碼區(qū)塊組可包括一個或多個塊(例如CTU)或一個或多個編碼區(qū)塊等，其中每個編碼區(qū)塊可以為矩形等形狀，可包括一個或多個完整或部分塊(例如CTU)。[0125]殘差計算單元204用于通過如下方式根據(jù)圖像塊(或原始塊)203和預(yù)測塊265來計算殘差塊205(后續(xù)詳細介紹了預(yù)測塊265):例如，逐個像素點(逐個像素)從圖像塊203的像素點值中減去預(yù)測塊265的像素點值，得到像素域中的殘差塊205。[0127]變換處理單元206用于對殘差塊205的像素點值執(zhí)行離散余弦變換(discretecosinetransform,DCT)或離散正弦變換(discretesinetransform,DST)等，得到變換域中的變換系數(shù)207。變換系數(shù)207也可稱為變換殘差系數(shù)，表示變換域中的殘差塊205。[0128]變換處理單元206可用于應(yīng)用DCT/DST的整數(shù)化近似，例如為H.265/HEVC指定的變換。與正交DCT變換相比，這種整數(shù)化近似通常由某一因子按比例縮放。為了維持經(jīng)過正變換和逆變換處理的殘差塊的范數(shù)，使用其它比例縮放因子作為變換過程的一部分。比例縮放因子通常是根據(jù)某些約束條件來選擇的，例如比例縮放因子是用于移位運算的2的冪、變換系數(shù)的位深度、準確性與實施成本之間的權(quán)衡等。例如，在編碼器20側(cè)通過逆變換處理單元212為逆變換(以及在解碼器30側(cè)通過例如逆變換處理單元312為對應(yīng)逆變換)指定具體的比例縮放因子，以及相應(yīng)地，可以在編碼器20側(cè)通過變換處理單元206為正變換指定對應(yīng)比例縮放因子。[0129]在一個實施例中，視頻編碼器20(對應(yīng)地，變換處理單元206)可用于輸出一種或多種變換的類型等變換參數(shù)，例如，直接輸出或由熵編碼單元270進行編碼或壓縮后輸出，例如使得視頻解碼器30可接收并使用變換參數(shù)進行解碼。[0131]量化單元208用于通過例如標量量化或矢量量化對變換系數(shù)207進行量化，得到量化變換系數(shù)209。量化變換系數(shù)209也可稱為量化殘差系數(shù)209。[0132]量化過程可減少與部分或全部變換系數(shù)207有關(guān)的位深度。例如，可在量化期間將n位變換系數(shù)向下舍入到m位變換系數(shù)，其中n大于m?？赏ㄟ^調(diào)整量化參數(shù)(quantizationparameter,QP)修改量化程度。例如，對于標量量化，可以應(yīng)用不同程度的比例來實現(xiàn)較細或較粗的量化。較小量化步長對應(yīng)較細量化，而較大量化步長對應(yīng)較粗量化?？赏ㄟ^量化參數(shù)(quantizationparameter,QP)指示合適的量化步長。例如，量化參數(shù)可以為合適的量化步長的預(yù)定義集合的索引。例如，較小的量化參數(shù)可對應(yīng)精細量化(較小量化步長),較大的量化參數(shù)可對應(yīng)粗糙量化(較大量化步長),反之亦然。量化可包括除以量化步長，而反量化單元210等執(zhí)行的對應(yīng)或逆解量化可包括乘以量化步長。根據(jù)例如HEVC一些標準的實施例可用于使用量化參數(shù)來確定量化步長。一般而言，可以根據(jù)量化參數(shù)使用包含除法的等式的定點近似來計算量化步長?？梢砸肫渌壤s放因子來進行量化和解量化，以恢復(fù)可能由于在用于量化步長和量化參數(shù)的等式的定點近似中使用的比例而修改的殘差塊的范數(shù)。在一種示例性實現(xiàn)方式中，可以合并逆變換和解量化的比例。或者，可以使用自定義量化表并在比特流中等將其從編碼器向解碼器指示。量化是有損操作，其中量化步長越大，損耗越大。[0133]在一個實施例中，視頻編碼器20(對應(yīng)地，量化單元208)可用于輸出量化參數(shù)(quantizationparameter,QP),例如，直接輸出或由熵編碼單元270進行編碼或壓縮后輸出，例如使得視頻解碼器30可接收并使用量化參數(shù)進行解碼。[0135]反量化單元210用于對量化系數(shù)執(zhí)行量化單元208的反量化，得到解量化系數(shù)211,例如，根據(jù)或使用與量化單元208相同的量化步長執(zhí)行與量化單元208所執(zhí)行的量化方案的反量化方案。解量化系數(shù)211也可稱為解量化殘差系數(shù)211,對應(yīng)于變換系數(shù)207,但是由于量化造成損耗，反量化系數(shù)211通常與變換系數(shù)不完全相同。[0137]逆變換處理單元212用于執(zhí)行變換處理單元206執(zhí)行的變換的逆變換，例如，逆離散余弦變換(discretecosinetransform,DCT)或逆離散正弦變換(discretesinetransform,DST),以在像素域中得到重建殘差塊213(或?qū)?yīng)的解量化系數(shù)213)。重建殘差塊213也可稱為變換塊213。[0139]重建單元214(例如，求和器214)用于將變換塊213(即重建殘差塊213)添加到預(yù)測塊265,以在像素域中得到重建塊215,例如，將重建殘差塊213的像素點值和預(yù)測塊265的像素點值相加。[0141]環(huán)路濾波器單元220(或簡稱“環(huán)路濾波器”220)用于對重建塊215進行濾波，得到濾波塊221,或通常用于對重建像素點進行濾波以得到濾波像素點值。例如，環(huán)路濾波器單元用于順利進行像素轉(zhuǎn)變或提高視頻質(zhì)量。環(huán)路濾波器單元220可包括一個或多個環(huán)路濾波器，例如去塊濾波器、像素點自適應(yīng)偏移(sample-adaptiveoffset,SAO)濾波器或一個或多個其它濾波器，例如自適應(yīng)環(huán)路濾波器(adaptiveloopfilter,ALF)、噪聲抑制濾波器(noisesuppressionfilter,NSF)或任意組合。例如，環(huán)路濾波器單元220可以包括去塊器。再例如，增加一個稱為具有色度縮放的亮度映射(lumamappingwithchromascaling,LMCS)(即自適應(yīng)環(huán)內(nèi)整形器)的過程。該過程在去塊之前執(zhí)行。再例如，去塊濾波過程也可以應(yīng)用于內(nèi)部子塊邊緣，例如仿射子塊邊緣、ATMVP子塊邊緣、子塊變換(sub-blocktransform,SBT)邊緣和內(nèi)子部分(intrasub-partition,ISP)邊緣。盡管環(huán)路濾波器單元220在圖2中示為環(huán)路濾波器，但在其它配置中，環(huán)路濾波器單元220可以實現(xiàn)為環(huán)后濾波器。濾波塊221也可稱為濾波重建塊221。[0142]在一個實施例中，視頻編碼器20(對應(yīng)地，環(huán)路濾波器單元220)可用于輸出環(huán)路濾波器參數(shù)(例如SAO濾波參數(shù)、ALF濾波參數(shù)或LMCS參數(shù)),例如，直接輸出或由熵編碼單元270進行熵編碼后輸出，例如使得解碼器30可接收并使用相同或不同的環(huán)路濾波器參數(shù)進行解碼。[0143]解碼圖像緩沖器[0144]解碼圖像緩沖器(decodedpicturebuffer,DPB)230可以是存儲參考圖像數(shù)據(jù)以供視頻編碼器20在編碼視頻數(shù)據(jù)時使用的參考圖像存儲器。DPB230可以由多種存儲器設(shè)備中的任一種形成，例如動態(tài)隨機存取存儲器(dynamicrandomaccessmemory,DRAM),包(resistiveRAM,RRAM)或其它類型的存儲設(shè)備。解碼圖像緩沖器230可用于存儲一個或多個濾波塊221。解碼圖像緩沖器230還可用于存儲同一當前圖像或例如之前的重建圖像等不同圖像的其它之前的濾波塊，例如之前重建和濾波的塊221,并可提供完整的之前重建即解碼圖像(和對應(yīng)參考塊和像素點)和/或部分重建的當前圖像(和對應(yīng)參考塊和像素點),例如用于幀間預(yù)測。解碼圖像緩沖器230還可用于存儲一個或多個未經(jīng)濾波的重建塊215,或一般存儲未經(jīng)濾波的重建像素點，例如，未被環(huán)路濾波單元220濾波的重建塊215,或未進行任何其它處理的重建塊或重建像素點。[0145]模式選擇(分割和預(yù)測)[0146]模式選擇單元260包括分割單元262、幀間預(yù)測單元244和幀內(nèi)預(yù)測單元254,用于從解碼圖像緩沖器230或其它緩沖器(例如，列緩沖器，圖中未顯示)接收或獲得原始塊203(當前圖像17的當前塊203)和重建圖像數(shù)據(jù)等原始圖像數(shù)據(jù)，例如，同一(當前)圖像和/或一個或多個之前解碼圖像的濾波和/或未經(jīng)濾波的重建像素點或重建塊。重建圖像數(shù)據(jù)用作幀間預(yù)測或幀內(nèi)預(yù)測等預(yù)測所需的參考圖像數(shù)據(jù)，以得到預(yù)測塊265或預(yù)測值265。[0147]模式選擇單元260可用于為當前塊(包括不分割)和預(yù)測模式(例如幀內(nèi)或幀間預(yù)測模式)確定或選擇一種分割，生成對應(yīng)的預(yù)測塊265,以對殘差塊205進行計算和對重建塊215進行重建。[0148]在一個實施例中，模式選擇單元260可用于選擇分割和預(yù)測模式(例如，從模式選擇單元260支持的或可用的預(yù)測模式中),所述預(yù)測模式提供最佳匹配或者說最小殘差(最小殘差是指傳輸或存儲中更好的壓縮),或者提供最小信令開銷(最小信令開銷是指傳輸或存儲中更好的壓縮),或者同時考慮或平衡以上兩者。模式選擇單元260可用于根據(jù)碼率失真優(yōu)化(ratedistortionOptimization,RDO)確定分割和預(yù)測模式，即選擇提供最小碼率可能導(dǎo)致“次優(yōu)選擇”,但會降低復(fù)雜度和處理時間。[0149]換言之，分割單元262可用于將視頻序列中的圖像分割為編碼樹單元(codingtreeunit,CTU)序列，CTU203可進一步被分割成較小的塊部分或子塊(再次形成塊),例如，通過迭代使用四叉樹(quad-treepartitioning,QT)分割、二叉樹(binary-treepartitioning,BT)分割或三叉樹(triple-treepartitioning,TT)分割或其任意組合，并且用于例如對塊部分或子塊中的每一個執(zhí)行預(yù)測，其中模式選擇包括選擇分割塊203的樹結(jié)構(gòu)和選擇應(yīng)用于塊部分或子塊中的每一個的預(yù)測模式。[0150]下文將詳細地描述由視頻編碼器20執(zhí)行的分割(例如，由分割單元262執(zhí)行)和預(yù)測處理(例如，由幀間預(yù)測單元244和幀內(nèi)預(yù)測單元254執(zhí)行)。[0152]分割單元262可將一個圖像塊(或CTU)203分割(或劃分)為較小的部分，例如正方兩個對應(yīng)的色度像素點塊組成。CTU中亮度塊的最大允許大小在正在開發(fā)的通用視頻編碼(versatilevideocoding,VVC)標準中被指定為128×128,但是將來可指定為不同于128個編碼區(qū)塊覆蓋著一個圖像的矩形區(qū)域，一個編碼區(qū)塊可以分成一個或多個磚。一個磚由一個編碼區(qū)塊內(nèi)的多個CTU行組成。沒有分割為多個磚的編碼區(qū)塊可以稱為磚。但是，磚是編碼區(qū)塊的真正子集，因此不稱為編碼區(qū)塊。VVC支持兩種編碼區(qū)塊組模式，分別為光柵掃描片/編碼區(qū)塊組模式和矩形片模式。在光柵掃描編碼區(qū)塊組模式，一個片/編碼區(qū)塊組包含一個圖像的編碼區(qū)塊光柵掃描中的編碼區(qū)塊序列。在矩形片模式中，片包含一個圖像的多個磚，這些磚共同組成圖像的矩形區(qū)域。矩形片內(nèi)的磚按照片的磚光柵掃描順序排列。這些較小塊(也可稱為子塊)可進一步分割為更小的部分。這也稱為樹分割或分層樹分割，其中在根樹級別0(層次級別0、深度0)等的根塊可以遞歸地分割為兩個或兩個以上下一個較低樹級別的塊，例如樹級別1(層次級別1、深度1)的節(jié)點。這些塊可以又分割為兩個或兩個以上下一個較低級別的塊，例如樹級別2(層次級別2、深度2)等，直到分割結(jié)束(因為滿足結(jié)束標準，例如達到最大樹深度或最小塊大小)。未進一步分割的塊也稱為樹的葉塊或葉節(jié)點。分割為兩個部分的樹稱為二叉樹(binary-tree,BT),分割為三個部分的樹稱為三叉樹(ternary-tree,TT),分割為四個部分的樹稱為四叉樹(quad-tree,QT)。[0153]例如，編碼樹單元(CTU)可以為或包括亮度像素點的CTB、具有三個像素點陣列的圖像的色度像素點的兩個對應(yīng)CTB、或單色圖像的像素點的CTB或使用三個獨立顏色平面和語法結(jié)構(gòu)(用于編碼像素點)編碼的圖像的像素點的CTB。相應(yīng)地，編碼樹塊(CTB)可以為N×N個像素點塊，其中N可以設(shè)為某個值使得分量劃分為CTB,這就是分割。編碼單元(codingunit,CU)可以為或包括亮度像素點的編碼塊、具有三個像素點陣列的圖像的色度像素點的兩個對應(yīng)編碼塊、或單色圖像的像素點的編碼塊或使用三個獨立顏色平面和語法結(jié)構(gòu)(用于編碼像素點)編碼的圖像的像素點的編碼塊。相應(yīng)地，編碼塊(CB)可以為M×N個像素點塊，其中M和N可以設(shè)為某個值使得CTB劃分為編碼塊，這就是分割。[0154]例如，在實施例中，根據(jù)HEVC可通過使用表示為編碼樹的四叉樹結(jié)構(gòu)將編碼樹單元(CTU)劃分為多個CU。在葉CU級作出是否使用幀間(時間)預(yù)測或幀內(nèi)(空間)預(yù)測對圖像個PU內(nèi)使用相同的預(yù)測過程，并以PU為單位向解碼器傳輸相關(guān)信息。在根據(jù)PU劃分類型應(yīng)用預(yù)測過程得到殘差塊之后，可以根據(jù)類似于用于CU的編碼樹的其它四叉樹結(jié)構(gòu)將葉CU分割為變換單元(TU)。[0155]例如，在實施例中，根據(jù)當前正在開發(fā)的最新視頻編碼標準(稱為通用視頻編碼(VVC),使用嵌套多類型樹(例如二叉樹和三叉樹)的組合四叉樹來劃分用于分割編碼樹單元的分段結(jié)構(gòu)。在編碼樹單元內(nèi)的編碼樹結(jié)構(gòu)中，CU可以為正方形或矩形。例如，編碼樹單元(CTU)首先由四叉樹結(jié)構(gòu)進行分割。四叉樹葉節(jié)點進一步由多類型樹結(jié)構(gòu)分割。多類型樹形結(jié)構(gòu)有四種劃分類型：垂直二叉樹劃分(SPLIT_BT_VER)、水平二叉樹劃分(SPLIT_BT_點稱為編碼單元(CU),除非CU對于最大變換長度而言太大，這樣的分段用于預(yù)測和變換處理，無需其它任何分割。在大多數(shù)情況下，這表示CU、PU和TU在四叉樹嵌套多類型樹的編碼塊結(jié)構(gòu)中的塊大小相同。當最大支持變換長度小于CU的彩色分量的寬度或高度時，就會出現(xiàn)該異常。VVC制定了具有四叉樹嵌套多類型樹的編碼結(jié)構(gòu)中的分割劃分信息的唯一信令機制。在信令機制中，編碼樹單元(CTU)作為四叉樹的根首先被四叉樹結(jié)構(gòu)分割。然后每個四叉樹葉節(jié)點(當足夠大可以被)被進一步分割為一個多類型樹結(jié)構(gòu)。在多類型樹結(jié)構(gòu)中，通過第一標識(mtt_split_cu_flag)指示節(jié)點是否進一步分割，當對節(jié)點進一步分割時，先用第二標識(mtt_split_cu_vertical_flag)指示劃分方向，再用第三標識(mtt_split_cu_binary_flag)指示劃分是二叉樹劃分或三叉樹劃分。根據(jù)mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，解碼器可以基于預(yù)定義規(guī)則或表格推導(dǎo)出CU的多類型樹劃分模式(MttSplitMode)。需要說明的是，對于某種設(shè)計，例如VVC硬件解碼器中的64×64的亮度塊和32×32的色度流水線設(shè)計，當亮度編碼塊的寬度或高度大于64時，不允許進行TT劃分。當色度編碼塊的寬度或高度大于32時，也不允許TT劃分。流水線設(shè)計將圖像分為多個虛擬流水線數(shù)據(jù)單元(virtualpipelinedataunit,VPDU),每個VPDU在圖像中定義為(TT)和二叉樹(BT)的分割可能會增加VPDU的大小。[0156]另外，需要說明的是，當樹節(jié)點塊的一部分超出底部或圖像右邊界時，強制對該樹節(jié)點塊進行劃分，直到每個編碼CU的所有像素點都位于圖像邊界內(nèi)。[0157]例如，所述幀內(nèi)子分割(intrasub-partitions,ISP)工具可以根據(jù)塊大小將亮度幀內(nèi)預(yù)測塊垂直或水平地分為兩個或四個子部分。[0158]在一個示例中，視頻編碼器20的模式選擇單元260可以用于執(zhí)行上文描述的分割技術(shù)的任意組合。[0159]如上所述，視頻編碼器20用于從(預(yù)定的)預(yù)測模式集合中確定或選擇最好或最優(yōu)的預(yù)測模式