CN120263970A 從合并數據語法移除冗余語法的方法和裝置 (Lg 電子株式會社)_第1頁
CN120263970A 從合并數據語法移除冗余語法的方法和裝置 (Lg 電子株式會社)_第2頁
CN120263970A 從合并數據語法移除冗余語法的方法和裝置 (Lg 電子株式會社)_第3頁
CN120263970A 從合并數據語法移除冗余語法的方法和裝置 (Lg 電子株式會社)_第4頁
CN120263970A 從合并數據語法移除冗余語法的方法和裝置 (Lg 電子株式會社)_第5頁
已閱讀5頁,還剩89頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

HO4N19/184(2014.01)HO4N19/513(2014.01)責任公司11219從合并數據語法移除冗余語法的方法和裝置本公開涉及從合并數據語法移除冗余語法的關于預測模式的信息來確定當前塊的預測模包括關于表示組合的圖片間合并和圖片內預測步驟可以包括基于CIIP21.一種用于圖像解碼的解碼設備,所述解碼設備包括:至少一個處理器,所述至少一個處理器被連接到所述存儲器,所述至少一個處理器被配置為:基于從比特流獲得的關于預測模式的信息,確定當前塊的預測模式;基于所述預測模式,配置合并候選列表;基于所述合并候選列表,推導所述當前塊的運動信息;以及基于所述運動信息,生成所述當前塊的預測樣本,其中,所述比特流包括關于表示組合的圖片間合并和圖片內預測(CIIP)是否被啟用的CIIP啟用標志的信息,其中,所述確定包括基于所述CIIP啟用標志從所述比特流獲得常規(guī)合并標志,以及其中,所述當前塊的預測模式基于所述常規(guī)合并標志來確定。2.一種用于圖像編碼的編碼設備,所述編碼設備包括:至少一個處理器,所述至少一個處理器被連接到所述存儲器,所述至少一個處理器被配置為:確定當前塊的預測模式;基于所述預測模式,配置合并候選列表;基于所述合并候選列表,推導所述當前塊的運動信息;基于所述運動信息,推導所述當前塊的預測樣本;對包括基于所述預測模式生成的關于所述預測模式的信息和基于所述殘差樣本生成的殘差信息的圖像信息進行編碼,其中,所述圖像信息包括關于表示組合的圖片間合并和圖片內預測(CIIP)是否被啟用的CIIP啟用標志的信息,其中,所述當前塊的預測模式被配置為基于所述常規(guī)合并標志來確定。3.一種用于發(fā)送圖像的數據的設備,所述設備包括:獲得比特流,其中所述比特流是通過以下被生成:確定當前塊的預測模式,基于所述預測模式配置合并候選列表,基于所述合并候選列表推導所述當前塊的運動信息,基于所述運動信息推導所述當前塊的預測樣本,基于所述預測樣本推導殘差樣本,以及通過對包括基于所述預測模式生成的關于所述預測模式的信息和基于所述殘差樣本生成的殘差信息的圖像信息進行編碼來生成所述比發(fā)送包括所述比特流的所述數據,其中,所述圖像信息包括關于表示組合的圖片間合并和圖片內預測(CIIP)是否被啟用的CIIP啟用標志的信息,3其中,基于所述CIIP啟用標志,所述圖像信息包括常規(guī)合并標志,以及其中,所述當前塊的預測模式被配置為基于所述常規(guī)合并標志來確定。4從合并數據語法移除冗余語法的方法和裝置[0001]本申請是2021年12月21日提交的國際申請日為2020年6月23日的申請?zhí)枮?02080045511.9(PCT/KR2020/008154)的,發(fā)明名稱為“從合并數據語法移除冗余語法的方法和裝置”的專利申請的分案申請。技術領域[0002]該技術涉及用于在視頻/圖像編譯系統(tǒng)中從合并數據語法移除冗余語法的方法和設備。背景技術[0003]最近,在各種領域中對諸如4K或8K超高清(UHD)圖像/視頻的高分辨率、高質量圖像/視頻的需求不斷增加。隨著圖像/視頻分辨率或質量變得更高,與傳統(tǒng)圖像/視頻數據相比發(fā)送相對更多的信息或比特。因此,如果圖像/視頻數據經由諸如現(xiàn)有有線/無線寬帶線路的介質被發(fā)送或被存儲在傳統(tǒng)存儲介質中,則傳輸和存儲的成本容易增加。[0004]此外,對虛擬現(xiàn)實(VR)和人工現(xiàn)實(AR)內容以及諸如全息圖的沉浸式媒體的興趣和需求日益增長;并且表現(xiàn)出與實際圖像/視頻不同的圖像/視頻特性的圖像/視頻(例如,游戲圖像/視頻)的廣播也日益增長。[0005]因此,需要高效的圖像/視頻壓縮技術來有效地壓縮并發(fā)送、存儲或播放如上所述顯示出各種特性的高分辨率、高質量圖像/視頻。發(fā)明內容[0006]技術問題[0007]本公開的一個方面提供一種用于增強圖像編譯效率的方法和設備。[0008]本公開的另一個方面提供一種用于有效地執(zhí)行幀間預測的方法和設備。[0009]本公開的又一個方面提供一種用于在幀間預測期間移除不必要信令的方法和設[0010]本公開的又一個方面提供一種用于在幀間預測期間有效地用信號通知關于合并模式的信息的方法和設備。[0011]本文檔的又一個方面提供一種用于從合并數據語法移除冗余語法的方法和設備。[0012]技術方案[0013]根據本文檔的實施例,一種由解碼設備執(zhí)行的解碼方法包括:基于從比特流獲得的關于預測模式的信息,確定當前塊的預測模式;基于預測模式配置合并候選列表;基于合并候選列表推導當前塊的運動信息;以及基于運動信息生成當前塊的預測樣本,其中比特流包括關于指示組合的圖片間合并和圖片內預測(CIIP)是否可用的CIIP可用性標志的信息,以及其中所述確定包括基于所述CIIP可用性標志從所述比特流獲得常規(guī)合并標志。[0014]根據本文檔的實施例,一種由編碼設備執(zhí)行的編碼方法包括:確定當前塊的預測模式;基于預測模式配置合并候選列表;基于合并候選列表推導當前塊的運動信息;基于運5動信息推導當前塊的預測樣本;基于預測樣本推導殘差樣本;以及對包括基于預測模式生成的關于預測模式的信息和基于殘差樣本生成的殘差信息的圖像信息進行編碼,其中圖像信息包括關于指示CIIP是否可用的CIIP可用性標志,以及其中圖像信息包括基于CIIP可用性標志的常規(guī)合并標志。[0015]根據本文檔的又一實施例,提供一種計算機可讀數字存儲介質,其包含使解碼設備執(zhí)行解碼方法的信息,所述解碼方法包括:基于從比特流獲得的關于預測模式的信息確定當前塊的預測模式;基于預測模式配置合并候選列表;基于合并候選列表推導當前塊的運動信息;以及基于運動信息生成當前塊的預測樣本,其中比特流包括關于指示組合的圖片間合并和圖片內預測(CIIP)是否可用的CIIP可用性標志的信息,以及其中所述確定包括基于CIIP可用性標志從比特流獲得常規(guī)合并標志。[0016]有益效果[0017]根據本公開的實施例,可以增強整體圖像/視頻壓縮效率。[0018]根據本公開的實施例,可以有效地執(zhí)行幀間預測。[0019]根據本公開的實施例,可以在幀間預測期間有效地移除不必要的語法的信令。[0020]根據本公開的實施例,可以在幀間預測期間有效地用信號通知關于合并模式的信[0021]根據本公開的實施例,可以從合并數據語法中移除冗余語法。附圖說明[0022]圖1示意性地圖示可應用本公開的實施例的視頻/圖像編譯系統(tǒng)的示例。[0023]圖2是示意性地描述可應用本公開的實施例的視頻/圖像編碼設備的配置的圖。[0024]圖3是示意性地描述可應用本公開的實施例的視頻/圖像解碼設備的配置的圖。[0025]圖4是示意性地表示編碼設備中的幀間預測器的圖。[0026]圖5是示意性地表示解碼設備中的幀間預測器的圖。[0027]圖6是圖示可以用于幀間預測的空間候選的圖。[0028]圖7是圖示可以用于幀間預測的時間候選的圖。[0029]圖8是圖示可以在幀間預測中使用的基于子塊的時間運動向量預測處理的圖。[0030]圖9是圖示可以應用于幀間預測的分區(qū)模式的圖。[0031]圖10和11示意性地表示根據本文檔的實施例的包括幀間預測方法的視頻/圖像編碼方法的示例以及相關聯(lián)的組件。[0032]圖12和13示意性地表示根據本文檔的實施例的包括幀間預測方法的視頻/圖像解碼方法的示例以及相關聯(lián)的組件。[0033]圖14圖示可以應用本公開中所公開的實施例的內容流系統(tǒng)的示例。具體實施方式[0034]可以各種形式修改本文檔的公開,并且將在附圖中描述和圖示其具體實施例。然而,實施例不是為了限制本公開。在該文檔中使用的術語僅用于描述具體實施例,而不是要限制本文檔的實施例。單數的表達包括復數的表達,只要它不被清楚地不同地理解。諸如6組合,并且因此應當理解,不排除存在或添加一個或多個不同特征、數量、步驟、操作、元素、組件或其組合的可能性。[0035]同時,本文檔中描述的附圖的每個配置是用于便于描述作為彼此不同的特征的功能的獨立圖示,并且不意味著每個配置由相互不同的硬件或不同的軟件實現(xiàn)。例如,可以將兩種或更多種配置組合以形成一種配置,并且還可以將一種配置分成多種配置。在不脫離本公開的主旨的情況下,組合和/或分離配置的實施例包括在本文檔的公開的范圍內。B”,并且表達“A、B”被解釋為“A和/或B”。另外,表達“A/B/C”意指“A、B和/或C中的至少一[0037]此外,在本文檔中,術語“或”應解釋為“和/或”。例如,表達“A或B”可以意指1)僅“A”,2)僅“B”,和/或3)“A和B這兩者”。換句話說,本文檔中的術語“或”可以意指“附加地或[0038]本文檔涉及視頻/圖像編譯。例如,本文檔中公開的方法/實施例可以應用于在通用視頻編譯(VVC)標準中公開的方法。此外,本文檔中公開的方法/實施例可以應用于基本視頻編譯(EVC)標準、AOMedia視頻1(AV1)標準、第2代音頻視頻編譯標準(AVS2)或下一代視頻/圖像編譯標準(例如,H.267、H.268等)中公開的方法。[0039]本文檔提出視頻/圖像編譯的各種實施例,并且除非另外指定,否則也可以彼此組合地執(zhí)行上述實施例。[0040]在下文中,將參考附圖詳細描述本實施例的示例。另外,在所有附圖中,相同的附圖標記用于指示相同的元件,并且將省略對相同元件的相同描述。[0041]圖1圖示可以應用本公開的實施例的視頻/圖像編譯系統(tǒng)的示例。[0042]參照圖1,視頻/圖像編譯系統(tǒng)可以包括源裝置和接收裝置。源裝置可以通過數字存儲介質或網絡將編碼的視頻/圖像信息或數據以文件或流的形式傳送至接收裝置。[0043]源裝置可以包括視頻源、編碼設備和發(fā)送器。接收裝置可以包括接收器、解碼設備和渲染器。編碼設備可以被稱為視頻/圖像編碼設備,并且解碼設備可以被稱為視頻/圖像解碼設備。發(fā)送器可以被包括在編碼設備中。接收器可以被包括在解碼設備中。渲染器可以包括顯示器,并且顯示器可以被配置為單獨的裝置或外部組件。[0044]視頻源可以通過捕獲、合成或生成視頻/圖像的處理來獲取視頻/圖像。視頻源可以包括視頻/圖像捕獲裝置,和/或視頻/圖像生成裝置。例如,視頻/圖像捕獲裝置可以包括一個或更多個相機、包括先前捕獲的視頻/圖像的視頻/圖像檔案等。例如,視頻/圖像生成裝置可以包括計算機、平板計算機和智能電話,并且可(以電子方式)生成視頻/圖像。例如,可以通過計算機等生成虛擬視頻/圖像。在這種情況下,視頻/圖像捕獲處理可以由生成相關數據的處理代替。[0045]編碼設備可以對輸入視頻/圖像進行編碼。為了壓縮和編譯效率,編碼設備可以執(zhí)7行諸如預測、變換和量化的一系列過程。編碼的數據(編碼的視頻/圖像信息)可以按比特流的形式輸出。[0046]發(fā)送器可以通過數字存儲介質或網絡將以比特流的形式輸出的編碼的圖像/圖像信息或數據以文件或流的形式發(fā)送至接收裝置的接收器。數字存儲介質可以包括諸如USB、等的各種存儲介質。發(fā)送器可以包括用于通過預定文件格式生成媒體文件的元件,并且可以包括用于通過廣播/通信網絡傳輸的元件。接收器可以接收/提取比特流并且將所接收的比特流發(fā)送至解碼設備。[0047]解碼設備可以通過執(zhí)行與編碼設備的操作對應的諸如解量化、逆變換和預測的一系列過程對視頻/圖像進行解碼。[0048]渲染器可以渲染解碼的視頻/圖像。渲染的視頻/圖像可以通過顯示器顯示。[0049]在本文檔中,可以省略量化/解量化和/或變換/逆變換中的至少一個。在省略量化/解量化的情況下,可以將量化的變換系數稱為變換系數。在省略變換/逆變換的情況下,變換系數可以稱為系數或殘差系數,或者仍然可以稱為統(tǒng)一表達的變換系數。[0050]在本文檔中,量化變換系數和變換系數可以分別被稱為變換系數和縮放變換系數。在這種情況下,殘差信息可以包括關于變換系數的信息,并且關于變換系數的信息可以通過殘差編譯語法用信號通知??梢曰跉埐钚畔?或者關于變換系數的信息)來推導變換系數,并且可以通過變換系數的逆變換(縮放)來推導縮放變換系數。殘差樣本可以基于縮放變換系數的逆變換(變換)來推導。對于本文檔的其他部分,這能夠以相同的方式被應用/[0051]在本文檔中,視頻可指隨著時間的一系列圖像。圖片通常是指表示特定時間幀處的一個圖像的單元,并且切片(slice)/拼塊(tile)是指在編譯方面構成圖片的一部分的單元。切片/拼塊可以包括一個或多個編譯樹單元(CTU)。一個圖片可以由一個或多個切片/拼塊組成。一個圖片可以由一個或多個拼塊組組成。一個拼塊組可以包括一個或多個拼塊。圖塊(brick)可以表示圖片中的拼塊內的CTU行的矩形區(qū)域(圖塊可以表示圖片中的拼塊內的CTU行的矩形區(qū)域)。拼塊可以被分區(qū)成行來構建(拼塊可以被分區(qū)成多個圖塊,每個圖塊可利用拼塊內的一個或多個CTU行來構建)。未被分區(qū)成多個圖塊的拼塊也可以被稱為圖塊。圖塊掃描可以表示將圖片分區(qū)的CTU的特定順序排序,其中CTU可以在圖塊內以CTU光柵掃描排序,并且拼塊內的圖塊可以以拼塊的圖塊的光柵掃描連續(xù)地排序,并且圖片中的拼塊可以以圖片的拼塊的光柵掃描連續(xù)地排序(圖塊掃描是將圖片分區(qū)的CTU的特定順序排序,其中CTU在圖塊內以CTU光柵掃描連續(xù)地排序,拼塊內的圖塊以拼塊的圖塊的光柵掃描連續(xù)地排序,并且圖片中的拼塊以圖片的拼塊的光柵掃描連續(xù)地排序)。拼塊是特定拼塊列和特定拼塊行列內的CTU的矩形區(qū)域(拼塊是圖片中的特定拼塊列和特定拼塊行內的CTU的矩形區(qū)具有等于圖片的高度的高度和可以由圖片參數集中的語法元素指定的寬度(拼塊列是CTU的矩形區(qū)域,其具有等于圖片的高度的高度和由圖片參數集中的語法元素指定的寬度)。拼塊行是CTU的矩形區(qū)域,其具有由圖片參數集中的語法元素指定的寬度和可以等于圖片的高度的高度(拼塊行是CTU的矩形區(qū)域,其具有由圖片參數集中的語法元素指定的高度和等于圖片的寬度的寬度)。拼塊掃描可以表示將圖片分區(qū)的CTU的特定順序排序,并在拼塊中以CTU光柵掃描連續(xù)地排序,并且圖片中的拼塊可以圖片的拼塊的光柵掃描連續(xù)8地排序(拼塊掃描是將圖片分區(qū)的CTU的特定順序排序,其中CTU在拼塊中以CTU光柵掃描連續(xù)地排序而圖片中的拼塊以圖片的拼塊的光柵掃描連續(xù)地排序)。切片可以包括圖片的整數個圖塊,并且該整數個圖塊可以包括在單個NAL單元中(切片包括可僅包含在單個NAL單元中的圖片的整數個圖塊)。切片可以利用多個完整拼塊構建,或者可以是一個拼塊的連續(xù)完整圖塊序列(一個切片可以由多個完整圖塊組成,或者僅由一個拼塊的連續(xù)完整圖塊序組報頭可以稱為切片/切片報頭。作與像素對應的術語。樣本通??梢员硎鞠袼鼗蛳袼刂?,并且可以僅表示亮度分量的像素/像素值或僅表示色度分量的像素/像素值。[0053]單元可以表示圖像處理的基本單位。單元可以包括圖片的特定區(qū)域和與該區(qū)域有關的信息中的至少一個。一個單元可以包括一個亮度塊和兩個色度(例如,cb、cr)塊。在一行的樣本(或樣本陣列)或變換系數的集合(或陣列)。[0054]圖2是示意性地示出本公開可以應用于的視頻/圖像編碼設備的配置的圖。在下文中,被稱為視頻編碼設備的設備可以包括圖像編碼設備。[0055]參照圖2,編碼設備200可以包括并配置有圖像分割器210、預測器220、殘差處理器230、熵編碼器240、加法器250、濾波器260和存儲器270。預測器220可以包括幀間預測器和幀內預測器222.殘差處理器230可以包括變換器232、量化器233、解量化器234和逆變換器235.殘差處理器230還可以包括減法器231。加法器250可以被稱為重構器或重構塊生成器。根據實施例,以上已經描述的圖像分割器210、預測器220、殘差處理器230、熵編碼器240、加法器250和濾波器260可以由一個或多個硬件組件(例如,編碼器芯片組或處理器)來配置。另外,存儲器270可以包括解碼圖片緩沖器(DPB),并且還可以由數字存儲介質來配置。硬件組件還可以包括作為內部/外部組件的存儲器270。[0056]圖像分割器210可以將輸入到編碼設備200的輸入圖像(或圖片、幀)分割成一個或多個處理單元。作為示例,處理單元可以被稱為編譯單元(CU)。在這種情況下,可以根據四叉樹二叉樹三叉樹(QTBTTT)結構從編譯樹單元(CTU)或最大編譯單元(LCU)遞歸地分割編譯單元。例如,一個編譯單元可以基于四叉樹結構、二叉樹結構和/或三叉樹結構被分割成深度更深的多個編譯單元。在這種情況下,例如,首先應用四叉樹結構,并且可稍后應用二叉樹結構和/或三叉樹結構??商孢x地,也可首先應用二叉樹結構??梢曰诓辉俦环指畹淖罱K編譯單元來執(zhí)行根據本文檔的編譯過程。在這種情況下,基于根據圖像特性等的編譯效率,最大編譯單元可以被直接用作最終編譯單元,或者,根據需要,編譯單元可以被遞歸地分割成深度更深的編譯單元,從而具有最佳大小的編譯單元可用作最終編譯單元。這里,編譯過程可以包括諸如稍后描述的預測、變換和重構的過程。作為另一示例,處理單元還可以包括預測單元(PU)或變換單元(TU)。在這種情況下,預測單元和變換單元中的每個可以從上述最終編譯單元中被分割或分區(qū)。預測單元可以是樣本預測的單元,并且變換單元可以是用于推導變換系數的單元和/或用于從變換系數推導殘差信號的單元。[0057]在一些情況下,單元可以與諸如塊或區(qū)域的術語互換使用。在一般情況下,M×N塊可以表示由M列和N行組成的樣本或變換系數的集合。樣本通常可以表示像素或像素值,可9以僅表示亮度分量的像素/像素值或者僅表示色度分量的像素/像素值。樣本可以用作與像素或像元的一個圖片(或圖像)對應的術語。[0058]編碼設備200可以通過從輸入圖像信號(原始塊、原始樣本陣列)減去從幀間預測器221或幀內預測器222輸出的預測信號(預測塊、預測樣本陣列)來生成殘差信號(殘差塊、殘差樣本陣列),并且所生成的殘差信號被發(fā)送到變換器232。在這種情況下,如所示,在編碼器200中從輸入圖像信號(原始塊、原始樣本陣列)減去預測信號(預測塊、預測樣本陣列)的組件可以被稱為減法器231。預測器可以對要處理的塊(以下,稱為當前塊)執(zhí)行預測并且生成包括當前塊的預測樣本的預測塊。預測器可以以當前塊或CU為單位確定應用幀內預測還是幀間預測。如在各個預測模式的描述中稍后描述的,預測器可以生成與預測有關的各種信息(諸如,預測模式信息)以將所生成的信息發(fā)送到熵編碼器240。關于預測的信息可以在熵編碼器240中編碼并以比特流的形式輸出。[0059]幀內預測器222可以參考當前圖片中的樣本來預測當前塊。根據預測模式,所參考的樣本可以位于當前塊附近或者可以隔開。在幀內預測中,預測模式可以包括多個非定向模式和多個定向模式。例如,非定向模式可以包括DC模式和平面模式。例如,根據預測方向的詳細程度,定向模式可以包括33個定向預測模式或65個定向預測模式。然而,這僅是示例,可以根據設置使用更多或更少的定向預測模式。幀內預測器222可以使用應用于鄰近塊的預測模式來確定應用于當前塊的預測模式。[0060]幀間預測器221可以基于參考圖片上的由運動向量所指定的參考塊(參考樣本陣列)來導出當前塊的預測塊。這里,為了減少在幀間預測模式下發(fā)送的運動信息量,可以基于鄰近塊與當前塊之間的運動信息的相關性以塊、子塊或樣本為單位預測運動信息。運動信息可以包括運動向量和參考圖片索引。運動信息還可以包括幀間預測方向(LO預測、L1預測、Bi預測等)信息。在幀間預測的情況下,鄰近塊可以包括存在于當前圖片中的空間鄰近塊和存在于參考圖片中的時間鄰近塊。包括參考塊的參考圖片和包括時間鄰近塊的參考圖片可以相同或不同。時間鄰近塊可以被稱為并置參考塊、并置CU(colCU)等,并且包括時間鄰近塊的參考圖片可以被稱為并置圖片(colPic)。例如,幀間預測器221可以基于鄰近塊來配置運動信息候選列表并且生成指示哪一候選用于推導當前塊的運動向量和/或參考圖片索引的信息。可以基于各種預測模式執(zhí)行幀間預測,并且例如,在跳過模式和合并模式的情況下,幀間預測器221可以使用鄰近塊的運動信息作為當前塊的運動信息。在跳過模式下,與合并模式不同,可以不發(fā)送殘差信號。運動向量預測(MVP)模式可以通過將鄰近塊的運動向量用作運動向量預測子,并且用信號通知運動向量差來指示當前塊的運動向量。[0061]預測器220可以基于稍后描述的各種預測方法來生成預測信號。例如,預測器不僅可應用幀內預測或幀間預測來預測一個塊,而且可同時應用幀內預測和幀間預測二者。這可以被稱為組合幀間和幀內預測(CIIP)。此外,預測器可以基于幀內塊復制(IBC)預測模式或調色板模式,以便對塊執(zhí)行預測。IBC預測模式或調色板模式可用于游戲等的內容圖像/視頻編譯,例如屏幕內容編譯(SCC)。IBC基本上在當前圖片中執(zhí)行預測,但是它可以與幀間預測類似地執(zhí)行,因為它在當前圖片中推導參考塊。也就是說,IBC可以使用本文檔中描述的幀間預測技術中的至少一種。調色板模式可以被視為幀內編譯或幀內預測的示例。當應用調色板模式時,可以基于關于調色板表和調色板索引的信息用信號通知圖片中的樣本[0062]通過預測器(包括幀間預測器221和/或幀內預測器222)生成的預測信號可以用于生成重構信號或用于生成殘差信號。[0063]變換器232可以通過將變換技術應用于殘差信號來生成變換系數。例如,變換技術可以包括以下中的至少一個:離散余弦變換(DCT)、離散正弦變換(DST)、Karhunen-Loeve變換(KLT)、基于圖形的變換(GBT)或條件非線性變換(CNT)。這里,當像素之間的關系信息被圖示為圖形時,GBT意指從圖形獲取的變換。CNT意指基于通過使用所有先前重構的像素生成的預測信號而獲取的變換。另外,變換過程還可以應用于具有相同大小的正方形的像素塊,并且還可以應用于具有正方形以外的可變大小的塊。量化器233可以量化變換系數,以將量化的變換系數發(fā)送到熵編碼器240,并且熵編碼器240可以將量化的信號(關于量化的變換系數的信息)編碼為比特流。關于量化的變換系數的信息可以被稱為殘差信息。[0064]量化器233可以基于系數掃描順序以一維向量形式重新排列具有塊形式的量化的變換系數,并且還基于一維向量形式的量化的變換系數來生成關于量化的變換系數的信[0065]熵編碼器240可以執(zhí)行例如指數Golomb編譯、上下文自適應可變長度編譯起或單獨地對除了量化的變換系數之外的重構視頻/圖像所必需的信息(例如,語法元素的值等)進行編碼。編碼的信息(例如,編碼的視頻/圖像信息)可以按比特流的形式以網絡抽象層(NAL)為單位被發(fā)送或存儲。視頻/圖像信息還可以包括關于各種參數集的信息,例如適配參數集(APS)、圖片參數集(PPS)、序列參數集(SPS)或視頻參數集(VPS)。另外,視頻/圖像信息還可以包括一般約束信息。在本文檔中稍后描述的用信號通知/發(fā)送的信息和/或語法元素可以通過前述編碼過程來編碼并且因此包括在比特流中。比特流可以通過網絡被發(fā)送或者可以被存儲在數字存儲介質中。這里,網絡可以包括廣播網絡和/或通信網絡等,并從熵編碼器240輸出的信號的發(fā)送器(未示出)和/或用于存儲該信號的存儲部(未示出)可以被配置為編碼設備200的內部/外部元件,或者發(fā)送器也可以被包括在熵編碼器240中。[0066]從量化器233輸出的量化的變換系數可以用于生成預測信號。例如,解量化器234和逆變換器235將解量化和逆變換應用于量化的變換系數,使得可以重構殘差信號(殘差塊或殘差樣本)。加法器250將重構的殘差信號與從幀間預測器221或幀內預測器222輸出的預測信號相加,從而可以生成重構信號(重構圖片、重構塊、重構樣本陣列)。如在應用跳過模式的情況下,如果要處理的塊不存在殘差,則預測塊可以被用作重構塊。加法器250可以被稱為重構器或重構塊生成器。所生成的重構信號可以用于當前圖片內的要處理的下一個塊的幀內預測,并且如稍后所述,還通過濾波用于下一圖片的幀間預測。[0067]同時,也可以在圖片編碼和/或重構期間應用亮度映射與色度縮放(LMCS)。[0068]濾波器260可以通過對重構信號應用濾波來改進主觀/客觀圖像質量。例如,濾波器260可以通過對重構圖片應用各種濾波方法來生成修改的重構圖片并將修改的重構圖片本自適應偏移、自適應環(huán)路濾波器、雙邊濾波器等。濾波器260可以生成與濾波有關的各種類型的信息并且將所生成的信息發(fā)送到熵編碼器240,如在各個濾波方法的描述中稍后描述的。與濾波有關的信息可以由熵編碼器240編碼并以比特流的形式輸出。11[0069]發(fā)送到存儲器270的修改的重構圖片可以被用作幀間預測器221中的參考圖片。如果通過幀間預測器應用幀間預測,則編碼設備可以避免編碼設備200與解碼設備之間的預測失配并且編譯效率可改進。[0070]存儲器270的DPB可以存儲用作幀間預測器221中的參考圖片的修改的重構圖片。存儲器270可以存儲推導(或編碼)當前圖片中的運動信息的塊的運動信息和/或圖片中已經重構的塊的運動信息。所存儲的運動信息可以被發(fā)送到幀間預測器221以用作空間鄰近塊的運動信息或時間鄰近塊的運動信息。存儲器270可以存儲當前圖片中的重構塊的重構樣本并且可以將重構樣本傳送至幀內預測器222。[0071]圖3是用于示意性地解釋可應用本公開的實施例的視頻/圖像解碼設備的配置的[0072]參照圖3,解碼設備300可以包括并且配置有熵解碼器310、殘差處理器320、預測器330、加法器340、濾波器350和存儲器360。預測器330可以包括幀間預測器331和幀內預測器332.殘差處理器320可以包括解量化器321和逆變換器322。根據實施例,已經在上文描述的熵解碼器310、殘差處理器320、預測器330、加法器340和濾波器350可以由一個或多個硬件組件(例如,解碼器芯片組或處理器)配置。另外,存儲器360可以包括解碼圖片緩沖器(DPB)并且可以由數字存儲介質配置。硬件組件還可以包括存儲器360作為內部/外部組件。[0073]當輸入包括視頻/圖像信息的比特流時,解碼設備300可以響應于在圖2所示的編碼設備中處理視頻/圖像信息的過程來重構圖像。例如,解碼設備300可以基于從比特流獲取的塊分割相關信息來推導單元/塊。解碼設備300可以使用應用于編碼設備的處理單元來執(zhí)行解碼。因此,用于解碼的處理單元可以是例如編譯單元,并且可以根據四叉樹結構、二叉樹結構和/或三叉樹結構從編譯樹單元或最大編譯單元分割編譯單元??梢詮乃鼍幾g單元推導一個或多個變換單元。另外,通過解碼設備300解碼并輸出的重構圖像信號可以通過再現(xiàn)設備被再現(xiàn)。[0074]解碼設備300可以接收以比特流的形式從圖2中示出的編碼設備輸出的信號,并且可以通過熵解碼器310對接收的信號進行解碼。例如,熵解碼器310可以通過解析比特流來推導圖像重構(或圖片重構)所需的信息(例如,視頻/圖像信息)。視頻/圖像信息還可以包括關于各種參數集的信息,例如適配參數集(APS)、圖片參數集(PPS)、序列參數集(SPS)或視頻參數集(VPS)。另外,視頻/圖像信息還可以包括一般約束信息。解碼設備還可以基于關于參數集和/或一般約束信息的信息來解碼圖片。稍后將在本文檔中描述的用信號通知/接收的信息和/或語法元素可以通過解碼過程解碼并且從比特流獲取。例如,熵解碼器310可像重構所需的語法元素的值和殘差相關變換系數的量化值。更具體地,CABAC熵解以接收與來自比特流的每個語法元素相對應的bin(二進制位),使用待解碼的語法元素信息、鄰近塊或待解碼的塊的解碼信息或在先前階段中解碼的符號/bin的信息來確定上下文模型,并且通過根據所確定的上下文模型預測生成bin的概率以對bin執(zhí)行算術解碼,來生成與每個語法元素的值相對應的符號。此時,CABAC熵解碼方法可以確定上下文模型并且然后通過將解碼的符號/bin的信息用于下一符號/bin的上下文模型來更新上下文模型。由熵解碼器310所解碼的信息當中與預測有關的信息可以被提供給預測器(幀間預測器332和幀內預測器331),并且在由熵解碼器310執(zhí)行熵解碼的殘差值(即,量化的變換系數和相關參數信息)可以被輸入到殘差處理器320。解碼器310解碼的信息當中關于濾波的信息可以被提供給濾波器350。同時,用于接收從編碼設備輸出的信號的接收器(未示出)還可以被配置成解碼設備300的內部/外部元件,或者接收器可以是熵解碼器310的組件。同時,根據本文檔的解碼設備可以被稱為視頻/圖像/圖片解碼設備,并且解碼設備可以被分類為信息解碼器(視頻/圖像/圖片信息解碼器)和樣本解碼器(視頻/圖像/圖片樣本解碼器)。信息解碼器可以包括熵解碼器310,并且樣本解碼器可以包括以下中的至少一個:解量化器321、逆變換器322、加法器340、濾波器350、存儲器360、幀間預測器332和幀內預測器331。[0076]解量化器321可以將量化的變換系數解量化并且輸出變換系數。解量化器321可以按二維塊形式重排量化的變換系數。在這種情況下,可以基于在編碼設備中執(zhí)行的系數掃描順序來執(zhí)行重排。解量化器321可以使用量化參數(例如,量化步長信息)對量化的變換系數執(zhí)行解量化并且獲取變換系數。[0077]逆變換器322對變換系數逆變換以獲取殘差信號(殘差塊、殘差樣本陣列)。[0078]預測器330可以對當前塊執(zhí)行預測并生成包括當前塊的預測樣本的預測塊。預測器可以基于從熵解碼器310輸出的關于預測的信息來確定對當前塊應用幀內預測還是幀間預測并且可以確定特定幀內/幀間預測模式。[0079]預測器可以基于下述各種預測方法來生成預測信號。例如,預測器不僅可以應用幀內預測或幀間預測以預測一個塊,而且可同時應用幀內預測和幀間預測。這可以被稱為組合幀間和幀內預測(CIIP)。另外,預測器可以基于幀內塊復制(IBC)預測模式或調色板模式來預測塊。IBC預測模式或調色板模式可以用于游戲等的內容圖像/視頻編譯,例如屏幕內容編譯(SCC)。IBC基本上執(zhí)行當前圖片中的預測,但是可以與幀間預測相似地執(zhí)行,使得在當前圖片中推導參考塊。即,IBC可以使用本文檔中描述的至少一種幀間預測技術。調色板模式可以被視為幀內編譯或幀內預測的示例。當應用調色板模式時,關于調色板表和調色板索引的信息可以包括在視頻/圖像信息中并且用信號通知。[0080]幀內預測器331可以參考當前圖片中的樣本來預測當前塊。根據預測模式,所參考的樣本可以位于當前塊附近或者可以隔開。在幀內預測中,預測模式可以包括多個非定向模式和多個定向模式。幀內預測器331可以使用應用于鄰近塊的預測模式來確定應用于當前塊的預測模式。[0081]幀間預測器332可以基于參考圖片上的由運動向量所指定的參考塊(參考樣本陣列)來導出當前塊的預測塊。此時,為了減少在幀間預測模式下發(fā)送的運動信息量,可以基于鄰近塊與當前塊之間的運動信息的相關性以塊、子塊或樣本為單位預測運動信息。運動信息可以包括運動向量和參考圖片索引。運動信息還可以包括幀間預測方向(L0預測、L1預測、Bi預測等)信息。在幀間預測的情況下,鄰近塊可以包括存在于當前圖片中的空間鄰近塊和存在于參考圖片中的時間鄰近塊。例如,幀間預測器332可以基于鄰近塊來配置運動信息候選列表并且基于所接收的候選選擇信息來推導當前塊的運動向量和/或參考圖片索引??梢曰诟鞣N預測模式來執(zhí)行幀間預測,并且關于預測的信息可以包括指示當前塊的幀間預測的模式的信息。[0082]加法器340可以通過將所獲取的殘差信號與從預測器(包括幀間預測器332和/或幀內預測器331)輸出的預測信號(預測塊、預測樣本陣列)相加來生成重構信號(重構圖片、重構塊、重構樣本陣列)。如果要處理的塊不存在殘差,例如當應用用作重構塊。[0083]加法器340可以被稱為重構器或重構塊生成器。所生成的重構信號可以用于當前圖片中要處理的下一塊的幀內預測,可以如下所述通過濾波輸出,或者可以用于下一圖片的幀間預測。[0084]同時,可以在圖片解碼過程中應用亮度映射與色度縮放(LMCS)。[0085]濾波器350可以對重構信號應用濾波,從而改進主觀/客觀圖像質量。例如,濾350可以通過對重構圖片應用各種濾波方法來生成修改的重構圖片并且將修改的重構圖片[0086]存儲在存儲器360的DPB中的(修改的)重構圖像可以用作幀間預測器332中的參考圖片。存儲器360可以存儲其中推導(解碼)當前圖片內的運動信息的塊的運動信息和/或先前經重構圖片內的塊的運動信息。存儲的運動信息可以被傳送到幀間預測器260,以用作空間鄰近塊的運動信息或時間鄰近塊的運動信息。存儲器360可以存儲當前圖片內的重構塊的重構樣本,并且將所存儲的重構樣本傳送到幀內預測器331。[0087]在本說明書中,在編碼設備200的濾波器260、幀間預測器221和幀內預測器222中描述的示例性實施例可以被同等地應用于或分別對應于解碼設備300的濾波器350、幀間預測器332和幀內預測器331。[0088]根據本公開的視頻/圖像編譯方法可以基于以下分區(qū)結構來執(zhí)行。具體地,可以基于以分區(qū)結構為基礎推導的CTU和CU(和/或TU和PU)來執(zhí)行稍后描述的預測、殘差處理((逆)變換和(解)量化)、語法元素編譯和濾波的過程。塊分區(qū)過程可以由上述編碼設備的圖像分割器210執(zhí)行,分區(qū)相關信息可以由熵編碼器240(編碼)處理,并且可以以比特流的形式被傳送到解碼設備。解碼設備的熵解碼器310可以基于從比特流獲得的分區(qū)相關信息來推導當前圖片的塊分區(qū)結構,并且基于此,可以執(zhí)行用于圖像解碼的一系列過程(例如,以存在于CU區(qū)域內。同時,CU大小通??梢员硎玖炼确至?樣本)編譯塊(CB)大小。TU大小通??梢员硎玖炼确至?樣本)變換塊(TB)大小。色度分量(樣本)CB或TB大小可以根據按照圖片/圖像的顏色格式(色度格式,例如,4:4:4、4:2:2、4:2:0等)的分量比基于亮度分量(樣本)CB或TB大小來推導。TU大小可以基于maxTbSize推導。例如,如果CU的大小大于maxTbSize,則可以從CU推導maxTbSize的多個TU(TB),并且可以以TU(TB)為單位執(zhí)行變換/類型,并且可以以TU(或TB)為單位執(zhí)行相鄰參考樣本推導和預測樣本生成過程。在這種情(或TB)可以共享相同的幀內預測模式/類型。[0089]此外,在根據本公開的視頻/圖像編譯中,圖像處理單元可以具有分層結構??梢詫⒁粋€圖片分區(qū)成一個或多個拼塊、圖塊、切片和/或拼塊組。一個切片可以包括一個或多個圖塊。一個圖塊可以包括拼塊內的一個或多個CTU行。切片可以包括圖片的整數個圖塊。一個拼塊組可以包括一個或多個拼塊。一個拼塊可以包括一個或多個CTU。CTU可以被分區(qū)成一個或多個CU。拼塊表示圖片中的特定拼塊列和特定拼塊行內的CTU的矩形區(qū)域。根據圖片中的拼塊光柵掃描,拼塊組可以包括整數個拼塊。切片報頭可以攜帶可以應用于相應切片(切片中的塊)的信息/參數。在編碼/解碼設備具有多核處理器的情況下,可以并行處理用于拼塊、切片、圖塊和/或拼塊組的編碼/解碼過程。在該文檔中,切片或拼塊組可以可交換地使用。也就是說,拼塊組報頭可以稱為切片報頭。這里,切片可以具有包括幀內(I)切片、預測(P)切片和雙預測(B)切片的切片類型中的一個。在預測I切片中的塊時,可以不使用幀間預測,而可以僅使用幀內預測。當然,即使在這種情況下,也可以通過在不進行預測的情況下對原始樣本值進行編譯來執(zhí)行信令。對于P切片中的塊,可以使用幀內預測或幀間使用幀內預測或幀間預測,并且在使用幀間預測的情況下,最多可以使用直至雙預測。[0090]編碼器可以根據視頻圖像的特性(例如,分辨率)考慮編譯效率或并行處理來確定拼塊/拼塊組、圖塊、切片、以及最大和最小編譯單元大小,并且關于它們的信息可以被包括在比特流中。[0091]解碼器可獲得表示當前圖片的拼塊/拼塊組、圖塊、切片以及拼塊中的CTU是否已被分區(qū)成多個編譯單元的信息。通過使這樣的信息僅在特定條件下獲得(發(fā)送),可以增強效率。[0092]切片報頭(切片報頭語法)可以包括可以共同應用于切片的信息/參數。APS(APS語法)或PPS(PPS語法)可以包括可以共同應用于一個或多個圖片的信息/參數。SPS(SPS語法)可以包括可以被共同應用于一個或多個序列的信息/參數。VPS(VPS語法)可以包括可以共同應用于多個層的信息/參數。DPS(DPS語法)可以包括可以共同應用于整個視頻的信息/參數。DPS可以包括與編譯視頻序列(CVS)的級聯(lián)相關的信息/參數。法及切片報頭語法中的至少一個。[0094]此外,例如,關于拼塊/拼塊組/圖塊/切片的分區(qū)和配置的信息可以由編碼端通過較高級別語法來配置,并且可以以比特流的形式被傳送到解碼設備。[0095]在圖像/視頻編譯中,可以根據解碼順序對構成圖像/視頻的圖片進行編碼/解碼??梢耘c解碼順序不同地設置對應于解碼圖片的輸出順序的圖片順序,基于該圖片順序,還可以在幀間預測中執(zhí)行后向預測和前向預測。[0096]圖片解碼過程可以示意性地包括(通過解碼)從比特流的圖像/視頻信息獲取過程、圖片重構過程以及用于重構圖片的環(huán)內濾波過程。可以基于通過本文描述的幀間/幀內預測和殘差處理過程(解量化、用于量化變換系數的逆變換)獲得的殘差樣本和預測樣本來執(zhí)行圖片重構過程。通過用于已經通過圖片重構過程生成的重構圖片的環(huán)內濾波過程,可以生成修改的重構圖片,該修改的重構圖片可以作為解碼圖片輸出,并且還可以存儲在解碼設備的解碼圖片緩沖器或存儲器360中,并且在后續(xù)圖片解碼的幀間預測過程中用作參考圖片。根據情況,可以省略環(huán)內濾波過程,并且在這種情況下,重構圖片可以作為解碼圖片輸出,并且還可以存儲在解碼設備的解碼圖片緩沖器或存儲器360中,并且在后續(xù)圖片解碼的幀間預測過程中用作參考圖片。環(huán)內濾波過程可以包括如上所述的去塊濾波過程、樣本自適應偏移(SAO)過程、自適應環(huán)路濾波器(ALF)過程和/或雙邊濾波器過程,其中全部或一些可以省略。此外,可以順序地應用去塊濾波過程、樣本自適應偏移(SAO)過程、自適應環(huán)路濾波器(ALF)過程和雙邊濾波過程中的一個或一些,或者可以順序地應用它們中的全部。例如,在對重構圖片應用去塊過程之后,可以對其執(zhí)行SA0過程。可選地,例片應用去塊濾波過程之后,可以對其執(zhí)行ALF過程。這同樣可以在編碼設備中執(zhí)行。[0097]圖片編碼過程可以示意性地包括生成用于當前圖片的重構圖片的過程和對重構圖片應用環(huán)內濾波的過程(可選)以及編碼用于圖片重構的信息(例如,預測信息、殘差信息、分區(qū)信息等)并以比特流的形式輸出該信息的過程。編碼設備可以通過解量化器234和逆變換器235從量化變換系數推導(修改的)殘差樣本,并且可以基于(修改的)殘差樣本和預測樣本生成重構圖片。以這種方式生成的重構圖片可以與解碼設備中生成的上述重構圖片相同。通過用于重構圖片的環(huán)內濾波過程,可以生成修改的重構圖片,該修改的重構圖片可以存儲在解碼圖片緩沖器或存儲器270中,并且類似于解碼設備的情況,在后期圖片編碼的幀間預測過程中用作參考圖片。如上所述,可以根據情況省略環(huán)內濾波過程的全部或一部分。在執(zhí)行環(huán)內濾波過程的情況下,(環(huán)內)濾波相關信息(參數)可以在熵編碼器240中被編碼并以比特流的形式輸出,并且解碼設備可以基于濾波相關信息以與編碼設備相同的方式執(zhí)行環(huán)內濾波過程。[0098]通過該環(huán)內濾波過程,可以降低在圖像/視頻編譯期間生成的諸如去塊偽影和振鈴偽影的噪聲,并且提高主觀/客觀視覺質量。此外,由于在編碼設備和解碼設備這兩者中執(zhí)行環(huán)內濾波過程,因此編碼設備和解碼設備可以推導相同預測結果,增強圖片編譯的可靠性,并且減少要發(fā)送用于圖片編譯的數據量。[0099]如上所述,可以在編碼設備中以及在解碼設備中執(zhí)行圖片重構過程?;趯γ總€塊單元的幀內預測/幀間預測,可以生成重構塊,并且可以生成包括重構塊的重構圖片。在當前圖片/切片/拼塊組是I圖片/切片/拼塊組的情況下,可以僅基于幀內預測來重構包括在當前圖片/切片/拼塊組中的塊。同時,在當前圖片/切片/拼塊組是P或B圖片/切片/拼塊組的情況下,可以基于幀內預測或幀間預測來重構包括在當前圖片/切片/拼塊組中的塊。在這種情況下,幀間預測可以應用于當前圖片/切片/拼塊組中的一些塊,并且?guī)瑑阮A測可以應用于其余塊中的一些塊。圖片的顏色分量可以包括亮度分量和色度分量,并且本文檔中提出的方法和實施例可以應用于亮度分量和色度分量,除非由本文檔明確限制。括用于作為要編譯的塊(即,編譯目標塊)的當前塊的預測樣本的預測塊。這里,預測塊包括空間域(或像素域)中的預測樣本。在編碼設備和解碼設備中以相同的方式推導預測塊,并且編碼設備可以將關于原始塊和預測塊之間的殘差的信息(殘差信息)而不是原始塊的原始樣本值用信號通知給解碼設備,從而改進圖像編譯效率。解碼設備可以基于殘差信息推導包括殘差樣本的殘差塊,將殘差塊和預測塊相加以生成包括重構樣本的重構塊,并且生成包括重構塊的重構圖片。[0101]可以通過變換和量化過程生成殘差信息。例如,編碼設備可以推導原始塊和預測塊之間的殘差塊,對殘差塊中包括的殘差樣本(殘差樣本陣列)執(zhí)行變換過程以推導變換系數,對變換系數執(zhí)行量化過程以推導量化變換系數,并且將相關殘差信息(通過比特流)用信號通知解碼設備。這里,殘差信息可以包括量化變換系數的值信息、位置信息變換核、量化參數等。解碼設備可以基于殘差信息執(zhí)行解量化/逆變換過程,并且推導殘差樣本(或殘差塊)。解碼設備可以基于預測塊和殘差塊生成重構圖片。此外,為了用于之后的圖片的幀間預測的參考,編碼設備還可以對量化的變換系數進行解量化/逆變換,以推導殘差塊,并且基于該殘差塊來生成重構圖片。[0102]在幀間預測被應用于當前塊的情況下,編碼設備/解碼設備的預測器可以通過以塊為單位執(zhí)行幀間預測來推導預測樣本。幀間預測可以是以依賴于除當前圖片之外的圖片的數據元素(例如,樣本值或運動信息)的方式推導的預測。在幀間預測應用于當前塊的情況下,可以基于由參考圖片索引所指示的參考圖片上的由運動向量所指定的參考塊(參考樣本陣列)來導出當前塊的預測塊(預測樣本陣列)。在這種情況下,為了減少在幀間預測模式中發(fā)送的運動信息的量,可以基于鄰近塊和當前塊之間的運動信息的相關性以塊、子塊或樣本為單位預測當前塊的運動信息。運動信息可以包括運動向量和參考圖片索引。運動信息還可以包括幀間預測類型(LO預測、L1預測、Bi預測等)信息。在應用幀間預測的情況下,鄰近塊可以包括存在于當前圖片中的空間鄰近塊和存在于參考圖片中的時間鄰近塊。包括參考塊的參考圖片和包括時間鄰近塊的參考圖片可以彼此相等或不同。時間鄰近塊可以被稱為并置參考塊或并置CU(colCU),并且包括時間鄰近塊的參考圖片可以被稱為并置圖片(colPic)。例如,可以基于當前塊的鄰近塊來配置運動信息通知指示選擇(使用)哪個候選來推導當前塊的運動向量和/或參考圖片索引的標志或索引信息??梢曰诟鞣N預測模式來執(zhí)行幀間預測,例如,在跳過模式和(正常)合并模式的情況下,當前塊的運動信息可以等于所選擇的鄰近塊的運動信息。在跳過模式的情況下,與合并模式不同,可以不發(fā)送殘差信號。在運動向量預測(MVP)模式的情況下,選擇的鄰近塊的運動向量可以用作運動向量預測子,并且可用信號通知運動向量差。在這種情況下,可以使用運動向量預測子與運動向量差的和來推導當前塊的運動向量。[0103]基于幀間預測的視頻/圖像編碼過程可以示意性地包括例如以下過程。[0104]圖4是示意性地表示編碼設備中的幀間預測器的圖。[0105]參照圖4,編碼設備對當前塊執(zhí)行幀間預測。編碼設備可以推導當前塊的幀間預測模式和運動信息,并生成當前塊的預測樣本。這里,幀間預測模式確定、運動信息推導和預測樣本生成過程可以同時被執(zhí)行,或者一個接一個地被執(zhí)行。例如,編碼設備的幀間預測器221可以包括預測模式確定器221_1、運動信息推導器221_2和預測樣本推導器221_3.預測模式確定器221_1可以確定用于當前塊的預測模式;運動信息推導器221_2可以推導當前塊的運動信息;并且預測樣本推導器221_3可以推導當前塊的預測樣本。例如,編碼設備的幀間預測器221可以通過運動估計在參考圖片的特定區(qū)域(搜索區(qū)域)中搜索與當前塊類似的塊,并且推導其與當前塊的差最小或小于或等于特定水平的參考塊?;诖耍梢酝茖е甘緟⒖級K所在的參考圖片的參考圖片索引,并且可以基于參考塊和當前塊之間的位置差來推導運動向量。編碼設備可以從各種預測模式中確定應用于當前塊的模式。編碼設備可以比較各種預測模式的速率失真(RD)成本,并且確定當前塊的最佳預測模式。[0106]例如,在跳過模式或合并模式被應用于當前塊的情況下,編碼設備可以配置稍后描述的合并候選列表,并且可以在由合并候選列表中包括的合并候選指示的參考塊當中推導與當前塊具有最小差或者等于或小于預定參考的差的參考塊。在此情況下,可以選擇與所推導的參考塊相關的合并候選,并且可以生成指示選擇的合并候選的合并索引信息并將其用信號通知給解碼設備??梢允褂眠x擇的合并候選的運動信息推導當前塊的運動信息。[0107]作為另一示例,在(A)MVP模式被應用于當前塊的情況下,編碼設備可以配置稍后描述的(A)MVP候選列表,并且可以使用從包括在(A)MVP候選列表中的運動向量預測子(mvp)候選當中選擇的mvp候選的運動向量作為當前塊的mvp。在這種情況下,例如,指示通過上述運動估計推導的參考塊的運動向量可以用作當前塊的運動向量,并且在mvp候選之中具有與當前塊的運動向量具有最小差的運動向量的mvp候選可以成為所選擇的mvp候選??梢酝茖н\動向量差(MVD),其是通過從當前塊的運動向量中減去mvp而獲得的差。在這種情況下,可以將關于MVD的信息用信號通知給解碼設備。此外,在應用(A)MVP模式的情況下,參考圖片索引值可以被配置為參考圖片索引信息,并且可以被單獨地用信號通知給解碼設[0108]編碼設備可以基于預測樣本推導殘差樣本。編碼設備可以通過將當前塊的原始樣本與預測樣本進行比較來推導殘差樣本。[0109]編碼設備對包括預測信息和殘差信息的圖像信息進行編碼。編碼設備可以以比特流的形式輸出編碼圖像信息。預測信息可以是與預測過程相關的信息,并且可以包括關于預測模式信息(例如,跳過標志、合并標志或模式索引)和運動信息的信息。關于運動信息的信息可以包括作為用于推導運動向量的信息的候選選擇信息(例如,合并索引、mvp標志或mvp索引)。此外,關于運動信息的信息可以包括關于上述MVD的信息和/或參考圖片索引信息。此外,關于運動信息的信息可以包括指示是否應用LO預測、L1預測或雙預測的信息。殘差信息是與殘差樣本相關的信息。殘差信息可以包括關于用于殘差樣本的量化變換系數的[0110]輸出比特流可以存儲在(數字)存儲介質中以被傳送到解碼設備或者可以通過網絡被傳送到解碼設備。[0111]同時,如上所述,編碼設備可以基于參考樣本和殘差樣本生成重構圖片(包括重構樣本和重構塊)。這是為了使編碼設備推導與解碼設備執(zhí)行的預測結果相同的預測結果,并且通過這樣,可以增強編譯效率。因此,編碼設備可以將重構圖片(或重構樣本或重構塊)存儲在存儲器中,并可以利用存儲的重構圖片作為用于幀間預測的參考圖片。如上所述,環(huán)內濾波過程可以進一步應用于重構圖片。[0112]基于幀間預測的視頻/圖像解碼過程可以示意性地包括例如以下過程。[0113]圖5是示意性地表示解碼設備中的幀間預測器的圖。[0114]參照圖5,解碼設備可以執(zhí)行與由編碼設備執(zhí)行的操作相對應的操作。解碼設備可以基于接收到的預測信息來執(zhí)行對當前塊的預測,并且可以推導預測樣本。[0115]具體地,解碼設備可以基于接收到的預測信息來確定用于當前塊的預測模式。解碼設備可以基于預測信息中的預測模式信息來確定將哪個幀間預測模式應用于當前塊。[0116]例如,解碼設備可以基于合并標志確定相對于當前塊是應用合并模式還是確定預測模式候選可以包括跳過模式、合并模式和/或(A)MVP模式,或者可以包括稍后描述的各種幀間預測模式。[0117]解碼設備基于確定的幀間預測模式來推導當前塊的運動信息。例如,在跳過模式或合并模式被應用于當前塊的情況下,解碼設備可以配置稍后描述的合并候選列表,并且可以選擇合并候選列表中包括的合并候選中的一個??梢曰谏鲜鲞x擇信息(合并索引)來執(zhí)行這樣的選擇??梢允褂眠x擇的合并候選的運動信息來推導當前塊的運動信息??梢允褂眠x擇的合并候選的運動信息作為當前塊的運動信息。[0118]作為另一示例,在(A)MVP模式被應用于當前塊的情況下,解碼設備可以配置稍后描述的(A)MVP候選列表,并且可以使用從包括在(A)MVP候選列表中的運動向量預測子(mvp)候選當中選擇的mvp候選的運動向量作為當前塊的mvp??梢曰谏鲜鲞x擇信息(mvp索引信息來推導當前塊的參考圖片索引。由當前塊的參考圖片列表中的參考圖片索引所指示的圖片可以被推導為參考圖片,該參考圖片被參考以用于當前塊的幀間預測。[0119]同時,如稍后所述,可以在不配置候選列表的情況下推導當前塊的運動信息,并且在這種情況下,可以根據稍后描述的預測模式中公開的過程來推導當前塊的運動信息。在這種情況下,可以省略上述候選列表配置。[0120]解碼設備可以基于當前塊的運動信息來生成用于當前塊的預測樣本。在這種情況下,可以基于當前塊的參考圖片索引來推導參考圖片,并且可以使用參考圖片上的由當前塊的運動向量所指示的參考塊的樣本來推導當前塊的預測樣本。在這種情況下,如稍后描述的,可以在一些情況下進一步執(zhí)行針對當前塊的全部或部分預測樣本的預測樣本濾波過[0121]例如,解碼設備的幀間預測器(332)可以包括預測模式確定單元(332_1)、運動信息推導單元(332_2)和預測樣本推導單元(332_3)。預測模式確定單元(332_1)可以基于接收到的預測模式信息來確定用于當前塊的預測模式,運動信息推導單元(332_2)可以基于關于接收到的運動信息的信息來推導當前塊的運動信息(運動向量和/或參考圖片索引),并且預測樣本推導單元(332_3)可以推導當前塊的預測樣本。[0122]解碼設備基于接收到的殘差信息來生成用于當前塊的殘差樣本。解碼設備可以基于預測樣本和殘差樣本來生成用于當前塊的重構樣本,并且基于此,解碼設備可以生成重[0123]如上所述,幀間預測過程可以包括幀間預測模式確定、根據所確定的預測模式的運動信息推導、以及基于所推導的運動信息的預測執(zhí)行(預測樣本生成)的步驟。如上所述,幀間預測過程可以由編碼設備和解碼設備執(zhí)行。在該文檔中,編譯設備可以包括編碼設備和/或解碼設備。[0124]對于圖片中的當前塊的預測,可以使用各種幀間預測模式。例如,可以使用各種模的合并(MMVD)模式以及歷史運動向量預測(HMVP)模式。解碼器側運動向量細化(DMVR)模式、自適應運動向量分辨率(AMVR)模式、具有CU級權重的雙預測(BCW)和雙向光流(BD0F)可以進一步使用或替代地用作附帶模式。仿射模式可以稱為仿射運動預測模式。MVP模式可以稱為高級運動向量預測(AMVP)模式。在該文檔中,可以將特定模式和/或由特定模式推導的運動信息候選包括為與另一模式的運動信息相關的候選之一。例如,HMVP候選可以被[0125]指示用于當前塊的幀間預測模式的預測模式信息可以從編碼設備用信號通知給解碼設備。預測模式信息可以包括在比特流中,并且可以在解碼設備中接收。預測模式信息可以包括指示多個候選模式之一的索引信息。此外,可以通過標志信息的分層信令來指示合并模式可以通過用信號通知合并標志來指示,并且在未應用合并模式的情況下,可idc語法元素所指示的幀間預測類型(LO預測、L1預測或BI預測)可以被顯示為運動預測方測性(P)切片及雙向預測性(B)切片的切片類型中的一個。可以基于切片類型信息來指示切順序在當前圖片之前和/或之后的參考圖片,并且L1可以包括按POC順序在當前圖片之后順序在當前圖片之前的參考圖片,并且對于L1,可以將相對較低的參考圖片索引分配給按&&!(cbWidth==4&&cbHeigif((slice_type==I&&(slicetype!=I&&(CuPredMode[x0][y0]!=MODE_INTRA目(cbWidth==4&&cbHeight==4&&cu_skip_flag(x0I[y0]==0)))cbWidth>=MinlpcmCbSizeY&&cbWidth<=MaxlcbHeight>=MinlpcmCbSizeY&&cbHeight<while(!byte_aligned(pcm_sample(cbWidth,cbHeight,trcbWidth<=MaxTbSizeY&&cbHeiif(sps_isp_enabled_flag&&intra_luma_ref_idx[x0][y0]==0&&CN120263970A說明書18/if(intra_subpartitions_mode_flag[x0Iy0]==1if(intra_luma_ref_idx[x0][y0]==0置merge_data(x0,y0,cbWidth,cbHeiif(sps_affine_enabled_flag&&cbWidth>=16&&cbHeight>=16){if(sps_affinetype_flag&&;if(sps_smvd_enabled_flag&&inter_pred_idc[x0][y0]==PRED_BItinter_affine_flag[xO]y0]&&RefldxSymLOif(NumRefldxActive[0]>1&&symmvd_coding(x0,y0,0.0)CN120263970A說明書19/38頁if(NumRefldxActive[1]if(mvd_11_zero_flag&&inter_pMvdCpLI[x0][y0]0][1MvdCpLI[x0][y0][1][0MvdCpLI[x0][y0][1][1MvdCpLI[x0][y0][2][0MvdLI[x0][y0][0]=-MvdLO[x0][y0]MvdLI[x0][y0][1]=-MvdLO[x0][y0]fif((sps_amvr_enabled_flag&&inter_affine_flag[x0I[y0]==0&&MvdLi[x0][yo]0]!=0iMvdLI[x0][yo][1]!=0))ⅡⅡif(sps_bcw_enabled_flag&&inter_pred_idc[x0][y0]==PRED_BI&&luma_weight_10_flag[reluma_weight_ll_flag[ref_idx_ll[xo]yojj==0&&chroma_weight_10_flag[ref_idx_10[chroma_weight_ll_flag[ref_idx_11[x0if(CuPredMode[x0][y0]==MODE_INif(cbWidth<=MaxSbtSize&&cbHeittitransform_tree(x0,y0.cbWidth,cbHelfnstWidth=(treeType==DUAL_TREE_CHRODUAL_TREE_CHROMA)?cbHeight/SubHif(Min(IfnstWidth,IfnstHeight)>=4CuPredMode[x0][y0]==MODE_IIntraSubPartitionsSplitTy}[0145]這里,cu_skip_flag可以表示跳過模式是否應用于當前塊(CU)。[0146]pred_mode_flag等于0指定以幀間預測模式編譯當前編譯單元。pred_mode_flag等于1指定以幀內預測模式編譯當前編譯單元。[0147]pred_mode_ibc_flag等于1指定以IBC預測模式編譯當前編譯單元。pred_mode_ibc_flag等于0指定不以IBC預測模式編譯當前編譯單元。[0148]pcm_flag[x0][y0]等于1指定存在pcm_sample()語法結構并且在位置(x0,y0)處包括亮度編譯塊的編譯單元中不存在transform_tree()語法結構。pcm_flag[x0][y0]等于0指定不存在pcm_sample()語法結構。也就是說,pcm_flag可以表示是否將脈沖編碼調制(PCM)模式應用于當前塊。如果將PCM模式應用于當前塊,則可以不應用預測、變換和量化,并且可以編譯和用信號通知當前塊中的原始樣本值。[0149]intra_mip_flag[x0][y0]等于1指定亮度樣本的幀內預測類型是基于矩陣的幀內預測(MIP)。intra_mip_flag[x0][y0]等于0指定亮度樣本的幀內預測類型不是基于矩陣的幀內預測。也就是說,intra_mip_flag可以表示MIP預測模式(類型)是否應用于當前塊(當前塊的亮度樣本)。[0150]intra_chroma_pred_mode[x0][y0]指定當前塊中的色度樣本的幀內預測模式。[0151]general_merge_flag[x0][y0]指定是否從相鄰幀間預測分區(qū)推斷當前編譯單元flag值為1時,啟用常規(guī)合并模式、mmvd模式和合并子塊模式(子塊合并模式)。例如,當general_merge_flag值為1時,可以從編碼視頻/圖像信息(或比特流)解析合并數據語法,并且合并數據語法可以被配置/編譯為包括如以下表2中表示的信息。if(sps_mmvd_enabled_flif(MaxNumSubblockMergeCand>0&&cbWidth>=8&&cbHeight>=用電if(sps_ciip_enabled_flag&&cu_skip_flag[x0Ⅱy0]--0用電:e1這里,regular_merge_flag[x0][y0]等于1指定常規(guī)合并模式被用于生成當前編譯單元的幀間預測參數。也就是說,regular_merge_flag表示合并模式(常規(guī)合并模式)是[0157]mmvd_merge_flag[x0][y0]等于1指定使用具有運動向量差的合并模式來生成當從mmvd_distance_idx[x0][y0]和mmvd_direction_idx[x0][y0]所推導的運動向量差一[0161]merge_subblock_flag[x0][y0]指定基于子塊的幀間預測參數是否用于當前編[0163]ciip_flag[x0][y0]指定是否對當前編譯單元應用組合的圖片間合并和圖片內預[0164]merge_triangle_idx0[x0][y0]指定基于三角形形狀的[0165]merge_triangle_idx1[x0][y0][x0][y0]以及用于等于1的refList的mvd_codingx0,y0,refList,cpIdx)語法結構不存flag[x0][y0]等于0指定基于4參數仿射模型的運動補償用于生成當前編譯單元的預測樣譯塊的左上亮度樣本相對于圖片的左上亮度樣本的位置(x0,y0)。amvr_fla于0指定運動向量差的分辨率為亮度樣本的1/4.amvr_flag[x0][y0]等于1指定運動向量差的分辨率進一步由amvr_precision_flag[x0][y0]指定。[0176]如果inter_affine_flag[x0][y0]等于0,則amvr_p0指定運動向量差的分辨率為一個整數亮度樣本,否則為1/16的亮度樣本。如果inter_affine_flag[x0][y0]等于0,則amvr_precision_flag[x0][y0]等于1指定運動向量差的分辨率為四個亮度樣本,否則為一個整數亮度樣本。陣列索引x0、y0指定所考慮的編譯塊的左上亮度樣本相對于圖片的左上亮度樣本的位置(x0,y0)。[0177]bcw_idx[x0][y0]指定具有CU權重的雙預測的權重索引。[0178]編譯設備可以使用當前塊的運動信息執(zhí)行幀間預測。編碼設備可以通過運動估計過程來推導當前塊的最佳運動信息。例如,編碼設備可以使用當前塊的原始圖片中的原始塊在參考圖片中所確定的搜索范圍內以分數像素為單位搜索具有高相關性的相似參考塊,并且通過這一點,編碼設備可以推導運動信息??梢愿鶕谙辔坏臉颖局抵g的差來推導塊相似度。例如,可以基于當前塊(或當前塊的模板)與參考塊(或參考塊的模板)之間的

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論