(19)國家知識產(chǎn)權(quán)局(12)發(fā)明專利(10)授權(quán)公告號CN120107867B(65)同一申請的已公布的文獻(xiàn)號地址610500四川省成都市新都區(qū)新都大(74)專利代理機(jī)構(gòu)深圳峰誠志合知識產(chǎn)權(quán)代理專利代理師楊幼翔GO6V20/40(2022.01)(54)發(fā)明名稱本發(fā)明公開了一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，涉及視頻處理技術(shù)領(lǐng)域。按最近鄰規(guī)則構(gòu)建第一有向網(wǎng)絡(luò)圖，并選取模糊性值最大的連邊所對應(yīng)的兩個(gè)幀節(jié)點(diǎn)組成的幀節(jié)點(diǎn)對交由用戶進(jìn)行判斷，從而確定該節(jié)點(diǎn)對是否屬于同一類場景。若用戶判定不相似，則以該連邊的源節(jié)點(diǎn)為基準(zhǔn)，按照與代表幀節(jié)點(diǎn)集合各幀節(jié)點(diǎn)的歐氏距離由近到遠(yuǎn)的順序依次組成新幀節(jié)點(diǎn)對再次交由用戶進(jìn)行判斷，并根據(jù)用戶結(jié)果調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，生成包含有多個(gè)第二連通子圖的第二有向網(wǎng)絡(luò)圖，最終在各第二連通子圖內(nèi)選取網(wǎng)絡(luò)中心性指數(shù)最高的節(jié)點(diǎn)作為關(guān)鍵幀。本發(fā)明21.一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，包括：S1、獲取待處理視頻對應(yīng)的圖像幀序列；S2、利用圖像特征提取算法，得到所述圖像幀序列中的每一幀圖像幀的特征向量；S3、將特征向量作為圖像幀的幀節(jié)點(diǎn)，進(jìn)而得到幀節(jié)點(diǎn)集合，所述幀節(jié)點(diǎn)集合中的每個(gè)幀節(jié)點(diǎn)均作為候選幀節(jié)點(diǎn)；S4、分別計(jì)算任意兩個(gè)候選幀節(jié)點(diǎn)之間的歐氏距離，將每個(gè)所述候選幀節(jié)點(diǎn)與其歐氏距離最近的候選幀節(jié)點(diǎn)進(jìn)行連接，以形成連邊，連邊的方向由當(dāng)前所述候選幀節(jié)點(diǎn)指向其最近的所述候選幀節(jié)點(diǎn)，以得到多個(gè)第一連通子圖；所述第一連通子圖至少包含兩個(gè)候選幀節(jié)點(diǎn)，且任一所述的第一連通子圖只包括一組相互最近鄰節(jié)點(diǎn)對，所述相互最近鄰節(jié)點(diǎn)對中兩個(gè)候選幀節(jié)點(diǎn)之間的歐氏距離互為最近，且相互最近鄰節(jié)點(diǎn)對兩個(gè)候選幀節(jié)點(diǎn)互相指向；S5、計(jì)算相互最近鄰節(jié)點(diǎn)對中兩個(gè)候選幀節(jié)點(diǎn)對應(yīng)的網(wǎng)絡(luò)中心性指數(shù)，將網(wǎng)絡(luò)中心性指數(shù)大的候選幀節(jié)點(diǎn)指向網(wǎng)絡(luò)中心性指數(shù)小的候選幀節(jié)點(diǎn)的連邊斷開，其中，相互最近鄰節(jié)點(diǎn)對應(yīng)的兩個(gè)候選幀節(jié)點(diǎn)中被指向的候選幀節(jié)點(diǎn)為目標(biāo)幀節(jié)點(diǎn)，另一候選幀節(jié)點(diǎn)為源幀節(jié)點(diǎn)；S6、將所述相互最近鄰節(jié)點(diǎn)對中網(wǎng)絡(luò)中心性指數(shù)大的所述候選幀節(jié)點(diǎn)作為代表幀節(jié)點(diǎn)，所有當(dāng)前第一連通子圖對應(yīng)的所有代表幀節(jié)點(diǎn)形成代表幀節(jié)點(diǎn)集合；S7、以S6得到的代表幀節(jié)點(diǎn)為基準(zhǔn)，重復(fù)上述S4-S6并更新代表幀節(jié)點(diǎn)集合，直至所述代表幀節(jié)點(diǎn)集合中只有一個(gè)代表幀節(jié)點(diǎn)，并得到第一有向網(wǎng)絡(luò)圖；S8、計(jì)算所述第一有向網(wǎng)絡(luò)圖中每個(gè)連邊的模糊性值；選取模糊性值最大的連邊所對應(yīng)的幀節(jié)點(diǎn)對作為待判斷對象，由用戶確定待判斷對象是否相似：若用戶判斷結(jié)果為是，則保留該待判斷對象對應(yīng)的連邊；若用戶判斷結(jié)果為否，則斷開待判斷對象對應(yīng)的連邊，更新第一有向網(wǎng)絡(luò)圖，進(jìn)入S9;S9、將被斷開的連邊對應(yīng)的所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)集合中的代表幀節(jié)點(diǎn)逐一交由用戶判斷是否相似：若相似，則將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)進(jìn)行連接，以合并所述源幀節(jié)點(diǎn)對應(yīng)的第一連通子圖和所述代表幀節(jié)點(diǎn)對應(yīng)的第一連通子圖，并將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)對應(yīng)的連邊的模糊性值置為0,再次更新所述第一有向網(wǎng)絡(luò)圖，并終止本輪判斷；若均不相似，將所述源幀節(jié)點(diǎn)作為代表幀節(jié)點(diǎn)，加入代表幀節(jié)點(diǎn)集合；S10、對第一有向網(wǎng)絡(luò)圖重復(fù)上述S8和S9,直至達(dá)到預(yù)設(shè)的重復(fù)次數(shù)，得到最終的第二有向網(wǎng)絡(luò)圖，所述第二有向網(wǎng)絡(luò)圖包含多個(gè)第二連通子圖；S11、基于任一個(gè)第二連通子圖，計(jì)算各第二連通子圖內(nèi)各幀節(jié)點(diǎn)的網(wǎng)絡(luò)中心性指數(shù)，并選擇中心性指數(shù)最大的幀節(jié)點(diǎn)作為該第二連通子圖的關(guān)鍵幀，將所有第二連通子圖的關(guān)鍵幀匯聚后輸出，完成關(guān)鍵幀提取。2.根據(jù)權(quán)利要求1所述的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，S1中，通過鏡頭邊界分割得到圖像幀序列。3.根據(jù)權(quán)利要求1所述的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，所述S2包括以下步驟：S201、將所述圖像幀序列中的每一幀所述圖像幀轉(zhuǎn)換為灰度圖像幀；S202、使用HOG算法將灰度圖像幀劃分為多個(gè)圖像塊并進(jìn)行特征提取，得到初始特征向3S203、計(jì)算每個(gè)所述圖像塊的信息熵權(quán)重系數(shù)；S204、基于S203的信息熵權(quán)重系數(shù)對初始特征向量進(jìn)行加權(quán)處理得到加權(quán)特征向量；S205、對加權(quán)特征向量進(jìn)行降維處理，得到該圖像幀的特征向量，并將特征向量作為該圖像幀的幀節(jié)點(diǎn)；S206、重復(fù)S201~S205,直至得到圖像幀序列中的所有圖像幀的特征向量。4.根據(jù)權(quán)利要求3所述的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，所述信息熵權(quán)重系數(shù)基于下式計(jì)算得到：素出現(xiàn)概率。5.根據(jù)權(quán)利要求1所述的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，所述網(wǎng)絡(luò)中心性指數(shù)通過下式計(jì)算得到：PTotal(V)=α·QLocal(V)+(1-α)·semiLocal(V),式中，φTotal(v)表示幀節(jié)點(diǎn)v的網(wǎng)絡(luò)中心的半局部中心性；所述局部中心性通過下式計(jì)算得到：所述半局部中心性通過下式計(jì)算得到：的一階鄰域和二階鄰域節(jié)點(diǎn)的總數(shù)量；T?(V)表示所述幀節(jié)點(diǎn)v的一階鄰域內(nèi)幀節(jié)點(diǎn)的集合，T?(v)表示所述幀節(jié)點(diǎn)v的二階鄰域內(nèi)幀節(jié)點(diǎn)的集合；k幀節(jié)點(diǎn)u的度；所述幀節(jié)點(diǎn)u為幀節(jié)點(diǎn)v的一階鄰域或二階鄰域內(nèi)的幀節(jié)點(diǎn)；d,表示所述幀節(jié)點(diǎn)v和所述幀節(jié)點(diǎn)u的距離；dmax?表示所述幀節(jié)點(diǎn)v與其一階鄰域內(nèi)所有幀節(jié)點(diǎn)的最大距離，dax?表示所述幀節(jié)點(diǎn)v與其二階鄰域內(nèi)所有幀節(jié)點(diǎn)的最大距離。6.根據(jù)權(quán)利要求1所述的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，其特征在于，在步驟S8中，對于第一有向網(wǎng)絡(luò)圖中的所有連邊，計(jì)算其模糊性值M(p,q),p和幀節(jié)點(diǎn)q分別為連邊對應(yīng)的兩個(gè)幀節(jié)點(diǎn)，模糊性值M(p,q)通過下式計(jì)算得到：4S8中，選取模糊性值最大的連邊所對應(yīng)的幀節(jié)點(diǎn)對作為待判S9中，將被斷開的連邊對應(yīng)的源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)集將所述代表幀節(jié)點(diǎn)集合中的各個(gè)代表幀節(jié)點(diǎn)按照與源幀節(jié)點(diǎn)之間的歐氏距離由近及按照所述代表幀節(jié)點(diǎn)序列的順序逐一將代表幀節(jié)點(diǎn)與源幀節(jié)點(diǎn)交由用戶判斷是否相5一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法技術(shù)領(lǐng)域[0001]本申請涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法。背景技術(shù)[0002]伴隨著社交平臺的快速發(fā)展及多媒體技術(shù)的廣泛應(yīng)用，作為多媒體信息的主要載體，數(shù)字視頻數(shù)據(jù)量呈現(xiàn)出爆炸式增長，如何對海量視頻內(nèi)容進(jìn)行高效的存儲、管理與檢索，已成為實(shí)現(xiàn)視頻語義分析、個(gè)性推薦及智能內(nèi)容審核等功能的關(guān)鍵難題。視頻摘要技術(shù)正是應(yīng)對此問題的重要途徑，其中核心在于關(guān)鍵幀的選取。關(guān)鍵幀是指在視頻片段中信息最為集中的圖像幀，關(guān)鍵幀提取的目的是從連續(xù)的視頻序列中篩選出若干具有代表性的幀，以便濃縮并概括整段視頻的主要內(nèi)容。[0003]基于上述情況，目前亟需一種能夠?qū)σ曨l的關(guān)鍵幀進(jìn)行準(zhǔn)確提取的方法。發(fā)明內(nèi)容[0004]為了解決上述問題本申請?zhí)峁┝艘环N基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，能夠?qū)⒁曨l中各個(gè)類別的場景對應(yīng)的關(guān)鍵幀全部輸出，以提高視頻關(guān)鍵幀提取的準(zhǔn)確性。[0005]為了實(shí)現(xiàn)上述目的，第一方面，本申請?zhí)峁┮环N基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀[0007]S2、利用圖像特征提取算法，得到所述圖像幀序列中的每一幀圖像幀的特征向量；[0008]S3、將特征向量作為圖像幀的幀節(jié)點(diǎn)，進(jìn)而得到幀節(jié)點(diǎn)集合，所述幀節(jié)點(diǎn)集合中的每個(gè)幀節(jié)點(diǎn)均作為候選幀節(jié)點(diǎn)；[0009]S4、分別計(jì)算任意兩個(gè)候選幀節(jié)點(diǎn)之間的歐氏距離，將每個(gè)所述候選幀節(jié)點(diǎn)與其歐氏距離最近的候選幀節(jié)點(diǎn)進(jìn)行連接，以形成連邊，連邊的方向由當(dāng)前所述候選幀節(jié)點(diǎn)指向其最近的所述候選幀節(jié)點(diǎn)，以得到多個(gè)第一連通子圖；所述第一連通子圖至少包含兩個(gè)候選幀節(jié)點(diǎn)，且任一所述的第一連通子圖只包括一組相互最近鄰節(jié)點(diǎn)對，所述相互最近鄰節(jié)點(diǎn)對中兩個(gè)候選幀節(jié)點(diǎn)之間的歐氏距離互為最近，且相互最近鄰節(jié)點(diǎn)對兩個(gè)候選幀節(jié)點(diǎn)[0010]S5、計(jì)算相互最近鄰節(jié)點(diǎn)對中兩個(gè)候選幀節(jié)點(diǎn)對應(yīng)的網(wǎng)絡(luò)中心性指數(shù)，將網(wǎng)絡(luò)中心性指數(shù)大的候選幀節(jié)點(diǎn)指向網(wǎng)絡(luò)中心性指數(shù)小的候選幀節(jié)點(diǎn)的連邊斷開，其中，相互最近鄰節(jié)點(diǎn)對應(yīng)的兩個(gè)候選幀節(jié)點(diǎn)中被指向的候選幀節(jié)點(diǎn)為目標(biāo)幀節(jié)點(diǎn)，另一候選幀節(jié)點(diǎn)為源幀節(jié)點(diǎn)；[0011]S6、將所述相互最近鄰節(jié)點(diǎn)對中網(wǎng)絡(luò)中心性指數(shù)大的所述候選幀節(jié)點(diǎn)作為代表幀節(jié)點(diǎn)，所有當(dāng)前第一連通子圖對應(yīng)的所有代表幀節(jié)點(diǎn)形成代表幀節(jié)點(diǎn)集合；[0012]S7、以S6得到的得到的代表幀節(jié)點(diǎn)為基準(zhǔn)，重復(fù)上述S4-S6并更新代表幀節(jié)點(diǎn)集合，直至所述代表幀節(jié)點(diǎn)集合中只有一個(gè)代表幀節(jié)點(diǎn)，并得到第一有向網(wǎng)絡(luò)圖；2/8頁2/8頁6[0013]S8、計(jì)算所述第一有向網(wǎng)絡(luò)圖中每個(gè)連邊的模糊性值；選取模糊性值最大的連邊所對應(yīng)的幀節(jié)點(diǎn)對作為待判斷對象，由用戶確定待判斷對象是否相似：若用戶判斷結(jié)果為是，則保留該待判斷對象對應(yīng)的連邊；若用戶判斷結(jié)果為否，則斷開待判斷對象對應(yīng)的連[0014]S9、將被斷開的連邊對應(yīng)的所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)集合中的代表幀節(jié)點(diǎn)逐一交由用戶判斷是否相似：若相似，則將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)進(jìn)行連接，以合并所述源幀節(jié)點(diǎn)對應(yīng)的第一連通子圖和所述代表幀節(jié)點(diǎn)對應(yīng)的第一連通子圖，并將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)對應(yīng)的連邊的模糊性值置為0,再次更新所述第一有向網(wǎng)絡(luò)圖，并[0015]S10、對第一有向網(wǎng)絡(luò)圖重復(fù)上述S8和S9,直至達(dá)到預(yù)設(shè)的重復(fù)次數(shù)，得到最終的第二有向網(wǎng)絡(luò)圖，所述第二有向網(wǎng)絡(luò)圖包含多個(gè)第二連通子圖；[0016]S11、基于任一個(gè)第二連通子圖，計(jì)算各第二連通子圖內(nèi)各幀節(jié)點(diǎn)的網(wǎng)絡(luò)中心性指數(shù)，并選擇中心性指數(shù)最大的幀節(jié)點(diǎn)作為該第二連通子圖的關(guān)鍵幀，將所有第二連通子圖的關(guān)鍵幀匯聚后輸出，完成關(guān)鍵幀提取。[0017]本發(fā)明的有益效果在于：本發(fā)明公開了一種基于主動(dòng)學(xué)習(xí)的視頻關(guān)鍵幀提取方法，首先按最近鄰規(guī)則構(gòu)建第一有向網(wǎng)絡(luò)圖，并選取模糊性值最大的連邊所對應(yīng)的兩個(gè)幀節(jié)點(diǎn)組成的幀節(jié)點(diǎn)對交由用戶進(jìn)行判斷，從而確定該節(jié)點(diǎn)對是否屬于同一類場景。若用戶判定不相似，則以該連邊的源節(jié)點(diǎn)為基準(zhǔn)，按照與代表幀節(jié)點(diǎn)集合各幀節(jié)點(diǎn)的歐氏距離由近到遠(yuǎn)的順序依次組成新幀節(jié)點(diǎn)對再次交由用戶進(jìn)行判斷，并根據(jù)用戶結(jié)果實(shí)時(shí)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，迭代生成第二有向網(wǎng)絡(luò)圖。最終在各第二連通子圖內(nèi)選取網(wǎng)絡(luò)中心性指數(shù)最高的節(jié)點(diǎn)作為關(guān)鍵幀。本發(fā)明的方法，通過與用戶的交互，引入主動(dòng)學(xué)習(xí)機(jī)制，將用戶的判斷結(jié)果作為一種拓?fù)湟龑?dǎo)，并生成準(zhǔn)確的關(guān)鍵幀。附圖說明[0018]為了更清楚地說明本申請的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，對于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0019]圖1是本發(fā)明實(shí)施例的流程圖；[0020]圖2是初始幀節(jié)點(diǎn)分布圖和第一連通子圖的示意圖；其中，圖2(a)為初始幀節(jié)點(diǎn)分[0021]圖3為第一連通子圖中代表幀節(jié)點(diǎn)的示意圖；[0022]圖4是本發(fā)明實(shí)施例的第一有向網(wǎng)絡(luò)圖的示意圖；[0023]圖5是本發(fā)明實(shí)施例的第二連通子圖的示意圖。具體實(shí)施方式[0024]下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述。顯然，所描述的實(shí)施例是本申請的一部分實(shí)施例，而不是全部實(shí)施例?；诒旧暾埖膶?shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所得到的其他實(shí)施例，都屬于本申請的保護(hù)范圍。7是兩個(gè)或兩個(gè)以上。[0026]伴隨著社交平臺的快速發(fā)展及多媒體技術(shù)的廣泛應(yīng)用，作為多媒體信息的主要載體，數(shù)字視頻數(shù)據(jù)量呈現(xiàn)出爆炸式增長，如何對海量視頻內(nèi)容進(jìn)行高效的存儲、管理與檢索，已成為實(shí)現(xiàn)視頻語義分析、個(gè)性推薦及智能內(nèi)容審核等功能的關(guān)鍵難題。視頻摘要技術(shù)正是應(yīng)對此問題的重要途徑，其中核心在于關(guān)鍵幀的選取。關(guān)鍵幀是指在視頻片段中信息最為集中的圖像幀，關(guān)鍵幀提取的目的是從連續(xù)的視頻序列中篩選出若干具有代表性的幀，以便濃縮并概括整段視頻的主要內(nèi)容。[0027]示例性的，在智能駕駛系統(tǒng)中，車輛的行車記錄儀會采集很多段行車記錄，且車輛存儲器內(nèi)會對一定時(shí)間內(nèi)采集的行車記錄進(jìn)行存儲，并定時(shí)更新。智能駕駛系統(tǒng)中，在對行車記錄進(jìn)行存儲時(shí)，可以基于該段行車記錄對應(yīng)的關(guān)鍵幀生成摘要信息。這時(shí)，存儲器存儲的行車記錄會包括視頻片段和摘要信息。這樣，若用戶想要提取某一段行車記錄時(shí)，可以基于行車記錄對應(yīng)的摘要信息進(jìn)行檢索，以快速得到想要的行車記錄，而無需再一段一段的[0028]基于上述原因，視頻關(guān)鍵幀提取的準(zhǔn)確性會極大的影響該段視頻對應(yīng)的摘要信息的準(zhǔn)確性，因此，本申請實(shí)施例提供了一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法，能夠?qū)⒁曨l中各個(gè)類別的場景對應(yīng)的關(guān)鍵幀全部輸出，以提高視頻關(guān)鍵幀提取的準(zhǔn)確性。[0029]圖1是本申請實(shí)施例提供的一種基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法的流程[0030]如圖1所示，本申請實(shí)施例提供的基于主動(dòng)學(xué)習(xí)技術(shù)的視頻關(guān)鍵幀提取方法包括：[0031]S1、獲取待處理視頻對應(yīng)的圖像幀序列，其中，圖像幀序列是對待處理視頻進(jìn)行鏡頭邊界分割處理得到的。[0032]具體的，在本步驟中，獲取待處理視頻圖像幀序列的方法有很多，比如常規(guī)的鏡頭邊界監(jiān)測、運(yùn)動(dòng)分析提取等。根據(jù)各方法的特點(diǎn)，本實(shí)施例中，選擇鏡頭邊界分割法作為獲取待處理視頻的圖像幀序列的方法。特別的，所述的圖像幀序列，是指將得到的所有圖像幀按照時(shí)間排序后得到的序列；同時(shí)，當(dāng)采集時(shí)間較長時(shí)，圖像幀數(shù)量過多，此時(shí)的圖像幀序列也可以是圖像幀按照一定的時(shí)間間隔進(jìn)行采樣后并按照時(shí)間排序后得到的序列。[0033]鏡頭邊界分割(ShotBoundaryDetection,SBD)是視頻處理中的一種技術(shù)，用于識別視頻中不同鏡頭(或場景)之間的切換點(diǎn)。鏡頭是指視頻中連續(xù)拍攝的一段畫面，而鏡頭邊界則是指相鄰兩個(gè)鏡頭之間的轉(zhuǎn)變，這通常伴隨著畫面內(nèi)容的顯著變化。鏡頭邊界分割能夠檢測視頻中場景的切換，分辨出何時(shí)發(fā)生了鏡頭之間的轉(zhuǎn)變。鏡頭邊界分割還幫助[0034]鏡頭邊界通常代表著場景的重大變化，集中處理這些幀可以減少計(jì)算資源的消耗。經(jīng)過鏡頭邊界分割處理后所得到的圖像幀，往往能夠更好地用于后續(xù)的分析和處理任務(wù)，如視頻摘要、內(nèi)容檢索等。這些幀通常代表著不同的場景或情節(jié)發(fā)展，有助于理解視頻的整體結(jié)構(gòu)。此外，在視頻中，有些幀可能是由于場景內(nèi)的輕微變化而產(chǎn)生的噪聲，不經(jīng)過鏡頭邊界分割，可能會干擾關(guān)鍵幀提取的結(jié)果。鏡頭邊界分割可以有效過濾掉這些噪聲幀。8征向量，其中，初始特征向量為fHOG=[x?,X?,…XM],XM為灰度圖像幀在第M維度的常數(shù)HOG特征通過捕捉圖像中局部區(qū)域的梯度方向和幅值來描述圖像的形狀和結(jié)構(gòu)。,式中，@?(i)為第i個(gè)圖像塊的信息熵權(quán)重系數(shù)，為第i個(gè)圖像塊中灰度值為8的像素9棒性。[0054]如圖2所示，我們將本步驟中經(jīng)過多次配對后形成的子圖稱為第一連通子圖。其[0056]在本步驟中，網(wǎng)絡(luò)中心性指數(shù)是用來衡量網(wǎng)絡(luò)中節(jié)點(diǎn)的重要性或到某些幀節(jié)點(diǎn)的影響過大(例如，幀節(jié)點(diǎn)的度特別高而不具備實(shí)際影響力),使其無法充分[0061]所述半局部中心性通過下式計(jì)算得到：點(diǎn)v的一階鄰域和二階鄰域節(jié)點(diǎn)的總數(shù)量；T?(V)表示所述幀節(jié)點(diǎn)v的一階鄰域內(nèi)幀節(jié)點(diǎn)的集合，T?(V)表示所述幀節(jié)點(diǎn)v的二階鄰域內(nèi)幀節(jié)點(diǎn)的集合；k表示所述幀節(jié)點(diǎn)v的度；k表示幀節(jié)點(diǎn)u的度；所述幀節(jié)點(diǎn)u為幀節(jié)點(diǎn)v的一階鄰域或二階鄰域內(nèi)的幀節(jié)點(diǎn)；du,表示所述幀節(jié)點(diǎn)v和所述幀節(jié)點(diǎn)u的距離；dmax?表示所述幀節(jié)點(diǎn)v與其一階鄰域內(nèi)所有幀節(jié)點(diǎn)的最大距離，dmax?表示所述幀節(jié)點(diǎn)v與其所述二階鄰域內(nèi)所有幀節(jié)點(diǎn)的最大距離。[0064]此處所指的一階鄰域，是指直接和幀節(jié)點(diǎn)v所在相互最近鄰節(jié)點(diǎn)對連接的幀節(jié)點(diǎn)的集合；所指的二階鄰域，是指直接和第一鄰域中的幀節(jié)點(diǎn)連接的幀節(jié)點(diǎn)的集合。[0065]局部中心性是指某個(gè)幀節(jié)點(diǎn)在其直接鄰居中的重要性，半局部中心性是對局部中心性的擴(kuò)展，通?？紤]到幀節(jié)點(diǎn)的鄰居及其鄰居的影響。[0066]在本實(shí)施例中，將局部中心性和半局部中心性加權(quán)結(jié)合在一起得到網(wǎng)絡(luò)中心性指數(shù)，可以全面評估幀節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)中的重要性，避免單一視角帶來的信息損失?？梢愿鼫?zhǔn)確地識別關(guān)鍵幀或重要事件，有效提高目標(biāo)追蹤和事件檢測的效率。[0067]S6、將所述相互最近鄰節(jié)點(diǎn)對中所述網(wǎng)絡(luò)中心性指數(shù)大的所述候選幀節(jié)點(diǎn)作為代表幀節(jié)點(diǎn)，所有當(dāng)前第一連通子圖對應(yīng)的所有代表幀節(jié)點(diǎn)形成代表幀節(jié)點(diǎn)集合。[0068]如圖3所示，相互最近鄰節(jié)點(diǎn)對之間的其中一條連邊已經(jīng)被斷開并選出了代表幀節(jié)點(diǎn)。[0069]S7、以S6得到的代表幀節(jié)點(diǎn)為基準(zhǔn)，重復(fù)S4-S6并更新代表幀節(jié)點(diǎn)集合，直至所述代表幀節(jié)點(diǎn)集合中只有一個(gè)所述代表幀節(jié)點(diǎn)，并得到第一有向網(wǎng)絡(luò)圖。[0070]在本步驟中，僅選取上一步得到的代表幀節(jié)點(diǎn)進(jìn)行操作，而其余的幀節(jié)點(diǎn)被暫時(shí)忽略。最終得到第一有向網(wǎng)絡(luò)圖包括所有圖像幀對應(yīng)的幀節(jié)點(diǎn)。[0072]S8、計(jì)算所述第一有向網(wǎng)絡(luò)圖中每個(gè)連邊的模糊性值；選取模糊性值最大的連邊所對應(yīng)的幀節(jié)點(diǎn)對作為待判斷對象，由用戶確定待判斷對象是否相似：若用戶判斷結(jié)果為是，則保留該待判斷對象對應(yīng)的連邊；若用戶判斷結(jié)果為否，則斷開待判斷對象對應(yīng)的連[0073]其中，連邊的模糊性值為節(jié)點(diǎn)對中兩個(gè)幀節(jié)點(diǎn)的模糊性值。模糊性值主要用于衡量一個(gè)節(jié)點(diǎn)在網(wǎng)絡(luò)中與其相連節(jié)點(diǎn)之間的關(guān)系和相互影響的模糊程度。在第一有向網(wǎng)絡(luò)圖中，模糊性值通常指在考慮到連邊鎖連接的兩個(gè)幀節(jié)點(diǎn)關(guān)系的情況下，如何量化這些幀節(jié)點(diǎn)的相似性、影響力或連接強(qiáng)度的模糊性。網(wǎng)絡(luò)中的模糊性值的是幀節(jié)點(diǎn)之間關(guān)系的不確定性，可能由于信息的不完全、節(jié)點(diǎn)狀態(tài)的動(dòng)態(tài)變化等原因?qū)е?。模糊性值的?jì)算可以幫助理解這種不確定性，進(jìn)而為網(wǎng)絡(luò)分析提供更可靠的結(jié)果。這一綜合值可能通過多種方式計(jì)11具體的，在本步驟中，對于第一有向網(wǎng)絡(luò)圖中的所有連邊，計(jì)算其模糊性值,其中，幀節(jié)點(diǎn)p和幀節(jié)點(diǎn)q分別為連邊對應(yīng)的兩個(gè)幀節(jié)點(diǎn)，模糊性值通過下式計(jì)算得到：式中，dp,表示幀節(jié)點(diǎn)p和幀節(jié)點(diǎn)q之間的歐氏距離，dmax表示在第一有向網(wǎng)絡(luò)圖中網(wǎng)絡(luò)圖中幀節(jié)點(diǎn)度的最大值。[0077]同時(shí)，在本步驟中，選取所述模糊性值最大的連邊所對應(yīng)的幀節(jié)點(diǎn)對作為待判斷對象時(shí)，若所述模糊性值最大的連邊為多個(gè)，隨機(jī)選取一個(gè)所述模糊性值最大的連邊。[0078]在本實(shí)施例中，通過計(jì)算節(jié)點(diǎn)對的模糊性值，可以有效量化它們之間的整體不確定性。這對分析幀節(jié)點(diǎn)間的關(guān)系、信息傳遞和傳播能力非常重要。還能夠更深入地分析它們之間的相互作用。例如，在視頻分析中，可能會發(fā)現(xiàn)某些圖像幀之間的變化具有較高的模糊性，提示需要進(jìn)一步關(guān)注這些圖像幀的內(nèi)容。[0079]本實(shí)施例提供的算法能夠與用戶進(jìn)行交互，這樣，用戶可以對源幀節(jié)點(diǎn)與代表幀[0080]用戶在對這兩個(gè)幀節(jié)點(diǎn)進(jìn)行相似度比較時(shí)，對比的是兩個(gè)幀節(jié)點(diǎn)對應(yīng)的兩個(gè)圖像幀的相似度。這樣，用戶可以通過對比圖像進(jìn)行判斷，難度較低，從而可以使得任意一個(gè)用戶都能夠進(jìn)行操作，可以提高本方法的普適性。[0081]此外，對兩個(gè)圖像進(jìn)行對比，基本上不需要特殊的專業(yè)技能和知識儲備，從而可以降低對用戶專業(yè)技能和知識儲備的要求，應(yīng)用靈活性更高。[0082]S9、將被斷開的連邊對應(yīng)的所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)集合中的代表幀節(jié)點(diǎn)逐一交由用戶判斷是否相似：若相似，則將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)進(jìn)行連接，以合并所述源幀節(jié)點(diǎn)對應(yīng)的第一連通子圖和所述代表幀節(jié)點(diǎn)對應(yīng)的第一連通子圖，并將所述源幀節(jié)點(diǎn)與所述代表幀節(jié)點(diǎn)對應(yīng)的連邊的模糊性值置為0,再次更新所述第一有向網(wǎng)絡(luò)圖，并終止本輪判斷；若均不相似，將所述源幀節(jié)點(diǎn)作為[0083]在本步驟中，首先代表幀節(jié)點(diǎn)集合中的各個(gè)代表幀節(jié)點(diǎn)與源幀節(jié)點(diǎn)之間的歐氏距[0084]然后，將所述代表幀節(jié)點(diǎn)集合中的各個(gè)代表幀節(jié)點(diǎn)按照與源幀節(jié)點(diǎn)之間的歐氏距離由近及遠(yuǎn)進(jìn)行排序，得到代表幀節(jié)點(diǎn)序列；[0085]最后，按照所述代表幀節(jié)點(diǎn)序列的順序逐一將代表幀節(jié)點(diǎn)與源幀節(jié)點(diǎn)交由用戶判斷是否相似：判斷方法如上所示。[0086]S10、對第一有向網(wǎng)絡(luò)圖重復(fù)上述S8和S9,直至達(dá)到預(yù)設(shè)的重復(fù)次數(shù)，得到最終的第二有向網(wǎng)絡(luò)圖，所述第二有向網(wǎng)絡(luò)圖包含多個(gè)第二連通子圖：[0087]在重復(fù)過程中，可以不斷對第一有向網(wǎng)絡(luò)圖中的相互最近鄰節(jié)點(diǎn)對進(jìn)行判斷，并不斷確定場景類別，以將第一有向網(wǎng)絡(luò)圖中的所有場景都識別出來，從而提高對待處理視頻的場景識別的準(zhǔn)確性。輸出的多個(gè)第二連通子圖中，每一個(gè)子圖表示一個(gè)不同的場景。[0088]結(jié)束重復(fù)的條件為達(dá)到預(yù)設(shè)的重復(fù)次數(shù)。本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際情況，設(shè)置合適的重復(fù)次數(shù)。如圖5所示，其為多個(gè)第二連通子圖構(gòu)成的第二有向網(wǎng)絡(luò)圖，且每一個(gè)第二連通子圖表示一個(gè)不同的場景。[0089]S11、基于第二有向網(wǎng)絡(luò)圖中的每一個(gè)第二連通子圖，計(jì)算各第二連通子圖內(nèi)各幀節(jié)點(diǎn)的網(wǎng)絡(luò)中心性指數(shù)，并選擇中心性指數(shù)最大的幀節(jié)點(diǎn)作為該第二連通子圖的關(guān)鍵幀，將所有第二連通子圖的關(guān)鍵幀匯聚后輸出，完成關(guān)鍵幀提取。本步驟包括以下分步驟：[0090]S1101、將每個(gè)所述第二連通子圖中，網(wǎng)絡(luò)中心性指數(shù)最大的幀節(jié)點(diǎn)作為一幀關(guān)鍵[0091]S1102、輸出所述第二連通子圖對應(yīng)的所述關(guān)鍵幀，以得到不同類別場景對應(yīng)的所述關(guān)鍵幀。[0092]綜上所述，本實(shí)施例的方法，可以基于每一個(gè)類別的場景提取出一個(gè)關(guān)鍵幀，以得到更為準(zhǔn)確的關(guān)鍵幀，從而能夠?qū)Υ幚硪曨l的內(nèi)容進(jìn)行準(zhǔn)確理解。相較于聚類方式的關(guān)鍵幀提取方法，本申請實(shí)施例提供的方法中，能夠?qū)⒋幚硪曨l中的所有場景類別識別出來。而聚類方式中的場景類別是提前設(shè)定好的，并不能準(zhǔn)確對應(yīng)于待處理視頻真正的場景類別，具有一定的局限性。而本實(shí)施例提供的關(guān)鍵幀提取方法結(jié)合主動(dòng)學(xué)習(xí)技術(shù)，能夠?qū)崿F(xiàn)更加全面、準(zhǔn)確和靈活的關(guān)鍵幀提取過程。[0093]本發(fā)明公開了一種基于主動(dòng)學(xué)習(xí)的視頻關(guān)鍵幀提取方法。首先按最近鄰規(guī)則構(gòu)建第一有向網(wǎng)絡(luò)圖，并選取模糊性值最大的連邊所對應(yīng)的兩個(gè)幀節(jié)點(diǎn)組成的幀節(jié)點(diǎn)對交由用戶進(jìn)行判斷，從而確定該節(jié)點(diǎn)對是否屬于同一類場景。若用戶判定不相似，則以該連邊的源節(jié)點(diǎn)為基準(zhǔn)，按照與代表幀節(jié)點(diǎn)集