CN120220035A 一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)_第1頁
CN120220035A 一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)_第2頁
CN120220035A 一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)_第3頁
CN120220035A 一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)_第4頁
CN120220035A 一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)_第5頁
已閱讀5頁,還剩19頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

(19)國家知識產(chǎn)權(quán)局王光永限公司37105GO6V20/40(2022.0一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)本發(fā)明公開了一種基于時序預(yù)測的快速視信息,形成初始狀態(tài)向量xo,并初始化時序狀態(tài)集中于預(yù)測的感興趣區(qū)域(RegionofInterest,21.一種基于時序預(yù)測的快速視頻審核方法,其特征在于,包括以下步驟:步驟S1:構(gòu)建時序狀態(tài)預(yù)測模型,并對視頻流的初始幀進(jìn)行全局掃描,調(diào)用目標(biāo)檢測算法識別并定位目標(biāo);步驟S2:提取目標(biāo)在初始幀中的狀態(tài)信息,形成初始狀態(tài)向量Xo,并初始化時序狀態(tài)預(yù)測模型;步驟S3:使用初始化后的時序狀態(tài)預(yù)測模型對初始幀后的每一幀進(jìn)行迭代循環(huán)處理,完成視頻審核。2.根據(jù)權(quán)利要求1所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,所述步驟S2中,目標(biāo)在初始幀中的狀態(tài)信息包括但不限于:感興趣目標(biāo)的位置信息(Px,Py)、尺寸信息(w,h),以及通過多幀數(shù)據(jù)估算運動參數(shù),所述運動參數(shù)包括但不限于速度信息(vx,vy)、加速度信息(ax,ay)。3.根據(jù)權(quán)利要求1所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,所述步驟S3,包括以下步驟:S31:定義初始幀后的每一幀為當(dāng)前幀k,基于前一幀的修正狀態(tài)Xk-1,通過時序狀態(tài)預(yù)測模型預(yù)測當(dāng)前幀k的狀態(tài)Xk|k-1;S32:根據(jù)預(yù)測狀態(tài)Xk|k-1的位置信息和尺寸信息,在當(dāng)前幀生成感興趣區(qū)域,所述感興S33:在感興趣區(qū)域內(nèi)執(zhí)行目標(biāo)分析,所述目標(biāo)分析包括但不限于:精準(zhǔn)定位、特征提S34:若目標(biāo)在感興趣區(qū)域內(nèi)被檢測到,則獲取目標(biāo)的測量狀態(tài),利用Zk修正時序狀態(tài)預(yù)測模型,輸入后驗狀態(tài)Xk,作為下一幀預(yù)測的輸入。4.根據(jù)權(quán)利要求2所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,感興趣區(qū)域的生成滿足以下條件:5.根據(jù)權(quán)利要求3所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,目標(biāo)分析包括但不限于:基于深度學(xué)習(xí)的檢測器對感興趣區(qū)域內(nèi)的目標(biāo)進(jìn)行精確定位;提取目標(biāo)的紋理、顏色或形狀特征用于增強跟蹤魯棒性;通過分類模型識別目標(biāo)的類別屬性。6.根據(jù)權(quán)利要求1所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,模型修正采用卡爾曼增益計算預(yù)測狀態(tài)與測量狀態(tài)的加權(quán)融合,或通過反向傳播算法更新深度學(xué)習(xí)模型的權(quán)重參數(shù)。7.根據(jù)權(quán)利要求3所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,所述步驟S3,還包括:若連續(xù)n幀未檢測到目標(biāo)或預(yù)測偏差超出閾值,暫停感興趣區(qū)域分析并觸發(fā)全局掃描,通過全局掃描重新捕獲目標(biāo)或發(fā)現(xiàn)新目標(biāo),并根據(jù)掃描結(jié)果重新初始化或終止跟蹤。38.根據(jù)權(quán)利要求7所述的一種基于時序預(yù)測的快速視頻審核方法,其特征在于,觸發(fā)全局掃描的條件包括但不限于:固定時間間隔觸發(fā);目標(biāo)丟失事件觸發(fā);場景突變事件觸發(fā)。9.一種基于如權(quán)利要求1所述的基于時序預(yù)測的快速視頻審核方法的審核系統(tǒng),其特初始化模塊,用于執(zhí)行全局掃描、目標(biāo)檢測及初始狀態(tài)提??;時序預(yù)測模塊,用于根據(jù)歷史狀態(tài)預(yù)測當(dāng)前幀的目標(biāo)狀態(tài);ROI生成模塊,用于動態(tài)劃定感興趣區(qū)域;局部分析模塊,用于在ROI內(nèi)執(zhí)行目標(biāo)分析任務(wù);狀態(tài)修正模塊,用于融合預(yù)測與測量數(shù)據(jù)以更新模型;容錯控制模塊,用于處理目標(biāo)丟失事件并觸發(fā)全局掃描。10.根據(jù)權(quán)利要求9所述的一種審核系統(tǒng),其特征在于,所述時序預(yù)測模塊支持多模型切換,包括但不限于:卡爾曼濾波、粒子濾波及LSTM網(wǎng)絡(luò),且根據(jù)場景復(fù)雜度動態(tài)選擇最優(yōu)模型。4一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)技術(shù)領(lǐng)域[0001]本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域,具體是一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng)。背景技術(shù)[0002]隨著視頻監(jiān)控、內(nèi)容審核、行為分析等應(yīng)用的普及,對海量視頻數(shù)據(jù)進(jìn)行高效、準(zhǔn)確地處理分析已成為一項重要需求。傳統(tǒng)的視頻審核或分析方法通常涉及對視頻的每一幀進(jìn)行全局掃描和目標(biāo)檢測。雖然這種方法能夠獲取全面的信息,但在處理高分辨率、高幀率的視頻流時,需要消耗大量的計算資源(如CPU、GPU處理時間)和帶寬資源,導(dǎo)致處理速度[0003]為了提高效率,研究人員提出了一些基于目標(biāo)跟蹤的方法。然而,現(xiàn)有的方法可能未能充分利用目標(biāo)的運動狀態(tài)信息來主動預(yù)測其未來位置,或者局限于特定的跟蹤算法。[0004]因此,當(dāng)前迫切需要一種能夠顯著降低計算復(fù)雜度、提高視頻審核處理速度的技術(shù)方案。發(fā)明內(nèi)容[0005]本發(fā)明的目的在于提供一種基于時序預(yù)測的快速視頻審核方法及系統(tǒng),它通過預(yù)(RegionofInterest,ROI)進(jìn)行掃描和識別,而非進(jìn)行全局掃描,從而大幅節(jié)省計算資源,提升審核效率。[0006]本發(fā)明為實現(xiàn)上述目的,通過以下技術(shù)方案實現(xiàn):一方面,本發(fā)明提供一種基于時序預(yù)測的快速視頻審核方法,包括以下步驟:步驟S1:構(gòu)建時序狀態(tài)預(yù)測模型,并對視頻流的初始幀進(jìn)行全局掃描,調(diào)用目標(biāo)檢測算法識別并定位目標(biāo);步驟S2:提取目標(biāo)在初始幀中的狀態(tài)信息,形成初始狀態(tài)向量xo,并初始化時序狀態(tài)預(yù)測模型;步驟S3:使用初始化后的時序狀態(tài)預(yù)測模型對初始幀后的每一幀進(jìn)行迭代循環(huán)處[0007]優(yōu)選的,所述步驟S2中,目標(biāo)在初始幀中的狀態(tài)信息包括但不限于:感興趣目標(biāo)的位置信息(Px,Py)、尺寸信息(w,h),以及通過多幀數(shù)據(jù)估算運動參數(shù),所述運動參數(shù)包括但不限于速度信息(vx,vy)、加速度信息(ax,ay)。[0008]優(yōu)選的,所述步驟S3,包括以下步驟:S31:定義初始幀后的每一幀為當(dāng)前幀k,基于前一幀的修正狀態(tài)Xk-1,通過時序狀態(tài)預(yù)測模型預(yù)測當(dāng)前幀k的狀態(tài)Xk|k-1;S32:根據(jù)預(yù)測狀態(tài)Xk|k-1的位置信息和尺寸信息,在當(dāng)前幀生成感興趣區(qū)域,所5S33:在感興趣區(qū)域內(nèi)執(zhí)行目標(biāo)分析,所述目標(biāo)分析包括但不限于:精準(zhǔn)定位、特征S34:若目標(biāo)在感興趣區(qū)域內(nèi)被檢測到,則獲取目標(biāo)的測量狀Zk態(tài),利用Zk修正時序狀態(tài)預(yù)測模型,輸入后驗狀態(tài)Xk,作為下一幀預(yù)測的輸入?;谏疃葘W(xué)習(xí)的檢測器對感興趣區(qū)域內(nèi)的目標(biāo)進(jìn)行精確定位;提取目標(biāo)的紋理、顏色或形狀特征用于增強跟蹤魯棒性;通過分類模型識別目標(biāo)的類別屬性。[0011]優(yōu)選的,模型修正采用卡爾曼增益計算預(yù)測狀態(tài)與測量狀態(tài)的加權(quán)融合,或通過反向傳播算法更新深度學(xué)習(xí)模型的權(quán)重參數(shù)。若連續(xù)n幀未檢測到目標(biāo)或預(yù)測偏差超出閾值,暫停感興趣區(qū)域分析并觸發(fā)全局掃描,通過全局掃描重新捕獲目標(biāo)或發(fā)現(xiàn)新目標(biāo),并根據(jù)掃描結(jié)果重新初始化或終止跟蹤。[0014]另一方面,提供一種基于如上述的基于時序預(yù)測的快速視頻審核方法的審核系時序預(yù)測模塊,用于根據(jù)歷史狀態(tài)預(yù)測當(dāng)前幀的目標(biāo)狀態(tài);局部分析模塊,用于在ROI內(nèi)執(zhí)行目標(biāo)分析任狀態(tài)修正模塊,用于融合預(yù)測與測量數(shù)據(jù)以更新模型;容錯控制模塊,用于處理目標(biāo)丟失事件并觸發(fā)全局掃描。[0015]優(yōu)選的,所述時序預(yù)測模塊支持多模型切換,包括但不限于:卡爾曼濾波、粒子濾[0016]對比現(xiàn)有技術(shù),本發(fā)明的有益效果在于:1、大幅提升審核效率:通過將分析計算集中在預(yù)測的感興趣區(qū)域(ROI),而非全幀處理,顯著減少了每一幀所需的計算量,從而加快了視頻審核的整體速度;2、顯著降低計算資源消耗:由于僅對ROI進(jìn)行目標(biāo)檢測、識別等復(fù)雜分析,避免了對視頻幀中大量背景或非相關(guān)區(qū)域的冗余計算,有效節(jié)省了處理器、內(nèi)存等硬件資源;3、對高分辨率視頻適應(yīng)性更強且優(yōu)勢更明顯:隨著視頻分辨率的提升,像素總量呈乘法級增長,導(dǎo)致傳統(tǒng)全幀分析的計算負(fù)擔(dān)急劇增加。本方法通過聚焦ROI,其計算量基本與目標(biāo)大小相關(guān)而與整體分辨率的增長關(guān)系不大,因此分辨率越高,本方法在效率提升和資源節(jié)省方面的優(yōu)勢越突出;4、持續(xù)優(yōu)化預(yù)測精度:通過在ROI內(nèi)成功找到目標(biāo)后,利用其最新的測量狀態(tài)來更6新時序狀態(tài)預(yù)測模型,實現(xiàn)了對目標(biāo)狀態(tài)的持續(xù)跟蹤和預(yù)測模型的迭代優(yōu)化,有助于在后續(xù)幀中更準(zhǔn)確地預(yù)測目標(biāo)位置和定義ROI。附圖說明[0017]圖1是本發(fā)明的方法流程圖;圖2,其中A為本發(fā)明的初始檢測框圍繞檢測到的人臉例圖;B為本發(fā)明的基于圖2中A使用Alpha-Beta預(yù)測生成的ROI例圖;C為本發(fā)明的基于圖2中B截取的擴(kuò)展后的ROI例圖;D為本發(fā)明的基于圖2中C內(nèi)部人臉識別得到結(jié)果并框出人臉位置的示例圖;圖3是本發(fā)明的基于Alpha-Beta模型預(yù)測-識別-預(yù)測的完整過程可視化例圖,圖4,其中A為本發(fā)明的初始化粒子濾波器的示例圖;B為本發(fā)明的基于圖4中A擴(kuò)展之后的感興趣區(qū)域ROI;C為本發(fā)明的基于圖4中B的感興趣區(qū)域ROI截取示例圖;D為本發(fā)明的基于圖4中C內(nèi)部人臉識別得到結(jié)果并框出人臉位置的示例圖;圖5是本發(fā)明的基于粒子濾波器模型預(yù)測-識別-預(yù)測的完整過程可視化例圖,其圖6是本發(fā)明的基于粒子濾波器模型丟失目標(biāo)并重新捕獲的完整過程可視化例圖7是本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖。具體實施方式[0018]下面結(jié)合具體實施例,進(jìn)一步闡述本發(fā)明。應(yīng)理解,這些實施例僅用于說明而不用于限制本發(fā)明的范圍。此外應(yīng)理解,在閱讀了本發(fā)明講授的內(nèi)容之后,本領(lǐng)域技術(shù)人員可以對本發(fā)明作各種改動或修改,這些等價形式同樣落于本申請所限定的范圍。[0019]在本發(fā)明中,術(shù)語如“上”、“下”、“左”、“右”、“前”、“后”、“豎直”、“水平”、“側(cè)”、“底”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系,只是為了便于敘述本發(fā)明各部件或元件結(jié)構(gòu)關(guān)系而確定的關(guān)系詞,并非特指本發(fā)明中任一部件或元件,不能理解為對本發(fā)明的限制。[0020]實施例1:如圖1所示,本實施例提供基于Alpha-Beta濾波器作為時序狀態(tài)預(yù)測模型的一種基于時序預(yù)測的快速視頻審核方法,包括以下步驟:步驟S1:構(gòu)建時序狀態(tài)預(yù)測模型,并對視頻流的初始幀進(jìn)行全局掃描,調(diào)用目標(biāo)檢測算法識別并定位目標(biāo);步驟S2:提取目標(biāo)在初始幀中的狀態(tài)信息,形成初始狀態(tài)向量Xo,并初始化時序狀態(tài)預(yù)測模型;步驟S3:使用初始化后的時序狀態(tài)預(yù)測模型對初始幀后的每一幀進(jìn)行迭代循環(huán)處[0021]其中,步驟S1-S2在本實施例中可以視為“初始化”階段(冷啟動過程),步驟S1可以7首先通過全局圖像掃描方式(如常規(guī)的目標(biāo)檢測算法)檢測感興趣的目標(biāo)。一旦目標(biāo)被檢測到,如圖2中A所示的初始檢測框圍繞檢測到的人臉,在視頻的第一幀,其初始測量狀態(tài)包括中心位置(px,mo,Py,mo)和尺寸(Wmo,hmo),被用來初始化Alpha-Beta濾xk=[px,Py,w,h,px,py,w,包含目標(biāo)的位置、尺寸及其各自的變化率(速度)。初始時,位置和尺寸分量設(shè)為測量值,而所有變化率分量(速度Px、Py,和尺寸變化率w、h)通常設(shè)為零。S31:定義初始幀后的每一幀為當(dāng)前幀k,基于前一幀的修正狀態(tài)Xk-1,通過時序狀態(tài)預(yù)測模型預(yù)測當(dāng)前幀k的狀態(tài)Xk|k-1;(“時序狀態(tài)預(yù)測”階段)S32:根據(jù)預(yù)測狀態(tài)Xk|k-1的位置信息和尺寸信息,在當(dāng)前幀生成感興趣區(qū)域,所述感興趣區(qū)域的尺寸為預(yù)測尺寸與放大系數(shù)αROI的乘積,其中αROI≥1;(“感興趣區(qū)域S33:在感興趣區(qū)域內(nèi)執(zhí)行目標(biāo)分析,所述目標(biāo)分析包括但不限于:精準(zhǔn)定位、特征S34:若目標(biāo)在感興趣區(qū)域內(nèi)被檢測到,則獲取目標(biāo)的測量狀態(tài)Zk,利用Zk修正時對于后續(xù)的每一幀k,利用k-1時刻經(jīng)過修正的狀態(tài)Xk-1|k-1,Alpha-Beta濾波器預(yù)測當(dāng)前幀k的目標(biāo)狀態(tài)xk|k-1。預(yù)測過程基于簡化的動態(tài)模型,例如勻速運動和勻速尺寸變化模型:預(yù)測位置:新位置預(yù)測值=舊位置+舊速度×△t;速度和尺寸變化率通常被預(yù)測為保持不變:新速度預(yù)測值=舊速度;其中△t是幀間的時間間隔。根據(jù)預(yù)測得到的目標(biāo)狀態(tài)klk-1中的預(yù)測位置(Px,klk-1,Py,k|k-1)和預(yù)測尺寸(Wk|k-1,hklk-1),結(jié)合一個預(yù)設(shè)的或自適應(yīng)的放大系數(shù)αROI(例如1.8),生成一個預(yù)測的感興趣區(qū)域(ROI)。該ROI預(yù)計將包含目標(biāo)在當(dāng)前幀的實際位置。(如圖2中B所示,紫色虛線框為基于Alpha-Beta預(yù)測生成的ROI,黃色虛線為使用擴(kuò)展系數(shù)擴(kuò)展之后的ROI)如圖2中C所示,人臉識別會在此區(qū)域內(nèi)部掃描人臉即:僅在“感興趣區(qū)域(ROI)生若在ROI內(nèi)成功檢測到目標(biāo)(如圖2中D所示,綠色框為在ROI內(nèi)檢測到的目標(biāo)),則8獲取當(dāng)前的測量狀態(tài)zk=[px,m,k,Py,m,k殘差=測量值一預(yù)測值(針對各分量分別計算);本實施例提供基于粒子濾波器作為時序狀態(tài)預(yù)測模型的一種基于時序預(yù)測的快初始測量狀態(tài)zo=[px,m?,Py,m?,Wmo,hmo]后,系統(tǒng)初始化Np個粒子(本示例這些粒子通常通過在Z?周圍依據(jù)某個初始不確定性分布(例如高斯分布)采樣生成(如附圖4中A所示,圖中眾多粒子圍繞初始目標(biāo)散布,紫框為預(yù)測框位置)。所有粒子的初始權(quán)重對于后續(xù)幀k,每個粒子xk-{9k-1(來自上一幀更新和重采樣后的粒子集合)根據(jù)一個預(yù)設(shè)的動態(tài)模型進(jìn)行傳播(演化),以得到

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論