基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究學(xué)位申請(qǐng)人：謝明華指導(dǎo)老師：彭進(jìn)業(yè)教授2006年6月13日基于二維圖像分割的視1內(nèi)容提綱：背景及意義基于二維圖像分割的鏡頭邊界檢測(cè)總結(jié)與展望內(nèi)容提綱：背景及意義2一、背景及意義視頻邊界的概念 一個(gè)鏡頭(shot)是相機(jī)的一次連續(xù)拍攝，代表的是時(shí)間和空間上一組連續(xù)的動(dòng)作,是一系列相互關(guān)聯(lián)的連續(xù)幀的組合。 視頻中一秒鐘包含20-30幅幀圖像。一、背景及意義視頻邊界的概念3一、背景及意義鏡頭邊界類型一、背景及意義鏡頭邊界類型4一、背景及意義當(dāng)人們要查找多媒體視頻中感興趣的信息時(shí)，如果視頻時(shí)間短，可以通過(guò)手工調(diào)整時(shí)間碼的方式來(lái)進(jìn)行檢索，但是面對(duì)大量的多媒體視頻時(shí)，記住某一段視頻的時(shí)間位置并快速將其找出是不現(xiàn)實(shí)的。用手工控制時(shí)間碼瀏覽的方式顯然不能滿足對(duì)大量視頻進(jìn)行檢索的要求。為了有效地利用多媒體信息，人們需要對(duì)其進(jìn)行自動(dòng)的組織、索引以方便語(yǔ)義、內(nèi)容上的檢索，基于內(nèi)容的視頻檢索技術(shù)正是基于這一需求而產(chǎn)生的，并且受到了越來(lái)越廣泛的重視。一、背景及意義當(dāng)人們要查找多媒體視頻中感興趣的5一、背景及意義經(jīng)典鏡頭邊界檢測(cè)方法：

1.像素比較和塊匹配法 2.直方圖比較法 3.基于邊緣的方法 4.壓縮域中的方法

一、背景及意義經(jīng)典鏡頭邊界檢測(cè)方法：6二、基于二維圖像分割的鏡頭邊界檢測(cè)視頻的二維時(shí)空?qǐng)D

采樣二、基于二維圖像分割的鏡頭邊界檢測(cè)視頻的二維時(shí)空?qǐng)D采樣7

時(shí)空二維圖（2350幀）時(shí)空二維圖（2350幀）8突變邊界

突變邊界92.溶解邊界

2.溶解邊界103.淡入淡出邊界

3.淡入淡出邊界114.掃換邊界

突變掃換溶解掃換4.掃換邊界突變掃換溶解掃換12

131、突變邊界檢測(cè)

①分別求三幅時(shí)空二維圖梯度

②使用自適應(yīng)閾值檢測(cè)突變像素點(diǎn)

③定位突變邊界

1、突變邊界檢測(cè) 14二、基于二維圖像分割的鏡頭邊界檢測(cè)二、基于二維圖像分割的鏡頭邊界檢測(cè)152、溶解邊界檢測(cè) 溶解邊界在時(shí)空二維圖上是前一鏡頭二維圖的亮度逐漸減小與后一鏡頭二維圖亮度逐漸增加同時(shí)發(fā)生的過(guò)程，這樣溶解邊界的二維圖在水平方向的斜率會(huì)明顯大于鏡頭內(nèi)部象素的斜率。由于攝像機(jī)及視頻物體的運(yùn)動(dòng)，鏡頭內(nèi)部在時(shí)空二維圖上的紋理經(jīng)常會(huì)出現(xiàn)傾斜或者包含復(fù)雜的邊緣?？紤]到這些影響以及運(yùn)算的復(fù)雜度，本文在下了三個(gè)方向取像素線段計(jì)算像素點(diǎn)的斜率。

2、溶解邊界檢測(cè) 溶解邊界在時(shí)空二維圖上是前一16基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件17基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件18

最小誤差

斜率/誤差

19基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件20基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件213、淡入淡出邊界檢測(cè) 如果把單色幀序列看作單色鏡頭，那么淡入可以看作單色鏡頭的逐漸消失和后一鏡頭的逐漸顯現(xiàn)的溶解過(guò)程，淡出則恰好相反。本文先利用淡入淡出邊界包含單色幀的特征對(duì)其進(jìn)行檢測(cè)

3、淡入淡出邊界檢測(cè) 如果把單色幀序列看作單色22單色幀的方差相對(duì)普通視頻幀要小得多，同理，在時(shí)空二維圖上，單色幀對(duì)應(yīng)的列的方差也比非單色的列要小，計(jì)算時(shí)空二維圖每一列的方差單色幀的方差相對(duì)普通視頻幀要小得多，同理，在時(shí)空二維圖上，單23基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件24用方差的方法可以檢測(cè)出單色幀或者近似單色幀序列是否存在。但是，單色幀序列只是淡入淡出邊界的一部分，淡入淡出邊界的開始和結(jié)束部分的幀（或淡入的結(jié)束部分、淡出的開始部分）并不是單色的，所以這樣檢測(cè)出來(lái)的淡入淡出邊界并不能精確地定位淡入淡出的起止位置因?yàn)榈氲龊腿芙獾南嗨菩?，我們用溶解邊界檢測(cè)的方法對(duì)淡入淡出邊界的起始和終止位置進(jìn)行定位用方差的方法可以檢測(cè)出單色幀或者近似單色幀序列是否存在。但是25基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件264、掃換邊界檢測(cè)（1）突變掃換邊界檢測(cè)

突變掃換的檢測(cè)可以分解為單象素突變邊界檢測(cè)

4、掃換邊界檢測(cè)（1）突變掃換邊界檢測(cè)27

突變掃換示例突變掃換示例28基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件294、掃換邊界檢測(cè)（2）溶解掃換邊界檢測(cè)溶解掃換邊界處具有溶解邊界處像素斜率偏大特征，所以我們采用類似于溶解邊界檢測(cè)的算法來(lái)檢測(cè)溶解掃換邊界。 溶解掃換邊界與溶解邊界在時(shí)空二維圖上的區(qū)別在于溶解掃換邊界斜率偏高的部分并不一定在垂直方向上，它可能是傾斜的也有可能是彎曲的。所以如果仍然按照溶解邊界檢測(cè)的方法在三個(gè)方向上求像素點(diǎn)的斜率的話，容易忽略掉溶解掃換邊界的開始和結(jié)束部分。所以，在計(jì)算像素點(diǎn)斜率的時(shí)候，僅考慮水平方向。

4、掃換邊界檢測(cè)（2）溶解掃換邊界檢測(cè)30溶解掃換示例溶解掃換示例31溶解掃換檢測(cè)過(guò)程溶解掃換檢測(cè)過(guò)程32二、基于二維圖像分割的鏡頭邊界檢測(cè)閃光的處理照相機(jī)閃光燈、閃電等都會(huì)造成視頻幀的亮度突變。視頻中的閃光持續(xù)時(shí)間很短，亮度變化很大，但閃光過(guò)后，圖像幀中的內(nèi)容卻與原來(lái)相差很小二、基于二維圖像分割的鏡頭邊界檢測(cè)閃光的處理33基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件34二、基于二維圖像分割的鏡頭邊界檢測(cè)性能評(píng)價(jià)標(biāo)準(zhǔn)本文采用檢出率（Recall）和準(zhǔn)確率(Precision)作為視頻鏡頭邊界檢測(cè)算法的評(píng)價(jià)標(biāo)準(zhǔn)。

二、基于二維圖像分割的鏡頭邊界檢測(cè)性能評(píng)價(jià)標(biāo)準(zhǔn)35突變檢測(cè)結(jié)果及比較突變檢測(cè)結(jié)果及比較36基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件37溶解檢測(cè)結(jié)果及比較溶解檢測(cè)結(jié)果及比較38誤檢溶解邊界誤檢溶解邊界39漏檢溶解邊界漏檢溶解邊界40淡入淡出檢測(cè)結(jié)果及比較淡入淡出檢測(cè)結(jié)果及比較41本文對(duì)使用WindowsMovieMaker軟件編輯成了突變掃換、溶解掃換兩類掃換類型進(jìn)行了檢測(cè)，實(shí)驗(yàn)結(jié)果表明本文方法能準(zhǔn)確檢測(cè)和定位掃換邊界。與MinGyoChung的方法比較，突變掃換邊界的檢測(cè)結(jié)果與MinGyoChung算法效果類似，但是MinGyoChung的算法完全不能檢測(cè)溶解掃換邊界。本文對(duì)使用WindowsMovieMaker軟件編輯成了42漏檢誤檢漏檢誤檢43四、總結(jié)與展望研究了現(xiàn)有基于時(shí)空二維圖的突變邊界檢測(cè)方法并提出了基于梯度的突變檢測(cè)方法的改進(jìn)算法，在時(shí)空二維圖上對(duì)運(yùn)動(dòng)進(jìn)行了補(bǔ)償并且在像素級(jí)別上檢測(cè)突變邊界，將發(fā)生突變的像素的個(gè)數(shù)占整列像素的比率作為關(guān)于突變的不連續(xù)值。提出了一種基于時(shí)空二維圖像分割的漸變邊界檢測(cè)方法。對(duì)于溶解邊界，利用溶解邊界處像素與相鄰像素的變化率普遍比鏡頭內(nèi)部的大的特點(diǎn)，選擇像素水平、正對(duì)角線、負(fù)對(duì)角線三個(gè)方向誤差最小的斜率作為該像素的斜率，較大地克服了運(yùn)動(dòng)、時(shí)空二維圖紋理彎曲因素的影響；利用淡入淡出邊界包含單色幀的特征采用基于方差的方法檢測(cè)淡入淡出邊界，然后使用溶解邊界檢測(cè)的方法對(duì)淡入淡出邊界進(jìn)行定位；將掃換邊界分為突變掃換和溶解掃換兩類進(jìn)行檢測(cè)，利用上述的突變和溶解邊界的檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)各類視頻都能得到很好的檢出率和準(zhǔn)確率。四、總結(jié)與展望研究了現(xiàn)有基于時(shí)空二維圖的突變邊44四、總結(jié)與展望視頻鏡頭邊界檢測(cè)只是基于內(nèi)容視頻檢索的開始，如何實(shí)現(xiàn)在基于內(nèi)容的視頻檢索的實(shí)用化還有很長(zhǎng)的一段路要走。在視頻鏡頭的檢測(cè)中不明顯的鏡頭變換、視頻對(duì)象的激烈運(yùn)動(dòng)、強(qiáng)烈的光照變換等仍然會(huì)對(duì)鏡頭的準(zhǔn)確檢測(cè)和精確定位帶來(lái)影響，提高視頻邊界檢測(cè)算法的魯棒性仍然是一個(gè)有價(jià)值的研究課題。結(jié)合多媒體數(shù)據(jù)中語(yǔ)音、字幕等特征對(duì)視頻進(jìn)行分段。進(jìn)行關(guān)鍵幀提取、場(chǎng)景、故事單元?jiǎng)澐值冗M(jìn)一步的工作，并結(jié)合時(shí)空二維圖的顏色、紋理等多種特征進(jìn)行視頻分段以及對(duì)視頻物體、攝像機(jī)的運(yùn)動(dòng)進(jìn)行分析。在精確檢測(cè)和定位視頻鏡頭邊界的基礎(chǔ)上，進(jìn)行視頻檢索系統(tǒng)的研究。四、總結(jié)與展望視頻鏡頭邊界檢測(cè)只是基于內(nèi)容視頻檢索的開始，如45請(qǐng)各位老師和同學(xué)提出寶貴意見(jiàn)謝謝！請(qǐng)各位老師和同學(xué)46評(píng)審專家所提問(wèn)題：1.說(shuō)明邊界檢測(cè)的實(shí)時(shí)性和對(duì)快速運(yùn)動(dòng)目標(biāo)圖像的適應(yīng)能力。2.為什么在基于斜率的溶解邊界的檢測(cè)中只考慮在水平方向、正對(duì)角線方向取像素線段，而忽視垂直方向的影響？實(shí)驗(yàn)中若加入垂直方向的影響對(duì)檢測(cè)結(jié)果和運(yùn)行速度有何影響？3.說(shuō)明你所采取的克服漸變邊界定位偏差的手段。評(píng)審專家所提問(wèn)題：1.說(shuō)明邊界檢測(cè)的實(shí)時(shí)性和對(duì)快速運(yùn)動(dòng)目標(biāo)圖47基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究學(xué)位申請(qǐng)人：謝明華指導(dǎo)老師：彭進(jìn)業(yè)教授2006年6月13日基于二維圖像分割的視48內(nèi)容提綱：背景及意義基于二維圖像分割的鏡頭邊界檢測(cè)總結(jié)與展望內(nèi)容提綱：背景及意義49一、背景及意義視頻邊界的概念 一個(gè)鏡頭(shot)是相機(jī)的一次連續(xù)拍攝，代表的是時(shí)間和空間上一組連續(xù)的動(dòng)作,是一系列相互關(guān)聯(lián)的連續(xù)幀的組合。 視頻中一秒鐘包含20-30幅幀圖像。一、背景及意義視頻邊界的概念50一、背景及意義鏡頭邊界類型一、背景及意義鏡頭邊界類型51一、背景及意義當(dāng)人們要查找多媒體視頻中感興趣的信息時(shí)，如果視頻時(shí)間短，可以通過(guò)手工調(diào)整時(shí)間碼的方式來(lái)進(jìn)行檢索，但是面對(duì)大量的多媒體視頻時(shí)，記住某一段視頻的時(shí)間位置并快速將其找出是不現(xiàn)實(shí)的。用手工控制時(shí)間碼瀏覽的方式顯然不能滿足對(duì)大量視頻進(jìn)行檢索的要求。為了有效地利用多媒體信息，人們需要對(duì)其進(jìn)行自動(dòng)的組織、索引以方便語(yǔ)義、內(nèi)容上的檢索，基于內(nèi)容的視頻檢索技術(shù)正是基于這一需求而產(chǎn)生的，并且受到了越來(lái)越廣泛的重視。一、背景及意義當(dāng)人們要查找多媒體視頻中感興趣的52一、背景及意義經(jīng)典鏡頭邊界檢測(cè)方法：

1.像素比較和塊匹配法 2.直方圖比較法 3.基于邊緣的方法 4.壓縮域中的方法

一、背景及意義經(jīng)典鏡頭邊界檢測(cè)方法：53二、基于二維圖像分割的鏡頭邊界檢測(cè)視頻的二維時(shí)空?qǐng)D

采樣二、基于二維圖像分割的鏡頭邊界檢測(cè)視頻的二維時(shí)空?qǐng)D采樣54

時(shí)空二維圖（2350幀）時(shí)空二維圖（2350幀）55突變邊界

突變邊界562.溶解邊界

2.溶解邊界573.淡入淡出邊界

3.淡入淡出邊界584.掃換邊界

突變掃換溶解掃換4.掃換邊界突變掃換溶解掃換59

601、突變邊界檢測(cè)

①分別求三幅時(shí)空二維圖梯度

②使用自適應(yīng)閾值檢測(cè)突變像素點(diǎn)

③定位突變邊界

1、突變邊界檢測(cè) 61二、基于二維圖像分割的鏡頭邊界檢測(cè)二、基于二維圖像分割的鏡頭邊界檢測(cè)622、溶解邊界檢測(cè) 溶解邊界在時(shí)空二維圖上是前一鏡頭二維圖的亮度逐漸減小與后一鏡頭二維圖亮度逐漸增加同時(shí)發(fā)生的過(guò)程，這樣溶解邊界的二維圖在水平方向的斜率會(huì)明顯大于鏡頭內(nèi)部象素的斜率。由于攝像機(jī)及視頻物體的運(yùn)動(dòng)，鏡頭內(nèi)部在時(shí)空二維圖上的紋理經(jīng)常會(huì)出現(xiàn)傾斜或者包含復(fù)雜的邊緣?？紤]到這些影響以及運(yùn)算的復(fù)雜度，本文在下了三個(gè)方向取像素線段計(jì)算像素點(diǎn)的斜率。

2、溶解邊界檢測(cè) 溶解邊界在時(shí)空二維圖上是前一63基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件64基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件65

最小誤差

斜率/誤差

66基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件67基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件683、淡入淡出邊界檢測(cè) 如果把單色幀序列看作單色鏡頭，那么淡入可以看作單色鏡頭的逐漸消失和后一鏡頭的逐漸顯現(xiàn)的溶解過(guò)程，淡出則恰好相反。本文先利用淡入淡出邊界包含單色幀的特征對(duì)其進(jìn)行檢測(cè)

3、淡入淡出邊界檢測(cè) 如果把單色幀序列看作單色69單色幀的方差相對(duì)普通視頻幀要小得多，同理，在時(shí)空二維圖上，單色幀對(duì)應(yīng)的列的方差也比非單色的列要小，計(jì)算時(shí)空二維圖每一列的方差單色幀的方差相對(duì)普通視頻幀要小得多，同理，在時(shí)空二維圖上，單70基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件71用方差的方法可以檢測(cè)出單色幀或者近似單色幀序列是否存在。但是，單色幀序列只是淡入淡出邊界的一部分，淡入淡出邊界的開始和結(jié)束部分的幀（或淡入的結(jié)束部分、淡出的開始部分）并不是單色的，所以這樣檢測(cè)出來(lái)的淡入淡出邊界并不能精確地定位淡入淡出的起止位置因?yàn)榈氲龊腿芙獾南嗨菩?，我們用溶解邊界檢測(cè)的方法對(duì)淡入淡出邊界的起始和終止位置進(jìn)行定位用方差的方法可以檢測(cè)出單色幀或者近似單色幀序列是否存在。但是72基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件734、掃換邊界檢測(cè)（1）突變掃換邊界檢測(cè)

突變掃換的檢測(cè)可以分解為單象素突變邊界檢測(cè)

4、掃換邊界檢測(cè)（1）突變掃換邊界檢測(cè)74

突變掃換示例突變掃換示例75基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件764、掃換邊界檢測(cè)（2）溶解掃換邊界檢測(cè)溶解掃換邊界處具有溶解邊界處像素斜率偏大特征，所以我們采用類似于溶解邊界檢測(cè)的算法來(lái)檢測(cè)溶解掃換邊界。 溶解掃換邊界與溶解邊界在時(shí)空二維圖上的區(qū)別在于溶解掃換邊界斜率偏高的部分并不一定在垂直方向上，它可能是傾斜的也有可能是彎曲的。所以如果仍然按照溶解邊界檢測(cè)的方法在三個(gè)方向上求像素點(diǎn)的斜率的話，容易忽略掉溶解掃換邊界的開始和結(jié)束部分。所以，在計(jì)算像素點(diǎn)斜率的時(shí)候，僅考慮水平方向。

4、掃換邊界檢測(cè)（2）溶解掃換邊界檢測(cè)77溶解掃換示例溶解掃換示例78溶解掃換檢測(cè)過(guò)程溶解掃換檢測(cè)過(guò)程79二、基于二維圖像分割的鏡頭邊界檢測(cè)閃光的處理照相機(jī)閃光燈、閃電等都會(huì)造成視頻幀的亮度突變。視頻中的閃光持續(xù)時(shí)間很短，亮度變化很大，但閃光過(guò)后，圖像幀中的內(nèi)容卻與原來(lái)相差很小二、基于二維圖像分割的鏡頭邊界檢測(cè)閃光的處理80基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件81二、基于二維圖像分割的鏡頭邊界檢測(cè)性能評(píng)價(jià)標(biāo)準(zhǔn)本文采用檢出率（Recall）和準(zhǔn)確率(Precision)作為視頻鏡頭邊界檢測(cè)算法的評(píng)價(jià)標(biāo)準(zhǔn)。

二、基于二維圖像分割的鏡頭邊界檢測(cè)性能評(píng)價(jià)標(biāo)準(zhǔn)82突變檢測(cè)結(jié)果及比較突變檢測(cè)結(jié)果及比較83基于二維圖像分割的視頻鏡頭邊界檢測(cè)方法研究課件84溶解檢測(cè)結(jié)果及比較溶解檢測(cè)結(jié)果及比較85誤檢溶解邊界誤檢溶解邊界86漏檢溶解邊界漏檢溶解邊界87淡入淡出檢測(cè)結(jié)果及比較淡入淡出檢測(cè)結(jié)果及比較88本文對(duì)使用WindowsMovieMaker軟件編輯成了突變掃換、溶解掃換兩類掃換類型進(jìn)行了檢測(cè)，實(shí)驗(yàn)結(jié)果表明本文方法能準(zhǔn)確檢測(cè)和定位掃換邊界。與MinGyoChung的方法比較，突變掃換邊界的檢測(cè)結(jié)果與MinGyoChung算法效果類似，但是MinGyoChung的算法完全不能檢測(cè)溶解掃換邊界。本文對(duì)使用WindowsMovieMaker軟件編輯成了89漏檢誤檢漏檢誤檢90四、總結(jié)與展望研究了現(xiàn)有基于時(shí)空二維圖的突變邊界檢測(cè)方法并提出了基于梯度的突變檢測(cè)方法的改進(jìn)算法，在時(shí)空二維圖上對(duì)運(yùn)動(dòng)進(jìn)行了補(bǔ)償并且在像素級(jí)別上檢測(cè)突變邊界，將發(fā)生突變的像素的個(gè)數(shù)占整列像素的比率作為關(guān)于突變的不連續(xù)值。提出了一種基于時(shí)空二維圖像分割