多媒體內(nèi)容分析與檢索技術(shù)ppt課件現(xiàn)在是1頁(yè)\一共有83頁(yè)\編輯于星期五課程內(nèi)容及安排第一部分：數(shù)字媒體導(dǎo)論第二部分：數(shù)字媒體基礎(chǔ)數(shù)字彩色圖像基礎(chǔ)圖像/視頻處理基礎(chǔ)第三部分：數(shù)字媒體關(guān)鍵技術(shù)多媒體壓縮編碼技術(shù)多媒體分析與檢索技術(shù)多媒體通信技術(shù)數(shù)字版權(quán)管理技術(shù)2/80現(xiàn)在是2頁(yè)\一共有83頁(yè)\編輯于星期五教學(xué)目標(biāo)通過本章的學(xué)習(xí)，掌握“多媒體分析與檢索”這一多媒體領(lǐng)域最活躍研究方向的基本研究問題和方法，及其最新進(jìn)展。ACMMultimediaACMICMRICMEMMMICIMCSICCVCVPRICIPICPR…3/80現(xiàn)在是3頁(yè)\一共有83頁(yè)\編輯于星期五教學(xué)內(nèi)容多媒體檢索概論(2)基于內(nèi)容的圖像分析與檢索（CBIR）(2)視頻分析與檢索(3)音頻分析與檢索(1)4/80現(xiàn)在是4頁(yè)\一共有83頁(yè)\編輯于星期五一、多媒體檢索概論5/80現(xiàn)在是5頁(yè)\一共有83頁(yè)\編輯于星期五InternetVideos,Images,Audio,Flash,Aminations,…LocalVideos,Images,…如何從如此海量的多媒體數(shù)據(jù)中定位到你所感興趣的信息？Howtoeffectivelyorganize,manage,browse,retrieve?Image/VideoindexingshouldbeanalogoustotextdocumentindexingMultimediaAnalysisandRetrieval6/80現(xiàn)在是6頁(yè)\一共有83頁(yè)\編輯于星期五引言“多媒體搜索引擎”可以搜索多媒體文檔的搜索引擎多媒體文檔:可包含多種模態(tài),如文本、圖像、視頻、音頻等廣義的：可以搜索非文字信息的搜索引擎“視/聽覺”信息7/80現(xiàn)在是7頁(yè)\一共有83頁(yè)\編輯于星期五多媒體文檔的特點(diǎn)多媒體文檔包含豐富的非文字信息8/80現(xiàn)在是8頁(yè)\一共有83頁(yè)\編輯于星期五多媒體文檔的特點(diǎn)關(guān)鍵字對(duì)應(yīng)的非文字信息可能過于寬泛9/80麥浪滾滾現(xiàn)在是9頁(yè)\一共有83頁(yè)\編輯于星期五多媒體檢索概念提供多媒體的查詢輸入可以方便地輸入多媒體和文字查詢對(duì)多媒體文檔進(jìn)行多媒體索引特征索引：文本特征（字、詞、短語(yǔ)）、視覺特征（顏色直方圖、Gabor紋理、形狀特征、…）、音頻特征（音高、音調(diào)….）語(yǔ)義索引：元數(shù)據(jù)、概念、事件提供多媒體的結(jié)果顯示直觀地展示多媒體和文字信息直觀地展示深層信息跨文檔綜合（多媒體和文字信息）方便瀏覽大量文檔10/80現(xiàn)在是10頁(yè)\一共有83頁(yè)\編輯于星期五如何檢索？11/80現(xiàn)在是11頁(yè)\一共有83頁(yè)\編輯于星期五檢索方法1：基于文本(QBT)關(guān)鍵問題：如何獲得關(guān)鍵字標(biāo)注？方法1：手工標(biāo)注工作量巨大---不可行！即使對(duì)同一幅圖像，不同的人有不同的描述方法2：自動(dòng)標(biāo)注各種機(jī)器學(xué)習(xí)的算法性能不佳：只能提取少數(shù)概念，準(zhǔn)確率也低(<30%)12/80現(xiàn)在是12頁(yè)\一共有83頁(yè)\編輯于星期五檢索方法1：基于文本(QBT)關(guān)鍵問題：如何獲得關(guān)鍵字標(biāo)注？方法3：元數(shù)據(jù)分析---URL、鏈接文字、標(biāo)題、關(guān)聯(lián)頁(yè)面……Meta-data元數(shù)據(jù)東北虎：5老虎：3動(dòng)物：2中國(guó)：1俄羅斯：1長(zhǎng)白山：1。。。13/80現(xiàn)在是13頁(yè)\一共有83頁(yè)\編輯于星期五檢索方法1：基于文本(QBT)關(guān)鍵問題：如何獲得關(guān)鍵字標(biāo)注？方法3：元數(shù)據(jù)分析---URL、鏈接文字、標(biāo)題、關(guān)聯(lián)頁(yè)面……問題：元數(shù)據(jù)不一定與多媒體文檔內(nèi)容相關(guān)沒有元數(shù)據(jù)或不完整！元數(shù)據(jù)與圖像內(nèi)容不相關(guān)！14/80現(xiàn)在是14頁(yè)\一共有83頁(yè)\編輯于星期五檢索方法1：基于文本(QBT)關(guān)鍵問題：如何獲得關(guān)鍵字標(biāo)注？方法4：網(wǎng)絡(luò)標(biāo)注（Socialtagging/Folksonomy）向普通用戶提供上載和分享平臺(tái)鼓勵(lì)所有用戶對(duì)上載的文檔進(jìn)行評(píng)論和標(biāo)注這些評(píng)論和標(biāo)注是直接針對(duì)文檔作出的15/80現(xiàn)在是15頁(yè)\一共有83頁(yè)\編輯于星期五

16/80現(xiàn)在是16頁(yè)\一共有83頁(yè)\編輯于星期五現(xiàn)在是17頁(yè)\一共有83頁(yè)\編輯于星期五QBT的難題需求難以用文字精確描述非文字需求用戶不愿意輸入很多文字用戶需求不是特別具體大多數(shù)人的想象力是不夠豐富的系統(tǒng)提供的結(jié)果會(huì)極大地影響用戶的需求需要瀏覽更多的文檔才能發(fā)現(xiàn)需要的結(jié)果最重要：圖像/視頻/音頻往往難以用文字準(zhǔn)確描述一圖勝千言各種文字標(biāo)注方法普遍準(zhǔn)確率不高18/80現(xiàn)在是18頁(yè)\一共有83頁(yè)\編輯于星期五視覺信息描述的復(fù)雜性19現(xiàn)在是19頁(yè)\一共有83頁(yè)\編輯于星期五檢索方法2：基于內(nèi)容/樣例基于內(nèi)容的圖像/視頻檢索Content-basedimage/videoretrieval(CBIR/CBVR)Query-by-Example(QBE)什么是“內(nèi)容”（Content）？圖像和視頻的視覺特性如何描述？(數(shù)學(xué)模型)如何匹配？(相似度計(jì)算方法)如何索引？(快速找到相似文檔)如何提交查詢？20/80現(xiàn)在是20頁(yè)\一共有83頁(yè)\編輯于星期五基于內(nèi)容的圖像/視頻檢索“內(nèi)容”的數(shù)學(xué)模型文本文檔：向量模型多媒體文檔：特征提取表示視覺的多個(gè)物理量組成描述文檔內(nèi)容的特征視覺特征：顏色、紋理、形狀、運(yùn)動(dòng)……音頻特征：音頻、音質(zhì)、音調(diào)….維數(shù)特性布爾運(yùn)算語(yǔ)義文字超高(10萬(wàn)級(jí))稀疏可離散多媒體高(幾千以內(nèi))致密不可連續(xù)21/80現(xiàn)在是21頁(yè)\一共有83頁(yè)\編輯于星期五ColorCameramotionMotionactivityMosaicColorMotiontrajectoryParametricmotionSpatio-temporalshapeColorShapePositionTextureVideosegmentsStillregionsMovingregionsAudiosegmentsSpokencontentSpectralcharacterizationMusic:timbre,melody,pitch視音頻特征示例22現(xiàn)在是22頁(yè)\一共有83頁(yè)\編輯于星期五基于內(nèi)容的圖像檢索Querybycontent:Color,texture&ObjectSearchEngineRetrievalImageDB/WWW23現(xiàn)在是23頁(yè)\一共有83頁(yè)\編輯于星期五基于內(nèi)容的圖像/視頻檢索相似度計(jì)算文字文檔：余弦距離多媒體文檔：歐氏距離及其改進(jìn)索引文字文檔：倒排文件稀疏的文檔向量多媒體文檔：高維索引或不索引緊致的文檔向量24/80現(xiàn)在是24頁(yè)\一共有83頁(yè)\編輯于星期五基于內(nèi)容的圖像/視頻檢索查詢提交手段如何讓系統(tǒng)獲得一個(gè)好的“特征向量”？可以較好地描述用戶的需求文本查詢(QBT:QueryByText)關(guān)鍵字：難以準(zhǔn)確描述用戶需求自然語(yǔ)言：NLP仍是openissue樣例查詢(QBE:QueryByExample)用戶提交一個(gè)圖像/視頻作為樣例，查詢與樣例相似的其它圖像/視頻概要圖查詢(QBS:QueryBySketch)要求用戶都是優(yōu)秀的畫家也有系統(tǒng)提供手繪界面25/80現(xiàn)在是25頁(yè)\一共有83頁(yè)\編輯于星期五基于文本vs.基于內(nèi)容基于文本查詢輸入方便，在有準(zhǔn)確的文字信息描述時(shí)很方便公開難題：如何提取圖像/視音頻的語(yǔ)義描述目前商業(yè)搜索引擎常用基于內(nèi)容從信號(hào)處理角度入手，試圖使檢索過程符合人的視聽覺特性（所見即所得）查詢輸入不符合人的習(xí)慣公開難題：語(yǔ)義鴻溝(SemanticGap)仍停留在研究階段26/80現(xiàn)在是26頁(yè)\一共有83頁(yè)\編輯于星期五多媒體檢索框架StorageBrowseAVDescriptionFeatureextractionManual/automaticTransmissionEncoding(fortransmission)Decoding(fortransmission)RecommendationPushSearch/queryPullHumanormachine27現(xiàn)在是27頁(yè)\一共有83頁(yè)\編輯于星期五多媒體搜索引擎需要的技術(shù)多媒體內(nèi)容分析技術(shù)理解多媒體文檔的內(nèi)容，提取語(yǔ)義多媒體查詢輸入技術(shù)方便地提交多媒體查詢多媒體結(jié)果顯示和瀏覽技術(shù)直觀、方便地瀏覽結(jié)果多媒體特征的高維索引技術(shù)28/80現(xiàn)在是28頁(yè)\一共有83頁(yè)\編輯于星期五多媒體檢索分類圖像檢索CBIR語(yǔ)義分類、標(biāo)注相關(guān)反饋音頻檢索音頻特征提取自動(dòng)語(yǔ)音識(shí)別（ASR）哼唱找歌視頻檢索視頻分割與分類特定對(duì)象檢測(cè)事件檢測(cè)與摘要跨媒體檢索跨媒體融合29/80現(xiàn)在是29頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用風(fēng)景圖像的替換與補(bǔ)圖[A.Efros,CVPR,2007]30/80現(xiàn)在是30頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用Sketch2Photo：互聯(lián)網(wǎng)圖像蒙太奇[Chen,SIGGraph2009]技術(shù)難點(diǎn)：自動(dòng)找到高質(zhì)量的、包含正確對(duì)象的圖片無(wú)縫的對(duì)這些子圖像進(jìn)行合成31/80現(xiàn)在是31頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用Image2Gps:通過圖像搜索推理出圖像的拍攝位置[A.Efros,CVPR2008]32/80現(xiàn)在是32頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用Panoramio：

借助圖像匹配搜索技術(shù)，從遠(yuǎn)近不同角度觀察同一景點(diǎn)33/80現(xiàn)在是33頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用ViewFocus:所指即所見[Luo,ACMMM2009]34/80現(xiàn)在是34頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用廣告搜索：Trademark，Logo，Patent商業(yè)圖像的數(shù)據(jù)挖掘版權(quán)保護(hù)商品搜索獲取商品信息:用商品圖像進(jìn)行搜索得到相關(guān)信息網(wǎng)上購(gòu)物，貨比三家

醫(yī)學(xué)圖像檢索……35/80現(xiàn)在是35頁(yè)\一共有83頁(yè)\編輯于星期五圖像搜索技術(shù)的應(yīng)用http://www.robots.ox.ac.uk/~james/交互式視頻技術(shù)用戶在觀看視頻時(shí)，能夠選擇視頻中出現(xiàn)的各種對(duì)象（人物、地點(diǎn)、物品等）；在屏幕上展現(xiàn)被選中對(duì)象的信息，例如名稱等；展現(xiàn)與上述對(duì)象相關(guān)的業(yè)務(wù)提供者（例如服裝店）鏈接；用戶可以通過IM或者電話進(jìn)一步與業(yè)務(wù)提供者聯(lián)系36/80現(xiàn)在是36頁(yè)\一共有83頁(yè)\編輯于星期五VideoGoogle:ATextRetrievalApproachtoObjectMatchinginVideos

http://www.robots.ox.ac.uk/~vgg/research/vgoogle/現(xiàn)在是37頁(yè)\一共有83頁(yè)\編輯于星期五二、圖像分析與檢索38/80現(xiàn)在是38頁(yè)\一共有83頁(yè)\編輯于星期五圖像檢索概論Datta,ACMCSUR,200839/80現(xiàn)在是39頁(yè)\一共有83頁(yè)\編輯于星期五SemanticGap40/80KeywordsDescriptionsClassificationOntologiesHumanIntelligenceData現(xiàn)在是40頁(yè)\一共有83頁(yè)\編輯于星期五ATypicalImageSearchSystemQueryUserIndexDataQueryFormationRankingIndexingResultPresentationIntentionGapIntention/SemanticGapSemanticGapUIandquerysuggestionSearchresultorganizationInteractiveFeedbackImageannotation41/80現(xiàn)在是41頁(yè)\一共有83頁(yè)\編輯于星期五Designingareal-worldimagesearchengine：FromauserperspectiveDotta,etal.,Imageretrieval:

Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008(1)clarityoftheuseraboutwhatshewants,(2)whereshewantstosearch,and(3)theforminwhichtheuserhasherquery42/80現(xiàn)在是42頁(yè)\一共有83頁(yè)\編輯于星期五Designingareal-worldimagesearchengine:

FromasystemperspectiveDotta,etal.,Imageretrieval:

Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008(1)howdoestheuserwishtheresultstobepresented,(2)wheredoestheuserdesiretosearch,and(3)whatisthenatureofuserinput/interaction.43/80現(xiàn)在是43頁(yè)\一共有83頁(yè)\編輯于星期五CBIR框架Smeulders,PARMI,200244/80現(xiàn)在是44頁(yè)\一共有83頁(yè)\編輯于星期五圖像特征與表示Dotta,etal.,Imageretrieval:

Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008Anoverviewofimagesignatureformulation45/80現(xiàn)在是45頁(yè)\一共有83頁(yè)\編輯于星期五圖像特征類型顏色、紋理、形狀關(guān)鍵點(diǎn)SIFT位置對(duì)象/區(qū)域Smeulders,PARMI,200246/80現(xiàn)在是46頁(yè)\一共有83頁(yè)\編輯于星期五圖像特征匯總ColorColorHistogram“Sensitivetonoiseandsparse”-CumulativeHistogramsColorMomentsColorSets:MapRGBColorspacetoHueSaturationValue,&quantizeColorlayout-localcolorfeaturesbydividingimageintoregionsColorAutocorrelogramsTextureCo-occurrencematrixOrientationanddistanceongray-scalepixelsContrast,inversedeferencemoment,andentropyHumanvisualtextureproperties:coarseness,contrast,directionality,likeliness,regularityandroughnessWaveletTransformsextractedmeanandvariancefromwaveletsubbandsGaborFilters47現(xiàn)在是47頁(yè)\一共有83頁(yè)\編輯于星期五圖像特征匯總ShapeOuterBoundarybasedvs.regionbasedFourierdescriptorsMomentinvariantsFiniteElementMethod(Stiffnessmatrix-howeachpointisconnectedtoothers;Eigenvectorsofmatrix)Turingfunctionbased(similartoFourierdescriptor)convex/concavepolygonsWavelettransformsleveragesmultiresolutionChamfermatchingforcomparing2shapes(lineardimensionratherthanarea)3-DobjectrepresentationsusingsimilarinvariantfeaturesWell-knownedgedetectionalgorithms48/80現(xiàn)在是48頁(yè)\一共有83頁(yè)\編輯于星期五特征舉例：顏色特征Colourhistograms(CH)GlobalCHgenerateddirectlyfromRGBspace,with125(5x5x5)bins.49/80現(xiàn)在是49頁(yè)\一共有83頁(yè)\編輯于星期五Bosch,IVC,200650/80現(xiàn)在是50頁(yè)\一共有83頁(yè)\編輯于星期五特征舉例：邊特征Edgehistogram(EHD)Capturesthespatialdistributionoftheedgeinsixstatues:0o,45o,90o,135o,nondirectionandnoedge.GlobalEHDofanimage:Concatenating16subEHDsintoa96binsLocalEHDofasegmentGroupingtheedgehistogramoftheimage-blocksfallenintothesegment51/80現(xiàn)在是51頁(yè)\一共有83頁(yè)\編輯于星期五特征舉例：點(diǎn)特征Detectpatches[MikojaczykandSchmid’02][Sivicetal.’03]ComputeSIFTdescriptor[Lowe’99]52現(xiàn)在是52頁(yè)\一共有83頁(yè)\編輯于星期五現(xiàn)在是53頁(yè)\一共有83頁(yè)\編輯于星期五全局vs.局部特征54/80現(xiàn)在是54頁(yè)\一共有83頁(yè)\編輯于星期五區(qū)域分割計(jì)算機(jī)視覺領(lǐng)域的公開難題55/80現(xiàn)在是55頁(yè)\一共有83頁(yè)\編輯于星期五相似度度量Dotta,etal.,Imageretrieval:

Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,200856/80現(xiàn)在是56頁(yè)\一共有83頁(yè)\編輯于星期五相似度度量Dotta,etal.,Imageretrieval:

Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008CBIR不是為了進(jìn)行精確的匹配，而是計(jì)算查詢圖像和數(shù)據(jù)庫(kù)中的圖像之間的視覺相似度，相應(yīng)的，檢索結(jié)果不是單一的一副圖像，而是按照與查詢圖像的相似度排序的一系列圖像。不同的相似度度量顯著影響CBIR系統(tǒng)的性能。57/80現(xiàn)在是57頁(yè)\一共有83頁(yè)\編輯于星期五基于樣例的查詢QuerybyExamplePickqueryexamplesandaskthesystemtoretrieve“similar”images.QuerySampleResultsCBIR“Getsimilarimages”58/80現(xiàn)在是58頁(yè)\一共有83頁(yè)\編輯于星期五相關(guān)反饋RelevanceFeedbackUsergivesafeedbacktothequeryresultsSystemrecalculatesfeatureweightsInitialsample1stResultQuery2ndResultFeedbackFeedback59/80現(xiàn)在是59頁(yè)\一共有83頁(yè)\編輯于星期五相關(guān)反饋OnlineFeatureWeightingFromQueryExamples,thesystemdeterminesfeatureweighting(kxk)matrixWResultQueryCBIRCalculateW60/80現(xiàn)在是60頁(yè)\一共有83頁(yè)\編輯于星期五基于相關(guān)反饋的檢索界面UserselectsrelevantimagesIfgoodimagesarefound,

addthemWhennomoreimagestoadd,

thesearchconvergesSliderorCheckbox61/80現(xiàn)在是61頁(yè)\一共有83頁(yè)\編輯于星期五基于相關(guān)反饋的檢索界面62/80現(xiàn)在是62頁(yè)\一共有83頁(yè)\編輯于星期五評(píng)價(jià)指標(biāo)：AveragePrecision只對(duì)返回的相關(guān)文檔進(jìn)行計(jì)算系統(tǒng)檢索出來(lái)的相關(guān)文檔越靠前(rank越高)，AP就越高63現(xiàn)在是63頁(yè)\一共有83頁(yè)\編輯于星期五評(píng)價(jià)指標(biāo)：AveragePrecisionMAP(MeanAveragePrecision)istheaverageAPforallqueries例如：假設(shè)有兩個(gè)queries，query1有4個(gè)相關(guān)images，query2有5個(gè)相關(guān)image。某系統(tǒng)對(duì)于query1檢索出4個(gè)相關(guān)image，其rank分別為1,2,4,7；對(duì)于query2檢索出3個(gè)相關(guān)query，其rank分別為1,3,5。對(duì)于query1，AP為 (1/1+2/2+3/4+4/7)/4=0.83。對(duì)于query2，AP為 (1/1+2/3+3/5+0+0)/5=0.45。則MAP=(0.83+0.45)/2=0.64。64現(xiàn)在是64頁(yè)\一共有83頁(yè)\編輯于星期五現(xiàn)實(shí)中的CBIR系統(tǒng)示例VisualsimilaritysearchinSpecificDomain：aphoto-sharingcommunitywithmorethanamillionairplane-relatedpictures65/80現(xiàn)在是65頁(yè)\一共有83頁(yè)\編輯于星期五現(xiàn)實(shí)中的CBIR系統(tǒng)示例apublic-domainsearchenginewhichincorporatesimageretrievalandfacerecognitionforsearchingpicturesofpeopleandproductsontheWeb.66/80現(xiàn)在是66頁(yè)\一共有83頁(yè)\編輯于星期五ImageAnnotation/Tagging：面向圖像語(yǔ)義檢索ShipWaterTreeskyUseforkeyword-basedimageretrieval67現(xiàn)在是67頁(yè)\一共有83頁(yè)\編輯于星期五ImageAnnotation/TaggingJJeon,etal.,Automaticimageannotationandretrievalusingcross-mediarelevancemodels,Sigir,2003RelevanceModelsw1,w2,w3,….wnI68/80現(xiàn)在是68頁(yè)\一共有83頁(yè)\編輯于星期五AnnotationExamples69/80現(xiàn)在是69頁(yè)\一共有83頁(yè)\編輯于星期五BridgeUserIntentionGapUserqueriesareusuallyshort,ambiguousHowtocaptureusersearchintent?70/80現(xiàn)在是70頁(yè)\一共有83頁(yè)\編輯于星期五VisualQuerySuggestionZheng-JunZha,etal.,VisualQuerySuggestion,ACMMM,200971/80現(xiàn)在是71頁(yè)\一共有83頁(yè)\編輯于星期五VisualQuerySuggestionTohelpusersspecifyanddelivertheirsearchintentsZheng-JunZha,etal.,VisualQuerySuggestion,ACMMM,200972/80現(xiàn)在是72頁(yè)\一共有83頁(yè)\編輯于星期五IGroup:presentingwebimagesearchresultsinsemanticclustersTheresultof“tiger”inMSNimagesearch:mixedwith“tigerwoods”and“tigeranimal”.73/80現(xiàn)在是73頁(yè)\一共有83頁(yè)\編輯于星期五IGroup:presentingwebimagesearchresultsinsemanticclustersThescreenofIGroup:thegeneralview74/80現(xiàn)在是74頁(yè)\一共有83頁(yè)\編輯于星期五IGroup:presentingwebimagesearchresultsinsemanticclustersThescreenofIGroup:theclusterview75/80現(xiàn)在是75頁(yè)\一共有83頁(yè)\編輯于星期五IGroup:presentingwebimagesearchresultsinsemanticclusters76/80現(xiàn)在是76頁(yè)\一共有83頁(yè)\編輯于星期五3DMARS:圖像檢索的3D展示Imager