第8章多媒體信息存取系統(tǒng)8.1多媒體概述多媒體概念多媒體技術(shù)：以數(shù)字化為基礎(chǔ)，能夠?qū)Χ喾N媒體信息進行采集、編碼、存儲、傳輸和表現(xiàn)，綜合處理多種媒體信息并建立有機的邏輯聯(lián)系，集成為一個存取系統(tǒng)使之具有良好交互性的技術(shù)。多媒體系統(tǒng)：是一具由多媒體終端設(shè)備、多媒體網(wǎng)絡(luò)設(shè)置、多媒體服務(wù)系統(tǒng)、多媒體軟件及有關(guān)媒體數(shù)據(jù)組成的有機整體。第8章多媒體信息存取系統(tǒng)多媒體信息存取系統(tǒng)的特征

信息載體的多樣性

交互性

實時性

集成性8.1.2常見媒體元素多媒體元素指多媒體應(yīng)用中可以顯示給用戶的媒體形式。目前，常見的媒體元素主要有文本、圖像、聲音、動畫和視頻。音頻影響數(shù)字聲音波形質(zhì)量的主要因素有三個采樣頻率采樣精度通道數(shù)8.1.2常見媒體元素圖像圖像處理一般要考慮三方面因素：分辨率圖像灰度圖像文件大小視頻在視頻中有如下幾個重要的技術(shù)參數(shù)數(shù)據(jù)量圖像質(zhì)量8.2多媒體數(shù)據(jù)庫結(jié)構(gòu)與標引

8.2.1多媒體數(shù)據(jù)庫結(jié)構(gòu)目前常用的多媒體數(shù)據(jù)存儲模型面向?qū)ο蟮年P(guān)系數(shù)據(jù)模型純粹面向?qū)ο竽Ｐ完P(guān)系+面向?qū)ο竽Ｐ?.2.2多媒體數(shù)據(jù)庫標引多媒體信息標引的特殊性標引對象的特殊性：數(shù)據(jù)量大，更新速度快；內(nèi)容豐富，語義關(guān)聯(lián)；時空相關(guān)性。標引策略的特殊性8.2多媒體數(shù)據(jù)庫結(jié)構(gòu)與標引依外在特征的標引法----標簽法圖像、圖像的標題、繪制者與收藏者、音樂的曲調(diào)名稱、詞曲作家、演奏者或演奏團體、動畫的策劃、編排者等。以內(nèi)容分析為主的標引方法編碼系統(tǒng)法自由文本法特征描述法全方位語義分析法多媒體數(shù)據(jù)庫標引應(yīng)注意的問題：標準化、多樣化、集成化、網(wǎng)絡(luò)化8.3基于內(nèi)容的多媒體信息檢索兩種多媒體信息檢索途徑基于外部特征的檢索基于文本描述的檢索8.3.1基于內(nèi)容的多媒體檢索對多媒體信息檢索需要借助計算機從多媒體信息的底層到高層進行處理、分析和理解，以有效獲取其內(nèi)容特征，并根據(jù)內(nèi)容實現(xiàn)方便快捷的檢索，稱之為基于內(nèi)容的多媒體信息檢索基于內(nèi)容的檢索主要是利用媒體對象的語義、視覺特征、聽覺特征和文本信息來進行檢索。8.3基于內(nèi)容的多媒體信息檢索8.3.2基于內(nèi)容的多媒體信息檢索特點提供重建查詢機制查詢方式的交互性相似度檢索多媒體同步檢索技術(shù)多層次檢索信息8.3基于內(nèi)容的多媒體信息檢索8.3.3基于內(nèi)容檢索系統(tǒng)的基本框架目標標識特征抽取數(shù)據(jù)庫查詢接口檢索引擎索引/過濾8.3基于內(nèi)容的多媒體信息檢索8.3.4基于內(nèi)容檢索的關(guān)鍵技術(shù)信息模型和表示檢索技術(shù)查詢語言信息壓縮和恢復(fù)信息存儲管理多媒體同步技術(shù)8.4基于內(nèi)容的音頻檢索8.4.1音頻內(nèi)容分析音頻特征的提取音頻時域特征的提取音頻頻域特征的提取音頻時頻特征的提取音頻片段特征提取音頻分割與識別8.4基于內(nèi)容的音頻檢索8.4.2基于內(nèi)容的音頻信息檢索基于片斷的音頻檢索基于片段的音頻檢索建立音頻片段相關(guān)反饋機制音樂檢索三個步驟建立特征音樂數(shù)據(jù)庫進行音調(diào)跟蹤音樂檢索8.5基于內(nèi)容的圖像檢索8.5.1基于內(nèi)容的圖像檢索概述基于內(nèi)容的圖像檢索原理基于內(nèi)容的圖像檢索系統(tǒng)查詢模塊利用采樣圖像利用范例圖像利用局部圖像利用繪制圖像利用圖標利用（概括）描述8.5基于內(nèi)容的圖像檢索描述模塊匹配模塊提取模塊驗證模塊和技術(shù)8.5基于內(nèi)容的圖像檢索8.5.2基于內(nèi)容的圖像檢索方法基于顏色特征的圖像檢索方法基于紋理特征的圖像檢索基于形狀特征的圖像檢索基于空間關(guān)系和綜合特征的圖像檢索8.5基于內(nèi)容的視頻檢索視頻存取系統(tǒng)的基本特點視頻分割自動分割方案半自動分割方案視頻索引基于注釋的索引基于特征的索引基于特定領(lǐng)域的索引8.7多媒體信息檢索的局限性與發(fā)展方向8.7.1多媒體信息檢索的局限檢索效果不理想用戶查詢接口單一圖像特征信息表示與檢索不完善信息的自動加工與人工