1第?章：多媒體數據管理多媒體數據存儲多媒體數據庫管理系統(tǒng)多媒體數據檢索－基于內容的檢索2多媒體數據存儲（1）海量信息存儲空間的需求：例如，圖象：掃描圖象隨著分辨率的增加，數據對象的大小呈幾何級數增加極大型的數據對象要求大量的數據存儲隨著存儲數據量的增長，檢索數據的訪問時間也增加

3多媒體數據存儲（2）多媒體系統(tǒng)本質上是具有嚴格性能要求的大容量對象處理系統(tǒng)僅快速CPU自己不能形成一個高性能的系統(tǒng)存儲器性能的進步相比CPU，提高的倍數比較少——機械設備要使CPU的性能、存儲器總線的帶寬、視頻帶寬、系統(tǒng)總線帶寬、磁盤輸入/輸出帶寬，和網絡輸入/輸出帶寬相互匹配

4多媒體數據存儲（3）大容量存儲是多媒體系統(tǒng)的一項支撐技術磁介質技術磁盤驅動器集成化，不斷減小磁盤驅動器尺寸、降低成本；更快的查找時間和數據傳輸率增加存儲系統(tǒng)的容量：磁盤跨接、RAID光介質技術光驅動器：CD-ROM（只讀光盤）、WORM（一次寫多次讀）、可重寫式（可擦除式）、多功能（WORM和可擦除式）光盤庫5磁盤接口的比較

接口種類設備種類數據傳輸速率

Mbps驅動器最大數量ST506MFM硬盤0.634ST506RLL硬盤0.944ESDI硬盤1-32IDE硬盤0.63-22增強IDE硬盤9-134FastandWideSCSI-232bits磁盤、光驅、磁帶、掃描儀、網絡4076SCSI標準對多媒體的重要性

SCSI標準允許不同的多媒體輸入、輸出設備用一條總線連接到多媒體系統(tǒng)上,例如：CD-ROM、掃描器、打印機、網絡、磁盤、數字攝像機等.SCSI有豐富的公用指令集支持以上所有的設備SCSI可提供以下性能：用標準8位帶寬時，傳輸速率達10Mbps和在快速寬帶模式下，傳輸速率達到40Mbps。SCSI允許定義銷售商專用的指令集來控制特殊的設備或特殊的特性。帶標志的指令隊列可以提高性能。7磁盤跨接磁盤跨接是把多個驅動器附加到一個單個的主適配器上的方法，在這種處理中所有驅動器就象作為一個單獨的連接的邏輯單元?？缃硬⒉辉鰪娦阅?，可靠性還會下降：MTBF（平均無故障時間）

=單個驅動器的MTBF/驅動器的總數

控制器磁盤10－500MB磁盤2501－1000MB磁盤31001－2000MB磁盤42001－3000MB8RAID磁盤存儲系統(tǒng)真正重要的問題是吞吐速度和可靠性

RAID是多個磁盤的一組陣列，其中數據分布在多個驅動器上以獲得容錯性、大存儲容量，及性能的改進：RAID中吞吐量速度的提高是通過把讀和寫操作并行地分布在多個磁盤驅動器上實現的，這一過程稱為數據劃分（datastriping）。它使數據分離在多個驅動器上，這樣一個單一I/O請求的不同部分就可以由多個磁盤平行地來服務。需要額外的冗余度。RAID功能分為六個獨立層：0－59多媒體數據存儲（4）多媒體系統(tǒng)把各個層次上的存儲技術相結合，以解決多媒體對象的生命周期中的各種需求——分層存儲管理分層存儲的基本目的就是將數據引入能支持這一對象需要性能的最低成本的設備中。存儲層次金字塔。金字塔的較寬部分指示出在同一成本下增加的存儲容量。這一金字塔中描述的存儲層次由隨機訪問存儲器（RAM），聯機快速磁硬盤，光盤和光盤庫，軟盤，和磁帶（包括光帶）組成。10存儲層次金字塔聯機緩存聯機服務器近線大存儲器脫機存檔磁盤或內存緩存RAID磁盤光盤、光盤庫磁帶或光帶速度成本/MB11多媒體數據庫管理系統(tǒng)（1）使數據庫管理系統(tǒng)支持各種多媒體對象

RDBMS的多媒體擴展面向對象的多媒體數據庫12多媒體數據庫管理系統(tǒng)（2）RDBMS的多媒體擴展關系數據庫將大二進制對象（BLOB）作為新的數據類型。BLOB構成關系表中的列，用于圖象和其它的二進制數據類型。關系數據表包含BLOB的位置信息，而BLOB實際存于數據庫外部的獨立的圖象、視頻服務器中。關系數據庫經過擴充能訪問這些BLOB，從而提供給用戶一個完整的數據集。RDBMS無法理解BLOB的內容，不能在BLOB內部進行索引。

13多媒體數據庫管理系統(tǒng)（3）面向對象的多媒體數據庫類的概念和面向對象數據庫模型非常適合多媒體數據。ODMS(對象數據庫）基于下面三個概念：封裝性，或者說以預定義、可控制的方式把軟件實體作為單元來處理，其中控制程序是與實體是結合在一起的。聯系，或以與另一實體的差異來定義一個軟件實體的能力。分類，或以有相同行為、屬性的數據項來代表一個單獨的軟件實體的能力。14多媒體數據檢索（1)數據庫采用基于關鍵詞查找的檢索方式，適于處理結構化的文本類和數值類的記錄信息檢索。在數據庫中，每個記錄都有固定數目的域，每個域也都具有明確的意義（定性描述），這樣每個記錄僅具有特定和有限的語義信息，通過對不同域的（關鍵字）是否比較和（數值）大小比較可進行檢索。但這種方法用于多媒體信息管理則具有相當大的局限性。15多媒體數據檢索（2)多媒體信息與文本和數值信息存在著本質上的不同:非結構化特性。在傳統(tǒng)數據庫中，記錄信息具有明顯的結構化特性，它是現實世界中對象間關系的反映，可通過實體-關系模型抽象得到。與此相比，多媒體對象具有較強的非結構化特性，許多多媒體信息都以流的形式存在（如視頻流、音頻流）。對這類多媒體對象檢索，就首先要對其結構化，而這種結構化不能僅僅通過簡單的抽象來完成，而需要相應的媒體分割和組織技術。內容多義性。在傳統(tǒng)數據庫中，每個記錄所包含的語義信息確定而且有限。而對多媒體對象來說，其內容則往往在不同的應用中具有不同的解釋，即具有多義性的特點，這樣其內容就難以通過僅僅幾個屬性來充分描述。此外，一般對多媒體對象的檢索往往都是根據內容相似程度的檢索——即查找內容描述與檢索要求最接近的檢索，這就要求建立的內容描述支持內容相似程度的比較，而這也是傳統(tǒng)數據庫中采用的定性描述所不能滿足的。

16多媒體數據檢索（3)多媒體庫的早期檢索方法:基于屬性的檢索(Attribute-BasedRetrieval)基于文本描述的檢索(Text-BasedRetrieval)對媒體建立內容的文本描述，將對媒體內容的檢索轉換為對于文本描述的處理。檢索時，系統(tǒng)根據給出的關鍵字按照相似度大小排序返回部分匹配的結果。為了提高檢索效率，系統(tǒng)中一般都帶有同義詞詞典（Thesaurus），用此詞典中的關鍵字來對媒體對象進行描述。

17多媒體數據檢索（4)基于文本描述的檢索的缺陷:文本描述難于充分表達媒體的豐富內容文本描述具有一定的主觀性處理文本描述涉及到自然語言理解問題手工輸入文本描述效率低，難以滿足大容量媒體庫的要求。18基于內容的檢索(Content-BasedRetrieval)基于內容檢索在傳統(tǒng)的檢索框架中融合了對于媒體內容的理解技術

在這種方法中，首先對媒體信息進行分割使其成為單獨的可供檢索的媒體對象（以視頻檢索為例，就需要對連續(xù)的視頻流進行鏡頭分割，使其成為成為一組鏡頭的集合，這些鏡頭可以作為有效的檢索對象），再對每個媒體對象采用特征提取算法提取相應的特征。媒體對象特征的集合就構成了其內容描述。在檢索時，根據檢索要求，查詢并返回媒體庫中內容描述最滿足要求的一組媒體對象。19基于內容的檢索的特點（1）基于內容檢索是一種相似度檢索

在傳統(tǒng)數據庫中，檢索是精確（exactly）檢索，即檢索返回的結果完全滿足查詢條件。而基于內容檢索則不同，它是一種基于相似度的檢索，即存在一個度量反映信息庫中媒體對象與檢索要求的相似程度，而檢索目的就是查詢相似程度最大的一組媒體對象，按照相似程度的大小順序返回。

20基于內容的檢索的特點（2）對于基于內容檢索一般要給出對檢索結果集合大小的限制

由于基于內容檢索是一種相似度檢索，因此信息庫中所有媒體對象都存在一個與檢索要求相應的相似度。如果不對檢索結果集合大小進行限制的話，則查詢將返回所有媒體對象，查詢也就不具有什么意義了。因此，在進行基于內容檢索時，需要給出對返回查詢結果數目的約束，常用的方法有兩種方法。其一是直接指定查詢返回集合的大小，即媒體對象的個數；另一種方法是給出相似度閾值，即要求系統(tǒng)返回所有相似度在此閾值之上（含此閾值）的對象。

21基于內容的檢索的特點（3）基于內容檢索是一種近似檢索

基于內容檢索是面向媒體信息庫查詢的，而由于媒體對象內容的豐富性以及一般檢索表達并不能充分反映檢索要求，因此在應用中往往并不要求查詢結果一定是信息庫中滿足相似度和檢索結果集合大小限制的所有對象，而允許有所遺漏（即信息庫中的某個媒體對象相似度大于檢索結果集合中最小的相似度，但這個對象并不在檢索結果集合中），以換取其他性能（主要是檢索速度）的改進。

22基于內容的檢索系統(tǒng)的結構（1）23基于內容的檢索系統(tǒng)的結構（2）特征描述機制利用媒體分割與特征提取來建立媒體對象的結構描述和特征描述。由于基于內容檢索與傳統(tǒng)檢索手段的主要區(qū)別在于融合了媒體理解技術來對媒體對象的內容進行描述，因此特征描述機制是基于內容檢索系統(tǒng)的關鍵。在這一模塊中，系統(tǒng)首先通過媒體分割對媒體對象結構化，得到供檢索的媒體對象，并根據媒體對象間的關系生成結構描述。之后，對每個對象利用特征提取技術計算該對象的特征，可構成該對象的特征描述。由于媒體對象的內容描述是建立在這兩種描述基礎上的，因此特征描述機制將直接制約著對于媒體對象內容的描述能力。主要目的即對多媒體信息的內容進行理解，建立供檢索使用的內容描述。涉及到專門的媒體處理技術，以圖象和視頻檢索為例，相關領域有圖象理解、計算機視覺、模式識別等。

24基于內容的檢索系統(tǒng)的結構（3）檢索表達機制在對媒體對象建立內容描述后，系統(tǒng)還需要有一種將用戶的檢索要求轉換為內容描述比較操作的檢索表達機制。由于用戶是通過檢索表達機制來提出檢索要求的，因此檢索表達機制的能力也在很大程度上決定了一個基于內容檢索系統(tǒng)的檢索能力。為用戶提供功能強大的檢索表達機制和豐富、靈活的檢索方式，以提高檢索的有效性。涉及到人機交互、檢索語言等研究領域。

25基于內容的檢索系統(tǒng)的結構（4）快速索引機制由于基于內容檢索是面向大容量多媒體信息庫檢索的，庫中含有大量的媒體對象，在檢索時逐個計算相似度來決定返回對象是不現實的，難以滿足實時檢索的需要。因此，需要對媒體對象的內容描述建立一種快速索引機制，以縮小查找范圍，減少等待時間，著對于基于內容檢索系統(tǒng)的實用化是十分必要的。為得到的媒體內容描述建立一種有效的檢索結構，以加快檢索時的速度。涉及到信息庫模型、數據結構和計算復雜性研究等研究領域。26ImgRetr（1）：系統(tǒng)結構

基于Web含12000張景物照片圖象27ImgRetr（2）：提交特征分析主顏色（

DominatingColor）紋理(Texture)顏色分布

（ColorDistribution)輪廓

（

Sketch)28ImgRetr（3）：提交特征分析：主顏色

主顏色就是圖片中占較大比重的顏色。在圖象處理中，主顏色的提取過程是：將圖象的各點顏色值(一般是RGB值)量化到16*16*16的區(qū)間內，然后對圖象的點聚類。如果某聚類顏色的象素點占圖象全部象素的20%以上，就認為該聚類中心顏色是該圖的主顏色。所以，一幅圖片的主顏色可能不止一種。

29ImgRetr（4）：提交特征分析：紋理

紋理特征適用于墻紙、布匹等具有簡單、重復性的圖案的檢索。它的提取是用Gober算子分別從5個方向計算得到6個值，總共30個坐標。對紋理而言，如果用戶沒有一定的美術基礎，很難直接用繪畫的方式提交數據，因此采用了預定義的模板的方式，用戶可以在特征輸入區(qū)中瀏覽選擇。目前提供了六個模板，以后還可以隨時增減，這六個模板的選擇是根據圖象庫中的常見紋理種類而定的。

30ImgRetr（5）：提交特征分析：顏色分布

顏色分布是另外一個檢索效果較好的特征。它同時表示了圖象中顏色的值與位置屬性，比較直觀，在查詢界面上以用戶直接畫圖的方式提交數據。其工作區(qū)的外觀和使用與色調直方圖一樣，但顏色分布特征的提取是這樣的：將用戶所繪制的圖象分割成6*6個大小一樣的“Icon”，對每一個Icon中象素的R、G、B值分別求平均，這樣得到了36個“平均象素值”，其中即包含了位置的信息，又有顏色值的信息。最后，前端模塊向服務器提交的是一個6*6*3=108維的向量。31ImgRetr（6）：提交特征分析：輪廓

在圖象庫中有很多圖片的內容難以用顏色、位置、紋理來描述。比如想查詢“畫面分為上下兩部分”的圖象，用前面提到的特征無法方便地描述，可以用Sketch特征來描述畫面中的各個部分的相對位置關系。提取特征的步驟是：先用顏色聚類的方法對畫面進行劃分，然后用中值濾波去掉噪聲，得到若干均勻的顏色塊（稱為“Segment”）。接著，提取圖象的邊緣特征，得到一個二值圖象