第8章多媒體數(shù)據庫

8.1數(shù)據庫概述8.2多媒體數(shù)據的存儲問題8.3基于內容的檢索技術

8.1數(shù)據庫概述數(shù)據庫作為計算機技術的重要分支，目前已經影響到人們生活的各個方面:購買火車票、飛機票去醫(yī)院看病:掛號、檢查、繳費工廠和公司里面人事管理越來越多的領域，都需要把相關的信息進行提取和存儲，進行有效的管理

8.1數(shù)據庫概述對原始資源主要進行管理和處理工作中，有兩個概念：數(shù)據處理對數(shù)據進行收集、存儲、加工和傳播。其目的有二：1)從大量原始數(shù)據中推導出有價值信息2)利用計算機科學地管理這些數(shù)據數(shù)據管理對數(shù)據的分類、組織、編碼存儲、檢索和維護

8.1數(shù)據庫概述一常用術語和基本概念數(shù)據（data）描述事物的符號記錄，包括數(shù)據的表現(xiàn)形式和數(shù)據的解釋兩個部分。例1（李明，男，21，江蘇，計算機系，1990）

表現(xiàn)形式：文字、數(shù)字數(shù)據解釋：李明是個大學生，1972年出生，男，江蘇人，1990年考入計算機系

8.1數(shù)據庫概述數(shù)據庫（DataBase，簡稱DB）長期存儲在計算機內的、有組織的、可共享的數(shù)據集合。數(shù)據庫中的數(shù)據按照一定的數(shù)據模型組織、描述和存儲，具有較小的冗余度、較高的數(shù)據獨立性和易擴展性，并可為各個用戶共享。例：常見數(shù)據庫

AccessInfomix

AqlServerDB2

SybaseOracle

8.1數(shù)據庫概述數(shù)據庫管理系統(tǒng)（DataBaseManagementSystem，簡稱DBMS）主要功能包括：1、數(shù)據定義功能2、數(shù)據操縱功能3、數(shù)據庫的運行管理4、數(shù)據庫的建立和維護功能

8.1數(shù)據庫概述數(shù)據庫系統(tǒng)（DataBaseSystem，簡稱DBS）一般由數(shù)據庫、數(shù)據管理系統(tǒng)（及其開發(fā)工具）、應用系統(tǒng)、數(shù)據庫管理員和用戶組成。用戶用戶用戶應用系統(tǒng)應用系統(tǒng)開發(fā)工具數(shù)據庫管理系統(tǒng)數(shù)據庫管理員操作系統(tǒng)數(shù)據庫8.1數(shù)據庫概述

依據獨立性原則，DBMS一般按層次被劃分為三種模式：物理模式、概念模式、外部模式(視圖)。物理模式的主要職能是定義數(shù)據的存儲組織方法，如數(shù)據庫文件的格式、索引文件組織方法、數(shù)據庫在網絡上的分布方法等。學生人事記錄學號姓名性別系別年齡政治面貌家庭出生籍貫家庭成員獎罰情況8.1數(shù)據庫概述概念模式定義抽象現(xiàn)實世界的方法;概念模式通過數(shù)據模型來描述

;數(shù)據庫系統(tǒng)的性能與數(shù)據模型直接相關。

學生基本記錄學號姓名性別系別年齡政治面貌家庭出生籍貫日期地點學歷學生人事記錄學生學籍記錄學生選課記錄家庭成員獎罰情況課程號學號學分8.1數(shù)據庫概述

數(shù)據庫數(shù)據模型先后經歷了網狀模型、層次模型、關系模型等階段。關系模型有比較完整的理論基礎，“表格”一類的概念易于被用戶理解，在數(shù)據庫中居主導地位。關系模型把現(xiàn)實世界事物的特性抽象成數(shù)字或字符串表示的屬性，每一種屬性都有固定的取值范圍。于是，每一個事物都有一個屬性集及對應它的屬性值集合。8.1數(shù)據庫概述8.1數(shù)據庫概述

傳統(tǒng)數(shù)據庫模型主要針對的是整數(shù)、實數(shù)、定長字符等規(guī)范數(shù)據。而多媒體數(shù)據庫處理的是不規(guī)則的數(shù)據。

多媒體數(shù)據庫技術需要研究的問題：如何用數(shù)據庫系統(tǒng)來描述將怎樣進行檢索查詢如何表達多媒體信息的內容該如何處理這些數(shù)據呢8.1數(shù)據庫概述8.2多媒體數(shù)據的管理問題

1.數(shù)據庫的組織和存儲媒體數(shù)據的數(shù)據量大媒體間的差異極大

只有設計好適合的物理結構和邏輯結構，才能保證磁盤的充分利用和應用的快速存取。信息系統(tǒng)范圍的擴大

別指望在一個站點上就存儲上萬兆的數(shù)據，必須通過網絡加以分布。8.2多媒體數(shù)據的管理問題

2.媒體種類的增加每一種多媒體數(shù)據類型要有自己的一組最基本的操作和功能。每一種多媒體數(shù)據類型要有自己的適當?shù)臄?shù)據結構以及存取方式。要求多媒體數(shù)據庫管理系統(tǒng)能夠不斷擴充新的媒體類型及其相應的操作方法。新增加的媒體類型對用戶應該是透明的。8.2多媒體數(shù)據的管理問題

3.數(shù)據庫的查詢問題

非精確匹配和相似性查詢將占相當大的比重。同一個對象若用不同的媒體進行表示，對計算機來說肯定也是不同的。若用同一種媒體表示，如果有誤差，在計算機看來也是不同的。諸如顏色和形狀等本身就是不容易精確描述的概念。多媒體數(shù)據庫不再是只通過字符進行查詢，而應該是通過媒體的語義進行查詢。但對一些媒體會因為應用的不同和觀察者的不同而產生不同。8.2多媒體數(shù)據的管理問題

4.用戶接口的支持多媒體數(shù)據庫的用戶接口肯定不能用一個表格來描述。對空間的描述以及對時間的描述。多媒體要求開發(fā)瀏覽、查找和變更多媒體數(shù)據庫內容的新方法。用戶有時甚至不知道自己要查找什么，不知道如何描述自己的查詢。多媒體數(shù)據庫對用戶的接口要求不僅僅是接受用戶的描述，而是要協(xié)助用戶描述出他的想法，找到他所要的內容，并在接口上表現(xiàn)出來。8.2多媒體數(shù)據的管理問題

5.信息的分布對多媒體數(shù)據庫體系的影響

以全球網絡為基礎的分布。多媒體數(shù)據庫系統(tǒng)要考慮如何從萬維網的信息空間中尋找信息，查詢所要的數(shù)據。

6.處理長事務增多短事務不能滿足需要，如從動態(tài)視頻庫中提取并播放一段數(shù)字化影片，往往需要長達幾個小時的時間。數(shù)據庫管理系統(tǒng)，應該保證播放過程中不會發(fā)生中斷。8.2多媒體數(shù)據的管理問題

7.多媒體數(shù)據庫對服務質量的要求多媒體數(shù)據的傳輸、表現(xiàn)和存儲方式的質量要求不同。對每一類多媒體數(shù)據都必須考慮這些問題：如何按所要求的形式及時地、逼真地表現(xiàn)數(shù)據？當系統(tǒng)不能滿足全部的服務要求時，如何合理的降低服務質量？能否插入和預測一些數(shù)據？8.2多媒體數(shù)據的管理問題

8.多媒體數(shù)據管理還要考慮版本控制的問題一是歷史版本，同一個處理對象在不同的時間有不同的內容，如CAD設計圖紙，有草圖和正視圖之分；二是選擇版本，同一處理對象有不同的表述或處理，一份合同文獻就可以包含英文和中文兩種版本。需要解決多版本的標識、存儲、更新和查詢，盡可能減少各版本所占存儲空間，而且控制版本訪問權限。8.2多媒體數(shù)據的體系結構

多媒體數(shù)據庫的一般結構形式 一、聯(lián)邦型 二、集中統(tǒng)一型 三、客戶/服務器型 四、超媒體型這種結構是通過整合技術連接的。聯(lián)邦型結構中可以擁有多個獨立的媒體數(shù)據庫，如文本數(shù)據庫、音頻數(shù)據庫和圖像數(shù)據庫，每一種媒體數(shù)據庫的設計不需要考慮和其它數(shù)據庫的匹配，并且都有自己獨立的數(shù)據庫管理系統(tǒng)。聯(lián)邦型該結構包含一個多媒體數(shù)據庫和一個多媒體數(shù)據庫管理系統(tǒng)。各種媒體被統(tǒng)一地建于數(shù)據庫中，由一個數(shù)據庫管理系統(tǒng)統(tǒng)一管理和提供訪問。目的是要滿足用戶對多特征事物的數(shù)據存儲和管理，以便達到統(tǒng)一綜合應用的效果。但關鍵的技術基礎是需要建立合適且便于存儲、檢索和管理的數(shù)據類型。目前，面向對象的數(shù)據類型就是建立復雜多媒體數(shù)據類型的一種方法。更有效的多媒體數(shù)據類型的模式有待于進一步的研究。集中統(tǒng)一型這種結構比較適用于網絡環(huán)境中，用戶可以單獨選擇或組合選擇多媒體服務器的服務。各種媒體數(shù)據庫相對獨立，并通過專用服務器和一個多媒體管理服務器相連。多媒體管理服務器綜合各專用服務器的操縱，通過特定的中間件系統(tǒng)連接用戶的接口程序，最終達到與客戶之間的信息交換?？蛻舴掌餍统襟w型多媒體數(shù)據庫結構

各種媒體數(shù)據庫分散存儲于與網絡有連接的存儲空間，互聯(lián)網提供了一個信號傳遞的通道。該體系結構強調對數(shù)據時空索引的組織，通過建立適當?shù)脑L問工具，就可以隨意訪問和使用這些數(shù)據。超媒體型8.2多媒體數(shù)據的層次結構

1.傳統(tǒng)數(shù)據庫的層次結構2.多媒體數(shù)據庫的層次結構傳統(tǒng)數(shù)據庫的層次結構物理模式：定義數(shù)據的存儲組織方法概念模式：定義抽象現(xiàn)實世界的方法外部模式：又稱子模式，是概念模式中對用戶有用的一部分概念模式借助數(shù)據模型來描述多媒體數(shù)據庫的層次結構媒體支持層

建立在多媒體操作系統(tǒng)之上，針對各種媒體的特殊性質，在該層中要對媒體進行相應的分割、識別、變換等操作，并確定物理存儲的位置和方法，以實現(xiàn)對各種媒體的最基本數(shù)據的管理和操縱。存取與存儲數(shù)據模型層多媒體數(shù)據的邏輯存儲與存取，各種媒體數(shù)據的邏輯位置安排、相互的內容關聯(lián)、特征與數(shù)據的關系以及超鏈的建立等都需要通過合適的存取與存儲數(shù)據模型進行描述。多媒體數(shù)據庫的層次結構概念數(shù)據模式層

對現(xiàn)實世界用多媒體數(shù)據信息進行的描述，也是多媒體數(shù)據庫中在全局概念下的一個整體視圖。存取與存儲數(shù)據模型層和概念數(shù)據模型層也可以通稱為數(shù)據模型層。多媒體用戶接口層

完成用戶對多媒體信息的查詢描述和得到多媒體信息的查詢結果。這層在傳統(tǒng)數(shù)據庫中是非常簡單的，但在多媒體數(shù)據庫中這一層成了最重要的環(huán)節(jié)之一。多媒體數(shù)據庫的層次結構多媒體數(shù)據庫的用戶接口字符數(shù)值型接口關鍵字描述自然語言查尋多媒體數(shù)據庫的用戶接口示例型接口 一、示例的含義 二、示例的種類 三、示例接口的結構

多媒體數(shù)據的用戶接口示例圖像 結果圖像

示例圖像的查尋

多媒體數(shù)據的用戶接口圖像數(shù)據庫的示例接口8.3基于內容的檢索技術

8.3.1概述8.3.2課堂小練習8.3.3基于內容的圖像檢索技術8.3概述

基于內容檢索技術一般用于多媒體數(shù)據庫系統(tǒng)之中，也可以單獨建立應用系統(tǒng)?；趦热輽z索的主要研究內容:如何使系統(tǒng)直接從各種媒體中獲取信息線索，并將這些線索用于數(shù)據庫中的檢索操作，幫助用戶從數(shù)據庫中檢索出合適的多媒體信息對象。實現(xiàn):從媒體數(shù)據中分析、提取出可供檢索的內容特征，并將這些內容特征進行結構化的表示。相對于媒體數(shù)據層次的處理過程，將對媒體語義層次的處理稱為媒體的內容處理。

8.3課堂練習

學習《基于內容的圖像檢索》視頻，回答下述問題：根據你的理解，用一段話描述基于內容的圖像檢索技術的工作原理。8.3系統(tǒng)的一般結構

從基于內容檢索的角度出發(fā)，系統(tǒng)由組織媒體輸入的插入子系統(tǒng)、對媒體做特征提取的媒體處理子系統(tǒng)、儲存插入時獲得的特征和相應媒體數(shù)據的數(shù)據庫以及支持對該媒體的查詢子系統(tǒng)等組成，同時需要相應的知識輔助支持特定領域的內容處理。8.3系統(tǒng)的一般結構

插入子系統(tǒng)：負責將媒體輸入到系統(tǒng)之中，同時根據需要為用戶提供一種工具，以全自動或半自動(即需用戶部分干預)的方式對媒體進行分割，標識出需要的對象或內容關鍵點，以便有針對性地對目標進行特征提取。特征提取子系統(tǒng)：對用戶或系統(tǒng)標明的媒體對象進行特征提取處理?？梢杂扇送瓿?，也可以通過對應的媒體處理例程完成，提取些所關心的媒體特征。提取的特征可以是全局性的，也可以針對某個內部的對象，在提取特征時，往往需要知識處理模塊的輔助，由知識庫提供有關的領域知識。8.3系統(tǒng)的一般結構

數(shù)據庫：媒體數(shù)據和插入時得到的特征數(shù)據分別存入媒體數(shù)據庫和特征數(shù)據庫。數(shù)據庫通過組織與媒體類型相匹配的索引來達到快速搜索的目的，從而可以應用到大規(guī)模多媒體數(shù)據檢索過程中。查詢子系統(tǒng)：主要以示例查詢的方式向用戶提供檢索接口。檢索主要是相似性檢索，模仿人類的認知過程，可以從特征庫中尋找匹配的特征，也可以臨時計算對象的特征。

8.3系統(tǒng)的一般結構

用戶查詢模塊查詢格式化示例媒體媒體處理模塊知識輔助模塊插入模式新媒體對象媒體1數(shù)據庫媒體n數(shù)據庫媒體特征媒體特征。。。。多媒體數(shù)據庫中基于內容檢索系統(tǒng)的結構示意8.3系統(tǒng)的一般結構存儲的特征值查詢特征插入的媒體對象查詢的媒體對象媒體處理例程計算相似性查詢的方法示意

8.3媒體的內容語義

媒體的內容語義是基于內容檢索的基礎，與任務有關，也與領域有關。基于內容的檢索應該分階段完成，第一階段先用無領域知識的方法縮小檢索空間，第二階段再逐步利用領域知識進行更細致的查找和匹配。在這里介紹的部分媒體內容語義大多數(shù)是與領域無關的。

8.3媒體的內容語義

文本內容檢索已經比較成熟，有對字符、詞、詞組、基于上下文的內容檢索。圖像媒體檢索內容主要包括顏色、紋理、輪廓、對象及領域內容等。視頻建立在圖像的基礎上，常用檢索主要包括鏡頭、攝像動作、運動對象以及場景等。聲音的內容檢索包括特定模式的查找，特定詞、短語、音樂旋律和特定聲音的查找等8.3檢索過程

基于內容檢索是一個逐步求精的過程。主要過程如圖用戶的查詢說明示例描述計算特征并進行相似性匹配修改檢索說明從檢索結果中選擇一個示例，進行特征修正返回一組檢索結果結束是否是否滿意？8.3檢索過程初始檢索說明：用戶開始檢索時，要形成一個檢索的格式。系統(tǒng)對示例的特征進行提取，或是把用戶描述的特征映射為對應的查詢參數(shù)。相似性匹配：將特征與特征庫中的特征按照一定的匹配算法進行匹配。滿足一定相似性的一組候選結果按相似度大小排列返回給用戶。8.3檢索過程特征調整：用戶對系統(tǒng)返回的一組滿足初始特征的檢索結果進行瀏覽，挑選出滿意的結果，檢索過程完成；或者從候選結果中選擇一個最接近的示例，進行特征調整，然后形成一個新的查詢。重新檢索：逐步縮小查詢范圍，重新開始。該過程直到用戶放棄或者得到滿意的查詢結果時為止。8.3圖像檢索系統(tǒng)實例

實現(xiàn)基于內容的檢索系統(tǒng)主要有兩種途徑：一是基于傳統(tǒng)的數(shù)據庫檢索方法，即采用人工方法將多媒體信息內容表達為屬性(關鍵字)集合，再在傳統(tǒng)的數(shù)據庫管理系統(tǒng)內處理，這種方法對信息采用了高度抽象，留給用戶的選擇余地較小，查詢方法和范圍有所限制；二是基于信號處理理論，即采用特征抽取和模式識別結合人工智能等手段來克服數(shù)據庫方法的局限性。8.3圖像檢索系統(tǒng)實例有時人們很難對一個對象進行描述，如人的面部，人的聲音等。這時常見的做法是給定一個實例，使系統(tǒng)自動(或在人工干預下)獲取其特征，然后進行模式匹配識別，只能是相似性查詢。計算兩個媒體對象間的相似程度，首先必須借助于圖像理解、語音識別等領域發(fā)展起來的模式識別技術進行特征抽取，得到特征值后計算其相似性。目前，學術界和商業(yè)界已經發(fā)展出了一些基于內容的圖像檢索系統(tǒng)，如QBIC、Blobworld、WebSeek等。8.3圖像檢索系統(tǒng)實例QBIC系統(tǒng)8.3圖像檢索系統(tǒng)實例系統(tǒng)采用了RGB色彩空間下的一個256維的色彩直方圖特征；一個6維形狀特征，Tamura紋理特征。這個紋理特征由粗糙度、對比度、方向性等特征分量構成。數(shù)據庫中的圖像由以上這三種特征構成。

系統(tǒng)允許用戶按照范例的方式進行查詢，還允許用戶提供基于草圖的查詢方式。8.3圖像檢索系統(tǒng)實例系統(tǒng)采用歐式距離來比較不同圖像的特征向量的相似距離。

是兩個特征向量ci和cj的歐式距離表達，其中，兩個特征向量的維數(shù)為n。距離D越小，說明兩幅圖像越相似。在檢索界面上，以歐式距離最小的若干幅相似圖像，作為最終查詢得到的相似圖像進行顯示；在界面上，還可以根據用戶的喜好，選擇色彩直方圖特征、圖像的布局或是紋理特征等一種或多種特征進行有選擇的查詢。8.3圖像檢索系統(tǒng)實例Mars系統(tǒng)

8.3圖像檢索系統(tǒng)實例系統(tǒng)采用了在HSV色彩空間上的直方圖色彩特征；紋理特征采用了兩種直方圖，分別度量圖像的粗糙度和圖像的方向性；為了刻畫圖像的色彩/紋理的空間布局，將圖像分成5×5的子塊，對每一個圖像都分別計算它的色彩和紋理直方圖。圖像子塊的相似程度

其中，Mi和Mj分別是兩個子塊圖像的面積，dij是兩個子塊圖像的色彩和紋理特征的歐式距離。Fij越大，說明兩個子塊越相似。28.3圖像檢索系統(tǒng)實例Mars系統(tǒng)最為引人注目的優(yōu)點是首先引入了相關反饋的機制。相關反饋是根據用戶對查詢結果的評價，動態(tài)地反饋給檢索系統(tǒng)，從而使檢索系統(tǒng)能夠自動的調整查詢過程中各個特征的權重，使得用戶感興趣的圖像或感興趣的特征的權重加大。相關反饋的公式：

其中，Q是本次的查詢特征向量，Q’是經過反饋調整后的特征向量，分別是三個常量。NR是評價為正面的圖像集合，NN是評價為負面的圖像集合，Di是相應圖像的特征向量。8.3圖像檢索系統(tǒng)實例BlobWorld

系統(tǒng)8.3圖像檢索系統(tǒng)實例數(shù)據庫中每一幅圖像的特征采用了色彩、紋理、區(qū)域（區(qū)域由blob來代表）的形狀以及位置信息等。根據高斯混合模型,進行圖像分割；利用了圖像的色彩、紋理及位置等特征，來估