第8章多媒體數據庫技術

8.1多媒體數據庫概述6/30/20231傳統(tǒng)數據庫都是以數值和字符數據為管理對象，其應用對象主要是一般商業(yè)或事務數據，它通常不涉及到諸如圖像、聲音等多媒體數據。當數據庫管理對象被擴充到用來管理多媒體數據，由于描述的數據結構即數據模型不同，其性質和功能都將出現重大變化，存儲結構和存取機制出現基本差異，此時用以管理多媒體數據的數據庫管理系統(tǒng)就是多媒體數據庫管理系統(tǒng)（MDBMS）。經過多年的研究與開發(fā)，MDBMS在理論上取得了一定進展，也由一些多媒體數據的DBMS出現，當還不夠完善與成熟。6/30/202328.1.1多媒體數據

1.媒體信息的交換和傳播必須借助于一定的媒體，“媒體”(Media)就是信息得以表示或傳播的載體，其基本功能就是向人們傳遞各種信息。在計算機領域內，可以將媒體劃分為如下幾個部分。6/30/20233●感覺媒體

●表示媒體

●存儲媒體

●傳輸媒體

6/30/202342.多媒體從詞源上看，“多媒體”一詞由前綴multi和字根media兩部分復合而成。Multi來源于拉丁字multus，其意為“大量的”；Media是拉丁字medium的復數形式，表示“媒體”的意思。因此，從詞源上推斷，多媒體意為“多種媒介綜合體”。例如，電影是由音頻(Audio)和視頻(Video)綜合而成的一種信息表示和傳播的形式(載體)，它是一種多媒體。6/30/202353.多媒體數據在以計算機和網絡通信為基礎的信息時代，人們所指的多媒體大多是數字化的多媒體，即基于計算機技術的多媒體，稱之為計算機多媒體(ComputerMultimedia)。多媒體數據是指由多種不同類型媒體綜合組成的，通常包括文本、圖形、圖像、聲音、視頻圖像和動畫等媒體形式。只包含某種媒體的數據稱為單媒體。當然，單媒體可以看作是特殊的多媒體。6/30/202368.1.2多媒體數據分類

多媒體數據按其特征可以分為以下6種。1.文本數據2.聲音數據3.圖像數據4.圖形數據5.影視數據6.生成媒體數據6/30/202378.1.3多媒體數據特征

與傳統(tǒng)的數據相比，多媒體數據具有如下幾種特性：1.集成特性2.獨立特性3.數據量大4.實時性強5.具有交互性6.非解釋特性7.非結構特性6/30/202388.1.4多媒體數據庫

1.多媒體數據庫傳統(tǒng)數據庫是以數字和字符數據為管理對象，其應用對象主要是一般的商業(yè)或事務數據，一般不涉及諸如圖像和聲音等，但當數據庫管理對象被擴充到用來管理多媒體數據之后，其性質和功能都發(fā)生了重大變化。此時存儲結構和存取結構不同，描述它們的數據結構和數據模型也不同。由此產生的用于管理多媒體數據的數據庫管理系統(tǒng)就是多媒體數據庫管理系統(tǒng)（MDBMS），其對應的數據庫系統(tǒng)就是多媒體數據庫系統(tǒng)（multimediadatabase，MD）。6/30/202392.多媒體數據庫特征從多媒體數據庫管理系統(tǒng)的角度來看，多媒體數據庫具有如下特征。（1）多媒體數據庫不同于經典數據庫，在其處理數據對象、數據類型、數據結構、數據模型、應用對象等方面都與經典數據庫有著較大差異。6/30/2023102）多媒體數據庫存儲和處理的是現實世界中的復雜對象，這些對象往往通過多種形式的媒體來綜合表現自己，如動態(tài)的視頻。經典數據庫是對于格式化數據進行存儲和處理，圖像或聲音媒體都作為無格式化數據而存在，而其存儲特征則是一類二進制大對象，存儲對象變化使得存儲技術增加了新的內容，需要進行特殊處理，如進行數據壓縮等。6/30/202311（3）多媒體數據庫是面向應用的，其功能需求與應用密切相關，因此它并不是基于某一特定的數據類型，而是隨著應用領域和對象而建立相應的數據模型，如可以概括地劃分多媒體數據為簡單型、復雜型和智能型，用來表示不同類型的應用。6/30/2023123）多媒體數據庫從實用性要求出發(fā)，強調媒體間的獨立性，其概念可以與經典數據庫多要求的數據獨立性進行類比，即多媒體數據庫用戶應當最大限度地忽略各媒體間的差別，從而實現對對媒體數據的操作與管理。6/30/202313（4）經典數據模型概念更強調應用對象的邏輯結構。而多媒體應用則對于對象的物理表示和交付方式非常重視，多媒體系統(tǒng)的意義和作用就在于能將物理存儲的信息以多媒體形式向用戶表現和提供，因此多媒體數據庫更強調用戶界面的靈活性和多樣性。單媒體顯示相對容易，而混合媒體如聲像的表現，由于涉及到媒體的同步和集成，因此要復雜得多。6/30/202314（5）多媒體數據庫應具有較強的對象訪問手段，從而使多媒體數據庫具有實用價值，訪問方式可包括通過多媒體對象類型和建立的對象聚集。對象概括訪問對象，通過多媒體關系，媒體特征進行訪問，特征訪問主要用于對圖像和聲音等對象的訪問，這里還涉及到特征抽取等問題。瀏覽訪問、近似性查詢、混合方式訪問都是多媒體數據庫特有的查詢方式。6/30/2023158.1.5多媒體數據庫主要技術

1.大容量、高帶寬的存儲器系統(tǒng)文本的存儲和檢索技術早已成熟。多媒體存儲則是較新的課題。多媒體存儲需要考慮若干新的需要，例如巨大的存儲空間、大型對象、多個相關對象和對檢索的時間要求等。多媒體存儲和檢索最主要的特點是要考慮多媒體對象的龐大數據量及實時性的要求。6/30/2023162.多媒體數據模型數據庫系統(tǒng)的一個核心問題就是如何表示和處理實體間的聯系，而表示實體之間聯系的模型就是數據模型。數據模型可以用一種較為嚴格的定義表述為：數據模型（datamodel）是由數學上一組定義組成，這些概念可以用來表達數據密集型應用中的靜態(tài)和動態(tài)性質。由于多媒體數據的來源緊密依賴于應用，很難有統(tǒng)一的模型面向所有應用需求，因此，討論多媒體數據模型實質上只能提供若干有利于多媒體應用的建模技術和方法，本章正是按照這個思路進行研究。6/30/2023173.元數據及其生成多媒體數據庫中存在有大量的二進制位串、字符流等非結構化和半結構化數據，要理解和查詢這類數據，就必須對其進行必要的描述和解釋。這種描述和解釋的數據是關于數據的數據，人們通常稱為多媒體元數據。多媒體元數據對于多媒體數據極端重要，它是多媒體數據的解釋與描述，更是用戶識別、選擇多媒體數據的基本依據，因此，要進行多媒體數據的查詢與管理，就要研究多媒體元數據及其生成。6/30/2023184.查詢和索引技術數據查詢是任何一個數據庫系統(tǒng)最基本和最重要的功能之一，在多媒體數據庫中，數據查詢條件一般表示為元數據應當滿足的條件，而不是直接表示為媒體數據應該滿足的條件，由此，帶來一些新的技術和方法問題需要處理。另外還有基于多媒體本身特性的多解查詢、基于媒體內容的檢索技術（特征提取、索引和查詢優(yōu)化）等基本課題也需要進行研究。6/30/2023198.2多媒體數據模型

目前，建立多媒體數據模型的方法大多是在關系數據模型和面向對象數據模型基礎上進行改進。主要方法有如下兩種：●擴展現有關系數據庫管理系統(tǒng)(RDBMS)，用于支持類似于二進制對象的各種多媒體對象。將RDBMS從基本的二進制對象擴展到繼承和類這一概念。●轉變?yōu)榘l(fā)展成熟的面向對象數據庫，以支持SQL語言。將數據庫和應用軟件轉變?yōu)槊嫦驅ο蟮臄祿⑹褂妹嫦驅ο蟮恼Z言，如C++，或使用對象的SQL來開發(fā)。6/30/2023208.2.1多媒體數據模型的層次

多媒體數據模型是用來描述任何多媒體數據靜態(tài)特性和動態(tài)特性的一組概念和定義，一般可以分為如下三個層次?！窀拍顢祿Ｐ停╟onceptualdatamodel，CDM）●邏輯數據模型（logicaldatamodel，LDM）●物理數據模型（physicaldatamodel，PDM）6/30/2023216/30/202322按照應用對象的復雜程度，可以將數據模型分為三種：簡單性、復雜型和智能型數據模型。簡單型數據模型對應于多媒體簡單應用，其特征是涉及到的對象多為靜態(tài)，結構較為簡單，查詢比較確定。相對于簡單數據模型的就是簡單型多媒體數據庫它主要完成對多媒體數據中的物理媒體數據的有效管理和存取，建立多媒體數據及其文本說明等屬性之間的相互關系。6/30/202323復雜型多媒體數據模型表述一類結構較為復雜、可以進行某種意義上模糊查詢的多媒體應用，其特征是具有復雜的結構，實體之間存在多重聯系，查詢方式多樣。相對于復雜數據模型的就是復雜型多媒體數據庫，它主要完成對多媒體中所包含的物理媒體數據、邏輯媒體數據的統(tǒng)一描述、有效存取和管理，能對多媒體數據中包含的多種語義信息進行描述、存取和管理。6/30/202324智能型數據模型是指一類具有特殊復雜對象、應用要求相當復雜的系統(tǒng)，其特征是對系統(tǒng)的描述具有很高的要求。相對于智能型數據模型的就是智能型多媒體數據庫，它不但能夠對多種媒體數據進行有效的存儲和管理，還能夠支持對多種媒體數據的理解以及從中進行知識獲取。在知識引導下的查詢及其相應智能化的操作和處理。6/30/2023258.2.2擴展的關系數據模型

傳統(tǒng)的關系數據模型缺少支持多媒體數據庫的能力。RDBMS只是為管理表格字母數字形式的數據設計的，很難實現具有空間關系和時態(tài)關系的數據，缺乏演繹和推理操作。最近，關系數據庫管理系統(tǒng)開始使用大二進制對象(BLOB)來存儲和管理多媒體對象。BLOB可用于圖像或其他二進制數據類型的對象。關系數據庫中包括BLOB的位置信息，這些信息實際存儲在數據庫之外的分離的圖像或視頻服務器上。通過訪問這些BLOB，為用戶顯示完整的數據集。6/30/202326此外，盡管目前絕大多數關系數據庫都支持整型、浮點、字符串、貨幣、日期和布爾量等數據類型，有一些也增加了一些新特點，如在BLOB中查詢超文本，但是還存在如下幾點主要不足：6/30/202327(1)它們不支持如派生和聚合這樣的類關系。(2)未加修改的關系模型不支持自動管理數據的同步編輯，如版本管理等。(3)關系數據庫的計算模型也不支持擴展結構的遍歷操作所需要的內存駐留對象的概念。例如，在演示一個包含有圖像和全運動視頻剪輯的RTF文本時的操作。6/30/202328(4)關系模型不能進行具有某種復雜度的長周期事務處理，例如需要對被多個用戶訪問的分布式多媒體對象進行更新操作。所以，為了能在多媒體數據庫中使用關系數據模型，必須對關系數據庫進行必要的擴充和改進。6/30/2023298.2.3面向對象模型

20世紀90年代以來，面向對象模型是另一種表達多媒體數據庫的主要方法，許多多媒體應用中的數據管理都建立在面向對象模型上。6/30/202330面向對象數據庫模型類的概念對多媒體數據特別有用。一旦定義了類，所有類中的對象就被賦予了類的屬性。類定義在應用軟件的開發(fā)速度上也有著明顯的優(yōu)勢，并且有利于為開發(fā)和維護復雜多媒體應用軟件提供更完善的功能及更廣泛的對象性能。此外，對象數據庫的功能，如消息傳遞、可擴展性、支持分層結構，對于多媒體系統(tǒng)來說也都是非常重要的。6/30/202331但是，面向對象的數據模型目前尚無一個統(tǒng)一的標準，缺乏堅實的理論基礎，許多實際技術還不夠成熟。為了更好地滿足多媒體數據庫管理的需求，還需要做進一步研究和改進。例如增加反映多媒體對象之間時空關系的描述，描述多媒體對象間更深刻的語義。6/30/2023328.3多媒體元數據及其生成

8.3.1多媒體元數據1.多媒體元數據概念多媒體數據往往由多種媒體組合而成。多媒體數據類型不同，表示方式也各不相同。不同的表示形式，其存取方式和繪制方式等各不相同。因此，多媒體數據庫還應包括處理不同對象的相關方法庫。多媒體數據庫與方法庫應緊密相關聯，以便進行數據對象的組合、分解和變換等操作。所以，多媒體數據應包括數據原始對象(也稱數據源)、數據對象的說明(元數據等)以及與對象相關聯的方法3部分6/30/2023336/30/202334媒體對象，如音頻、圖像及視頻，是二進制和非結構化的，因此也不能簡單地用數學解析式表示。多媒體數據庫必須取得并存取基于這些媒體對象內容的解釋，這些解釋就成為元數據。元數據可以從媒體信息自動地或者半自動地(或者在一些情況下是手動地)生成。6/30/202335元數據包含兩方面的內容：●媒體內部元數據處理媒體內信息的解釋?！衩襟w相互間的元數據處理多個媒體和它們相互關系信息的解釋。6/30/2023362.多媒體元數據分類一般來說，多媒體元數據可以分為如下3類：（1）內容相關的元數據（2）內容描述的元數據（3）內容無關的元數據6/30/2023378.3.2多媒體元數據生成

1.文本元數據文本元數據可以表示為字符串（即由鍵盤輸入），也可以表示為圖像（由掃描儀輸入）。若用字符串表示，其最基本的元數據是文本邏輯結構及其展示風格的描述，描述的內容一般可由作者提供，作者提供的不充分的某些部分仍需用自動或半自動的方法識別，例如子標題邊界的確定和關鍵詞的提取等。如果文本數據是由掃描儀輸入，則生成元數據需要更多的自動或半自動處理，例如行、字、符號、圖和表的識別、段落邊界的確定、關鍵詞的提取等。6/30/2023382.聲音元數據在聲音媒體中，語音是使用和研究得最多的一種媒體。有限制的語音識別逐步走向實用化。從語音鑒別發(fā)言人、按照語調和語氣來區(qū)別語義和詞義也在研究之中。但在普遍情況下，既不限詞匯、不限發(fā)言人數、不限語法、不限環(huán)境和背景，語音識別的效果就不夠好，還不能實用化。6/30/202339通過語音處理和識別，可以獲得語音數據的各種語義信息，這是最基本的依賴于內容的語音單元。由于語音識別須要和大量樣板語音數據比較，空間和時間的開銷都很大。目前，用自動半自動方法提取語音元數據還有一定的困難。6/30/2023403.圖像元數據圖像元數據與圖像類型和應用領域有關。例如人像的元數據主要包括人的自然和社會的屬性以及人的各部分的特征等；衛(wèi)星圖像元數據主要包括柵格結構、地理位置、地貌特征、地域覆蓋（例如國域，省域等）、攝取時間；醫(yī)學圖像元數據主要包括病人屬性、檢查時間，結構異常部位及特征。6/30/2023414.影視元數據影視數據是由一系列幀組成的。影視元數據有些是屬于幀一級的，例如某一幀的顏色或灰度特征；有些是屬于幀系列級的。幀系列還可以分為多級：即影視級（一部電影或電視節(jié)目）、情節(jié)級（表示影視中一段連貫的內容），場景級（在一個地點或場地拍攝的內容），鏡頭級（一次連續(xù)的拍攝）。每一級都可能有各自的元數據，例如某個鏡頭中物體移動軌跡，6/30/2023428.4多媒體數據庫查詢

數據庫查詢是數據庫系統(tǒng)最重要的功能之一。典型的查詢包括如下幾部分：●需要輸出的數據項?！窨晒┎樵兊男畔??！癫樵儣l件(查詢謂詞)。根據謂詞描述的內容和謂詞被指定的方式可用不同的類型對多媒體數據庫進行查詢。6/30/2023438.4.1多媒體數據庫查詢實例

下面以電影點播(MOD)多媒體數據庫系統(tǒng)為例，列舉一些多媒體數據庫查詢的實例。客戶能連接到VOD服務器，查詢服務器能提供的電影，下載和觀看電影。假設VOD服務器能存放電影的如下信息：6/30/202344(1)電影的一個影像段。(2)與影像段相關的聲音段。(3)電影提取的兩個重要情節(jié)的畫面圖像。(4)給出電影的導演、男演員、女演員和其他電影特征的文本。6/30/202345客戶能用許多可能的方式查找VOD數據庫。舉例如下：查詢1：帶有計算機動畫卡通的電影有哪些?VOD服務應答器回應：VOD服務器顯示電影的細節(jié)：“WhoFramedRabbit”和“ToyStory”。6/30/202346查詢2：請顯示一個卡通主角講這個句子的電影的細節(jié)(這個聲音段為：“有人污染了海灣”)。VOD服務應答器回應：服務器顯示出有卡通人物Wooody講過上述句子的電影“ToyStory”的片段?；貞ㄓ跋窈吐曇舻钠危в行麄鳟嫼臀谋拘畔?。6/30/202347查詢3：顯示如下影像發(fā)生的電影片段：卡通人物Wooody給綠軍人員指派了一個監(jiān)視生日禮物的偵察任務。VOD服務應答器回應：服務器顯示所需的電影“ToyStory”的片段，并提供相應的聲音、宣傳畫和文本。6/30/202348查詢4：顯示這個電影宣傳畫面的電影細節(jié)(圖像描述了卡通人物JessicaRabbit被扔出動畫馬車的畫面)。VOD服務應答器回應：服務器顯示相應電影“WhoFramedRogerRabbit”的宣傳畫及其細節(jié)資料?？蛻暨€能進行以上查詢的組合查詢，不同組合的查詢返回的多媒體對象應包括相應的內容。6/30/2023498.4.2多媒體數據庫的查詢類型

多媒體數據的查詢可以分為不同類型，主要方式如下。1.基于多媒體信息內容的查詢由于多媒體信息內容已被多媒體對象相關的媒體數據描述了。因此，這些查詢是通過對元數據和媒體對象的直接訪問進行的。6/30/2023502.依據實例查詢(QBE)QBE查詢就是查找與指定實例對象相似對象的查詢過程。用戶處理器必須正確指定用戶要求匹配例子對象的特性。我們看看下面的查詢：“給我和這幅圖像相似的圖像”。這相似性匹配要求用戶必須指定紋理方面、顏色、空間特性(例子圖像內的位置)或者圖像中提供的對象的形狀，也可以全部或部分匹配。對于部分匹配來說，查詢處理器必須指定匹配可容錯程度。6/30/2023513.時間索引查詢(TimeIndexqueries)這些查詢用來處理媒體對象的時間特性，這些時間特性可用節(jié)段樹存儲。查詢處理器采用訪問索引信息(用節(jié)段樹存儲)或其他的相似方法來處理時間索引查詢。6/30/2023524.空間查詢這些查詢可以去處理和對象有關的空間特性，這些特性可作為媒體信息生成。查詢處理器可訪問這些媒體數據信息并做出反應。6/30/2023535.應用程序指定查詢應用程序指定描述可作為元數據信息存儲。查詢處理器可訪問這些信息并做出反應。6/30/2023548.4.3查詢過程的選擇

多媒體數據的查詢包括引用多媒體對象。對于首先訪問哪個多媒體數據庫查詢處理器有不同的選擇。例如下圖描述了一個簡單媒體文本的查詢過程。假定文本信息的元數據存在，那索引文件則首先被訪問。以文本文檔的選擇為根據，通過訪問元數據，查詢信息就會提供給用戶。6/30/2023556/30/202356當查詢媒體超過一個時，查詢的進程就可以用不同的方式處理。圖8-5描述了多個媒體的查詢進程的一種可能方式：文本和圖像。假定圖像和文本元數據都是有效的，那查詢就可以用下面兩種不同的方式處理：6/30/202357(1)首先訪問和文本有關的索引文件并選擇一個原始的文檔集。然后檢測文檔集以確定文檔中是否有查詢指定的圖像對象。這個隱含文檔中包含有關圖像方面的信息。(2)首先訪問和圖像信息有關的索引文件并選擇圖像集。然后監(jiān)測與圖像相關的信息以確定圖像是否是任何文檔的一部分。6/30/2023586/30/2023596/30/2023608.4.4多媒體數據庫查詢語言

作為用戶查詢的一部分，為了選擇某個對象還需要計算查詢謂詞。這些謂詞可以由一些布爾操作組成，例如：NOT、AND和OR。查詢語言是用來描述查詢謂詞的，對多媒體數據庫應用程序來說，查詢語言需要有描述下面謂詞的特性：●時間謂詞?！窨臻g謂詞?！衩枋雠e例查詢的謂詞。●應用程序指定謂詞。6/30/202361除了需要描述不同謂詞的特性外，查詢語言還需要描述不同媒體對象的特性。多種查詢語言可用于多媒體數據庫應用程序。SQL和它的各種版本提供了描述多媒體數據庫查詢的特性。然而，多媒體應用程序有一個很大的需求范圍，因此，各類專家研究小組也對其他的查詢語言進行了研究。查詢語言提供的特性有助于應用程序的查詢描述。6/30/2023621.SQL/MM查詢語言SQL/MM查詢語言提供了新的數據類型如二進制大對象(BLOBS)、新類型構造器和面向對象的特征。新的內部數據類型是作為抽象數據類型提供的。面向對象附加特性是為了使語言更適合于多媒體數據庫應用程序。SQL/MM定義的每個當前狀態(tài)都由3部分組成：結構框(FRAMEWORD)、全文本(FULL-TEXT)和空間部分(SPATIAL)。下面，我們討論作為SQL/MM一部分而定義的抽象數據類型。6/30/202363SQL/MM中定義的抽象數據類型可根據應用程序的需要定義數據類型。在面向對象的系統(tǒng)中，ADT和這種定義對象的方法相似。ADT的定義有兩種：結構上和行為上的。結構部分定義了ADT的數據結構，而行為部分則描述了對數據進行的操作。作為行為部分的一部分，每個ADT都定義了內部構造函數。構造函數初始化各種在數據結構部分定義的數據結構。每個ADT也有一個內部析構函數，當ADT被破壞時清除對象。6/30/2023642.PICQUERY+查詢語言PICQUERY+語言是一種用于圖示和字符數據庫管理系統(tǒng)的查詢語言。PICQUERY+在數據庫上的主要應用是醫(yī)學應用。醫(yī)學數據庫應用程序的重要特性包括下面這些內容。6/30/202365醫(yī)學數據庫的這些特性描述了身體的某些器官是如何在一段時間內發(fā)展的：(1)進化(發(fā)展)：一個對象的特性是可以在某段時間內發(fā)展的。(2)混合：一個對象可以和其他的對象混合，形成一個具有區(qū)別于父母對象特性的一個新的對象。(3)繁殖：一個對象可以分裂成兩個或多個單獨的對象。6/30/202366時間特性描述了數據庫對象如下特性：(1)兩個對象之間的時間關系(例如：一個事件跟在另一事件之后)。(2)一個對象生存的時期或事件發(fā)生的時間。6/30/202367PICQUERY+提供下面的查詢操作：·進化謂詞指定和對象不同發(fā)展階段的有關約束條件。作為PICQUERY+一部分定義的0進化操作包括：EVOLUESINTO、FUSES_INTO和SPLITSINTO。作為時間謂詞，PICQUERY+指定下列操作：after、before、between、in、overlaps、meets、equivalent、adjacent、follows和precedes。6/30/202368對于描述和數據空間特性有關的查詢包括下面操作：INTERSECTS、CONTAINS，ISCOLLINEAR，WITH，INFILTRATES，LEFTOF，RIGHTOF，ABOVE，BELOW，INFRONTOF，BEGIND。對于描述模糊查詢，定義了SLMlLAR操作。6/30/2023693.VIDEOSQLVIDEOSQL查詢語言是OVID系統(tǒng)提供的一種視頻對象檢索語言。VIDEOSQL有以下語句：6/30/202370(1)