1、第8章 多媒體系統(tǒng)的數(shù)據(jù)模型 n多媒體系統(tǒng)數(shù)據(jù)模型概述n超文本系統(tǒng)的形式化模型n信息元模型n表現(xiàn)與同步模型8.1 多媒體系統(tǒng)數(shù)據(jù)模型概述n數(shù)據(jù)模型數(shù)據(jù)模型就是在計(jì)算機(jī)數(shù)據(jù)世界中建立的計(jì)算機(jī)能接受的對(duì)現(xiàn)實(shí)世界中所要研究對(duì)象的抽象描述。n多媒體系統(tǒng)的數(shù)據(jù)模型的主要任務(wù)：n表示各種不同媒體數(shù)據(jù)構(gòu)造及其屬性特征； n指出不同媒體數(shù)據(jù)之間的相互關(guān)系。n多媒體數(shù)據(jù)時(shí)空關(guān)系的建模是多媒體系統(tǒng)研究的重要特色，這種時(shí)空關(guān)系主要由多媒體系統(tǒng)表現(xiàn)模型刻劃。多媒體系統(tǒng)表現(xiàn)模型n多媒體表現(xiàn)是多媒體數(shù)據(jù)的合成再現(xiàn)。n多媒體合成主要包括空間和時(shí)間合成。n空間合成是同一表現(xiàn)空間域中共存的一系列媒體對(duì)象之間的空間特性、位置關(guān)系

2、的描述。n時(shí)間合成是在某一時(shí)間域內(nèi)并發(fā)(包括順序和并行)表現(xiàn)的一系列媒體對(duì)象之間的時(shí)序關(guān)系的描述。n多媒體同步是指采用進(jìn)程來(lái)協(xié)調(diào)時(shí)序關(guān)系的機(jī)制，亦即實(shí)現(xiàn)時(shí)間合成方法的描述。圖8.1 多媒體系統(tǒng)數(shù)據(jù)模型的層次結(jié)構(gòu)應(yīng)用層信息元層數(shù)據(jù)元層腳本同步合成同步系統(tǒng)同步內(nèi)容表現(xiàn)n表現(xiàn)模型從“表現(xiàn)”入手， 根據(jù)多媒體表現(xiàn)強(qiáng)烈的時(shí)空特性， 往往以時(shí)間為線索來(lái)組織安排多媒體活動(dòng)。n同步指對(duì)多個(gè)對(duì)象間的時(shí)間關(guān)系的協(xié)調(diào)控制，同步模型是以時(shí)間為線索來(lái)組織多媒體表現(xiàn)。n同步也是有層次的，一般分為用戶級(jí)同步、復(fù)合對(duì)象內(nèi)部的同步及系統(tǒng)同步。 8.2 超文本系統(tǒng)的形式化模型 n形式化描述形式化描述就是用數(shù)學(xué)概念或類數(shù)學(xué)概念來(lái)精

3、確定義和描述信息系統(tǒng)的基本特性的一種方法。n優(yōu)點(diǎn)優(yōu)點(diǎn)：精確定義和描述； 便于模型性質(zhì)的分析；有利于研究新模型； 指導(dǎo)系統(tǒng)實(shí)現(xiàn)。n形式化語(yǔ)言或工具形式化語(yǔ)言或工具(如Petri網(wǎng)、時(shí)序邏輯語(yǔ)言。和Z語(yǔ)言)被引進(jìn)到超文本的研究之中。形式化語(yǔ)言既是正規(guī)性語(yǔ)言又是描述性語(yǔ)言，在軟件的系統(tǒng)建模、概念設(shè)計(jì)中起著重要作用。 集合論和一階邏輯 n定義定義8.1 一個(gè)序偶， 這里S是一個(gè)集合，R是從S到S一種關(guān)系。如果滿足下列條件稱它為偏序集： (1) R是不對(duì)稱的； (2) R是自反的； (3) R是傳遞的。n定義定義8.2 集合S一個(gè)對(duì)象x是偏序R的最小元素，如果： sS(R(s,x)=(s=x)n定義定義

4、8.3 偏序集中， 集合S的元素X覆蓋S的元素Y(X)可記為covers(X,Y,)，滿足： R(Y,X) ZS(R(Y,Z)R(Z,X)=(Z=X)(Z=Y)n定義定義8.4 偏序集中， S中對(duì)象的高度是一個(gè)從S到自然數(shù)集合的函數(shù)， 其定義為：(1) 如果X是最小元素，則height(X)=1；(2) 如果covers(X,Y,)，則height(X)=height(Y)+1。 n定義定義8.5 一個(gè)超文本是這樣一個(gè)集合，它包括： (1) 域?qū)ο蠹疍0和信息對(duì)象集I0； 且有 D0I0 =， D0I0=O 其中為空集， O是對(duì)象集。 (2) 謂詞集合； (3) 屬性(性質(zhì))集合A。 對(duì)超文本

5、， D0表示的域?qū)ο蠹?I0表示的信息對(duì)象集， A表示中的屬性集， 表示中的謂詞集合。 n定義定義8.6 謂詞集合，由以下3個(gè)子集組成： (1)1：一元謂詞，表示對(duì)象的特征。SET(X)。 (2)2：二元謂詞，表示對(duì)象的關(guān)系。P(X1,X2)。 (3)3：三元謂詞，表示對(duì)象的某種屬性的取值。ATR(X,Y,Z)。n定義定義8.7 D0是一個(gè)表示的域?qū)ο蟮莫?dú)有符號(hào)的集合， I0是表示信息對(duì)象符號(hào)的集合， 集合O=D0I0被稱為對(duì)象集合。n信息對(duì)象(I0)與域?qū)ο?D0)的關(guān)系可以通過(guò)函數(shù)INSTANCEOF和INSTANCES來(lái)建立。INSTANCEOF(X)=Y表示X是一個(gè)信息對(duì)象，它是域?qū)?/p>

6、象Y的一個(gè)實(shí)例。INSTANCES(X)=X1,X2,則等價(jià)于INSTANCEOF(X1)=X， INSTANCEOF(X2)=X,。 n定義定義8.8 超文本是一個(gè)強(qiáng)定義的超文本， 當(dāng)且僅當(dāng) X(XI0) = (Y(INSTANCEOF(X)=Y) 所有的信息對(duì)象都通過(guò)它們的域?qū)ο蠖x。 n信息結(jié)點(diǎn)的信息內(nèi)容由對(duì)象的INFO屬性表示。INFO是一個(gè)二元組Position,Value， 其中Position指明在信息對(duì)象中Value的位置。n定義定義8.9 序列對(duì)象Oq是有限個(gè)對(duì)象的集合，且有： (1)謂詞SEQUENCE X(SEQUENCE(X) (XOq)； (2)函數(shù)LENGTH LE

7、NGTH(X)=X中所含對(duì)象的個(gè)數(shù)； (3)函數(shù)LIST LIST(X)=X中對(duì)象的一個(gè)有序排列， 用X1,X2,表示； (4)謂詞in 當(dāng)對(duì)象X是序列Y的一個(gè)元素時(shí)， in(X,Y)或(X in Y)為真； 如果X不是Y的一個(gè)元素，即X不在Y中，則in(X,Y)為假。 n定義定義8.10 聚集對(duì)象Oaggregate是一個(gè)序列對(duì)象，且須滿足下述公理：(1) 聚集對(duì)象具有惟一的成分。X,YAGGREGATE(X)AGGREGATE(Y)(LIST(X)=LIST(Y)=(X=Y)(2) 若一聚集對(duì)象是域?qū)ο螅搶?duì)象所有成分必是域?qū)ο蟆?X(AGGREGATE(X)(XD0) = Y(Y in

8、LIST(X) =(YD0)(3) 聚集對(duì)象的實(shí)例由其成分對(duì)象的實(shí)例構(gòu)成。 X,Y(AGGREGATE(X)(XINSTANCES(Y) = (AGGREGATE(Y)(YD0)Z(Z in LIST(X)= (Z in LIST(Y)T(T in LIST(Y)ZINSTANCES(T)n定 義定 義 8 . 11 歸 納 定 義 為 對(duì) 象 集 合 O 中 的 一 種 關(guān) 系 ， 若GENERALIZATION(X,Y)， 則稱X是Y的歸納。歸納滿足下述公理：(1)關(guān)系GENERALIZATION是不對(duì)稱的，非自反的和傳遞的。(2)如果X是一信息對(duì)象，它是域?qū)ο骙的實(shí)例，則Y是X的歸納。

9、(INSTANCEOF(X)=Y) = GENERALIZATION(Y,X)(3)如果X是Y的歸納，并且Y是一個(gè)域?qū)ο?，則X必是域?qū)ο蟆?X,Y(GENERALIZATION(X,Y)YD0)=(XD0)(4) 如果Y是X的歸納，并且X是一個(gè)信息對(duì)象，Y是一個(gè)域?qū)ο螅瑒tX在Y的實(shí)例集中。 X,YGENERALIZATION(Y,X)(XI0)(YD0)= (XINSTANCES(Y)n引理引理8.1 如果X是Y的歸納并且Ym在Y的實(shí)例集中，則Ym在X的實(shí)例集中。n引理引理8.2 定義關(guān)系 GENERAL(X,Y)=(X=Y)GENERALIZATION(Y,X) 序偶是一個(gè)偏序集。n定義定義

10、8.12 一個(gè)對(duì)象XO的歸納級(jí)定義為在偏序集中對(duì)象的高度。 8.3 信息元模型 8.3.1 基本概念n信息元模型考慮的是信息元構(gòu)造模型， 目的是提供一個(gè)標(biāo)準(zhǔn)， 使“信息元”公共化、通用化， 成為上層各類多媒體應(yīng)用(或模型)都可“調(diào)用”的東西， 這將會(huì)大大方便多媒體數(shù)據(jù)與信息之間的交互和通信 。n多媒體信息元是具有一定語(yǔ)義的組成信息系統(tǒng)應(yīng)用的信息子塊 。n多媒體信息元是一個(gè)或多個(gè)媒體數(shù)據(jù)元經(jīng)過(guò)一定的添加與包裝而合成的超數(shù)據(jù)元。n多媒體信息元3個(gè)基本特性：(1)數(shù)據(jù)元本身的組織附加其表現(xiàn)屬性基本對(duì)象的內(nèi)容與表現(xiàn)/單媒體對(duì)象的表現(xiàn)。(2)多個(gè)數(shù)據(jù)元的時(shí)空同步關(guān)系描述復(fù)合對(duì)象的同步/多媒體的同步。(3

11、)成分之間的鏈接描述基本的鏈接功能。n信息元的大小信息元的大小就是上述3項(xiàng)內(nèi)容之和。n信息元的合成信息元的合成主要指多個(gè)數(shù)據(jù)元之間的時(shí)空合成， 亦即時(shí)空關(guān)系的描述。 n面向?qū)ο笠恍┨攸c(diǎn)，如封裝、繼承、聚合等， 恰好適合于為復(fù)雜多媒體數(shù)據(jù)和信息提供強(qiáng)有力的抽象機(jī)制。n多媒體信息元模型更是利用了面向?qū)ο蟮姆椒ā?.3.2 MHEG標(biāo)準(zhǔn) n由ISO/IEC JTC1/SC29/WG12專家組(MHEG)來(lái)制定超文本信息元標(biāo)準(zhǔn)。 n主要集中在以下幾個(gè)方面：交互性和多媒體同步；實(shí)時(shí)表示；實(shí)時(shí)交換；對(duì)象格式變換 。n分兩個(gè)部分來(lái)完成標(biāo)準(zhǔn)化工作：第一部分是概念/原理性定義，第二部分主要是超媒體信息對(duì)象及MH

12、EG鏈的表示。n采用面向?qū)ο蟮姆椒▉?lái)分析設(shè)計(jì)模型。MH對(duì)象的分類 n輸出內(nèi)容(Output Content)對(duì)象n一般輸入(generic input)對(duì)象 (1)按鈕(button) ；(2)菜單選擇(menu selection) ；(3)多項(xiàng)選擇(multiple selection)；(4)字符串(character string)；(5)位置(location)；(6)數(shù)值(numberical value)。 n投射器(projector)對(duì)象 n基本(pasic)對(duì)象 n合成(composite)對(duì)象 n條件與動(dòng)作 MHEG的同步機(jī)制 (1)腳本同步； (2)條件同步； (3)空

13、間時(shí)間同步； (4)系統(tǒng)同步 。8.4 表現(xiàn)與同步模型8.4.1 表現(xiàn)與同步的有關(guān)概念n表現(xiàn)表現(xiàn)是把各種媒體信息展示給用戶的活動(dòng)， 是多媒體數(shù)據(jù)的合成再現(xiàn)。n多媒體表現(xiàn)因多種媒體并存而成為復(fù)雜活動(dòng)， 以時(shí)間順序和空間關(guān)系來(lái)安排多種媒體的合成表現(xiàn)， 即是多媒體同步多媒體同步問(wèn)題。n空間合成空間合成確定各種媒體在畫(huà)面空間上位置變換和安排，時(shí)間合成時(shí)間合成確定媒體對(duì)象在時(shí)間上的順序。1. 時(shí)空合成的概念描述 n定義定義8.13 角色是多媒體表現(xiàn)環(huán)境中的資源， 它分為視角色和聽(tīng)角色。視角色對(duì)應(yīng)一塊顯示區(qū)域(窗口)， 聽(tīng)角色對(duì)應(yīng)揚(yáng)聲器或聲卡(聲音通道)。n定義定義8.14 場(chǎng)景是各種媒體對(duì)象占用角色活動(dòng)

14、的多媒體空間表現(xiàn)環(huán)境。n定義定義8.15 場(chǎng)景運(yùn)算是對(duì)角色施加的操作， 它分為一元運(yùn)算和二元運(yùn)算。 表8.1 場(chǎng)景運(yùn)算場(chǎng)景運(yùn)算一元運(yùn)算二元運(yùn)算視角色定位(Loc)，變比(Scale)， 剪裁(Cut)，旋轉(zhuǎn)(Rotate) 鄰接(Abut)，覆蓋(Overlay)，鑲嵌(Mosaic)，交疊(Overlap) 聽(tīng)角色增益(Gain)混聲(Mix) n定義定義8.16 場(chǎng)景表達(dá)式 由角色經(jīng)場(chǎng)景運(yùn)算而產(chǎn)生的結(jié)果。它可遞歸定義為： (1) 角色本身是場(chǎng)景表達(dá)式； (2) 若Q為場(chǎng)景表達(dá)式，則Q一元運(yùn)算結(jié)果為場(chǎng)景表達(dá)式； (3) 若Q1和Q2為場(chǎng)景表達(dá)式，則Q1和Q2二元運(yùn)算結(jié)果為場(chǎng)景表達(dá)式； (4)

15、 若Q為場(chǎng)景表達(dá)式， 則(Q)也是場(chǎng)景表達(dá)式； (5) 場(chǎng)景運(yùn)算優(yōu)先級(jí)由高到低為：()，一元運(yùn)算，二元運(yùn)算； (6) 場(chǎng)景表達(dá)式經(jīng)(1)(5)確定的規(guī)則復(fù)合而成。 n定義定義8.17 情節(jié)表示多媒體表現(xiàn)環(huán)境中所發(fā)生的事件，即媒體對(duì)象的活動(dòng)。n情節(jié)可分為原子情節(jié)和復(fù)合情節(jié)，原子情節(jié)是由一個(gè)媒體對(duì)象連續(xù)完成的活動(dòng)，復(fù)合情節(jié)是由原子情節(jié)或復(fù)合情節(jié)經(jīng)情節(jié)運(yùn)算構(gòu)造而成。 n定義定義8.18 設(shè)X1、X2為多媒體表現(xiàn)中的2個(gè)情節(jié)，情節(jié)運(yùn)算定義為：(1) 并發(fā)運(yùn)算 X1X2， X1X2 X1,X2同時(shí)開(kāi)始執(zhí)行， 都完成時(shí)X1X2完成(稱最后并行)；X1或X2有一個(gè)完成時(shí)X1X2完成(稱首先并行)。(2) 順

16、序運(yùn)算 X1;X2先執(zhí)行情節(jié)X1，再執(zhí)行情節(jié)X2，X2完成時(shí)X1;X2完成。(3) 循環(huán)運(yùn)算 X*m循環(huán)m(m1)次執(zhí)行情節(jié)X， X每次執(zhí)行有不同對(duì)象參與。(4) 重復(fù)運(yùn)算 X+m重復(fù)m(m1)次執(zhí)行情節(jié)X， X每次執(zhí)行都同一對(duì)象參與。 n定義定義8.19 情節(jié)表達(dá)式定義為：(1) 情節(jié)本身是情節(jié)表達(dá)式；(2) 若X為情節(jié)表達(dá)式， 則X*m，X+m也是情節(jié)表達(dá)式；(3) 若X1和X2為情節(jié)表達(dá)式， 則X1X2， X1X2和X1；X2運(yùn)算結(jié)果也為情節(jié)表達(dá)式；(4) 若X為情節(jié)表達(dá)式， 則(X)也是情節(jié)表達(dá)式；(5) 情節(jié)運(yùn)算優(yōu)先級(jí)為： ()優(yōu)先級(jí)高， 其余運(yùn)算優(yōu)先級(jí)相同；(6) 情節(jié)表達(dá)式所有形

17、式可經(jīng)(1)(5)確定的規(guī)則復(fù)合而成。n定義定義8.20 多媒體節(jié)目腳本是一個(gè)情節(jié)表達(dá)式。 2. 時(shí)間合成 n時(shí)間關(guān)系一般可用before、meets、overlap、during、starts、finishes和equals及其逆關(guān)系來(lái)表示， 共有13種。定義見(jiàn)表8.2.n多媒體對(duì)象在時(shí)間上的并行、順序、獨(dú)立關(guān)系，在對(duì)象時(shí)間表現(xiàn)控制上分別對(duì)應(yīng)于并發(fā)、串行、異步(任意)執(zhí)行。表8.2 時(shí)間關(guān)系的定義關(guān)系關(guān)系記號(hào)記號(hào)逆關(guān)系逆關(guān)系定義定義A equals Be(A,B)e（B,A）bA=bB tA=tBA before Bb(A,B)b-1（B,A）bA tA bB tBA meets Bm(A,

18、B)m-1（B,A）bA tA =bB tBA starts Bs(A,B)s-1（B,A）bA=bB tA tBA finishes Bf(A,B)f-1（B,A）bB bA tA=tBA during Bd(A,B)d-1（B,A）bB bA tAtBA overlaps Bo(A,B)o-1（B,A）bA bB tAI， I=0，1，2，n定義定義8.23 OCPN的定義為COCPN =T，P，F(xiàn)，D，Re，M 其中，T,P,F,M的定義同MPN定義，而 D： PR(實(shí)數(shù)集) Re： Pr1，r2，rk D是從庫(kù)所集合到實(shí)數(shù)(持續(xù)時(shí)間)的映射，Re是從庫(kù)所集合到資源集合的映射。 圖8.6

19、 一個(gè)PN例子 CarDelayTextT1，R1Tc，RcT2，R2圖8.7 OCPN模型示例 圖8.8 時(shí)間關(guān)系和對(duì)應(yīng)的OCPN4. 面向?qū)ο蟮哪Ｐ蚽時(shí)序場(chǎng)景被建模成相互聯(lián)系的對(duì)象集合。同步多媒體對(duì)象的時(shí)間信息通過(guò)對(duì)象屬性的方式來(lái)建模。n合成對(duì)象是建模時(shí)序場(chǎng)景強(qiáng)有力工具?？砂褧r(shí)序場(chǎng)景建模成一個(gè)合成對(duì)象，其中每個(gè)組元是合成場(chǎng)景的對(duì)象。建模以及合成場(chǎng)景的對(duì)象的屬性和方法一般用來(lái)表達(dá)同步需求。 nODA是由ISO/ITU/ECMA聯(lián)合開(kāi)發(fā)的標(biāo)準(zhǔn)化文檔結(jié)構(gòu)， 用于管理開(kāi)放分布式辦公文檔。ODA基本版本不能處理音視頻類數(shù)據(jù)類型，考慮的文檔僅由文本、圖形和圖像組成。有人提出了對(duì)ODA結(jié)構(gòu)的擴(kuò)充，加強(qiáng)O

20、DA框架處理時(shí)間信息的能力。 nHoepner在ODA框架內(nèi)提出多媒體對(duì)象同步通用模型。 n每個(gè)時(shí)序場(chǎng)景可建模成情節(jié)的集合。情節(jié)在某些給定的對(duì)應(yīng)于特殊事件的時(shí)間點(diǎn)進(jìn)行合成。合成在該模型中僅能出現(xiàn)在每個(gè)情節(jié)的開(kāi)始和結(jié)束點(diǎn)。n同步需求通過(guò)路徑表達(dá)式來(lái)進(jìn)行描述， 路徑表達(dá)式由路徑算子組合原子情節(jié)而形成。nHoepner定義的路徑算子如下 ： (1) 最后并行 (AB) 情節(jié)A和B起始于一個(gè)公共起點(diǎn)，并行執(zhí)行。當(dāng)所有參與情節(jié)(A和B)都結(jié)束時(shí)，合成情節(jié)才結(jié)束。 (2) 首先并行 (AB) 情節(jié)A和B起始于一個(gè)公共起點(diǎn)，并行執(zhí)行。當(dāng)其中某一情節(jié)首先結(jié)束時(shí)，合成情節(jié)即結(jié)束。 (3) 串行 (A;B) 只有

21、A先執(zhí)行完后才有可能執(zhí)行B。 (4) 可選的 (A|B) 執(zhí)行A或B都是允許的。 (5) 重復(fù) (Ai*) 情節(jié)A將重復(fù)i次。 (6) 并發(fā) (N:A) 情節(jié)A將被許可同時(shí)并發(fā)執(zhí)行N次。 n 例如，算子路徑Path A；(BC)(DE)；F* end 含義是： A開(kāi)始啟動(dòng)，A剛結(jié)束，4個(gè)情節(jié)B、C、D、E同時(shí)啟動(dòng)，在B、C結(jié)束或D、E結(jié)束時(shí)，F(xiàn)開(kāi)始執(zhí)行(0次或多次)。5. 基于語(yǔ)言的模型n利用同步原語(yǔ)擴(kuò)展傳統(tǒng)的并發(fā)程序設(shè)計(jì)語(yǔ)言建模多媒體同步需求， 基于LOTOS、Hytime和TCSP等語(yǔ)言的模型。 nTCSP是CSP語(yǔ)言的時(shí)間擴(kuò)充。nTCSP作為一種描述語(yǔ)言，它使用了下述記號(hào)： SKIP 進(jìn)程(不做任何事情)立即結(jié)束； STOP 終止； WAIT t 延遲時(shí)間t后結(jié)束； | 異步并行； P Q 由環(huán)境決定的外部選擇