PATEXPCRER

專利探索者一全球創(chuàng)新始于探索

部分參考型圖像質(zhì)量評價(jià)方法及裝置

申請?zhí)枺篊N.6

申請日：20130606

申請（專利權(quán)）人：［深圳大學(xué)］

地址：廣東省深圳市南山區(qū)南海大道3688號深圳大學(xué)計(jì)算機(jī)與軟件學(xué)

院

發(fā)明人：［儲穎，牟軒沁,紀(jì)震］

主分類號：G06T7/00

公開（公告）號：CNB

公開（公告）日：20160309

代理機(jī)構(gòu)：深圳市瑞方達(dá)知識產(chǎn)權(quán)事務(wù)所（普通合伙）

代理人：［張約宗，張秋紅］

(19)中華人民共和國國家知識產(chǎn)權(quán)局

(12)發(fā)明專利

(10)授權(quán)公告號CNB

(45)授權(quán)公告日20160309

(21)申請?zhí)朇N.6

(22)申請日20130606

(71)申請人［深圳大學(xué)］

地址廣東省深圳市南山區(qū)南海大道

3688號深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院

(72)發(fā)明人［儲穎，牟軒沁，紀(jì)震］

(74)專利代理機(jī)構(gòu)深圳市瑞方達(dá)知識

產(chǎn)權(quán)事務(wù)所(普通合伙)

代理人［張約宗，張秋紅］

(54)發(fā)明名稱

部分參考型圖像質(zhì)量評價(jià)方法及裝

置

(57)摘要

本發(fā)明公開了一種部分參考型圖像

質(zhì)量評價(jià)方法及裝置，該方法包括步驟：

分別對參考圖像和失真圖像進(jìn)行小波分解

以獲得各自的小波系數(shù)；對參考圖像和失

真圖像各自的小波系數(shù)進(jìn)行分離歸一化變

換以獲得對應(yīng)的分離歸一化變換系數(shù)；獲

取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)

獨(dú)立性，并以該獨(dú)立性作為特征信息；基

于特征信息生成部分參考型圖像質(zhì)量評價(jià)

指標(biāo)。本發(fā)明利用了圖像失真時(shí)相鄰DNT

系數(shù)統(tǒng)計(jì)依賴性變化的規(guī)律，提取了反映

圖像失真程度的統(tǒng)計(jì)獨(dú)立性特征，構(gòu)造了

無需擬合參數(shù)的客觀評價(jià)指標(biāo)公式，使得

對圖像質(zhì)量的評價(jià)更為客觀。

權(quán)利要求書

-1.一種部分參考型圖像質(zhì)量評價(jià)方法，其特征在于，包括步驟:

S100,分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小波系數(shù)；

S200、對所述參考圖像和所述失真圖像各自的所述小波系數(shù)進(jìn)行分離歸一化變換

以獲得對應(yīng)的分離歸一化變換系數(shù)；

S300、獲取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)獨(dú)立性，并以所述統(tǒng)計(jì)獨(dú)立性

作為特征信息；

S400,基于所述特征信息生成部分參考型圖像質(zhì)量評價(jià)指標(biāo)；

在所述步驟S100中，采用可操縱金字塔分解分別對參考圖像和失真圖像進(jìn)行小

波分解以獲得各自的小波系數(shù)；選用可操縱金字塔分解，通過設(shè)定小波分解的尺度數(shù)

和方向數(shù)，獲得圖像在尺度、方向和空間位置上的局部描述；

在所述步驟S300中，通過計(jì)算相鄰的分離歸一化系數(shù)子帶之間的互信息量來獲

取所述統(tǒng)計(jì)獨(dú)立性；

在所述步驟S300中，分別從尺度相鄰、方向相鄰和位置相鄰三個(gè)方面獲取相鄰

的所述分離歸一化變換系數(shù)子帶的統(tǒng)計(jì)獨(dú)立性以作為所述特征信息。

2.根據(jù)權(quán)利要求1所述的部分參考型圖像質(zhì)量評價(jià)方法，其特征在于，在所述步

驟S400中，

根據(jù)以卜.公式生成所述部分參考型圖像質(zhì)量評價(jià)指標(biāo)：

參考

DZ4失真

治全部特征

參考

JfI

其中，D

是所述失真圖像和所述參考圖像的城區(qū)距離，為所述失真圖像的任一特征信息，為與

對應(yīng)的參考圖像的特征信息。

3.一種部分參考型圖像質(zhì)量評價(jià)裝置，其特征在于，包括：

小波分解模塊，用于分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小波

系數(shù)；

分離歸一化變換模塊，用于對所述參考圖像和所述失真圖像各自的所述小波系數(shù)

進(jìn)行分離歸一化變換以獲得對應(yīng)的分離歸一化變換系數(shù)；

特征信息提取模塊，用于獲取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)獨(dú)立性，并

以所述統(tǒng)計(jì)獨(dú)立性作為特征信息；

圖像質(zhì)量評價(jià)指標(biāo)生成模塊，用于基于所述特征信息生成部分參考型圖像質(zhì)量評

價(jià)指標(biāo)；

所述小波分解模塊用戶采用可操縱金字塔分解分別對參考圖像和失真圖像進(jìn)行小

波分解以獲得各自的小波系數(shù)；選用可操縱金字塔分解，通過設(shè)定小波分解的尺度數(shù)

和方向數(shù)，獲得圖像在尺度、方向和空間位置上的局部描述；

所述特征信息提取模塊用于通過計(jì)算相鄰的分離歸一化系數(shù)子帶之間的互信息量

來獲取所述統(tǒng)計(jì)獨(dú)立性；

所述特征信息提取模塊用于分別從尺度相鄰、方向相鄰和位置相鄰三個(gè)方面泥取

相鄰的所述分離歸一化變換系數(shù)子帶的統(tǒng)計(jì)獨(dú)立性以作為所述特征信息。

4.根據(jù)權(quán)利要求3所述的部分參考型圖像質(zhì)量評價(jià)裝置，其特征在于，所述圖像

質(zhì)量評價(jià)指標(biāo)生成模塊用于根據(jù)以卜公式生成所述部分參考型圖像質(zhì)量評價(jià)指標(biāo)：

D=X/失真-尸考;

治全部特征

其中，D

是所述失真圖像和所述參考圖像的城區(qū)距離，為所述失真圖像的任一特征信息，為與

對應(yīng)的參考圖像的特征信息。

說明書_______________________

部分參考型圖像質(zhì)量評價(jià)方法及裝置

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種部分參考型圖像質(zhì)量評價(jià)方法及裝

。背景技術(shù)

圖像質(zhì)量評價(jià)(IQA：ImageQualityAssessment)致力于研究如何用客觀指標(biāo)評

價(jià)圖像的感知質(zhì)量，使其與圖像主觀得分高度一致。圖像質(zhì)量評價(jià)算法設(shè)計(jì)工作很有

意義，而且有廣泛的應(yīng)用前景。例如，在視頻質(zhì)量監(jiān)控領(lǐng)域，雇用員工進(jìn)行監(jiān)控的成

木很高，旦可靠性低，而好的圖像質(zhì)量評價(jià)算法可以降低成本，提高效率。

一般來說，有三類典型的圖像質(zhì)量評價(jià)算法。按照實(shí)現(xiàn)程度由易到難，分別是：

全參考型(FR：Full-Reference)、部分參考型(RR：Reduced-Reference)和無參

考型(NR：No-Reference)IQA。如果原始圖像和失真圖像都是可用的，F(xiàn)RIQA利用這

兩幅圖像的全部信息進(jìn)吁比較，計(jì)算其差異。RRIQA方法利用參考圖像的部分信息

(通常以一系列RR特征形式出現(xiàn))預(yù)測圖像質(zhì)量退化程度，一般適用于僅能獲取原

始圖像少量統(tǒng)計(jì)信息的應(yīng)用場合，例如網(wǎng)絡(luò)圖像傳輸。NR1QA是最具挑戰(zhàn)性的質(zhì)量評

價(jià)任務(wù)，因?yàn)闆]有原始圖像的任何信息可供參考，適用于無法獲得原始圖像信息的情

形，例如圖像質(zhì)量監(jiān)控。

例如，圖1示出了現(xiàn)有的部分參考型圖像質(zhì)量評價(jià)系統(tǒng)的邏輯框圖，如圖1所示，

從原始圖像中提取的RR特征經(jīng)附屬信道傳輸，在接收端同失真圖像所提取特征進(jìn)行

比較，得到失真圖像的質(zhì)量評價(jià)指標(biāo)。

對于性能評價(jià)，近年來，一些研究組織根據(jù)國際電信聯(lián)盟的相關(guān)標(biāo)準(zhǔn)，建立了兒

個(gè)比較通用的圖像質(zhì)量主觀評價(jià)數(shù)據(jù)庫，主要包括：美國康奈爾大學(xué)視覺通信實(shí)驗(yàn)室

開發(fā)的A57數(shù)據(jù)庫；美國奧克拉荷馬州立大學(xué)計(jì)算感知與圖像質(zhì)量實(shí)驗(yàn)室開發(fā)的CSIQ

(CategoricalImageQualityDatabase)數(shù)據(jù)庫；法國南特大學(xué)理工學(xué)院開發(fā)的IVC

數(shù)據(jù)庫；美國德州大學(xué)奧斯汀分校LIVE(LaboratoryforImageandVideoEngineering)

實(shí)驗(yàn)室開發(fā)的LIVE數(shù)據(jù)庫；日本富士大學(xué)MICT

(MedialnformationandCommunicationTcchno1ogy)實(shí)驗(yàn)室開發(fā)的MICT數(shù)據(jù)庫；以

及芬蘭坦佩雷大學(xué)與烏克蘭航空航天大學(xué)開發(fā)的TID2008數(shù)據(jù)庫等。

各數(shù)據(jù)庫基本都包括了常見的退化類型如高斯加性白噪聲、高斯模糊、高頻噪聲、

JPEG壓縮失真、JPEG2OOO壓縮失真等，以及各失真圖像的主觀得分(MDS：

MeanOpinionScorc)。

根據(jù)國際標(biāo)準(zhǔn)化組織視頻質(zhì)量專家組(VQEG：VideoQualityExpertsGroup)的指

導(dǎo)標(biāo)準(zhǔn)，客觀算法對主觀質(zhì)量的預(yù)測值存在一定的非線性，首先應(yīng)當(dāng)去除這種非線性

因素，然后再進(jìn)行相關(guān)性驗(yàn)證。

去除非線性的函數(shù)形式有多種選擇，例如多項(xiàng)式擬合或Logistic回歸等。多數(shù)

研究人員采用限制線性條件的五參數(shù)非線性Logistic模型，以及最小均方誤差法對

數(shù)據(jù)進(jìn)行擬合，公式如下：

Quality(x)=3llogistic(B2,(x-B3))+B4x+B5(1)

<math><mrow><mi>log</mi><mi>istic</mi><mrow><mo>(</mo>

<mi>τ</mi><mo>,</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac>

<mn>l</mn><mn>2</mn></mfrac><mo>-</mo><mfrac><mn>l</mn><mro\v>

<mn>l</mn><mo>+</mo><mi>exp</mi><mrow><mo>(</mo><mi>τx</mi>

<mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow>

<mo>(</mo><mn>2</mn><mo?</mo></mrow></mrov></math>

其中，x代表客觀RRIQA算法預(yù)測值，Bl,B2,B3,P4,B5代表logistic

模型擬合參數(shù)。

對圖像質(zhì)量評價(jià)客觀算法的性能一般從預(yù)測的準(zhǔn)確性、單調(diào)性和一致性三個(gè)方面

進(jìn)行驗(yàn)證。

在預(yù)測的準(zhǔn)確性方面，客觀算法的預(yù)測值與主觀評分之間的差異應(yīng)當(dāng)越小越好。

可以使用二者之間的線性相關(guān)系數(shù)CC(LinearCorrelationCoefficient)和均方根誤

差RMSE(RootMeanSquareError)來衡量：對于給定客觀算法，CC值越高，RMSE值越

低，表明其預(yù)測的準(zhǔn)確性越高。

<math><mrow><mi>CC</mi><mo>=</mo><mfrac><mrow><msub>

<mi>Σ</mi><mi>i</mi></msub><mrow><nio>?/mo><msub><mi>X</mi>

<mi>i</mi></msub><mo>-</mo><mover><mi>X</mi><mo>&OverBcir;</mo></mover>

<mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>Y</mi><mi>i</mi></msub>

<mo>-</mo><mover><mi>Y</mi><mo>&0verBar;</mo></mover><mo?</mo></mrow>

</mrow><mrow><msub><mi>Σ</mi><mi>i</mi></msub><msup><mrow>

<mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><mover>

<mi>X</mi><mo>&0vcrBar;</mo></movcr><mo>)</no></mrow><mn>2</mn></msup>

<mo>·</mo><msqrt><msub><mi>Σ</mi><mi>i</mi></msub>

<msup><mrow><mo>?/mo><msub><mi>Y</mi><mi>i</mi></msub><mo>-</mo>

<mover><mi>Y</mi><mo>&0verBar;</mo></mover><mo>)</mo></mrow><mn>2</mn>

</msup></msqrt></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow>

<mo>?/mo><mn>3</mn><mo?</mo></mrow></mrow></math>

<math><mrow><mi>RMSE</mi><mo>=</mo><msqrt><mfrac><mn>l</mn>

<mi>N</mi></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi>

<mo>=</mo><mn>l</mn></mrow><mi>N</mi></munderovcr><msup><mrow>

<mo>(</mo><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><msub><mi>Y</mi>

</msub><mo>)</mo></mrow><mn>2</mn></msup></msqrt><mo>-</mo>

<mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow>

</mrow></math>

其中，X,Y分別代表圖像質(zhì)量主觀評價(jià)實(shí)驗(yàn)數(shù)據(jù)和去除非線性后的圖像質(zhì)量客觀

預(yù)測數(shù)據(jù)，i表示數(shù)據(jù)序號，N代表樣本個(gè)數(shù)。

對預(yù)測的單調(diào)性而言，客觀算法的預(yù)測值應(yīng)隨主觀評分的增減而增減?？梢杂?/p>

Spearman秩相關(guān)系數(shù)SROCC(SpearmanRankOrderCorrelationCoefficient)來度量:

SROCC值越高，客觀算法預(yù)測的單調(diào)性越好。

<math><mrow><mi>SROCC</nii><mo>=</mo><mn>K/mn><mo>-</mo><mfrac>

<mrow><mn>6</mn><msub><mi>Σ</mi><mi>i</mi></msub><msubsup>

<mi>D</mi><mi>i</mi><mn>2</mn></msubsup></mrow><mrow><mi>N</mi><mrow>

<mo>?/mo><msup><mi>N</mi><mn>2</mn></msup><mo>-</mo><mn>K/mn>

<mo>)</mo></mrow></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow>

<mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow></math>

其中，D代表等級間的差異，此處為主觀實(shí)驗(yàn)數(shù)據(jù)與客觀預(yù)測數(shù)據(jù)之間差值的絕

對值。

對于預(yù)測的一致性，客觀算法在測試集上的表現(xiàn)應(yīng)當(dāng)與在訓(xùn)練集上的性能相似，

即算法的泛化性能要較好?？梢允褂贸鼋琰c(diǎn)率OR(OutlierRatio)來進(jìn)行衡量。所謂

出界點(diǎn)，可定義為絕對或相對預(yù)測誤差超過一定閾值的點(diǎn)。OR值越低，代表客觀算法

預(yù)測的一致性越好。

除了以上統(tǒng)計(jì)指標(biāo)之外，通過繪制主觀分?jǐn)?shù)與客觀預(yù)測值對應(yīng)散點(diǎn)圖，觀察其形

狀也能直觀的考察客觀算法的性能。在散點(diǎn)圖中，通常以非線性擬合后的客觀算法預(yù)

測值作為橫坐標(biāo)，以主觀實(shí)驗(yàn)評分值作為縱坐標(biāo)，對每幅待評價(jià)圖像，在散點(diǎn)圖上都

能得到一個(gè)點(diǎn)。同時(shí)，將Logistic函數(shù)擬合曲線繪制于散點(diǎn)圖上，各散點(diǎn)距離

Logistic函數(shù)擬合曲線越集中，說明算法性能越好。

大多數(shù)早期的部分參考型圖像質(zhì)量評價(jià)算法是針對特定失真類型的，例如圖像模

糊、JPEG塊狀效應(yīng)、JPEG2000振鈴效應(yīng)等。近年來針對通用失真類型的RRIQA算法

多了起來。其中，自然圖像統(tǒng)計(jì)(NSS：NaturalSceneStatistics)模型是主流模型,

為大多數(shù)人所接受和使用?，F(xiàn)存的基于自然圖像統(tǒng)計(jì)特性的RR1QA方法通常考察的是

線性分解系數(shù)的統(tǒng)計(jì)分行情況，例如小波或離散余弦變換。然而，跟視神經(jīng)元響應(yīng)高

度相似的某些其他圖像特征也許更加有用。

為了更好地反映生物視覺系統(tǒng)的非線性機(jī)制，一種非線性分解方法，即分離歸一

化變換(DNT：Divisivenorma1izationtransform)被提出［1］。該變換能夠很好地對

自然信號進(jìn)行有效編碼，并顯著降低高階統(tǒng)計(jì)依賴性。目前\僅有少量研究工作將

DNT思想引入RRTQA,例如Li和Wang利用核變換獲取了帶的類高斯分布特性［2］,并

應(yīng)用于部分參考型圖像質(zhì)量評價(jià)，下面將對此進(jìn)行進(jìn)一步的介紹。

y=y/P

圖

2a示出了原始圖像。圖2b示出了通過對圖2a中的原始圖像進(jìn)行線性分解后獲得的小

波系數(shù)子帶的示意圖，可選用的線性分解方式有很多，這里選用可操縱金字塔分解

(Steerablepyramiddecomposition),因?yàn)樵撟儞Q能夠方便靈活地設(shè)定小波分解的

尺度數(shù)和方向數(shù)，從而獲得圖像在尺度、方向和空間位置上的局部描述。圖2c示出

了通過對圖2b中的各個(gè)小波系數(shù)子帶進(jìn)行DNT變換后獲得的DNT系數(shù)子帶的示意圖，

DNT變換是建立在對圖像的線性分解基礎(chǔ)之上的，設(shè)y代表小波系數(shù)，則歸一化系數(shù),

其中P為分離歸一化因子(P>0),代表系數(shù)y在尺度、方向和空間上的相鄰系數(shù)集

的能量。

計(jì)算P的方法有許多，此處采用基于高斯尺度混合(GSM：Gaussianscale

mixtures)模型的方法。一個(gè)長度為N的隨機(jī)矢量Y被定義為GSM的條件是，

它能被表示為兩個(gè)獨(dú)立分量的乘積，即：

Y□xr(6)

其

中，代表概率同分布，U是協(xié)方差為CU的零均值高斯隨機(jī)矢量，Z是稱為混合乘數(shù)的

隨機(jī)標(biāo)量。

由公式(6)可見，GSM模型所描述隨機(jī)矢量的概率是具有相同協(xié)方差(CU)和不

同縮放比例(z)的高斯隨機(jī)矢量的混合。設(shè)混合乘數(shù)的概率密度為pz(z),則Y的概

率密度為：

<math><mrow><msub><mi>p</mi><mi>Y</mi></msub><mrow><mo>(</mo>

<mi>Y</mi><mo>)</IHG></mrow><mo>=</mo><mo>&Tntegral;</mo><mfrac>

<mn>l</mn><mrow><msup><mrow><mo>[</mo><mn>2</mn><mi>&.pi;</mi>

<mo>]</mo></mrow><mfrac><mi>N</mi><mn>2</mn></mfrac></msup><msup>

<mrow><mo>|</mo><msup><mi>z</mi><mn>2</mn></msup><msub><mi>C</mi>

<mi>U</mi></msub><mo>|</mo></mrow><nirow><mn>K/nin><mo>/</mo>

<mn>2</mn></mrow></msup></mrow></mfrac><mi>exp</mi><mrow><mo>?/mo>

<mo>-</mo><mfrac><mrow><msup><mi>Y</mi><mi>T</mi></msup><msubsup>

<mi>C</mi><mi>U</mi><mrow><mo>-</mo><mn>l</mn></mrow></msubsup>

<mi>Y</mi></mrow><mrow><mn>2</mn><msup><mi>z</mi><mn>2</mn></msup>

</mrow></mfrac><nio>)</mo></mrow><msub><mi>p</mi><mi>z</mi></nisub>

<mrow><mo>(</mo><mi>z</mi><mo?</mo></mrow><mi>dz</mi><mo>-</mo>

<mo></mo><mo></mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow>

</mrow></math>

其中，隨機(jī)矢量Y定義為子帶內(nèi)某點(diǎn)的空間相鄰系數(shù)(八鄰域)，以及同一位置

處尺度相鄰系數(shù)、方向相鄰系數(shù)的集合，經(jīng)證實(shí)其符合GSM模型。

z人

o

此處應(yīng)

用中，為簡化計(jì)算，規(guī)定Z在每一位置均取固定值，從而Y簡化為協(xié)方差為z2CU的

零均值高斯矢量。對比公式（6）和DNT定義，很自然地想到歸一化因子p可通過計(jì)

算相鄰系數(shù)矢量Y（由圖像數(shù)據(jù)已知）對乘數(shù)z的估計(jì)得至IJ。將系數(shù)矢量Y沿滑動(dòng)窗

口遍歷每一小波系數(shù)子帶，將產(chǎn)生隨空間位置變化的歸一化因子P。僅對窗口中心系

數(shù)yc進(jìn)行歸一化操作，得到歸一化的系數(shù)其中，是z的估計(jì)。利用最大似然估計(jì)法,

可得：

<math><mrow><mrow><mover><mi>z</mi><mo>^</mo></mover><mo>=</mo>

</mrow><mi>arg</mi><munder><mi>max</mi><mi>z</mi></munder><mo>{</mo>

<mi>log</mi><mi>p</mi><mrow><mo>?/mo><mi>Y</mi><mo>|</mo><mi>z</mi>

<mo>)</mo></mrow><mo>}</mo></mrow></math>

<math><mrow><mo>=</mo><mi>arg</mi><munder><mi>min</mi><mi>z</mi>

</munder><mo>(</mo><mi>N</mi><mi>log</mi><mi>z</mi><mo>+</mo><msup>

<mi>Y</mi><mi>T</mi></msup><msubsup><mi>C</mi><mi>U</mi><mrow><mo>-

</mo><mn>l</mn></nnDw></msubsup><mi>Y</mi><mo>/</mo><mn>2</mn><msup>

<mi>z</mi><mn>2</mn></msup><mo>}</mo></mrow></math>

<math><mrow><mo>=</mo><msqrt><msup><mi>Y</mi><mi>T</mi></msup>

<msubsup><mi>C</mi><mi>U</mi><mrow><mo>-</mo><mn>l</mn></mrow>

</msubsup><mi>Y</mi><mo>/</mo><mi>N</mi></msqrt><mo>-</mo><mo>-</mo>

<mo>-</mo><mrow><mo>?/mo><mn>8</mn><mo?</mo></mrow></mrow></maih>

其中，協(xié)方差矩陣CU=E[UUT]可由圖像小波分解系數(shù)估計(jì)得到，N為系數(shù)矢量Y

的長度，即鄰域（尺度、方向、空間相鄰）小波系數(shù)的個(gè)數(shù)。

在提取特征方面，上述的Li和Wang統(tǒng)計(jì)了自然圖像每一DNT子帶的系數(shù)直方圖,

發(fā)現(xiàn)其近似服從高斯分右。與之形成對比的是，失真圖像的子帶DNT系數(shù)直方圖隨失

真類型不同，以不同方式偏離于高斯曲線。

具體而言，圖3a示出了原始圖像，圖3b示出了圖3a中的原始圖像的高斯噪聲

圖像，圖3c示出了圖3a中的原始圖像的高斯模糊圖像，圖3d示出了圖3a中的原始

圖像的JPEG圖像。此處，可將圖3a中的原始圖像作為參考圖像。相應(yīng)地，圖4a示

出了圖3a中的圖像與參考圖像的DNT子帶系數(shù)直方圖，圖4b示出了圖3b中的失真

圖像與參考圖像的DNT子帶系數(shù)直方圖，圖4c示出了圖3c中的失真圖像與參考圖像

的DNT子帶系數(shù)直方圖，圖4d示出了圖3d中的失真圖像與參考圖像的DNT子帶系數(shù)

直方圖，其中，實(shí)線為失真圖像的DNT子帶系數(shù)直方圖，虛線為參考圖像的DNT子帶

系數(shù)直方圖。

d（。匚q）

利

用參考圖像DNT子帶系數(shù)直方圖和失真圖像DNT子帶系數(shù)直方圖曲線的KLD距離

（Kullback-LeiblerDistance,KLD）,可以提取出代表圖像客觀質(zhì)量的特征定義如

下:

d(p</)-

(9)

其

中，p(x)和q(x)分別代表原始和失真圖像的子帶DNT系數(shù)直方圖，d(pq)代表p(x)和

q(x)的KLD距離。

d(pUq),

由

公式(9)可見，要計(jì)算需要p(x)和q(x)已知。對于RRIQA應(yīng)用，接收端無法得到完

整的原始圖像子帶DNT系數(shù)直方圖p(x)o幸運(yùn)的是，由圖3(a)可知，p(x)與高斯

曲線pm(x)非常相似：

<math><mrow><msub><mi>p</mi><mi>m</mi></msub><mrow><mo>?/mo>

<mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>l</mn><mrow><msqrt>

<mn>2</mn><mi>π</mi></msqrt><mi>σ</mi></mrow></mfrac>

<mi>exp</mi><mrow><mo>(</mo><mo>-</mo><mfrac><msup><mi>x</mi>

<mn>2</mn></msup><mrow><mn>2</mn><msup><mi>σ</mi><mn>2</mn>

</msup></mrow></mfrac><mo?</mo></mrow><i?o>-</mo><mo>-</mo><mo>-</mo>

<mrow><mo>(</mo><mn>10</mn><mo?</mo></mrow></mrow></math>

其中，。代表高斯函數(shù)的方差。

d(Pm口。)

發(fā)送端,pm(x)與p(x)的KLD距離是可計(jì)算的：

或甯小(1|)

d(p/q)

P

時(shí)，如果發(fā)送端將參數(shù)。通過附屬信道發(fā)送，那么在接收端就可以重構(gòu)函數(shù)pm(x),

從而可以計(jì)算出pm(x)與q(x)的KLD距離：

(12)

d(P”口夕)

Q(pjq)

d(p匚q)

d(pUg)

由于和

均是可計(jì)算的(或已知的)，從而可以進(jìn)一步得到的估計(jì)值作為圖像質(zhì)量評價(jià)的客觀

指標(biāo)：

加二g)=d3Jg)-d3g，口P)(13)

現(xiàn)在討論估計(jì)誤差。將公式(11)和(12)代人公式(13),得到：

d(p\Jq)

d{pUq)

從而和

之間的估計(jì)誤差為：

</(/>p_<?)-1|p(x)-p.(x)Jlog(15)

可見，當(dāng)pm(x)與p(x)非常接近時(shí)，上式的結(jié)果趨近于零，可以忽略。而對于自

然圖像，這一特性普遍存在(如圖3a和4a所示)。因此，所找到的估計(jì)距離理論上

是有效的。

d(pM),

了Li和Wang發(fā)現(xiàn)以下3種距離特征對于提高RR圖像質(zhì)量指標(biāo)評估性能也有幫助:

do=|oo-od|(16)

其中，。。和od分別代表原始圖像和失真圖像DNT系數(shù)的方差。

dk=|ko-kd|(17)

其中，ko和kd分別代表原始圖像和失真圖像DNT系數(shù)的峭度。

ds=|so-sd|(18)

其中，so和sd分別代表原始圖像和失真圖像DNT系數(shù)的偏度。

基于以上四個(gè)特征，接下來需要整合構(gòu)造圖像質(zhì)量評價(jià)準(zhǔn)則計(jì)算公式，定義如下:

=ak>g(d(?？谙?)+夕k)ga)+/logdk+8log4

■Io8((2(p_g)/q尸(19)

其中，a,B,丫和s分別代表上節(jié)四個(gè)距離特征各自的系數(shù)，可由現(xiàn)有圖像

庫中的數(shù)據(jù)學(xué)習(xí)訓(xùn)練得到，Dband代表某一選定DNT子帶的圖像質(zhì)量評價(jià)值。

最后，再將各個(gè)子帶的質(zhì)量評價(jià)值Dband求和，得到整幅失真圖像的客觀圖像質(zhì)

量評價(jià)指標(biāo)Do

D-yI』

4(20)

現(xiàn)有方案在提取特化時(shí)，做了一個(gè)重要假設(shè)，即：自然圖像的DNT系數(shù)直方圖是

服從高斯分布的。然而，我們對更多公開圖像庫中的參考圖像進(jìn)行仿真實(shí)驗(yàn)時(shí)發(fā)現(xiàn)，

有相當(dāng)一部分自然圖像并不服從這一規(guī)律。因此，用高斯曲線進(jìn)行擬合時(shí)，必將伴隨

較大的誤差。另外，現(xiàn)有技術(shù)選擇了四種距離特征，其中第一種的選擇有明確的理論

支撐；而后三種的選擇依據(jù)均未提及。最后，現(xiàn)有方案將這四種不同類型的距離特征

進(jìn)行整合，用到了四個(gè)不同的系數(shù)。這些系數(shù)對數(shù)據(jù)庫內(nèi)容的依賴性較強(qiáng)，換用不同

的圖像庫，得到的系數(shù)也不同，很難確定最優(yōu)和最普適的系數(shù)。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于針對現(xiàn)有技術(shù)中在進(jìn)行部分參考型圖像質(zhì)量評價(jià)時(shí)

需要采用不同的系數(shù)，而該系數(shù)因?qū)?shù)據(jù)庫內(nèi)容的依賴性較強(qiáng)而無法提供客觀的評價(jià)

的缺陷，提供一種部分參考型圖像質(zhì)量評價(jià)方法及裝置

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：提供了??種部分參考型圖像質(zhì)量評

價(jià)方法，包括步驟：

S100>分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小波系數(shù)；

S200、對參考圖像和失真圖像各自的小波系數(shù)進(jìn)行分離歸一化變換以獲得對應(yīng)的

分離歸一化變換系數(shù)；

S300、獲取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)獨(dú)立性，并以統(tǒng)計(jì)獨(dú)立性作為

特征信息；

S40C)'基于特征信息生成部分參考型圖像質(zhì)量評價(jià)指標(biāo)。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)方法中，在步驟S100中，

采用可操縱金字塔分解分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小

波系數(shù)。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)方法中，在步驟S300中，

通過計(jì)算相鄰的分離歸一化系數(shù)子帶之間的互信息量來獲取統(tǒng)計(jì)獨(dú)立性。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)方法中，在步驟S300中，

分別從尺度相鄰、方向相鄰和位置相鄰三個(gè)方面獲取相鄰的分離歸一化變換系數(shù)

子帶的統(tǒng)計(jì)獨(dú)立性以作為特征信息。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)方法中，在步驟S400中，

根據(jù)以下公式生成柒分參考型圖像質(zhì)量評價(jià)指標(biāo)：

D=E

2全部特征

其中，D

是失真圖像和參考圖像的城區(qū)距離，為失真圖像的任?特征信息，為與對應(yīng)的參考圖

像的特征信息。

本發(fā)明還提供了一種部分參考型圖像質(zhì)量評價(jià)裝置，包括：

小波分解模塊，用于分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小波

系數(shù)；

分離歸一化變換模塊，用于對參考圖像和失真圖像各自的小波系數(shù)進(jìn)行分離歸一

化變換以獲得對應(yīng)的分離歸一化變換系數(shù)；

特征信息提取模塊，用于獲取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)獨(dú)立性，并

以統(tǒng)計(jì)獨(dú)立性作為特征信息；

圖像質(zhì)量評價(jià)指標(biāo)生成模塊，用于基于特征信息牛.成部分參考型圖像質(zhì)量評價(jià)指

標(biāo)。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置中，小波分解模塊用戶采用

可操縱金字塔分解分別對參考圖像和失真圖像進(jìn)行小波分解以獲得各自的小波系數(shù)。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置中，特征信息提取模塊用于

通過計(jì)算相鄰的分離歸一化系數(shù)子帶之間的互信息量來獲取統(tǒng)計(jì)獨(dú)立性。

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置中，特征信息提取模塊用于

分別從尺度相鄰、方向相鄰和位置相鄰三個(gè)方面提取相鄰的分離歸一化變換系數(shù)子帶

的統(tǒng)計(jì)獨(dú)立性以作為特行信息C

在依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置中，圖像質(zhì)量評價(jià)指標(biāo)生成

模塊用于根據(jù)以下公式生成部分參考型圖像質(zhì)量評價(jià)指標(biāo)：

D=E嚴(yán)真-/參考；

正全部特征

■■■口■■■,■■

失真

參考

其中，D

是失真圖像和參考圖像的城區(qū)距離，為失真圖像的任一特征信息，為與對應(yīng)的參考圖

像的特征信息。

本發(fā)明產(chǎn)生的有益效果是：本發(fā)明利用了圖像失真時(shí)相鄰DNT系數(shù)統(tǒng)計(jì)依賴性變

化的規(guī)律，提取了反映圖像失真程度的統(tǒng)計(jì)獨(dú)立性特征，構(gòu)造了無需擬合參數(shù)的客觀

評價(jià)指標(biāo)公式，使得對圖像質(zhì)量的評價(jià)更為客觀。

附圖說明

下面將結(jié)合附圖及實(shí)施例對本發(fā)明作進(jìn)一步說明，附圖中：

圖1示出了現(xiàn)有的舒分參考型圖像質(zhì)量評價(jià)系統(tǒng)的邏輯框圖；

圖2a示出了原始圖像的示意圖；

圖2b示出了通過對圖2a中的原始圖像進(jìn)行線性分解后獲得的小波系數(shù)子帶的示

意圖；

圖2c示出了通過對圖2b中的各個(gè)小波系數(shù)子帶進(jìn)行DNT變換后獲得的DNT系數(shù)

子帶的示意圖；

圖3a取出了原始圖像；

圖3b示出了圖3a中的原始圖像的高斯噪聲圖像：

圖3c示出了圖3a中的原始圖像的高斯模糊圖像：

圖3d示出了圖3a中的原始圖像的JPEG圖像：

圖4a示出了圖3a中的圖像與參考圖像的DNT子帶系數(shù)直方圖；

圖4b示出了圖3b中的失真圖像與參考圖像的DNT子帶系數(shù)直方圖；

圖4c示出了圖3c中的失真圖像與參考圖像的DNT子帶系數(shù)直方圖；

圖4d示出了圖3d中的失真圖像與參考圖像的DNT子帶系數(shù)直方圖；

圖5示出了依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置的邏輯框圖；

圖6示出了圖5中的部分參考型圖像質(zhì)量評價(jià)裝置的詳細(xì)邏輯框圖；

圖7a示出了通過對圖2a中的原始圖像進(jìn)行可操縱金字塔分解后獲得的小波系數(shù)

子帶的示意圖；

圖7b示出了對圖7a中的小波系數(shù)進(jìn)行分離歸一-化變換后獲得的DNT子帶的示意

圖;

圖8a和8b分別示出了尺度相鄰和方向相鄰的DAT子帶，即子帶dnl.l分別與其

相鄰的子帶dn2.1和dnl.2系數(shù)的聯(lián)合分布圖；

圖9a-9d分別示出了JPEG2000、JPEG、白噪聲、高斯模糊圖像中水平相鄰1個(gè)像

素的DNT系數(shù)子帶的聯(lián)合直方圖；

圖10a-10e為圖9b中JPEG失真圖像在失真程度逐漸增強(qiáng)情況下的條件直方圖；

圖11示出了說明信息炳相互關(guān)系的文氏圖；

圖12示出了依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)方法的流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，

對本發(fā)明進(jìn)行進(jìn)?步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)

明，并不用于限定本發(fā)明。

圖5示出了依據(jù)本發(fā)明實(shí)施例的部分參考型圖像質(zhì)量評價(jià)裝置的邏輯框圖，該裝

置包括小波分解模塊10。、分離歸一化變換模塊200、特征信息提取模塊300、以及圖

像質(zhì)量評價(jià)指標(biāo)生成模塊400o其中，小波分解模塊100接收輸入的參考圖像和失真

圖像，并分別對參考圖像利失真圖像進(jìn)行小波分解以獲得各自的小波系數(shù)。分離歸一

化變換模塊200對參考圖像和失真圖像各自的小波系數(shù)進(jìn)行分離歸一化變換獲得對應(yīng)

的分離歸一化變換系數(shù)。特征信息提取模塊300可獲取相鄰的分離歸一化系數(shù)子帶之

間的統(tǒng)計(jì)獨(dú)立性，并以該統(tǒng)計(jì)獨(dú)立性作為特征信息。圖像質(zhì)量評價(jià)指標(biāo)牛.成模塊400

基于特征信息生成部分參考型圖像質(zhì)量評價(jià)指標(biāo)。

具體而言，圖6示巴了圖5中的部分參考型圖像質(zhì)量評價(jià)裝置的詳細(xì)邏輯框圖，

如圖6所示，小波分解模塊100包括位于發(fā)送端的第一小波分解單元110和位于接收

端的第二小波分解單元120；分離歸一化變換模塊200包括位于發(fā)送端的第一分離歸

一化變換單元210和位于接收端的第二分離歸一化變換單元220：特征信息提取模塊

300包括位于發(fā)送端的笫一特征信息提取單元310和位于接收端的第二特征信息提取

單元320。下面將基于圖6詳細(xì)描述部分參考型圖像質(zhì)量評價(jià)裝置的工作過程。

首先，第一小波分解單元110接收發(fā)送端輸入的參考圖像，也可稱之為原始圖像,

并對參考圖像進(jìn)行小波分解以獲得其小波系數(shù)。此處，可選用的線性分解方式有很多,

例如可選用可操縱金字塔分解，因?yàn)樵撟儞Q能夠方便靈活地設(shè)定小波分解的尺度數(shù)和

方向數(shù)，從而獲得圖像在尺度、方向和空間位置上的局部描述。仍以圖2a中的圖像

作為原始圖像，圖7a示出了通過對圖2a中的原始圖像進(jìn)行可操縱金字塔分解后獲得

的小波系數(shù)子帶的示意圖。

相應(yīng)地，第二小波分解單元120在接收端接收失真圖像，該失真圖像由參考圖像

從發(fā)送端發(fā)出，經(jīng)過失真信道傳輸后到達(dá)接收端后形成。第二小波分解單元120的工

作過程與第一小波分解單元110相同，對失真圖像進(jìn)行小波分解以獲得其小波系數(shù)，

分解獲得的小波系數(shù)與圖7a類似。此處，可選用可操縱金字塔分解失真圖像。

第一分離歸一化變換單元210接收第一小波分解單元110輸出的參考圖像的小波

系數(shù)，并對該小波系數(shù)進(jìn)行分離歸一化變換以獲得其分離歸一化變換系數(shù)（即DNT）

系數(shù)。例如，圖7b示出了對圖7a中的小波系數(shù)進(jìn)行分離歸一化變換后獲得的DNT子

帶的示意圖。其中，還示出了中心系數(shù)以及相應(yīng)的尺度鄰居、方向鄰居和空間鄰居。

相應(yīng)地，第二分離歸一化變換單元220與第一分離歸一化變換單元210的工作過

程相同，其接收第二小波分解單元120輸出的失真圖像的小波系數(shù)，并對該小波系數(shù)

進(jìn)行分離歸一化變換以獲得其DNT系數(shù)。失真圖像的DNT系數(shù)子帶與圖7b中示出的子

帶類似。

第二統(tǒng)特征信息提取單元310針對參考圖像獲取相鄰的分離歸一化系數(shù)子帶之間

的統(tǒng)計(jì)獨(dú)立性，并以該統(tǒng)計(jì)獨(dú)立性作為上述參考圖像的特征信息；第二特征信息提取

單元320針對失真圖像獲取相鄰的分離歸一化系數(shù)子帶之間的統(tǒng)計(jì)獨(dú)立性，并以該統(tǒng)

計(jì)獨(dú)立性作為上述失真圖像的特征信息。因?yàn)榈谝惶卣餍畔⑻崛卧?10和第二特征

信息提取單元320的工作過程完全相同，因此下面的討論將同時(shí)適用兩者。

自然圖像DNT系數(shù)間的統(tǒng)計(jì)獨(dú)立性已經(jīng)被早期研究人員詳細(xì)研究過。為了同失真

圖像DNT系數(shù)間的統(tǒng)計(jì)獨(dú)立性進(jìn)行清晰地對比，我們在這里仍然舉例來說明。圖8a

和8b分別示出了尺度相鄰和方向相鄰的DNT子帶，即子帶dnl.l分別與其相鄰的子帶

dn2.1和dnl.2系數(shù)的聯(lián)合分布。其中，聯(lián)合直方圖的每一列取值分別獨(dú)立地進(jìn)行了

縮放以填充滿整個(gè)動(dòng)態(tài)范圍。

圖8a中的圖示曲線與高斯曲線非常相似，條件直方圖函數(shù)histo(YX)的均值和方

差近似為常數(shù)，與X在dn2.1的取值無關(guān)。此處，(X,Y)代表一對相鄰的量化后的

DNT系數(shù)。顯然，經(jīng)DNT變換，一階和二階統(tǒng)計(jì)獨(dú)立性均得到了加強(qiáng)。對于方向相鄰

的DNT系數(shù)，條件直方圖函數(shù)的方差仍然保持不變，然而均值隨dnl.2中的X的變化

而變化，表明相鄰方向系數(shù)間存在相關(guān)性。

對于其余相鄰關(guān)系DNT系數(shù)的聯(lián)合分布，同樣存在如圖8a中所示的普遍規(guī)律，

即：條件直方圖的方差俁持為常數(shù)不變，表明DNT空間潛在的統(tǒng)計(jì)獨(dú)立性。

針對RRIQA問題，失真圖像的統(tǒng)計(jì)獨(dú)立性變化規(guī)律更為重要。圖9a示出了

JPEG2000圖像中水平相鄰1個(gè)像素的DNT系數(shù)子帶的聯(lián)合直方圖;圖9b示出了JPEG

圖像中水平相鄰1個(gè)像素的DNT系數(shù)子帶的聯(lián)合直方到；圖9c示出了白噪聲圖像中水

平相鄰1個(gè)像素的DNT系數(shù)子帶的聯(lián)合直方圖；圖9d示出了高斯模糊圖像中水平相鄰

1個(gè)像素的DXT系數(shù)子帶的聯(lián)合直方圖。上述圖中的一系列不同失真類型以及失真程

度(由上至下遞增)圖像的參考圖像均來自圖2a中的自然圖像。

為了更好地理解統(tǒng)L獨(dú)立性的變化規(guī)律，將圖9b中JPEG失真圖像的條件直方圖

取出在圖10a-10e中進(jìn)行比較，其中，失真程度由圖10a開始逐漸增強(qiáng)。很明顯，隨

著失真程度的遞增，直方圖的均值和方差不再固定為常數(shù)，各曲線的形狀也越來越偏

離高斯曲線。各條件直方圖曲線形狀的差異度提升，也揭示了統(tǒng)計(jì)獨(dú)立性程度的逐步

喪失。

從圖10a.10b和10d中可以看出，對于失真圖像，統(tǒng)計(jì)獨(dú)立性不再存在。失真

程度越嚴(yán)重，條件直方圖方差的不一致性就越高。表明圖像結(jié)構(gòu)的破壞導(dǎo)致了統(tǒng)計(jì)獨(dú)

立性的下降。圖10c中似乎出現(xiàn)了一個(gè)“反例”，隨著失真程度增力口，統(tǒng)計(jì)獨(dú)立性逐

步增強(qiáng)?？紤]到白噪聲本身同圖像內(nèi)容就是完全獨(dú)立的，在圖像中加入越多的白噪聲,

也就意味著引入了越多的統(tǒng)計(jì)獨(dú)立成分，圖10c中觀察到的現(xiàn)象也是符合邏輯的。即

統(tǒng)計(jì)獨(dú)立性的改變程度同失真程度相一致，以成正比或者成反比的形式。

雖然此處僅僅展示了相鄰水平方向上的統(tǒng)計(jì)獨(dú)立性變化規(guī)律。事實(shí)上，在對其它

相鄰情形的實(shí)驗(yàn)中，包括相鄰尺度，相鄰方向，相鄰位置(不同方向和距離)，以及

其它圖像的全部DNT子帶的相鄰情形，DNT域中統(tǒng)計(jì)獨(dú)立性的變化展現(xiàn)了其普遍性，

且變化的程度幾乎與失真程度成量化對應(yīng)關(guān)系，由此，在本發(fā)明中采用相鄰DNT系數(shù)

子帶的統(tǒng)計(jì)獨(dú)立性作為量化圖像失真程度的指標(biāo)參數(shù)，即特征信息。

對于部分參考型圖像質(zhì)量評價(jià)方法，需要一個(gè)能夠反映統(tǒng)計(jì)獨(dú)立性程度的客觀指

標(biāo)。設(shè)隨機(jī)變量(X,Y)代表一對量化后的DNT系數(shù)，(xi,yj),i,j=l,2,...N,代表(X,Y)

的可能取值，滿足以下條件時(shí)，X和Y定義為相互獨(dú)立：

P(X=xi,Y=yj)=P(X=xi)P(Y=yj)(21)

其中，P代表概率。

以上定義闡明了如何判斷兩個(gè)隨機(jī)變量是否相互獨(dú)立。然而，兩個(gè)隨機(jī)變量不獨(dú)

立時(shí)的相互依賴程度仍然無從得知。為進(jìn)一步測量統(tǒng)計(jì)依賴的程度，優(yōu)選地，可選擇

互信息量(MI：MutualInformation),其定義如下:

<math><mfencedopen=''close=<mtable><mtr><mtd><mi>l</mi><mrow>

<mo>(</mo><mi>X</mi><mo>;</mo><mi>Y</mi><mo>)</mo></mrow><mo>=</mo>

<mrow><mo>?/mo><mi>X</mi><ino>)</mo></mrow><mo>+</mo>

<mrow><mo>?/mo><mi>Y</mi><IIK)>)</mo></mrow><mo>-</mo>

<mrow><mo>(</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo?</mo>

</mrow><mo>-</mo><mo>-</mo><mo>-</mo><rirow><mo>(</mo><mn>22</mn>

<mo>)</mo></mro\v></mtd></mtr><mtr><mtd><mi>H</mi><mrow><mo>(</mo>

<mi>X</mi><mo?</mo></mrow><mo>=</mo><mo>-</mo><munderover>

<mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><nm>K/mn></mrow><mi>N</mi>

</munderover><mi>P</mi><msub><mrow><mo>(</mo><mi>X</mi><mo>=</mo>

<msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mi>i</mi></msub>

<mi>log</mi><mi>P</ni><mrow><mo>(</mo><mi>X</mi><mo>=</mo><msub>

<mi>x</mi><mi>i</mi></msub><mo?</mo></mrow><mo>-</mo><mo>-</mo>

<mo>-</mo><mrow><mo>?/mo><mn>23</mn><mo?</mo></mrow></mtd></mtr>

<mtr><mtd><mi>H</rai><mrow><mo>(</mo><mi>Y</mi><mo>)</mo></mrow>

<mo>=</mo><mo></mo><mundcrovcr><mi>Σ</mi><mrow><mi>j</mi>

<mo>=</mo><mn>K/mn></mrow><mi>N</mi></munderover><mi>P</mi><mrow>

<mo>(</mo><mi>Y</mi><mo>=</mo><msub><mi>y</mi><mi>j</mi></msub>

<mo>)</mo></mrow><mi>log</mi><mi>P</mi><mrow><mo>(</mo><mi>Y</mi>

<mo>=</mo><msub><mi>y</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>-

</mo><mo>-</mo><mo>-</mo><mrow><mo>?/mo><mn>24</mn><mo?</mo></mrow>

</mtd></mtr><mtr><mtd><mi>H</mi><mrow><mo>?/mo><mi>X</mi><mo>,</mo>

<mi>Y</mi><mo>)</mo></mrow><mo>=</mo><mo>-</mo><munderover>

<mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>l</mn></mrow><mi>N</mi>

</munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo>

<mn>l</mn></mrow><mi>N</mi></munderover><mi>P</mi><mrow><mo>(</mo>

<mi>X</mi><mo>=</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo>

<mi>Y</mi><mo>=</mo><msub><mi>y</mi><mi>j</mi></msub><mo>)</mo