第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計(jì)決策第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計(jì)決策統(tǒng)計(jì)決策理論是模式分類問題的基本理論之一貝葉斯決策理論是統(tǒng)計(jì)決策理論中的一個(gè)基本方法貝葉斯決策的兩個(gè)要求各個(gè)類別的總體概率分布(先驗(yàn)概率和類條件概率密度)是已知的要決策分類的類別數(shù)是一定的2.1引言黑色：第一類粉色：第二類綠色：哪一類？統(tǒng)計(jì)決策理論就是根據(jù)每一類總體的概率分布決定未知類別的樣本屬于哪一類決策2.1引言評(píng)價(jià)決策有多種標(biāo)準(zhǔn)，對(duì)于同一個(gè)問題，采用不同的標(biāo)準(zhǔn)會(huì)得到不同意義下“最優(yōu)”的決策貝葉斯決策常用的準(zhǔn)則：

最小錯(cuò)誤率準(zhǔn)則

最小風(fēng)險(xiǎn)準(zhǔn)則

Neyman-Pearson(黎曼皮爾遜)準(zhǔn)則最小最大決策準(zhǔn)則決策準(zhǔn)則2.1引言在連續(xù)情況下，假設(shè)對(duì)要識(shí)別的物理對(duì)象有d種特征觀察量x1,x2,…xd，這些特征的所有可能的取值范圍構(gòu)成了d維特征空間。稱向量假設(shè)要研究的分類問題有c個(gè)類別，類型空間表示為：為d維特征向量?；靖拍?.1引言先驗(yàn)概率:類條件概率：后驗(yàn)概率：

幾個(gè)重要概念2.1引言先驗(yàn)概率:類條件概率：后驗(yàn)概率：

未獲得觀測(cè)數(shù)據(jù)之前類別的分布幾個(gè)重要概念2.1引言先驗(yàn)概率:類條件概率：后驗(yàn)概率：

未獲得觀測(cè)數(shù)據(jù)之前類別的分布表示在類條件下x的概率分布密度幾個(gè)重要概念2.1引言先驗(yàn)概率:類條件概率：后驗(yàn)概率：

未獲得觀測(cè)數(shù)據(jù)之前類別的分布表示在類條件下x的概率分布密度在x出現(xiàn)條件下類出現(xiàn)的概率幾個(gè)重要概念2.1引言第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布密度(TheNormalDensity)2.6正態(tài)分布的判別函數(shù)鱸魚/鮭魚例子自然狀態(tài)下，先驗(yàn)的類別狀態(tài)，

i,i=1,2

i類別狀態(tài)是一個(gè)隨機(jī)變量,P(

i)表示為先驗(yàn)概率。捕獲鱸魚和鮭魚的幾率相等。P(

1)=P(

2)(先驗(yàn))P(

1)+P(

2)=1(排除其它魚的種類)2.2基于最小錯(cuò)誤率的貝葉斯決策僅含先驗(yàn)信息的判別規(guī)則這種分類決策沒有意義由先驗(yàn)概率所提供的信息太少2.2基于最小錯(cuò)誤率的貝葉斯決策采用類條件信息——類條件概率密度函數(shù)p(x|

1)：鱸魚的屬性分布p(x|

2)：鮭魚的屬性分布。2.2基于最小錯(cuò)誤率的貝葉斯決策采用類條件信息——類條件概率密度函數(shù)p(x|

1)：鱸魚的屬性分布p(x|

2)：鮭魚的屬性分布。2.2基于最小錯(cuò)誤率的貝葉斯決策鱸魚和鮭魚判別中的類條件概率密度函數(shù)（以光澤度為例）貝葉斯公式先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān)系貝葉斯公式通過類條件概率密度形式的觀察值，將先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率。2.2基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率含義

P(ω1|x)：當(dāng)觀測(cè)向量為x值時(shí),是鱸魚的概率。P(ω2|x)：當(dāng)觀測(cè)向量為x值時(shí),是鮭魚的概率。2.2基于最小錯(cuò)誤率的貝葉斯決策P(error|x)=P(

2|x)判定為

1(錯(cuò)誤選擇

2);基于后驗(yàn)概率的決策規(guī)則：存在一個(gè)觀察值x(特征)如果P(

1|x)>P(

2|x)類別狀態(tài)=

1如果P(

1|x)<P(

2|x)類別狀態(tài)=

2因此，無論何時(shí)觀測(cè)到某一個(gè)特定值x，概率誤差為：P(error|x)=P(

1|x)判定為

2(錯(cuò)誤選擇

1);2.2基于最小錯(cuò)誤率的貝葉斯決策因此，P(error|x)=min[P(

1|x),P(

2|x)]錯(cuò)誤概率的最小化判定規(guī)則：如果P(

1|x)>P(

2|x)，判定為

1；否則，判定為

2。(最大后驗(yàn)概率準(zhǔn)則可以保證最小錯(cuò)誤率，所以又稱最小錯(cuò)誤率準(zhǔn)則)基于后驗(yàn)分布的判別規(guī)則：2.2基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策：20等價(jià)形式2.2基于最小錯(cuò)誤率的貝葉斯決策例：假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常和異常兩類的先驗(yàn)概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，類條件概率密度分別為,試對(duì)該細(xì)胞x進(jìn)行分類。

2.2基于最小錯(cuò)誤率的貝葉斯決策例：假設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常和異常兩類的先驗(yàn)概率分別為正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，類條件概率密度分別為,試對(duì)該細(xì)胞x進(jìn)行分類。解：2.2基于最小錯(cuò)誤率的貝葉斯決策以一維情況為例討論基于最小錯(cuò)誤率的貝葉斯決策確實(shí)對(duì)應(yīng)最小錯(cuò)誤率統(tǒng)計(jì)意義上的錯(cuò)誤率，即平均錯(cuò)誤率，用P(e)表示23最小錯(cuò)誤率的討論2.2基于最小錯(cuò)誤率的貝葉斯決策24最小錯(cuò)誤率的討論2.2基于最小錯(cuò)誤率的貝葉斯決策在C類別情況下最小錯(cuò)誤率貝葉斯決策規(guī)則的后驗(yàn)概率形式：

先驗(yàn)概率與類條件概率密度相聯(lián)系的形式：25C類別情況下最下錯(cuò)誤率2.2基于最小錯(cuò)誤率的貝葉斯決策26小結(jié)基于最小錯(cuò)誤率的貝葉斯決策規(guī)則：貝葉斯公式：2.2基于最小錯(cuò)誤率的貝葉斯決策第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計(jì)決策28例子1：鱸魚和桂魚的出售Seabass：鱸魚Salmon：鮭魚2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策29例子2：良性和惡性腫瘤的診斷2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策30主要思想：上述最小錯(cuò)誤率決策中，使錯(cuò)誤率達(dá)到最小是重要的。但實(shí)際上，有時(shí)候需要考慮一個(gè)比錯(cuò)誤率更廣泛的概念—風(fēng)險(xiǎn)，而風(fēng)險(xiǎn)又是和損失緊密相連的。我們對(duì)樣本的分類不僅要考慮到盡可能作出正確的判斷，而且還要考慮到作出錯(cuò)誤判斷時(shí)會(huì)帶來什么后果。最小風(fēng)險(xiǎn)貝葉斯決策正是考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策(3)決策/行動(dòng)指將模式x判定為ωi或者是拒判。決策空間是由a個(gè)決策組成(4)損失函數(shù)為表示當(dāng)樣本x真實(shí)狀態(tài)為ωj而所采取的決策為

時(shí)所帶來的損失。31x是d維隨機(jī)向量(2)狀態(tài)空間Ω由c個(gè)自然狀態(tài)(c類)組成：

2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策32條件風(fēng)險(xiǎn)：由于引入了“損失”的概念，在考慮錯(cuò)判所造成的損失時(shí)，就不能只根據(jù)后驗(yàn)概率的大小來做決策，而必須考慮所采取的決策是否使損失最小。對(duì)于給定的x，如果采取決策αi

，從決策表可見，λ可以在c個(gè)λ(αi,ωj),j=1,2,…,c值中任取一個(gè),其相應(yīng)概率為P(ωj|x)。因此在采取決策αi情況下的條件期望損失(也稱為條件風(fēng)險(xiǎn))R(αi|x)為：2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策期望風(fēng)險(xiǎn)：對(duì)于x的不同觀察值，采取決策αi時(shí)，其條件風(fēng)險(xiǎn)大小是不同的。所以究竟采取哪一種決策將隨x的取值而定。這樣，決策α可以看成隨機(jī)向量x的函數(shù)，記為α(x)?？梢远x期望風(fēng)險(xiǎn)Rexp為：期望風(fēng)險(xiǎn)反映對(duì)整個(gè)空間上所有x的取值采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險(xiǎn)。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策34決策規(guī)則：在考慮錯(cuò)判帶來的損失時(shí)，總是希望損失最小。如果在采取每一個(gè)決策或行動(dòng)時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對(duì)所有的x作出決策時(shí)，其期望風(fēng)險(xiǎn)也必然最小。這就是最小風(fēng)險(xiǎn)貝葉斯決策。最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則為：2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策352.3基于最小風(fēng)險(xiǎn)的貝葉斯決策36舉例例：在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常（

1）和異常（

2）兩類的先驗(yàn)概率為：P(ω1)=0.9，P(ω2)=0.1，滿足：對(duì)于未知細(xì)胞x，利用最小風(fēng)險(xiǎn)貝葉斯決策和最小錯(cuò)誤率貝葉斯決策，問該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞？決策狀態(tài)ω1ω2α106α210P(x/ω1)=0.2，

P(x/ω2)=0.42.3基于最小風(fēng)險(xiǎn)的貝葉斯決策37舉例例：在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常（

1）和異常（

2）兩類的先驗(yàn)概率為：P(ω1)=0.9，P(ω2)=0.1，滿足：對(duì)于未知細(xì)胞x，利用最小風(fēng)險(xiǎn)貝葉斯決策和最小錯(cuò)誤率貝葉斯決策，問該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞？決策狀態(tài)ω1ω2α106α210P(x/ω1)=0.2，

P(x/ω2)=0.4解：計(jì)算出后驗(yàn)概率2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策38舉例因?yàn)?，決策為ω2，即判別待識(shí)別細(xì)胞為異常細(xì)胞。利用基于最小錯(cuò)誤率的準(zhǔn)則，判定為ω1，這里損失函數(shù)起了決定性作用。各種錯(cuò)誤造成的損失不同，正常細(xì)胞判定為異常細(xì)胞的損失遠(yuǎn)大于異常判定為正常的損失。

計(jì)算條件風(fēng)險(xiǎn)：分析：最小風(fēng)險(xiǎn)決策必須要有合適的損失函數(shù)λ，實(shí)際中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯(cuò)誤決策造成損失的嚴(yán)重程度，與有關(guān)專家共同商討來確定，才能做出更有效的決策。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策39兩分類問題下的最小風(fēng)險(xiǎn)準(zhǔn)則決策行動(dòng)：

1

:對(duì)應(yīng)于類別判別

1；

2:對(duì)應(yīng)于類別判別

2。損失：表示當(dāng)實(shí)際類別為

j時(shí)誤判為

i

所引起的損失。條件風(fēng)險(xiǎn)（條件期望損失）：最小風(fēng)險(xiǎn)決策規(guī)則：如果，則根據(jù)決策行動(dòng)

1

，判決類別

1。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策40似然比形式

等價(jià)于：與x無關(guān)，對(duì)于某個(gè)問題，是個(gè)可以事先計(jì)算的常量。

似然比大于某個(gè)閾值，則采取行動(dòng)決策

1(判決

1)；否則為：

22.3基于最小風(fēng)險(xiǎn)的貝葉斯決策41

兩分類問題下的最小風(fēng)險(xiǎn)準(zhǔn)則在兩類問題中，若有，決策規(guī)則變?yōu)?.3基于最小風(fēng)險(xiǎn)的貝葉斯決策42

多類問題下的最小風(fēng)險(xiǎn)準(zhǔn)則在c個(gè)類別的問題中，如果損失函數(shù)為“0-1”損失函數(shù)：“0-1”損失函數(shù)：1）對(duì)于c類問題只有c個(gè)決策，2）實(shí)際類別正確判定為第j類時(shí)，損失為0。3）實(shí)際類別誤判為第類時(shí)，損失均為1。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策43“0-1”

損失函數(shù)下的最小風(fēng)險(xiǎn)準(zhǔn)則最小錯(cuò)誤率貝葉斯決策是在0-1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策，最小錯(cuò)誤率貝葉斯決策是最小風(fēng)險(xiǎn)貝葉斯決策的特例。2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計(jì)決策判別函數(shù)（DiscriminantFunction）：用于表示決策規(guī)則的某些函數(shù)gi(x）稱為判別函數(shù)。每個(gè)類別對(duì)應(yīng)一個(gè)判別函數(shù)，。判別函數(shù)與決策面方程密切相關(guān)，且都由相應(yīng)的決策規(guī)則所確定。表達(dá)同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足如下條件：例如：

gi(x)kgi(x),k為正常數(shù)

gi(x)gi(x)+k,k為任意常數(shù)

gi(x)ln(gi(x))用f(gi(x))替換gi(x)，其中f(*)為單調(diào)遞增函數(shù)2.4分類器、判別函數(shù)及決策面決策面（DecisionSurface）：對(duì)于c類分類問題，按照決策規(guī)則可以把d維特征空間分成c個(gè)決策域，將劃分決策域的邊界面稱為決策面，在數(shù)學(xué)上用解析形式可以表示成決策面方程。

判決區(qū)域Ri是特征空間中的一個(gè)子空間，判決規(guī)則將所有落入Ri的樣本x分類為類別ωi；判決邊界是特征空間中劃分判決區(qū)域的（超）平面；在判決邊界上，通常有兩類或多類的判別函數(shù)值相等。2.4分類器、判別函數(shù)及決策面2.4分類器、判別函數(shù)及決策面分類器設(shè)計(jì)（Classifier）：分類器設(shè)計(jì)就是設(shè)計(jì)判別函數(shù)，求出判定面方程g(x)分類器最常用的表述方式為判別函數(shù)：每個(gè)類別對(duì)應(yīng)一個(gè)判別函數(shù)。基于判別函數(shù)的判決：如果：，則屬于決策面方程：基于最小錯(cuò)誤率的判決函數(shù)基于最小風(fēng)險(xiǎn)的判決函數(shù)2.4分類器、判別函數(shù)及決策面兩分類下的判別函數(shù)特殊的，對(duì)于兩分類問題，也可以只用一個(gè)判別函數(shù)

令：判決規(guī)則例如：決策面：如果：則模式為否則為2.4分類器、判別函數(shù)及決策面50兩分類下的判別函數(shù)2.4分類器、判別函數(shù)及決策面例子求：利用最小錯(cuò)誤率和最小風(fēng)險(xiǎn)決策分別寫出判別函數(shù)和決策面方程。2.4分類器、判別函數(shù)及決策面52例子求：利用最小錯(cuò)誤率和最小風(fēng)險(xiǎn)決策分別寫出判別函數(shù)和決策面方程。利用最小錯(cuò)誤率決策，其對(duì)應(yīng)的判別函數(shù)為：決策面方程為：利用最小風(fēng)險(xiǎn)決策，其對(duì)應(yīng)的判別函數(shù)為：決策面方程為：2.4分類器、判別函數(shù)及決策面53多分類下的判別函數(shù)判決函數(shù)：決策面：則模式為：2.4分類器、判別函數(shù)及決策面54多分類下的判別函數(shù)分類器設(shè)計(jì)：它的功能是先計(jì)算出c個(gè)判別函數(shù)gi，再從中選出對(duì)應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果。2.4分類器、判別函數(shù)及決策面55判別函數(shù)、決策面2.4分類器、判別函數(shù)及決策面判別函數(shù)，決策面2.4分類器、判別函數(shù)及決策面第二章貝葉斯決策理論2.1引言2.2基于最小錯(cuò)誤率的貝葉斯決策2.3基于最小風(fēng)險(xiǎn)的貝葉斯決策2.4分類器、判別函數(shù)及決策面2.5正態(tài)分布下的統(tǒng)計(jì)決策2.5正態(tài)分布下的統(tǒng)計(jì)決策為什么研究正態(tài)分布？物理上的合理性：較符合很多實(shí)際情況，觀測(cè)值通常是很多種因素共同作用的結(jié)果，根據(jù)中心極限定理（這組定理是數(shù)理統(tǒng)計(jì)學(xué)和誤差分析的理論基礎(chǔ)，指出了大量隨機(jī)變量累積分布函數(shù)逐點(diǎn)收斂到正態(tài)分布的積累分布函數(shù)的條件），服從正態(tài)分布。數(shù)學(xué)上比較簡(jiǎn)單：參數(shù)個(gè)數(shù)少單變量正態(tài)分布多元正態(tài)分布59單變量正態(tài)分布

2.5正態(tài)分布下的統(tǒng)計(jì)決策多元正態(tài)分布函數(shù)期望(均值向量)協(xié)方差矩陣(對(duì)稱非負(fù)定)2.5正態(tài)分布下的統(tǒng)計(jì)決策多變量正態(tài)分布

二次型xT∑x≥0●協(xié)方差矩陣總是對(duì)稱陣，協(xié)方差矩陣為

的方差就是對(duì)角線上的元素非對(duì)角線上的元素就是和的協(xié)方差。2.5正態(tài)分布下的統(tǒng)計(jì)決策●協(xié)方差矩陣總是非負(fù)定陣?！駥?duì)于任意隨機(jī)向量x，xT∑x是∑的二次型。如果對(duì)x≠0的一切x

有

xT∑x≥0都成立，則稱∑為非負(fù)定陣?！袢魓T∑x>0，則∑為正定陣。●對(duì)于正定矩陣，各階主子式非零（包括|∑|≠0）。多元正態(tài)分布的性質(zhì)參數(shù)個(gè)數(shù)：d+d(d+1)/2

均值向量：d個(gè)參數(shù)協(xié)方差矩陣：對(duì)稱的d維矩陣，d(d+1)/2個(gè)參數(shù)等密度點(diǎn)的軌跡為一超橢球面要使密度p(x)值不變，需指數(shù)項(xiàng)為常數(shù)，即：超橢球面2.5正態(tài)分布下的統(tǒng)計(jì)決策多元正態(tài)分布的性質(zhì)馬氏距離：與歐式距離：馬氏距離考慮數(shù)據(jù)各個(gè)維度間的相關(guān)性，x到的馬氏距離為常數(shù)時(shí)，所組成的超橢球面為等密度點(diǎn)。2.5正態(tài)分布下的統(tǒng)計(jì)決策2.多元正態(tài)分布的性質(zhì)⑴參數(shù)μ和∑對(duì)分布的決定性⑵等密度點(diǎn)的軌跡為一超橢球面⑶不相關(guān)性等價(jià)于獨(dú)立性⑷邊緣分布和條件分布的正態(tài)性⑸線性變換的正態(tài)性⑹線性組合的正態(tài)性⑴參數(shù)μ和∑對(duì)分布的決定性多元正態(tài)分布被均值向量μ和協(xié)方差矩陣∑所完全確定。均值向量μ由d個(gè)分量組成;協(xié)方差矩陣∑由于其對(duì)稱性故其獨(dú)立元素有p(x)~N(μ,∑)多元正態(tài)分布概率密度函數(shù)常記為⑵等密度點(diǎn)的軌跡為一超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和∑所確定的一個(gè)區(qū)域里。從一個(gè)以均值μ為中心的云團(tuán)內(nèi)的二維高斯分布中取出的樣本。橢圓顯示了等概率密度的高斯分布軌跡?！霎?dāng)指數(shù)項(xiàng)為常數(shù)時(shí)，密度p(x)值不變，因此等密度點(diǎn)應(yīng)是此式的指數(shù)項(xiàng)為常數(shù)的點(diǎn)，即應(yīng)滿足■

證明上式的解是一個(gè)超橢球面，且它的主軸方向由∑陣的特征向量所決定，主軸的長(zhǎng)度與相應(yīng)的協(xié)方差矩陣∑的本征值成正比。在數(shù)理統(tǒng)計(jì)中上式所表示的數(shù)量：為x到μ的Mahalanobis距離的平方。所以等密度點(diǎn)軌跡是x到μ的Mahalanobis距離為常數(shù)的超橢球面。這個(gè)超橢球體大小是樣本對(duì)于均值向量的離散度度量?？梢宰C明對(duì)應(yīng)于Mahalanobis距離為超橢球的體積是其中Vd是d維單位超球體的體積。⑶不相關(guān)性等價(jià)于獨(dú)立性不相關(guān)與獨(dú)立的定義：若E{xi

xj}=E{xi}·E{xj}則定義隨機(jī)變量xi和xj是不相關(guān)的。若p(xi,xj)=

p(xi)p(xj)則定義隨機(jī)變量xi和xj是獨(dú)立的。

■一般情況下相關(guān)與獨(dú)立的關(guān)系獨(dú)立性是比不相關(guān)性更強(qiáng)的條件，獨(dú)立性要求

p(xi,xj)=p(xi)p(xj)對(duì)于xi和xj都成立。不相關(guān)性是兩個(gè)隨機(jī)變量的積的期望等于兩個(gè)隨機(jī)變量的期望的積，它反映了xi與xj總體的性質(zhì)。若xi和xj相互獨(dú)立，則它們之間一定不相關(guān)；反之則不一定成立?！龆嘣龖B(tài)分布情況對(duì)多元正態(tài)分布的任意兩個(gè)分量xi和xj而言，若xi與xj互不相關(guān)，則它們之間一定獨(dú)立。在正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性。（證明見P27)推論:如果多元正態(tài)隨機(jī)向量的協(xié)方差陣是對(duì)角陣，則x的分量是相互獨(dú)立的正態(tài)分布隨機(jī)變量。⑷邊緣分布和條件分布的正態(tài)性多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布。二元正態(tài)分布協(xié)方差矩陣∑及其逆矩陣∑-1為根據(jù)邊緣分布定義其中由于所以x1的邊緣分布

就是說邊緣分布p(x1)服從以均值為方差為的正態(tài)分布。

同理可以推出x2的邊緣分布為對(duì)于給定x1的條件下x2的分布，有定義p(x2|x1)=p(x1,x2)/p(x1)同理可以寫出給定x2條件下x1的分布:⑸線性變換的正態(tài)性若對(duì)x用線性變換矩陣A(A是非奇異(|A|≠0)的)作線性變換，y

=Ax則y服從以均值向量為Aμ，協(xié)方差矩陣為A∑AT的多元正態(tài)分布。即p(y)~N(Aμ，A∑AT)⑹線性組合的正態(tài)性若x為多元正態(tài)隨機(jī)向量，則線性組合是一維的正態(tài)隨機(jī)變量，則y服從：其中是與x同維的向量。根據(jù)最小錯(cuò)誤率貝葉斯判別函數(shù)，在多元正態(tài)概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即寫出其相應(yīng)的表達(dá)式。判別函數(shù)為:決策面方程為:

即

(1)2.5正態(tài)分布下的統(tǒng)計(jì)決策情況一：各類協(xié)方差陣相等，且每類各特征獨(dú)立，方差相等（對(duì)角矩陣）情況二：各類協(xié)方差陣相等情況三：各類協(xié)方差陣不相等

任意的2.5正態(tài)分布下的統(tǒng)計(jì)決策情況一：將代入得到?jīng)Q策函數(shù)展開決策函數(shù)其中，二次項(xiàng)與i無關(guān)2.5正態(tài)分布下的統(tǒng)計(jì)決策正交因此，等價(jià)的判決函數(shù)為：其中：決策面可以寫成：其中：過與的超平面此時(shí)，寫成了一個(gè)線性判別函數(shù)的形式。2.5正態(tài)分布下的統(tǒng)計(jì)決策當(dāng)，當(dāng)，向先驗(yàn)概率小的方向偏移。位于兩中心的中點(diǎn)；在先驗(yàn)概率相等的情況下，最優(yōu)判決的規(guī)則為：為將某特征向量x歸類，通過測(cè)量每一x到c個(gè)均值向量中心的每一個(gè)歐氏距離，并將x歸為離它最近的那一類。這樣的分類器稱為“最