模式識(shí)別隨機(jī)向量的概率第一頁(yè)，共四十四頁(yè)，編輯于2023年，星期六一.事件的概率

令A(yù)、B、C…表示事件，這些事件的概率是[0，1]間的實(shí)數(shù)，記為Pr[A]、Pr[B]、Pr[C]必然事件的概率是1不可能事件的概率是0對(duì)任意事件A，（對(duì)立事件）

第二頁(yè)，共四十四頁(yè)，編輯于2023年，星期六A和B同時(shí)發(fā)生的概率

如果A1，A2，…，AM是兩兩互斥的完備事件組，則

第三頁(yè)，共四十四頁(yè)，編輯于2023年，星期六二.

概率分布和密度函數(shù)

1.單個(gè)隨機(jī)向量的分布和密度函數(shù)

令X是一個(gè)隨機(jī)向量，它的每一分量都是一個(gè)隨機(jī)變量。令

是X的一個(gè)取值，其中都是固定的實(shí)數(shù)值第四頁(yè)，共四十四頁(yè)，編輯于2023年，星期六則事件：

的概率是的函數(shù)。這個(gè)函數(shù)稱(chēng)為隨機(jī)向量x的分布函數(shù)。定義為：

第五頁(yè)，共四十四頁(yè)，編輯于2023年，星期六由上面分布函數(shù)的定義，顯然有：

概率密度函數(shù)定義為分布函數(shù)對(duì)所有分量的導(dǎo)數(shù)：

第六頁(yè)，共四十四頁(yè)，編輯于2023年，星期六概率分布函數(shù)和密度函數(shù)之間還滿(mǎn)足如下的積分關(guān)系：

由上式和前面的式子，還有：

第七頁(yè)，共四十四頁(yè)，編輯于2023年，星期六

對(duì)于事件：有：下面看看在某一點(diǎn)的小鄰域的概率：第八頁(yè)，共四十四頁(yè)，編輯于2023年，星期六上式近似成立的條件是：

要充分小，以使的變化較小這意味著，在點(diǎn)的概率密度正比于隨機(jī)向量落在附近的小鄰域內(nèi)的概率。密度函數(shù)越大，這個(gè)概率越大。但等于的概率為0。（連續(xù)時(shí)）容許奇異時(shí)，也有可能第九頁(yè)，共四十四頁(yè)，編輯于2023年，星期六2.隨機(jī)向量的聯(lián)合分布和密度函數(shù)

令X和Y是隨機(jī)向量，可以把前面定義的對(duì)單個(gè)隨機(jī)向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去。實(shí)際上，單個(gè)隨機(jī)向量是它的各個(gè)分量的聯(lián)合，只要再擴(kuò)展到Y(jié)就行了第十頁(yè)，共四十四頁(yè)，編輯于2023年，星期六令是一個(gè)隨機(jī)向量，，是的一個(gè)實(shí)現(xiàn)。則隨機(jī)向量和的聯(lián)合分布函數(shù)定義為聯(lián)合事件[]的概率：第十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期六的聯(lián)合密度函數(shù)定義為：

和上式的一個(gè)等價(jià)關(guān)系是：

第十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期六由定義，下面的等式成立：

(a)(b)(c)(d)第十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期六

由（b），有下式：第十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期六（c）和（d）意味著:x和y的概率密度可以通過(guò)對(duì)x和y的聯(lián)合概率密度的積分得到：以上兩式得到的稱(chēng)為X和Y的邊緣密度函數(shù)。第十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期六聯(lián)合分布的隨機(jī)向量x、y的另一個(gè)重要關(guān)系是：在附近，同時(shí)在附近小區(qū)域內(nèi)的概率近似等于和小區(qū)域體積的積第十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期六例1：一個(gè)兩維隨機(jī)向量和一個(gè)一維隨機(jī)變量的聯(lián)合密度函數(shù)：

求事件的概率和邊緣密度：，第十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期六解：1.

第十八頁(yè)，共四十四頁(yè)，編輯于2023年，星期六注意：不要忘記積分區(qū)間2.邊緣密度為：第十九頁(yè)，共四十四頁(yè)，編輯于2023年，星期六在上面的計(jì)算中，要注意積分的上下限。

密度函數(shù)也可以用對(duì)分布函數(shù)求導(dǎo)而得到

第二十頁(yè)，共四十四頁(yè)，編輯于2023年，星期六3.

隨機(jī)向量和事件的聯(lián)合分布和密度函數(shù)一個(gè)隨機(jī)向量和一個(gè)事件A的聯(lián)合分布函數(shù)定義為：它是的函數(shù)

第二十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期六聯(lián)合密度函數(shù)定義為：

根據(jù)定義，下面的關(guān)系成立：

事件的聯(lián)合概率為：

第二十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期六如果A1，A2，…，AM是兩兩互斥的完備事件集，則邊緣分布函數(shù)：

邊緣密度函數(shù)為：

第二十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期六三.條件概率和貝葉斯規(guī)則

1.事件的條件概率

令A(yù)、B是兩個(gè)隨機(jī)事件，B發(fā)生后A發(fā)生的條件概率為：

如果

，則稱(chēng)A和B是統(tǒng)計(jì)獨(dú)立的。這時(shí)由（1）式有：

（1）第二十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期六2.條件分布和密度函數(shù)

由（1）式的基本形式，可以推導(dǎo)出下面的幾種條件分布和密度函數(shù)。下面的公式推導(dǎo)和無(wú)條件概率分布與密度函數(shù)相似，不再多講。

（1）以一個(gè)事件為條件的分布和密度函數(shù)

若A是事件，B是另一個(gè)事件，則第二十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期六上式兩邊微分，可得到密度函數(shù)

(2)以隨機(jī)向量為條件的一個(gè)事件的概率

令A(yù)是任一事件，B是事件

則在小區(qū)域內(nèi)，A發(fā)生的概率為：第二十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期六(3)隨機(jī)向量的條件密度函數(shù)

令A(yù)是事件

,B是事件則由前面的定義和公式有：第二十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期六在發(fā)生后的條件密度定義為：

當(dāng)A和B對(duì)所有的和的值是獨(dú)立的時(shí)，

,因此有：

第二十八頁(yè)，共四十四頁(yè)，編輯于2023年，星期六3.貝葉斯公式

由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率，所以由條件概率公式有：

（1）

上式稱(chēng)為Bayes公式。是概率和統(tǒng)計(jì)中非常重要的一個(gè)公式。通過(guò)適當(dāng)定義事件A和B，貝葉斯公式可以有不同的形式。例如：

第二十九頁(yè)，共四十四頁(yè)，編輯于2023年，星期六

（1）如果B是事件則貝葉斯公式的形式為：

（2）

如果是兩兩互斥且完備的事件組A1，A2，…，AM中的一個(gè)事件，則（最優(yōu)模式分類(lèi)）（2）（3）第三十頁(yè)，共四十四頁(yè)，編輯于2023年，星期六(3)如果B是事件，A是事件，則貝葉斯公式的形式為：

(4)由邊緣密度的定義，還可寫(xiě)為下式：

(5)第三十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期六上面的幾種貝葉斯公式對(duì)統(tǒng)計(jì)模式識(shí)別都是非常重要的如(5)式，稱(chēng)為先驗(yàn)概率，隨機(jī)向量X和Y間有某種關(guān)系，在X發(fā)生后Y的密度函數(shù)是對(duì)先驗(yàn)概率的一種改善，稱(chēng)為后驗(yàn)概率。又如（3）式是一個(gè)最佳模式分類(lèi)規(guī)則。是事件類(lèi)的先驗(yàn)概率，而則是的后驗(yàn)概率。

第三十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期六例：一個(gè)兩維隨機(jī)向量的密度函數(shù)為：

另一隨機(jī)向量X，它和Y有關(guān)，其條件密度函數(shù)為：

第三十三頁(yè)，共四十四頁(yè)，編輯于2023年，星期六求聯(lián)合密度，并計(jì)算后驗(yàn)密度

解：1.聯(lián)合密度為：

后驗(yàn)概率為：

第三十四頁(yè)，共四十四頁(yè)，編輯于2023年，星期六注意：1.積分限要注意。

2.上式?jīng)]有顯式解，要用數(shù)值方法求解。

3.如果Y的先驗(yàn)密度是

則有顯式解，是一多元高斯密度

第三十五頁(yè)，共四十四頁(yè)，編輯于2023年，星期六四.數(shù)學(xué)期望

一個(gè)隨機(jī)向量X的期望（或稱(chēng)均值）是一個(gè)常數(shù)向量M，定義為

上式是一個(gè)向量形式，的第個(gè)分量為：

第三十六頁(yè)，共四十四頁(yè)，編輯于2023年，星期六上式對(duì)所有的，的分量積分，有：

是邊緣密度。

對(duì)于隨機(jī)向量的積的期望，將在復(fù)習(xí)2中討論。對(duì)于隨機(jī)向量的各個(gè)分量，則和隨機(jī)變量的定義一樣：

第三十七頁(yè)，共四十四頁(yè)，編輯于2023年，星期六性質(zhì)：1.隨機(jī)向量或變量和的期望等于期望的和；

2.相互獨(dú)立的隨機(jī)變量和的方差等于方差的和

下面考慮只取離散值的隨機(jī)變量。它沒(méi)有概率密度函數(shù)（除非使用奇異函數(shù)）。則期望：若是一隨機(jī)變量，它取離散值，1，2，…，M。M也可能是無(wú)窮的，

第三十八頁(yè)，共四十四頁(yè)，編輯于2023年，星期六方差：均值和方差是隨機(jī)變量分布的重要參數(shù)。均值—分布或密度的中心點(diǎn)，方差則表示了離中心點(diǎn)的分散程度。（分布和密度函數(shù)完全刻畫(huà)了隨機(jī)向量，而期望和方差刻畫(huà)了它的主要特征。）

第三十九頁(yè)，共四十四頁(yè)，編輯于2023年，星期六五.小結(jié)

這一章復(fù)習(xí)了隨機(jī)事件和隨機(jī)向量的概率，復(fù)習(xí)了

統(tǒng)計(jì)獨(dú)立、貝葉斯公式（由條件概率）、隨機(jī)向量和變量的均值、方差。

第四十頁(yè)，共四十四頁(yè)，編輯于2023年，星期六應(yīng)該理解這些定義、概念，理解一些公式推導(dǎo)的思路、思想。理解分布函數(shù)、密度函數(shù)和事件概率間的關(guān)系。理解聯(lián)合概率和條件概率間的區(qū)別。理解獨(dú)立性及其對(duì)概率、分布和密度函數(shù)的影響。掌握Bayes公式的各種形式。

第四十一頁(yè)，共四十四頁(yè)，編輯于2023年，星期六第二章統(tǒng)計(jì)決策理論

最小錯(cuò)誤率貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策

Neyman－Pearson決策（在限定一類(lèi)錯(cuò)誤率的條件下，使另一類(lèi)錯(cuò)誤率最小的兩類(lèi)決策問(wèn)題）最小最大決策序貫決策（SequentialDecision）

第四十二頁(yè)，共四十四頁(yè)，編輯于2023年，星期六關(guān)于統(tǒng)計(jì)學(xué)的一個(gè)笑話：

有一個(gè)從沒(méi)帶過(guò)小孩的統(tǒng)計(jì)學(xué)家，因?yàn)槠拮映鲩T(mén)勉強(qiáng)答應(yīng)照看三個(gè)年幼好動(dòng)的孩子。妻子回家時(shí)，他交出一張紙條，寫(xiě)道：“擦眼淚11次；系鞋帶15次；給每個(gè)孩子吹玩具氣球各5次，累計(jì)15次；每個(gè)氣球的平均壽命10秒鐘；警告孩子不要橫穿馬路26次；孩子堅(jiān)持要穿馬路26次；我還要再過(guò)這樣的星期六