1、統(tǒng)計(jì)方法建模,1 多元回歸與最優(yōu)逐步回歸 2 主成份分析與相關(guān)分析 3 判別分析 4 聚類(lèi)分析 5 模糊聚類(lèi)分析 6 馬爾可夫鏈及其應(yīng)用 7 存貯論,1 多元回歸與最優(yōu)逐步回歸,一、數(shù)學(xué)模型 二、模型的分析與檢驗(yàn) 三、回歸方程系數(shù)的顯著性檢驗(yàn) 四、回歸方程進(jìn)行預(yù)測(cè)預(yù)報(bào)和控制 五、最優(yōu)逐步回歸分析,一、數(shù)學(xué)模型,設(shè)可控或不可控的自變量 ；目標(biāo)函數(shù) ，已測(cè)得的n組數(shù)據(jù)為：,其中 是系統(tǒng)的測(cè)試數(shù)據(jù)，相當(dāng)于如下模型：設(shè)多目標(biāo)系統(tǒng)為：,(1.1),為簡(jiǎn)化問(wèn)題，不妨設(shè)該系統(tǒng)為單目標(biāo)系統(tǒng)，且由函數(shù)關(guān)系 ，可以設(shè)：,其中， 為測(cè)量誤差，相互獨(dú)立， 。令,(1.2),可得如下線性模型,(1.3),可得,（1.4

2、）,(1.4) 稱(chēng)為線性回歸方程的數(shù)學(xué)模型。,利用最小二乘估計(jì)或極大似然估計(jì)，令,使 ，由方程組,(1.5),可得系數(shù) 的估計(jì)。,設(shè) 方陣可逆，由模型可得： ,即有,(1.6),可以證明(1.6)與(1.5)是同解方程組的解，它是最優(yōu)線性無(wú)偏估量，滿足很多良好的性質(zhì)，另文補(bǔ)講。,二、模型的分析與檢驗(yàn),設(shè)目標(biāo)函數(shù) 的平均值，,則由公式可計(jì)算得總偏差平方和，回歸和剩余平方和：,當(dāng) 被拒絕以后，說(shuō)明方程(2)中系數(shù)不全為零，方程配得合理。否則在被接受以后，說(shuō)明方程配得不合適，即變量,對(duì)目標(biāo)函數(shù)都沒(méi)有影響，則要從另外因素去考慮該系統(tǒng)。,可以證得：,或者,三、回歸方程系數(shù)的顯著性檢驗(yàn),假設(shè) ,備選假設(shè)

3、,(1.8),其中 的對(duì)角線元素。,當(dāng) 時(shí)，,顯著不為零，方程(1.2)中 第 j個(gè)變量作用顯著。若有某一個(gè)系數(shù) 假設(shè)被接受，則應(yīng)從方程中剔除。然后從頭開(kāi)始進(jìn)行一次回歸分析工作。,四、回歸方程進(jìn)行預(yù)測(cè)預(yù)報(bào)和控制,經(jīng)過(guò)回歸分析得到經(jīng)驗(yàn)回歸方程為 (1.9) 設(shè)要在某已知點(diǎn)上進(jìn)行預(yù)測(cè)，可得點(diǎn)估計(jì)： (1.10) 下面對(duì)預(yù)測(cè)預(yù)極值進(jìn)行區(qū)間估計(jì)，可以證得 其中,得 的預(yù)測(cè)區(qū)間：,五、最優(yōu)逐步回歸分析,在線性回歸分析中，當(dāng)經(jīng)過(guò)檢驗(yàn)，方程(1.2)作用顯著，但 為顯著,說(shuō)明 不起作用，要從方程中剔除出去，一切都要從頭算起，很麻煩。這里介紹的方法是光對(duì)因子 逐個(gè)檢驗(yàn)，確認(rèn)它在方程中的作用的顯著程度，然后依大

4、到小逐次引入變量到方程，并及時(shí)進(jìn)行檢驗(yàn)，去掉作用不顯著的因子，依次循環(huán)，到最后無(wú)因子可以進(jìn)入方程，亦無(wú)因子被從方程中剔除，這個(gè)方法稱(chēng)為最優(yōu)逐步回歸法。 從方程(1.2)中,為方便計(jì),設(shè)變量個(gè)數(shù) ,記 可得 (1.12),此時(shí)仍可得 是回歸估計(jì)值 回歸方程為 (1.13) 分別是 的系數(shù) 估計(jì)。為了減少誤差積累與放大，進(jìn)行數(shù)據(jù)中心化標(biāo) 準(zhǔn)化處理：,(1.14) 可得數(shù)學(xué)模型為： (1.15) 經(jīng)推導(dǎo)可得： ， ， ，,稱(chēng)為系數(shù)相關(guān)矩陣 由此可得經(jīng)驗(yàn)回歸方程： (1.16) 然后以變換關(guān)系式代入可得,將(17)式與(13)式進(jìn)行比較，可得： (1.18) 只要算得(16)式的 即可。注意到 其中

5、是對(duì)于因子 的偏回歸平方和，可以證明線性方程中對(duì)變量 的多元線性回歸方程中 的偏回歸平方和為（ 是原方程中的偏回歸平方和）：,把系數(shù)矩陣R變成加邊矩陣，記為 比較 ,設(shè) ,則相應(yīng)變量 作用最大，但是否顯著大，要進(jìn)行顯著性檢驗(yàn)，可以證得,當(dāng) 時(shí)，可將變量 引入方程中去。 現(xiàn)將這個(gè)循環(huán)步驟介紹如下： 第一步：挑選第一個(gè)因子 對(duì) 計(jì)算 的偏回歸和 找出 決定 F檢驗(yàn) 當(dāng) 時(shí)引入 ，一般總可以引入的。,第二步：挑選第二個(gè)因子 首先變換加邊矩陣 則 ， 因子 的偏回歸平方和 記 決定可否引入,步驟：1. 對(duì) ，計(jì)算 的偏回歸平方 和 。 2. 找 出中最大的一個(gè)，記為 。 3. 對(duì) 作顯著性檢驗(yàn)： 當(dāng)

6、時(shí)，要 引入 。,第三步：當(dāng)引入 時(shí)， 是否要剔除呢？ 即已有方程： 檢驗(yàn) 的偏回歸平方和：,當(dāng) 時(shí)因子 不剔除。同樣的方法以 時(shí)因子 不剔除。 第四步：重復(fù)進(jìn)行第二步到第三步。一直到?jīng)]有可引入的新因子，也沒(méi)有可剔除的因子。 最后方程為： (1.19) 并把(1.19)式換算成類(lèi)似的(1.13)式。,2 主成份分析與相關(guān)分析,一、數(shù)學(xué)模型,二、主成份分析,三、主成份的貢獻(xiàn)率,這是一個(gè)將多個(gè)指標(biāo)化為幾個(gè)少數(shù)指標(biāo)進(jìn)行統(tǒng)計(jì)分析的問(wèn)題，設(shè)有 維總體有 個(gè)隨機(jī)指標(biāo)構(gòu)成一個(gè) 維隨機(jī)向量 ，它的一個(gè)實(shí)現(xiàn) 為 ；而且這個(gè) 指標(biāo)之間往 往相 互有影響，是否可以將它們綜合成少數(shù)幾個(gè)指標(biāo) ，使它們盡可能充分反映原

7、來(lái)的 個(gè)指標(biāo)。 例如加工上衣，有袖長(zhǎng)、身長(zhǎng)、胸圍、肩寬、領(lǐng)圍、袖口、袖深，等指標(biāo)，是否可以找出主要幾個(gè)指標(biāo)，加工出來(lái)就可以了呢？例如主要以衣長(zhǎng)、胸寬、型號(hào)(肥瘦)這樣三個(gè)特征。,一、數(shù)學(xué)模型,設(shè) 為 維隨機(jī)向量， 為 期望向量, 為協(xié)方差矩陣，其中 設(shè)將 綜合成很少幾個(gè)綜合性指標(biāo)， 如 ，不妨設(shè),則有 要使 盡可能反映原來(lái)的指標(biāo)的作用，則要使 盡可能大，可以利用 乘子法:要對(duì)a加以限制 否則加大 , 增大無(wú)意義。令 設(shè) 并使,可得方程組(2.1)的解為 (2.2) 以 左乘(2.2)之兩邊，得 即 由(2.2)式可得 (2.3) 要使?jié)M足(2.3)的a非零，應(yīng)有,即入是 的特征根，設(shè) 是 的

8、個(gè)特征根，只要取 ， 再由 ，求出V的屬于 的特征向量 ， 在條件 是唯一的 維特征向量 。于是得 (2.4),二、主成份分析,一般協(xié)方差方陣為非負(fù)定，對(duì)角線上各階主子式都大于等于零，即特征值有： 設(shè)前m個(gè)都大于零，依次為 ，相應(yīng)的特征向量為 ，則 ，即為第一,第二,第 個(gè)主成份，由線性代數(shù)知識(shí)可知，不同的特征根對(duì)應(yīng)的不同的特征向量線性無(wú)關(guān)，由于V是實(shí)對(duì)稱(chēng)陣，則 ，變換后的各主成份 相互無(wú)關(guān)。即對(duì) 進(jìn)行了一次正交變換。,在實(shí)際應(yīng)用中，V陣往往是未知的，需要用V的估計(jì) 值來(lái)代替 ，設(shè)有 組觀測(cè)值 則取 (2.5) (2.6) 其中 是 的 子樣方差， 的子樣協(xié)方差。需要求出 的特征值。,由于不同

9、的度量會(huì)產(chǎn)生量綱問(wèn)題，一般建議作如下變換： 用標(biāo)準(zhǔn)變量 代替以 前的 ，即可以運(yùn)算。此時(shí)的協(xié)方差矩陣即相關(guān)矩陣 從R出發(fā)，可求主成份。,三、主成份的貢獻(xiàn)率,為了盡可能以少數(shù)幾個(gè)主成份 來(lái)代替P個(gè)指標(biāo) ，那么要決定取多少個(gè)主成份才夠呢 由于 則可得 是 的方差，可得 亦是V的全部特征值之和：,由于 , 則令 表明方差 在全部 方差中所占的比重，稱(chēng) 是第i個(gè)主成份的貢獻(xiàn)率，顯然有 ,不妨取一個(gè)閾值為d(0d1)，當(dāng) 時(shí)，即舍去，此時(shí)可取 為主成份。以貢獻(xiàn)率來(lái)決定它的個(gè)數(shù)。,一、數(shù)學(xué)模型,二、關(guān)于計(jì)算中應(yīng)注意的問(wèn)題,三、關(guān)于誤判率及多個(gè)總體的判別,3 判別分析,一、數(shù)學(xué)模型,根據(jù)所研究的個(gè)體的觀察指

10、標(biāo)來(lái)推斷個(gè)體所屬于何種類(lèi)型的一種統(tǒng)計(jì)分析方法，稱(chēng)為判別分析。 例如某精神病院有精神病患者256名，診斷結(jié)果將它們分成六類(lèi) (相當(dāng)于6個(gè)總體)設(shè) 服從三維聯(lián)合正態(tài)分布 i=1,2,6，其中， 為協(xié)方差矩陣，一般這六種類(lèi)型可分為焦慮狀、癔病、精神病、強(qiáng)迫觀念型、變態(tài)人格、正常，若有如下子樣： 子樣 子樣 子樣,注意到每個(gè)子樣 都是三維向量?，F(xiàn)有一個(gè)新的精神病患者前來(lái)就醫(yī)，測(cè)得三個(gè)指標(biāo)：,試判斷該患者病情屬于哪一類(lèi)。,(一) 兩點(diǎn)的距離,設(shè) 維空間中有兩點(diǎn) , 則其歐氏距離為 :,(3.1),由于數(shù)據(jù)的量綱不同，不采用歐氏距離, 用馬氏距離有： 定義1：設(shè)X,Y是從總體G中抽取的樣品,G服從P維正態(tài)

11、分布， , 定義X,Y兩點(diǎn)間的距離為馬氏距離：,(3.2),定義2：X與總體G的距離為D(X，G)為,(3.3),(二)距離判別法 設(shè)有兩個(gè)協(xié)方差相同的正態(tài)總體 ，且,對(duì)于一個(gè)新的樣品，要判定它來(lái)自哪一個(gè)總體，有一個(gè)很直觀的方法： 計(jì)算,若,(三)線性判別函數(shù) 由,令,記,則有：當(dāng) 時(shí)， 否則,當(dāng) 為已知時(shí)，令,， 可得：,(3.4),稱(chēng) 為線性判別函數(shù)，a為判別系數(shù),因?yàn)?，即,解線性方程組可得解,此時(shí)的判別規(guī)則為：,X是新的一個(gè)點(diǎn),將其代入即可判別。,(3.5),二、關(guān)于計(jì)算中應(yīng)注意的問(wèn)題,實(shí)際上,均未知,要用樣本值的估計(jì)公式來(lái)計(jì)算出,。其方法如下:,設(shè)子樣,來(lái)自總體,子樣,來(lái)自,可由,(

12、在本節(jié)的開(kāi)頭的例子中P=3),得到,(3.6),(3.7),判別函數(shù)為,(3.8),判別系數(shù)為,三、關(guān)于誤判率及多個(gè)總體的判別,這里提及一個(gè)回報(bào)的誤判率問(wèn)題。在構(gòu)造判別函數(shù)W(X)時(shí),是依據(jù)樣本,現(xiàn)在已知,均屬于,從道理上來(lái)說(shuō),經(jīng)過(guò)判別公式(8),可得出,但也可能出來(lái)某幾個(gè)不屬于,這,便是誤判。若有 存在,使得,說(shuō)明,這就產(chǎn)生了一個(gè)誤判。所謂誤判率,即是出現(xiàn)誤判的百分?jǐn)?shù),我們應(yīng)該有所控制。 當(dāng)兩個(gè)總體的協(xié)方差不相等時(shí),可用如下方法:,(3.9),(3.10),當(dāng),當(dāng),未知時(shí),用下列估計(jì)代替:,在,個(gè)總體,時(shí)，均值為,協(xié)方差陣為,(,維),設(shè),都已知時(shí),X為樣品,計(jì)算,選擇一個(gè),最小的值例如,則

13、,設(shè),未知,但獨(dú)立，可以分別以估計(jì)值來(lái)計(jì)算。,當(dāng)上述 未知,但,亦可以用上述類(lèi)似方法。 上述解決方法中，可以擴(kuò)展到非正態(tài)分布。,時(shí)，,4 聚類(lèi)分析,物以類(lèi)聚，人以群分，社會(huì)發(fā)展和科技的進(jìn)步都要求對(duì)于某些物體進(jìn)行分類(lèi)。由于早期的定性分類(lèi)已不能滿足需要，于是數(shù)值分類(lèi)學(xué)便應(yīng)運(yùn)而生。,一、數(shù)學(xué)模型,二、應(yīng)用類(lèi)例,一、數(shù)學(xué)模型,某種物品有n個(gè)：,指標(biāo)，如何將其分成若干類(lèi)，基本的思路是把距離較近的點(diǎn)歸成一類(lèi)。這里的距離可分為如下三類(lèi)：,它有m個(gè)數(shù)值量化,1.距離,的距離,本文中的距離常用歐氏或馬氏距離，公式在前幾節(jié)中已述，還有一種用絕對(duì)距離：,應(yīng)該提及馬氏距離,可以克服數(shù)據(jù)相關(guān)性的困難 。,2.數(shù)據(jù)正規(guī)化

14、處理,當(dāng),的分量中,大，要經(jīng)過(guò)正規(guī)化標(biāo)準(zhǔn)化處理，令,個(gè)指標(biāo)量綱不一致時(shí)，相差很,(4.1),其中,(4.2),(4.3),將經(jīng)過(guò)(1)式處理的數(shù)據(jù),重新視作,(為記號(hào)上的方便),3. 相似系數(shù)法,的相關(guān)系數(shù),(4.4),可以將相關(guān)愈密切的歸成一類(lèi)。,4.最短距離聚類(lèi)法(系統(tǒng)聚類(lèi)法， 逐步并類(lèi)法),先將n個(gè)樣本各自為一類(lèi)，計(jì)算它們之間的距離，選擇距離小的二個(gè)樣本歸為一個(gè)新類(lèi)，再計(jì)算這個(gè)新類(lèi)與其它樣本的距離，選擇距離小的二個(gè)樣本(或二個(gè)新類(lèi))歸為一個(gè)新類(lèi)，每次合并縮小一個(gè)以上的類(lèi)，直到所有樣本都劃為一個(gè)類(lèi)為止。 這里規(guī)定兩點(diǎn)間距離為：,兩類(lèi)間的距離，即,的距離為：,步驟如下： 1.數(shù)據(jù)正規(guī)化處理

15、要視各指標(biāo)的量綱是否一致，相差是否太大，并選擇一種距離計(jì)算法，為了方便計(jì)，一般都選擇歐氏距離法。 2.計(jì)算各樣本間的兩兩距離,并記在分類(lèi)距離對(duì)稱(chēng)表中,并記為D(0),第0步分類(lèi),此時(shí),(每一個(gè)樣本點(diǎn)為一個(gè)類(lèi)),3.選擇表D(0)中的最短距離,設(shè)為,則將,合并成一個(gè)新類(lèi),記為,(4.5),4.計(jì)算新類(lèi),與其它類(lèi)之間的距離,定義,(4.6),表示新類(lèi),與類(lèi),之間的距離。,5.作D(1)表,將D(0)中的第p,q行和p,q列刪去,加上第r行,第r列。第r行,第r列與其它類(lèi)的距離按(4.6)式判斷后記上,這樣得到一個(gè)新的分類(lèi)距離對(duì)稱(chēng)表,并 記為D(1), D(1)表示經(jīng)過(guò)一次聚類(lèi)后的距離表,要注意的是

16、Dr類(lèi)是由哪兩類(lèi)聚類(lèi)得到應(yīng)在D(1)表下給以說(shuō)明。 6.對(duì)D(1)按3,4,5重復(fù)類(lèi)似D(0)的聚類(lèi)工作,得D(2)。 7.一直重復(fù),直到最后只剩下兩類(lèi)為止,并作聚類(lèi)圖。,二、應(yīng)用類(lèi)例,現(xiàn)有8個(gè)樣品,每個(gè)樣品有2個(gè)指標(biāo)(m=2,2維變量),它們的量綱相同,(否則要經(jīng)過(guò)正規(guī)化處理),試用系統(tǒng)聚類(lèi)方法對(duì)這8個(gè)樣品進(jìn)行聚類(lèi)。,解:采用歐氏距離 (1)最短距離法,首先用表格形式列出D(0),表示第i個(gè)樣品,i=1,2,8,在D(0)中,最小值是1.0,相應(yīng)的距離是D(3.4),與D(6,7)。則,合并為新類(lèi),把,合并成,。,(2)把D(0)中去掉,并計(jì)算得下表,后兩行重算,其余照D(0)照抄。,視D(

17、1)中,最小值為1.4, 相應(yīng)的是D(5,10)將,合并成新類(lèi),。,3)同法構(gòu)造D(2)表,其中,最小值D(1,2)=D(2,9)=2.0，則把,，在D(2)中,其中,D(3)中,最小值D(11,12)=4.1， 因此把,，在,(見(jiàn)D(0)第8行),3.把上述聚類(lèi)過(guò)程用聚類(lèi)圖表示:,說(shuō)明：聚類(lèi)到一定程度即可結(jié)束,一般可以選取一個(gè)閾值T，到D(K)中的所有非零元素都大于T，即結(jié)束(表中的值T值)設(shè)T=2.5：則到D(3)時(shí)結(jié)束，此時(shí)的共聚為三類(lèi)：,如下圖：,5 模糊聚類(lèi)分析,二、數(shù)學(xué)模型,一、問(wèn)題的提出,三、一個(gè)實(shí)例,一、問(wèn)題的提出,客觀事物分成確定性和不確定性兩類(lèi),處理不確定性的方法為隨機(jī)數(shù)學(xué)

18、方法。在進(jìn)行隨機(jī)現(xiàn)象的研究時(shí),所表現(xiàn)的現(xiàn)象是不確定的,但對(duì)象事物本身是確定的。例如投一個(gè)分幣,出現(xiàn)哪一面是隨機(jī)的,但分幣本身是確定的。如果所研究的事物本身是不確定的,這就是模糊數(shù)學(xué)所研究的范疇。 例如,一個(gè)人年齡大了,稱(chēng)年老,年小,或年青,但到底什么算年老,什么算年青呢? 又如兒子象父親,什么是象?象多少? 再說(shuō)兒子象父親,兒子又象母親(部分象),難道父親象母親? 1965年由I.A.Zadeh提出模糊數(shù)學(xué),它可以廣泛地應(yīng)于圖象識(shí)別,聚類(lèi)分析,計(jì)算機(jī)應(yīng)用和社會(huì)科學(xué)。,例如洗衣機(jī)和空調(diào)器已用上模糊控制,本節(jié)將把模糊數(shù)學(xué)的一套方法引入聚類(lèi)分析中來(lái),稱(chēng)為模糊聚類(lèi)分析。,二、數(shù)學(xué)模型,設(shè)E為分明集(集

19、合) 1.定義: 稱(chēng)為隸屬度函數(shù)(分得很清楚)要末是,要末不是對(duì)A為不分明集, 可以取0到1之間的任意一個(gè)實(shí)數(shù)值.當(dāng) 愈接近于1.則 的程度愈大. 愈接近于0.則的程度愈小.,2.模糊數(shù)學(xué)的運(yùn)算法則 如A和B為不分明集,則有: 并,記為 , 交,記 , 補(bǔ),記為 ,3.模糊聚類(lèi) 模糊聚類(lèi)同于一般聚類(lèi)法(相似系數(shù)法或最小距離法) 以相似系數(shù)(相關(guān)系數(shù))法為例: 思路: 先算相似系數(shù)矩陣(相似矩陣) 將相似矩陣改造成模糊矩陣:即將原相似矩 陣的元素壓縮到0,1之間 改造成模糊等價(jià)矩陣,取不同的標(biāo)準(zhǔn),可以得 到不同的聚類(lèi)標(biāo)準(zhǔn).,計(jì)算步驟: 第一步:計(jì)算相似的系數(shù) 先將 數(shù)據(jù) 標(biāo)準(zhǔn)化 令得到標(biāo)準(zhǔn)化的數(shù)

20、據(jù)為 顯然 (標(biāo)準(zhǔn)化數(shù)據(jù)的平均值一定為0) 得標(biāo)準(zhǔn)化后比數(shù)據(jù)的相關(guān)系數(shù)為,相似矩陣 第二步:將相似系數(shù)壓縮到0,1之間 令 建立模糊矩陣,第三步:建立模糊等價(jià)矩陣 由于上述模糊矩陣不具有傳遞性:即 要通過(guò)褶積將模糊矩陣改造成模糊等價(jià)矩陣: 矩陣的褶積與矩陣乘法類(lèi)似,只是將數(shù)的加. 乘運(yùn)算改成并 和交 : 則 褶積為:,于是有: 于是有:一直到 為止 此時(shí) 即滿足模糊等價(jià)矩陣,具有傳遞性 此時(shí)記它為:CR 第四步:進(jìn)行聚類(lèi): 將矩陣CR的元素 依大小次序排列,從1開(kāi)始,沿著 自大到小依次取 值,定義: 可以得到若干個(gè)0,1元素構(gòu)成的CR 矩陣,其中之1的表示這二個(gè)樣本劃為一類(lèi),三、一個(gè)實(shí)例 =

21、-上海4月平均氣溫; -北京3月雨量 -5月地磁指數(shù); -5月500毫巴W型環(huán)流型日數(shù) 予報(bào)對(duì)象: 華北五站(北京、天津、營(yíng)口、太原、石家莊)7-8月降水量,僅用61-67年 7年的資料(略) 第一步:計(jì)算相似系數(shù) 經(jīng)過(guò)標(biāo)準(zhǔn)化計(jì)算相似系數(shù)矩陣R,第二步:建立模糊矩陣 將相似系數(shù)壓縮到0,1之間 得 第三步:建立模糊等價(jià)矩陣 按上式計(jì)算: 例如,得到 , 發(fā)現(xiàn) , 當(dāng) 取0.92時(shí): 將 ,當(dāng) 取0.65時(shí)有:,又將 合并成一類(lèi), 當(dāng) 取0.64時(shí),有 此時(shí)將1,3,再與4,6并為一類(lèi),可分成三類(lèi) 再 取=0.63時(shí) 這次再將 ,只有二類(lèi): ,聚類(lèi)圖:,說(shuō)明: (1)當(dāng) =0.65時(shí),共分成四類(lèi)

22、: (2)當(dāng) =0.64時(shí),共分成三類(lèi): (3)當(dāng) =0.63時(shí),共分成二類(lèi): 這是以按年份為基本類(lèi)的分類(lèi)圖,0.64,0.65,0.92,0.99,0.63,6 馬爾可夫鏈及其應(yīng)用,一、隨機(jī)過(guò)程,二、馬爾可夫方程和,步轉(zhuǎn)移矩陣,三、遍歷性與平穩(wěn)分布,四、馬氏鏈的應(yīng)用,一、隨機(jī)過(guò)程 描述一種隨機(jī)現(xiàn)象的變量,一般稱(chēng)為隨機(jī)變量,記為 ,而隨著時(shí)間參數(shù)t或其它參數(shù)變化而變化的隨機(jī)變量,稱(chēng)為隨機(jī)過(guò)程。 定義1 在給定的概率空間( ,F,P)及實(shí)數(shù)集T,其中 為樣本空間,F為分布函數(shù),P為概率, 對(duì)于每一個(gè) , 有定義在( ,F,P)上的隨機(jī)變量 與之對(duì)應(yīng),則稱(chēng)為 隨機(jī)過(guò)程,一般簡(jiǎn)化為 。,定義2 (馬

23、爾可夫過(guò)程) 設(shè)隨機(jī)過(guò)程 ,如果在已知時(shí)間t系統(tǒng)處于狀態(tài)x的條件下,在時(shí)刻 ( t)系統(tǒng)所處狀態(tài)和時(shí)刻t以前所處的狀態(tài)無(wú)關(guān),則稱(chēng) 為馬爾可夫過(guò)程。 從定義2可知馬氏過(guò)程只與t時(shí)刻有關(guān),與t時(shí)刻以前無(wú)關(guān)。 定義3 (馬爾可夫鏈) 設(shè)隨機(jī)過(guò)程 只能取可列個(gè)值 把 稱(chēng)為在時(shí)刻 系統(tǒng)處于狀態(tài) 若在已知時(shí)刻 系統(tǒng)處于 狀態(tài)的條件下,在時(shí)刻 ( ) 系統(tǒng)所處的狀態(tài)情況與t時(shí)刻以前所處狀態(tài)無(wú)關(guān),則稱(chēng) 為時(shí)間連續(xù),狀態(tài)離散的馬氏過(guò)程。而狀態(tài)的轉(zhuǎn)移只能在 發(fā)生的馬氏過(guò)程稱(chēng)為馬爾可夫鏈。 從定義3可知,馬氏鏈?zhǔn)菭顟B(tài)離散,時(shí)間離散的馬爾可夫過(guò)程。,定義4 (轉(zhuǎn)移概率) 設(shè)系統(tǒng)的離散狀態(tài)為 設(shè) 表示第 次轉(zhuǎn)移到狀態(tài)

24、表示系統(tǒng)開(kāi)始處于 狀態(tài)。 則稱(chēng) (6.1) 為系統(tǒng)在k-1次轉(zhuǎn)移到 狀態(tài),而第k次轉(zhuǎn)移到 狀態(tài)的轉(zhuǎn)移概率 由定義可知 (6.2) 定義5 若(2)式中 有: (6.3) 則稱(chēng)為均勻馬氏鏈 (與第幾次轉(zhuǎn)移無(wú)關(guān)) 即,定義6 轉(zhuǎn)移概率與轉(zhuǎn)移矩陣 令轉(zhuǎn)移概率 為矩陣 的第 行,第j列元素則有 (6.4) 稱(chēng)為馬氏鏈的轉(zhuǎn)移矩陣,其中,例:一個(gè)分子在兩個(gè)附著壁之間的隨機(jī)游動(dòng),如圖1所示 (1) 這個(gè)分子在x軸上1,2,S的位置上任意一點(diǎn),且只能在這S個(gè)位置上. (2)當(dāng)分子在1與S兩端點(diǎn)時(shí),分子被吸收,不再游動(dòng)(吸收壁) (3)分子每轉(zhuǎn)移一次,只移動(dòng)一步,且必須移動(dòng)若時(shí)刻時(shí),分子在i處( ),在一個(gè)單位

25、時(shí)間后它轉(zhuǎn)移到i+1點(diǎn)處的概率為P(向右移動(dòng)),它轉(zhuǎn)移到i-1點(diǎn)處的概率為 向左移動(dòng))。 問(wèn):在初始位置于i處,經(jīng)過(guò)5次轉(zhuǎn)移它落在j處的概率是多少?,滿足以下條件:,分析:該系統(tǒng)的轉(zhuǎn)移概率為: 這個(gè)均勻馬氏鏈系統(tǒng)的轉(zhuǎn)移矩陣為,二、馬爾可夫方程和n步轉(zhuǎn)移矩陣 設(shè) 表示一個(gè)均勻馬氏鏈經(jīng)過(guò)n步轉(zhuǎn)移由狀態(tài) 轉(zhuǎn)移到狀態(tài) 的轉(zhuǎn)移概率,當(dāng) 時(shí) 討論 (二步轉(zhuǎn)移) 令 事件B=“系統(tǒng)經(jīng)由二次轉(zhuǎn)移,由 轉(zhuǎn)移到 ” =“系統(tǒng)由 轉(zhuǎn)移到 ,再由 轉(zhuǎn)移到 ” k=1,2, 因此, 兩兩互不相容事件 (只與狀態(tài) 時(shí)的時(shí)刻有關(guān)) 類(lèi)似可證: (6.5),(5)式稱(chēng)切普曼一柯?tīng)柲缏宸蚍匠?由代數(shù)知識(shí):A= 可見(jiàn),于是 (

26、6.6) 類(lèi)似可證得 (6.7) 上例要求 : 只要 例 這個(gè)元素的值即可.,三、遍歷性與平穩(wěn)分布 定義7 設(shè) 為均勻馬氏鏈(與第n次轉(zhuǎn)移無(wú)關(guān)),對(duì)一切狀態(tài)i及j(或稱(chēng) ,存在不依賴于i的常數(shù),使得 (6.8) 則稱(chēng)均勻馬氏鏈有遍歷性 遍歷意義: 遍歷性說(shuō)明不論系統(tǒng)自那一個(gè)狀態(tài)出發(fā),當(dāng)轉(zhuǎn)移次數(shù)n充分大時(shí),轉(zhuǎn)移到 狀態(tài)的概率近似于某個(gè)常數(shù) 。,定理1:對(duì)有限個(gè)狀態(tài)的均勻馬氏鏈 ,若存在一正整數(shù) ,使對(duì)一切 有 (6.9) 則此馬氏鏈?zhǔn)潜闅v的且(8)中的 是如下方程組 (6.10) 在條件 下的唯一解 證 略,定義8 (平穩(wěn)性)：設(shè) 為有限s個(gè)狀態(tài)的均勻馬氏鏈,若初始概率 滿足全概率公式： 則稱(chēng)

27、為平穩(wěn)的, 稱(chēng)為 的一個(gè)平穩(wěn)分布 表示第k次 轉(zhuǎn)移到狀態(tài)的絕對(duì)概率 為初始狀態(tài)概率 可以證明: 結(jié)論: 當(dāng)馬氏鏈?zhǔn)瞧椒€(wěn)時(shí),初始概率等于絕對(duì)概率 平穩(wěn)均勻馬氏鏈在任一時(shí)刻處于狀態(tài) 的概率都相等,說(shuō)明平穩(wěn)。,設(shè) 二次轉(zhuǎn)移矩陣為 則 對(duì)任意 說(shuō)明是遍歷的。由定理1可知: 馬氏鏈?zhǔn)瞧椒€(wěn)的 即有:,例2:例1一樣: 沒(méi)有附著壁的隨機(jī)游動(dòng)其余同例1,由 : 得 當(dāng) 時(shí),游動(dòng)時(shí)前進(jìn)一步與后退一步是等可能的,說(shuō)明系統(tǒng)處于任一狀態(tài)的概率明顯相等,四、馬氏鏈的應(yīng)用 應(yīng)用題1: 機(jī)器生產(chǎn)零件時(shí),機(jī)器處于兩種可能狀態(tài)的: =“可調(diào)整狀態(tài)”-稱(chēng)良好狀態(tài) =“不可調(diào)整狀態(tài)”-稱(chēng)不良狀態(tài) 機(jī)器使用一天,它的轉(zhuǎn)移概率為 問(wèn):

28、在n天以后機(jī)器處于不良狀態(tài),良好狀態(tài)的概率為多少? 若有100臺(tái)機(jī)器: 問(wèn)配備多少個(gè)機(jī)修工人才能使機(jī)器待修的可能性至多為10%?(一天工人可以修理2臺(tái)機(jī)器),解: 即 該系統(tǒng)是均勻馬氏鏈,且為遍歷: 可設(shè) 由定理1:知 解方程組,答: 不管各臺(tái)機(jī)器處于什么狀態(tài),到n天以后,機(jī)器處于 良好狀態(tài)為 ,處于不良狀態(tài)為 由于機(jī)器處于不良狀態(tài)的概率為 ,設(shè)n天后,100臺(tái)機(jī)器中有 臺(tái)處于不良狀態(tài) 并設(shè)配備m個(gè)維修工人,即一天可修理 臺(tái)機(jī)器: 利用泊松分布,得 ， 可以泊松分布表, 決定,應(yīng)用題2:是否要進(jìn)行咔啡推銷(xiāo)廣告的決策為增加咔啡的推銷(xiāo),打算進(jìn)行一次廣告宣傳,需要支付全部廣告費(fèi)用600萬(wàn)元,假設(shè)國(guó)內(nèi)

29、喝咔啡總?cè)藬?shù)為5000萬(wàn),增加一個(gè)飲用本公司的咔啡的顧客,本公司可獲利2元,通過(guò)廣泛的社會(huì)調(diào)查(調(diào)查費(fèi)用包括在廣告費(fèi)用中),知登廣告之前顧客改變牌子概率為:,到,在登了廣告之后顧客改變牌子的概率為,到,問(wèn):從經(jīng)濟(jì)效益的角度決定要否做這個(gè)廣告?,解: 易知上述系統(tǒng)可以看成隨機(jī)游動(dòng),且是遍歷的,因而是平穩(wěn)馬氏鏈,存在著 利用 即較長(zhǎng)時(shí)間以后,采用我公司牌子概率為0.5 同法可得: , 做了廣告以后,采用我廠的牌子的概率為0.6 N=5000萬(wàn) N0.6N0.5=500萬(wàn)0.1=500萬(wàn) 答: 在做了廣告以后,平均可增加顧告500萬(wàn) 獲利500萬(wàn)2元=1000萬(wàn)元 廣告費(fèi)600萬(wàn)元 純利潤(rùn)1000萬(wàn)

30、-600萬(wàn)=400萬(wàn) 決策:可以進(jìn)行該項(xiàng)廣告。,參考文獻(xiàn)： 1 復(fù)旦大學(xué)數(shù)學(xué)系 概率論與數(shù)理統(tǒng)計(jì) 高教出版社 1985 2 中山大學(xué)概率統(tǒng)計(jì)系 概率論與數(shù)理統(tǒng)計(jì) 高教出版社 1984 3 范大茵，陳永華 概率論與數(shù)理統(tǒng)計(jì) 浙江大學(xué)出版社 1996 4 陳希孺 概率論與數(shù)理統(tǒng)計(jì) 中國(guó)科技大學(xué)出版社 1993 5 沈鳳麟，錢(qián)玉姜 信號(hào)統(tǒng)計(jì)分析基礎(chǔ) 中國(guó)科技大學(xué)出版社 1989 6 概率統(tǒng)計(jì)與隨機(jī)過(guò)程 武漢大學(xué)出版社 7 中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)三次設(shè)計(jì)組，全國(guó)總工會(huì)電教中心 正交法和三次設(shè)計(jì) 科學(xué)出版社 1985 8 陳兆能等 試驗(yàn)分析與設(shè)計(jì) 上海交通大學(xué)出版社 1991 9 韓之俊，章謂基 質(zhì)量工程學(xué)

31、 科學(xué)出版社 1991,7 存貯論,在日常的生產(chǎn)和生活中存在著大量存貯現(xiàn)象。例如企業(yè)要有一定數(shù)量的原料存在倉(cāng)庫(kù)中，以便生產(chǎn)的進(jìn)行，商店要有一定量的商品存在倉(cāng)庫(kù)中，以便銷(xiāo)售，不致于經(jīng)常缺貨，等等。庫(kù)存量的多少直接影響到企業(yè)的效益，庫(kù)存過(guò)少則使生產(chǎn)或銷(xiāo)售發(fā)生中斷，減少了利潤(rùn)；庫(kù)存量過(guò)大，又會(huì)造成積壓，增加成本。因此，合理的存貯策略具有重要的經(jīng)濟(jì)意義。 存貯論是研究存貯問(wèn)題的理論和方法的一門(mén)學(xué)科。它用定量的方法描述存貯狀態(tài)，補(bǔ)充和需求，描述存貯狀態(tài)與費(fèi)用間關(guān)系，并確定合理的補(bǔ)充策略。 建立存貯模型的三個(gè)環(huán)節(jié)是補(bǔ)充策略，費(fèi)用函數(shù)和經(jīng)濟(jì)批量算式。,存貯系統(tǒng)包含三個(gè)主要內(nèi)容即補(bǔ)充、存貯狀態(tài)和需求，如圖示

32、：,補(bǔ)充,存貯狀態(tài),需求,一般地需求是外在的，不受人的控制，存貯狀態(tài)由需求和補(bǔ)充決定。因此人們的決策對(duì)象只有補(bǔ)充。如何根據(jù)需求和倉(cāng)庫(kù)容量、費(fèi)用等約束條件，確定補(bǔ)充策略使費(fèi)用目標(biāo)最小，這是存貯論研究的主要問(wèn)題。,補(bǔ)充策略通常有三種：即T循環(huán)策略，T,S補(bǔ)充策略和T，S，S補(bǔ)充策略。T循環(huán)策略是指當(dāng)需求速度不變，補(bǔ)充時(shí)間為零的情況下，每隔時(shí)間T補(bǔ)充一次，每次補(bǔ)充批量Q。,T，S補(bǔ)充策略是指在需求速度變化，補(bǔ)充時(shí)間為0的情況下，每隔T時(shí)間盤(pán)點(diǎn)一次，并及時(shí)補(bǔ)充，每次補(bǔ)充到存貯水平S。因此每次補(bǔ)充量 是變量， ， 是盤(pán)點(diǎn)時(shí)的存量。 T，S，S策略是指每隔T時(shí)間盤(pán)點(diǎn)一次，規(guī)定一個(gè)存貯保險(xiǎn)量S，當(dāng)存量不小于

33、S時(shí)不補(bǔ)充，當(dāng)存量小于S時(shí)才補(bǔ)充，補(bǔ)充到定額水平 （ ）。,研究存貯問(wèn)題的目的是為了選用最優(yōu)的存貯策略(何時(shí)補(bǔ)充？補(bǔ)充多少？)使得存貯費(fèi)用最小。一般要考慮的費(fèi)用包括存貯費(fèi)(倉(cāng)庫(kù)管理費(fèi)用，存貯設(shè)備費(fèi)用，保險(xiǎn)費(fèi)，利率等)，訂貨量(貨物價(jià)格，運(yùn)費(fèi)和訂購(gòu)費(fèi))，生產(chǎn)費(fèi)，當(dāng)貨物由自己生產(chǎn)時(shí)就沒(méi)有了訂貨費(fèi)，而代之以生產(chǎn)費(fèi)，包括生產(chǎn)的固定費(fèi)用和可變費(fèi)用。缺貨損失費(fèi)，因存貯不足所產(chǎn)生的費(fèi)用，如收益的損失，停工損失，延誤交貨罰款等，費(fèi)用函數(shù)由上述費(fèi)用構(gòu)成。,在補(bǔ)充策略和費(fèi)用函數(shù)確定后，就要求出使費(fèi)用最小的訂貨批量Q，一般稱(chēng)經(jīng)濟(jì)批量，經(jīng)濟(jì)批量算式是最佳批量Q的數(shù)學(xué)表達(dá)式。 下面我們來(lái)討論各種情況下的存貯模型 ：,一

34、、連續(xù)盤(pán)點(diǎn)，均勻需求的確定性存貯模型 二、定期盤(pán)點(diǎn)，需求變化的情況 三、單周期隨機(jī)存貯模型 四、多周期隨機(jī)存貯模型,一、連續(xù)盤(pán)點(diǎn)，均勻需求的確定性存貯模型,我們假定需求速度不變，補(bǔ)充采取T循環(huán)策略的問(wèn)題 模型1 經(jīng)典的批量模型 我們假定(i)不允許缺貨 (ii)需求速度為d (iii)補(bǔ)充時(shí)間為0 (iv)訂購(gòu)費(fèi)或生產(chǎn)的固定費(fèi)用為a，單位貨物單位時(shí)間的存貯費(fèi)為h,考慮在一個(gè)周期T內(nèi)的費(fèi)用(我們不考慮貨物本身費(fèi)用，因?yàn)椴挥绊懳覀兊挠?jì)算)令時(shí)刻的存貯量，T=Q/d 費(fèi)用訂購(gòu)費(fèi)存貯費(fèi),(8.1),在一個(gè)單位時(shí)間內(nèi)的費(fèi)用是一個(gè)周期內(nèi)費(fèi)用與周期數(shù),的積,，,得 ：,(8.2),這是最優(yōu)批量，而兩次補(bǔ)充的

35、最佳周期為,單位時(shí)間的極小費(fèi)用為,如考慮貨物本身成本，則,為單位貨物成本。,模型2 連續(xù)補(bǔ)充的經(jīng)濟(jì)批量模型 如果物品是廠內(nèi)生產(chǎn)，而不是外購(gòu)的，則出現(xiàn)連續(xù)補(bǔ)充的情況，即補(bǔ)充是以速度 進(jìn)行的，這里 。設(shè)初始存貯狀態(tài) ，在 內(nèi)補(bǔ)充以速度 進(jìn)行， ，則最大存貯量為,在 以后我們停止補(bǔ)充，直到存貯量降到0，這作為一個(gè)周期。以后再重復(fù)上述補(bǔ)充辦法，周期T為,在一個(gè)周期內(nèi)費(fèi)用為,因此單位時(shí)間的費(fèi)用為,令,，解得,經(jīng)濟(jì)批量,最佳周期,最小費(fèi)用,最佳生產(chǎn)時(shí)間,模型3允許缺貨的經(jīng)濟(jì)批量模型 與模型1比較，我們?nèi)サ袅四Ｐ?中的條件(i)，其余條件不變。設(shè)初始存貯量y(0)=S，經(jīng)過(guò)時(shí)間S/d，下降為0，但還不補(bǔ)充，

36、出現(xiàn)缺貨現(xiàn)象，直到時(shí)間T時(shí)補(bǔ)充一個(gè)批量，單位貨物單位時(shí)間的缺貨損失為b。 這里T=Q/d 在s/d，T中存貯量為0，但我們假設(shè)在這段時(shí)間內(nèi)，我們?nèi)园沿浳镔u(mài)掉，但尚未發(fā)出，而在補(bǔ)充了批量Q后，把貨物發(fā)出，這樣存貯量恢復(fù)到S，而QS則是欠貨部分。,由于缺貨，因此須支付損失費(fèi)，以補(bǔ)償對(duì)方的損失，一個(gè)周期內(nèi)的費(fèi)用為 單位時(shí)間內(nèi)的費(fèi)用為 現(xiàn)有兩個(gè)變量，一是批量Q，二是S。 令 得,解得方程組 最大缺貨量,模型4有批發(fā)折扣的經(jīng)濟(jì)批量模型 現(xiàn)在我們考慮有批發(fā)折扣的問(wèn)題，其余條件同模型1 設(shè)貨物的單位成本與訂貨量 有如下關(guān)系 貨物的單位成本是 。 代表價(jià)格折扣的分界點(diǎn)， 一般有 當(dāng)不考慮貨物本身的成本時(shí)，單位

37、時(shí)間費(fèi)用為 (見(jiàn)模型1),現(xiàn)考慮貨物本身的成本，則 在不考慮批發(fā)折扣的因素時(shí)，最佳批量為 在考慮批發(fā)折扣的因素時(shí)， 。因?yàn)?， 則 不變或更大，即使 不變，由模型1知費(fèi)用也會(huì)增加，因此 必使費(fèi)用增加。 當(dāng) 時(shí)，若 不變也會(huì)使費(fèi)用增加，若 變小，則有 增加，但 變小，因此 只能取 這樣我們就能確定最佳批量 ，,先求出 ，并確定 ，使 此時(shí)的總費(fèi)用為 再求出 比較 ，找到使總費(fèi)用最小的批量 這時(shí)的Q就是最佳訂貨批量。,二、定期盤(pán)點(diǎn)，需求變化的情況 前面所述的各個(gè)模型都有一個(gè)要求，即需求速度不變，現(xiàn)在如果需求速度變化，則情況怎樣呢？,設(shè)在計(jì)劃期內(nèi)，分成n個(gè)相等的階段，每個(gè)階段的需求速度不同，分別為

38、，兩階段的間隔時(shí)間為T(mén)，不允許缺貨。現(xiàn)按兩種不同的補(bǔ)充策略來(lái)討論。 1.T， S補(bǔ)充策略 按時(shí)間間隔T定期盤(pán)點(diǎn)，并及時(shí)補(bǔ)充，每次的補(bǔ)充量將存貯量恢復(fù)到定額水平S，則在計(jì)劃期間的總費(fèi)用為 為了保證不缺貨，則,所以 令 各個(gè)階段的訂貨量分別為 2. T， S， S策略 在這里我們通過(guò)一個(gè)例子來(lái)說(shuō)明解此類(lèi)問(wèn)題的方法 例：某鞋店出售橡膠雪靴。過(guò)去的經(jīng)驗(yàn)表明銷(xiāo)售旺季只有6個(gè)月，從10月1日到3月31日，商店對(duì)明年的需求預(yù)測(cè)如下：,雪靴進(jìn)價(jià)每雙4元，但供應(yīng)者只依整批供應(yīng)，每批10， 20， 30， 40， 50或60雙，每批定貨提供批發(fā)折扣,每次訂貨費(fèi)10元，每雙雪靴每月存貯費(fèi)0.2元，且熱銷(xiāo)季節(jié)前后存貯都為0，假定每月需求是常數(shù)，存貯費(fèi)按月存貯量計(jì)算，求使總費(fèi)用最小的訂貨方案。 解 本題中無(wú)存貯限制，每月補(bǔ)充