常返態(tài)和瞬時(shí)態(tài)基本概念：首達(dá)時(shí)間和首達(dá)概率常返態(tài)和瞬時(shí)態(tài)首達(dá)概率和轉(zhuǎn)移概率的關(guān)系判斷常返態(tài)和瞬時(shí)態(tài)的方法1．首達(dá)時(shí)間系統(tǒng)從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)j的時(shí)刻稱(chēng)為從狀態(tài)i出發(fā)首次進(jìn)入狀態(tài)j的時(shí)間，或稱(chēng)自i

到j(luò)的首達(dá)時(shí)間。如果這樣的n不存在，就規(guī)定說(shuō)明一、基本概念自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率2.首達(dá)概率自狀態(tài)i出發(fā)，經(jīng)過(guò)n步首次到達(dá)狀態(tài)j的概率自狀態(tài)i出發(fā)，經(jīng)有限步終于到達(dá)狀態(tài)j的概率注13.狀態(tài)i的首達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間狀態(tài)i的首返概率狀態(tài)i的首達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間相應(yīng)的便是從狀態(tài)i出發(fā)，經(jīng)有限步終于返回狀態(tài)i的概率，從0出發(fā)，經(jīng)4步首次回到0狀態(tài)二、常返態(tài)和瞬時(shí)態(tài)1.常返態(tài)：注:

如果狀態(tài)i是常返的,那么從狀態(tài)i出發(fā)經(jīng)過(guò)有限步轉(zhuǎn)移后最后又回到i的概率為1.2．瞬時(shí)態(tài)注意：“常返”一詞，有時(shí)又稱(chēng)“返回”、“常駐”或“持久”“瞬時(shí)”也稱(chēng)“滑過(guò)”或“非常返”例轉(zhuǎn)移矩陣試證明：狀態(tài)1是常返態(tài)解按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖21/4111/41/411/4143于是狀態(tài)1是常返的。1.定義

設(shè)i和j是齊次的Markov鏈的兩個(gè)狀態(tài),如果存在n0,使得,則稱(chēng)從狀態(tài)i可達(dá)狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達(dá)狀態(tài)j,即對(duì)一切n0,.

若i

j且j

i,則稱(chēng)狀態(tài)i和j互達(dá)(相通),記作i

j.三、首達(dá)概率和轉(zhuǎn)移概率的關(guān)系2.定義自狀態(tài)i出發(fā)，經(jīng)有限步終于到達(dá)狀態(tài)i的概率定理2

證設(shè)系統(tǒng)從狀態(tài)i經(jīng)n步轉(zhuǎn)移到狀態(tài)j，由條件概率及馬氏性得對(duì)任意Iji?,及13n，有定理

對(duì)任意及，有說(shuō)明1該定理表示n步轉(zhuǎn)移概率按照首次到達(dá)時(shí)間的所有可能值進(jìn)行分解說(shuō)明2說(shuō)明3說(shuō)明4四、判斷常返態(tài)和瞬時(shí)態(tài)的方法方法一：按照定義判斷：逐步計(jì)算方法二：利用n步轉(zhuǎn)移概率：①狀態(tài)i是常返的②狀態(tài)i是瞬過(guò)的方法三：利用n步轉(zhuǎn)移概率：例3.9考慮整數(shù)點(diǎn)上的隨機(jī)游動(dòng).向右移動(dòng)一格的概率為p,向左移動(dòng)一格的概率為q=1-p.從原點(diǎn)0出發(fā),則一步轉(zhuǎn)移概率矩陣為:所以利用Stirling公式知,當(dāng)n充分大時(shí)于是因此,當(dāng)p=0.5時(shí),當(dāng)p

0.5時(shí)即當(dāng)p=0.5時(shí)狀態(tài)0是常返的;當(dāng)p

0.5時(shí)0是瞬過(guò)的.正常返態(tài)和零常返態(tài)基本概念判斷方法典型例題1.狀態(tài)i的首達(dá)時(shí)間表示從狀態(tài)i出發(fā)首次返回狀態(tài)i所需的時(shí)間狀態(tài)i的首返概率一、基本概念自狀態(tài)i出發(fā)，經(jīng)有限步終于到達(dá)狀態(tài)i的概率定義1：

如果fii=1,則稱(chēng)狀態(tài)i是常返的.否則,即fii<1,稱(chēng)狀態(tài)i為非常返的或瞬過(guò)的.說(shuō)明1：當(dāng)狀態(tài)i為常返狀態(tài)時(shí)，那么，不能構(gòu)成一個(gè)分布。說(shuō)明2：當(dāng)狀態(tài)i為瞬時(shí)狀態(tài)時(shí)，那么，構(gòu)成了一個(gè)分布，所以，對(duì)應(yīng)了一個(gè)隨機(jī)變量，其數(shù)學(xué)期望為：稱(chēng)狀態(tài)i是零常返的。

定義2：

如果狀態(tài)i是常返狀態(tài)，當(dāng)且僅當(dāng)稱(chēng)狀態(tài)i是正常返狀態(tài)。定義3：

如果狀態(tài)i是常返狀態(tài)，當(dāng)且僅當(dāng)二、判斷方法方法一：按照定義判斷：第1步：計(jì)算判定狀態(tài)是否為常返態(tài)。當(dāng)狀態(tài)為常返態(tài)，再進(jìn)行下一步。第2步：計(jì)算判定狀態(tài)為正常返態(tài)，還是零常返態(tài)。例轉(zhuǎn)移矩陣解于是狀態(tài)4是非常返的。于是狀態(tài)3是非常返的。于是狀態(tài)1是正常返的。于是狀態(tài)2是正常返的。定義

設(shè)i和j是齊次的Markov鏈的兩個(gè)狀態(tài),如果存在n0,使得,則稱(chēng)從狀態(tài)i可達(dá)狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達(dá)狀態(tài)j,即對(duì)一切n0,.

若i

j且j

i,則稱(chēng)狀態(tài)i和j互達(dá)(相通),記作i

j.推論1：

如果i是常返的,且i

j,則j也是常返的.推論2：

如果i，j是常返態(tài)的,且i

j,則i,j同為正常返或同為零常返.推論3：

如果i，j是互通的,即i

j,那么，狀態(tài)i和狀態(tài)j是同一類(lèi)型的狀態(tài)。1/31/211/31/211/31234例，設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為解試對(duì)其狀態(tài)分類(lèi)。按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖鏈中四個(gè)狀態(tài)都是互通的。因此，所有狀態(tài)都是一種類(lèi)型的狀態(tài)?？捎懻摖顟B(tài)1狀態(tài)1是常返態(tài)狀態(tài)1是正常返態(tài)所以，全部狀態(tài)都是正常返態(tài)例4

設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，其一步轉(zhuǎn)移概率為其中試證此馬氏鏈?zhǔn)且粋€(gè)不可約常返態(tài)鏈證先證S不可約設(shè)i，j是I中任意兩個(gè)狀態(tài)，則有類(lèi)似地可證所以即I中任意兩個(gè)狀態(tài)都是相通的。因此，S是一個(gè)不可約的閉集再證S中狀態(tài)0是一個(gè)常返態(tài)：由狀態(tài)的轉(zhuǎn)移規(guī)則，得所以由定義知狀態(tài)0為常返態(tài)。因此，由定理知S中所有狀態(tài)都是常返態(tài)。故此馬氏鏈為不可約常返鏈。定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是說(shuō)明用極限判斷狀態(tài)類(lèi)型的準(zhǔn)則（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時(shí)態(tài)且且定理設(shè)i是常返態(tài)，則（1）i是零常返態(tài)的充要條件是（2）i是正常返態(tài)的充要條件是推論如果j是零常返態(tài)，i是任一狀態(tài)，則由定理9，上式第一項(xiàng)有從而推論得證。推論如果j是零常返態(tài)，i是任一狀態(tài)，則第7節(jié)周期態(tài)定義1：

設(shè)i為Markov鏈的一個(gè)狀態(tài),使的所有正整數(shù)n(n

1)的最大公約數(shù),稱(chēng)為狀態(tài)i的周期,最大公約數(shù)記作d(i)或di

.

如果對(duì)所有n

1,都有,則約定周期為

;

如果d(i)=1，狀態(tài)i稱(chēng)為是非周期的.一、周期態(tài)的定義和性質(zhì)推論:

如果n不能被周期d(i)整除,則必有.推論1

設(shè)狀態(tài)i的周期為di.如果,則存在整數(shù)N,使得對(duì)所有n

N恒有命題1

如果狀態(tài)i有周期d,則存在整數(shù)N,使得對(duì)所有nN恒有.若hi

>1,稱(chēng)i是周期的；若hi=1,稱(chēng)i是非周期的。定義2：

(1)若，則存在，使得(2)若，則存在，使得(3)若和中一個(gè)存在，則另一個(gè)也存在，并且相等。引理：如果i是周期態(tài)的定理：如果i

j,則di=dj.試求狀態(tài)0的周期.例3.7若Markov鏈有狀態(tài)0,1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示猜想：:用數(shù)學(xué)歸納法不難求出:所以d(0)=2.試求狀態(tài)1的周期.例2:若Markov鏈有狀態(tài)1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示所以d(1)=2.您能求出狀態(tài)2的周期嗎?二、判別狀態(tài)是否為周期態(tài)的方法(4)互通的兩個(gè)狀態(tài)必有相同的狀態(tài)類(lèi)型三、狀態(tài)類(lèi)別的分類(lèi)和判別1.狀態(tài)類(lèi)別的劃分說(shuō)明（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時(shí)態(tài)且且周期態(tài)和狀態(tài)的分類(lèi)定義1：

設(shè)i為Markov鏈的一個(gè)狀態(tài),使的所有正整數(shù)n(n

1)的最大公約數(shù),稱(chēng)為狀態(tài)i的周期,最大公約數(shù)記作d(i)或di

.

如果對(duì)所有n

1,都有,則約定周期為

;

如果d(i)=1，狀態(tài)i稱(chēng)為是非周期的.一、周期態(tài)的定義和性質(zhì)推論:

如果n不能被周期d(i)整除,則必有.推論1

設(shè)狀態(tài)i的周期為di.如果,則存在整數(shù)N,使得對(duì)所有n

N恒有命題1

如果狀態(tài)i有周期d,則存在整數(shù)N,使得對(duì)所有nN恒有.若hi

>1,稱(chēng)i是周期的；若hi=1,稱(chēng)i是非周期的。定義2：

(1)若，則存在，使得(2)若，則存在，使得(3)若和中一個(gè)存在，則另一個(gè)也存在，并且相等。引理：如果i是周期態(tài)的定理：如果i

j,則di=dj.試求狀態(tài)0的周期.例3.7若Markov鏈有狀態(tài)0,1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示猜想：:用數(shù)學(xué)歸納法不難求出:所以d(0)=2.試求狀態(tài)1的周期.例2:若Markov鏈有狀態(tài)1,2,3和轉(zhuǎn)移概率矩陣解:

狀態(tài)轉(zhuǎn)移可以用下圖表示所以d(1)=2.您能求出狀態(tài)2的周期嗎?二、判別狀態(tài)是否為周期態(tài)的方法(4)互通的兩個(gè)狀態(tài)必有相同的狀態(tài)類(lèi)型三、狀態(tài)類(lèi)別的分類(lèi)和判別1.狀態(tài)類(lèi)別的劃分說(shuō)明（2）i是零常返態(tài)（2）i是正常返態(tài)（1）i是瞬時(shí)態(tài)且且狀態(tài)空間的分解一、相關(guān)定義和性質(zhì)二、狀態(tài)空間的分解三、若干例子定義

設(shè)i和j是時(shí)齊的Markov鏈的兩個(gè)狀態(tài),如果存在n0,使得,則稱(chēng)從狀態(tài)i可達(dá)狀態(tài)j,記作i

j.反之,以ij表示從狀態(tài)i不可達(dá)狀態(tài)j,即對(duì)一切n0,.

若i

j且j

i,則稱(chēng)狀態(tài)i和j互達(dá)(相通),記作i

j.1、互通性：一、相關(guān)定義和性質(zhì)命題

互達(dá)性是等價(jià)關(guān)系,即滿(mǎn)足: (1)自反性:i

i; (2)

對(duì)成性:若i

j,則j

i

; (3)傳遞性:若i

k

且k

j,則i

j.證:

(3)若i

k且k

j,則存在整數(shù)n和m使得:由Chapman-Kolmogorov方程得:即:i

j.類(lèi)似可證j

i.

互通關(guān)系是等價(jià)關(guān)系，所以，可以把狀態(tài)空間S

按照互通關(guān)系，劃分為若干個(gè)不相交的集合（或者說(shuō)等價(jià)類(lèi))。

2．閉集注1

若C為閉集，則表示自C內(nèi)任意狀態(tài)i出發(fā)，始終不能到達(dá)C以外的任何狀態(tài)j。顯然，整個(gè)狀態(tài)空間構(gòu)成一個(gè)閉集。注2定義引理

(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學(xué)歸納法則顯然{1,2}和{3,4,5}是狀態(tài)在互達(dá)意義下的兩個(gè)等價(jià)類(lèi).因此,這個(gè)Markov鏈?zhǔn)强杉s的.比如其中一個(gè)子鏈為:例1若Markov鏈有轉(zhuǎn)移概率矩陣{3,4,5}是周期為2的常返態(tài){1，2}是周期為1的常返態(tài)例2其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系，并畫(huà)出狀態(tài)傳遞圖。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖2/31/41/41/31/21/20121/2圖3---1由圖可知狀態(tài)0可到達(dá)狀態(tài)1，經(jīng)過(guò)狀態(tài)1又可到達(dá)狀態(tài)2；反之，從狀態(tài)2出發(fā)經(jīng)狀態(tài)1也可到達(dá)狀態(tài)0。因此，狀態(tài)空間S的各狀態(tài)都是互通的。又由于S的任意狀態(tài)i(i=0，1，2)不能到達(dá)S以外的任何狀態(tài)，所以S是一個(gè)閉集而且S中沒(méi)有其它閉集所以此馬氏鏈?zhǔn)遣豢杉s的。例3其一步轉(zhuǎn)移矩陣為試討論哪些狀態(tài)是吸收態(tài)、閉集及不可約鏈。解先按一步轉(zhuǎn)移概率，畫(huà)出各狀態(tài)間的傳遞圖111/21/21/2311/2圖3---24521

閉集，由圖可知狀態(tài)3為吸收態(tài)且閉集，閉集，其中是不可約的。又因狀態(tài)空間S有閉子集，故此鏈為非不可約鏈。二、狀態(tài)空間的分解如果已知類(lèi)中有一個(gè)常返態(tài)，則這個(gè)類(lèi)中其它狀態(tài)都是常返的。若類(lèi)中有一個(gè)非常返態(tài)，則類(lèi)中其它狀態(tài)都是非常返態(tài)。若對(duì)不可約馬氏鏈，則要么全是常返態(tài)，要么全是非常返態(tài)。把狀態(tài)空間S劃分為若干個(gè)不相交的集合，每一一個(gè)集合是同一類(lèi)狀態(tài)構(gòu)成的集合——狀態(tài)空間的分解。

如果從某一非常返態(tài)出發(fā)，系統(tǒng)可能一直在非常返集中，也可能進(jìn)入某個(gè)常返閉集，一旦進(jìn)入某個(gè)常返閉集后，將一直停留在這個(gè)常返閉集中；如果系統(tǒng)從某一常返狀態(tài)出發(fā)，則系統(tǒng)就一直停留在這個(gè)狀態(tài)所在的常返閉集中。說(shuō)明1定理7（1）非常返態(tài)集N不可能是閉集；（2）至少有一個(gè)常返態(tài)；（3）不存在零常返態(tài)；（4）若鏈?zhǔn)遣豢杉s的，那么狀態(tài)都是正常返的（5）其狀態(tài)空間可分解為是互不相交的由正常返態(tài)組成的閉集。定理8(周期鏈分解定理)轉(zhuǎn)移概率矩陣的標(biāo)準(zhǔn)形式狀態(tài)空間的分解周期鏈的分解例．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3，4}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解10.60.20.20.71120.334狀態(tài)空間為S分兩個(gè)部分：={1，2，3}，={4}

是閉集

中狀態(tài)4可到達(dá)中各狀態(tài)，且它非吸收狀態(tài)，所以不是閉集。例其一步轉(zhuǎn)移矩陣如下，是對(duì)I進(jìn)行分解。I可分解為：C1={2，3,4}C2={5，6,7}兩個(gè)閉集及N={1}，即I=N+C1+C24、遍歷狀態(tài)若狀態(tài)i是正常返且非周期，則稱(chēng)i為遍歷狀態(tài)。例5設(shè)馬氏鏈的狀態(tài)空間S={0,1,2,…}，轉(zhuǎn)移概率為試討論各狀態(tài)的遍歷性。解根據(jù)轉(zhuǎn)移概率作出狀態(tài)傳遞圖…1/21/21/21/21/21/20121/2圖3---431/2從圖可知，對(duì)任一狀態(tài)都有，故由定理可知，S中的所以狀態(tài)都是相通的，因此只需考慮狀態(tài)0是否正常返即可?！蕪亩?是常返態(tài)。又因?yàn)樗誀顟B(tài)0為正常返。又由于故狀態(tài)0為非周期的從而狀態(tài)0是遍歷的。故所有狀態(tài)i都是遍歷的。7．設(shè)馬氏鏈的狀態(tài)空間S={1，2，3，4，5}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)的類(lèi)及周期性解各狀態(tài)間的傳遞圖對(duì)于任意有，即S為不可再分閉集。所以S中每一個(gè)狀態(tài)都是常返態(tài)，且此馬氏鏈為有限狀態(tài)不可約常返鏈。0.40.2110.50.50.80.631254所以狀態(tài)1的周期為3，由定理知，S中所有狀態(tài)都為周期態(tài)，且周期都為3。因此，這個(gè)馬氏鏈又是以3為周期的周期鏈。又因?yàn)轳R氏鏈為有限狀態(tài)不可約鏈，所以所有狀態(tài)都是正常返狀態(tài)。8．設(shè)馬氏鏈的狀態(tài)空間為S={1，2，3}，其一步轉(zhuǎn)移矩陣為試研究各狀態(tài)間的關(guān)系。解0.50.50.5120.513可繼續(xù)討論正常返2153411試分解此鏈并指出各狀態(tài)的常返性及周期性解：由轉(zhuǎn)移矩陣可得轉(zhuǎn)移圖.1352111146第9節(jié)

轉(zhuǎn)移概率的極限性質(zhì)相關(guān)例子相關(guān)定理相關(guān)例子1.引例設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論轉(zhuǎn)移概率的極限.解例表明2.相關(guān)定理定理

若i是周期為di的常返狀態(tài)，則（2）j是零常返態(tài)（1）j是瞬時(shí)態(tài)且定理2

若是一個(gè)非周期的正常返狀態(tài)，則三、極限分布注2：此定理指出了如何求出極限分布的方法。定理例設(shè)有6個(gè)球（其中2個(gè)紅球，4個(gè)白球）分放于甲、乙兩個(gè)盒子中，每盒放3個(gè)，今每次從兩個(gè)盒中各任取一球并進(jìn)行交換，以表示開(kāi)始時(shí)甲盒中紅球的個(gè)數(shù)，（）表示經(jīng)n次交換后甲盒中的紅球數(shù)。(1)求馬氏鏈{，}的轉(zhuǎn)移概率矩陣；(2)證明{，}是遍歷的；（3）求（4）求解其一步轉(zhuǎn)移矩陣為甲乙紅球0白球3紅球2白球1紅球1白球2紅球1白球2紅球2白球1紅球0白球31/32/95/92/32/91/30122/3由狀態(tài)傳遞圖1/32/95/92/32/91/30122/3（2）由于它是一個(gè)有限馬氏鏈，故必有一個(gè)常返態(tài)，又鏈中三個(gè)狀態(tài)0、1、2都相通，所以每個(gè)狀態(tài)都是常返態(tài)。所以是一個(gè)不可約的有限馬氏鏈，從而每個(gè)狀態(tài)都是正常返的。所以此鏈為非周期的。故此鏈?zhǔn)遣豢杉s非周期的正常返鏈，即此鏈?zhǔn)潜闅v的。也可以利用定理1證明遍歷性解之得故得（4）例市場(chǎng)占有率預(yù)測(cè)設(shè)某地有1600戶(hù)居民，某產(chǎn)品只有甲、乙、丙3廠(chǎng)家在該地銷(xiāo)售。經(jīng)調(diào)查，8月份買(mǎi)甲、乙、丙三廠(chǎng)的戶(hù)數(shù)分別為480，320，800。9月份里，原買(mǎi)甲的有48戶(hù)轉(zhuǎn)買(mǎi)乙產(chǎn)品，有96戶(hù)轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)乙的有32戶(hù)轉(zhuǎn)買(mǎi)甲產(chǎn)品，有64戶(hù)轉(zhuǎn)買(mǎi)丙產(chǎn)品；原買(mǎi)丙的有64戶(hù)轉(zhuǎn)買(mǎi)甲產(chǎn)品，有32戶(hù)轉(zhuǎn)買(mǎi)乙產(chǎn)品。用狀態(tài)1、2、3分別表示甲、乙、丙三廠(chǎng)，試求（1）轉(zhuǎn)移概率矩陣；（2）9月份市場(chǎng)占有率的分布；（3）12月份市場(chǎng)占有率的分布；（4）當(dāng)顧客流如此長(zhǎng)期穩(wěn)定下去市場(chǎng)占有率的分布。（5）各狀態(tài)的平均返回時(shí)間解（1）

由題意得頻數(shù)轉(zhuǎn)移矩陣為再用頻數(shù)估計(jì)概率，得轉(zhuǎn)移概率矩陣為（2）以1600除以N中各行元素之和，得初始概率分布（即初始市場(chǎng)占有率）所以9月份市場(chǎng)占有率分布為（3）12月份市場(chǎng)占有率分布為（4）由于該鏈不可約、非周期、狀態(tài)有限正常返的，所以是遍歷的。解方程組即得當(dāng)顧客流如此長(zhǎng)期穩(wěn)定下去是市場(chǎng)占有率的分布為（5）第10節(jié)平穩(wěn)分布平穩(wěn)分布的定義相關(guān)性質(zhì)平穩(wěn)分布的存在性平穩(wěn)分布的唯一性平穩(wěn)分布的定義172173174相關(guān)定理平穩(wěn)分布的存在性以及唯一性186（3）不可約非周期有限馬氏鏈必存在平穩(wěn)分布，且和極限分布相同。結(jié)論（1）不可約非周期正常返齊次馬氏鏈?zhǔn)潜闅v的。（2）不可約非周期常返鏈?zhǔn)潜闅v的充要條即，且極限分布就是平穩(wěn)分布。件是存在平穩(wěn)分布為

例設(shè)齊次馬氏鏈的狀態(tài)空間E={1,2,3}，其一步轉(zhuǎn)移概率為

試問(wèn)此鏈?zhǔn)欠窬哂斜闅v性?若有,試求其平穩(wěn)分布.

解：注意到即知其所有的二步轉(zhuǎn)移概率均大于0，由定理4.1知，此鏈具有遍歷性.再由轉(zhuǎn)移概率與穩(wěn)態(tài)概率滿(mǎn)足的方程組得解之可得平穩(wěn)分布為195馬爾可夫過(guò)程的應(yīng)用鋼琴銷(xiāo)售量很小，商店的庫(kù)存量不大以免積壓資金

一家商店根據(jù)經(jīng)驗(yàn)估計(jì)，平均每周的鋼琴需求為1架存貯策略：每周末檢查庫(kù)存量，僅當(dāng)庫(kù)存量為零時(shí)，才訂購(gòu)3架供下周銷(xiāo)售；否則，不訂購(gòu)。

估計(jì)在這種策略下失去銷(xiāo)售機(jī)會(huì)的可能性有多大，以及每周的平均銷(xiāo)售量是多少。

（1）背景與問(wèn)題（一）鋼琴銷(xiāo)售的存貯策略問(wèn)題分析

顧客的到來(lái)相互獨(dú)立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周1架確定，由此計(jì)算需求概率存貯策略是周末庫(kù)存量為零時(shí)訂購(gòu)3架

周末的庫(kù)存量可能是0,1,2,3，周初的庫(kù)存量可能是1,2,3。用馬氏鏈描述不同需求導(dǎo)致的周初庫(kù)存狀態(tài)的變化。動(dòng)態(tài)過(guò)程中每周銷(xiāo)售量不同，失去銷(xiāo)售機(jī)會(huì)（需求超過(guò)庫(kù)存）的概率不同。

可按穩(wěn)態(tài)情況（時(shí)間充分長(zhǎng)以后）計(jì)算失去銷(xiāo)售機(jī)會(huì)的概率和每周的平均銷(xiāo)售量。

模型假設(shè)鋼琴每周需求量服從泊松分布，均值為每周1架

存貯策略：當(dāng)周末庫(kù)存量為零時(shí)，訂購(gòu)3架，周初到貨；否則，不訂購(gòu)。

以每周初的庫(kù)存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無(wú)后效性。

在穩(wěn)態(tài)情況下計(jì)算該存貯策略失去銷(xiāo)售機(jī)會(huì)的概率，和每周的平均銷(xiāo)售量。

模型建立

Dn~第n周需求量，均值為1的泊松分布

Sn~第n周初庫(kù)存量(狀態(tài)變量)狀態(tài)轉(zhuǎn)移規(guī)律

Dn0123>3P0.3680.3680.1840.0610.019狀態(tài)轉(zhuǎn)移陣

……模型建立

狀態(tài)概率

馬氏鏈的基本方程是正則鏈

穩(wěn)態(tài)概率分布w滿(mǎn)足wP=w已知初始狀態(tài)，可預(yù)測(cè)第n周初庫(kù)存量Sn=i的概率n

,狀態(tài)概率

n充分大時(shí)

第n周失去銷(xiāo)售機(jī)會(huì)的概率

n充分大時(shí)

模型求解

從長(zhǎng)期看，失去銷(xiāo)售機(jī)會(huì)的可能性大約10%。1.估計(jì)在這種策略下失去銷(xiāo)售機(jī)會(huì)的可能性D

0123>3P0.3680.3680.1840.0610.019模型求解

第n周平均售量從長(zhǎng)期看，每周的平均銷(xiāo)售量為0.857(架)

n充分大時(shí)

需求不超過(guò)存量,銷(xiāo)售需求需求超過(guò)存量,銷(xiāo)售存量

思考：為什么這個(gè)數(shù)值略小于每周平均需求量1(架)?2.估計(jì)這種策略下每周的平均銷(xiāo)售量敏感性分析

當(dāng)平均需求在每周1(架)附近波動(dòng)時(shí)，最終結(jié)果有多大變化。

設(shè)Dn服從均值為

的泊松分布

狀態(tài)轉(zhuǎn)移陣

第n周(n充分大)失去銷(xiāo)售機(jī)會(huì)的概率

當(dāng)平均需求增長(zhǎng)（或減少）10%時(shí)，失去銷(xiāo)售機(jī)會(huì)的概率將增長(zhǎng)（或減少）約12%

。

0.80.91.01.11.20.0730.0890.1050.1220.139P(Dn>Sn)下面來(lái)分析當(dāng)需求的分布和存貯策略都發(fā)生變化時(shí)，失去銷(xiāo)售機(jī)會(huì)的概率PLose和平均銷(xiāo)量MeanSale將如何變化。也就是需求量的分布是參數(shù)可變的泊松分布，存貯策略是指周末庫(kù)存量為零時(shí)訂購(gòu)m架，其中m為正整數(shù)。因此需要定義一個(gè)函數(shù)，參數(shù)為需求的分布L和存貯策略m，要求L為大于零的序列，m為正整數(shù)序列。最后繪制Plose和MeanSale隨泊松分布參數(shù)lambda和存貯策略m的熱力圖：（2）預(yù)測(cè)A、B、C三個(gè)廠(chǎng)家生產(chǎn)的某種抗病毒藥在未來(lái)的市場(chǎng)占有情況。第一步進(jìn)行市場(chǎng)調(diào)查．主要調(diào)查以下兩件事：（1）目前的市場(chǎng)占有情況．若購(gòu)買(mǎi)該藥的總共1000家對(duì)象（購(gòu)買(mǎi)力相當(dāng)?shù)尼t(yī)院、藥店等）中，買(mǎi)A、B、C三藥廠(chǎng)的各有400家、300家、3