1、第七章馬爾可夫分析法本章介紹馬爾可夫決策中的幾個(gè)重本章介紹馬爾可夫決策中的幾個(gè)重要概念，以及如何就市場(chǎng)占有率、要概念，以及如何就市場(chǎng)占有率、期望利潤(rùn)等問(wèn)題使用狀態(tài)轉(zhuǎn)移矩陣期望利潤(rùn)等問(wèn)題使用狀態(tài)轉(zhuǎn)移矩陣進(jìn)行預(yù)測(cè)決策的步驟與方法。進(jìn)行預(yù)測(cè)決策的步驟與方法。第一節(jié) 馬爾可夫決策過(guò)程一、馬爾可夫決策一、馬爾可夫決策 1 1、概念：某事件的第、概念：某事件的第n n次試驗(yàn)經(jīng)果決定于第次試驗(yàn)經(jīng)果決定于第n-1n-1次試驗(yàn)的結(jié)果，次試驗(yàn)的結(jié)果，且在向第且在向第n n次結(jié)果的轉(zhuǎn)移過(guò)程中存在一轉(zhuǎn)移概率，同時(shí)通過(guò)這一次結(jié)果的轉(zhuǎn)移過(guò)程中存在一轉(zhuǎn)移概率，同時(shí)通過(guò)這一轉(zhuǎn)移概率，第轉(zhuǎn)移概率，第n n次試驗(yàn)結(jié)果可依據(jù)第次試

2、驗(yàn)結(jié)果可依據(jù)第n-1n-1次結(jié)果推算出。一連串的次結(jié)果推算出。一連串的這種轉(zhuǎn)移過(guò)程的整體，稱(chēng)為馬爾可夫鏈過(guò)程。這種轉(zhuǎn)移過(guò)程的整體，稱(chēng)為馬爾可夫鏈過(guò)程。應(yīng)用馬爾可夫鏈以及概率矩陣的原理對(duì)隨機(jī)事件未來(lái)變化趨勢(shì)所進(jìn)應(yīng)用馬爾可夫鏈以及概率矩陣的原理對(duì)隨機(jī)事件未來(lái)變化趨勢(shì)所進(jìn)行的預(yù)測(cè)決策，稱(chēng)為馬爾可夫決策。行的預(yù)測(cè)決策，稱(chēng)為馬爾可夫決策。隨機(jī)變量和時(shí)間參數(shù)隨機(jī)變量和時(shí)間參數(shù) 連續(xù)型隨機(jī)過(guò)程：隨機(jī)變量和時(shí)間都是連續(xù)的；連續(xù)型隨機(jī)過(guò)程：隨機(jī)變量和時(shí)間都是連續(xù)的； 離散型隨機(jī)過(guò)程：隨機(jī)變量是離散的，時(shí)間是連離散型隨機(jī)過(guò)程：隨機(jī)變量是離散的，時(shí)間是連續(xù)的；續(xù)的； 連續(xù)隨機(jī)序列：隨機(jī)變量是連續(xù)的，時(shí)間是離散連續(xù)隨

3、機(jī)序列：隨機(jī)變量是連續(xù)的，時(shí)間是離散的；的； 離散隨機(jī)序列：隨機(jī)變量和時(shí)間都是離散的；離散隨機(jī)序列：隨機(jī)變量和時(shí)間都是離散的； 2 2、馬爾可夫鏈可以是連續(xù)的或離散的。馬爾可夫過(guò)程的階數(shù)是、馬爾可夫鏈可以是連續(xù)的或離散的。馬爾可夫過(guò)程的階數(shù)是指系統(tǒng)轉(zhuǎn)移至另一狀態(tài)時(shí)，與系統(tǒng)前面的狀態(tài)的關(guān)系。若只與前指系統(tǒng)轉(zhuǎn)移至另一狀態(tài)時(shí)，與系統(tǒng)前面的狀態(tài)的關(guān)系。若只與前一狀態(tài)有關(guān)，稱(chēng)一階；若和前兩狀態(tài)有關(guān)，稱(chēng)為二階。一狀態(tài)有關(guān)，稱(chēng)一階；若和前兩狀態(tài)有關(guān)，稱(chēng)為二階。 3 3、馬爾可夫方法的研究對(duì)象是一個(gè)動(dòng)態(tài)系統(tǒng)的、馬爾可夫方法的研究對(duì)象是一個(gè)動(dòng)態(tài)系統(tǒng)的“狀態(tài)狀態(tài)”和和“狀狀態(tài)轉(zhuǎn)移態(tài)轉(zhuǎn)移”。系統(tǒng)是指我們研究的事物。

4、狀態(tài)是指系統(tǒng)的在某一時(shí)。系統(tǒng)是指我們研究的事物。狀態(tài)是指系統(tǒng)的在某一時(shí)刻的狀況，是系統(tǒng)在某一時(shí)刻的變量，決定系統(tǒng)在某一時(shí)刻的行刻的狀況，是系統(tǒng)在某一時(shí)刻的變量，決定系統(tǒng)在某一時(shí)刻的行為，即狀態(tài)。常用概率向量表示，稱(chēng)為狀態(tài)概率向量。系統(tǒng)的狀為，即狀態(tài)。常用概率向量表示，稱(chēng)為狀態(tài)概率向量。系統(tǒng)的狀態(tài)概率向量一般表示為：態(tài)概率向量一般表示為： K K表示時(shí)間；表示時(shí)間；N N表示系統(tǒng)互不相容的狀態(tài)個(gè)表示系統(tǒng)互不相容的狀態(tài)個(gè)數(shù)；數(shù)；), 2 , 1()(niSki 4 4、狀態(tài)轉(zhuǎn)移，是系統(tǒng)從一種狀態(tài)轉(zhuǎn)變?yōu)榱?、狀態(tài)轉(zhuǎn)移，是系統(tǒng)從一種狀態(tài)轉(zhuǎn)變?yōu)榱硪环N狀態(tài)。描述動(dòng)態(tài)系統(tǒng)從一個(gè)狀態(tài)的變一種狀態(tài)。描述動(dòng)態(tài)系統(tǒng)從

5、一個(gè)狀態(tài)的變量值轉(zhuǎn)變到另一個(gè)狀態(tài)的變量值，就是系量值轉(zhuǎn)變到另一個(gè)狀態(tài)的變量值，就是系統(tǒng)的狀態(tài)實(shí)現(xiàn)了轉(zhuǎn)移。并且狀態(tài)的轉(zhuǎn)移完統(tǒng)的狀態(tài)實(shí)現(xiàn)了轉(zhuǎn)移。并且狀態(tài)的轉(zhuǎn)移完全是隨機(jī)的。全是隨機(jī)的。二、馬爾可夫鏈?zhǔn)邱R爾可夫過(guò)程的一種特殊情況 馬爾可夫過(guò)程是指時(shí)間轉(zhuǎn)移，狀態(tài)轉(zhuǎn)移的隨機(jī)過(guò)馬爾可夫過(guò)程是指時(shí)間轉(zhuǎn)移，狀態(tài)轉(zhuǎn)移的隨機(jī)過(guò)程。馬爾可夫鏈?zhǔn)邱R爾可夫過(guò)程的一種特殊情況，程。馬爾可夫鏈?zhǔn)邱R爾可夫過(guò)程的一種特殊情況，即馬爾可夫鏈的時(shí)間參數(shù)取離散數(shù)值，其狀態(tài)是即馬爾可夫鏈的時(shí)間參數(shù)取離散數(shù)值，其狀態(tài)是有限的，只是可數(shù)個(gè)狀態(tài)。把時(shí)間和狀態(tài)作為離有限的，只是可數(shù)個(gè)狀態(tài)。把時(shí)間和狀態(tài)作為離散的馬爾可夫過(guò)程就是馬爾可夫鏈。散的

6、馬爾可夫過(guò)程就是馬爾可夫鏈。三、轉(zhuǎn)移概率和轉(zhuǎn)移概率矩陣：把經(jīng)濟(jì)動(dòng)態(tài)系統(tǒng)的運(yùn)動(dòng)過(guò)程作為時(shí)間離散與狀態(tài)離散的過(guò)程。njijoijnnijnipnjppP1., 2 , 1, 1)2( ;, 2 , 1,) 1 (,)(轉(zhuǎn)移概率矩陣的性質(zhì)轉(zhuǎn)移概率矩陣的性質(zhì) 結(jié)論： 1 1、一步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率矩陣：一步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率矩陣： 設(shè)系統(tǒng)的狀態(tài)有設(shè)系統(tǒng)的狀態(tài)有N N個(gè)，系統(tǒng)在時(shí)間個(gè)，系統(tǒng)在時(shí)間T T（M M）時(shí)處于）時(shí)處于狀態(tài)狀態(tài)I I，在下一個(gè)時(shí)間，在下一個(gè)時(shí)間T T（M+1M+1）時(shí)轉(zhuǎn)變?yōu)闋顟B(tài)）時(shí)轉(zhuǎn)變?yōu)闋顟B(tài)J J的的概率為概率為P P（IJIJ），我們稱(chēng)），我們稱(chēng)P P（IJIJ）為一步轉(zhuǎn)

7、移概率）為一步轉(zhuǎn)移概率矩陣。將這些矩陣。將這些P P（IJIJ）依序排列，就構(gòu)成一個(gè)矩）依序排列，就構(gòu)成一個(gè)矩陣稱(chēng)為一步轉(zhuǎn)移概率矩陣，用陣稱(chēng)為一步轉(zhuǎn)移概率矩陣，用P P表示。表示。 nnnnnnPPPPPPPPPP212222111211性質(zhì)： 1）矩陣中每個(gè)元素P（IJ均為非負(fù)的，即 2）矩陣中每行元素相加其和為1，即 ), 2 , 1,( , 0njiPijnjijniP1), 2 , 1( , 1 2 2、K K步轉(zhuǎn)移概率矩陣：系統(tǒng)的狀態(tài)是隨著時(shí)步轉(zhuǎn)移概率矩陣：系統(tǒng)的狀態(tài)是隨著時(shí)間的推移不斷發(fā)生轉(zhuǎn)移。如果系統(tǒng)的狀態(tài)不間的推移不斷發(fā)生轉(zhuǎn)移。如果系統(tǒng)的狀態(tài)不只經(jīng)過(guò)一次轉(zhuǎn)移，而是經(jīng)過(guò)多次轉(zhuǎn)移，

8、就必只經(jīng)過(guò)一次轉(zhuǎn)移，而是經(jīng)過(guò)多次轉(zhuǎn)移，就必須有須有K K步轉(zhuǎn)移概率和步轉(zhuǎn)移概率和K K步轉(zhuǎn)移概率矩陣。步轉(zhuǎn)移概率矩陣。 )()(2)(1)(2)(21)(1)(12)(11)(knnknknknkknkkPPPPPPPPKP結(jié)論： 即系統(tǒng)從狀態(tài)即系統(tǒng)從狀態(tài)I I出發(fā)經(jīng)過(guò)一步轉(zhuǎn)移到狀態(tài)出發(fā)經(jīng)過(guò)一步轉(zhuǎn)移到狀態(tài)M M（M=1M=1，2 2，N N），然后再?gòu)臓顟B(tài)），然后再?gòu)臓顟B(tài)M M轉(zhuǎn)移到轉(zhuǎn)移到J J的概率的總和。一般的概率的總和。一般對(duì)于對(duì)于K K步轉(zhuǎn)移概率矩陣有步轉(zhuǎn)移概率矩陣有 可得到可得到K K步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣nmmjimijPPP1)2(nmmjkimkijPPP1)1()( 由

9、上述可以說(shuō)明，由上述可以說(shuō)明，K K步轉(zhuǎn)移概率是在以前轉(zhuǎn)步轉(zhuǎn)移概率是在以前轉(zhuǎn)移的基礎(chǔ)上再進(jìn)行一次轉(zhuǎn)移，所以移的基礎(chǔ)上再進(jìn)行一次轉(zhuǎn)移，所以K K步轉(zhuǎn)移步轉(zhuǎn)移概率矩陣是一步轉(zhuǎn)移概率矩陣概率矩陣是一步轉(zhuǎn)移概率矩陣P P的的K K次方。次方。KKPPPKPPKPKP1)(*)1()(K K步轉(zhuǎn)移概率矩陣的性質(zhì)：步轉(zhuǎn)移概率矩陣的性質(zhì)： njkijkijniPnjiP1), 2 , 1( , 1)2), 2 , 1,( , 0)1四、馬爾可夫鏈預(yù)測(cè)模型：四、馬爾可夫鏈預(yù)測(cè)模型： 設(shè)系統(tǒng)有設(shè)系統(tǒng)有N N個(gè)互不相容的狀態(tài)，系統(tǒng)的初始狀態(tài)概個(gè)互不相容的狀態(tài)，系統(tǒng)的初始狀態(tài)概率向量率向量S(0)S(0)為為 為處

10、在狀態(tài)為處在狀態(tài)i i的初始概率，描述馬爾可夫鏈分布情的初始概率，描述馬爾可夫鏈分布情況僅僅取決于它的初始狀態(tài)概率和轉(zhuǎn)移概率。第況僅僅取決于它的初始狀態(tài)概率和轉(zhuǎn)移概率。第K+1K+1期的馬爾可夫鏈預(yù)測(cè)模型為：期的馬爾可夫鏈預(yù)測(cè)模型為：),2, 1(,)0()0()0(2)0(1)0(niSSSSSin式中 由概率性質(zhì)得由概率性質(zhì)得 馬爾可夫鏈預(yù)測(cè)模型是利用目前的初始狀態(tài)概率向馬爾可夫鏈預(yù)測(cè)模型是利用目前的初始狀態(tài)概率向量與轉(zhuǎn)移概率矩陣，預(yù)測(cè)事物未來(lái)的狀態(tài)。量與轉(zhuǎn)移概率矩陣，預(yù)測(cè)事物未來(lái)的狀態(tài)。 nnnnnnnknkkkkPPPPPPPPPSSSSSSPSS212222111211)0()0(2

11、)0(1122111)0()1()()(*11nikiS第二節(jié)第二節(jié) 馬爾可夫鏈轉(zhuǎn)移概率矩陣的估計(jì)馬爾可夫鏈轉(zhuǎn)移概率矩陣的估計(jì) 一、確定轉(zhuǎn)移矩陣概率的方法：一、確定轉(zhuǎn)移矩陣概率的方法： 1 1、主觀概率法。通常是在缺乏歷史統(tǒng)計(jì)資料或資料、主觀概率法。通常是在缺乏歷史統(tǒng)計(jì)資料或資料不全的情況下使用的。不全的情況下使用的。 2 2、統(tǒng)計(jì)估計(jì)法。根據(jù)所研究系統(tǒng)狀態(tài)的歷史統(tǒng)計(jì)數(shù)、統(tǒng)計(jì)估計(jì)法。根據(jù)所研究系統(tǒng)狀態(tài)的歷史統(tǒng)計(jì)數(shù)據(jù)來(lái)計(jì)算各種比例數(shù)或事件發(fā)生的頻率，依此確定據(jù)來(lái)計(jì)算各種比例數(shù)或事件發(fā)生的頻率，依此確定狀態(tài)的轉(zhuǎn)移概率。狀態(tài)的轉(zhuǎn)移概率。二、有關(guān)的基本概念： 1、行列式： 2、矩陣的乘法：1）若 則有

12、：A*B=C 2112221122211211aaaaaaaa4241323122211211323122211211434241333231232221131211,ccccccccCbbbbbbBaaaaaaaaaaaaA 2）A*BB*A，矩陣的乘法不滿足于交換率。A*X稱(chēng)為用X右乘A，X*A稱(chēng)為用X左乘A。 3、矩陣乘法性質(zhì)：（AB）C=A（BC） （A+B）C=AC+BC C（A+B）=CA+CB K（AB）=K（A）B=A（KB） 例題：解題：有矩陣方程： X為二階矩陣 則有 則 ， 解得： 41212112x22211211xxxx4121211222211211xxxx4121

13、22222212211122122111xxxxxxxx2101, 1, 12111xxx則4、矩陣的轉(zhuǎn)置 矩陣的轉(zhuǎn)置：M*N矩陣A的行與列分別互換，得到M*N矩陣，稱(chēng)為A的轉(zhuǎn)置矩陣 ， 2212211122211211,aaaaAaaaaAAATT或 5 5、概率向量：一行向量，如果其中各元、概率向量：一行向量，如果其中各元素非負(fù)，且總和為素非負(fù)，且總和為1 1，此行向量稱(chēng)為概率，此行向量稱(chēng)為概率向量向量 如 0424141u6、概率矩陣： 若方陣若方陣 若其各行均為概率向量，則此方若其各行均為概率向量，則此方陣稱(chēng)為概率矩陣。如：陣稱(chēng)為概率矩陣。如： 也稱(chēng)狀態(tài)轉(zhuǎn)移概率矩陣。性質(zhì)：也稱(chēng)狀態(tài)轉(zhuǎn)移

14、概率矩陣。性質(zhì)：1 1）A A、B B均為概率矩陣，則均為概率矩陣，則C=AC=A* *B B亦為概率矩陣。亦為概率矩陣。 2 2）A A為概率矩陣，為概率矩陣， 是概率是概率矩陣。矩陣。0313241412121210nAijpP 7、正規(guī)概率矩陣： 一概率矩陣一概率矩陣P P，若它的某次方，若它的某次方 的所有元素均為正數(shù)，則稱(chēng)其為正規(guī)概率矩的所有元素均為正數(shù)，則稱(chēng)其為正規(guī)概率矩陣。陣。 如如 這一性質(zhì)，為充分利用一次調(diào)查結(jié)果做市場(chǎng)這一性質(zhì)，為充分利用一次調(diào)查結(jié)果做市場(chǎng)現(xiàn)象結(jié)構(gòu)問(wèn)題的連續(xù)性研究提供了理論依據(jù)?，F(xiàn)象結(jié)構(gòu)問(wèn)題的連續(xù)性研究提供了理論依據(jù)。mP43412121,2121102PP8

15、、固定向量概率： 任一概率向量 當(dāng)U右乘一方陣P后，其結(jié)果仍為U，即UP=U，稱(chēng)U為P的固定概率向量（或特征向量）。如 nuuuu2132312121103231 設(shè)設(shè)P P為正規(guī)概率矩陣，則必有一固定點(diǎn)，即為正規(guī)概率矩陣，則必有一固定點(diǎn)，即當(dāng)當(dāng)K K趨于無(wú)窮時(shí)，趨于無(wú)窮時(shí)，K K步轉(zhuǎn)移概率矩陣收斂于由步轉(zhuǎn)移概率矩陣收斂于由U U構(gòu)成的穩(wěn)定矩陣。構(gòu)成的穩(wěn)定矩陣。 概率向量概率向量U U，且，且U U的所有元素皆為正數(shù)，的所有元素皆為正數(shù)，P P的的N N次方的矩陣次方的矩陣 將趨近于固定概率向量將趨近于固定概率向量U U組成的方陣組成的方陣U U，稱(chēng)之，稱(chēng)之為穩(wěn)定概率矩陣。為穩(wěn)定概率矩陣。nP

16、nP 例如： 求穩(wěn)定概率矩陣U。設(shè)固定概率向量為 根據(jù)UP=U解方程求得，5 . 025. 025. 05 . 005 . 025. 025. 05 . 0P)1 ,(2121UUUUU)1 ,(5 . 025. 025. 05 . 005 . 025. 025. 05 . 0)1 ,(21212121uuuuuuuu結(jié)論： 解方程求得 解得 就市場(chǎng)占有率預(yù)測(cè)，當(dāng)轉(zhuǎn)移概率矩陣為正規(guī)矩陣時(shí)，最終市場(chǎng)占有率平衡于固定概率向量。UPuun4 . 02 . 04 . 04 . 02 . 04 . 04 . 02 . 04 . 0),4 . 0 , 2 . 0 , 4 . 0(則9、幾種特殊矩陣： 1）

17、對(duì)角矩陣nnnnkakakaAkaaaA22112211*其性質(zhì)有 乘法亦如此。nnnnbabababbbaaa221121212)數(shù)量矩陣aaaaaaaA332211,3）單位矩陣a=1時(shí)，記為111In4）三角矩陣A為n階的上三角矩陣， 同B為n階的下三角矩陣，nnnnijaaaaaaAjia22211211),(0即)( , 0jibij10、狀態(tài)：將研究對(duì)象視為系統(tǒng)，系統(tǒng)研究變量所涉及的多個(gè)狀態(tài)：將研究對(duì)象視為系統(tǒng)，系統(tǒng)研究變量所涉及的多個(gè)因素在不同階段會(huì)有不同結(jié)果，稱(chēng)為研究變量的狀態(tài)。（即概因素在不同階段會(huì)有不同結(jié)果，稱(chēng)為研究變量的狀態(tài)。（即概率）。率）。11、狀態(tài)轉(zhuǎn)移矩陣：轉(zhuǎn)移頻數(shù)

18、矩陣。 此時(shí)，轉(zhuǎn)移步驟矩陣N的各行 分別除以行和，得到的 ， 即得到狀態(tài)轉(zhuǎn)移矩陣。 ),(cbaxxxx 333231232221131211xxxxxxxxxN1211, xxcbaxxx,1,2111211421ijnnnnnpppppppsssP且有第三節(jié) 馬爾可夫鏈在經(jīng)濟(jì)預(yù)測(cè)中的應(yīng)用 一、應(yīng)用要求：一、應(yīng)用要求： 1 1、目的：分析研究一個(gè)經(jīng)濟(jì)系統(tǒng)的一種狀、目的：分析研究一個(gè)經(jīng)濟(jì)系統(tǒng)的一種狀態(tài)轉(zhuǎn)移到另一狀態(tài)的概率或系統(tǒng)的未來(lái)狀態(tài)轉(zhuǎn)移到另一狀態(tài)的概率或系統(tǒng)的未來(lái)狀況時(shí)，應(yīng)用馬爾可夫鏈預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。況時(shí)，應(yīng)用馬爾可夫鏈預(yù)測(cè)模型進(jìn)行預(yù)測(cè)。2、前提假設(shè)條件 1 1）轉(zhuǎn)移概率矩陣必須逐期保持

19、不變，即轉(zhuǎn)）轉(zhuǎn)移概率矩陣必須逐期保持不變，即轉(zhuǎn)移概率不隨時(shí)間而變。移概率不隨時(shí)間而變。 2 2）在所研究期間，系統(tǒng)狀態(tài)的數(shù)目不變。）在所研究期間，系統(tǒng)狀態(tài)的數(shù)目不變。 3 3）狀態(tài)的轉(zhuǎn)移僅受前一時(shí)間的影響，而與）狀態(tài)的轉(zhuǎn)移僅受前一時(shí)間的影響，而與前一時(shí)間以前的情況無(wú)關(guān)。前一時(shí)間以前的情況無(wú)關(guān)。二、預(yù)測(cè)模型： 110kkkkSS PS PStkk+1是預(yù)測(cè)對(duì)象在時(shí)刻的狀態(tài)向量；P為一步轉(zhuǎn)移概率矩陣S 是預(yù)測(cè)對(duì)象在t=k+1時(shí)的預(yù)測(cè)結(jié)果三、預(yù)測(cè)步驟： 1 1、確定系統(tǒng)的狀態(tài)。各狀態(tài)之間應(yīng)互不相、確定系統(tǒng)的狀態(tài)。各狀態(tài)之間應(yīng)互不相容，且所有的狀態(tài)構(gòu)成一完備事件組。容，且所有的狀態(tài)構(gòu)成一完備事件組。

20、2 2、確定轉(zhuǎn)移概率矩陣。、確定轉(zhuǎn)移概率矩陣。 3 3、預(yù)測(cè)計(jì)算并分析評(píng)價(jià)。、預(yù)測(cè)計(jì)算并分析評(píng)價(jià)。四、馬爾可夫預(yù)測(cè)在預(yù)測(cè)中的應(yīng)用： 市場(chǎng)銷(xiāo)售狀態(tài)預(yù)測(cè)：市場(chǎng)銷(xiāo)售狀態(tài)預(yù)測(cè)： 例2、某種商品在市場(chǎng)的銷(xiāo)售狀態(tài)有暢銷(xiāo)與滯銷(xiāo)兩種。如果現(xiàn)在（K=0）處于暢銷(xiāo)狀態(tài)，即狀態(tài)1，則暢銷(xiāo)的概率為1，滯銷(xiāo)的概率為0。狀態(tài)概率向量為 假定根據(jù)歷史資料有：當(dāng)商品本月處于暢銷(xiāo)，下個(gè)月仍處于暢銷(xiāo)的概率是0.7，下個(gè)月轉(zhuǎn)移到滯銷(xiāo)的概率是0.3。當(dāng)商品本月處于滯銷(xiāo)時(shí)，下個(gè)月轉(zhuǎn)移到暢銷(xiāo)的概率是0.4，下個(gè)月仍處于滯銷(xiāo)的概率的是0.6。即轉(zhuǎn)移概率矩陣為 現(xiàn)在要求計(jì)算今后半年各個(gè)月的狀態(tài)概率，對(duì)該商品的市場(chǎng)銷(xiāo)售狀態(tài)進(jìn)行預(yù)測(cè)。0.70.

21、30.40.6P0001201SS S 假定該商品現(xiàn)在K=0的銷(xiāo)售狀態(tài)為暢銷(xiāo)，則有初始狀態(tài)概率向量為 今后半年各月的銷(xiāo)售狀態(tài)概率為 010S 10650.70.3(1/0)(0.7/0.3)0.40.60.70.3(0.57247/0.42753)0.40.6(0.571741/0.428259)SS PSS P 結(jié)果顯示，隨著結(jié)果顯示，隨著K K的增大，分別趨近于的增大，分別趨近于0 0、571571和和0 0、429429。 假設(shè)商品現(xiàn)在（假設(shè)商品現(xiàn)在（K=0K=0）DE DE 銷(xiāo)售狀態(tài)為滯銷(xiāo)，則銷(xiāo)售狀態(tài)為滯銷(xiāo)，則有初始狀態(tài)概率向量為有初始狀態(tài)概率向量為 同理可計(jì)算出今后半年各月的銷(xiāo)售狀態(tài)

22、概率為同理可計(jì)算出今后半年各月的銷(xiāo)售狀態(tài)概率為00012(01)SS S10650.70.3(10)(0.4/0.6)0.40.60.70.30.57004/0.429960.40.6(0.571012/0.42988)SS PSS P一直到 可看出，隨著可看出，隨著K K的增大，分別接近于的增大，分別接近于0 0、571571和和0 0、429429。即可預(yù)測(cè)六個(gè)月后該商品暢銷(xiāo)的概率為。即可預(yù)測(cè)六個(gè)月后該商品暢銷(xiāo)的概率為0 0、571571，滯銷(xiāo)為，滯銷(xiāo)為0 0、429429。 即無(wú)論初始狀態(tài)如何，經(jīng)過(guò)多期轉(zhuǎn)移后的情況即無(wú)論初始狀態(tài)如何，經(jīng)過(guò)多期轉(zhuǎn)移后的情況是一致的。是一致的。 結(jié)論：當(dāng)結(jié)論

23、：當(dāng)K K很大時(shí)，事物的狀態(tài)概率將趨近與很大時(shí)，事物的狀態(tài)概率將趨近與一個(gè)和初始狀態(tài)無(wú)關(guān)的值，并穩(wěn)定下來(lái)，以后一個(gè)和初始狀態(tài)無(wú)關(guān)的值，并穩(wěn)定下來(lái)，以后不在隨著時(shí)間的變化而變化。當(dāng)然，前提條件不在隨著時(shí)間的變化而變化。當(dāng)然，前提條件是一步轉(zhuǎn)移概率矩陣不變。用一步轉(zhuǎn)移概率矩是一步轉(zhuǎn)移概率矩陣不變。用一步轉(zhuǎn)移概率矩陣和狀態(tài)概率向量來(lái)預(yù)測(cè)下一期或下幾期的狀陣和狀態(tài)概率向量來(lái)預(yù)測(cè)下一期或下幾期的狀態(tài)可以，但如果需做較長(zhǎng)時(shí)間的預(yù)測(cè)，就必須態(tài)可以，但如果需做較長(zhǎng)時(shí)間的預(yù)測(cè)，就必須根據(jù)新的情況和資料來(lái)修訂一步轉(zhuǎn)移概率矩陣。根據(jù)新的情況和資料來(lái)修訂一步轉(zhuǎn)移概率矩陣。市場(chǎng)占有率預(yù)測(cè)：可以用來(lái)預(yù)測(cè)短期的市場(chǎng)狀況，和

24、穩(wěn)定條件下長(zhǎng)期的市場(chǎng)狀況。例例3 3：設(shè)地區(qū)有：設(shè)地區(qū)有A A、B B、C C三個(gè)農(nóng)藥公司生產(chǎn)同種用途的三個(gè)農(nóng)藥公司生產(chǎn)同種用途的產(chǎn)品。該地區(qū)市場(chǎng)總客戶數(shù)假定為一萬(wàn)戶，上一生產(chǎn)季產(chǎn)品。該地區(qū)市場(chǎng)總客戶數(shù)假定為一萬(wàn)戶，上一生產(chǎn)季節(jié)市場(chǎng)占有率分別是節(jié)市場(chǎng)占有率分別是A A公司公司50%50%，B B公司公司30%30%，C C公司公司20%20%。C C公司不甘居后，本生產(chǎn)季節(jié)改進(jìn)服務(wù)，大力吸公司不甘居后，本生產(chǎn)季節(jié)改進(jìn)服務(wù)，大力吸引顧客，關(guān)照老客戶，結(jié)果市場(chǎng)情況如下矩陣，預(yù)測(cè)以引顧客，關(guān)照老客戶，結(jié)果市場(chǎng)情況如下矩陣，預(yù)測(cè)以后生產(chǎn)季節(jié)的市場(chǎng)占有率以及均衡狀態(tài)下市場(chǎng)占有率。后生產(chǎn)季節(jié)的市場(chǎng)占有率以

25、及均衡狀態(tài)下市場(chǎng)占有率。1800100100300240030010005003500CBACBA 解：矩陣第一行表示原來(lái)購(gòu)買(mǎi)A公產(chǎn)品的客戶有3500戶仍購(gòu)買(mǎi)其產(chǎn)品，另有500戶轉(zhuǎn)向購(gòu)買(mǎi)B公司產(chǎn)品，1000戶轉(zhuǎn)向購(gòu)買(mǎi)C公司產(chǎn)品。以下各行依此類(lèi)推。矩陣的第一列表明現(xiàn)在購(gòu)買(mǎi)A公司產(chǎn)品的客戶有3500戶是老客戶，有300戶是從B公司轉(zhuǎn)來(lái)的，有100戶是從C公司轉(zhuǎn)來(lái)的。 將第一行除以行和計(jì)數(shù)5000即得上一季節(jié)到本季節(jié)A公司的轉(zhuǎn)移概率矩陣同理第二行除以3000，第三行除以2000即得B、C公司的轉(zhuǎn)移概率，得轉(zhuǎn)移概率矩陣如下： 狀態(tài)轉(zhuǎn)移概率矩陣也可表示一個(gè)隨機(jī)挑選的顧客下一季節(jié)購(gòu)買(mǎi)某一公司產(chǎn)品的可能性。

26、2130.70.10.20.5/0.3/0.20.10.80.10.050.050.90.39 0.30.310.70.10.20.39 0.30.310.10.80.10.050.050.90.319/0.294/0.387SS PS 3）市場(chǎng)份額的變化不會(huì)無(wú)止境的沿著這一趨勢(shì)變化下去。因?yàn)檎?guī)概率矩陣存在均衡點(diǎn)。設(shè)均衡狀態(tài)時(shí)A、B、C三公司市場(chǎng)占有率分別為 有 解得X=0.1765 Y=0.2353 Z=0.58820.70.10.05/0.10.80.1/0.050.050.90.70.10.050.10.80.050.20.10.91XYZXYZXYZXXYZYXYZZXYZ作業(yè)作業(yè)1

27、 1：兩個(gè)月中三個(gè)商店（：兩個(gè)月中三個(gè)商店（A A，B B，C C）客戶變化如圖：）客戶變化如圖：1 1求上月、求上月、本月市場(chǎng)占有率向量？該系統(tǒng)發(fā)展下去穩(wěn)定的市場(chǎng)占有率如何？本月市場(chǎng)占有率向量？該系統(tǒng)發(fā)展下去穩(wěn)定的市場(chǎng)占有率如何？A A店認(rèn)為市場(chǎng)占有率為店認(rèn)為市場(chǎng)占有率為32%32%與本店經(jīng)營(yíng)能力吻合，其提高本店市場(chǎng)占與本店經(jīng)營(yíng)能力吻合，其提高本店市場(chǎng)占有率，調(diào)整商品結(jié)構(gòu)方案達(dá)到有率，調(diào)整商品結(jié)構(gòu)方案達(dá)到32%32%，其得保證怎樣的客戶流向方案？，其得保證怎樣的客戶流向方案？居民居民數(shù)數(shù)凈變凈變化化去向去向230230A A245245B B325325C C上月上月本月本月A250230-

28、20A1803040B250245-5B2020030C30032525C3015255產(chǎn)品結(jié)構(gòu)預(yù)測(cè)： 例例4 4：設(shè)某企業(yè)生產(chǎn)的產(chǎn)品分成：設(shè)某企業(yè)生產(chǎn)的產(chǎn)品分成A A、B B、C C三三個(gè)大類(lèi)。根據(jù)調(diào)查得到企業(yè)個(gè)大類(lèi)。根據(jù)調(diào)查得到企業(yè)19941994年年19971997年各類(lèi)產(chǎn)品占全部產(chǎn)品比例如下，要求預(yù)年各類(lèi)產(chǎn)品占全部產(chǎn)品比例如下，要求預(yù)測(cè)測(cè)19981998，19991999，20002000年的產(chǎn)品結(jié)構(gòu)。年的產(chǎn)品結(jié)構(gòu)。 A B C1994 0.328 0.657 0.0151995 0.349 0.548 0.1031996 0.360 0.466 0.1741997 0.364 0.4

29、04 0.232 設(shè)P為一步轉(zhuǎn)移概率矩陣：333231232221131211PPPPPPPPPP根據(jù)馬爾柯夫鏈的預(yù)測(cè)模型，按轉(zhuǎn)移的時(shí)間順序有444333231232221131211333333333231232221131211222222333231232221131211111cbaPPPPPPPPPcbacbaPPPPPPPPPcbacbaPPPPPPPPPcba 若令444333222333231232221131211333222111cbacbacbapppppppppcbacbacba444333222333222111,cbacbacbaBcbacbacbaAAP=B，現(xiàn)在

30、A、B矩陣元素已知，轉(zhuǎn)移概率矩陣待求，因此有232. 0404. 0364. 0174. 0466. 0360. 0103. 0548. 0349. 0,174. 0466. 0360. 0103. 0548. 0349. 0015. 0657. 0328. 01BABApBAPA11,轉(zhuǎn)移概率矩陣，根據(jù)公式，得產(chǎn)品結(jié)構(gòu)6464. 01572. 01964. 0200019991999199819981997長(zhǎng)期穩(wěn)定概率矩陣為PPP人力資源預(yù)測(cè)：例5：某高校為編制師資發(fā)展規(guī)劃，需要預(yù)測(cè)未來(lái)教師隊(duì)伍構(gòu)成比例，對(duì)教師狀況進(jìn)行分類(lèi)，可以分為以下?tīng)顟B(tài)：助教、講師、副教授、教授、流失及退休五個(gè)狀態(tài)，目前

31、狀況向量為： ，根據(jù)歷史資料分析，可得各類(lèi)職稱(chēng)轉(zhuǎn)移概率矩陣如下：要求分析三年后的教師結(jié)構(gòu)及三年后為保持編制不變應(yīng)進(jìn)多少研究生充實(shí)教師隊(duì)伍。0601152401350S1000020. 080. 000024. 021. 055. 00015. 0025. 06 . 000004 . 06 . 0P流退教授副教授講師助教一年后人員分布為由于保持550人總編制，流失走76人，因而第一年需進(jìn)76位研究生。此時(shí)人員分布為第二年人員分布為0,72,123,198,1570,72,123,198,76811S7483117182941000020. 080. 000024. 021. 025. 00015

32、. 0025. 06 . 000004 . 06 . 007212319815712PSS76,72,123,198,8101PSS第二年流失74人，因而補(bǔ)充74位研究生72911111761011000020. 080. 000024. 021. 055. 00015. 0025. 06 . 000004 . 06 . 008311718216823 PSS第三年需補(bǔ)充72位研究生，因而在第四年，各類(lèi)人員結(jié)構(gòu)是0911101761733S流退教授副教授講師助教期望利潤(rùn)預(yù)測(cè)決策：期望利潤(rùn)是由于商品在市場(chǎng)上不同銷(xiāo)售狀態(tài)下利潤(rùn)的概率平均值。期望利潤(rùn)為正，表示盈利，期望利潤(rùn)為負(fù)，表示虧損。如果掌握商

33、品銷(xiāo)售狀態(tài)，商品銷(xiāo)售狀態(tài)轉(zhuǎn)移概率即由銷(xiāo)售狀態(tài)變化而帶來(lái)的利潤(rùn)變化情況，就可以對(duì)未來(lái)某一時(shí)期的期望利潤(rùn)進(jìn)行預(yù)測(cè)決策。商品銷(xiāo)售狀態(tài)為 ，狀態(tài)轉(zhuǎn)移概率矩陣為P狀態(tài)轉(zhuǎn)移利潤(rùn)矩陣為R，即 ), 2 , 1 (nEinnnnnrrrrrrrrrR2122221131211式中 0，表示盈利；0表示虧損；=0表示不虧不盈。根據(jù)狀態(tài)轉(zhuǎn)移概率矩陣和利潤(rùn)矩陣計(jì)算從I狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的期望利潤(rùn)公式為： 特別當(dāng)N=2時(shí)，從I狀態(tài)經(jīng)一步轉(zhuǎn)移到其他狀態(tài)的期望利潤(rùn)為：狀態(tài)的期望利潤(rùn)。經(jīng)一步轉(zhuǎn)移到狀態(tài)表示從式中jivRPvinjijiji,1212111jijijiiiiiRPRPRPv例題6：某商店以周為單位，按某種標(biāo)準(zhǔn)把

34、商品的銷(xiāo)售情況分為暢銷(xiāo)和滯銷(xiāo)兩種狀態(tài)。對(duì)過(guò)去20周的研究表明，銷(xiāo)售狀態(tài)轉(zhuǎn)移概率矩陣如下：試求當(dāng)前周的期望利潤(rùn)及三周后的期望利潤(rùn)各為多少？ 狀態(tài) 1暢銷(xiāo) 2滯銷(xiāo) 概率 狀態(tài) 1 暢銷(xiāo) 0.6 0.4 2 滯銷(xiāo) 0.25 0.75 1 暢銷(xiāo) 4 2 2 滯銷(xiāo) 2 -1由已知狀態(tài)轉(zhuǎn)移概率矩陣為為，故當(dāng)前周期期望利潤(rùn)，狀態(tài)轉(zhuǎn)移利潤(rùn)矩陣為122475. 025. 04 . 06 . 0RP212222111125. 0) 1(*75. 02*25. 02 . 3)2*4 . 04*6 . 0(jjjjjjRPvRPv即如果本周處于暢銷(xiāo)狀態(tài)，下月期望盈利3.2萬(wàn)元；當(dāng)本周處于虧損狀態(tài)，下月期望利潤(rùn)-0.2

35、5萬(wàn)元。), 2 , 1( , ) 1()()(1nikvRpkvjkikvjijijnjii累計(jì)期望利潤(rùn)，則的步轉(zhuǎn)移到狀態(tài)經(jīng)為狀態(tài)設(shè)三周后的利潤(rùn)：第二周3625. 0)25. 0() 1(75. 0)2 . 32(25. 0) 1 () 1 ()12()2(02. 5)25. 02(4 . 0)2 . 34(6 . 0) 1 () 1 () 12()2(222221212122212121111111vRpvRpvRpvvRpvRpvRpvjjjjjj作業(yè)2：某產(chǎn)品每月市場(chǎng)狀態(tài)有暢銷(xiāo)和滯銷(xiāo)兩種。若1代表暢銷(xiāo)，2代表滯銷(xiāo)，如果產(chǎn)品從暢銷(xiāo)到暢銷(xiāo)將獲利30萬(wàn)，由暢銷(xiāo)轉(zhuǎn)滯獲利10萬(wàn)，由滯轉(zhuǎn)暢獲利15

36、萬(wàn)，由滯到滯則虧損10萬(wàn)，現(xiàn)有34個(gè)月的市場(chǎng)銷(xiāo)售記錄如下，試求三個(gè)月以后的期望利潤(rùn)。 月份： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 市場(chǎng)狀態(tài) 1 1 1 2 2 1 1 1 1 1 2 2 1 2 1 1 1 1 2 1 2 1 23 24 25 26 27 28 29 30 31 32 33 34 2 1 2 1 1 1 1 2 2 2 1 2五、馬爾可夫分析在決策中的應(yīng)用 項(xiàng)目選址：作業(yè)3：首都出租汽車(chē)公司在北京國(guó)際機(jī)場(chǎng)、頤和園、以及北京飯店設(shè)三個(gè)出租汽車(chē)站。經(jīng)抽樣調(diào)查，顧客在這三個(gè)地方租車(chē)、還車(chē)的轉(zhuǎn)移概率，該公司

37、欲選一處設(shè)立汽車(chē)保養(yǎng)廠，問(wèn)設(shè)在何處最好？ 還車(chē)處 國(guó)際機(jī)場(chǎng) 頤和園 北京飯店 租車(chē)處 國(guó)際機(jī)場(chǎng) 0.8 0.2 0 頤和園 0.2 0 0.8 北京飯店 0.2 0.2 0.6在經(jīng)營(yíng)管理中的應(yīng)用：1、最佳維修策略的確定。 例題8：某大型硅鐵廠每月對(duì)電爐進(jìn)行檢查，根據(jù)電爐爐壁的狀況，可分為五種狀態(tài)：1、優(yōu)，爐壁無(wú)任何損壞；2、良，爐壁稍有損壞；3、及格，爐壁有中度損壞。4、帶病運(yùn)行，爐壁大面積損壞；5、停爐，爐壁爛穿，不可運(yùn)行。第一種維修策略：只有當(dāng)電爐處于第五種狀態(tài)才維修，此時(shí)維修費(fèi)8000元；第二種維修策略：當(dāng)電爐處于第四、第五種狀態(tài)都進(jìn)行維修，處于第四種狀態(tài)的維修費(fèi)4000元；第三種策略：

38、當(dāng)電爐處于第三、第四、第五種狀態(tài)都進(jìn)行維修，處于第三種狀態(tài)的維修費(fèi)3000元。用馬爾可夫分析確定最佳維修策略。 K+1期 1 2 3 4 5 K期 1 0 0.6 0.2 0.1 0.1 2 0 0.3 0.4 0.2 0.1 3 0 0 0.4 0.4 0.2 4 0 0 0 0.5 0.5 5 1 0 0 0 0 元時(shí)的維修費(fèi)用為采用單一維修狀態(tài)策略解得16808000*21. 021. 025. 018. 017. 019. 0)(1543215432154321111MSSSSSSSSSSSSSSSSPS在計(jì)算第二種維修策略時(shí)的費(fèi)用： 采用策略2的維修費(fèi)用：M（2）=0.17*4000

39、+0.9*8000=1400元09.017.024.023.027.000001000012.04.04.0001.02.04.03.001.01.02.06.002543212543212SSSSSSPSSSSSP解得，求：計(jì)算第三種策略的費(fèi)用，比較哪種策略最好。2、最佳經(jīng)營(yíng)策略選擇。 例題9：設(shè)某地區(qū)銷(xiāo)售的勞保用鞋主要來(lái)自A、B、C三個(gè)廠家，該地區(qū)客戶總數(shù)為5萬(wàn)，假定廠家從每個(gè)客戶那里平均每年獲利200元，A廠家通過(guò)市場(chǎng)調(diào)查得到的轉(zhuǎn)移概率矩陣如下（1）： 按此轉(zhuǎn)移概率矩陣轉(zhuǎn)移下去，均衡狀態(tài)下市場(chǎng)份額S=（0.28，0.34，0.38），顯然結(jié)果對(duì)A廠不利。A廠管理部門(mén)制定了兩套宣傳及改進(jìn)售

40、后服務(wù)的方案，甲方案旨在吸引老客戶，實(shí)施該方案后，估計(jì)轉(zhuǎn)移概率矩陣如下（2）：5 . 03 . 02 . 04 . 05 . 01 . 01 . 01 . 08 . 02,5 . 03 . 02 . 04 . 05 . 01 . 02 . 02 . 06 . 01甲）（）（PCBAP 。實(shí)施甲方案需花費(fèi)100萬(wàn)。乙方案旨在吸引B、C兩廠家的客戶，實(shí)施乙方案后，估計(jì)轉(zhuǎn)移概率矩陣如下（3）： 實(shí)施乙方案花費(fèi)150萬(wàn)，試選最佳方案。5 . 01 . 04 . 02 . 05 . 03 . 02 . 02 . 06 . 0乙P令S（甲）=（X、Y、1-X-Y），則有S（甲）*P（甲）=S（甲）0.15

41、*5*200=150，則去掉成本，獲利50萬(wàn)），（甲），解得）（30. 027. 043. 027. 043. 015 . 03 . 02 . 04 . 05 . 01 . 01 . 01 . 08 . 01SYXYXYXYXYX 同理求得乙為 0.19*5*200-150=40萬(wàn) 以利潤(rùn)作為衡量標(biāo)準(zhǔn)，顯然甲方案比乙方案好。第四節(jié) 吸收態(tài)馬爾可夫鏈及其應(yīng)用 應(yīng)用吸收態(tài)馬爾可夫鏈時(shí)需將狀態(tài)空間進(jìn)行分類(lèi)，然后引入標(biāo)準(zhǔn)形，研究過(guò)渡態(tài)向吸收態(tài)轉(zhuǎn)移的時(shí)間及期望轉(zhuǎn)移步數(shù)。 一、狀態(tài)分類(lèi)： 連通：若從S（I）狀態(tài)可以轉(zhuǎn)至S（J）狀態(tài)并也可以從S（J）轉(zhuǎn)至S（I）狀態(tài)，則稱(chēng)S（I）和S（J）連通的。 如果狀態(tài)

42、空間S中的任意兩狀態(tài)都是連通的，則稱(chēng)S為一個(gè)連通狀態(tài)空間。馬爾可夫鏈的狀態(tài)分類(lèi)： 1、封閉類(lèi)。 若連通狀態(tài)空間內(nèi)的任何一狀態(tài)都不可到達(dá)狀態(tài)空間外任何一狀態(tài)。 若封閉類(lèi)僅又一個(gè)狀態(tài)構(gòu)成，則稱(chēng)為吸收態(tài)。 2、過(guò)渡類(lèi)： 若一個(gè)連通空間內(nèi)的狀態(tài)可以到達(dá)連通空間之外的狀態(tài)，但外面的狀態(tài)不可轉(zhuǎn)入其內(nèi)。過(guò)渡類(lèi)只可以轉(zhuǎn)出，不可轉(zhuǎn)入。例題10：設(shè)有一個(gè)四個(gè)狀態(tài)的馬爾可夫鏈，其轉(zhuǎn)移概率矩陣P如下，試對(duì)其進(jìn)行狀態(tài)分析： 100041414141002121003231pp 1/3 2/3 1/4 1234馬爾可夫鏈的標(biāo)準(zhǔn)形及過(guò)渡分析 1、 馬氏過(guò)渡態(tài)分析通常采用標(biāo)準(zhǔn)形，轉(zhuǎn)移狀態(tài)概率矩陣排成如下形式稱(chēng)為標(biāo)準(zhǔn)形。 其中

43、，P（1）是封閉類(lèi)矩陣，通常處于吸收態(tài)，則此時(shí)P（1）等于I，即單位矩陣。0是零矩陣，R是過(guò)渡態(tài)到吸收態(tài)轉(zhuǎn)移概率矩陣，Q是過(guò)渡態(tài)之間的轉(zhuǎn)移概率矩陣，若P（1）是r階矩陣，則Q是（n-r）階方陣，R則是（n-r）*r階矩陣。例如：下列標(biāo)準(zhǔn)形轉(zhuǎn)移概率矩陣。 這里 IRQPQRPP001標(biāo)準(zhǔn)形也可寫(xiě)成032031052053000520053000100000154321P12354這里0320520530520,310000530000000 ,10011QRIP2、 過(guò)渡態(tài)分析： 1 1）過(guò)渡態(tài)分析的目的是確定：）過(guò)渡態(tài)分析的目的是確定： A A、含有吸收態(tài)的馬爾可夫鏈在最終達(dá)到吸收態(tài)前的、含有

44、吸收態(tài)的馬爾可夫鏈在最終達(dá)到吸收態(tài)前的過(guò)渡狀態(tài)中停留的平均時(shí)間。過(guò)渡狀態(tài)中停留的平均時(shí)間。 B B、從某一過(guò)渡狀態(tài)出發(fā)，在其被吸收前所經(jīng)歷的期、從某一過(guò)渡狀態(tài)出發(fā)，在其被吸收前所經(jīng)歷的期望步數(shù)。望步數(shù)。 C C、轉(zhuǎn)移過(guò)程從某一過(guò)渡狀態(tài)出發(fā)，最終為某特殊吸、轉(zhuǎn)移過(guò)程從某一過(guò)渡狀態(tài)出發(fā)，最終為某特殊吸收態(tài)或?yàn)榉忾]類(lèi)所吸收的概率。過(guò)渡狀態(tài)分析常用收態(tài)或?yàn)榉忾]類(lèi)所吸收的概率。過(guò)渡狀態(tài)分析常用于商業(yè)貸款回收的研究，解決售后服務(wù)的期望費(fèi)用，于商業(yè)貸款回收的研究，解決售后服務(wù)的期望費(fèi)用，企業(yè)經(jīng)營(yíng)中貸款回收等方面問(wèn)題。企業(yè)經(jīng)營(yíng)中貸款回收等方面問(wèn)題。2 2）基本矩陣）基本矩陣過(guò)渡態(tài)分析是以馬爾可夫鏈的標(biāo)準(zhǔn)形為基

45、礎(chǔ)，并將（過(guò)渡態(tài)分析是以馬爾可夫鏈的標(biāo)準(zhǔn)形為基礎(chǔ)，并將（I-I-Q Q）矩陣的逆陣）矩陣的逆陣 稱(chēng)為基本矩陣，稱(chēng)為基本矩陣，Q Q即標(biāo)準(zhǔn)即標(biāo)準(zhǔn)形中的過(guò)渡類(lèi)子矩陣。數(shù)學(xué)上可以證明形中的過(guò)渡類(lèi)子矩陣。數(shù)學(xué)上可以證明M M矩陣是存在矩陣是存在的，并且的，并且 ，M M的每一行和表示從某一狀態(tài)出發(fā)，最終轉(zhuǎn)至吸收態(tài)之的每一行和表示從某一狀態(tài)出發(fā)，最終轉(zhuǎn)至吸收態(tài)之前的總期望轉(zhuǎn)移步數(shù)。前的總期望轉(zhuǎn)移步數(shù)。M M中的元素中的元素M M（ijij）表示過(guò)）表示過(guò)渡狀態(tài)渡狀態(tài)S S（i i）轉(zhuǎn)到過(guò)渡態(tài)）轉(zhuǎn)到過(guò)渡態(tài)S S（j j）的平均次數(shù)。）的平均次數(shù)。MQI1)(0211)1 (iiQQQQM3)3)吸收態(tài)轉(zhuǎn)移概率矩陣吸收態(tài)轉(zhuǎn)移概率矩陣過(guò)渡態(tài)分析中定義過(guò)渡態(tài)分析中定義 矩陣中的元素矩陣中的元素b b（ijij）表示從過(guò)渡態(tài)）表示從過(guò)渡態(tài)S S（i i）出發(fā)，）出發(fā)，訪問(wèn)過(guò)渡態(tài)訪問(wèn)過(guò)渡態(tài)S S（j j）后進(jìn)入吸收態(tài)的概率。）后進(jìn)入吸收態(tài)的概率。mnmmnnbbbbbbbb