第6章馬爾可夫預測PAGEPAGE140馬爾可夫預測馬爾可夫預測方法不需要大量歷史資料，而只需對近期狀況作詳細分析。它可用于產(chǎn)品的市場占有率預測、期望報酬預測、人力資源預測等等，還可用來分析系統(tǒng)的長期平衡條件，為決策提供有意義的參考。6.1馬爾可夫預測的基本原理馬爾可夫（A.A.Markov）是俄國數(shù)學家。二十世紀初，他在研究中發(fā)現(xiàn)自然界中有一類事物的變化過程僅與事物的近期狀態(tài)有關(guān)，而與事物的過去狀態(tài)無關(guān)。具有這種特性的隨機過程稱為馬爾可夫過程。設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場需求變化等許多經(jīng)濟和社會行為都可用這一類過程來描述或近似，故其應用范圍非常廣泛。6.1.1馬爾可夫鏈為了表征一個系統(tǒng)在變化過程中的特性（狀態(tài)），可以用一組隨時間進程而變化的變量來描述。如果系統(tǒng)在任何時刻上的狀態(tài)是隨機的，則變化過程就是一個隨機過程。設(shè)有參數(shù)集，如果對任意的，總有一隨機變量與之對應，則稱為一隨機過程。如若為離散集（不妨設(shè)），同時的取值也是離散的，則稱為離散型隨機過程。設(shè)有一離散型隨機過程，它所有可能處于的狀態(tài)的集合為，稱其為狀態(tài)空間。系統(tǒng)只能在時刻改變它的狀態(tài)。為簡便計，以下將等簡記為。一般地說，描述系統(tǒng)狀態(tài)的隨機變量序列不一定滿足相互獨立的條件，也就是說，系統(tǒng)將來的狀態(tài)與過去時刻以及現(xiàn)在時刻的狀態(tài)是有關(guān)系的。在實際情況中，也有具有這樣性質(zhì)的隨機系統(tǒng)：系統(tǒng)在每一時刻（或每一步）上的狀態(tài)，僅僅取決于前一時刻（或前一步）的狀態(tài)。這個性質(zhì)稱為無后效性，即所謂馬爾可夫假設(shè)。具備這個性質(zhì)的離散型隨機過程，稱為馬爾可夫鏈。用數(shù)學語言來描述就是：馬爾可夫鏈如果對任一，任意的恒有(6.1.1)則稱離散型隨機過程為馬爾可夫鏈。例如，在荷花池中有N張荷葉，編號為。假設(shè)有一只青蛙隨機地從這張荷葉上跳到另一張荷葉上。青蛙的運動可看作一隨機過程。在時刻，青蛙所在的那張荷葉，稱為青蛙所處的狀態(tài)。那么，青蛙在未來處于什么狀態(tài)，只與它現(xiàn)在所處的狀態(tài)有關(guān)，與它以前在哪張荷葉上無關(guān)。此過程就是一個馬爾可夫鏈。由于系統(tǒng)狀態(tài)的變化是隨機的，因此，必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。6.1.2狀態(tài)轉(zhuǎn)移矩陣馬爾可夫鏈是一種描述動態(tài)隨機現(xiàn)象的數(shù)學模型，它建立在系統(tǒng)“狀態(tài)”和“狀態(tài)轉(zhuǎn)移”的概念之上。所謂系統(tǒng)，就是我們所研究的事物對象；所謂狀態(tài)，是表示系統(tǒng)的一組記號。當確定了這組記號的值時，也就確定了系統(tǒng)的行為，并說系統(tǒng)處于某一狀態(tài)。系統(tǒng)狀態(tài)常表示為向量，故稱之為狀態(tài)向量。例如，已知某月A、B、C三種牌號洗衣粉的市場占有率分別是0.3、0.4、0.3，則可用向量來描述該月市場洗衣粉銷售的狀況。當系統(tǒng)由一種狀態(tài)變?yōu)榱硪环N狀態(tài)時，我們稱之為狀態(tài)轉(zhuǎn)移。例如，洗衣粉銷售市場狀態(tài)的轉(zhuǎn)移就是各種牌號洗衣粉市場占有率的變化。顯然，這類系統(tǒng)由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)完全是隨機的，因此必須用概率描述狀態(tài)轉(zhuǎn)移的各種可能性的大小。如果在時刻系統(tǒng)的狀態(tài)為的條件下，在下一個時刻系統(tǒng)狀態(tài)為的概率與無關(guān)，則稱此馬爾可夫鏈是齊次馬爾可夫鏈，并記稱為狀態(tài)轉(zhuǎn)移概率。顯然，我們有轉(zhuǎn)移矩陣設(shè)系統(tǒng)的狀態(tài)轉(zhuǎn)移過程是一齊次馬爾可夫鏈，狀態(tài)空間有限，狀態(tài)轉(zhuǎn)移概率為，則稱矩陣(6.1.2)為該系統(tǒng)的狀態(tài)轉(zhuǎn)移概率矩陣，簡稱轉(zhuǎn)移矩陣。為了論述和計算的需要，引入下述有關(guān)概念。 概率向量對于任意的行向量（或列向量），如果其每個元素均非負且總和等于1，則稱該向量為概率向量。概率矩陣由概率向量作為行向量所構(gòu)成的方陣稱為概率矩陣。對于一個概率矩陣，若存在正整數(shù)，使得的所有元素均為正數(shù)，則稱矩陣為正規(guī)概率矩陣。例如，矩陣中每個元素均非負，每行元素之和皆為1，行數(shù)和列數(shù)相同，為方陣，故矩陣A為概率矩陣。概率矩陣有如下性質(zhì)：如果A、B皆是概率矩陣，則AB也是概率矩陣；如果A是概率矩陣，則A的任意次冪也是概率矩陣。對，記(6.1.3)稱為k步狀態(tài)轉(zhuǎn)移概率，為k步狀態(tài)轉(zhuǎn)移概率矩陣，它們均與n無關(guān)（從下面的式(6.1.4)也可看出）。特別，當時，為1步狀態(tài)轉(zhuǎn)移概率。馬爾可夫鏈中任何k步狀態(tài)轉(zhuǎn)移概率都可由1步狀態(tài)轉(zhuǎn)移概率求出。由全概率公式可知對有（其中表示單位矩陣）：其中用到馬爾可夫鏈的“無記憶性”和齊次性。用矩陣表示，即為，從而可得(6.1.4)記為過程的開始時刻，，則稱為初始狀態(tài)概率向量。如已知齊次馬爾可夫鏈的轉(zhuǎn)移矩陣以及初始狀態(tài)概率向量，則任一時刻的狀態(tài)概率分布也就確定了：對，記，則由全概率公式有(6.1.5)若記向量，則上式可寫為(6.1.6)由此可得，(6.1.7)例6.1考察一臺機床的運行狀態(tài)。機床的運行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機性，故可將機床的運行看作一個狀態(tài)隨時間變化的隨機系統(tǒng)?？梢哉J為，機床以后的狀態(tài)只與以前的狀態(tài)有關(guān)，而與過去的狀態(tài)無關(guān)，即具有無后效性。因此，機床的運行可看作馬爾可夫鏈。設(shè)正常狀態(tài)為1，故障狀態(tài)為2，即機床的狀態(tài)空間由兩個元素組成。機床在運行過程中出現(xiàn)故障，這時從狀態(tài)1轉(zhuǎn)移到狀態(tài)2；處于故障狀態(tài)的機床經(jīng)維修，恢復到正常狀態(tài)，即從狀態(tài)2轉(zhuǎn)移到狀態(tài)1。120.90.20.10.8圖6.1機床的狀態(tài)轉(zhuǎn)移現(xiàn)以一個月為時間單位。經(jīng)觀察統(tǒng)計，知從某月份到下月份機床出現(xiàn)故障的概率為0.2，即。其對立事件，保持正常狀態(tài)的概率為。在這一時間，故障機床經(jīng)維修返回到正常狀態(tài)的概率為0.9，即120.90.20.10.8圖6.1機床的狀態(tài)轉(zhuǎn)移由機床的一步轉(zhuǎn)移概率得狀態(tài)轉(zhuǎn)移概率矩陣若已知本月機床的狀態(tài)向量，現(xiàn)要預測機床兩個月后的狀態(tài)。先求出兩步轉(zhuǎn)移概率矩陣矩陣的第一行表明，本月處于正常狀態(tài)的機床，兩個月后仍處于正常狀態(tài)的有0.82，轉(zhuǎn)移到故障狀態(tài)的有0.18。第二行說明，本月處于故障狀態(tài)的機床，兩個月后轉(zhuǎn)移到正常狀態(tài)的有0.81，仍處于故障狀態(tài)的有0.19。于是，兩個月后機床的狀態(tài)向量6.1.3穩(wěn)態(tài)概率矩陣在馬爾可夫鏈中，已知系統(tǒng)的初始狀態(tài)和狀態(tài)轉(zhuǎn)移概率矩陣，就可推斷出系統(tǒng)在任意時刻可能所處的狀態(tài)?，F(xiàn)在需要研究當不斷增大時，的變化趨勢。平穩(wěn)分布若存在非零概率向量，使得，其中為一概率矩陣，則稱為的固定概率向量。特別，設(shè)為一狀態(tài)概率向量，為狀態(tài)轉(zhuǎn)移概率矩陣。若(6.1.8)即則稱為馬爾可夫鏈的一個平穩(wěn)分布。若隨機過程某時刻的狀態(tài)概率向量為平穩(wěn)分布，則稱過程處于平衡狀態(tài)。一旦過程處于平衡狀態(tài)，則過程經(jīng)過一步或多步狀態(tài)轉(zhuǎn)移之后，其狀態(tài)概率分布保持不變，也就是說，過程一旦處于平衡狀態(tài)后將永遠處于平衡狀態(tài)。對于我們所討論的狀態(tài)有限（即N個狀態(tài)）的馬爾可夫鏈，平穩(wěn)分布必定存在[1]。特別地，當狀態(tài)轉(zhuǎn)移矩陣為正規(guī)概率矩陣時，平穩(wěn)分布唯一。此時，求解方程(6.1.8)，即可得到系統(tǒng)的平穩(wěn)分布。穩(wěn)態(tài)分布對概率向量，如對任意的均有(6.1.9)則稱為穩(wěn)態(tài)分布。此時，不管初始狀態(tài)概率向量如何，均有或這也是稱為穩(wěn)態(tài)分布的理由。設(shè)存在穩(wěn)態(tài)分布，則由于下式恒成立，就得(6.1.10)即，有限狀態(tài)馬爾可夫鏈的穩(wěn)態(tài)分布如存在，那么它也是平穩(wěn)分布。對任一狀態(tài)i，如果的公約數(shù)為1，則稱i是非周期狀態(tài)。如果一個馬爾可夫鏈的所有狀態(tài)均是非周期的，則稱此馬爾可夫鏈是非周期的。對非周期的馬爾可夫鏈，穩(wěn)態(tài)分布必存在，對不可約非周期的馬爾可夫鏈，穩(wěn)態(tài)分布和平穩(wěn)分布相同且均唯一[1]。例6.2設(shè)一馬爾可夫鏈的轉(zhuǎn)移矩陣為求其平穩(wěn)分布及穩(wěn)態(tài)分布。解：（1）P不可約，僅當且時。又，由定義可知，P是不可約的。（2）P非周期由可知1，2的公約為1，故狀態(tài)1為非周期狀態(tài)。同理可得2，3均為非周期狀態(tài)。故P是非周期的。（3）由于P不可約且是非周期的，求解如下方程組得這就是該馬爾可夫鏈的穩(wěn)態(tài)分布，而且也是平穩(wěn)分布。6.2馬爾可夫預測的應用馬爾可夫預測乃是利用某一系統(tǒng)的現(xiàn)在狀況及其發(fā)展動向去預測系統(tǒng)未來狀況的一種預測方法。它在技術(shù)與經(jīng)濟發(fā)展以及現(xiàn)代企業(yè)的經(jīng)營管理中，均可為決策者制定決策提供較科學的未來信息。馬爾可夫預測范圍廣泛，如在預測企業(yè)的發(fā)展規(guī)模和產(chǎn)品銷售份額，分析顧客（消費者）流向，選擇銷售及服務(wù)地點，選擇銷售維修策略，制定設(shè)備更新方案，以及決定最優(yōu)工作分配等方面均有顯著成效。應用馬爾可夫分析，對環(huán)境保護、生態(tài)平衡等復雜大系統(tǒng)未來狀況進行預測，對各種環(huán)境污染治理策略的選擇等，均可取得良好的效果。6.2.1市場占有率的預測我們結(jié)合例題來說明如何預測市場占有率。例6.3伍迪公司、布盧杰.里維公司、雷恩公司(分別用符號A、B、C代表)是美國中西部地區(qū)三家主要滅蟲劑產(chǎn)商。根據(jù)歷史資料得知，公司A、B、C產(chǎn)品銷售額的市場占有率分別為50%，30%，20%。由于C公司實行了改善銷售與服務(wù)方針的經(jīng)營管理決策，使其產(chǎn)品銷售額逐期穩(wěn)定上升，而A公司卻下降。通過市場調(diào)查發(fā)現(xiàn)三個公司間的顧客流動情況如表6.1所示。其中產(chǎn)品銷售周期是季度?，F(xiàn)在的問題是按照目前的趨勢發(fā)展下去，A公司的產(chǎn)品銷售額或客戶轉(zhuǎn)移的影響將嚴重到何種程度？更全面的，三個公司的產(chǎn)品銷售額的占有率將如何變化？表6.1表6.1A、B、C三公司的顧客流動情況公司周期0的顧客數(shù)周期1的供應公司ABCA500035005001000B30003002400300C20001001001800周期2的顧客數(shù)——390030003100將表6.1中的數(shù)據(jù)化為轉(zhuǎn)移概率將對研究分析未來若干周期的顧客流向更為有利。表6.2列出了各公司顧客流動的轉(zhuǎn)移概率。表6.2中的數(shù)據(jù)是每家廠商在一個周期中的顧客數(shù)與前一周期的顧客數(shù)相除所得。表中每一行表示某公司從一個周期到下一個周期將能保住的顧客數(shù)的百分比，以及將要喪失給競爭對手的顧客數(shù)的百分比。表中每一列表示各公司在下一周期將能保住的顧客數(shù)的百分比，以及該公司將要從競爭對手那里獲得顧客數(shù)的百分比。表6.2顧客流動的轉(zhuǎn)移概率公司ABCA3500/5000=0.7500/5000=0.11000/5000=0.2B300/3000=0.12400/3000=0.8300/3000=0.1C100/2000=0.05100/2000=0.051800/2000=0.95如用矩陣來表示表6.2中的數(shù)據(jù)，那么就得到了如下的轉(zhuǎn)移矩陣(6.2.1)P中數(shù)據(jù)表示一個隨機挑選的顧客，從一個周期到下一個周期仍購買某一公司產(chǎn)品的可能性或概率。如，隨機挑選一名A公司的顧客，他在下一周期仍購買A公司產(chǎn)品的概率為0.7，購買B公司產(chǎn)品的概率為0.1，購買C公司產(chǎn)品的概率為0.2。1.未來各周期市場占有率的計算以A、B、C公司作為我們要分析的系統(tǒng)的狀態(tài)，那么狀態(tài)概率向量就分別為三家公司的產(chǎn)品銷售額的市場占有率。初始狀態(tài)概率向量為轉(zhuǎn)移矩陣由（6.2.1）式給出。于是可用式（6.1.6）來計算未來各期的市場占有率。如狀態(tài)轉(zhuǎn)移一次后第一周期的市場占有率向量為：由式（6.1.6）可以遞推地求得未來各期的市場占有率。2.穩(wěn)態(tài)市場占有率從轉(zhuǎn)移矩陣P中可以看出，A公司的市場占有率將逐期下降，而C公司的市場占有率則將逐期上升（用式(6.1.6)計算出即可驗證）。從經(jīng)營決策和管理的角度來看，自然希望了解公司的市場占有率最終將達到什么樣的水平，亦即需要知道穩(wěn)態(tài)市場占有率。由于式(6.2.1)中的P是不可約非周期的，所以穩(wěn)態(tài)市場占有率即為平衡狀態(tài)下的市場占有率，亦即馬氏鏈的平穩(wěn)分布。由前面的討論知道，我們求解如下方程組解得亦即，A、B、C三家公司的市場占有率最終將分別達到17.65%，23.53%，58.82%。對本例來說，當銷售份額達到平衡時，所有公司都各占總銷售額中的一部分保持不變。但在某些情況下，參與競爭的公司或廠商中能有一個或多個被完全逐出市場。例如對于轉(zhuǎn)移矩陣廠商A從B與C雙方得到顧客，而從不失去顧客，容易推知照此趨勢發(fā)展下去廠商A將獨占100%的市場。這一點從式(6.1.8)的求解中亦可看出。最后我們指出平衡狀態(tài)存在的條件與初始狀態(tài)概率向量無關(guān)。3.銷售策略對市場占有率的影響從本例的上述分析可以看出，A公司的市場占有率將從50%降至最終的17.65%,當然這是假定以狀態(tài)轉(zhuǎn)移概率保持不變作為分析的前提的。如果公司的經(jīng)營決策者看到了這種不利趨勢，并制訂某種策略(如銷售策略)來扭轉(zhuǎn)這種不利趨勢，使公司在市場上保持較有利的地位。以后我們就兩種不同的銷售策略，討論如何利用馬爾可夫分析幫助公司管理人員評價銷售策略對銷售份額的影響?？深愃品治銎渌慕?jīng)營策略。1)保留策略，指盡力保留公司原有顧客較大百分比的各種經(jīng)營方針與對策。如采用提供優(yōu)質(zhì)服務(wù)或?qū)B續(xù)兩期購貨的顧客實行折價優(yōu)待等方法。設(shè)Ａ公司采用這樣的保留策略后，減少了其原有顧客向Ｃ公司的流失，使保留率從原來的70％提高到85％，則轉(zhuǎn)移矩陣成為新的平衡狀態(tài)下Ａ、Ｂ、Ｃ三公司的市場占有率分別為31.6％，26.3％，42.1％，Ａ公司的市場占有率從17.65％提高到31.6％。2)爭取策略。指從競爭者擁有的顧客中爭取顧客的各種經(jīng)營方針與對策。如通過廣告等方法。設(shè)Ａ公司通過爭取策略，能從上一周期內(nèi)向另外兩家公司購貨的顧客中各爭取15％，則轉(zhuǎn)移矩陣成為在新的平衡狀態(tài)下，Ａ、Ｂ、Ｃ三家公司的市場占有率分別為33.3％，22.2％，44.5％。在實際工作中，市場占有率僅僅是經(jīng)營者制訂決策的一個考慮因素。為制訂出正確的決策，還可能要考慮其它的因素，如考慮采取策略的費用等。6.2.2期望報酬預測一個與經(jīng)濟有關(guān)的馬氏型隨機系統(tǒng)中，系統(tǒng)獲得的報酬(或稱收益)也會隨狀態(tài)的不同而不同。設(shè)有一臺機器，它在第n周期的狀態(tài)用表示：進一步假定，機器正常時，每一個周期可帶來v元的收益，并且在下一周期失效的概率為p，當機器失效時，需對其進行更換，更換的費用為d，修理時間為一個周期，下一個周期初修好開始工作，于是是一個齊次馬氏鏈，其狀態(tài)空間為S={0,1}，轉(zhuǎn)移矩陣為但這是一個帶報酬(或稱收益、費用)的馬氏鏈。一般地,設(shè)是狀態(tài)空間為的齊次馬氏鏈，其轉(zhuǎn)移矩陣為。設(shè)r(i)表示某周期系統(tǒng)處于狀態(tài)i時獲得的報酬。我們稱如此的馬爾可夫鏈是具有報酬的。顯然，r(i)＞0時稱為盈利，報酬，收益等；r(i)＜0時稱為虧損，費用等。對于這樣一個帶報酬的馬爾可夫鏈，n時的報酬是一個隨機變量。我們分三種目標函數(shù)來討論。1．有限時段期望總報酬記表示初始狀態(tài)為i的條件下，到第k步狀態(tài)轉(zhuǎn)移前所獲得的期望總報酬(k≥1，i∈S)：若記列向量,,則上式可寫為(6.2.2)進而，可證明有如下遞推式：(6.2.3)于是可用上式遞推求得。2．無限時段單位時間平均報酬對i∈S，定義初始狀態(tài)為i的無限時段單位時間平均報酬為：記西沙洛極限矩陣，則由(6.2.2)可證得(6.2.4)于是為求，只須求得P*即可，但一般地要求出P*并不是件容易的事情。這里我們只討論如下的特殊情況。我們考慮穩(wěn)態(tài)分布存在的這種特殊情況。由上節(jié)可知，轉(zhuǎn)移矩陣P非周期即可保證π存在。當π存在時，它也是平穩(wěn)分布，于是我們有如下結(jié)論。結(jié)論設(shè)所考慮的馬氏鏈存在穩(wěn)態(tài)分布π，則的西沙洛極限與其極限相同,而,進而若(6.1.10)有唯一解，則有(6.2.5)實際上，如果π存在，當(6.1.10)有唯一解X時，由于穩(wěn)態(tài)分布必為平穩(wěn)分布,故特別，對于不可約非周期的馬氏鏈，(6.2.5)恒成立。于是可先求解(6.1.10)得X，然而由(6.2.5)求得。3．無限時段期望折扣總報酬在現(xiàn)實生活中，今年的一元錢將大于明年的一元錢，其實將錢存于銀行即可。也就是說明年的一元錢折算到現(xiàn)在計算，就不值一元錢了，如為β∈(0,1)，這個β就稱為折扣因子。實際上，在工程問題中，在企業(yè)管理中當考慮貸款、折舊等時都必須考慮到錢的增值問題。如將錢存于銀行，年息為ρ，則ρ與β有如下關(guān)系：β=1/(1+ρ)如果一個周期為一個月，那么只須將ρ理解為月息即可。這里折扣因子β一般地在區(qū)間(0,1)中。對有報酬的馬氏鏈，定義從狀態(tài)ｉ出發(fā)的無限時段期望折扣總報酬為(6.2.6)于是(6.2.7)若記向量，則上式的向量/矩陣形式為:(6.2.8)與有限時段中的(6.2.3)類似，由(6.2.7)可得：(6.2.9)顯然，線性方程組(6.2.9)的解即為(6.2.8)所表示的。我們稱為具有報酬的馬氏鏈的三種目標函數(shù)。利用其中的任一個目標函數(shù)，我們可以討論不同策略的優(yōu)劣。例6.4最佳維修策略的選擇。我們研究一化工企業(yè)對循環(huán)泵進行季度維修的過程。該化工企業(yè)對泵進行定期檢查，每次檢查中，把泵按其外殼及葉輪的腐蝕程度定為五種狀態(tài)中的一種。這五種狀態(tài)是：狀態(tài)1：優(yōu)秀狀態(tài)，無任何故障或缺陷；狀態(tài)2：良好狀態(tài)，稍有腐蝕；狀態(tài)3：及格狀態(tài)，輕度腐蝕；狀態(tài)4：可用狀態(tài)，大面積腐蝕；狀態(tài)5：不可運行狀態(tài)，腐蝕嚴重。該公司可采用的維修策略有以下幾種。單狀態(tài)策略：泵處于狀態(tài)5時才進行修理，每次修理費用為500元。兩狀態(tài)策略：泵處于狀態(tài)4和5時進行修理，處于狀態(tài)4時的修理費用每次為250元,處于狀態(tài)5時的每次修理費用為500元。三狀態(tài)策略：泵處于狀態(tài)3,4,5時進行修理，處于狀態(tài)3時的每次修理費用為200元,處于狀態(tài)4和5時的修理費用同前。目前，該公司采用的維修策略為“單狀態(tài)”策略。假定不管處于何種狀態(tài)，只要進行修理，泵的狀態(tài)都將在本周期內(nèi)恢復為狀態(tài)1。已知在不進行任何修理時的狀態(tài)轉(zhuǎn)移概率，如表6.3中所示。表6.3不修理時的狀態(tài)轉(zhuǎn)移概率泵在周期n的狀態(tài)泵在周期n+1的狀態(tài)1234510.000.600.200.100.1020.000.300.400.200.1030.000.000.400.400.2040.000.000.000.500.5050.000.000.000.001.00現(xiàn)在我們要確定哪個策略的費用最低。目標為長期運行單位時間平均報酬。容易看出，在單狀態(tài)、兩狀態(tài)、三狀態(tài)下的轉(zhuǎn)移概率矩陣分別為下面我們分別來求三種策略下的。1)單狀態(tài)策略。此時r(1)＝r(2)＝r(3)＝r(4)＝0，r(5)＝500，將代入(6.1.8)可解得唯一的平穩(wěn)分布為而顯然是不可約非周期的，從而X亦為穩(wěn)態(tài)分布，由此及(6.2.4)，(6.2.5)可得=500×0.199＝99.50(元)，與無關(guān)。2)兩狀態(tài)策略。r(1)＝r(2)＝r(3)＝0，r(4)＝250，r(5)＝500，與1)中類似，可知(0.266,0.228,0.241,0.168,0.097)從而由(6.2.4)，(6.2.5)有0.168×250+0.097×500=90.50(元).3)三狀態(tài)策略。r(1)＝r(