1、馬爾可夫型決策簡介,基本概念,馬爾柯夫（A.A Markov 是俄國數(shù)學(xué)家）。 20世紀(jì)初，他在研究中發(fā)現(xiàn)自然界中有一類事物的變化過程僅與事物的近期狀況有關(guān)，而與事物的過去狀態(tài)無關(guān)。 例：設(shè)備維修和更新、人才結(jié)構(gòu)變化、資金流向、市場需求變化等許多經(jīng)濟(jì)行為都可用這一類過程來描述或近似。 所謂馬爾柯夫鏈，就是一種隨機(jī)時(shí)間序列，它在將來取什么值只與它現(xiàn)在的取值有關(guān)，而與它過去取什么值無關(guān)，即無后效性。具備這個(gè)性質(zhì)的離散型隨機(jī)過程，稱為馬爾柯夫鏈。,馬爾柯夫預(yù)測法,馬爾柯夫（A.A Markov）預(yù)測法是應(yīng)用概率論中馬爾柯夫鏈的理論和方法來研究隨機(jī)事件變化并借此分析預(yù)測未來變化趨勢的一種方法。 分別介

2、紹基于馬爾柯夫鏈基本理論的狀態(tài)預(yù)測、市場占有率預(yù)測和人力資源結(jié)構(gòu)預(yù)測方法。,1,2,3,1,2,3,基本概念,一、狀態(tài) 狀態(tài)：客觀事物可能出現(xiàn)或存在的狀況。 如：市場上的產(chǎn)品可能暢銷也可能滯銷；機(jī)器運(yùn)轉(zhuǎn)可能正常也可能有故障等。 同一事物的不同狀態(tài)之間必須相互獨(dú)立，即事物不能同時(shí)處在兩種狀態(tài)。,用狀態(tài)變量來表示狀態(tài)： 它表示隨機(jī)運(yùn)動(dòng)系統(tǒng)，在時(shí)刻 所處的狀態(tài)為 狀態(tài)轉(zhuǎn)移：客觀事物由一種狀態(tài)到另一種狀態(tài)的變化。 如：產(chǎn)品質(zhì)量或替代產(chǎn)品的變化，市場上產(chǎn)品可能由暢銷變?yōu)闇N。,基本概念,二、狀態(tài)轉(zhuǎn)移概率 客觀事物可能有 共 種狀態(tài)，其中每次只能處于一種狀態(tài)，則每一狀態(tài)都具有 個(gè)轉(zhuǎn)向（包括轉(zhuǎn)向自身），即

3、。 由于狀態(tài)轉(zhuǎn)移是隨機(jī)的，因此，必須用概率來描述狀態(tài)轉(zhuǎn)移可能性的大小，將這種轉(zhuǎn)移的可能性用概率描述，就是狀態(tài)轉(zhuǎn)移概率。,基本概念,二、狀態(tài)轉(zhuǎn)移概率 對(duì)于由狀態(tài) Ei 轉(zhuǎn)移到狀態(tài)Ej 的概率，稱它為從 i 到 j 的轉(zhuǎn)移概率。記為： 它表示由狀態(tài)Ei 經(jīng)過一步轉(zhuǎn)移到狀態(tài)Ej 的概率。,基本概念,某地區(qū)有甲、乙、丙三家食品廠生產(chǎn)同一種食品，有一千個(gè)用戶（或購貨點(diǎn)），假定在研究期間無新用戶加入也無老用戶退出，只有用戶的轉(zhuǎn)移，已知 2006 年 5 月份有 500 戶是甲廠的顧客；400 戶是乙廠的顧客；100 戶是丙廠的顧客。6 月份，甲廠有400 戶原來的顧客，上月的顧客有 50 戶轉(zhuǎn)乙廠，50

4、戶轉(zhuǎn)丙廠；乙廠有 300 戶原來的顧客，上月的顧客有 20 戶轉(zhuǎn)甲廠，80 戶轉(zhuǎn)丙廠；丙廠有 80 戶原來的顧客，上月的顧客有 10 戶轉(zhuǎn)甲廠，10 戶轉(zhuǎn)乙廠。試計(jì)算其狀態(tài)轉(zhuǎn)移概率。,例12-1：,解：由題意得 6 月份顧客轉(zhuǎn)移表 1：,從,到,表 1,三、狀態(tài)轉(zhuǎn)移概率矩陣 將事件 個(gè)狀態(tài)的轉(zhuǎn)移概率依次排列起來，就構(gòu)成一個(gè) N行N 列的矩陣，這種矩陣就是狀態(tài)轉(zhuǎn)移概率矩陣。 通常，稱矩陣 P 就是狀態(tài)轉(zhuǎn)移概率矩陣，沒有特別說明步數(shù)時(shí)，一般均為一步轉(zhuǎn)移概率矩陣。 矩陣中的每一行稱之為概率向量。,基本概念,狀態(tài)轉(zhuǎn)移概率矩陣具有如下特征： （1） （2）,三、狀態(tài)轉(zhuǎn)移概率矩陣,狀態(tài)轉(zhuǎn)移概率的估算,主觀

5、概率法。 （一般是在缺乏歷史統(tǒng)計(jì)資料或資料不全的情況下使用的）。 統(tǒng)計(jì)估算法。,例12-2 設(shè)味精市場的銷售記錄共有 6 年 24 個(gè)季度的數(shù)據(jù)，見表。試求味精銷售轉(zhuǎn)移概率矩陣。,用“1”表示暢銷 用“2”表示滯銷,共有24個(gè)季度數(shù)據(jù)，其中有15個(gè)季度暢銷，9個(gè)季度滯銷，現(xiàn)分別統(tǒng)計(jì)出連續(xù)暢銷、由暢銷轉(zhuǎn)入滯銷、由滯銷轉(zhuǎn)入暢銷和連續(xù)滯銷的次數(shù)。 以 p11 表示連續(xù)暢銷的可能性，以頻率代替概率，得： 分子數(shù) 7 是表中連續(xù)出現(xiàn)暢銷的次數(shù)，分母中的 15 是表中出現(xiàn)暢銷的次數(shù)，因?yàn)榈?4季度是暢銷，無后續(xù)記錄，故應(yīng)減1。,以 p12 表示由暢銷轉(zhuǎn)入滯銷的可能性，同理： 分子數(shù) 7 是表中由暢銷轉(zhuǎn)入滯

6、銷的次數(shù)。 以 p21 表示由滯銷轉(zhuǎn)入暢銷的可能性，同理： 分子數(shù) 7 是表中由滯銷轉(zhuǎn)入暢銷的次數(shù)，分母數(shù) 9 是表中出現(xiàn)滯銷的次數(shù)。,以 p22 表示連續(xù)滯銷的可能性，同理： 分子數(shù) 2 是表中連續(xù)出現(xiàn)滯銷的次數(shù)。 綜上所述，得到銷售狀態(tài)轉(zhuǎn)移概率矩陣為：,狀態(tài)轉(zhuǎn)移概率矩陣完全描述了所研究對(duì)象的變化過程。正如前面所指出的，上述矩陣為一步轉(zhuǎn)移概率矩陣。對(duì)于多步轉(zhuǎn)移概率矩陣，可按如下定義給出。 定義 3. 若系統(tǒng)在時(shí)刻 處于狀態(tài) ，經(jīng)過 步轉(zhuǎn)移，在時(shí)刻 處于狀態(tài) 。那么，對(duì)這種轉(zhuǎn)移的可能性的數(shù)量描述稱為 步轉(zhuǎn)移概率。記為 并令,三、狀態(tài)轉(zhuǎn)移概率矩陣,稱 為 步轉(zhuǎn)移概率矩陣。 多步轉(zhuǎn)移概率矩陣，除具

7、有一步轉(zhuǎn)移概率矩陣的性質(zhì)外，還具有以下的性質(zhì)：,某經(jīng)濟(jì)系統(tǒng)有三種狀態(tài) （如暢銷、一般、滯銷），系統(tǒng)的轉(zhuǎn)移情況見下表，試求系統(tǒng)的二步狀態(tài)轉(zhuǎn)移概率矩陣。 解：得到一步狀態(tài)轉(zhuǎn)移,例12-3：,二步轉(zhuǎn)移概率矩陣可由一步轉(zhuǎn)移概率矩陣求出，由公式 計(jì)算可得：,例（續(xù)）：,四、初始狀態(tài)概率向量,記 為過程的開始時(shí)刻，則稱： 為初始狀態(tài)概率向量。 若記向量 ， 則: 由此可得,例12-4：,考察一臺(tái)機(jī)床的運(yùn)行狀態(tài)。機(jī)床的運(yùn)行存在正常和故障兩種狀態(tài)。由于出現(xiàn)故障帶有隨機(jī)性，故可將機(jī)床的運(yùn)行看作一個(gè)狀態(tài)隨時(shí)間變化的隨機(jī)系統(tǒng)。 可以認(rèn)為，機(jī)床以后的狀態(tài)只與其當(dāng)前的狀態(tài)有關(guān)，而與過去的狀態(tài)無關(guān)，即具有無后效性。因此，機(jī)床的運(yùn)行可看作馬爾科夫鏈。,機(jī)床運(yùn)行過程中出現(xiàn)故障，這時(shí)從狀態(tài) 1 轉(zhuǎn)移到狀態(tài) 2 ；處于故障狀態(tài)的機(jī)床經(jīng)維修，恢復(fù)到正常狀態(tài)即從狀態(tài) 2 轉(zhuǎn)移到狀態(tài)1。 現(xiàn)以1個(gè)月為時(shí)間單位，經(jīng)觀察統(tǒng)計(jì)，知從某月份到下月份機(jī)床出現(xiàn)故障的概率為0.2 ，即 p12 = 0.2 。保持正常狀態(tài)的概率為為 p11 = 0.8 。在這一時(shí)間，故障機(jī)床經(jīng)維修返回到正常狀態(tài)的概率為 0.9 ，即 p21 = 0.9 ；不能修好的概率為 p22 = 0.1 。,機(jī)床狀態(tài)轉(zhuǎn)移圖,p12 = 0.2,p21 = 0.9,p11 = 0.8,p22 = 0.1,由機(jī)床的一步轉(zhuǎn)移概率得狀態(tài)轉(zhuǎn)