1、第十二章 馬氏鏈模型,12.1 健康與疾病 12.2 鋼琴銷售的存貯策略 12.3 基因遺傳 12.4 等級結(jié)構(gòu) 12.5 資金流通,馬氏鏈模型,系統(tǒng)在每個時期所處的狀態(tài)是隨機的.,從一時期到下時期的狀態(tài)按一定概率轉(zhuǎn)移.,下時期狀態(tài)只取決于本時期狀態(tài)和轉(zhuǎn)移概率. 已知現(xiàn)在，將來與過去無關(guān)（無后效性）,描述一類重要的隨機動態(tài)系統(tǒng)(過程)的模型.,馬氏鏈 (Markov Chain) 時間、狀態(tài)均為離散的隨機轉(zhuǎn)移過程,通過有實際背景的例子介紹馬氏鏈的基本概念和性質(zhì).,例1. 人的健康狀況分為健康和疾病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8, 而今年患病、明年轉(zhuǎn)為健康

2、狀態(tài)的概率為0.7.,12.1 健康與疾病,人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉(zhuǎn)變.,保險公司要對投保人未來的健康狀態(tài)作出估計, 以制訂保險金和理賠金的數(shù)額 .,若某人投保時健康, 問10年后他仍處于健康狀態(tài)的概率.,Xn+1只取決于Xn和pij, 與Xn-1, 無關(guān),狀態(tài)與狀態(tài)轉(zhuǎn)移,狀態(tài)轉(zhuǎn)移具有無后效性,0.8,0.2,0.3,0.7,設(shè)投保時健康,給定a(0), 預(yù)測 a(n), n=1,2,設(shè)投保時疾病,n時狀態(tài)概率趨于穩(wěn)定值, 穩(wěn)定值與初始狀態(tài)無關(guān).,狀態(tài)與狀態(tài)轉(zhuǎn)移,例2. 健康和疾病狀態(tài)同上，Xn=1 健康, Xn=2 疾病,p11=0.8, p12=0.18, p13=0.02

3、,死亡為第3種狀態(tài)，記Xn=3,健康與疾病,p21=0.65, p22=0.25, p23=0.1,p31=0, p32=0, p33=1,設(shè)投保時處于健康狀態(tài)，預(yù)測 a(n), n=1,2,不論初始狀態(tài)如何，最終都要轉(zhuǎn)到狀態(tài)3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 則對于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)3不會轉(zhuǎn)移到其他狀態(tài).,狀態(tài)與狀態(tài)轉(zhuǎn)移,馬氏鏈的基本方程,基本方程,馬氏鏈的兩個重要類型,1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移 能以正概率到達另外任一狀態(tài) (如例1) .,w 穩(wěn)態(tài)概率,馬氏鏈的兩個重要類型,2. 吸收鏈 存在吸收狀

4、態(tài)（一旦到達就不會離開 的狀態(tài)i, pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有 限次轉(zhuǎn)移能以正概率到達吸收狀態(tài) (如例2).,有r個吸收狀態(tài)的吸收鏈的轉(zhuǎn)移概率陣標(biāo)準(zhǔn)形式,R有非零元素,yi 從第 i 個非吸收狀態(tài)出發(fā)，被某個吸收狀態(tài)吸收前的平均轉(zhuǎn)移次數(shù).,12.2 鋼琴銷售的存貯策略,鋼琴銷售量很小，商店的庫存量不大以免積壓資金.,一家商店根據(jù)經(jīng)驗估計，平均每周的鋼琴需求為1架.,存貯策略：每周末檢查庫存量，僅當(dāng)庫存量為零時，才訂購3架供下周銷售；否則，不訂購.,估計在這種策略下失去銷售機會的可能性有多大? 以及每周的平均銷售量是多少?,背景與問題,問題分析,顧客的到來相互獨立，需求量近似服從泊

5、松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率.,存貯策略是周末庫存量為零時訂購3架 周末的庫存量可能是0, 1, 2, 3，周初的庫存量可能是1, 2, 3.,用馬氏鏈描述不同需求導(dǎo)致的周初庫存狀態(tài)的變化.,動態(tài)過程中每周銷售量不同，失去銷售機會（需求超過庫存）的概率不同.,可按穩(wěn)態(tài)情況（時間充分長以后）計算失去銷售機會的概率和每周的平均銷售量.,模型假設(shè),鋼琴每周需求量服從泊松分布，平均每周1架.,存貯策略：當(dāng)周末庫存量為零時，訂購3架，周初到貨；否則，不訂購.,以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性.,在穩(wěn)態(tài)情況下計算失去銷售機會的概率和每周的平均銷售量, 作為該存

6、貯策略的評價指標(biāo).,模型建立,Dn第n周需求量，均值為1的泊松分布,Sn第n周初庫存量(狀態(tài)變量 ),狀態(tài)轉(zhuǎn)移規(guī)律,狀態(tài)轉(zhuǎn)移陣, ,模型建立,狀態(tài)概率,馬氏鏈的基本方程,已知初始狀態(tài)，可預(yù)測第n周初庫存量Sn=i 的概率,n, 狀態(tài)概率,第n周失去銷售機會的概率,n充分大時,模型求解,從長期看，失去銷售機會的可能性大約 10%.,1. 估計失去銷售機會的可能性,存貯策略的評價指標(biāo),0.105,模型求解,第n周平均售量,從長期看，每周的平均銷售量為 0.857(架),n充分大時,2. 估計每周的平均銷售量,存貯策略的評價指標(biāo),每周平均需求量1架,0.857,敏感性分析,當(dāng)平均需求在每周1 (架)

7、 附近波動時，最終結(jié)果有多大變化。,設(shè)Dn服從均值的泊松分布,狀態(tài)轉(zhuǎn)移陣,第n周(n充分大)失去銷售機會的概率,當(dāng)平均需求(=1.0)增長(或減少)10%時，,失去銷售機會的概率P將增長(或減少)約15% .,12.3 基因遺傳,背景,生物的外部表征由內(nèi)部相應(yīng)的基因決定.,基因分優(yōu)勢基因d 和劣勢基因r 兩種.,每種外部表征由兩個基因決定, 每個基因 可以是d, r 中的任一個. 形成3種基因類型： dd 優(yōu)種D, dr 混種H, rr 劣種R.,基因類型為優(yōu)種和混種, 外部表征呈優(yōu)勢； 基因類型為劣種, 外部表征呈劣勢.,生物繁殖時后代隨機地（等概率地）繼承 父、母的各一個基因，形成它的兩個

8、基因. 父母的基因類型決定后代基因類型的概率.,完全優(yōu)勢基因遺傳,父母基因類型決定后代各種基因類型的概率,3種基因類型：dd優(yōu)種D, dr混種H, rr劣種R,完全優(yōu)勢基因遺傳,P(DDH)=P(dddd,dr)=P(ddd)P(ddr),P(RHH)=P(rrdr,dr)=P(rdr)P(rdr),=11/2=1/2,=1/21/2=1/4,隨機繁殖,設(shè)群體中雄性、雌性的比例相等， 基因類型的分布相同 (記作D:H:R).,每一雄性個體以D:H:R的概率與一雌性個體 交配，其后代隨機地繼承它們的各一個基因.,設(shè)初始一代基因類型比例 D:H:R =a:2b:c （a+2b+c=1), 記p=a

9、+b, q=b+c, 則群體中優(yōu)勢 基因和劣勢基因比例 d:r=p:q (p+q=1).,假設(shè),建模,狀態(tài)Xn=1,2,3 第n代的一個體屬于D, H, R,狀態(tài)概率 ai(n) 第n代的一個體屬于狀態(tài)i(=1,2,3)的概率.,討論基因類型的演變情況,基因比例 d:r=p:q,轉(zhuǎn)移概率矩陣,狀態(tài)轉(zhuǎn)移概率,隨機繁殖,馬氏鏈模型,自然界中通常p=q=1/2,穩(wěn)態(tài)分布D:H:R=1/4:1/2:1/4,基因類型為D和H, 優(yōu)勢表征綠色， 基因類型為R, 劣勢表征黃色.,解釋“豆科植物的莖，綠色:黃色=3:1”,隨機繁殖,近親繁殖,在一對父母的大量后代中, 雄雌隨機配對繁殖，討論一系列后代的基因類型

10、的演變過程。,狀態(tài)定義為配對的基因類型組合,Xn=1,2,3,4,5,6配對基因組合為DD,RR,DH,DR,HH,HR,狀態(tài)轉(zhuǎn)移概率,馬氏鏈模型,I,0,R,Q,狀態(tài)1(DD), 2(RR)是吸收態(tài)，馬氏鏈?zhǔn)俏真湶徽摮跏既绾?，?jīng)若干代近親繁殖，將全變?yōu)閮?yōu)種或劣種.,計算從任一非吸收態(tài)出發(fā)，平均經(jīng)過幾代被吸收態(tài)吸收.,純種(優(yōu)種和劣種)的某些品質(zhì)不如混種，近親繁殖下大約56代就需重新選種.,近親繁殖,12.4 等級結(jié)構(gòu),社會系統(tǒng)中需要適當(dāng)且穩(wěn)定的等級結(jié)構(gòu).,描述等級結(jié)構(gòu)的演變過程，預(yù)測未來的結(jié)構(gòu).,確定為達到某個理想結(jié)構(gòu)應(yīng)采取的策略.,引起等級結(jié)構(gòu)變化的因素：,系統(tǒng)內(nèi)部等級間的轉(zhuǎn)移：提升和降

11、級.,系統(tǒng)內(nèi)外的交流：調(diào)入和退出(退休、調(diào)離等).,用馬氏鏈模型描述確定性的轉(zhuǎn)移問題 (將轉(zhuǎn)移比例視為概率).,基本模型,a(t)等級結(jié)構(gòu),等級 i=1,2,k（如助教、講師、教授）,數(shù)量分布 n(t)=(n1(t), n2(t), ,nk(t) ni(t) t 年屬于等級i 的人數(shù)， t =0,1,比例分布 a(t)=(a1(t), a2(t), ,ak(t),轉(zhuǎn)移矩陣 Q=pijkk, pij 是每年從i 轉(zhuǎn)至j 的比例,基本模型,ri 每年調(diào)入 i 的比例 (在總調(diào)入人數(shù)中),pij 每年從i 轉(zhuǎn)至j 的比例,基本模型, 基本模型,基本模型,等級結(jié)構(gòu)a(t) 狀態(tài)概率,P轉(zhuǎn)移概率矩陣,用

12、調(diào)入比例進行穩(wěn)定控制,問題：給定Q, 哪些等級結(jié)構(gòu)可以用合適的調(diào)入比例保持不變,用調(diào)入比例進行穩(wěn)定控制,a*,例 大學(xué)教師(助教、講師、教授)等級 i=1,2,3，已知每年轉(zhuǎn)移比例,可行域A,穩(wěn)定域B,用調(diào)入比例進行穩(wěn)定控制,研究穩(wěn)定域B的結(jié)構(gòu),用調(diào)入比例進行穩(wěn)定控制,穩(wěn)定域B是k維空間中以 si 為頂點的凸多面體,研究穩(wěn)定域B的結(jié)構(gòu),用調(diào)入比例進行穩(wěn)定控制,例,S1,穩(wěn)定域B是以si為頂點的三角形,用調(diào)入比例進行動態(tài)調(diào)節(jié),問題：給定Q和初始結(jié)構(gòu) a(0), 求一系列的調(diào)入比例 r, 使盡快達到或接近理想結(jié)構(gòu),逐步法：對于Q和 a(0), 求 r使 a(1)盡量接近 a*, 再將 a(1)作為

13、新的a(0), 繼續(xù)下去.,模型,例,用調(diào)入比例進行動態(tài)調(diào)節(jié),求r 使a(1)盡量接近a*,r(t), a(t) 的計算結(jié)果,a(7)已接近a*,觀察r(t)的特點,用調(diào)入比例進行動態(tài)調(diào)節(jié),等 級 結(jié) 構(gòu),等級結(jié)構(gòu)的演變、預(yù)測和控制在社會系統(tǒng)中有 廣泛應(yīng)用.,討論總?cè)藬?shù)和內(nèi)部轉(zhuǎn)移比例不變情況下, 用調(diào)入 比例控制級結(jié)構(gòu)的變化.,建立等級結(jié)構(gòu)演變過程的基本方程, 預(yù)測未來結(jié)構(gòu).,討論各種推廣情況：總?cè)藬?shù)按照一定比例增長； 調(diào)入比例有界；調(diào)入比例固定而用內(nèi)部轉(zhuǎn)移比例 控制級結(jié)構(gòu)的變化.,12.5 資金流通,背景,各地區(qū)之間資金每年按一定比例相互流通.,各地區(qū)每年有資金流出并不再回來.,銀行計劃每年

14、向各地區(qū)投放或收回一定 資金, 使各地區(qū)的資金分布趨向穩(wěn)定.,建立模型描述各地區(qū)資金分布的變化規(guī)律.,討論什么情況下分布趨向穩(wěn)定.,確定銀行應(yīng)投放或收回多少資金.,問題,問題分析,資金流通,與“等級結(jié)構(gòu)”進行類比,等級結(jié)構(gòu),地區(qū)間的資金流通,等級間的成員轉(zhuǎn)移,資金流出地區(qū),成員退出系統(tǒng),銀行向地區(qū)投放資金,從外部向系統(tǒng)調(diào)入成員,銀行投放資金可為負值（收回資金）,調(diào)入成員數(shù)量不能為負值,各地區(qū)資金總和每年變化,系統(tǒng)總?cè)藬?shù)每年不變,相似點,不同點,基本模型,資金分布 c(t)=(c1(t), c2(t), , ck(t)，ci(t) 第t 年地區(qū)i 的資金， t =0,1,2,，i=1,2, , k,資金投放 d=(d1, , dk), di每年向地區(qū)i投放的資金（負值表示收回資金）,轉(zhuǎn)移矩陣 Q=pijkk, pij 每年資金從地區(qū)i 轉(zhuǎn)至j 的比例,基本模型,k個地區(qū)的資金看作系統(tǒng)的k個狀態(tài), 并增加狀態(tài)0表示資金退出系統(tǒng)（吸收狀態(tài)）.,資金在k+1個狀態(tài)間的轉(zhuǎn)移矩陣,用馬氏鏈模型描述,若存在穩(wěn)定分布c()=c*,需檢查對任意t, i, c(t)0.,計算,例 3個地區(qū)資金轉(zhuǎn)移比例矩陣為,要達到穩(wěn)定分布c*=(1