1、EM 算法在高斯混合模型中的應用 1. 定義對于一個隨機信號生成器, 假設他的模型參數為,我們能觀測到的數據輸出為 X,不能觀測到的數據輸出為 Y,且隨機系統(tǒng)模型結構的概率密度函數為p x y | （1）能夠觀測到的一部分數據輸出數據 x x 2 ,., x N ,模型的另一部分輸出數據未知 , 模型的參數 也未知； EM算法就是要求我們從觀測數據 x 1 , x 2 ,., x N 中估計出參數；2.EM算法的描述假設每一對隨機系統(tǒng)的輸出樣本 x n , y n 對于不同的 n相互獨立,這樣當p x y , , ,x和y都已知的情形下,概率 p x y , , 也已知；未觀測的輸出 y的概率

2、分布也屬于待求參數；依據獨立性假設有：p x y|Np xn,yn|（2）n13.EM算法的基本思路基本問題是求解下面的方程的解：argmax , p x y|,也無法求得（3）的由于 X是確定量, Y是未知的,因此即使給定了p x y|值,因此我們只能退一步求：argmaxp x |（4）其中p x |y Yp x y|y Yp y |,p x y | ,（5）表示考慮了未知數據 y的全部可能的取值 Y后對p x y求平均值；最終依據 log 函數的單調性得到（ 4）的等效形式：argmaxlogp x|（6）k對于 6 給出的最優(yōu)化問題, 考慮用下面的遞推算法解決, 即：先給定一個估值 并

3、運算 p x | k ,然后更新 k 得到 k 1 并且有l(wèi)ogp x|k1logp x|k（7）logp x|logy Yp y| | p x y,logy Yp y x | ,kp y|p x y | ,（8）p y x | ,ky Yp y x | ,klogp y| p x y | ,p y x | ,kB ,k其中,等號在Bk,k時成立,即：B k,klogp x|k（9）于是對 logp x |的遞推算法（ 7）可通過kB k,k進行,步驟為：（10）1） 令k=0,先給出估值k,2） 然后找出k1中意Bk1,kB 3） k更新為 k+1并返回步驟 2 直到收斂令k1arg max

4、B,k 11 處理后k1argmax ,kklogp y | | , p y x | ,klogp y x | ,k 12 argmaxy Yp y x | ,p y xkargmaxy YP y x | ,klogp y | | ,argmaxy Yp y x | ,klogp y | | ,argmax ,k其中C ,ky Yp y x | ,klogp y |p x y | , 13 4.EM算法與高斯混合模型 在隨機系統(tǒng)模型中,假設m是通道 m 的隨機信號生成器的概率密度函數的參數,p ym 是選中通道m(xù)的概率；記為a ；m假設 M 個隨機信號生成器和通道選擇隨機生成器是相互獨立的,從

5、通道 輸出的數據 x 的概率是：a p mmx|m 14 不考慮通信信息,輸出x 的概率為：Mp x |a pm |m 15 m1其中：m：是第 m 個通道隨機信號生成器的參數；：參數集合m,a mm1,2.,M；并且每個輸出都是相互獨立的,而每觀測數據為一批隨機產生的輸出信號,個輸出來自哪個通道不行測； 于是系統(tǒng)模型參數估量問題就變?yōu)橥ㄟ^有限的輸出樣本x x2,.,xN估量 M 個通道參數m,a mm1,2,.,M . p m x n,k（16）應用（ 12）求解,其中C,k可以簡化為：kMNlogp mx m|mC ,kMNloga m p m x n,m1n1m1n1C 1,kC 2 ,

6、k其中：M Nk kC 1 , log a m p m x n , m 1 n 1M Nk kC 2 , log p m x m | m p m x n , m 1 n 1這樣我們把 a 和 p 分別放在兩項里面,他們不相關,可以獨立考慮；在 C , k 中應用約束條件：Ma m 1m 1用拉格朗日乘子優(yōu)化 a 得到：Na m k 1 1 p m x n , kN n 1上式的含義是, 選中 m 號通道的概率估量 a m k 1 是每個觀測數據 nx 來自于 m 通k道的條件概率（依據上一次估值 估算）的平均；其中的 p m x n , 通過下式得出；C2,k中的p m x n,kMa p m

7、x n|kpmx m|m為高斯分m1a p m m x n|kmmm 的優(yōu)化取決于分布函數的類型,對于布時,m m , m其中 m是分布的均值,m是方差；再經過推導,有：a m k 1 1 Np m x n , k N n 1Nkx p m x n , m k 1 n 1N,kp m x n , n 1N 1/2k k 1 2p m x n , | x n m |k 1 n 1m = Nkp m x n , n 1 km 通道參數 m , m 得更新可以看作是對 nx 的加權,加權系數 p m x m , 可以看成是依據上一次的參數估量 k 算出來得 x 率屬于 m 通道的概率；最終,上面的

8、EM算法可能收斂到局部極大點, 因此需要選擇多個參數 的初始值進行迭代運算, 并選擇使得 p x | 最大的解,p x | 最大的解可由下式算出：p x|p y|p x y | ,N ）來 2y YMMMNm 11m 21Lm N1n1a m np x n|mmNMa p x n|mn1m15.EM算法在 matlab 中的實現(xiàn)利用上面推導出的公式,我們以二個一維的高斯分布（N ,驗證 EM算法的性能,第一用二個一維的高斯分布來建立一個高斯混合模型NH；假設：N1:N1,2 ,2N2:,N2,221NH1N12N1,221,我們要用 EM算法估量混合系數和其中1與2為混合系數,且有1各一維高斯

9、分布的均值和方差1,2,2,22 ；并將利用 EM算法估量出的1值與真實值做比較,就可以得到該算法的性能；2 2第一我們取 1 , 2 , 1 , 2 , 1 , 2 的真實值為（ 0.4,0.6,1,2,0.25,0.36）這樣我們得到一個混合高斯分布, 他的密度函數為 N H , 然后產生 1000個聽從N 的分布的觀測樣本點；接下來要做的就是對這理,來估量出一組1,2,1,2,2,22 的值；11000個樣本點用 EM算法進行處在使用 EM算法時,要第一給1,2,1,2,2,22 設定一組初值220.25 1這里假設初值為1=0.3,2=0.7,10.8 ,21.8 ,20.2 ,1Ma

10、tlab 具體程序如下 ：Y=zeros1,10000; for i=1:10000 if rand10.3 Yi=normrnd2,sqrt0.36,1,1; else Yi=normrnd1,sqrt0.25,1,1; end end %高斯混合模型的初值A=0.3 0.7; %設置參數M=0.8 1.8; %設置均值的初值 2 的初值S=0.2 0.25; %設置方差for n=1:1000 for j=1:2 a3=0; a4=0; a5=0; for k=1:10000 a1=0; for t=1:2 a1=At*1/sqrt2*pi*St*exp-Yk-Mt2 /2*St+a1; end f= Aj * 1/sqrt2*pi*Sj*exp-Yk-Mj2 /2*Sj; a2=f/a1; a3=a2+a3; Nn,kk12%a3對應公式p m xa4=a2*Yk+a4; n1kkx nN%a4對應公式p m xn,n1Na5=a2*Yk-Mj2+a5; %a5 對應公式p m xn,xnmn1end Aj=a3/10000; %循環(huán)更新系數值Mj=a4/a3; %循環(huán)更新均值值Sj=a5/a3; %循環(huán)更新方差值end end 運行程序,查看變量 A,M,S 的值