西南交通大學現(xiàn)代信號處理技術(shù)及應用專業(yè)班級：電氣一班學號：2014200431姓名:何智杰最大似然估計和最小二乘的應用何智杰（西南交通大學電氣工程學院，四川成都610031）摘要：介紹最大似然估計方法的來源、極大似然原理，最大似然估計是一種統(tǒng)計方法，它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。最小二乘法是一種數(shù)學優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。最大似然估計方法應用于估計一元線性回歸方程中的未知參數(shù)，可獲得與用最小二乘估計得到相同的結(jié)果。在工程系統(tǒng)辨識中，而最小二乘法是一種應用極其廣泛的系統(tǒng)辨識方法。關(guān)鍵詞：最大似然估計；最小二乘；回歸方程；系統(tǒng)辨識ApplicationofMaximumLikelihoodEstimationandLeastSquaresHeZhijie（SchoolofElectricalEngineering，SouthwestJiaotongUniversity，Chengdu610031，China）Abstract:Maximumlikelihoodestimationmethodintroducessources,maximumlikelihoodprinciple,themaximumlikelihoodestimateisastatisticalmethod,whichisusedtodeterminethecorrelationprobabilitydensityofasamplesetoffunctionparameters.Leastsquaresmethodisamathematicaloptimizationtechnique,whichmatchesthedatabyminimizingthesumofsquarederrorsoffindingthebestfunctions.Themaximumlikelihoodestimationmethodisappliedtoestimatealinearregressionequationtheunknownparametersobtainedbyleastsquaresestimationwiththesameresult.Intheengineeringsystemidentification,andtheleastsquaresmethodisanextremelyversatilesystemidentificationmethods.Keywords:maximumlikelihoodestimation;leastsquares;theregressionequation;systemidentificationChapter1未知參數(shù)的最大似然估計方法最早是由高斯提出的，后來為費歇在1912年的文章中重新提出，并且證明了這個方法的一些性質(zhì)[1]。這是一種得到廣泛應用的統(tǒng)計方法。它是建立在最大似然原理基礎(chǔ)之上的一種統(tǒng)計方法，所得到的最大似然估計具有很好的性質(zhì)，如一致性、有效性和不變性。從某種意義上說沒有比最大似然估計更好的參數(shù)估計，因此最大似然估計方法在實際中有非常廣泛的應用。1.1最大似然估計原理從理論觀點來看，是利用總體的分布函數(shù)的表達式及樣本所提供的信息，建立未知參數(shù)的估計量。設總體的概率函數(shù)為，其中，為未知參數(shù)，參數(shù)空間是l維的為簡單隨機樣本，他們的聯(lián)合概率函數(shù)為：稱為的似然函數(shù)，若有使得下式成立：，則稱為的最大似然估計量。1.2估計的求法常見的最大似然估計方法有微分法、定義法和比值法?，F(xiàn)分別予以介紹。1.2.1微分法當似然函數(shù)為的連續(xù)函數(shù)，且關(guān)于的各分量的偏導數(shù)存在時，可用微分法求最大似然估計。設是k維的，是中的開區(qū)域，則由極值的必要條件知最大似然估計應滿足似然方程：為了方便，常對似然函數(shù)取對數(shù)，易知與在上有相同的最大值點，因此，似然方程可寫成值得注意的是，由極值的必要條件知最大似然估計一定是似然方程的解，但未必似然方程的所有解都是最大似然估計，嚴格講對似然方程的解要經(jīng)過驗證才能確定是最大似然估計。1.2.2定義法似然函數(shù)若關(guān)于有間斷點，或似然方程無解或解不在內(nèi)，這時由似然函數(shù)的形式，利用定義直接判斷出最大值點。1.2.3比值法這種方法使用于參數(shù)是離散型情形。為求最大似然估計，經(jīng)?？紤]參數(shù)取相鄰兩項值時，用所得的似然函數(shù)的比值或差來找似然的最大值點。1.3回歸系數(shù)的最大似然估計似然函數(shù)[2]其對數(shù)似然函數(shù)將其關(guān)于,求導并令其函數(shù)值為0，得到似然方程組經(jīng)整理，可得解上式可得上式為參數(shù),的最大似然估計。Chapter2最小二乘法最早出現(xiàn)在勒讓德1805年發(fā)表的論著《計算彗星軌道的新方法》附錄中。該附錄占據(jù)了這本80頁小冊子的最后9頁，在前面關(guān)于衛(wèi)星軌道計算的討論中沒有涉及最小二乘法，可以推測他當時感到這一方法尚不成熟。1809年，高斯發(fā)表論著《天體運動理論》。在該書末尾，他寫了一節(jié)有關(guān)“數(shù)據(jù)結(jié)合”的問題，以極其簡單的手法導出誤差分布—正態(tài)分布，并用最小二乘法加以驗證。2.1最小二乘法的原理基本最小二乘法，其統(tǒng)計學原理[3]是：設物理量y與l個變量間的依賴關(guān)系式為其中是方程中需要確定的n+1個參數(shù)。最小二乘法就是通過m（m>n+1）個實驗點與實驗值間的偏差平方和取得最小值。在設計實驗時，為了減小隨機誤差，一般進行多點測量，使方程式個數(shù)大于待求參數(shù)的個數(shù)，即m>n+1。這時構(gòu)成的方程組叫做矛盾方程組。通過用最小二乘法進行統(tǒng)計處理，將矛盾方程組轉(zhuǎn)換成未知數(shù)個數(shù)和方程個數(shù)相等的正規(guī)方程組，再進行求解得出。由微分學的求極值的求值方法可知應滿足下列方程組：。這樣就實現(xiàn)矛盾方程組向正規(guī)方程組的轉(zhuǎn)換。2.2一元線性擬合設變量y與x成線性關(guān)系，參數(shù)應使取得極小值。極小值的求法，和應滿足這就是含有兩個未知數(shù)和兩個方程的正規(guī)方程組。從中解得。這是來衡量實驗點的線性特性。2.3參數(shù)辨識的系統(tǒng)特性分析由于電子元器件的自身特點，放大器自身具有非線性特征，尤其是在輸入信號很小時，芯片誤差就必須考慮。同時由于采樣信號到達單片機AD采樣口后，會由于系統(tǒng)噪聲導致非線性畸變。即使使用更高等級的信號調(diào)理電路，也不可能完全消除這種畸變，而且這會使系統(tǒng)造價急劇升高，不適合于工業(yè)控制系統(tǒng)設計[4]。用軟件消除畸變的線性化校正策略有：軟件最小二乘算法辨識系統(tǒng)模型法、現(xiàn)代智能控制算法(如BP神經(jīng)網(wǎng)絡辨識)等?，F(xiàn)代智能控制算法可以很好地辨識出系統(tǒng)模型，得到較高精度的結(jié)果。但是計算量太大，即使是離線辨識，也無法在單片機代碼容量中實現(xiàn)。所以采用最小二乘辨識模型法，代碼量小，性價比高，系統(tǒng)穩(wěn)定可靠[5]。茆詩松，程依明，濮曉龍．概率論與數(shù)理統(tǒng)計[M]．北京：高等教育出版社，2004譚劍