托方交遂大學矮毒掌棱論叉 摘要 毋3 i 9 7 5 線性模型是一類報重要的數(shù)學模鍪，它在經(jīng)濟、國防等許多領域 都有著廣泛而煎要的應用。線性模墅理論的研究已成為鬻際統(tǒng)計界的 研究重點之一。本文基于般的線性模登，對其中的參數(shù)估計簡題進 行了研究。 我們對線性模型的參數(shù)估計理論進行了比較系統(tǒng)的研究，主要結(jié) 論有： 1 在l s e 估計的穩(wěn)健性方面，我們用不同于z y s k i n d 的方法，得 到了一些新結(jié)淪。借先，我們對設計矩陣列滿秩的情形，給出了 g l s e 細l s e 相等的兩個充要條件和令充分條件。揭示了g l s e 和l s e 相等與它們方羞相等之間的關(guān)系。對于設計矩陣般情形， 我們給出了三個充分條件，較好地解決了l s e 傳計穩(wěn)健性方面的問 題。、 2 我們討論了m 估計的游近正態(tài)性，改進了這方蘧的一些結(jié) 論?；鍛呓Y(jié)論中，關(guān)于誤茇熬分毒函數(shù)假定為在0 點處有正的導 數(shù)，我稍將該條搏推廣到個更般螅條 牛， 垂明了m 。估詩的灝遺 正態(tài)髓。 爿 3 我們研究了不可倍添數(shù)的線性繼計豹霹容誨搜，蘺先我蜘對予 一嶷特殊靜設計簸陣莘蠢誤差，給密了哥容許性鑫每足個充要條捧。然 后，我們t 正確了一般情形蚜胃純?yōu)樵撎厥馇樾嗡托蟹州?，褥到不霹?函數(shù)線往估計的可容許往的充要條件。萋本上薜決了這方囂靜悶題。 4 我們和閣可信兩數(shù)估計的w 容許往的經(jīng)霞淤及一蹙矩陣不等 式，給出了可估函數(shù)全體可容許信計的顯式寢達式。 5 在一個很一般的條件下，誕明了西歸系數(shù)相合倍計的存在性。 關(guān)鍵詞：線性模型，參數(shù)估計，躐小二乘估計，m 一估計，相合性， 容許估計 北方交通大學碩士學位論文 a b s t r a c t l i n e a rm o d e li sav e 珂i m p o r t a n tm a t h e m a t i c a lm e d e l 。i ta p p l i e st om a n y f i e l d ss u c ha se c o n o m ya n dn a t i o n a ld e f e n e e 期1 es t u d yo fl i n e a rm o d e lh a s b e c o m ef o c u si ni n t e m a t i o n a ls t a t i s t i c sg r o u p b a s e do nt h en o r m a l l i n e a r m o d e l ，w es t u d yp a r a m e t e re s t i m a t e w eg i v eas y s t e m a t i ca c c o u n to nt h et h e o r yo f p a r a m e t e re s t i m a t e t h e m a i nr e s u l t sa r ea sf o l l o w s ： lo nt h er o b u s t n e s so fl s e ，u s i n gt h em e t h o d so t h e r 氆a nz y s k i n d s ，w e g a i n e ds o m en e wr e s u l t s f i r s t ，w ed i s c u s st h ec a s et h a tt h ed e s i g nm a t r i xi s r o wf u l io r d e r g e tt w os ，nc o n d i t i o n sa n do n es u f f i c i e n tc o n d i t i o ni nw h i c h g l s ei se q u i v a l e n tt ol s e ，w ep o i n to u tt h em e a n i n gt h a tt h ev a r i a n c eo f g l s ei st h es a n l ea st h ev a r i a n c eo fl s e i nc o m m o ne a s e ，p r e s e n t i n gt h r e e s u f f i c i e n tc o n d i t i o n s ，w es o l v et h ep r o b l e mn i c e l y + 2w ed i s c u s st h ea s y m p t o t i ct h e o r yo f m - e s t i m a t e ，a n di m p r o v es o m e c o n c l u s i o n s 。i np r i o rc o n c l u s i o n i ti ss u p p o s e dt h a t 也ed i s t r i b t i t i v ef u n c t i o no f e r r o rh a sp o s i t i v ed e r i v a t i v ea tz e r o g e n e r a l i z i n gt h eh y p o t h e s i s ，w es t u d yt h e a s y m p t o t i ct h e o r yo f m e s t i m a t e 3w es t u d yt h ea d m i s s i b l ee s t i m a t eo f t h ef u n c t i o nw h i c hc a nn o tb e e s t i m a t e d f i r s t ，f o ra k i n do f s p e c i a ld e s i g nm a t r i xa n de r r o r , w eb r i n g f o r w a r ds o m es ，nc o n d i t i o no na d m i s s i b l ee s t i m a t e 曩豫n 。w ep r o v et h a ta n y c a s ec a nc o n v e xi n t ot h es p e c i a lc a s e 4u s i n gs o m em a t r i xi n e q u a l i t i e s ，w eg e tt h ee x p r e s s i o no f a d m i s s i b l e e s t i m a t e 。 5w e p r o v et h ee x i s t e n c eo f r e g r e s s i o nt o e f f i c i e t uc o n s i s t e n te s t i m a t ei n t h eg e n e r a l i z i n gc o n d i t i o n k e y w o r d s ：l i n e a rm o d e l ，p a r a m e t e re s t i m a t e ，l s e ，m e s t i m a t e ，c o n s i s t e n t ， a d m i s s i b l ee s t i m a t e 北方交通大學碩士學位論文 第一章預備知識 1 1 線性模型簡介 線性模型是一類很重要的統(tǒng)計模型。它包括通常的線性回歸模 型、方差分析模型、協(xié)方差分析模型和方差分量模型等，這些統(tǒng)計模 型在國民經(jīng)濟的發(fā)展中都有著廣泛而重要的應用；另一方面，線性模 型的基本理論與方法也為其它統(tǒng)計模型的理論與方法提供了基本的工 具。 現(xiàn)在我們給出線性模型一般的數(shù)學定義，從某種意義上講，它能把 各種形式的線性模型都包羅在內(nèi)。 假設我們對變量y 作1 1 次觀測，得到y(tǒng) ，y 。y 。，它們可以表 為如下線性組合形式： y l = x l l 屈+ 工1 2 2 + + x l p 口+ e l ， y ! = x 2 1 j b l 七x 2 2 p 2 + + x l p pp + e l ， ( 1 1 ) y q = x 帆_ b 、七x n ：p l + + x 叩參p + e ， 此處( i = l ，2 ，n ；j = l ，2 ，p ) 均為已知常數(shù)，對于不 同類型的特殊模型，的取值具有不同的特點。例如，在線性回歸模 型中，z ，可以是隨機變量的一組給定值，它既可取一些離散值，也可取 連續(xù)值。而在方差分析模型中，它只能取0 ，l 兩個值。屈，屈，盧。 為模型的非隨機的未知參數(shù)。島( f = 1 , 2 ， ) 為模型的隨機誤差，也稱 為模型誤差，它反映了y 值構(gòu)成中由大量偶然性因素的影響所形成的 那一部分，或更確切地說，沒被諸x 因素所反映的那部分。要降低 e 。( i = 1 ，2 ，n ) 的影響，就需要盡量找出對y 有影響的各種系統(tǒng)性因 2 線性模型中的參數(shù)估計 索，把它從e j ( 扭1 , 2 ，? ) 中分離出柬。但這樣做，受科學水平、? l - n 條4 牛以及人、財、物等各零4 i 條件的制約，麗且也不見得一定有利。 e ，( f = 1 , 2 ，據(jù)) 滿足e e ，= o ( i = 1 2 ，7 ) ，迎c m ，( g ，) = 穢，對一。切 ，、| 又已 1 ，= 口= l y 2 ： y 。 g l 8 2 ： e = f l ix l2 lx 2 2 f-t_ x mx n 2 。 拶1 o 1 2 蘆2 10 2 2 0 - 1 0 - 日2 薩” 掰( 1 1 ) 變?yōu)閥 = 鄙+ e ，其中e 滿足e e = 0 ，c o v e = 囂 ( 1 。2 ) 定義l 稱模羹y = 弼+ e ，e e = o ，c o v e = ，為線性統(tǒng)計模型，簡 稱線性模型，其中y 。為觀測向量，蓋。稱為設計矩陣，聲。稱為未始 參數(shù)向蹩，e 稱為隨機誤差向量。 對于模型( 1 2 ) ，通常假定= 0 - 2 ，?；? 2 v 或其它適當假設 其中盯2 0 未知，v 0 已知。更一般地，我們可將x 理鷦成一個線性 變換( 線 生算子) ，露憋理解成對囂，非負定映射( 稱為協(xié)差算予) 。換 言之，我們有婦下受一般豹 定義2 設( q ，f ，p ) ，p p ，楚一概率空闋族，y 是q 一 l ( 個 向量空闊) 的一個可測交換 e p y l 。v p p ： i i s p a n e p y ：p d ) = l ； i i i c o v 。( y ) d ，v p p ， 一一! ! 要苧翌苧箜塑主鱟竺翌墨 則豫y 服從線蠼模型m ( l ，d ) 。 注：設( q ，f ，p ) 是一概率空趣，h 是帶騫內(nèi)織 的一個 向量空悶，a 是h 上的個療一代數(shù)，則稱q l 蠡冬個可測變挨、，( 即 y 。( a ) 量f ) 為h 值隨機元( r e ) 。 若存在“h ，使得v a s h ，有 e ( a ，y ) = ( a ，l i ) 則稱且為隨機元y 的數(shù)學期望，記作e y = u 。 若存在h h 的對稱、非負定映射，使得v a 、8 h ，有c o v ( ， ) 。 ，則稱為隨機元y 的協(xié)方差簿子，汜作c o v ( v ) ： 或d y 2 其中h h 的映射是對稱的，記作= x ，意攢： = ，￥a 、b h 。 雨h i - t 靜對稱映射是非受定豹，淀作 0 ，意撂： 0 ，v a h 。 線性模型在工程實踐中是屢見不鮮的。 例1 設y ( t ) = b o + a t + + 屈。t ”+ e ( t ) ，其中成，崩，。建未 知參數(shù)，在t = t ；( i = l ，2 ，n ) 所獲得的觀測量為 y i = y ( t ；) 2 熱+ 照t i + + 級t ?！? e ( t ，) 記2 ( 島，韙，反) 1 ，e = ( e ( t ；) 。，e ( t o ) ) 1 ， 則y = x 療+ e 這是熟知的多項式曲線擬含模型，它在飛行器試驗結(jié)果的軌道特 性分析中常被用到。 倒2 考慮線性系統(tǒng)輸入滑動和 3 線性模型中的參數(shù)估計 y ( k ) = w , x ( k - i ) ，# 其中x ( k - 1 ) 。，x ( k - n ) 為線性系統(tǒng)的輸入系列 為權(quán)系數(shù)。輸出信號y ( k ) 靜測量 砉為 z ( j ) = y ( j ) + e ( j ) ，j = k l ，k - l + i ，k 由觀測量z ( k - l ) ，z ( k ) 去估計權(quán)系數(shù)w 可以寫為z = x 口+ e 其中 z = ( z ( k - l ) ，z ( k ) ) 1 ， x ( k 一2 ) x ( k 1 ) x ( k 3 ) x ( k 一2 、 x ( k 一三一) 1 x ( k 一1 ) i x ( 蠢一a ) 聲= ( w ，砥) 1 ，e = ( e ( k - l ) ，e ( k ) 這是熬知的線性平滑問題，它在數(shù)據(jù)處瑗中j 澎用眈較廣泛 l 。2 矩陣知識 矩釋船設奩線性模型中騫蒙要茲應翔，為鎪行文馳完整，我們攙 一些后文所需靜結(jié)論魏予此。蘺先提出本文串常用的些記號。琢 亍 n 列的斑陣a 常稱為m n 鋌陣a ，或a 。警i t t = n 對稱為n 階方陣，方 陣a 的行列式記為f a 。矩陣a 的轉(zhuǎn)置記為a 或a ，。- n 矩陣稱為列 向量，而一行矩陣稱為行向鱉我們以不加“”或“t ”的向量表示 列向量，例如a 為一列向量，而a 為行向量。向量a = ( a 。，a 。) 的 4 二- 一! 堅圣墊叁蘭塑主整堡堡圭 廠*、巧 長為j q 二j ，記為i fai j 。矩陣a 的秩記為r k ( a ) 或r a n k ( a ) 。若a t = i 為方陣，瓣其跡( t r a c e ) ，酈主對角線元素之和，記為t r ( a ) 。本交中， 若非特剮指出，般都考慮實矩陣。 若a 為線性子空間，則其形交補空間記為a - 。浚矩陣 a 2 ( 口一：；“。) ，則由a 的列向量a 。，a 。生成的線性子空間記為 u ( a ) ，其難交補空間記為“i ( a ) 。顯然u ( a ) = ao | a 即 。 正定矩陣a 逸為a o ，半正定矩賻a 記為a o 。本文中，i 卜定矩 峰與半正定矩陣警指對稱短f - 。若a b o ( a b o ) ，則記為a 8 ( a b ) 。n 階單位鏈陣記為i 。 1 2 1 廣義逆矩陣 定義1 對于矩陣a 。，切滿足方程組a x a = a 的矩陣x 稱為趟陣 a 的廣義逆，記為a 。 定璞1 對予飪意繪定馳短簿a 。a 必存在。 證弱：若a 。= e ，剿任意n x m 除矩簿餐楚a 黥廣義逆。當a 0 時，設r k ( a ) = r ，剮必存在菲奇異疑陣p 與蟄俊得 4 ：0 0 1 。 l0 吖 設x 為a 的廣義逆，則有 刪= 彳鑄p ( 臺：) 叫臺軫p 眙躥 線性模型中的參數(shù)估計 營( t 00 。p ( 00 。) = 00 ) 廣il 若汜q x p = f b 馬2 l t 琶b 1 2 ： ，玩為r 階方陣，則上式 0 。) = ( 0 10 0 曹b 1 1 = ， 予最刪= 名捌。( 乏沙 其中囂m b 2 ，b 2 2 任意。 推論1 1 ( t ) 對于任意繪愆豹矩黲a 。棼a 對稱，則在凝有a 中至少裔一個冕對稱靜。若a 0 ，剝至少有一個a - 1 0 ； ( 2 ) a - 唯一a 為可逆矩陣，既時a - = a ； ( 3 ) a - a 與aa ”均為冪等斑陣，置 r k ( a 一) r k ( a ) = r k ( a a ) = r k ( a a 一) ； ( 4 ) 若) c 肛0 ) ，( c ) c - ) ，則c a b 與a ”的選擇無關(guān)。 上述事實不難從定理】以及廣義逆的定義得到。 定理2a 一肖下列基本性質(zhì)： ( 1 ) ( a 一) 為名魏一個廣義逆，特別地，若a = a 。，則9 ) 為a 豹一個廣義逆。 ( 2 ) 著p ，爵均為可遂方陣，剮( p b o ) 一= q 。b p ，麩露在 b 一。q ( p b q ) 一p 證明：( 1 ) 顯然。只證( 2 ) p b q ( p b q ) “p b q = p b q 錚b q ( p b q ) 一胎= b 酋q ( p b q ) 4 p = b 一 ( p s q ) 一= q “b p 。 北方躉遇大學碩士學位論文 定臻3a ( a 。么) 一a a = a ， a a ( a 爿) 一a = a 證明：令艿= 矗f 。名) 一a 1 a a ，剽 b b = 爿【( 彳蠢) 一彳一，】 f _ 【( 一彳) 一a a 一，1 = 【( 0 彳) + a a 一，】7 a 一【( 爿彳) a a 一，】 = ( 爿彳) 一爿爿一， 【彳a 一一2 爿 = 0 所以占= 0 ，即a ( a + 柵一a a = a 。網(wǎng)理可證第二式。 定理4 若記只* a ( a + 4 ) 一a 1 ，則只與( 4 4 ) 一的選取無關(guān)且只對稱、 幕等。 涯明：任取名1 a 豹囂個廣義逆( 蠢+ ) i 與( 名名) ；，令 b = a ( a 蠢) i 名- a ( a 1 名) ；a ， ；l l 雪詹= 0 ( ( 彳名) i 一( 彳彳) i j 彳 。f 彳k 彳彳) i ( 彳“) ；j 彳 = a e ( a 0 ) i 一( 4 爿) ；】a4 【( 0 彳) i 一( 彳。爿) ；】a = 4 ( 以彳) i 一( “爿) ；】【爿一a ?！?= 0 所以b = 0 ，即a ( a 爿) i 爿。= a ( a 1 爿) ；“，亦即只與( 一+ 彳) 一的選擇無關(guān)。 注意到a a 對稱，款至少宥一對稱的口。么) ( 見推論1 i ) ，選 此對稼豹蠢+ 固一，靼知只= a ( a 一) 4 a 對稱，又 爵= a ( a 蠢) 一a a ( a 名) 一a 3 a ( a 名) 一a2 只， 即只冪等。 注：1 著a 冪等，則( i ) a 的特征值是0 或1 ； ( i i ) t r ( a ) = r k ( a ) 2 若a 對稱、冪譬，則a o 下西的定理用緞贍駒廣義逆給必了相容線性方程紐的遞解。 定理5 潑a x = b 為擺套線性方程組，則 ， 線- 勝模型中的參數(shù)估計 ( 1 對于任一廣義遵a 一，x = a 。b 必為方程組的解； ( 2 ) 齊次線性方程鰓a x = o 豹通鰓為x = ，一4 一。4 ) ：，此處二 為任意的向量，a 一為任意滏定的一個廣義逆： ( 3 ) 線性方程綴a x = b 韻遙解為x = a b 十f ，一。一a ) z ，j _ i ；中：為 任意的向量，a 一為任意固定的一個廣義逆。 證明：( j ) 由相容性假設知，存在x 。使得a x 。= 6 ，故時f f ，。 a 一，a ( a b ) = a a a x 。= a x o = b ，即a b 為解。 ( 2 ) 設為倒= 0 的任一解，即a x 。* 0 ，那么 確2 ( j a a ) x 。十a(chǎn) a x 。= ( a a ) x 。，即任解都取( ，一a a ) z 的形 式。反過來，對于任意的：，囂a ( 1 一a a ) z = ( a 一。4 aa ) - = 0 ，故 ? 一aa ) z 必為解。 ( 3 ) 任意敬意一個廣義逆一，爨( ! ) 期五= a b 為方程緝& 0 一個特解，由( 2 ) 知扔= ( i a 一弦為齊次方程繾硝= o 豹遂解。 依據(jù)非齊次線性方程組的解的結(jié)構(gòu)定理知葺+ 溉為a x = b 的運解。 定理6 設a x = b 為相容線憔方程組，且b 毋0 ，那么當a 一取遍 的所有廣義逆時，x = a b 構(gòu)成了該方程組的全部解。 證明：酋先由寇理5 知，a “b 必為相容線性方程組a n = b 的解， 敞只需爵證a x = b 的任一鼴必有a b 的形式。事實上，若怒 a x = 躲孵，幽定理5 知x 。= a 一6 + ( ，一a - a ) z e ，對某個粕，因為 6 0 ，所以存在矩薅u ，緩撂 g o = u b ( 鍘盎瑟可敬“= ：。( 矗6 ) 。b + ) ，敞 x 。= a b 十( ，一a a ) u b = 【a 一+ ( ，一a a ) u b = g b 易驗證g = a 一十( ，一a a ) u 為a 的一個廣義逆。 l 。2 ，2 矩陣不等式 f 回的矩陣不等式在本文后面有重鎏的應廂， 定理1 設d = d i a g ( d ，d ，) 和g = d f a g ( 9 1 ，- ，g 。) 蕾為p 階對角 陣，且0 d ，。，若存在薩交矩陣q ，使得 t r ( 1 g 1 2 t r d2 ， q g2 q 蔓( j d ) 2 ， 則此二式必為等式。 涯明：出于0 d 蘭；，則0 吐l ，f = l ，p 。 記q = ( 窖 ，f 一，譬，) ，z2 = q l g 2 q 。，i - - 1 ，p ，則f 2 為q g2 q 的第i 個 對角元。毒q g 。q ( ，一d ) 。薪，z 2s ( 1 d i ) 2 ，i - l ，p 等價地，d ，1 一z ，i = l ，p 由c a u c h y 不等式以及q 的正交性，得到 ( u i g u ，) 2 “沁“：g 2 “，= ，i = 1 ，p 于是。f “：g “，i = l ，p 敵羔，圭“j 國，；t r ( q g q ) ：t r ( g ) ：pg ， 從而自一( d 2 ) = 蘭j ? 芝( 1 一) ：p 2 杰；+ - p ，： j 。l，= lf 一1扭l = p 一2 z + t r ( q g 2 q ) = p - 2 z z + t r ( g 2 ) = p - 2 y ，十e g ： 線性模型中的參數(shù)估計 = ( 1 一g ，) 2 + 2 ( g ( 1 一g ，) 2 = t r ( i g 、! 于是，第一式成為等式。下證第二式也為等式，若 0 ( 一d ) 二一q g2 q ，但是不為0 ，于是它的對角元( 1 一d ，) ：，! ， i 2 l ，p 中至少有一個為正，亦即至少對某個i 有d ， t r ( a ) 。 證明：對a 的階數(shù)進行數(shù)學歸納法。 當n 2 2 時，設4 = ( ；旬，不妨假定c d 。取f 交矩陣 p ( s ) = ( 1 i 占1 二名) ，此處s 。n y y , j 、，且r = 正再。此時，我們 有t r ( p ( c ) a ) 一t r ( 4 ) = - e ( a + b ) + t ( c d ) ，由r 0 和c d 知，只要 s 0 充分小，就有t r ( p ( e ) a ) 一t r ( a ) 0 。 假設定理結(jié)論對一切n 一1 階非對稱的方陣都成立，現(xiàn)設a 為1 3 階 非對稱方陣，則a 至少有一個非對稱的主子陣。 若a 的左上角子陣a 。非對稱，此時a 有形式 彳= ( 1 ；) 彳。一1 a ， 根據(jù)歸納假設，存在n 一1 階正交矩陣只。，使得 t r ( p , ，一】a 。一j ) t r ( a 。一1 ) ， 北方交通失學碩士學位論文 敬幣交矩陣p = ( 1 摻剛有 t r ( 尹d ) = 護( 只a l + b ) t r ( a 撲- 1 ) + b = 護( 爿) 。 若a 的皇上辯予陣a ，。對稱，則由a 的 對稱性如，存在 c f 。( f 。，1 蔓妄 一1 ，此時將a 鴿第n 待與第1 行互換，黎n 鰣與 鷦1 列互換，亦即用初等矩陣 = oo 0l ： 0e lo ol oo ： lo oo 去皇、右乘a ，記锝到的矩眸為a ，a = c a c 。顯然a 是非對稱的 存在正交矩蹲p + ，綻t r ( p a + t r ( a ) ，但t r ( a ) = 驢( 爿) ， t r ( p a ) = 州尸c a c ) = t r ( c p + c a ) l _ t r ( p a ) ， 其中p = c p c 仍為正交矩陣。從而結(jié)論成立。 1 。3 參數(shù)估計 線性模受是數(shù)毽統(tǒng)計學中發(fā)震魄較早靜分支之。關(guān)予它靜參數(shù) 估計問題的研究可阻追溯到上畿紀裙，著名數(shù)學家a 醒l e g e n d r e 和 c f g a u s s 先后于1 8 0 6 年和1 8 0 9 年獨立地把矮小二乘法應用于躐測 數(shù)據(jù)的誤差分析。盾來，a a m a r k o v 于1 9 0 0 年證明了最小二乘估計 的方差最小性質(zhì)，即著名的g a u s s m a r k o v 定理，奠定了攝小二乘法 在參數(shù)估計理論中的地位。r c b o s e 在1 9 4 4 年引入的可估計函數(shù)的 1 1 踐，生模型中的參數(shù)估計 概念以及廣義逆矩陣的應用，使得設計矩陣為列降秩豹線性模型的估 計理論表述更宓瑟嚴據(jù)露麓潔。 線性模鍪參數(shù)估計是統(tǒng)計數(shù)學中熬一個活躍分支。它在很多領域 都育重要的應麗。跑如在鬣跨科援領域，關(guān)予飛行器翡鏷性巔導溪差 分橋、動力裝甏系統(tǒng)性能參數(shù)靜分析、飛行器運動參數(shù)的精度分橋以 及與之相關(guān)的導航、定軌、預報等問題，廣泛縫應用了線性模型參數(shù) 估計的方法。參數(shù)估計的重要性質(zhì)以及如何改進參數(shù)估計是目前工程 實踐中迫切需要解決的問題。 2 北方躉通走學碩士學位論文 第二章參數(shù)估計的一般最小二乘估計理論 2 1 最小二乘估計的背景 在實際問題中，有些量( 臼。，吼) 不能觀測，或不容易觀測，而 另外的一些量( ，一，x k ) 容易觀測，根據(jù)其專業(yè)理論，它們有線性 關(guān)系：x o + x i 臼l + - + x k o 女= 0 對可觀測量( ，五，) 觀測若干次得觀測數(shù)據(jù)( z 。t ，z 。) ， i 2 l ，n 。根據(jù)這i q 次觀測數(shù)據(jù)去估計( 鼠甌) ，得到方程組 x ，o + x l i 臼1 + + x l k 目女= 0 i = 1 ，1 3 如果依據(jù)該方程組來求( 0 ，吼) ，便存在一些問題，首先，此方程 組可能無解，其次，即使在該方程組中選出部分方程求解，那么應當 如何選擇，哪一組更精確，另外，選出的部分方程求出的解和真值的 差別有多大。 出于各種可知或不可知、可控或不可控因素在觀測過程中的影 響和干擾，使得( ，x ，x 。) 的觀測值產(chǎn)生誤差，所以，更合理的模 型是x ，0 + x i i 曰l + + x j k o i = p ，i = 1 ，n 。其中e ，為隨機誤差。 如何充分利用全部的觀測結(jié)果，從而得到一個好的估計 ( 臼一吼) ，這個問題困擾了1 8 世紀的許多數(shù)學家，包括歐拉、拉普 拉斯等人，他們的思路一直囿于構(gòu)造部分方程組來求解。 勒讓德在研究天文學計算彗星的軌道時，提出了與前人相異的思 想，他認識到尋找的隅，只) 應該使各次觀測產(chǎn)生的誤差 13 e ，( i 2 1 ，n ) 的平方和最小，這在當時數(shù)據(jù)處理上是一個很大的 進步，開辟了工程計算的新道路。 在勒讓德的方法中，最小二乘估計( l s e ) 完全是一種計算方法， 缺少誤差分析，對方程組的近似解的性質(zhì)好壞無法評價。實際上，誤 差的性質(zhì)決定了參數(shù)估計的統(tǒng)計性質(zhì)。g a u s s 的研究給出了誤差的正 態(tài)理論，他依據(jù)這個分布，獨立地導出了l s e 。 l s e 方法與誤差理論相結(jié)合，使l s e 得以極大的成功，在實際應 用中，l s e 是1 9 世紀數(shù)理統(tǒng)計學中占統(tǒng)治地位的主題。1 8 1 5 年，l 。s e 己成為法國、普魯士在天文和測地學中的標準工具，1 8 2 5 年在英圈 廣泛應用。目前，相關(guān)分析、回歸分析、方差分析以及其它一些- 9 【s e 有密切關(guān)系的統(tǒng)計方法仍在應用中占重要的地位。 2 2 未知參數(shù)的最小二乘估計 考慮一般線性模型 。y = ( 。a v ，矽仃：+ j 。e ) ( 即e e 2 。，1 8 ( o ，仃2 j 。) ”。 我們的問題是當置，x 。給定時，如何確定的估計。獲得回歸系數(shù) = ( 屆，。) 7 的估計的種方法是最小二乘法，它是將誤差平方和 e 7 e = ( y 一妒) 7 ( y x p ) g l l y 一妒1 1 2 關(guān)于口極小化的方法。 定義若多r9 滿足i p x 多= 器磐眵一妒0 2( z ) 北方交通大學碩士學位論文 則稱為的最小二乘估計( l e a s ts q u a r e se s t i m a t e ，簡記為l s e ) 。 注意到，f j y - x 多降y 硼b 硎 r - ( p 。一+ - + 島) 】 為求其極小值點= ( ，。) 7 ，可將( y x p ) 7 ( y x p ) 對 夙( j 2 l ，p ) 分別求偏導數(shù)，并令其為零得 2 r ( 屆x 。+ + 島) 】( 一) = 0 ，j = l ，p ，- l 整理后得： ”hn ( 一，屯) 屆+ + ( b ) 島= 勤r ，j = l ，p i = l，= 】，= l 將上面的p 個方程合寫成一個矩陣方程，即 x 鄹= z y ( 3 ) 稱此方程為關(guān)于回歸系數(shù)口的正規(guī)方程，它在線性模型理論中起 著重要作用。 定理l ( 1 ) 正規(guī)方程必有解( 相容) ； ( 2 ) 的l s e 必為正規(guī)方程的解； ( 3 ) 正規(guī)方程的任一解必為口的l s e 。 證明：( 2 ) 如上所證。由線性方程組的理論知，正規(guī)方程有解的 充要條件為 r k ( 。x ；z 。y ) = r k ( x 。) 該等式是成立的，首先，r k ( z ；x y ) r k ( x ) ，又 15 r k ( x 并；z ，) = r k x ( x i y ) r k ( ) = r k ( 工) 所以r k ( 戈x ! x 。y ) = r k ( x a ) ，從麗正規(guī)方程必有解。( 1 ) 成立。 設為正規(guī)方程的任一解，即x 。x 聲= x 。j ，則v r ”有 ( j ，一矽) 7 ( ，一x f l ) = 【( 少一x 聲) + x ( f l - 羅) 】7 【( j y x p ) + x ( f l - f 1 ) 】 ， 。 ， 2 ( y x f l ) ( y x f l ) + 2 ( f l 一聲) x ( y x ) + ( 聲一聲) x x ( f l - 聲) ( y x p ) 7 ( y x 蘆) 其中用到( 夕) x 1 x ( p - f 1 ) o ，且 ( 夕一f 1 ) 7 x + ( 歲一x f l ) = ( f l 一歲) 7 ( 另y x 量) = o 蹶以( y 一戈f 1 ) ( y x f l ) 。r a i n ，( y x f l ) 7 一x p ) 邵卜脊緲一妒| | 2 從而f 規(guī)方程的任一解必為盧的l s e 。( 3 ) 成立。 推論l 。1 正規(guī)方程z 1 穢= x + y 馳通艇為聲= ( 。鼻) 一x y ，此處 ( x 1 ) 一為x 的任一廣義邋。 證明：由定理1 和第一章1 2 1 節(jié)定理5 即得。 推論1 2 著r k ( x ) = p ，尉的l s e 由公式= ( x 1 ) x y 唯一確 定，且此時為的無偏估計，而d p = o - 2 ( ) c 推論1 3 假設改變回歸因子的尺度，使對一切i ，、j 有 ，= k ，。( k ，o ) ，則在此種變換下y = a 7 保持不變e 圖1 注：若在p 7 e = ( y 一妒) 7 ( 一妒) 蘭陟一邛! 中令印= 0 ，則 0 4 x ) ，從而最小二乘法就是將陟一酬! 關(guān)于曰( 鼻) 極小化的一種 方法。 由于y 與( ) 諸點之間的距離以垂直距離為最短( 參見圖1 ) 故當y p 舢( x ) 時，即( y p ) 。x a = o ，v 口r ”，亦即x ( y 一0 ) = 0 時 p | 2 = 刪曠p i l 2 此時0 = x 。y ，又注意到0 = 矽，對某個r 9 ，故有 xx p = xy 2 3 霹估計丞數(shù)與g a u s s m a r k o v 定理 當設計矩陣x 為列滿秩時，正規(guī)方程x 瑚= x y 有唯一解 羅= ( xa ) _ j x l y ( 見2 2 撼論1 2 ) 。但當r k ( x ) p 時，廣義逆zx ) 的不唯一性等致了l s 解的不準一。從而糟聲去嵇計時，就會遇到 兩個問題，第一，不唯一：第二，這許多中沒有個是的無偏估 計，因此在r k ( x ) o 已知) 中3 的 ，盯：) ? ，i = 1 ，n = ( 歲一崖聲) v “( y 一次多) = y v t y 一2 px j v 。y + 零j x j v 。x 器 美予求導，著令葵為零褥： 2 x7 v + 2 x v 。矗= 0 獻雨= ( 戈v 。爿) 一茗v 。y = p 特別地，當x 為列滿秩時，口的廣義l s e 唯一地為 + = ( 戈v 1 肖一x v “y 由予上述摸型翻以戇討論的模型只是誤差揍方差簸薄不同，蕊線 牲蘧數(shù)f 1 聲黲哥估燃又與蟄方蓑矩簿無關(guān)，于是，黠上述模型f 可 倍靜充要條件仍為c u ( x + ) 。 定義2 稱。+ 為可估函數(shù)c 的廣義最小二乘估計，簡混為f 3 l s 估計。對應地，當v 為對角矩陣時，c 稱為c 的加權(quán)矮小二乘估 計，簡記為w l s 估計。 定理1 設v o 且已知，著c + 可估，則c 是c 的唯一b l u e 。 2 6 北方交通大學碩士學位論文 證明：因為c 口可估，所以c = x6 ，b r ”。從而 f 口= b x ( x v 1 x ) 一xv “y 唯一( 與廣義逆的選擇無關(guān)) 且e c = b x ( xv 。x ) 一zv “矽= 6 1 矽= c 即 c + 是c 。的線性無偏估計。 d ( c 盧+ ) = 盯2 c ( xv x ) 一x v - 1 x ( x v 一) 一c = c t2 c ( x v 一1 、一c 設a y 為c 的任一線性無偏估計，則c = x a ，故 d ( a y ) 一d ( c ) = c t 2 一v a c ( x v1 x ) 一c = j 2 口v a a x ( x v1 z ) 一xd ( 令b = v2 d ，q = v2 x ，p ，= q ( q 。q ) 一q ) = 盯2 6 。b b q ( q 。q ) 一q 6 2 盯2 b ( 1 一晶) b 0 此因圪為對稱、冪等矩陣，一尸。0 ，這就證明了c 的方差最小性。 上式等號成立( ，一p o ) 6 = 0 b = 匕b 營口= v 1 x ( x 。v 一1 x 1 一c 營a y = c p 唯一性得證。 推論1 1 若v o 已知，則當x 為列滿秩時，c 是c 的唯一 b 1 i i e 。 2 5l s e 估計的穩(wěn)健性 雖然穩(wěn)健性( r o b u s t b e s s ) 這種思想在統(tǒng)計學中由來已久，但直 2 7 垡：蘭堡型主竺查整盟 到本世紀中期才受到統(tǒng)計學家的重視， 9 5 3 年g e b o x 第一次明確 提出“穩(wěn)健性”一詞。直觀上講，穩(wěn)健性是指統(tǒng)計推斷關(guān)于統(tǒng)計模型 即假設條件具有相對穩(wěn)定性。也就是說，當模型假設發(fā)生某種微小變 化時，相應的統(tǒng)計推斷也只有微小的改變。此時，我們就說統(tǒng)計推斷 關(guān)于這種微小變化具有穩(wěn)健性。在前面，關(guān)于線性模型有一個重要的 假設( 協(xié)，( e ) ：盯2 ，。在此條件下，我們證明了可估函數(shù)c 的l s 估計 c 白是b l u e 。但在應用上我們不可能要求一個實際問題完全滿足該 假設。事實上，我們也根本無法知道，它確實滿足這一假設，只能通 過分析或檢驗，判斷假設c o y ( e ) = 盯2 ，是否大致上可以接受。因此， 我們總是希望當實際的c o y ( e ) 與仃2 ，相差不太遠時，l s 估計c 仍然 保持原來的最優(yōu)性或即使不是最優(yōu)的，也不要變得太壞。若是這樣的 話，我們說l s 估計關(guān)于協(xié)方差矩陣是穩(wěn)健的。相反，若出現(xiàn)失之毫 厘，謬之千里的情況，這個估計就不具有穩(wěn)健性。 考查線性模型 e y = ( 。x ，仃f l ：+ 礦； ( v 。) ， 可估函數(shù)c 口的最佳線性無偏估計( b l u e ) 為c + = c 1 ( 。礦_ 1 x ) 一x v “y 且c 口4 與廣義逆的選擇無關(guān)。如果我們無視c o y ( e ) = 仃2 v 仃2 j ，而 按以前的c o y ( e ) = 盯2 情形來處理，這就導致了l s 解盧= ( x ) 一x y 。 如此看來，對任一可估i l l 數(shù)c 。，我們就有了兩個估計：l s e 估計 c 多和g l s e 估計c ，兩者都是無偏估計，而后者為b l u e 估計( 2 4 定理1 ) 。一般來說，c 多c 。，即l s e 估計和b l u e 估計不一定相 北方交通大學碩士學位論文 等，這是和c o v ( e ) = 盯2 ，情形所不同的。什么條件下二者相等呢? z y s k i n d 曾給出了一個充要條件，我們用不同于z y s k in d 的方法，得 到些新的結(jié)論，解決了這個問題。在某些情況下，比z y s k in d 的結(jié) 果更好。先介紹z y s k i n d 的結(jié)果。 定理1 ( z y s k i n d ) x , j 于線性模型 。y = ( 。x ，盯p 二+ 礦； ( v 。) ，則 c 。= c ，v c ( x + ) 辛a v b = o ，v a 1 ( ) ，b ( ) 營( 胱) = ( z ) 。特別當x 列滿秩時，= + 營( 蹦) = ( j ) 。 定理z 對于線性模型 。f l = 。x ，仃p ：+ 礦，e c v ，。，若庸c 。，= p ，則 = + ( 從而對任意的c 有c 聲= c 。+ ) 的充要條件為d ( f 1 ) = d ( f l + ) 。 注：由2 4 定理1 知，一般來說，d ( f 1 ) d o e + 1 。 證明：必要性顯然成立。下證充分性 d ( f 1 ) = 仃2 ( z z ) 。x v x ( x x ) d ( ) = 盯2 ( x v “x ) 。1 d ( ) = d ( f l + ) ( x 。) - 1 x v x ( x x ) 。= ( x v - 1 x ) 一 x v x ( x x ) 一1 = x + x ( x v 一1 ) 一1 c o v ( x 。) 1 x y ， 礦- 1 x ( x v 。1 x ) 一一x ( x z ) “】+ y ) = 盯2 ( x 。x ) 。1 x v v 一1 x ( x v 一1 ) 一x ( x 。) 一1 】 = 盯2 ( z 爿) 。1 眵聊川x ( x v 一1 ) 一v x ( x 。z ) 一1 ，q 線性模