基于嶺回歸的方差推斷分析案例本章節(jié)及整篇文章考慮的線性回歸模型如下：2-(1)其中，是第i個(gè)響應(yīng)變量，，是p維協(xié)變量，，是相應(yīng)的系數(shù)變量，是與不相關(guān)的向量，，樣本是獨(dú)立同分布的。1.1參數(shù)估計(jì)2020年Liuetal.(2020)[27]在文中討論了嶺回歸中誤差方差的估計(jì)問(wèn)題，因?yàn)榫€性回歸模型的最小二乘估計(jì)為，但是當(dāng)不具有可逆性時(shí)是求不出的，而且若無(wú)限接近0，那么此時(shí)的回歸系數(shù)將會(huì)趨近于無(wú)窮大，導(dǎo)致估計(jì)失去意義。此時(shí)解決此類問(wèn)題的方法是利用嶺回歸或Lasso回歸，因?yàn)樗麄兛梢越鉀Q回歸變量具有多重共線性或樣本量n小于協(xié)變量個(gè)數(shù)p的情況。嶺回歸的目標(biāo)函數(shù)為：2-(2)令2-(3)利用梯度下降法求得，2-(4)令2-(4)式等于0，得2-(5)我們將公式2-(5)進(jìn)一步變形得到：2-(6)其中，，,并且是維的單位矩陣，因此殘差和的均值為：2-(7)其中,通過(guò)計(jì)算推導(dǎo)得到：2-(8)2-(9)在以上推導(dǎo)的條件下，可以得到，2-(10)所以最終得到的誤差方差的估計(jì)值為：2-(11)接下來(lái)是文中所做估計(jì)的一些漸近性質(zhì)，在介紹相關(guān)性質(zhì)之前，首先給出以下假設(shè)與引理，同樣的，這些假設(shè)與引理在彈性網(wǎng)中同樣適用（除假設(shè)1）。假設(shè)1：當(dāng)n趨近于無(wú)窮大的時(shí)候，有。假設(shè)2：模型誤差的四階矩是有限的，即。假設(shè)3：協(xié)變量遵循成分結(jié)構(gòu)，其中和分別是未知向量和矩陣，并且,。另外，對(duì)于一些常數(shù)，有；對(duì)于不相等的正整數(shù)和非負(fù)整數(shù)，其中，有。假設(shè)4：存在兩個(gè)正數(shù)界，，其中表示的最大和最小特征值。假設(shè)5：的極限存在，并且有，其中，里面的A和B是任意兩個(gè)維的矩陣，而且是矩陣的第j列向量。備注：上述的假設(shè)中，假設(shè)1指定協(xié)變量維數(shù)p和樣本大小n的收斂狀態(tài)。假設(shè)2對(duì)模型誤差施加了一個(gè)矩約束。BaiandSaranadasa(1996)[35]，ChenandQin(2010)[36],ZhongandChen(2011)[37],Wangetal.(2015)[38]andCuietal(2017)[39]對(duì)因子結(jié)構(gòu)考略了假設(shè)3與假設(shè)4。在假設(shè)5中，假設(shè)的極限存在在隨機(jī)矩陣?yán)碚撝泻艹Ｒ?jiàn)，并且假設(shè)與BaiandSaranadasa(1996)[35]和ZhongandChen(2011)[37]中的是一致的。引理1：假設(shè)，設(shè)是M-P定律，且。2-(12)因此對(duì)于足夠小的r，我們有如下公式，。2-(13)引理2：在滿足假設(shè)3與假設(shè)4的條件下，有2-(14)其中關(guān)于引理的證明，可以參考Liuetal.(2020)[27]所寫(xiě)文章中的補(bǔ)充材料?；谇懊娴募僭O(shè)與引理，我們可以得到嶺回歸估計(jì)方差值的漸近性質(zhì)。引理3：假設(shè)滿足前面的假設(shè)1-5，并且有，那么有方差估計(jì)值的相合性，即，另外估計(jì)值也具有漸近正態(tài)性：2-(15)其中,2-(16)公式2-(16)里面的滿足上面的的引理1。1.2同時(shí)置信區(qū)間同時(shí)置信（預(yù)測(cè)）區(qū)間，它是針對(duì)多個(gè)參數(shù)的置信區(qū)間，所有的參數(shù)是同時(shí)適用于我們給定的置信度的，因此，同時(shí)置信區(qū)間包含了多個(gè)置信區(qū)間，但是，當(dāng)參數(shù)只有一個(gè)時(shí)，同時(shí)置信區(qū)間此時(shí)就變成了單個(gè)的置信區(qū)間。又因?yàn)槎鄠€(gè)不同置信區(qū)間的相加會(huì)在一定程度上降低同時(shí)置信區(qū)間的置信度，因此，我們?cè)谧鐾瑫r(shí)置信區(qū)間的同時(shí)，還要考慮置信水平的選擇?；诠烙?jì)的回歸系數(shù)以及方差，接下來(lái)討論兩種同時(shí)置信區(qū)間，分別是Bonferroni方法和Scheffe方法，它們都是通過(guò)求解參數(shù)的任意線性組合的置信區(qū)間來(lái)得到多個(gè)參數(shù)的同時(shí)置信區(qū)間的。2.2.1Bonferroni方法首先是利用Bonferroni方法構(gòu)造同時(shí)置信區(qū)間，它的求解思想如下(Scheffe方法同樣適應(yīng))。假設(shè)是某個(gè)發(fā)生的事件，那么2-(17)接下來(lái)對(duì)上式進(jìn)行推導(dǎo)，我們知道的逆事件為，有2-(18)若想讓等號(hào)成立，需滿足的條件是兩兩互不相容。但是在一般的情況下，其中的等式是不會(huì)成立的?，F(xiàn)在假設(shè)原假設(shè)是通過(guò)檢驗(yàn)統(tǒng)計(jì)量在顯著性水平上的檢驗(yàn)，拒絕域記為，那么有2-(19)其中上式2-(19)中的，且FWER滿足下面的由WuandWu(2016)[40]提出的引理4。引理4：令T表示下式2-(20)假設(shè)檢驗(yàn)問(wèn)題中檢驗(yàn)統(tǒng)計(jì)量，2-(20)那么FWER可以定義為，2-(21)其中表示在參數(shù)下的概率。由此我們可以看出與同樣的參數(shù)在置信水平下獲得的置信區(qū)間相比較，同時(shí)置信區(qū)間就相當(dāng)于把每個(gè)參數(shù)的置信水平從擴(kuò)大到，由此得到一個(gè)比之前范圍更大的置信區(qū)間。例如（我們以多元正態(tài)分布的均值為例），設(shè)定總體變量,其中是未知的，并且它也是我們所需要估計(jì)的參數(shù)。是已知的，我們需要考慮的p個(gè)檢驗(yàn)問(wèn)題為：2-(22)此時(shí)，假設(shè)我們獲得的樣本是來(lái)自總體的獨(dú)立同分布的n個(gè)樣本，用樣本的均值與協(xié)方差來(lái)估計(jì)其中的總體均值與總體方差，，樣本協(xié)方差矩陣為，因此就有2-(23)現(xiàn)在思考的同時(shí)置信區(qū)間形式，如下：2-(24)對(duì)上面的2-(24)式進(jìn)行計(jì)算得，2-(25)其中c為待估參數(shù)，使得下面的同時(shí)置信區(qū)間，在置信水平為的條件下是成立的，即：2-(26)因此我們就可以得到，2-(27)為了使2-(27)成立，只需要2-(28)由統(tǒng)計(jì)量的分布我們可以知道這里的，即自由度為的分布在置信水平為處的分位數(shù)。因此，的同時(shí)置信區(qū)間為，2-(29)以上就是我們用Bonferroni方法來(lái)求同時(shí)置信區(qū)間的大致思想，將其應(yīng)用到我們本次實(shí)證中，就會(huì)得到因變量的同時(shí)置信區(qū)間公式，正如凌喬楠(2020)[34]在文中所示：2-(30)因?yàn)槲覀兪且獙?duì)多個(gè)因變量進(jìn)行預(yù)測(cè)，即要通過(guò)構(gòu)造一個(gè)對(duì)全部預(yù)測(cè)值的置信區(qū)間，從而得到目標(biāo)對(duì)象的預(yù)測(cè)區(qū)間。對(duì)于，找到d個(gè)互不相關(guān)的向量，令為的行滿秩矩陣。中的任意行向量都可由A中的列向量線性表出，此時(shí)求我們所需要預(yù)測(cè)的個(gè)預(yù)測(cè)值的同時(shí)置信區(qū)間即為求這d個(gè)預(yù)測(cè)值的同時(shí)置信區(qū)間，即。而其中的是任意的向量，但是在本文中，需要滿足，可知的同時(shí)置信即為的同時(shí)置信區(qū)間?？梢愿鶕?jù)WuandWu(2016)[40]在文中提到的，得到上式對(duì)因變量的2-(30)形式的同時(shí)置信區(qū)間公式。其中公式2-(30)中的K是不確定的，它需要滿足：2-(31)因此通過(guò)上式得到的分位數(shù)記為K1，我們?nèi)　?.2.2Scheffe方法同樣的，Scheffe方法得到