1、現代高等工程數學電子教案,第8章 回歸分析 數學學院應用數學系 王國富 2012年9月,引例： 某廠生產的圓鋼，其屈服點Z受含碳量x和含錳量y的影響，現做了25次觀察，測得如下數據 x 16 18 19 17 20 16 16 15 19 18 y 39 38 39 39 38 48 45 48 48 48 Z 24 24.5 24.5 24 25 24.5 24 24 24.5 24.5 x 18 17 17 17 18 18 20 21 16 18 y 46 48 49 46 44 45 48 48 55 55 Z 24.5 24.5 25 24.5 24.5 24.5 25 25 25

2、25 x 19 19 21 19 21 y 56 58 58 49 49 Z 25.5 25.5 26.5 24.5 26 試通過上述數據建立起它們之間的關系？,回歸分析 回歸分析是數理統(tǒng)計的一個應用分枝，它主要研究變量與變量之間的某一種相依關系，其主要內容包括線性回歸與非線性回歸一元回歸與多元回歸這一節(jié)介紹一元線性回歸,回歸的含義 變量與變量之間的關系有兩種：一種是函數關系；當一組變量取定一個值時，另一個變量也有確定的值與它對應這是一種函數關系。另一種關系不能用函數關系來描述，比如人的身高與體重之間的關系；農作物的產量與施肥量之間的關系就不能用函數關系來描述,變量可以分為可控變量與不可控變量

3、（隨機變量） 在回歸分析中，討論的是隨機變量與可控變量之間的關系隨機變量作為因變量（響應變量），可控變量作為自變量當自變量只有一個變量時的回歸分析為一元回歸,否則稱為多元回歸,假設隨機變量Y與x有一元回歸關系.當選定x時,Y的數學期望應為x的函數,記,回歸分析的一般步驟: (1)求取試驗數據 (2)選取回歸模型 (3)對回歸模型中的未知參數作估計 (4)對模型進行檢驗 (5)預測與控制,(1)求取試驗數據,(2)選取回歸模型,當選取的是一元線性回歸函數時，其回歸模型可寫為,(3)對回歸模型中的未知參數作估計 當選取回歸模型為,(4)對模型進行檢驗 我們是根據經驗和散點圖選定模型的，模型是否切合

4、實際，需要對模型進行檢驗。,(5)預測與控制,一元線性回歸模型,先假定一元線性回歸模型,要使L達到最大，只要等式右邊的平方和的部分達到最小即可。,通過求導，并令其為零，可得方程組,注意：當隨機誤差服從正態(tài)分布時，參數的最小二乘估計就是極大似然估計，當隨機誤差不服從正態(tài)分布時，參數的最小二乘估計一般與極大似然估計不同。 一元線性回歸模型中回歸系數的最小二乘估計為,為了對模型及模型參數進行檢驗，我們需要知道 估計量的分布，下面對隨機誤差服從正態(tài)分布的情況下給出了一些統(tǒng)計量的分布：,我們有,我們僅證明（1）（2）。 證明（1）,證明（2）,假設檢驗 假設檢驗包括參數檢驗和線性模型的檢驗。,t-檢驗

5、F-檢驗,r-檢驗(樣本相關系數檢驗）,預測與控制,我們可以得到,由預測區(qū)間可以看出：,控制：控制是預測的反問題，當因變量y在某一范圍內取值時，x應控制在什么范圍之內。這個問題比預測要復雜。,例.為研究溫度對某個化學過程的生產量的影響，收集到如下數據（規(guī)范化形式）： 溫度x -5 -4 -3 -2 -1 0 1 2 3 4 5 生產量y 1 5 4 7 10 8 9 13 14 13 18 （1） 求Y對X的線性回歸方程。（結果保留小數點后兩位。） （2）對回歸方程的顯著性進行檢驗。（檢驗水平=0.01,） （3）對規(guī)范溫度在0.5時，對其規(guī)范生產量作95%的預測區(qū)間。,解（1）,（2）采用T

6、檢驗：選用,故回歸方程顯著,（3）,故規(guī)范溫度在0.5時，其規(guī)范生產量的95%的預測區(qū)間 為（6.43，13.55）,多元線性回歸模型,記 則有,因此,有了上面的結論,我們可以導出檢驗 的檢驗方法.在這里就不討論了,參見講義,預測,回到引例： 某廠生產的圓鋼，其屈服點Z受含碳量x和含錳量y的影響，現做了25次觀察，測得如下數據 x 16 18 19 17 20 16 16 15 19 18 y 39 38 39 39 38 48 45 48 48 48 Z 24 24.5 24.5 24 25 24.5 24 24 24.5 24.5 x 18 17 17 17 18 18 20 21 16

7、18 y 46 48 49 46 44 45 48 48 55 55 Z 24.5 24.5 25 24.5 24.5 24.5 25 25 25 25 x 19 19 21 19 21 y 56 58 58 49 49 Z 25.5 25.5 26.5 24.5 26 試通過上述數據建立起它們之間的關系？,記,則,解：設,檢驗線性模型是否顯著和檢驗假設,故,因為,取,所以,故線性模型顯著,又因為,故,顯著地不成立,9.2.4變量選擇及多元共線性性問題,在多元線性回歸模型是，由于有多個自變量，存在一些有一元線性回歸模型中不會遇到的問題。本節(jié)討論兩個涉及到變量之間關系的問題。第一個問題是關于自變

8、量與因變量之間的關系。當我們就一個實際問題建立多元線性回歸模型時，可能會考慮到多個對因變量有潛在影響的自變量，但在對數據進行分析之前無法事先斷定哪些變量是有效的（對因變量有顯著影響），哪些是無效的（對因變量沒有顯著影響）。有效變量應該保留在模型中，而無效變量應該從模型中去掉。因為無效變量在模型中會對分析結果產生干擾，從而產生誤導。那么究竟哪些變量是有效的，哪些變量是無效的呢？這就是變量選擇的問題。,第二個問題是關于自變量之間的關系。在某些實際問題中（如在實驗室或某些工業(yè)生產條件下），觀測者（試驗者）可以控制自變量的值，這是他可以在事先設計好的自變量值上觀測因變量。而在另一些情況下（研究社會、地

9、質、水文）。觀測者不能控制自變量的值，或者說自變量是隨機變量。這時，自變量之間會有統(tǒng)計相關性。當這種統(tǒng)計相關性很強時就產生“多元共線性”的問題。多元共線性的存在對回歸分析的結果產生很壞的影響。因此數據分析應該考慮多元共線性的影響，并知道用何種方法去克服這種影響。,變量選擇的方法,從原則上講，一個好的模型應該包含所有的有效變量，而不包含任何無效變量,準則是根據的 大小在所有可能的模型中選擇“最優(yōu)模型”的一種方法,設備選的自變量共有K個，先假定已知有效變量的數目為r，我們來考慮恰好包含r個變量的模型，這樣的模型共有 個,r個自變量對因變量的總的影響可以由它的決定系數 來度量,總的原則：,越大，自變

10、量對因變量的總影響 也越大,在計算決定系數時，由于SST為因變量的總平方和 ，在任何模型下是不變的，只須計算各個模型下的回歸平方和SSR,一般情況，有效變量的個數r未知時，在這種情況下如何確定最佳模型？,考慮如下的思路，對j個有效回歸變量的模型中按上述方法找到最佳模型，此時最佳模型的決定系數記為,可以得出,如何找出r,根據決定系數增加的快慢來確定r，當它由快變慢形成拐點時，此時的最優(yōu)模型的自變量的個數就是r,缺點：,準則要求對所有可能的回歸模型計算 ，當備選變量的數目比較小時，用這種方法可以保證對給定的有效變量的個數r找到理論上的最優(yōu)模型。但當備選變量的數目比較大時，用這種方法其計算量非常地大

11、,向后、向前、逐步回歸,（1）向后回歸法 其基本思路是：先將所有可能對因變量產生影響的自變量都納入模型，然后逐個地從中剔除認為是最沒有價值的變量，直至所留在模型中的變量都不能被剔除，或者模型中沒有任何變量為止。在逐步的剔除過程中，每次都對當前模型中的所有變量計算評估附加影響的F統(tǒng)計量，并找到其中最小的。如果最小F統(tǒng)計量超過指定的臨界值 Fout ，當前模型中的所有變量都保留，將當前模型作為最終模型，程序終止。反之，如果最小F統(tǒng)計量達不到臨界值，就將相應的變量加以剔除，得到一個較小的模型。在新的模型下重復以上作法。以上步驟不斷進行，直至沒有變量可以剔除，或者模型中沒有任何變量為止。最終的模型就是

12、所選定的“最優(yōu)”模型。標準的統(tǒng)計軟件通常還輸出所有中間模型。,（2）向前回歸法 其基本思路是：先將所有可能對因變量產生影響的自變量作為備選的變量集，都放在模型之外，從零模型，即不包含任何自變量的模型開始，然后逐個地向模型中加入被認為是最有附加價值的變量，直至所留在模型外的變量都不能被加入，或者所有備選的變量都已加入模型為止。在逐步加入的過程中，第一步對所有變量計算當模型中只有一個變量時的F統(tǒng)計量，并找到其中最大的。如果最大F統(tǒng)計量不超過臨界值Fin，則所有在模型外的變量都不能加入到模型中去，將零模型作為最終模型，程序終止。反之，如果最大F統(tǒng)計量超過臨界值，就將相應的變量加入到模型中去。從第二步

13、開始，每次都對當前模型外的任一變量計算；當這個變量被加入模型后，在新模型下計算它的F統(tǒng)計量，并找到其中最大的。如果最大F統(tǒng)計量不超過臨界值，可以認為所有在當前模型外的變量都是無效變量，因此都不能加入到當前模型中去，將當前模型作為最終模型，程序終止。反之，如果最大F統(tǒng)計量超過臨界值，就將相應的變量加入到當前模型中去，得到一個較大的模型。以上步驟不斷進行，直至沒有變量可以加入，或者模型中已經包含了所有變量為止。最終的模型就是所選定的“最優(yōu)”模型，標準的統(tǒng)計軟件通常還輸出所有中間模型。,（3）逐步回歸法 逐步回歸法是對向前回歸的一個修正。在向前回歸中，變量逐個被加入到模型中去，一個變量一旦被加入到模型中，就再也不可能被剔除。但是，原來在模型中的變量在引入新變量之后，可能會變得沒有存