1、多元分析的基本原理第1頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二第八章 多元分析的基本原理本章學(xué)習(xí)要點(diǎn)本章內(nèi)容結(jié)構(gòu)第2頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二第一節(jié) 概述一 什么是多元分析 1 多變量系統(tǒng) （1）產(chǎn)品的指標(biāo) （2）教育系統(tǒng) （3）單變量分析 (如圖所示) （4）單變量分析的困難：變量的相關(guān)性 第3頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二2 多元分析法 （1）變量相關(guān)性的例子：P180 有相關(guān)性，但是又不能用一個(gè)確定的方程描述相互關(guān)系 （2）多元分析法：P181 （3）例子第4頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，

2、星期二二 多元分析法的分類（從應(yīng)用的角度） 1 用于求綜合特性的多元分析法 研究的關(guān)鍵是：多個(gè)變量的綜合特性 主要方法有：主成分分析、相關(guān)分析 2 用于預(yù)測(cè)的多元分析法 研究的關(guān)鍵是：通過(guò)對(duì)多個(gè)變量的綜合研究，進(jìn)行系統(tǒng)預(yù)測(cè) 主要方法有：多元回歸法、因子分析法、判別函數(shù)法第5頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二三 多元分析在教育中的應(yīng)用 1 需求 2 應(yīng)用舉例 3 發(fā)展動(dòng)態(tài)第6頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二第二節(jié) 回歸分析零：引入1 多變量之間的關(guān)系 確定的函數(shù)關(guān)系，變量之間的關(guān)系可以通過(guò)計(jì)算直接得到 不確定的相關(guān)關(guān)系，教育中的例子很多2 回歸分

3、析的任務(wù) 用確定的函數(shù)關(guān)系來(lái)描述多個(gè)相關(guān)變量之間的關(guān)系3 回歸分析的分類（根據(jù)回歸函數(shù)的不同） 第7頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二一 直線回歸（一元線性回歸）1 線性回歸方程 y = a x + b 其中a、b為回歸系數(shù)，通過(guò)n(大于2)組樣本數(shù)據(jù)，可以計(jì)算出a、b。(如果x、y是確定的函數(shù)關(guān)系,n只需要為2：P184）2 樣本數(shù)據(jù)（觀測(cè)值）設(shè)n=3，有（x1,y1）（x2,y2）（x3,y3）三組數(shù)據(jù)把x1、x2、x3分別代入回歸方程，得到三個(gè)對(duì)應(yīng)的計(jì)算值y第8頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二3 觀測(cè)值y與計(jì)算值y的差異 三組差異分別是：

4、第9頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二4 求回歸系數(shù)（1）對(duì)誤差求極值（使誤差最?。└腻e(cuò)：P184(a、b互換位置)，經(jīng)整理得： 改錯(cuò)：P185(a、b互換位置) 第10頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二（2）回歸系數(shù) 第11頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二5 寫(xiě)出回歸方程并進(jìn)行預(yù)測(cè)6 例：（三個(gè)學(xué)生的數(shù)學(xué)、物理成績(jī)）（1）設(shè)樣本數(shù)據(jù)為(70,75)、(80,85)、(90,90)（2）計(jì)算回歸系數(shù)得：a = 0.75 ，b = 23.3（3）寫(xiě)出回歸方程：y = 0.75 x + 23.3 (4）進(jìn)行預(yù)測(cè)設(shè)某學(xué)生數(shù)學(xué)考

5、試得：x =85，預(yù)測(cè)物理成績(jī)得：y = 0.75 *85 + 23.3 = 87第12頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二第13頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二7 一般情況 樣本數(shù)由3變?yōu)閚（n3）通過(guò)完全一樣的方法，公式（85）變?yōu)椋焊腻e(cuò)：(a、b互換位置) 最后得回歸系數(shù)： 改錯(cuò)：(a、b互換位置) 第14頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二 二 多元線性回歸 1 線性回歸方程 y = a0+ a1 x1 + a2 x2 +.+ap xp 其中a0、a1、a2.ap為回歸系數(shù)，通過(guò)m(大于p)組樣本數(shù)據(jù)，可以計(jì)算出回歸

6、系數(shù)。 2 樣本數(shù)據(jù)（觀測(cè)值）(x11,x12,.x1p,z1),(xm1,xm2,.xmp, zm） 把xi1、xi2.xip分別代入回歸方程，得到對(duì)應(yīng)的計(jì)算值yi第15頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二3 觀測(cè)值z(mì)i與計(jì)算值yi的差異第16頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二 根據(jù)微分學(xué)中的極值原理，a0,a1,ap應(yīng)是下列方程的解第17頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二經(jīng)整理，得：第18頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二4 求回歸系數(shù) 再整理上述方程，得：第19頁(yè)，共43頁(yè)，2022年，5月20

7、日，13點(diǎn)32分，星期二上述方程組用矩陣表示，得： 當(dāng)(XX)滿秩時(shí)(即|XX|0),逆矩陣(XX)-1存在,系數(shù)矩陣A可以表示為：第20頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二其中A=(a0,a1,a1,ap),稱為回歸方程的系數(shù)矩陣（一列矩陣）而矩陣X則為：而X是X的轉(zhuǎn)置矩陣，Z是個(gè)一列矩陣 第21頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二三 多項(xiàng)式回歸（略）四 指數(shù)回歸（略）第22頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二五 回歸分析的應(yīng)用1 一元線性回歸 (1)樣本測(cè)量值 (2)計(jì)算回歸系數(shù) 得，a=12（這里a=R）, b=0 (3)

8、寫(xiě)出回歸方程：U=12 I (如圖所示) (4)進(jìn)行預(yù)測(cè):設(shè)某次測(cè)量電流得I=0.8,預(yù)測(cè)電壓得： U =12* 0.8 = 9.6第23頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二2 多元線性回歸 （1） 樣本數(shù)據(jù)（取自1979年某高考班）設(shè)考生的物理成績(jī)?yōu)橐蜃兞?z)，語(yǔ)文(x1)、數(shù)學(xué)(x2)、政治(x3)15個(gè)考生的測(cè)量；測(cè)量成績(jī)?nèi)缦拢╩=15,p=3）： 編號(hào) 語(yǔ)文 數(shù)學(xué) 政治 物理 編號(hào) 語(yǔ)文 數(shù)學(xué) 政治 物理 1 61.5 31 59 32 9 50.5 32 67 57 2 35 23 40.5 8 10 57.5 30 475 37 3 56.540 53 69

9、 11 47 58 63 68 4 35 19 58.5 21 12 28 28 52 27 5 50.560 49 66 13 58 22 72 41 6 41.515 59 41 14 36 23 39 20 7 59 46 68.5 57 15 45 33 53 30 8 41 26 55 7第24頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二（2) 計(jì)算回歸系數(shù)根據(jù)矩陣公式計(jì)算得a0=-44.6023,a1=0.4166,a2=0.9729,a3=0.5780（3） 回歸方程 y=-44.6023+0.4166*x1+0.9729*x2+0.5780*x3(4）進(jìn)行預(yù)測(cè)某學(xué)

10、生考試成績(jī)：語(yǔ)文=40，數(shù)學(xué)=90，政治=60 預(yù)測(cè)物理成績(jī)?yōu)閥=94.4第25頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二 第五節(jié) 聚類分析分類學(xué)：根據(jù)事物性質(zhì)進(jìn)行分類，性質(zhì)相近的分在一類，性質(zhì)差別大的分在不同的類一般分類方法的缺陷：往往帶有主觀性和任意性，不能揭示客觀事物內(nèi)在的本質(zhì)聯(lián)系和差別多元統(tǒng)計(jì)的應(yīng)用：形成了數(shù)值分類學(xué) 注：本節(jié)選用另一教材，與本書(shū)略有不同（數(shù)據(jù)矩陣行、列相反）第26頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二一基本原理（系統(tǒng)聚類法，此外還有動(dòng)態(tài)聚類法）1 設(shè)有n 個(gè)樣品，m個(gè)指標(biāo)，有數(shù)據(jù)矩陣：第27頁(yè)，共43頁(yè)，2022年，5月20日，13

11、點(diǎn)32分，星期二2 規(guī)格化變換（使各個(gè)指標(biāo)權(quán)重相同，即同等重要） 其中的兩個(gè)極值分別是第j列最大值和最小值結(jié)果：每一列數(shù)據(jù)的最大值為1，最小值為0。然后，重新構(gòu)造矩陣，仍用X表示注：也可不做規(guī)格化處理直接用原始數(shù)據(jù)，各指標(biāo)權(quán)重可能不同第28頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二3 確定距離（親疏關(guān)系）（1）距離的性質(zhì) 多元統(tǒng)計(jì)分析中的距離dij（樣品Xi和Xj之間的距離）滿足下列3個(gè)性質(zhì)： dij0,對(duì)一切Xi、Xj，當(dāng)且僅當(dāng)Xi=Xj時(shí)，有dij=0； dij=dji , 即Xi與Xj的距離 = Xj與Xi的距離； 對(duì)于樣品Xi、Xj、Xk，有dij dik+dkj,這是

12、幾何學(xué)中三角不等式的推廣（任意兩邊之和大于第三邊）。第29頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二任意兩個(gè)樣品距離越小，說(shuō)明它們?cè)浇咏ㄒ恢拢?，?jì)算距離的方法很多，主要有歐氏距離、馬氏距離（P98）、B-模距離、閔可夫斯基距離（參見(jiàn)吳 國(guó)防科技大學(xué)出版社：P271（2）歐氏距離（ 我們只介紹歐氏距離）表示第i個(gè)樣品與第j個(gè)樣品之間的距離（矩陣表示形式） （一般表示形式） 第30頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二（3）距離矩陣（按上述方法分別算出任意兩個(gè)樣品之間的距離）該矩陣共有n行、n列第31頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二4

13、 開(kāi)始聚類（初始為n類，每個(gè)樣品為1類）從D中找出一個(gè)最小值（最小距離法）涉及到的兩個(gè)類；在數(shù)據(jù)矩陣X中，把上述兩類合并成一類，兩組數(shù)據(jù)取平均值，總的類就減少了一個(gè)；重新計(jì)算D（實(shí)際上只要計(jì)算剛合并的那個(gè)類與其他各類的距離）重復(fù)、，直到所有的樣品都?xì)w為一類或者歸為所需要的類為止。5畫(huà)出聚類譜系圖第32頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二二 應(yīng)用例(10名學(xué)生三次測(cè)驗(yàn)成績(jī) ,要求為4類) 1 原始數(shù)據(jù)及規(guī)格化數(shù)據(jù)第33頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二2 計(jì)算距離矩陣 第34頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二3 開(kāi)始聚類 (1

14、)開(kāi)始,第5類和第6類的距離最小(0.1919）,把第5類和第6類聚類 (2)現(xiàn)在還有9個(gè)類，數(shù)據(jù)如下： 第35頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二(3)重新計(jì)算距離矩陣（實(shí)際上只要計(jì)算（5，6）合類與其它各類的距離） 第36頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二(4)此時(shí)，第2類和第9類的距離最小(=0.2266）,把第2類和第9類聚類(5)現(xiàn)在還有8個(gè)類，數(shù)據(jù)如下： 第37頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二（6）依次類推，重復(fù)上述步驟，經(jīng)過(guò)6次聚類之后，可得最后4個(gè)類的距離矩陣 第38頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二4 畫(huà)出聚類譜系圖 第39頁(yè)，共43頁(yè)，2022年，5月20日，13點(diǎn)32分，星期二本章小結(jié)： 多元統(tǒng)計(jì)方法比較符合教育應(yīng)用中的許多問(wèn)題，按照具體的技術(shù)方法，我們主要介紹了一元和多元回歸分析、主成分分析、聚類分析，這些方法的意義、計(jì)算方法、應(yīng)用過(guò)程是重點(diǎn)需要掌握的內(nèi)容。第40頁(yè)，共43頁(yè)，2022