1、教育信息處理,第八章 多元分析的基本原理,第八章 多元分析的基本原理,本章學(xué)習(xí)要點 本章內(nèi)容結(jié)構(gòu),第一節(jié) 概述,一 什么是多元分析 1 多變量系統(tǒng) （1）產(chǎn)品的指標(biāo) （2）教育系統(tǒng) （3）單變量分析 (如圖所示) （4）單變量分析的困難：變量的相關(guān)性,2 多元分析法 （1）變量相關(guān)性的例子：P180 有相關(guān)性，但是又不能用一個確定的方程描述相互關(guān)系 （2）多元分析法：P181 （3）例子,二 多元分析法的分類（從應(yīng)用的角度） 1 用于求綜合特性的多元分析法 研究的關(guān)鍵是：多個變量的綜合特性 主要方法有：主成分分析、相關(guān)分析 2 用于預(yù)測的多元分析法 研究的關(guān)鍵是：通過對多個變量的綜合研究，進(jìn)行

2、系統(tǒng)預(yù)測 主要方法有：多元回歸法、因子分析法、判別函數(shù)法,三 多元分析在教育中的應(yīng)用 1 需求 2 應(yīng)用舉例 3 發(fā)展動態(tài),第二節(jié) 回歸分析,零：引入 1 多變量之間的關(guān)系 確定的函數(shù)關(guān)系，變量之間的關(guān)系可以通過計算直接得到 不確定的相關(guān)關(guān)系，教育中的例子很多 2 回歸分析的任務(wù) 用確定的函數(shù)關(guān)系來描述多個相關(guān)變量之間的關(guān)系 3 回歸分析的分類（根據(jù)回歸函數(shù)的不同）,一 直線回歸（一元線性回歸） 1 線性回歸方程 y = a x + b 其中a、b為回歸系數(shù)，通過n(大于2)組樣本數(shù)據(jù)，可以計算出a、b。 (如果x、y是確定的函數(shù)關(guān)系,n只需要為2：P184） 2 樣本數(shù)據(jù)（觀測值） 設(shè)n=3

3、，有（x1,y1）（x2,y2）（x3,y3）三組數(shù)據(jù) 把x1、x2、x3分別代入回歸方程，得到三個對應(yīng)的計算值y,3 觀測值y與計算值y的差異 三組差異分別是：,4 求回歸系數(shù) （1）對誤差求極值（使誤差最小）,改錯：P184(a、b互換位置)，經(jīng)整理得：,改錯：P185(a、b互換位置),（2）回歸系數(shù),5 寫出回歸方程并進(jìn)行預(yù)測 6 例：（三個學(xué)生的數(shù)學(xué)、物理成績） （1）設(shè)樣本數(shù)據(jù)為(70,75)、(80,85)、(90,90) （2）計算回歸系數(shù)得：a = 0.75 ，b = 23.3 （3）寫出回歸方程：y = 0.75 x + 23.3 (4）進(jìn)行預(yù)測 設(shè)某學(xué)生數(shù)學(xué)考試得：x =

4、85， 預(yù)測物理成績得：y = 0.75 *85 + 23.3 = 87,7 一般情況 樣本數(shù)由3變?yōu)閚（n3） 通過完全一樣的方法，公式（85）變?yōu)椋?改錯：(a、b互換位置) 最后得回歸系數(shù)：,改錯：(a、b互換位置),二 多元線性回歸 1 線性回歸方程 y = a0+ a1 x1 + a2 x2 +.+ap xp 其中a0、a1、a2.ap為回歸系數(shù)，通過m(大于p)組樣本數(shù)據(jù)，可以計算出回歸系數(shù)。 2 樣本數(shù)據(jù)（觀測值） (x11,x12,.x1p,z1),(xm1,xm2,.xmp, zm） 把xi1、xi2.xip分別代入回歸方程，得到對應(yīng)的計算值yi,3 觀測值zi與計算值yi的

5、差異,根據(jù)微分學(xué)中的極值原理，a0,a1,ap應(yīng)是下列方程的解,經(jīng)整理，得：,4 求回歸系數(shù) 再整理上述方程，得：,上述方程組用矩陣表示，得：,當(dāng)(XX)滿秩時(即|XX|0),逆矩陣(XX)-1存在,系數(shù)矩陣A可以表示為：,其中A=(a0,a1,a1,ap),稱為回歸方程的系數(shù)矩陣（一列矩陣） 而矩陣X則為：,而X是X的轉(zhuǎn)置矩陣，Z是個一列矩陣,三 多項式回歸（略） 四 指數(shù)回歸（略）,五 回歸分析的應(yīng)用 1 一元線性回歸 (1)樣本測量值,(2)計算回歸系數(shù) 得，a=12（這里a=R）, b=0,(3)寫出回歸方程：U=12 I (如圖所示),(4)進(jìn)行預(yù)測:設(shè)某次測量電流得I=0.8,預(yù)

6、測電壓得： U =12* 0.8 = 9.6,2 多元線性回歸 （1） 樣本數(shù)據(jù)（取自1979年某高考班） 設(shè)考生的物理成績?yōu)橐蜃兞?z)，語文(x1)、數(shù)學(xué)(x2)、政治(x3) 15個考生的測量；測量成績?nèi)缦拢╩=15,p=3）：,編號 語文 數(shù)學(xué) 政治 物理 編號 語文 數(shù)學(xué) 政治 物理 1 61.5 31 59 32 9 50.5 32 67 57 2 35 23 40.5 8 10 57.5 30 475 37 3 56.540 53 69 11 47 58 63 68 4 35 19 58.5 21 12 28 28 52 27 5 50.560 49 66 13 58 22 72

7、 41 6 41.515 59 41 14 36 23 39 20 7 59 46 68.5 57 15 45 33 53 30 8 41 26 55 7,（2) 計算回歸系數(shù) 根據(jù)矩陣公式計算得 a0=-44.6023,a1=0.4166,a2=0.9729,a3=0.5780 （3） 回歸方程 y=-44.6023+0.4166*x1+0.9729*x2+0.5780*x3 (4）進(jìn)行預(yù)測 某學(xué)生考試成績：語文=40，數(shù)學(xué)=90，政治=60 預(yù)測物理成績?yōu)閥=94.4,第五節(jié) 聚類分析,分類學(xué)：根據(jù)事物性質(zhì)進(jìn)行分類，性質(zhì)相近的分在一類，性質(zhì)差別大的分在不同的類 一般分類方法的缺陷：往往帶有

8、主觀性和任意性，不能揭示客觀事物內(nèi)在的本質(zhì)聯(lián)系和差別 多元統(tǒng)計的應(yīng)用：形成了數(shù)值分類學(xué) 注：本節(jié)選用另一教材，與本書略有不同（數(shù)據(jù)矩陣行、列相反）,一基本原理（系統(tǒng)聚類法，此外還有動態(tài)聚類法） 1 設(shè)有n 個樣品，m個指標(biāo)，有數(shù)據(jù)矩陣：,2 規(guī)格化變換（使各個指標(biāo)權(quán)重相同，即同等重要）,其中的兩個極值分別是第j列最大值和最小值 結(jié)果：每一列數(shù)據(jù)的最大值為1，最小值為0。然后，重新構(gòu)造矩陣，仍用X表示 注：也可不做規(guī)格化處理直接用原始數(shù)據(jù)，各指標(biāo)權(quán)重可能不同,3 確定距離（親疏關(guān)系） （1）距離的性質(zhì) 多元統(tǒng)計分析中的距離dij（樣品Xi和Xj之間的距離）滿足下列3個性質(zhì)： dij0,對一切Xi

9、、Xj，當(dāng)且僅當(dāng)Xi=Xj時，有dij=0； dij=dji , 即Xi與Xj的距離 = Xj與Xi的距離； 對于樣品Xi、Xj、Xk，有dij dik+dkj,這是幾何學(xué)中三角不等式的推廣（任意兩邊之和大于第三邊）。,任意兩個樣品距離越小，說明它們越接近（一致），計算距離的方法很多，主要有歐氏距離、馬氏距離（P98）、B-模距離、閔可夫斯基距離（參見吳 國防科技大學(xué)出版社：P271 （2）歐氏距離（ 我們只介紹歐氏距離）,表示第i個樣品與第j個樣品之間的距離,（矩陣表示形式）,（一般表示形式）,（3）距離矩陣（按上述方法分別算出任意兩個樣品之間的距離） 該矩陣共有n行、n列,4 開始聚類（初

10、始為n類，每個樣品為1類） 從D中找出一個最小值（最小距離法）涉及到的兩個類； 在數(shù)據(jù)矩陣X中，把上述兩類合并成一類，兩組數(shù)據(jù)取平均值，總的類就減少了一個； 重新計算D（實際上只要計算剛合并的那個類與其他各類的距離） 重復(fù)、，直到所有的樣品都?xì)w為一類或者歸為所需要的類為止。 5畫出聚類譜系圖,二 應(yīng)用例(10名學(xué)生三次測驗成績 ,要求為4類) 1 原始數(shù)據(jù)及規(guī)格化數(shù)據(jù),2 計算距離矩陣,3 開始聚類 (1)開始,第5類和第6類的距離最小(0.1919）,把第5類和第6類聚類 (2)現(xiàn)在還有9個類 ，數(shù)據(jù)如下：,(3)重新計算距離矩陣（實際上只要計算（5，6）合類與其它各類的距離）,(4)此時，第2類和第9類的距離最小(=0.2266）,把第2類和第9類聚類 (5)現(xiàn)在還有8個類，數(shù)據(jù)如下：,（6）依次類推，重復(fù)上述步驟，經(jīng)過6次聚類之后，可得最后4個類的距離矩陣,4 畫出聚類譜系圖,本章小結(jié)： 多元統(tǒng)計方法比較符合教育應(yīng)用中的許多問題，按照具體的技術(shù)方法，我們主要介紹了一