人工智能 課程論文 論文題目 論文題目 偏最小二乘算法 PLS 回歸建模 學(xué)生姓名 學(xué)生姓名 張帥帥 學(xué)學(xué) 號(hào) 號(hào) 172341392 專專 業(yè) 業(yè) 機(jī)械制造及其自動(dòng)化 所在學(xué)院 所在學(xué)院 機(jī)械工程學(xué)院 年 月 日 人工智能 偏最小二乘法 PLS 1 目錄 偏最小二乘回歸 1 摘要 1 1 偏最小二乘回歸原理 1 2 一種更簡(jiǎn)潔的計(jì)算方法 5 3 案例分析 6 致謝 15 附件 16 人工智能 偏最小二乘法 PLS 2 偏最小二乘回歸 摘要 在實(shí)際問(wèn)題中 經(jīng)常遇到需要研究?jī)山M多重相關(guān)變量間的相互依賴關(guān)系 并研究用一組變量 常稱為自變量或預(yù)測(cè)變量 去預(yù)測(cè)另一組變量 常稱為因 變量或響應(yīng)變量 除了最小二乘準(zhǔn)則下的經(jīng)典多元線性回歸分析 MLR 提取 自變量組主成分的主成分回歸分析 PCR 等方法外 還有近年發(fā)展起來(lái)的偏最 小二乘 PLS 回歸方法 偏最小二乘回歸提供一種多對(duì)多線性回歸建模的方法 特別當(dāng)兩組變量的 個(gè)數(shù)很多 且都存在多重相關(guān)性 而觀測(cè)數(shù)據(jù)的數(shù)量 樣本量 又較少時(shí) 用 偏最小二乘回歸建立的模型具有傳統(tǒng)的經(jīng)典回歸分析等方法所沒(méi)有的優(yōu)點(diǎn) 偏最小二乘回歸分析在建模過(guò)程中集中了主成分分析 典型相關(guān)分析和線 性回歸分析方法的特點(diǎn) 因此在分析結(jié)果中 除了可以提供一個(gè)更為合理的回 歸模型外 還可以同時(shí)完成一些類似于主成分分析和典型相關(guān)分析的研究?jī)?nèi)容 提供更豐富 深入的一些信息 本文介紹偏最小二乘回歸分析的建模方法 通過(guò)例子從預(yù)測(cè)角度對(duì)所建立 的回歸模型進(jìn)行比較 關(guān)鍵詞 關(guān)鍵詞 主元分析 主元回歸 回歸建模 1 1 偏最小二乘回歸偏最小二乘回歸原理原理 考慮 p 個(gè)變量與 m 個(gè)自變量 的建模問(wèn)題 偏最小二乘 p yyy 21m xxx 21 回歸的基本作法是首先在自變量集中提出第一成分 t t 是 m xxx 21 的線性組合 且盡可能多地提取原自變量集中的變異信息 同時(shí)在因變量集中 也提取第一成分 u 并要求 t 與 u 相關(guān)程度達(dá)到最大 然后建立因變量 與 t 的回歸 如果回歸方程已達(dá)到滿意的精度 則算法中止 否則 p yyy 21 繼續(xù)第二對(duì)成分的提取 直到能達(dá)到滿意的精度為止 若最終對(duì)自變量集提取 r 個(gè)成分 偏最小二乘回歸將通過(guò)建立與的回歸 r ttt 21p yyy 21r ttt 21 式 然后再表示為與原自變量的回歸方程式 即偏最小二乘回歸方 p yyy 21 程式 為了方便起見 不妨假定 p 個(gè)因變量與 m 個(gè)自變量均為 p yyy 21m xxx 21 人工智能 偏最小二乘法 PLS 3 標(biāo)準(zhǔn)化變量 因變量組和自變量組的 n 次標(biāo)準(zhǔn)化觀測(cè)數(shù)據(jù)陣分別記為 nmn m npn p xx xx yy yy F E 1 111 0 1 111 0 偏最小二乘回歸分析建模的具體步驟如下 1 分別提取兩變量組的第一對(duì)成分 并使之相關(guān)性達(dá)最大 2 假設(shè)從兩組變量分別提出第一對(duì) t 和 u t 是自變量集 的 T m xxX 1 線性組合 u 是因變量集的線性組Xwxwxwt T mm111111 T p yyY 1 合 為了回歸分析的需要 要求 Yvyvyvu T pp111111 t1 和 u1 各自盡可能多地提取所在變量組的變異信息 t1 和 u1 的相關(guān)程度達(dá)到最大 由兩組變量集的標(biāo)準(zhǔn)化觀測(cè)數(shù)據(jù)陣和 可以計(jì)算第一對(duì)成分的得分向量 0 E 0 F 記 為和 1 t 1 u 1 11 1 11 1 111 10 1 nmnmn m t t w w xx xx wEt 1 11 1 11 1 111 10 1 npnpn p u u v v yy yy vFu 第一對(duì)成分 和的協(xié)方差可用第一對(duì)成分的得分向量和的內(nèi)積 1 t 1 u 11 utCov 1 t 1 u 來(lái)計(jì)算 故而以上兩個(gè)要求可化為數(shù)學(xué)上的條件極值問(wèn)題 1 1 max 2 111 2 11 1001101011 vvvwww xFEwvYwEut TT TT 利用 Lagrange 乘數(shù)法 問(wèn)題化為求單位向量和 使最大 1 w 1 v 10011 VFEw TT 問(wèn)題的求解只須通過(guò)計(jì)算矩陣的特征值和特征向量 且 mm 0000 EFFEM TT M 的最大特征值為 相應(yīng)的單位特征向量就是所求的解 而可由計(jì)算 2 1 1 w 1 v 1 w 得到 100 1 1 1 wEFv T 人工智能 偏最小二乘法 PLS 4 3 建立 對(duì) 的回歸及 對(duì)的回歸 p yyy 211 t m xx 1 1 t 假定回歸模型為 11 1 0 11 1 0 FuF EtE T T 其中分別是多對(duì)一的回歸模型中的參數(shù)向量 T p T m11111111 和是殘差陣 回歸系數(shù)向量的最小二乘估計(jì)為 1 E 1 F 11 2 11 01 2 11 01 ttF ttE T T 稱為模型效應(yīng)負(fù)荷量 11 4 用殘差陣和代替和重復(fù)以上步驟 1 E 1 F 0 E 0 F 記則殘差陣 如果殘差 1 1 01 1 0 TT tFtE 0 01101 FFFEEE 陣中元素的絕對(duì)值近似為 0 則認(rèn)為用第一個(gè)成分建立的回歸式精度已滿足 1 F 需要了 可以停止抽取成分 否則用殘差陣和代替和重復(fù)以上步驟 1 E 1 F 0 E 0 F 即得 分別為第二對(duì)成分的權(quán)數(shù) 而 T m T m vvvwww 22122212 為第二對(duì)成分的得分向量 21 2 21 1 vFuwEt 分別為 X Y 的第二對(duì)成分的負(fù)荷量 這時(shí)有 2 2212 2 2212 ttFttE TT 22 2 1 1 0 22 2 1 1 0 FttF EttE TT TT 5 設(shè) n m 數(shù)據(jù)陣的秩為 r0 表示在主對(duì)角線上方 k 0 表示在主對(duì)角線下方 在 這對(duì)角線元素就是特征值 i val ind sort val descend 降序排列 ind 表示據(jù)單下標(biāo)換算出全下標(biāo) w i vec ind 1 提出最大值對(duì)應(yīng)的特征向量 w star i chg w i 計(jì)算 w 的取值 w 是最大特征值對(duì)應(yīng)的特征向量 w t i e0 w i 計(jì)算成分 t 的主元向量 T E0 W p 48 e0 不是固定 的在循環(huán)體內(nèi)的 第三步建立回歸模型 并估計(jì)主成分系數(shù) pi pi e0 t i t i t i 計(jì)算第 i 個(gè)主成分系數(shù)向量 pi pi i E0 ti ti ti P 46 5 12 chg chg eye n w i pi 計(jì)算 w 到 w 的變換矩陣 w 為用為縮減的自變 量數(shù)據(jù)矩陣 X 去求新的主元成分 ti 的對(duì)應(yīng)的權(quán)值向量而 wi 為用為縮減的自變 量數(shù)據(jù)矩陣 X 的殘差矩陣 Ei 1 去求得 ti 對(duì)應(yīng)的權(quán)值向量 eye n I I 為單位 向量 下次循環(huán)用的 p 69 p 51 計(jì)算數(shù)據(jù)殘差 Ei 作為初始矩陣計(jì)算下一個(gè)成分 ti e e0 t i pi 計(jì)算殘差矩陣 e0 e 將殘差矩陣付給 e0 再依次計(jì)算下一個(gè)主成分 循環(huán)計(jì)算出所有主成分 第四步 PLS 確定主元 r 個(gè)數(shù)采用交叉檢驗(yàn)法確定 一般 r1 Q h2 i 1 press i ss i 1 else Q h2 1 1 end if Q h2 i 0 表示在主對(duì)角線上方 k 0 表示在主對(duì)角線下方 在 這對(duì)角線元素就是特征值 i val ind sort val descend 降序排列 ind 表示據(jù)單下標(biāo)換算出全下標(biāo) w i vec ind 1 提出最大值對(duì)應(yīng)的特征向量 w star i chg w i 計(jì)算 w 的取值 w 是最大特征值對(duì)應(yīng)的特征向量 w t i e0 w i 計(jì)算成分 t 的主元向量 T E0 W p 48 e0 不是固定 的在循環(huán)體內(nèi)的 第三步建立回歸模型 并估計(jì)主成分系數(shù) pi pi e0 t i t i t i 計(jì)算第 i 個(gè)主成分系數(shù)向量 pi pi i E0 ti ti ti P 46 5 12 chg chg eye n w i pi 計(jì)算 w 到 w 的變換矩陣 w 為用為縮減的自變 量數(shù)據(jù)矩陣 X 去求新的主元成分 ti 的對(duì)應(yīng)的權(quán)值向量而 wi 為用為縮減的自變 量數(shù)據(jù)矩陣 X 的殘差矩陣 Ei 1 去求得 ti 對(duì)應(yīng)的權(quán)值向量 eye n I I 為單位 向量 下次循環(huán)用的 p 69 p 51 計(jì)算數(shù)據(jù)殘差 Ei 作為初始矩陣計(jì)算下一個(gè)成分 ti e e0 t i pi 計(jì)算殘差矩陣 e0 e 將殘差矩陣付給 e0 再依次計(jì)算下一個(gè)主成分 循環(huán)計(jì)算出所有主成分 第四步 PLS 確定主元 r 個(gè)數(shù)采用交叉檢驗(yàn)法確定 一般 r1 Q h2 i 1 press i ss i 1 else Q h2 1 1 end if Q h2 i 0 0975 fprintf 提出的成分個(gè)數(shù) r d i p 68 fprintf fprintf 交叉的有效性 f Q h2 i r i break end end 計(jì)算回歸系數(shù) bi 求 Y 關(guān)于自變量主元 t 的回歸系數(shù) beta z t 1 r ones num 1 f0 求 Y 關(guān)于自變量主元 t 的回歸系數(shù) beta z end 刪除常數(shù)項(xiàng) 第五步根據(jù)所求相關(guān)回歸系數(shù)求出自變量 Y 和 X 的回歸系數(shù) 并求出原始回歸 方程的常數(shù)項(xiàng)最后建立回歸方程 xishu w star 1 r beta z 求 Y 關(guān)于 X 的回歸系數(shù) 每一列是一個(gè)回歸 方程 mu x mu 1 n mu y mu n 1 end 提出自變量和因變量的均值 sig x sig 1 n sig y sig n 1 end 提出自變量和因變量的標(biāo)準(zhǔn)差 for i 1 m ch0 i mu y i mu x sig x sig y i xishu i 計(jì)算原始數(shù)據(jù)的 回歸方程的常數(shù)項(xiàng) end for i 1 m xish i xishu i sig x sig y i 計(jì)算原始數(shù)據(jù)回歸方程的系數(shù) 每 一列是一個(gè)回歸方程 end sol ch0 xish 顯示回歸方程的系數(shù) 每一列是一個(gè)方程 每一列的第一個(gè) 數(shù)是常數(shù)項(xiàng) 每一列為一個(gè)因變量與自變量們的回歸方程 此為還原為原始變量 后的方程 save mydata x0 y0 num xishu ch0 xish w1 w 1 w2 w 2 人工智能 偏最小二乘法 PLS 20 w3 w 3 w4 w 4 wx1 w star 1 wx2 w star 2 wx3 w star 3 wx4 w star 4 tx1 t 1 tx2 t 2 tx3 t 3 tx4 t 4 beta z 回歸系數(shù) xishu 系數(shù)矩陣 即未還原原始變量的系數(shù) 每一列為一個(gè)因變量與自變量的回 歸方程 作圖程序如下 load mydata ch0 repmat ch0 num 1 以 ch0 的內(nèi)容堆疊在 numx1 的矩陣 ch0 yhat ch0 x0 xish 計(jì)算 Y 的預(yù)測(cè)值 y1max max yhat 求預(yù)測(cè)值的最大值 y2max max y0 求觀測(cè)值的最大值 ymax max y1max y2max 求預(yù)測(cè)值和觀測(cè)值的最大值 cancha yhat y0 計(jì)算殘差 figure 2 subplot 2 2 1 畫直線 y x