《線性代數(shù)中的矩陣方法及其在數(shù)據(jù)分析中的應(yīng)用》矩陣方法是數(shù)據(jù)分析的核心工具課程概述課程目標掌握矩陣基本理論學習內(nèi)容矩陣分解與數(shù)據(jù)應(yīng)用先修知識第一部分：矩陣基礎(chǔ)基本概念矩陣定義與表示矩陣類型方陣、對稱矩陣等基本運算加法、乘法、轉(zhuǎn)置矩陣特性逆矩陣與秩矩陣的定義與表示矩陣的概念矩陣是按照長方陣列排列的復數(shù)或?qū)崝?shù)集合可以表示線性變換或數(shù)據(jù)集合矩陣的表示方法用方括號表示，例如：A=[aij]i表示行索引，j表示列索引矩陣的類型方陣行數(shù)等于列數(shù)對稱矩陣轉(zhuǎn)置等于自身對角矩陣非對角元素全為零單位矩陣對角線為1，其余為0矩陣運算（一）：加法與數(shù)乘矩陣加法規(guī)則同型矩陣對應(yīng)元素相加加法性質(zhì)滿足交換律和結(jié)合律矩陣數(shù)乘規(guī)則標量乘以矩陣的每個元素矩陣運算（二）：乘法矩陣乘法的定義C=AB，其中cij=Σaikbkj維度要求A的列數(shù)必須等于B的行數(shù)矩陣乘法的性質(zhì)不滿足交換律，滿足結(jié)合律和分配律矩陣轉(zhuǎn)置轉(zhuǎn)置的定義行列互換，(AT)ij=Aji轉(zhuǎn)置的性質(zhì)(A+B)T=AT+BT乘法轉(zhuǎn)置性質(zhì)(AB)T=BTAT矩陣的逆1逆矩陣A-1A=AA-1=I2可逆條件方陣且行列式不為零3逆矩陣性質(zhì)(AB)-1=B-1A-14應(yīng)用求解線性方程組矩陣的秩r(A)秩的定義線性無關(guān)行（或列）向量的最大數(shù)量r(A+B)秩不等式r(A+B)≤r(A)+r(B)r(AB)乘積秩r(AB)≤min{r(A),r(B)}第二部分：矩陣分解1LU分解下三角與上三角矩陣分解2QR分解正交矩陣與上三角矩陣分解3特征值分解基于特征值與特征向量4SVD分解奇異值分解LU分解1LU分解的概念將矩陣A分解為下三角矩陣L和上三角矩陣U2計算方法高斯消元過程的矩陣表示3LU分解的應(yīng)用高效求解多個右端項的線性方程組QR分解QR分解的概念將矩陣A分解為正交矩陣Q和上三角矩陣R計算方法Gram-Schmidt正交化過程QR分解的應(yīng)用求解最小二乘問題和特征值特征值分解特征值和特征向量的定義Ax=λx，其中λ為特征值，x為特征向量對角化A=PDP-1，D為對角矩陣特征值分解的應(yīng)用計算矩陣冪，求解微分方程奇異值分解（SVD）SVD的概念A(yù)=UΣVT分解低秩近似保留最大的k個奇異值SVD的應(yīng)用降維，噪聲過濾，推薦系統(tǒng)第三部分：矩陣在線性方程組中的應(yīng)用線性方程組的矩陣表示Ax=b的形式A為系數(shù)矩陣，x為未知數(shù)向量，b為常數(shù)向量緊湊表示多個線性方程系數(shù)矩陣A的重要性A的性質(zhì)決定方程組解的存在性和唯一性滿秩矩陣對應(yīng)唯一解高斯消元法消元過程通過初等行變換將系數(shù)矩陣轉(zhuǎn)化為行階梯形階梯形矩陣每行第一個非零元素的位置嚴格右移回代過程從最后一個方程開始逐個求解未知數(shù)矩陣求逆法使用伴隨矩陣A-1=adj(A)/|A|使用初等行變換[A|I]→[I|A-1]解方程組x=A-1b克拉默法則克拉默法則的內(nèi)容xi=|Ai|/|A|，其中Ai是用b替換A的第i列適用條件系數(shù)矩陣A必須是可逆方陣局限性計算量大，不適合大型方程組第四部分：最小二乘法誤差最小化尋找最佳擬合參數(shù)正規(guī)方程X'Xβ=X'y幾何解釋投影與正交性應(yīng)用范圍數(shù)據(jù)擬合與回歸分析4最小二乘法的原理x值實際y值擬合y值正規(guī)方程最小化目標最小化誤差平方和S=Σ(yi-?i)2求導置零?S/?β=0正規(guī)方程的推導X'Xβ=X'y最小二乘法的矩陣形式矩陣表達式X'Xβ=X'yβ=(X'X)-1X'y各項含義X為設(shè)計矩陣y為觀測值向量β為參數(shù)向量最小二乘法的幾何解釋投影的概念將y投影到X的列空間正交性原理殘差向量與X的列空間正交投影矩陣P=X(X'X)-1X'第五部分：主成分分析（PCA）降維保留最重要的數(shù)據(jù)特征協(xié)方差矩陣反映數(shù)據(jù)變量間的關(guān)系特征值分解尋找主要方差方向4應(yīng)用數(shù)據(jù)可視化與預(yù)處理PCA的基本概念降維的需求高維數(shù)據(jù)難以處理和可視化維度災(zāi)難：維度增加導致數(shù)據(jù)稀疏PCA的目標尋找數(shù)據(jù)最大方差方向用較少的新變量保留大部分原始信息協(xié)方差矩陣協(xié)方差矩陣的計算Σ=(X'X)/(n-1)，X為中心化數(shù)據(jù)矩陣協(xié)方差矩陣的性質(zhì)對稱正定矩陣對角元素表示各變量的方差非對角元素表示變量間的協(xié)方差特征值和特征向量在PCA中的應(yīng)用特征向量定義主成分方向1特征值表示主成分解釋的方差量2主成分排序按特征值大小降序排列3信息保留選擇前k個主成分保留大部分信息4PCA的計算步驟數(shù)據(jù)中心化減去每個特征的均值計算協(xié)方差矩陣Σ=(X'X)/(n-1)特征值分解求解協(xié)方差矩陣的特征值和特征向量選擇主成分根據(jù)特征值大小選擇前k個主成分PCA的應(yīng)用實例人臉識別特征臉（Eigenfaces）方法圖像壓縮減少存儲空間同時保留主要特征基因表達分析識別關(guān)鍵基因表達模式第六部分：奇異值分解（SVD）的應(yīng)用基本原理A=UΣVT的分解形式數(shù)據(jù)壓縮低秩近似減少存儲需求推薦系統(tǒng)矩陣分解預(yù)測用戶偏好自然語言處理潛在語義分析和詞向量SVD的基本原理U,Σ,V的含義U為左奇異向量Σ為奇異值對角矩陣VT為右奇異向量轉(zhuǎn)置SVD的幾何解釋旋轉(zhuǎn)-縮放-旋轉(zhuǎn)變換奇異值表示主軸縮放比例SVD在數(shù)據(jù)壓縮中的應(yīng)用低秩近似Ak≈UkΣkVkT圖像壓縮實例僅保留最大的k個奇異值存儲優(yōu)勢從mn減少到k(m+n+1)質(zhì)量控制通過k值調(diào)整壓縮比與質(zhì)量SVD在推薦系統(tǒng)中的應(yīng)用準確率召回率SVD在自然語言處理中的應(yīng)用詞向量將詞映射到低維向量空間潛在語義分析（LSA）發(fā)現(xiàn)文檔和詞匯間的潛在關(guān)系語義搜索基于概念而非關(guān)鍵詞匹配的搜索第七部分：矩陣在機器學習中的應(yīng)用線性回歸模型表示y=Xβ+ε參數(shù)估計β?=(X'X)-1X'y預(yù)測?=Xβ?評估計算R2和均方誤差邏輯回歸Sigmoid函數(shù)σ(z)=1/(1+e-z)將線性輸出映射到(0,1)區(qū)間最大似然估計通過梯度下降優(yōu)化對數(shù)似然函數(shù)目標：最大化正確分類的概率支持向量機（SVM）核函數(shù)K(x,y)=φ(x)·φ(y)，隱式高維映射最大間隔尋找最大化分類邊界的超平面二次規(guī)劃問題求解帶約束的優(yōu)化問題神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣Wl連接第l-1層到第l層前向傳播al=σ(Wlal-1+bl)激活函數(shù)引入非線性變換（ReLU,sigmoid等）反向傳播計算梯度并更新權(quán)重矩陣第八部分：矩陣在信號處理中的應(yīng)用1離散傅里葉變換頻域分析的矩陣表示2卷積循環(huán)矩陣與快速算法3小波變換多分辨率信號分析4圖像處理濾波與邊緣檢測離散傅里葉變換（DFT）頻率振幅卷積的矩陣表示循環(huán)矩陣將卷積操作表示為矩陣乘法y=Hx，其中H為循環(huán)矩陣快速卷積算法利用FFT加速：y=IFFT(FFT(h)·FFT(x))將時域卷積轉(zhuǎn)換為頻域乘法小波變換小波基函數(shù)時域和頻域都有良好局部化特性的函數(shù)離散小波變換通過濾波器組實現(xiàn)快速計算多分辨率分析同時分析信號的不同尺度特征圖像處理圖像濾波卷積核為矩陣表示的濾波器邊緣檢測Sobel、Prewitt等梯度算子圖像變換DCT變換在JPEG壓縮中的應(yīng)用第九部分：矩陣在圖論中的應(yīng)用鄰接矩陣表示節(jié)點間的連接關(guān)系拉普拉斯矩陣表示圖的結(jié)構(gòu)特性2排序算法PageRank等網(wǎng)頁排名方法社區(qū)分析基于矩陣的社區(qū)檢測鄰接矩陣無向圖的鄰接矩陣對稱矩陣Aij=AjiAij=1表示節(jié)點i和j相連有向圖的鄰接矩陣通常非對稱Aij=1表示從節(jié)點i到j(luò)有邊拉普拉斯矩陣1譜圖理論研究圖的拉普拉斯矩陣特征值2特征值性質(zhì)反映圖的連通性和聚類結(jié)構(gòu)3拉普拉斯矩陣定義L=D-A，D為度矩陣，A為鄰接矩陣網(wǎng)頁排序算法PageRank算法網(wǎng)頁重要性的遞歸定義Google矩陣鏈接矩陣的隨機游走修改版特征向量計算主特征向量對應(yīng)頁面排名冪迭代法高效計算主特征向量社交網(wǎng)絡(luò)分析中心性度量特征向量中心性依賴于鄰接矩陣特征值社區(qū)檢測譜聚類利用拉普拉斯矩陣的特征向量影響力傳播矩陣表示影響力擴散過程第十部分：矩陣計算的數(shù)值方法10^-16精度限制浮點計算的極限10^9條件數(shù)評估矩陣穩(wěn)定性O(shè)(n3)復雜度標準矩陣運算99%稀疏度大型矩陣中的零元素比例矩陣運算的數(shù)值穩(wěn)定性條件數(shù)κ(A)=||A||·||A-1||反映輸入擾動對輸出的放大程度舍入誤差浮點運算中的精度損失在迭代計算中可能累積放大迭代法求解線性方程組Jacobi迭代使用上一輪所有變量的值更新1Gauss-Seidel迭代利用當前輪已更新的變量值收斂條件迭代矩陣的譜半徑小于1特征值的數(shù)值計算冪法計算矩陣的最大特征值及對應(yīng)特征向量反冪法計算最小特征值或指定位置附近的特征值QR算法計算所有特征值的高效方法大規(guī)模稀疏矩陣的處理稀疏矩陣存儲格式CSR/CSC/COO格式僅存儲非零元素稀疏矩陣算法利用稀疏結(jié)構(gòu)提高計算效率內(nèi)存優(yōu)化減少存儲需求和提高緩存命中率并行矩陣計算課程總結(jié)矩陣基礎(chǔ)定義、運算和基本特性矩陣分解LU、QR、特征值和SVD分解數(shù)據(jù)分析應(yīng)用PCA、機器學習和信號處理計