線性代數(shù)之美探索數(shù)學世界最優(yōu)美的分支之一引言：為什么學習線性代數(shù)？培養(yǎng)抽象思維能力訓練邏輯推理和空間想象提供強大數(shù)學工具箱解決復雜問題的基礎框架現(xiàn)代科技的核心基礎線性代數(shù)的應用領域前沿科技人工智能、量子計算數(shù)據(jù)科學統(tǒng)計分析、機器學習工程與設計計算機圖形、電路分析自然科學物理、化學、生物學第一章：向量空間向量空間中的基本元素線性組合構建復雜結構張成空間可達到的全部范圍基和維數(shù)空間的骨架結構向量的定義代數(shù)定義有序數(shù)組：(x?,x?,...,x?)包含大小和方向信息幾何定義有向線段從原點指向空間中某點物理定義具有大小和方向的物理量如：速度、力、加速度向量的幾何表示二維向量平面上的箭頭，有x和y分量三維向量空間中的箭頭，有x、y和z分量高維向量無法直觀可視化，但數(shù)學性質相同向量運算：加法和數(shù)乘向量加法平行四邊形法則或頭尾相連法數(shù)乘運算改變向量的長度，可能改變方向代數(shù)運算各分量分別計算線性組合定義v=c?v?+c?v?+...+c?v?幾何意義向量的縮放和相加應用構建新向量，表達空間中的點重要性連接代數(shù)運算與幾何直觀張成空間定義所有可能的線性組合構成的集合幾何解釋原始向量能"到達"的所有點例子一個向量：直線兩個非平行向量：平面三個線性無關向量：三維空間線性相關與線性無關線性相關一個向量可表示為其他向量的線性組合線性無關沒有向量可表示為其他向量的線性組合基和維數(shù)基的定義線性無關向量組，能張成整個空間基的唯一性表示方式不唯一，但維數(shù)固定維數(shù)基中向量的數(shù)量基變換同一向量在不同基下的坐標轉換第二章：矩陣與線性變換矩陣數(shù)據(jù)的矩形排列線性變換保持線性結構的映射對應關系每個線性變換對應唯一矩陣幾何解釋空間的旋轉、縮放、投影等變換矩陣的定義m×n矩陣m行n列數(shù)字的矩形排列元素表示a??表示第i行第j列的元素方陣行數(shù)等于列數(shù)的矩陣行向量只有一行的矩陣列向量只有一列的矩陣矩陣運算：加法和乘法1矩陣加法對應位置元素相加2數(shù)乘運算每個元素乘以標量3矩陣乘法行與列的點積組成新矩陣4注意事項乘法不滿足交換律特殊矩陣：單位矩陣和對角矩陣特殊矩陣具有獨特性質，簡化計算和分析線性變換的概念定義保持加法和數(shù)乘運算的映射保持性質直線映射為直線，原點不變常見變換旋轉、縮放、投影、對稱、錯切數(shù)學表達T(u+v)=T(u)+T(v)T(cv)=cT(v)矩陣與線性變換的關系1一一對應每個線性變換都有唯一矩陣表示n2自由度n維空間中線性變換的參數(shù)個數(shù)AB復合變換矩陣乘法對應變換的復合線性變換的幾何解釋旋轉保持距離，改變方向縮放改變長度，方向不變或反向投影降維操作，信息損失錯切非均勻變形，平行性保持第三章：線性方程組解的存在性方程是否有解2解的唯一性解是唯一還是有無窮多個解的求法高斯消元法等算法幾何意義超平面的交點線性方程組的矩陣表示標準形式a??x?+a??x?+...=b?a??x?+a??x?+...=b?...矩陣表示Ax=bA:系數(shù)矩陣x:未知量向量b:常數(shù)向量高斯消元法增廣矩陣將系數(shù)矩陣A和常數(shù)向量b合并行初等變換將矩陣轉化為行梯形式回代求解從最后一個方程開始代回求解算法復雜度O(n3)，n為未知數(shù)個數(shù)矩陣的秩定義線性無關的行或列的最大數(shù)量性質行秩等于列秩高斯消元后非零行數(shù)應用判斷方程組解的情況確定向量組線性相關性齊次線性方程組形式Ax=0零解始終存在平凡解x=0解空間矩陣A的零空間判定條件有非零解當且僅當rank(A)<n非齊次線性方程組形式Ax=b(b≠0)解的結構通解=特解+齊次方程組的通解解的存在條件rank(A)=rank([A|b])第四章：行列式定義方陣的一個標量函數(shù)幾何意義體積縮放因子性質線性性、轉置不變等應用判斷矩陣可逆性，解方程行列式的定義12×2矩陣det(A)=a??a??-a??a??23×3矩陣沙魯法則或余子式展開3n×n矩陣排列定義或遞歸定義行列式的性質交換行列行列式變號線性性對行或列滿足線性關系轉置不變det(A)=det(A?)乘法性質det(AB)=det(A)·det(B)行列式的計算方法直接公式法適用于低階矩陣余子式展開法遞歸計算，選擇零元素多的行或列初等變換法轉換為上三角形式后對角線乘積數(shù)值計算法LU分解或其他數(shù)值算法克萊姆法則定理描述線性方程組的解可用行列式比值表示解的表達式x?=det(A?)/det(A)應用場景適合求解小型方程組理論分析而非數(shù)值計算行列式的幾何意義行列式的絕對值表示基向量構成的幾何體體積正負號表示定向是否發(fā)生改變第五章：特征值和特征向量基本概念矩陣的"特征"求解方法特征方程與根的計算對角化簡化矩陣表示應用主成分分析，微分方程等特征值和特征向量的定義數(shù)學定義Av=λvλ:特征值v:對應的特征向量(v≠0)幾何解釋特征向量：變換后方向不變的向量特征值：伸縮比例特征方程方程推導從Av=λv到det(A-λI)=0多項式形式n階方陣得到n次多項式求解特征值計算多項式根求解特征向量解齊次方程(A-λI)v=0對角化1概念將矩陣轉換為對角矩陣形式2條件n個線性無關特征向量3變換式A=PDP?14優(yōu)勢簡化矩陣冪運算，指數(shù)計算相似矩陣定義B=P?1AP，A與B相似性質相似矩陣有相同特征值幾何意義同一線性變換在不同基下的表示應用簡化矩陣，便于計算和分析特征值在應用中的意義數(shù)據(jù)分析主成分分析中表示方差大小物理振動表示系統(tǒng)固有頻率穩(wěn)定性分析判斷動態(tài)系統(tǒng)穩(wěn)定性第六章：正交性與最小二乘法內積向量間的"相似度"正交性向量間的"垂直"概念2投影將向量分解到其他向量上最小二乘最佳擬合與誤差最小化內積和正交性內積定義?u,v?=u?v?+u?v?+...+u?v?=u?v幾何解釋|u||v|cosθ向量長度和夾角的函數(shù)正交條件?u,v?=0兩向量垂直正交基和標準正交基正交基基向量兩兩正交標準正交基正交基中每個向量長度為1優(yōu)勢簡化計算，便于表示保持距離和角度構造方法施密特正交化過程正交投影定義向量到子空間的最短距離計算公式proj_w(v)=(v·w)/(w·w)·w3投影矩陣P=A(A?A)?1A?最小二乘法1問題描述求解Ax=b無解時的最佳近似解2目標函數(shù)最小化||Ax-b||23數(shù)學解x=(A?A)?1A?b4幾何意義b到A列空間的正交投影最小二乘法的應用線性回歸找到最佳擬合直線曲線擬合多項式或其他函數(shù)擬合數(shù)據(jù)信號處理去噪和信號重建第七章：奇異值分解矩陣分解A=UΣV?低秩近似保留主要奇異值3幾何解釋旋轉-縮放-旋轉變換應用廣泛數(shù)據(jù)壓縮、圖像處理、推薦系統(tǒng)奇異值分解的概念分解形式A=UΣV?U:m×m正交矩陣Σ:m×n對角矩陣V:n×n正交矩陣奇異值Σ對角線上非負實數(shù)按降序排列表示變換在主軸上的縮放奇異值分解的計算計算A?A得到對稱非負定矩陣求解特征值和特征向量特征值λ?，特征向量v?計算奇異值σ?=√λ?計算左奇異向量u?=Av?/σ?奇異值分解的幾何解釋V轉置操作源空間中的旋轉/反射2Σ操作主軸方向的縮放U操作目標空間中的旋轉/反射奇異值分解在數(shù)據(jù)壓縮中的應用保留最大的k個奇異值可獲得最佳k秩近似壓縮比與信息保留量的權衡第八章：線性代數(shù)在機器學習中的應用數(shù)據(jù)降維PCA,t-SNE等算法回歸預測線性回歸與最小二乘法深度學習神經(jīng)網(wǎng)絡中的矩陣運算分類算法SVM,LDA等主成分分析（PCA）目標尋找數(shù)據(jù)最大方差方向計算步驟數(shù)據(jù)中心化，計算協(xié)方差矩陣特征值分解特征向量為主成分方向降維操作投影到前k個主成分線性回歸模型表示y=Xβ+εX:特征矩陣β:系數(shù)向量ε:誤差項參數(shù)估計β?=(X?X)?1X?y最小二乘解幾何解釋將輸出向量投影到特征列空間支持向量機（SVM）1目標尋找最大間隔超平面2數(shù)學表示w?x+b=0∞核技巧隱式高維映射x·y核函數(shù)K(x,y)=φ(x)·φ(y)第九章：線性代數(shù)在圖形學中的應用幾何變換旋轉、平移、縮放的矩陣表示光線追蹤向量計算光線反射和折射動畫與物理剛體運動和物理模擬2D和3D變換齊次坐標將所有變換統(tǒng)一為矩陣乘法計算機圖形學中的矩陣運算模型變換將物體從局部坐標轉換到世界坐標視圖變換從世界坐標到相機坐標投影變換從3D空間投影到2D屏幕視口變換映射到屏幕像素坐標第十章：線性代數(shù)在量子力學中的應用希爾伯特空間量子態(tài)的數(shù)學描述狀態(tài)向量量子比特的表示量子門線性變換作為量子操作測量觀測過程的投影操作量子態(tài)的表示量子比特|0?和|1?為基態(tài)|ψ?=α|0?+β|1?，|α|2+|β|2=1向量表示|0?=[1,0]?|1?=[0,1]?|ψ?=[α,β]?多量子比特張量積表示復合系統(tǒng)|ψ???|ψ??量子門操作的矩陣表示Pauli-X門比特翻轉，類似于NOTHadamard門創(chuàng)建疊加態(tài)CNOT門雙量子比特門，條件翻轉相位門改變量子態(tài)相位酉矩陣性質保持概率和為1總結：線性代數(shù)的美