3-2認(rèn)識(shí)線性回歸模塊?線性回歸：預(yù)測(cè)未來(lái)趨勢(shì)目錄CONTENTS線性回歸的數(shù)學(xué)表達(dá)式01梯度下降法03線性回歸的幾個(gè)概念02一.線性回歸的數(shù)學(xué)表達(dá)式定義及表達(dá)式線性回歸（linearregression）是一種通過(guò)擬合自變量xi與因變量y之間的最佳線性關(guān)系，來(lái)預(yù)測(cè)目標(biāo)變量的方法。如果上式中只包括一個(gè)自變量x和一個(gè)因變量y，且二者的關(guān)系可用一條直線近似表示，則這種回歸分析被稱(chēng)為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量xi，且因變量y和自變量xi之間是線性關(guān)系，則稱(chēng)其為多元線性回歸分析。二.線性回歸的幾個(gè)概念1.方差衡量誤差真實(shí)值:預(yù)測(cè)值:y二.線性回歸的幾個(gè)概念2.總平方和SST:衡量了所有觀測(cè)值相對(duì)于整體均值的離散程度。其值越大，說(shuō)明原始的樣本本身具有越大的波動(dòng)，這種波動(dòng)反映了因變量的整體偏差。如何評(píng)價(jià)上述直線對(duì)真實(shí)值擬合的好壞程度二.線性回歸的幾個(gè)概念3.擬合優(yōu)度R2:稱(chēng)為判斷系數(shù)或擬合優(yōu)度。由右式可知，線性回歸方程以外的其他因素引起的誤差SSE越小，R2就越接近1，表示此線性回歸方程可以很好地解釋因變量的變化；反之，如果SSE越大，接近總體偏差SST，R2就越接近0，說(shuō)明此問(wèn)題可能不適合采用線性回歸模型解決。盡可能最小y=+三.梯度下降法1.定義?梯度下降法：?是一種用于求解函數(shù)最小值的優(yōu)化算法。其基本思想是通過(guò)迭代的方式，沿著函數(shù)的負(fù)梯度方向逐步減小函數(shù)值，直到達(dá)到局部最小值。梯度下降法適用于求解無(wú)約束優(yōu)化問(wèn)題，常用于機(jī)器學(xué)習(xí)中的參數(shù)優(yōu)化。損失函數(shù)L可以理解為系數(shù)b和w的函數(shù)，記為尋找損失函數(shù)L(b,w)的最小值的過(guò)程，實(shí)際就是按照某種方向，不斷去微調(diào)b和w的值，一步一步嘗試找到這個(gè)最小值。Min()三.梯度下降法2.求解過(guò)程三.梯度下降法3.線性回歸解決問(wèn)題一般步驟01根據(jù)問(wèn)題構(gòu)建一個(gè)線性回歸模型,即構(gòu)建一個(gè)函數(shù)。02用樣本訓(xùn)練模型，使用梯度下降法調(diào)整模型參數(shù)，目標(biāo)使損失函數(shù)最小。03重復(fù)步驟（2），直至找到損失函數(shù)的最小值。04用驗(yàn)證集測(cè)試模型的精度，評(píng)價(jià)指標(biāo)常為均方誤差MSE。05如預(yù)測(cè)結(jié)果不滿意，則需要改進(jìn)模型（如加大訓(xùn)練集、改變學(xué)習(xí)率等）。06回到步驟（2），重新訓(xùn)練模型，直至獲得滿意的模型。07利用自變量x