機(jī)器學(xué)習(xí)與模式識(shí)別第二章數(shù)學(xué)基礎(chǔ)第二章數(shù)學(xué)基礎(chǔ)

2.1線性代數(shù)

2.2微積分

2.3概率與統(tǒng)計(jì)

2.4最優(yōu)化理論22.1線性代數(shù)-內(nèi)積、范數(shù)、正交性和距離

3向量：被定義為具有大小和方向的量,它由一組有序的實(shí)數(shù)或復(fù)數(shù)組成,這組數(shù)稱為向量的分量。這些分量描述了向量在多維空間中的位置和方向。一個(gè)維向量

有個(gè)分量,可以寫(xiě)成如下向量的形式:行向量的表示形式列向量的表示形式2.1線性代數(shù)-內(nèi)積、范數(shù)、正交性和距離

4內(nèi)積：兩個(gè)向量的內(nèi)積定義為它們對(duì)應(yīng)分量乘積之和,也被稱為點(diǎn)積。如向量

和向量

的內(nèi)積可以表示為另外,內(nèi)積還可以使用向量的模(長(zhǎng)度)和它們之間夾角的余弦來(lái)表示：當(dāng)內(nèi)積為0時(shí)，則稱兩個(gè)向量正交。2.1線性代數(shù)-內(nèi)積、范數(shù)、正交性和距離

5向量的

范數(shù)是一個(gè)標(biāo)量,其中常用的是

和

范數(shù)。向量的

范數(shù)定義為向量所有分量的絕對(duì)值之和。向量的

范數(shù)也稱為向量的模,即向量的長(zhǎng)度。向量的

范數(shù)、

范數(shù)和

范數(shù)分別定義為2.1線性代數(shù)-內(nèi)積、范數(shù)、正交性和距離

6歐氏距離：向量之間的距離通常使用歐氏距離來(lái)計(jì)算。具體來(lái)說(shuō),向量

和向量

間的距離可以表示為除了歐氏距離之外,還有多種距離度量方法,如余弦距離、曼哈頓距離、切比雪夫距離等,它們各自適用于不同的應(yīng)用場(chǎng)景。2.1線性代數(shù)-矩陣基礎(chǔ)7矩陣：是一個(gè)由數(shù)值按矩形排列成的矩形陣列。一個(gè)典型的矩陣可以寫(xiě)成如下形式:如果矩陣

的行數(shù)m和列數(shù)n相等,稱該矩陣為n階方陣。如果一個(gè)方陣的元素滿足

,則稱該矩陣為對(duì)稱矩陣。如果一個(gè)方陣除對(duì)角線元素外其余都是0,則稱該矩陣為對(duì)角矩陣。如果對(duì)角矩陣的對(duì)角線上的元素都為1,則稱該矩陣為單位矩陣。如果一個(gè)矩陣的元素都為0,則稱該矩陣為0矩陣,記為O。矩陣的轉(zhuǎn)置定義為行和列下標(biāo)相互交換,即一個(gè)m×n的矩陣轉(zhuǎn)置后為n×m的矩陣。矩陣

的轉(zhuǎn)置記為

。2.1線性代數(shù)-矩陣基礎(chǔ)8線性變換：是一種特殊的函數(shù),它將一個(gè)向量映射到另一個(gè)向量。這種變換可以通過(guò)一個(gè)矩陣表示,并對(duì)任何向量進(jìn)行操作以得到新的向量。對(duì)于線性空間,設(shè)是由矩陣表示的線性變換,其中那么,對(duì)于

中的任意向量

,其變換

可表示為這種表達(dá)展示了線性變換如何通過(guò)矩陣與向量的乘法來(lái)描述向量的映射。線性變換滿足兩個(gè)基本性質(zhì):加法保持性和標(biāo)量乘法保持性,即對(duì)任意的

以及實(shí)數(shù)

有2.1線性代數(shù)-行列式、矩陣的逆和線性方程組9行列式：是一個(gè)數(shù),它是對(duì)方陣的一種映射。對(duì)于一個(gè)n×n的方陣

,其行列式記為det(

)或

。二階矩陣的行列式計(jì)算公式為三階矩陣的行列式計(jì)算公式為行列式A沿第j列展開(kāi)的計(jì)算公式定義為對(duì)于矩陣

,下式可用于判斷

是否可逆:2.1線性代數(shù)-行列式、矩陣的逆和線性方程組10逆：矩陣

的逆是指存在另一個(gè)矩陣

使得

,

是

的逆

,記為

。當(dāng)

的逆存在時(shí),稱

是可逆的。

的大小與

相同。線性方程組：由多個(gè)線性方程構(gòu)成,每個(gè)方程表示為一系列變量的線性組合。一個(gè)三元線性方程組可表示如下:或可表示為方程組的解取決于系數(shù)矩陣

的性質(zhì)。如果系數(shù)矩陣

的行列式det(

)≠0,則

可逆,這意味著方程組有唯一解

。反之,如果det(

)=0,則

不可逆,方程組可能沒(méi)有解或有無(wú)限多解,具體情況取決于

的值。2.1線性代數(shù)-特征值、特征向量、跡和秩11對(duì)于一個(gè)n階矩陣

,如果存在一個(gè)數(shù)

和一個(gè)非0向量

,滿足:則稱

為矩陣

的特征值,

為該特征值對(duì)應(yīng)的特征向量。根據(jù)該定義推導(dǎo)出如下方程組:其中

是n階單位矩陣。根據(jù)線性方程組理論,要讓齊次方程組有非0解,系數(shù)矩陣的行列式必須為0,即上式左邊的多項(xiàng)式稱為矩陣的特征多項(xiàng)式。在求解這個(gè)n次方程時(shí),得到特征值方程的根有可能是復(fù)數(shù)。2.1線性代數(shù)-特征值、特征向量、跡和秩12跡：矩陣的跡定義為主對(duì)角線元素之和:根據(jù)韋達(dá)定理,矩陣所有特征值的和為矩陣的跡:同樣可以證明,矩陣所有特征值的積為矩陣的行列式:秩：矩陣的秩定義為其非零特征值的數(shù)量,記為

,矩陣的秩又可以被定義為非零子式的最高階數(shù)。通常,規(guī)定零矩陣的秩為0。秩為n的n階方陣稱為滿秩矩陣。2.1線性代數(shù)-特征值、特征向量、跡和秩13矩陣的秩也可以用來(lái)判定線性方程組解的情況。一個(gè)由矩陣方程

表示的線性方程組,其中

是一個(gè)m×n的系數(shù)矩陣,

是未知數(shù)向量,

則是常數(shù)項(xiàng)向量。矩陣

的秩記作

,擴(kuò)展矩陣

的秩記作

:?如果

,方程組有唯一解。?如

,則方程組無(wú)解,因?yàn)閿U(kuò)展矩陣的秩大于系數(shù)矩陣的秩,表明

不在

列空間的張成范圍內(nèi)。?如果

,方程組有無(wú)限多解。此外,一個(gè)n階矩陣如果滿足:則稱為正交矩陣。正交矩陣的行列式為1,它的行、列向量之間相互正交,即相同的行或列的內(nèi)積為1,不同行或列的內(nèi)積為0。2.1線性代數(shù)-矩陣分解14常用的矩陣分解形式主要有三角分解、QR分解、滿秩分解、奇異值分解。矩陣的三角分解經(jīng)常用來(lái)求線性方程組

的解。由于

,所以

可以變換為

,即有如下方程:先由

求得

,再由

即可求得方程組的根

。此外,還有QR分解,又稱為正交三角分解,它將矩陣分解為一個(gè)正交矩陣和一個(gè)上三角矩陣的乘積:。2.1線性代數(shù)-矩陣分解15矩陣的滿秩分解是一種將矩陣

分解為兩個(gè)矩陣的乘積,其中一個(gè)矩陣具有滿列秩,另一個(gè)具有滿行秩。具體來(lái)說(shuō),對(duì)于一個(gè)m×n的矩陣

,可以分解為

,其中

是一個(gè)m×r的矩陣且具有滿列秩(r是

的秩),而是

一個(gè)r×n的矩陣且具有滿行秩。奇異值分解：假設(shè)任意的m×n矩陣

,奇異值分解可以表示為

其中,

是一個(gè)m×m的正交矩陣,

是一個(gè)n×n的正交矩陣,

是一個(gè)m×n的對(duì)角矩陣,對(duì)角線上的元素是奇異值,按降序排列。由于

,并且

是對(duì)角矩陣,我們可以知道

是

的特征向量。類似地,

是

的特征向量。

是

與

的特征值開(kāi)方構(gòu)成的對(duì)角陣。2.2微積分-導(dǎo)數(shù)16導(dǎo)數(shù)：導(dǎo)數(shù)定義為函數(shù)的自變量變化值趨于0時(shí)函數(shù)值的變化量與自變量的變化量比值的極限,即鏈?zhǔn)椒▌t表述為,若

和

,那么

的導(dǎo)數(shù)可以表示為2.2微積分-導(dǎo)數(shù)17導(dǎo)數(shù)和函數(shù)的單調(diào)性密切相關(guān)。導(dǎo)數(shù)大于0時(shí)函數(shù)單調(diào)增,導(dǎo)數(shù)小于0時(shí)函數(shù)單調(diào)減,在極值點(diǎn)處導(dǎo)數(shù)必定為0。導(dǎo)數(shù)等于0的點(diǎn)稱為函數(shù)的駐點(diǎn),這為求解函數(shù)的極值提供依據(jù)。如果對(duì)導(dǎo)數(shù)繼續(xù)求導(dǎo),可以得到高階導(dǎo)數(shù)。記為二階導(dǎo)數(shù)決定函數(shù)的凹凸性。如果二階導(dǎo)數(shù)大于0,則函數(shù)在該區(qū)間為凹函數(shù);如果二階導(dǎo)數(shù)小于0,則函數(shù)在該區(qū)間為凸函數(shù)。根據(jù)一階導(dǎo)數(shù)和二階導(dǎo)數(shù),可以得到一元函數(shù)的極值判別法:在駐點(diǎn)處,如果二階導(dǎo)數(shù)大于0,則該點(diǎn)為函數(shù)的局部極小值點(diǎn);如果二階導(dǎo)數(shù)小于0,則該點(diǎn)為函數(shù)的局部極大值點(diǎn)。如果二階導(dǎo)數(shù)等于0,則情況不定。2.2微積分-偏導(dǎo)數(shù)和梯度18偏導(dǎo)數(shù)：描述了函數(shù)在某一特定方向上的變化率。對(duì)于一個(gè)二元函數(shù)

,偏導(dǎo)數(shù)分別表示函數(shù)關(guān)于

和

的變化率。定義為梯度：梯度是由所有偏導(dǎo)數(shù)組成的向量,表示函數(shù)在每個(gè)方向上的最速變化率。多元函數(shù)的梯度定義為其中,稱為梯度算子,它作用于一個(gè)多元函數(shù)得到一個(gè)向量。2.2微積分-偏導(dǎo)數(shù)和梯度19類似地,可以定義函數(shù)的高階偏導(dǎo)數(shù),這比一元函數(shù)的高階導(dǎo)數(shù)復(fù)雜,因?yàn)橛卸鄠€(gè)變量。二階偏導(dǎo)數(shù)如下:一般情況下,混合二階偏導(dǎo)數(shù)與求導(dǎo)次序無(wú)關(guān),即2.2微積分-雅可比矩陣20在多元函數(shù)中,雅可比矩陣是一個(gè)重要的概念,用于描述向量值函數(shù)的一階偏導(dǎo)數(shù)。設(shè)有向量值函數(shù)

,其中

,定義如下:則雅可比矩陣

是一個(gè)m×n的矩陣,其中第i行第j列的元素是函數(shù)

對(duì)變量

的偏導(dǎo)數(shù),即2.2微積分-雅可比矩陣21這是一個(gè)m行n列的矩陣,每一行為一個(gè)多元函數(shù)的梯度。對(duì)于如下向量值函數(shù)

,其中

,定義如下:它的雅可比矩陣為雅可比矩陣描述了函數(shù)

在輸入空間的每個(gè)點(diǎn)的局部線性逼近。2.2微積分-Hessian矩陣22Hessian矩陣是一個(gè)用于描述多元函數(shù)二階偏導(dǎo)數(shù)的方陣。設(shè)有實(shí)值多元函數(shù)

,定義如下:Hessian矩陣

是一個(gè)n×n的矩陣。其中第i行第j列的元素是

和

的二階偏導(dǎo)數(shù)。具體定義為一般情況下多元函數(shù)的混合二階偏導(dǎo)數(shù)與求導(dǎo)次序無(wú)關(guān),因此,Hessian矩陣是一個(gè)對(duì)稱矩陣。2.2微積分-Hessian矩陣23設(shè)多元函數(shù)

在點(diǎn)

處二階可微,且

。記

為

在

處的Hessian矩陣。?若

嚴(yán)格正定,則

在

有局部極小值。?若

嚴(yán)格負(fù)定,則

在

有局部極大值。?若

不定,則

是鞍點(diǎn),不是極值點(diǎn)。?若

為半正定或半負(fù)定但不嚴(yán)格,則二階判別不確定,需要進(jìn)一步借助更高階導(dǎo)數(shù)或其他方法分析。對(duì)于n階矩陣

,對(duì)于任意非0的n維向量

都有則稱矩陣

為正定矩陣。2.2微積分-Hessian矩陣24判定矩陣正定的常用方法有以下幾種:?矩陣的特征值全大于0。?矩陣的所有順序主子式都大于0。?矩陣合同于單位陣

。類似地,如果一個(gè)n階矩陣

,對(duì)于任何非0的n維向量

,都有如果滿足則稱矩陣

為負(fù)定矩陣。則稱矩陣

為半正定矩陣。Hessian矩陣正定性與多元函數(shù)的凹凸性有關(guān),如果Hessian矩陣半正定,則函數(shù)為凸函數(shù);如果Hessian矩陣正定,則函數(shù)為嚴(yán)格凸函數(shù)。泰勒展開(kāi)：泰勒展開(kāi)是一種將函數(shù)在某點(diǎn)附近表示為其導(dǎo)數(shù)的無(wú)窮級(jí)數(shù)的方法。設(shè)

是一個(gè)在

處具有n階導(dǎo)數(shù)的函數(shù),則

在

處的泰勒展開(kāi)式為2.2微積分-泰勒展開(kāi)25其中,

是n階泰勒多項(xiàng)式的余項(xiàng),表示截?cái)嗾`差。當(dāng)n→∞時(shí),如果余項(xiàng)趨于零,函數(shù)可以表示為泰勒級(jí)數(shù):如果泰勒展開(kāi)的中心點(diǎn)為

,則稱為麥克勞林展開(kāi),麥克勞林展開(kāi)是泰勒展開(kāi)的特例。類似地,多元函數(shù)的泰勒展開(kāi)式為在這里o表示高階無(wú)窮小。

是Hessian矩陣,它和一元函數(shù)的泰勒展開(kāi)在形式上是統(tǒng)一的。2.3概率與統(tǒng)計(jì)-隨機(jī)事件與概率26隨機(jī)事件：隨機(jī)事件是指在一定條件下可能發(fā)生也可能不發(fā)生的事件,其結(jié)果具有不確定性和隨機(jī)性。隨機(jī)事件發(fā)生的可能性可以用概率來(lái)度量,隨機(jī)事件通常用大寫(xiě)字母表示,如

等。假設(shè)一隨機(jī)事件

,其概率用

表示,其值滿足概率值越大,表示事件發(fā)生的可能性越高。如果一個(gè)事件發(fā)生的概率為0,稱為不可能事件;一個(gè)事件的發(fā)生概率為1,則稱為必然事件。聯(lián)合概率：當(dāng)兩個(gè)或多個(gè)隨機(jī)事件被同時(shí)考慮時(shí),可以討論它們共同發(fā)生的概率,這種情況被稱為聯(lián)合概率。聯(lián)合概率衡量?jī)蓚€(gè)或多個(gè)事件同時(shí)發(fā)生的可能性。例如,事件

和事件

共同發(fā)生的概率記為

。邊緣概率：是指在涉及多個(gè)事件的概率問(wèn)題中,只關(guān)注某一個(gè)或幾個(gè)事件的概率。若有兩個(gè)事件

和

,他們的聯(lián)合概率表示為

。要得到只與事件相關(guān)的概率(

的邊緣概率),需要考慮所有可能涉及

發(fā)生的情況,并且合并這些情況的概率。數(shù)學(xué)表達(dá)式為2.3概率與統(tǒng)計(jì)-隨機(jī)事件與概率27條件概率：對(duì)于兩個(gè)相關(guān)的隨機(jī)事件

和

,在事件

發(fā)生的條件下事件

發(fā)生的概率稱為條件概率

,定義為即

和

同時(shí)發(fā)生的概率與

發(fā)生概率的比值。如果把事件

作為因,事件

作為果,則概率

稱為先驗(yàn)概率。后驗(yàn)概率定義為貝葉斯公式指出:貝葉斯公式描述了先驗(yàn)概率和后驗(yàn)概率之間的關(guān)系。如果有

,或者

,則稱隨機(jī)事件

和

獨(dú)立。如果隨機(jī)事件

和

獨(dú)立,則有可以將上面的定義進(jìn)行推廣,如果n個(gè)隨機(jī)事件

相互獨(dú)立,則它們同時(shí)發(fā)生的概率等于它們各自發(fā)生的概率的乘積:2.3概率與統(tǒng)計(jì)-隨機(jī)變量28隨便變量：隨機(jī)變量是指一種數(shù)值變量,它的取值由隨機(jī)試驗(yàn)的結(jié)果決定。隨機(jī)變量可以是離散的,也可以是連續(xù)的,具體取決于它的取值范圍是離散集合還是連續(xù)區(qū)間。離散隨機(jī)變量只能取有限或可數(shù)的幾個(gè)值。連續(xù)隨機(jī)變量可以取任意實(shí)數(shù)值,通常表示某個(gè)范圍內(nèi)的所有值。對(duì)于離散型隨機(jī)變量,概率質(zhì)量函數(shù)

表示隨機(jī)變量

取值為

的概率,記為離散型隨機(jī)變量具有以下特點(diǎn):?非負(fù)性:對(duì)于所有

滿足

。?歸一性:所有可能取值的概率之和等于1,即對(duì)于連續(xù)隨機(jī)變量,概率密度函數(shù)

表示隨機(jī)變量

在某個(gè)值

附近的概率密度,即其中,

是連續(xù)隨機(jī)變量

取值范圍的下界,

是取值范圍的上界。2.3概率與統(tǒng)計(jì)-隨機(jī)變量29連續(xù)型隨機(jī)變量具有以下特點(diǎn):?非負(fù)性:對(duì)于所有

滿足

。?歸一性:概率密度函數(shù)在整個(gè)定義域上的積分為1,即累積分布函數(shù)：累積分布函數(shù)

用于描述隨機(jī)變量

小于或等于某個(gè)值

的概率:對(duì)于離散型隨機(jī)變量,累積分布函數(shù)可以表示為對(duì)于連續(xù)型隨機(jī)變量,累積分布函數(shù)可以表示為2.3概率與統(tǒng)計(jì)-隨機(jī)變量30數(shù)學(xué)期望：數(shù)學(xué)期望是加權(quán)平均值的抽象,是隨機(jī)變量在概率意義下的均值。對(duì)于離散型隨機(jī)變量x,數(shù)學(xué)期望定義為方差：方差表示隨機(jī)變量的離散程度,對(duì)于離散型隨機(jī)變量

,方差定義為假設(shè)有一個(gè)連續(xù)型隨機(jī)變量x的概率密度函數(shù)是

,其數(shù)學(xué)期望定義為根據(jù)定積分的定義,可以看到,連續(xù)型隨機(jī)變量就是離散型的極限情況。對(duì)于連續(xù)型隨機(jī)變量,方差定義為2.3概率與統(tǒng)計(jì)-常用的概率分布31二項(xiàng)分布：二項(xiàng)分布描述在n次獨(dú)立的伯努利試驗(yàn)中成功的次數(shù)。其概率質(zhì)量函數(shù)表示為常見(jiàn)的離散分布主要有伯努利分布、二項(xiàng)分布和泊松分布。其中,

為成功的概率。伯努利分布適用于單次投硬幣、是否通過(guò)測(cè)試等。伯努利分布：伯努利分布描述了一次試驗(yàn)只有兩個(gè)可能結(jié)果(成功或失敗)的情況。其概率質(zhì)量函數(shù)表示為其中,

是組合數(shù),

為試驗(yàn)次數(shù),

為單次成功的概率。泊松分布：泊松分布是描述在一個(gè)固定時(shí)間間隔或空間區(qū)域內(nèi),某事件隨機(jī)且獨(dú)立地發(fā)生的次數(shù)的概率分布。泊松分布的概率質(zhì)量函數(shù)表示為其中,

為事件出現(xiàn)的平均次數(shù)。則稱隨機(jī)變量

服從參數(shù)為

的泊松分布。2.3概率與統(tǒng)計(jì)-常用的概率分布32正態(tài)分布：正態(tài)分布是一種連續(xù)概率分布,其概率密度函數(shù)呈對(duì)稱的鐘形,由兩個(gè)參數(shù):均值(

)和方差(

)完全確定。均值決定了分布的中心位置,方差決定了分布的離散程度或?qū)挾?。正態(tài)分布的概率密度可表示為常見(jiàn)的連續(xù)分布主要有均勻分布、正態(tài)分布和指數(shù)分布。均勻分布：均勻分布描述在給定區(qū)間內(nèi)所有數(shù)值出現(xiàn)的可能性相同的情況。均勻分布的概率密度可表示為指數(shù)分布：指數(shù)分布是一種重要的連續(xù)概率分布,通常用來(lái)描述在固定時(shí)間或空間間隔內(nèi)發(fā)生獨(dú)立隨機(jī)事件的時(shí)間間隔。指數(shù)分布的概率密度可表示為其中

是事件發(fā)生的平均率,即單位時(shí)間內(nèi)事件的平均發(fā)生次數(shù)。2.3概率與統(tǒng)計(jì)-隨機(jī)向量33聯(lián)合分布：聯(lián)合分布描述了隨機(jī)向量中各個(gè)隨機(jī)變量聯(lián)合取值的概率情況。對(duì)于離散型隨機(jī)向量,聯(lián)合概率質(zhì)量函數(shù)

給出了每個(gè)可能取值的概率。設(shè)

是一個(gè)二維離散隨機(jī)向量,則聯(lián)合概率質(zhì)量函數(shù)可以表示為對(duì)于連續(xù)隨機(jī)向量,聯(lián)合概率密度函數(shù)描述了在某個(gè)點(diǎn)上隨機(jī)向量的概率密度。

設(shè)

是一個(gè)二維連續(xù)隨機(jī)向量,則聯(lián)合概率密度函數(shù)可以表示為2.3概率與統(tǒng)計(jì)-隨機(jī)向量34邊緣分布：邊緣分布是聯(lián)合分布在某些變量上的投影,即忽略其他變量,只關(guān)注某些變量的分布情況。對(duì)于隨機(jī)向量

,邊緣分布可以通過(guò)對(duì)聯(lián)合分布進(jìn)行求和(離散情況)和積分(連續(xù)情況)得到。例如,對(duì)于離散情況,

的邊緣概率密度函數(shù)為對(duì)于連續(xù)情況，

的邊緣概率密度函數(shù)為在使用條件概率密度函數(shù)

以及條件概率密度函數(shù)

時(shí),

的值是已知的。2.3概率與統(tǒng)計(jì)-隨機(jī)向量

35為了全面描述隨機(jī)向量的統(tǒng)計(jì)特性,除了分布之外,還需要了解期望值和協(xié)方差矩陣。隨機(jī)向量的期望值是一個(gè)向量,其每個(gè)元素為對(duì)應(yīng)隨機(jī)變量的期望值。協(xié)方差矩陣：協(xié)方差矩陣描述了隨機(jī)向量各分量之間的協(xié)方差關(guān)系,是一個(gè)對(duì)稱矩陣,表示變量之間的線性相關(guān)性。隨機(jī)向量

的協(xié)方差矩陣定義為其中,協(xié)方差矩陣的元素為多元正態(tài)分布：多元正態(tài)分布是描述隨機(jī)向量的分布中最常用的模型之一,特別適用于描述多個(gè)相關(guān)變量的聯(lián)合行為。假設(shè)隨機(jī)向量X服從n維正態(tài)分布,記作,其中是期望值向量,是協(xié)方差矩陣。多元正態(tài)分布的概率密度函數(shù)為2.3概率與統(tǒng)計(jì)-參數(shù)估計(jì)36最常用的兩種參數(shù)估計(jì)方法是矩估計(jì)和最大似然估計(jì)。最大似然估計(jì)：最大似然估計(jì)的目標(biāo)是找到一組參數(shù)值,使得在這些參數(shù)值下,觀察到的樣本數(shù)據(jù)的似然函數(shù)值最大。似然函數(shù)是指給定參數(shù)值時(shí),樣本數(shù)據(jù)的聯(lián)合概率密度或聯(lián)合概率質(zhì)量。給定一組獨(dú)立同分布的樣本數(shù)據(jù)

和參數(shù)

,概率模型

的聯(lián)合密度函數(shù)表示為2.3概率與統(tǒng)計(jì)-參數(shù)估計(jì)37似然函數(shù)通常記為對(duì)于獨(dú)立同分布的樣本,似然函數(shù)是每個(gè)樣本點(diǎn)概率密度函數(shù)或概率質(zhì)量函數(shù)的乘積。為了方便計(jì)算,通常取對(duì)數(shù)似然函數(shù):令解該方程,得到參數(shù)的最大似然估計(jì)值

。2.4最優(yōu)化理論-最優(yōu)化問(wèn)題的基本概念38最優(yōu)化理論研究如何通過(guò)選擇某些可執(zhí)行的策略使得目標(biāo)達(dá)到最優(yōu)。一個(gè)最優(yōu)化問(wèn)題通常包括以下要素:決策變量、目標(biāo)函數(shù)以及約束條件。設(shè)一個(gè)最優(yōu)化問(wèn)題,其目標(biāo)是最小化或最大化目標(biāo)函數(shù)

,并且受到一組約束條件的限制。最優(yōu)化問(wèn)題的基本形式可以表示為其中

是決策向量,

分別為不等式約束和等式約束,X表示給定的集合,比如

。在這種情況下,可行集

定義為滿足所有約束條件的

的集合:2.4最優(yōu)化理論-最優(yōu)化問(wèn)題的基本概念39凸優(yōu)化問(wèn)題：凸優(yōu)化問(wèn)題是指目標(biāo)函數(shù)和約束條件都具有凸性質(zhì)的優(yōu)化問(wèn)題。其基本思想是利用凸函數(shù)和凸集的良好性質(zhì),使得問(wèn)題的局部最優(yōu)解也是全局最優(yōu)解,從而簡(jiǎn)化問(wèn)題的求解過(guò)程。如果一個(gè)最優(yōu)化問(wèn)題的可行域是凸集且目標(biāo)函數(shù)是凸函數(shù),則該問(wèn)題為凸優(yōu)化問(wèn)題。一個(gè)標(biāo)準(zhǔn)的凸優(yōu)化問(wèn)題可以表示為凸優(yōu)化問(wèn)題具有一些獨(dú)特的性質(zhì):唯一性和全局最優(yōu)性、分離定理和強(qiáng)對(duì)偶性。在凸優(yōu)化的框架下,可以進(jìn)一步細(xì)分為無(wú)約束最優(yōu)化問(wèn)題、等式約束最優(yōu)化問(wèn)題和不等式約束最優(yōu)化問(wèn)題。其中,

為凸目標(biāo)函數(shù),

是不等式約束函數(shù),為凸函數(shù);

是等式約束,為仿射(線性)函數(shù)。2.4最優(yōu)化理論-無(wú)約束最優(yōu)化問(wèn)題40無(wú)約束最優(yōu)化問(wèn)題：是指沒(méi)有任何約束條件的優(yōu)化問(wèn)題。目標(biāo)是在整個(gè)空間中找到使目標(biāo)函數(shù)達(dá)到最優(yōu)的點(diǎn)。其數(shù)學(xué)形式表示為梯度下降法：是一種一階優(yōu)化算法,用于尋找函數(shù)的極小值。其基本思想是從一個(gè)初始點(diǎn)出發(fā),沿著目標(biāo)函數(shù)的負(fù)梯度方向迭代更新,使得目標(biāo)函數(shù)值逐步減小,最終找到極小值點(diǎn)。梯度：是一個(gè)向量,表示函數(shù)在某一點(diǎn)的最大上升方向。函數(shù)

在點(diǎn)

處的梯度定義為2.4最優(yōu)化理論-無(wú)約束最優(yōu)化問(wèn)題41

梯度的負(fù)方向即該點(diǎn)的最速下降方向。梯度下降法的步驟如下:Step1:選擇一個(gè)初始點(diǎn)Step2:計(jì)算目標(biāo)函數(shù)在當(dāng)前點(diǎn)

處的梯度

。Step3:沿著負(fù)梯度方向更新迭代點(diǎn),更新公式為

其中,

是步長(zhǎng),通常通過(guò)一維搜索確定。Step4:重復(fù)Step2