，為約束函數(shù)，。滿?最優(yōu)化數(shù)學模型中的所有約束條件就稱為可?點(FeasiblePoint)，所有可?點的全體稱為可?域(Feasible表?。在?個可?點的邊界；如果有，就稱不等式約束在點，如果沒有?個不等式約束是有效的，就稱是可?域的內(nèi)點，不滿?，如果存在?個鄰域成?，則稱為最優(yōu)化問題的局部最優(yōu)解，其中，如果存在?個鄰域和和為等式約束，和考慮不等式約束，則稱為最優(yōu)化問題的全局最優(yōu)解（或總體最優(yōu)解）；如果可?點是?個?的正數(shù)；對于可使得則是局部極?解，其中為連續(xù)函數(shù)，通常還要求連續(xù)可微。稱為決策變量，為不等式約束，并記等式約束的指標集為分別是英?單詞minimize(極?化)和subjectto(受約束)的縮寫。，如果有滿?成?，則稱為最優(yōu)化問題的嚴格局部最優(yōu)解。如下圖所是嚴格局部極?解，?為?標函，就稱不等式約束是?嚴格局部極?解。（注：在點附近有?段線考慮不等式約束是

最優(yōu)化問題簡介，為約束函數(shù)，。滿?最優(yōu)化數(shù)學模型中的所有約束條件就稱為可?點(FeasiblePoint)，所有可?點的全體稱為可?域(Feasible表?。在?個可?點的邊界；如果有，就稱不等式約束在點，如果沒有?個不等式約束是有效的，就稱是可?域的內(nèi)點，不滿?，如果存在?個鄰域成?，則稱為最優(yōu)化問題的局部最優(yōu)解，其中，如果存在?個鄰域和和為等式約束，和考慮不等式約束，則稱為最優(yōu)化問題的全局最優(yōu)解（或總體最優(yōu)解）；如果可?點是?個?的正數(shù)；對于可使得則是局部極?解，其中為連續(xù)函數(shù)，通常還要求連續(xù)可微。稱為決策變量，為不等式約束，并記等式約束的指標集為分別是英?單詞minimize(極?化)和subjectto(受約束)的縮寫。，如果有滿?成?，則稱為最優(yōu)化問題的嚴格局部最優(yōu)解。如下圖所是嚴格局部極?解，?為?標函，就稱不等式約束是?嚴格局部極?解。（注：在點附近有?段線考慮不等式約束是

題?：最優(yōu)化問題簡介

?年多學習以來，?論是前?學習壓縮感知，還是這半年學習機器學習，?直離不開最優(yōu)化，?如壓縮感知的基追蹤類重構算法，核?問題就是?個優(yōu)化問題，?機器學習中的很多算法也需要最優(yōu)化的知識，?如?持向量機算法?？磥肀仨毜冒炎顑?yōu)化的基本內(nèi)容學習?下了，不求理解的有多么深，?少要知道怎么?。其實前?已經(jīng)寫過?篇與最優(yōu)化相關的內(nèi)容了，就是《》這篇。

從本篇起，開始學習?些有關最優(yōu)化的基礎知識，重點是了解概念和如何應?。本篇是參考?獻第1.1節(jié)的?個摘編或總結，主要是把?些概念集中起來，可以隨時查閱。

1、?般形式

最優(yōu)化問題的數(shù)學模型的?般形式為（以下稱為最優(yōu)化數(shù)學模型）：

其中數(shù)，，不等式約束的指標集為

2、概念

如果點Region)，?有效約束或起作?約束(activeconstraint)，并稱可?點位于約束是?效約束或不起作?約束(inactiveconstraint)；對于?個可?點是內(nèi)點的可?點就是可?域的邊界點。顯然在邊界點?少有?個不等式約束是有效約束，當存在等式約束時，任何可?點都要滿?等式約束，因此不可能是等式約束的內(nèi)點。如果?個可?點，則稱為最優(yōu)化問題的嚴格全局最優(yōu)解（或嚴格總體最優(yōu)解）；對于可?點

使得?點?，點是嚴格全部極?解，是?平的）

?般常見的最優(yōu)化?法只適?于確定最優(yōu)化問題的局部最優(yōu)解，有關確定全局最優(yōu)解的最優(yōu)化?法屬于最優(yōu)化問題的另?個領域——全局最優(yōu)化。然?，如果最優(yōu)化問題的?標函數(shù)是凸的，?可?域是凸集，則問題的任何最優(yōu)解（不?定唯?）必是全局最優(yōu)解，這樣的最優(yōu)化問題?稱為凸規(guī)劃。進?步，對于凸集上的嚴格凸函數(shù)的極?化問題，存在唯?的全局最優(yōu)解。

3、分類

1）約束最優(yōu)化問題

只要在問題中存在任何約束條件，就稱為約束最優(yōu)化問題。

只有等式約束時，稱為等式約束最優(yōu)化問題，數(shù)學模型為：

只有不等式約束時，稱為不等式約束最優(yōu)化問題，數(shù)學模型為：

。矩陣向量形式為，為半正定矩陣，則稱此規(guī)劃為凸?次規(guī)劃，否則為?凸規(guī)劃。對于?凸規(guī)

既有等式約束，?有不等式約束，則稱為混合約束優(yōu)化問題（或?般約束優(yōu)化問題）；。矩陣向量形式為，為半正定矩陣，則稱此規(guī)劃為凸?次規(guī)劃，否則為?凸規(guī)劃。對于?凸規(guī)

把簡單界約束優(yōu)化問題稱為盒式約束優(yōu)化問題（或有界約束優(yōu)化問題），數(shù)學模型為：

2）?約束最優(yōu)化問題

如果問題中?任何約束條件，則稱為?約束最優(yōu)化問題，數(shù)學模型為：

3）連續(xù)與離散最優(yōu)化問題

決策變量的取值是連續(xù)的，稱為連續(xù)最優(yōu)化問題；

決策變量的取值是離散的，稱為離散最優(yōu)化問題，?稱為組合最優(yōu)化問題。如整數(shù)規(guī)劃、資源配置、郵路問題、?產(chǎn)安排等問題都是離散最優(yōu)化問題的典型例?，求解難度?連續(xù)最優(yōu)化問題更?。

4）光滑與?光滑最優(yōu)化問題

如果最優(yōu)化數(shù)學模型中的所有函數(shù)都連續(xù)可微，則稱為光滑最優(yōu)化問題；

只要有?個函數(shù)?光滑，則相應的優(yōu)化問題就是?光滑最優(yōu)化問題。

5）線性規(guī)劃問題

對于連續(xù)光滑最優(yōu)化問題，如果最優(yōu)化數(shù)學模型中的所有函數(shù)都是決策變量的線性函數(shù)，則稱為線性規(guī)劃問題。線性規(guī)劃問題的?般形式為：

其中

其中

，

6）?次規(guī)劃問題

對于連續(xù)光滑最優(yōu)化問題，如果最優(yōu)化數(shù)學模型中的?標函數(shù)是決策變量的?次函數(shù)，?所有約束都是決策變量的線性函數(shù)，則稱為?次規(guī)劃問題。?次規(guī)劃問題的?般形式為：

其中，為純量，為階對稱矩陣。如果劃，由于存在?較多的駐點，求解?較困難。

7）?線性最優(yōu)化問題

只要最優(yōu)化數(shù)學模型中的函數(shù)有?個關于決策變量是?線性的，則稱為?線性最優(yōu)化問題。

?線性最優(yōu)化問題是最?般的最優(yōu)化問題，?線性規(guī)劃和?次規(guī)劃問題卻是相當重要的特殊的最優(yōu)化問題，因為在實際中形成的許多最優(yōu)化問題都是線性規(guī)劃問題或?次規(guī)劃