第五章優(yōu)化與智能計算5.1優(yōu)化的基本概念5.2凸優(yōu)化、梯度下降、隨機梯度下降5.3智能優(yōu)化方法第五章優(yōu)化與智能計算5.1優(yōu)化的基本概念5.2凸優(yōu)化、梯度下降、隨機梯度下降5.3智能優(yōu)化方法優(yōu)化及與人工智能的聯(lián)系優(yōu)化：在一定的約束條件下尋找最優(yōu)方案的技術(shù)。路徑規(guī)劃、節(jié)能方案、工藝流程、定價策略……應(yīng)用數(shù)學和工程的重要交叉方向運籌學數(shù)學規(guī)劃人工智能：在外界條件約束下，尋找成功概率最大的模型、參數(shù)、或決策——與優(yōu)化具有天然的聯(lián)系優(yōu)化的基本概念

優(yōu)化的基本概念

人工智能與優(yōu)化很多人工智能任務(wù)可以建模為優(yōu)化問題：離散優(yōu)化與連續(xù)優(yōu)化根據(jù)優(yōu)化變量的取值，優(yōu)化問題可以分為連續(xù)優(yōu)化（變量是實數(shù)）和離散優(yōu)化（如布爾變量、整數(shù)變量）一般而言，連續(xù)優(yōu)化易于求解從當前解出發(fā)，可以根據(jù)梯度等信息感知不同方向上的變化趨勢；在右圖所示的離散優(yōu)化問題中，當前解與其附近的點之間沒有聯(lián)系（因為目標函數(shù)只在整數(shù)點上才有定義），無法預先知道周圍解的情況無約束條件與有約束優(yōu)化約束條件是優(yōu)化問題的重要部分，不同的約束條件對應(yīng)的求解方法可能完全不同一般而言，無約束優(yōu)化比有約束優(yōu)化易于求解很多人工智能方法涉及無約束優(yōu)化，或約束條件比較簡單

第五章優(yōu)化與智能計算5.1優(yōu)化的基本概念5.2凸優(yōu)化、梯度下降、隨機梯度下降5.3智能優(yōu)化方法凸集與凸函數(shù)

“弦在曲線上”凸優(yōu)化問題

凸優(yōu)化應(yīng)用舉例：前后背景分離

通過求解凸優(yōu)化問題，可以將視頻分解為稀疏圖像（前景）和低秩圖像（背景）[4]最優(yōu)性條件

梯度下降

隨機梯度下降

隨機梯度下降隨機梯度下降使得我們可以對大規(guī)模問題進行有效的求解每一步迭代中，梯度下降得到了函數(shù)值的快速下降；隨機梯度下降方法的函數(shù)值甚至有可能上升。因此隨機梯度下降的搜索次數(shù)比梯度下降多。但每一步計算時，隨機梯度下降的計算量比梯度下降少，因此總的計算效率有可能比梯度下降方法高，特別是在大規(guī)模優(yōu)化問題中第五章優(yōu)化與智能計算5.1優(yōu)化的基本概念5.2凸優(yōu)化、梯度下降、隨機梯度下降5.3智能優(yōu)化方法模擬退火算法梯度下降算法會陷入局部極小負梯度一定能使得函數(shù)值減小局部極小附近沒有比當前點更好的解跳出局部極小，必須容忍函數(shù)值的上升以概率接收函數(shù)值的上升接收概率與上升程度成反比接收概率隨算法進行而變小粒子群算法多個粒子進行搜索和信息交互，提供跳出局部極小的可能

遺傳算法仿照生物群體的進化過程利用自然選擇機制選擇好的點利用雜交機制，集中和綜合好的解的特性利用變異，為種群提供多樣性和新的可能性隨機生成包含足夠數(shù)量的染色體的生物種群；計算種群中每個個體的“適應(yīng)度”（fitness）；根據(jù)適應(yīng)度隨機選擇競爭中勝出的個體，適應(yīng)度越高，相應(yīng)個