目錄1激活函數(shù)的概念01任務02任務激活函數(shù)的性質03任務激活函數(shù)的作用常用的激活函數(shù)04任務1激活函數(shù)的概念1激活函數(shù)的概念激活函數(shù)在前面也提到過，神經網絡神經元中，輸入的inputs通過加權，求和后，還被作用了一個非線性函數(shù)，這個函數(shù)就是激活函數(shù)

（ActivationFunction）。2激活函數(shù)的作用2激活函數(shù)的作用神經網絡中激活函數(shù)的主要作用是提供網絡的非線性建模能力，激活函數(shù)一般而言是非線性函數(shù)；假設一個示例神經網絡中僅包含線性卷積和全連接運算，那么該網絡僅能夠表達線性映射，即便增加網絡的深度也依舊還是線性映射，難以有效建模實際環(huán)境中非線性分布的數(shù)據(jù)；加入（非線性）激活函數(shù)之后，深度神經網絡才具備了分層的非線性映射學習能力。3激活函數(shù)的性質3激活函數(shù)的性質非線性：激活函數(shù)給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數(shù)，一般激活函數(shù)是非線性函數(shù)；可微性：當優(yōu)化方法是基于梯度的時候，這個性質是必須，Δy=A×Δx+ο(Δx)；單調性：

當激活函數(shù)是單調的時候，單層網絡能夠保證是凸函數(shù)；輸出與輸入值相差不大：

保證神經網絡的高效訓練，y≈x；輸出值的范圍：當激活函數(shù)輸出值是有限的時候，基于梯度的優(yōu)化方法會更加穩(wěn)定。4常用的激活函數(shù)4常用的激活函數(shù)（1）SigmoidSigmoid函數(shù)也叫Logistic函數(shù)，定義為:4常用的激活函數(shù)優(yōu)點：能夠把??∈??的輸入“壓縮”到??∈[0,1]區(qū)間，可以通過Sigmoid函數(shù)將輸出轉譯為概率輸出；Sigmoid函數(shù)連續(xù)可導，相對于階躍函數(shù)，可以直接利用梯度下降算法優(yōu)化網絡參數(shù)，應用的非常廣泛

不足：在輸入值較大或較小時，易出現(xiàn)梯度值接近于0的現(xiàn)象，稱為梯度彌散現(xiàn)象，網絡參數(shù)長時間得不到更新，很難訓練較深層次的網絡模型。實現(xiàn)：在TensorFlow中，可以通過tf.nn.sigmoid()實現(xiàn)Sigmoid函數(shù)4常用的激活函數(shù)（2）ReLU（RectifiedLinearUnit，修正線性單元）定義為:4常用的激活函數(shù)優(yōu)點：ReLU函數(shù)的設計源自神經科學，計算十分簡單，同時有著優(yōu)良的梯度特性，在大量的深度學習應用中被驗證非常有效，是應用最廣泛的激活函數(shù)之一。不足：ReLU函數(shù)在x<0時梯度值恒為0，也可能會造成梯度彌散現(xiàn)象。實現(xiàn)：在TensorFlow中，可以通過tf.nn.relu實現(xiàn)ReLU函數(shù)。4常用的激活函數(shù)（3）softmax將輸出值映射到[0,1]區(qū)間，且滿足所有的輸出值之和為1的特性，適用于多分類問題，表示每個類別的概率.定義為:優(yōu)點：提高了數(shù)值計算的穩(wěn)定性；不足：容易因輸入值偏大