基于機器學習的蒸發(fā)波導預測研究目錄人工智能及其發(fā)展深度學習基本知識基于機器學習的蒸發(fā)波導預測研究1.人工智能及其發(fā)展人工智能概念的提出1956年，幾個計算機科學家相聚在達特茅斯會議，提出“人工智能”概念什么是智能人工智能像人一樣思考有頭腦的機器(Haugeland,1985)合理地思考使感知、推理和行動成為可能的計算(Winston，1992)像人一樣行動研究如何使計算機能做那些目前人比計算機更擅長的事情(Rich和Knight,1991)合理地行動計算智能以及研究智能Agent的設計(Poole等人,1998)機器學習：一種實現智能的方式機器學習最基本的做法，是使用算法來解析數據、從中學習，然后對真實世界中的事件做出決策和預測。與傳統(tǒng)方法不同，機器學習是用大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。機器學習直接來源于早期的人工智能領域，傳統(tǒng)的算法包括決策樹、聚類、貝葉斯分類、支持向量機等等。從學習方法上來分，機器學習算法可以分為監(jiān)督學習（如分類問題）、無監(jiān)督學習（如聚類問題）、半監(jiān)督學習、集成學習、深度學習和強化學習應用：指紋識別、人臉識別深度學習：一種實現機器學習的技術深度學習本質上是基于機器學習中的神經網絡而來，其基本思路是采用多層神經網絡加強擬合能力。2006年以后，隨著互聯(lián)網數據量級指數級發(fā)展、結合GPU計算能力的發(fā)展以及對神經網絡領域努力研究的學者的共同作用下，深度學習重新進入人們的視野。應用：語音識別、自然語言處理、機器視覺三者的區(qū)別和聯(lián)系人工智能機器學習深度學習人工智能：創(chuàng)造一種可以理解和模擬人類智能和智能行為及其規(guī)律的機器（Knowledge

Bases）機器學習：人工智能的一個分支，也是現階段人工智能研究的主要手段之一。它致力于研究如何通過計算的手段，利用經驗來改善系統(tǒng)自身的性能（Support

Vector

Machine）深度學習：機器學習的一個子類，通過多個隱藏層達到深度的效果，可以更好地提取特征并進行學習（Mutilayer

perceptron）機器學習方法可作為海洋大數據分析的有力手段傳統(tǒng)研究海洋科學的方法是通過對具體過程如：潮汐、洋流、波浪等進行物理背景的研究，建立相應的物理模型。海洋大數據本身就蘊含了足夠多的物理過程的信息與規(guī)律，通過數據科學手段如機器學習、深度學習，可以從海量數據中提取潛在規(guī)律。隨著數據科學理論的進步，由數據驅動的海洋科學研究將會蓬勃發(fā)展2.深度學習基本概念神經網絡基本結構組合函數(Combination

Function)在輸入層之后的網絡里，每個神經元的功能都是將上一層產生的向量通過自身的函數生成一個標量值，這個標量值就成為下一層神經元的網絡輸入變量。這種在網絡中間將向量映射為標量的函數就被稱為組合函數。常用的組合函數包括線性組合函數、基于歐式空間距離的函數等。激活函數(Activation

Function)大多數神經元都將一維向量的網絡輸入變量通過一個函數映射為另外一個一維向量的數值，這個函數稱為激活函數，其產生的值就被稱為激活狀態(tài)。除了輸出層外，這些激活函數通常將一個實數域上的值映射到一個有限域中，因此也被稱為“坍縮函數”激活函數的作用是為網絡引入非線性變化來增強其函數表達能力。常用激活函數有ReLu、Logistic

Sigmoid、雙曲正切函數等(1)(2)(3)Logistic

Sigmoid函數與雙曲正切函數在網絡層數較多時，會出現梯度消失現象。ReLU易于優(yōu)化，當其處于激活狀態(tài)時，可以保持較大導數值和梯度，可防止梯度消失現象。輸出層激活函數（也稱輸出單元）的選擇對于雙取值因變量，常選Logistic函數對于多取值離散因變量，常選softmax函數對于有有限值域的連續(xù)因變量，logistic和tanh函數均可選擇對于無限制值域（或有限值域但邊界未知）的連續(xù)因變量，常選線性函數(1)為Logistic

Sigmoid函數；(2)為雙曲正切函數；(3)為Rectified

Linear

Unit(ReLU)誤差函數(Loss

Function)監(jiān)督學習的神經網絡中都需要一個函數來測度模型輸出值和真實的因變量值之間的差異，其差異一般稱為殘差或誤差。用于衡量此差異的函數被稱為誤差函數或損失函數。網絡的訓練就是通過不斷調整網絡中神經元之間的參數來盡可能減小損失函數。常用的損失函數：均方差：常用于實數域連續(xù)變量的回歸問題交叉熵損失（Cross-Entropy）：常用于分類問題，還可細分為二分類交叉熵和多分類交叉熵優(yōu)化指的是改變網絡參數以最小化損失函數的任務，深度學習中優(yōu)化方案都是基于梯度進行的。假設存在函數y=f(x)，其中x和y都是實數，該函數的導數記為f'(x)，代表f(x)在點x處的斜率，即說明如何給輸入x的引入微小變化?可以使輸出進行相應改變：f(x+?)≈f(x)+?f'(x)。因此導數可以指示如何更改x來減小損失函數y，即可以將x向導數的反方向移動一小步來減小f(x)，此方法被稱為梯度下降法（gradientdescent，GD）優(yōu)化方案機器學習算法中的損失函數通常可以分解成單個樣本的損失函數之和，如訓練數據的負對數似然可以寫成其中n是樣本總量，L是每個樣本的損失對于這些相加的損失函數，梯度下降法需要計算此運算計算復雜度為O(n)，即隨著訓練集規(guī)模不斷增長，計算每一步梯度的時間會越來越長隨機梯度下降法幾乎所有深度神經網絡的訓練都是基于隨機梯度下降法（stochasticgradient

descent,

SGD）或其衍生算法而進行的，SGD源于GD。SGD的核心是，梯度是期望，而期望可以使用小規(guī)模的樣本近似估計。在該算法的每一步，從訓練集中均勻抽取一組小批量（minibatch）樣本其中n'為該小批量樣本數目,通常為較小數值（從1至幾百）。當訓練集大小n增長時，n'通常是固定的。使用來自小批量B的樣本，梯度的估計可表示為:SGD算法使用的梯度下降估計：其中，?為學習率。自適應學習率優(yōu)化方案使用SGD算法最大的困難在于選擇合適的學習率，不同的實際問題對應了不同的學習率，而不恰當的學習率會影響算法的收斂速率，甚至導致算法被困在局部最小值點。由于手動設定學習率的局限性，自適應學習率算法被提出，常用的自適應學習率算法有AdaGrad算法、RMSProp算法和Adam算法等。3.基于機器學習的蒸發(fā)波導預測

大氣波導陷獲折射條件下，電磁波會部分地被捕獲在一定厚度的大氣薄層內，經上下氣層來回反射向前傳播，就像電磁波在金屬波導管中傳播一樣，這種現象稱為大氣波導傳播，形成波導傳播的大氣薄層稱為大氣波導。大氣波導外場觀測實驗實驗時間：

2013年3月至5月實驗數據：基本氣象要素（海表溫度、10米處的大氣溫度、大氣濕度、大氣壓力、風速）蒸發(fā)波導高度RMSEP-J8.71BYC9.15MGB18.19SCCP-J0.16BYC0.03MGB0.01P-J模型在我國南海地區(qū)適應性最好一、蒸發(fā)波導生成機理及傳統(tǒng)預測模型研究支持向量回歸是Vapnik提出的一種機器學習算法核方法(Kernel)為了處理非線性樣本常用核函數：線性核徑向基函數（RBF）核二、基于支持向量回歸的蒸發(fā)波導預測模型研究SVR

P-J優(yōu)化方法SVR訓練集：

為樣本特征，為樣本標簽樣本特征xi樣本標簽yiOriginalSVR實測氣象要素實測蒸發(fā)波導高度SVRP-J原始P-J模型輸出實測蒸發(fā)波導高度

SVR訓練過程Original

SVR預測模型測試性能數據篩選

SVR訓練過程SVR

P-J優(yōu)化模型測試性能不同區(qū)域的RMSE和SCC的對比SCS

GOERSSLNBBSCS

BACKRMSESVRP-J4.784.975.687.1410.39OriginalSVR6.294.805.527.6710.81OriginalP-J6.906.408.248.117.04SCCSVRP-J0.770.520.770.240.63OriginalSVR0.030.250.010.310.74OriginalP-J0.820.590.770.290.63除SCS

BACK外，SVR

P-J模型綜合表現最好三、基于多層感知機的蒸發(fā)波導預測模型研究多層感知機（Multilayer

Perception,

MLP)是一種前向結構的神經網絡，映射一組輸入向量到一組輸出向量，其本質與傳統(tǒng)蒸發(fā)波導預測模型相同。多層感知機具有萬能近似性質(Hornik

et

al.,

1989;Cybenko,

1989)MLP結構示意圖萬能近似定理（universal

approximation

theorem）(Hornik

et

al.,

1989;Cybenko,

1989)表明：一個前饋神經網絡如果具有線性輸出層和至少一層具有任何一種”擠壓”性質的激活函數的隱藏層，只要給予網絡足夠的隱藏神經元，它可以以任意的精度來近似任何從一個有限維空間到另一個有限維空間的Borel可測函數。萬能近似性質與萬能近似定理

MLP訓練過程SCS-MLP預測模型測試性能數據篩選

MLP訓練過程MLP

P-J優(yōu)化模型測試性能SCS-MLP預測模型硬件配置：

NVIDIAGTX1080TiGPU*2深度學習框架：Keras網絡結構及超參數：含有5個隱藏層的MLP神經元個數分別為：50、30、20、10、5激活函數：ReLUBatch

size:20Epochs:500損失函數：MSE優(yōu)化方案：AdamMLP

P-J優(yōu)化模型硬件配置：NVIDIAGTX1080TiGPU*2深度學習框架：Keras網絡結構及超參數：含有3個隱藏層的MLP神經元個數分別為：20、10、5激活函數：ReLUBatch

size:20Epochs:300損失函數：MSE優(yōu)化方案：AdamSCS

GOERSSLNBBSCS

BACKRMSEMLPP-J0.802.481.142.222.18SCS-MLP0.780.830.471.271.79OriginalP-J6.906.408.248.117.04SCCMLPP-J0.660.450.700.220.55SCS-MLP0.700.500.750.470.77OriginalP-J0.820.590.770.290.63不同區(qū)域的RMSE和SCC的對比SCS-MLP模型綜合表現最好交叉學習結果Training

areaTest

areaSCS

GOERSSLNBBSCS

BACKSCS

Go-2.381.442.661.18ER1.37-0.660.400.61SSL1.530.