PM2.5反演模型研究綜述目錄TOC\o"1-3"\h\u21032PM2.5反演模型研究綜述 1285241.1多元線性回歸模型 1313661.2隨機(jī)森林模型 1278981.3深度神經(jīng)網(wǎng)絡(luò)模型 2258621.4結(jié)合空間距離與注意力的神經(jīng)網(wǎng)絡(luò)模型 5本文研究中使用到的模型主要有多元線性回歸模型，隨機(jī)森林模型，普通神經(jīng)網(wǎng)絡(luò)模型以及結(jié)合空間距離與注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型。其中多元線性回歸模型用于選取較優(yōu)高濕訂正形式的實(shí)驗(yàn)研究中，隨機(jī)森林模型與普通神經(jīng)網(wǎng)絡(luò)模型用于PM2.5濃度反演的對(duì)比實(shí)驗(yàn)中，結(jié)合空間距離與注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型為本文提出的一種改進(jìn)后的顧及PM2.5空間相關(guān)性的神經(jīng)網(wǎng)絡(luò)模型。1.1多元線性回歸模型在統(tǒng)計(jì)學(xué)中，回歸分析是用來(lái)描述存在因果關(guān)系的因變量和自變量之間數(shù)量變化關(guān)系的一種分析方法，構(gòu)建二者之間的回歸方程式，稱之為線性回歸[70]。按照所涉及的變量多少，線性回歸分析又可分為一元線性回歸分析與多元線性回歸分析。在現(xiàn)實(shí)世界的實(shí)際問(wèn)題中，因變量通常由多個(gè)因素影響，也就是多個(gè)影響因素共同作用于某一事物，因此在建立事物的預(yù)測(cè)模型時(shí)，與一元線性回歸分析相比，多元線性回歸分析建立的模型更加接近實(shí)際情況，其預(yù)測(cè)和估算也更加準(zhǔn)確。在現(xiàn)實(shí)生活中，多元線性回歸更適合實(shí)際需求，具有更強(qiáng)的實(shí)用意義，被廣泛應(yīng)用于社會(huì)、經(jīng)濟(jì)、技術(shù)以及眾多自然科學(xué)領(lǐng)域的研究中[71]。多元線性回歸模型的一般表達(dá)式如下： (公式2-14)公式中，表示自變量，共有i個(gè)，表示回歸系數(shù)，為截距項(xiàng)，為隨機(jī)誤差項(xiàng)。本文中，研究高濕訂正形式對(duì)PM2.5濃度反演的影響時(shí)，多元線性回歸模型的因變量為PM2.5濃度，自變量包含了AOD、溫度、濕度、氣壓、風(fēng)速、邊界層高度等12個(gè)因素。1.2隨機(jī)森林模型在二十世紀(jì)八九十年代，傳統(tǒng)的分類方法存在著精度不高，且十分容易出現(xiàn)過(guò)擬合的問(wèn)題。因此，許多學(xué)者以聚集多個(gè)模型來(lái)提高整體預(yù)測(cè)精度為主要思想，提出了許多的方法，這些方法被統(tǒng)稱為組合（ensemble）或分類器組合（classifiercombination）方法[72]。方法的主要思路為：首先使用訓(xùn)練數(shù)據(jù)構(gòu)建一組基分類模型(baseclassifier),然后根據(jù)因變量的具體類型（比如分類變量與連續(xù)數(shù)值變量）對(duì)每個(gè)基分類模型的預(yù)測(cè)值進(jìn)行投票或取平均值來(lái)決定最終的預(yù)測(cè)結(jié)果。在這些方法的啟發(fā)下，Breiman等人于2001年提出了隨機(jī)森林算法（RandomForest，RF），一種基于決策樹(shù)的組合式自學(xué)習(xí)算法，被譽(yù)為機(jī)器學(xué)習(xí)算法模型中最好的算法之一。隨機(jī)森林算法是一種統(tǒng)計(jì)學(xué)習(xí)理論，它主要采用了隨機(jī)子空間與Bagging兩種集成策略，主要的實(shí)現(xiàn)步驟為：1.使用bootstrap自助聚集法，從原始數(shù)據(jù)樣本中有放回、重復(fù)、隨機(jī)地抽取出N個(gè)訓(xùn)練樣本集，分別對(duì)應(yīng)N棵決策樹(shù)；2.使用隨機(jī)子空間構(gòu)建決策樹(shù)，即在輸入數(shù)據(jù)的M個(gè)屬性中隨機(jī)選取m個(gè)屬性分配到每一棵決策樹(shù)（二者需要滿足M>m），接著在每一棵決策樹(shù)中按照某種策略從m個(gè)屬性中確定分裂屬性，并分配給決策樹(shù)的每一個(gè)節(jié)點(diǎn)；3.把N棵決策樹(shù)組成隨機(jī)森林，并得出最終預(yù)測(cè)結(jié)果。當(dāng)隨機(jī)森林以分類為目的時(shí)，結(jié)果以分類樹(shù)輸出類別的眾數(shù)決定；當(dāng)隨機(jī)森林以回歸為目的時(shí)，最終預(yù)測(cè)值是所有樹(shù)結(jié)果的平均值。隨機(jī)森林算法存在著許多的優(yōu)勢(shì)，比如：隨機(jī)森林實(shí)現(xiàn)起來(lái)比較簡(jiǎn)單，計(jì)算開(kāi)銷小，訓(xùn)練速度較快，容易形成并行方法，且對(duì)噪聲與異常值的容忍度高，十分適合非線性數(shù)據(jù)建模，并可對(duì)變量進(jìn)行重要程度分析[73]；隨機(jī)森林在處理較高維度的數(shù)據(jù)時(shí)，可以不進(jìn)行特征選，對(duì)數(shù)據(jù)集的適應(yīng)力比較強(qiáng)，不需要規(guī)范化就可以處理離散型、連續(xù)型以及混合型數(shù)據(jù)；隨機(jī)森林存在檢驗(yàn)多變量間的相互影響作用的方法，而且當(dāng)原始數(shù)據(jù)存在多元共線關(guān)系時(shí)模型不敏感；隨機(jī)森林對(duì)于不平衡數(shù)據(jù)集來(lái)說(shuō)，可以平衡其誤差，同時(shí)模型結(jié)果對(duì)缺失數(shù)據(jù)穩(wěn)健，具有較強(qiáng)的缺失數(shù)據(jù)插補(bǔ)能力；隨機(jī)森林在應(yīng)用于回歸問(wèn)題時(shí)，按照有放回的隨機(jī)抽樣法選擇訓(xùn)練數(shù)據(jù)樣本，建立回歸決策子樹(shù)時(shí)大約有36.8%的樣本因未被選中而成為驗(yàn)證集，這起到了內(nèi)部交叉驗(yàn)證的作用，可以有效避免過(guò)擬合的出現(xiàn)；隨機(jī)森林可以通過(guò)匯總大量決策子樹(shù)來(lái)提高模型的回歸精度，同時(shí)減少過(guò)擬合等問(wèn)題[74]。1.3深度神經(jīng)網(wǎng)絡(luò)模型在地球動(dòng)物體內(nèi)，神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和機(jī)能單位是神經(jīng)細(xì)胞，又稱神經(jīng)元。神經(jīng)元是一種高度特化的細(xì)胞，具有感受刺激和傳到興奮的功能。在生物神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元都會(huì)與其他神經(jīng)元相連，當(dāng)其受到刺激，內(nèi)部電位超過(guò)某一個(gè)閾值時(shí)，就會(huì)被激活并且向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，改變這些神經(jīng)元內(nèi)部的電位，進(jìn)而傳導(dǎo)刺激，控制生物做出一定的反應(yīng)。受到動(dòng)物神經(jīng)元工作過(guò)程的啟發(fā)，1943年，麥卡洛克與皮茲二人按照生物神經(jīng)元的結(jié)構(gòu)與工作原理構(gòu)造出了一個(gè)簡(jiǎn)化、抽象的模型，即MCP模型。MCP模型將神經(jīng)元的一系列反應(yīng)簡(jiǎn)化成了三個(gè)過(guò)程：輸入信號(hào)的線性加權(quán)、求和以及非線性激活（閾值法）。人工神經(jīng)網(wǎng)絡(luò)的大門(mén)也由此開(kāi)啟，越來(lái)越多的學(xué)者投身于神經(jīng)網(wǎng)絡(luò)的研究之中，該技術(shù)得到了迅速發(fā)展。圖2-1MCP神經(jīng)元模型示意圖在上世紀(jì)六十年代末，由于學(xué)習(xí)計(jì)算能力的不足，當(dāng)時(shí)的單層感知機(jī)模型只能應(yīng)用于一些簡(jiǎn)單的線性分類領(lǐng)域，甚至無(wú)法解決異或這樣的簡(jiǎn)單非線性可分問(wèn)題，這也使得神經(jīng)網(wǎng)路的研究在很長(zhǎng)一段時(shí)間里都沒(méi)有創(chuàng)新與發(fā)展。到了八十年代末，反向傳播算法（BackPropagation，BP）被提出，其能很好的調(diào)整神經(jīng)元之間的連接權(quán)，即權(quán)值，這在很大程度上解決了此前神經(jīng)網(wǎng)絡(luò)在模型訓(xùn)練時(shí)所遇到的問(wèn)題，但局部最優(yōu)、梯度消失與爆炸這些之前未發(fā)現(xiàn)的新問(wèn)題也暴露在了學(xué)者們面前。之后提出的一些深度學(xué)習(xí)技術(shù)理論，使得深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的權(quán)重優(yōu)化難題得以解決，此后神經(jīng)網(wǎng)絡(luò)算法的發(fā)展速度大幅加快。發(fā)展至今，深度學(xué)習(xí)模型的種類眾多，應(yīng)用領(lǐng)域也十分的廣泛，比如在信息、經(jīng)濟(jì)、醫(yī)學(xué)、控制、交通以及心理學(xué)領(lǐng)域中都能看到神經(jīng)網(wǎng)絡(luò)的身影[75]。深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，DNN）是如今十分典型的一種深度學(xué)習(xí)模型，此處的“深度”一般指隱藏層的深度或者層數(shù)，網(wǎng)絡(luò)模型結(jié)構(gòu)如下圖所示。模型包含了一個(gè)輸入層、一個(gè)輸出層以及多個(gè)隱藏層，每一層的神經(jīng)元數(shù)目各不相同，層與層之間采取全連接的形式。而隨著隱藏層層數(shù)的增加，模型的整體復(fù)雜度也在提升，這使得模型可以解決更加復(fù)雜的任務(wù)。圖2-2深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖針對(duì)不同的應(yīng)用場(chǎng)景訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)模型，除了網(wǎng)絡(luò)的整體結(jié)構(gòu)需要確定之外，激活函數(shù)、正則化、損失函數(shù)、優(yōu)化器等影響模型實(shí)際表現(xiàn)效果的部分也要進(jìn)行人為調(diào)整。激活函數(shù)存在于隱藏層中的每一個(gè)節(jié)點(diǎn)，它負(fù)責(zé)將神經(jīng)元的輸入映射到輸出。激活函數(shù)的存在，給神經(jīng)元引入了非線性因素，不僅能夠提高模型的表達(dá)與學(xué)習(xí)能力，還能避免梯度消失的情況出現(xiàn)，使得神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任意復(fù)雜度的非線性函數(shù)，這樣神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用于許多的非線性模型之中。目前常見(jiàn)的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)以及ReLU函數(shù)。Sigmoid函數(shù)也叫Logistic函數(shù)，取值范圍為（0，1），它易于求導(dǎo)，常應(yīng)用于二分類任務(wù)中，但其計(jì)算量較大，在反向傳播時(shí)容易出現(xiàn)梯度消失的情況；Tanh函數(shù)為雙曲函數(shù)中的一個(gè)，取值范圍為（-1，1），在實(shí)際應(yīng)用中，Tanh函數(shù)的使用優(yōu)先性高于Sigmoid函數(shù)，但其仍然容易出現(xiàn)梯度消失的問(wèn)題；ReLU函數(shù)又稱為修正線性單元（RectifiedLinearUnit），是一種分段線性函數(shù)，它相比于Sigmoid函數(shù)與Tanh函數(shù)，簡(jiǎn)化了計(jì)算過(guò)程，使得梯度下降與反向傳播的效率明顯提高，在一定程度上改善了梯度爆炸與梯度消失的問(wèn)題，在目前的深度神經(jīng)網(wǎng)絡(luò)中被廣泛使用。在機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法中，正則化是被廣泛使用的一種技術(shù)，其本質(zhì)目的是防止模型過(guò)擬合，同時(shí)提高模型的泛化能力。過(guò)擬合也被稱為過(guò)度學(xué)習(xí)，是指模型在訓(xùn)練學(xué)習(xí)過(guò)程中，過(guò)分考慮了當(dāng)前樣本數(shù)據(jù)的結(jié)構(gòu)，學(xué)習(xí)了較多的無(wú)用、冗余特征，使得模型太過(guò)復(fù)雜，無(wú)法泛化到其他的未參與訓(xùn)練的數(shù)據(jù)樣本中。在深度學(xué)習(xí)領(lǐng)域，能夠顯著降低方差，同時(shí)不會(huì)過(guò)度增加偏差的方法一般都被認(rèn)為是正則化技術(shù)。常用的正則化技術(shù)包含了L1正則化、L2正則化、擴(kuò)增樣本集、集成學(xué)習(xí)、多任務(wù)學(xué)習(xí)、早停止、Dropout、對(duì)抗訓(xùn)練以及參數(shù)共享等。這些方法當(dāng)中，Dropout可以具體選擇在某一層使用，更為靈活，適用于不同的輸入范圍。損失函數(shù)（lossfunction）是用來(lái)衡量模型輸出的預(yù)測(cè)值與實(shí)際真實(shí)值Y之間差異程度的運(yùn)算函數(shù)，它是一個(gè)非負(fù)實(shí)值函數(shù)，一般使用表示，損失函數(shù)的值越小，預(yù)測(cè)值越接近實(shí)際真實(shí)值，模型的魯棒性也越高。經(jīng)過(guò)損失函數(shù)計(jì)算出模型輸出值與真實(shí)值之間的差異值，也就是損失值，再通過(guò)反向傳播去更新模型中的各個(gè)參數(shù)，使得模型后續(xù)生成的預(yù)測(cè)值不斷向真實(shí)值靠攏，從而達(dá)到優(yōu)化學(xué)習(xí)的目的。目前常用的損失函數(shù)包含均方誤差損失函數(shù)、L1損失函數(shù)、L2損失函數(shù)、交叉熵?fù)p失函數(shù)、softmax損失函數(shù)等，根據(jù)模型所應(yīng)用的具體任務(wù)情況，需要有選擇性地挑選合適的損失函數(shù)。1.4結(jié)合空間距離與注意力的神經(jīng)網(wǎng)絡(luò)模型PM2.5與AOD等影響因子之間存在固有空間異質(zhì)特征，顧及到這一方面的影響，有學(xué)者將地理加權(quán)回歸模型（GeographicallyWeightedRegression，GWR）引入了PM2.5反演研究中，細(xì)化表示了PM2.5濃度的局部空間變化。然而GWR模型刻畫(huà)出的非線性空間關(guān)系通常比較簡(jiǎn)單，與PM2.5空間估算這種多變量非線性問(wèn)題的契合度不高[76,77]。吳森森等人基于GWR的地理加權(quán)思想，同時(shí)引入對(duì)非線性關(guān)系具有超強(qiáng)擬合能力的神經(jīng)網(wǎng)絡(luò)模型，提出了一種地理神經(jīng)網(wǎng)絡(luò)加權(quán)回歸（GeographicallyNeuralNetworkWeightedRegression，GNNWR）模型[78]。注意力機(jī)制（AttentionMechanism）起源于上世紀(jì)九十年代對(duì)人類視覺(jué)的研究，學(xué)者們發(fā)現(xiàn)人類視網(wǎng)膜只有中間部位具有最強(qiáng)的信息處理能力，即敏銳度，為了使有限的視覺(jué)信息處理資源得到充分的利用，人類會(huì)選取視覺(jué)場(chǎng)景中的某一部位來(lái)集中關(guān)注。比如，當(dāng)人們觀察一張圖片時(shí)，第一時(shí)間會(huì)觀察圖像的中心部位或者具有突兀顏色的部位，待這些位置的視覺(jué)信息處理完畢后再關(guān)注其他區(qū)域。目前，注意力機(jī)制被廣泛應(yīng)用在各種不同類型的深度學(xué)習(xí)任務(wù)中，比如語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理、統(tǒng)計(jì)學(xué)習(xí)等領(lǐng)域[79-82]。在深度學(xué)習(xí)領(lǐng)域，注意力機(jī)制的本質(zhì)思想是輸入數(shù)據(jù)的不同維度或不同部位對(duì)輸出結(jié)果的貢獻(xiàn)程度各不相同，若能使模型更加關(guān)注某些對(duì)結(jié)果影響重大的特征信息，便能提升模型的性能，并在一定程度上降低計(jì)算量。為了達(dá)到這種效果，目前一般的做法是對(duì)各個(gè)特征賦予不同大小的權(quán)重。注意力機(jī)制可以表示為如下形式： (公式2-15) (公式2-16)公式中，X表示輸入的特征向量或矩陣，A表示注意力模塊網(wǎng)絡(luò)，F(xiàn)表示注意力模塊網(wǎng)絡(luò)的輸出，即特征權(quán)重，表示F與A之間進(jìn)行的運(yùn)算，包含加法、點(diǎn)乘等操作，表示獲取了權(quán)重的特征向量或矩陣。注意力機(jī)制一般可按照F的取值范圍和A的結(jié)構(gòu)特點(diǎn)進(jìn)行分類。根據(jù)特征權(quán)重F的取值范圍，將注意力機(jī)制分為軟注意力機(jī)制、硬注意力機(jī)制和自注意力機(jī)制。特征權(quán)重F的取值范圍為[0，1]時(shí)，為軟注意力機(jī)制；特征權(quán)重的取值只有0和1時(shí)，為硬注意力機(jī)制；特征權(quán)重的值由輸入特征內(nèi)部相互表決來(lái)決定時(shí)，為自注意力機(jī)制。根據(jù)注意力模塊網(wǎng)絡(luò)A的結(jié)構(gòu)特點(diǎn)，將注意力機(jī)制分為空間域注意力機(jī)制、通道與注意力機(jī)制以及混合域注意力機(jī)制。為了使神經(jīng)網(wǎng)絡(luò)能顧及PM2.5的空間相關(guān)性，并重點(diǎn)關(guān)注反演要素中的重要特征，本文擬提出結(jié)合空間距離與注意力機(jī)