光譜數(shù)據(jù)的預(yù)處理方法綜述傅里葉變換紅外光譜的數(shù)據(jù)主要是由被測大米的紅外光譜特征主導(dǎo)的，同時采集又受到外界環(huán)境的影響較大，眾多不確定因素造就了采集得到的近紅外光譜信號的復(fù)雜性。在近紅外光譜數(shù)據(jù)中，除了樣品的自身有用信息外，不可避免會含有其它無關(guān)噪聲，這些噪聲的存在會影響數(shù)據(jù)的分析和模型的建立。為了消除各種噪聲對光譜信號分析的影響，需要通過適當(dāng)?shù)念A(yù)處理手段對光譜數(shù)據(jù)進行降噪，以便減少各種后續(xù)操作的錯誤率，提高光譜的信噪比，進而提升所建立近紅外光譜模型的準確性和預(yù)測精度，改善光譜分析信號的性能。但光譜數(shù)據(jù)去噪只是光譜數(shù)據(jù)預(yù)處理中最基本的方法之一。近紅外光譜信號的常用的預(yù)處理方法主要還有以下幾種：1、主線校正主線校正顧名思義即通過設(shè)置不同的主線使被測得到的光譜曲線消除偏移的方法，可以利用全光譜的數(shù)據(jù)減去其中的最低值，即所謂借助常偏移量進行消除。還可以利用全光譜數(shù)據(jù)按照最小二乘法原理擬合一條直線，然后用全部數(shù)據(jù)減去該直線，進而完成主線校正。該類型方法通常已經(jīng)封裝在光譜儀內(nèi)部，得到的結(jié)果也已進行過相應(yīng)處理，故該類型方法通常不體現(xiàn)在外部數(shù)據(jù)處理的MATLAB代碼中。圖3-1原始數(shù)據(jù)光譜圖2、坐標圖轉(zhuǎn)換由于光譜采集軟件默認使用透過率作為縱坐標，在計算時為了與文獻保持一致，需要先將透過率轉(zhuǎn)化為吸光度，再進行其他光譜前處理。MATLAB語句是：x=2-log10(x)。圖3-2透光率轉(zhuǎn)吸光度后光譜圖限定范圍使用的是MATLAB內(nèi)自帶的函數(shù)mapminmax，這是一種會規(guī)定函數(shù)上限與下限的函數(shù)，在訓(xùn)練模型的時候，能夠避免因數(shù)據(jù)值過大或過小造成的誤差，所以該方法使用非常廣泛，同時MATALB自帶該算法語句，側(cè)面也說明了使用的頻繁程度。圖3-3限定范圍后光譜圖3、數(shù)據(jù)增強型處理采用偏最小二乘法和支持向量機建立近紅外光譜分類模型時，光譜數(shù)據(jù)的變化程度會與待測大米產(chǎn)地或組成成分的波動進行互聯(lián)。因此，該類方法的主要目的是擴大不同產(chǎn)地大米近紅外光譜數(shù)據(jù)之間的差異，同時還可以削減無關(guān)信號的影響作用，進而提高后續(xù)模型的預(yù)測精度。常用的數(shù)據(jù)增強型處理方法有歸一化、標準化、平均化以及正態(tài)變量交化等。歸一化的原理是用向量自身去除以向量模長，即使原向量同比例縮小到1個單位長度；標準化與歸一化類同，不同的是標準化目的是使原向量的均值變?yōu)?；而正態(tài)變量交化的目的是為了讓數(shù)據(jù)符合正態(tài)分布的形式。他們的本質(zhì)意義都是要讓縱坐標（透過率）幅度上的微小差異不會被單次測量之間的誤差所掩蓋。平均化同樣也是一種使用廣泛的預(yù)處理方法，即將多個樣品數(shù)據(jù)的值求平均值。這種預(yù)處理手段能夠有效避免因操作失誤或者是環(huán)境波動所引起的個別測量誤差，但這樣做的缺點是會導(dǎo)致訓(xùn)練數(shù)據(jù)數(shù)量的下降。平均化以及標準化這兩種方法在數(shù)據(jù)預(yù)處理領(lǐng)域使用頻繁，值得注意的是，在對近紅外光譜數(shù)據(jù)進行預(yù)處理的同時，這兩種方法也會對被測數(shù)據(jù)的性質(zhì)或組成進行同樣的變換。正態(tài)變量交化是在1998年首次由SvanteWold等人提出，該方法原理是利用正交化方法去除原始數(shù)據(jù)中與測量無關(guān)的數(shù)據(jù)，是目前使用最廣的光譜數(shù)據(jù)預(yù)處理方法之一。圖3-4平均化（上左）、標準化（上右）、歸一化（下左）、正態(tài)變量交化（下右）后的光譜圖4、平滑處理由于近紅外光譜采集儀器設(shè)備本身的問題，或是周圍環(huán)境的波動等原因，會導(dǎo)致光譜信號中含有不同程度的噪聲。噪聲的存在會影響后續(xù)模型的預(yù)測精度，所以需要進行去噪處理，信號平滑就是常見的去噪手段，最終達到提高信號信噪比的目標?；瑒悠骄交ㄖ兄饕氖侨绾芜x擇一個合適的窗口寬度，常用的有五點平滑法，五點平滑法的理論依據(jù)是利用五個連續(xù)的數(shù)據(jù)點作為一個滑動窗口，將窗口包含的五個數(shù)據(jù)進行特殊處理來獲得一個新的數(shù)據(jù)點，五點平滑的算法是可以根據(jù)自我需求進行自行修改的。需要注意的是，由于原信號的前2個點和后2個點處，不足以湊夠5個點，所以需要使用特殊且規(guī)定好的平滑規(guī)則；而從第三個點到倒數(shù)第三個點，使用的則是另外一種算法。例如，采用如下處理方式，其中b(k)為各數(shù)據(jù)點，其前兩個數(shù)據(jù)點和中間各點以及后兩個數(shù)據(jù)點的規(guī)定算法如下圖3-5所列：圖3-5五點平滑算法內(nèi)部程序語句下面分別用10次、100次來平滑數(shù)據(jù)，得出結(jié)果如圖所示，藍色為原始數(shù)據(jù)、紅色為平滑10次、綠色為平滑100次，觀察可以發(fā)現(xiàn)，數(shù)據(jù)隨處理次數(shù)增加變得更加平滑。圖3-6五點平滑后光譜圖但是，滑動平均平滑法正是由于其本質(zhì)只是簡單的加權(quán)平均算法這樣的處理原理，會導(dǎo)致以下一些問題：如果滑動窗口包含的數(shù)據(jù)太少，就會使得平滑效果較差，去噪不夠明顯；如果滑動窗口包含的數(shù)據(jù)太多，就會導(dǎo)致處理過度，缺失有用信息，導(dǎo)致失真。Savitsky-Golay卷積平滑法的本質(zhì)也是一種利用多數(shù)據(jù)點平滑的方法，這一點與滑動平均平滑法一致，不同的是，前者需要通過對滑動窗口內(nèi)的數(shù)據(jù)，進行多項式擬合平滑，但后者只是簡單的求均值，所以SG卷積平滑法更看重中心點的作用。Savitsky-Golay卷積平滑算法主要涉及到兩個參數(shù)：窗口寬度和多項式次數(shù)。不同的移動窗口寬度及多項式次數(shù)會對平滑產(chǎn)生不同效果，如下圖所示，利用SG平滑法對采集得到的數(shù)據(jù)進行處理，其中藍色為原始的近紅外光譜圖，黑色為窗口寬度20、多項式次數(shù)2的處理后光譜數(shù)據(jù)，綠色為窗口寬度20、多項式次數(shù)5的處理后光譜數(shù)據(jù)，黃色為窗口寬度50、多項式次數(shù)2的處理后光譜數(shù)據(jù)，紅色為窗口寬度50、多項式次數(shù)5的處理后光譜數(shù)據(jù)。圖3-7Savitsky-Golay卷積平滑后光譜圖由上圖分析可得：多項式次數(shù)一定時，窗口寬度越大，所包含的數(shù)據(jù)越多，平滑起來的效果也越好，但窗口的選擇也不能過大，過大會使得包含的數(shù)據(jù)過多，造成原本沒必要消減的信息也被平滑掉；窗口寬度一定時，多項式次數(shù)越多，處理后的數(shù)據(jù)越貼合原始數(shù)據(jù)，對噪聲的抵抗能力越弱，但多項式次數(shù)也不宜過大，否則容易發(fā)生過擬合。5、小波變換小波變換（Wavelettransform,WT）是被較少使用到的一種預(yù)處理手段，它同時也是一種高效的去噪處理方法，其去噪效果遠比前述的平滑去噪算法要好的多，它可以方便明確地區(qū)分開高頻噪聲。但是，在信號已經(jīng)足夠平滑的情況下，小波變換去噪不會有明顯效果。小波變換的原理就在于將原信號根據(jù)不同的頻率小波分解為不同的小塊信號，再分析各小塊信號的特性，最后按照一定的閾值對其區(qū)分并重構(gòu)，從而實現(xiàn)平滑去噪。小波變換信號去噪的一般步驟分為如下3個步驟：（1）確定要變換的小波類型，同時選擇需要分解的層次，最后分解計算。（2）確定用去區(qū)分系數(shù)的閾值定義。（3）進行具體的小波重構(gòu)。從上面的3個步驟中可以看出，小波變換的重點就在于如何選取合適的區(qū)分閾值，使得信號被很好地區(qū)分開來，因此信號去噪后表現(xiàn)優(yōu)劣直接取決于閾值的選取。通常，利用MATLAB解決小波變換問題中，閾值的選取方法有三種：①系統(tǒng)自帶閾值；②人為給定閾值；③強制給定。上述的三種閾值選取方式中需要使用到的MATLAB系統(tǒng)自帶函數(shù)有：ddencmp——分解信號的默認閾值wdencmp——去噪處理。wthresh——閾值量化處理。針對本文研究所使用的大米近紅外光譜數(shù)據(jù)，分別采用以上三種方式進行小波變換，變換方式是：db5小波+3層分解，處理后的數(shù)據(jù)光譜圖如下。圖3-8小波變換后光譜圖根據(jù)圖像可以得出如下結(jié)論：針對本次測量使用的大米近紅外光譜數(shù)據(jù)而言，方法①<方法②<方法③。另外，除了閾值選取會影響結(jié)果外，分解所用到的小波函數(shù)的選擇也會使得小波變換去噪處