農(nóng)產(chǎn)品產(chǎn)地溯源的近紅外光譜數(shù)據(jù)的去噪案例分析目錄TOC\o"1-3"\h\u23224農(nóng)產(chǎn)品產(chǎn)地溯源的近紅外光譜數(shù)據(jù)的去噪案例分析 186651.1引言 1323951.2光譜數(shù)據(jù)的預(yù)處理方法 241301.3基于EMD算法的光譜去噪方法 11272731.3.1EMD算法介紹 11233591.3.2光譜數(shù)據(jù)的去噪處理 14166541.3.3EMD算法的去噪性能評價(jià) 211871.4去噪結(jié)果與分析 24引言水稻中含有各種營養(yǎng)素，營養(yǎng)素中又含有許多與氫基有關(guān)的基團(tuán)，這些基團(tuán)會吸收包含在近紅外光波中的同頻率光波能量，產(chǎn)生與大米各種成分含量有關(guān)的近紅外光譜圖，大米的各成分含量與大米的產(chǎn)地相互關(guān)聯(lián)，判斷出不同結(jié)構(gòu)的光譜圖即可判斷各個(gè)大米的產(chǎn)地類型，這就實(shí)現(xiàn)了大米產(chǎn)地溯源的定量分析?；诮t外光譜的大米產(chǎn)地溯源檢測的原理即為：近紅外光被氫基團(tuán)吸收后，近紅外光衰減后被探測器接收，而不同區(qū)域的水稻，對應(yīng)著不同種類和數(shù)量的氫基團(tuán)，它們在近紅外光波段的吸收能力也各不相同，從而根據(jù)光譜數(shù)據(jù)建立起數(shù)學(xué)模型。在建立的數(shù)學(xué)模型的基礎(chǔ)上，利用傅里葉變換近紅外光譜儀采集待測產(chǎn)地未知水稻樣品的近紅外光譜數(shù)據(jù)，并將其代入上述已經(jīng)建立好的數(shù)學(xué)模型，最后得到具體的結(jié)果。然而，水稻近紅外波段比較復(fù)雜，混疊嚴(yán)重。此外，由于水稻自身、傅里葉變換光譜儀和實(shí)驗(yàn)測量環(huán)境的影響，采集到的近紅外光譜信號存在不同程度的噪聲，吸收的光譜信號強(qiáng)度較弱。因此，在建立水稻產(chǎn)地溯源模型之前，需要對光譜數(shù)據(jù)進(jìn)行去噪，借此提高信號的信噪比同時(shí)，還可以獲得能夠真實(shí)反映水稻成分含量的有用信息。本章節(jié)的主要研究內(nèi)容是大米近紅外光譜數(shù)據(jù)的去噪處理。首先以大米光譜數(shù)據(jù)為背景，對近紅外大米光譜數(shù)據(jù)所涉及到的預(yù)處理算法原理、使用方法進(jìn)行闡述；其次由于大米近紅外光譜數(shù)據(jù)存在噪聲，進(jìn)而導(dǎo)致大米產(chǎn)地溯源模型檢測精度低的問題，提出基于EMD算法的大米近紅外光譜數(shù)據(jù)去噪方法，該方法通過EMD算法對不同大米的近紅外光譜數(shù)據(jù)進(jìn)行IMF的自適應(yīng)分類，并通過分析采用恰當(dāng)?shù)膮^(qū)分方式對包含有有用信號的相關(guān)模態(tài)進(jìn)行合并重構(gòu)；最后通過對比試驗(yàn)等分析EMD算法的有效性。光譜數(shù)據(jù)的預(yù)處理方法傅里葉變換紅外光譜的數(shù)據(jù)主要是由被測大米的紅外光譜特征主導(dǎo)的，同時(shí)采集又受到外界環(huán)境的影響較大，眾多不確定因素造就了采集得到的近紅外光譜信號的復(fù)雜性。在近紅外光譜數(shù)據(jù)中，除了樣品的自身有用信息外，不可避免會含有其它無關(guān)噪聲，這些噪聲的存在會影響數(shù)據(jù)的分析和模型的建立。為了消除各種噪聲對光譜信號分析的影響，需要通過適當(dāng)?shù)念A(yù)處理手段對光譜數(shù)據(jù)進(jìn)行降噪，以便減少各種后續(xù)操作的錯(cuò)誤率，提高光譜的信噪比，進(jìn)而提升所建立近紅外光譜模型的準(zhǔn)確性和預(yù)測精度，改善光譜分析信號的性能。但光譜數(shù)據(jù)去噪只是光譜數(shù)據(jù)預(yù)處理中最基本的方法之一。近紅外光譜信號的常用的預(yù)處理方法主要還有以下幾種：1、主線校正主線校正顧名思義即通過設(shè)置不同的主線使被測得到的光譜曲線消除偏移的方法，可以利用全光譜的數(shù)據(jù)減去其中的最低值，即所謂借助常偏移量進(jìn)行消除。還可以利用全光譜數(shù)據(jù)按照最小二乘法原理擬合一條直線，然后用全部數(shù)據(jù)減去該直線，進(jìn)而完成主線校正。該類型方法通常已經(jīng)封裝在光譜儀內(nèi)部，得到的結(jié)果也已進(jìn)行過相應(yīng)處理，故該類型方法通常不體現(xiàn)在外部數(shù)據(jù)處理的MATLAB代碼中。圖3-1原始數(shù)據(jù)光譜圖2、坐標(biāo)圖轉(zhuǎn)換由于光譜采集軟件默認(rèn)使用透過率作為縱坐標(biāo)，在計(jì)算時(shí)為了與文獻(xiàn)保持一致，需要先將透過率轉(zhuǎn)化為吸光度，再進(jìn)行其他光譜前處理。MATLAB語句是：x=2-log10(x)。圖3-2透光率轉(zhuǎn)吸光度后光譜圖限定范圍使用的是MATLAB內(nèi)自帶的函數(shù)mapminmax，這是一種會規(guī)定函數(shù)上限與下限的函數(shù)，在訓(xùn)練模型的時(shí)候，能夠避免因數(shù)據(jù)值過大或過小造成的誤差，所以該方法使用非常廣泛，同時(shí)MATALB自帶該算法語句，側(cè)面也說明了使用的頻繁程度。圖3-3限定范圍后光譜圖3、數(shù)據(jù)增強(qiáng)型處理采用偏最小二乘法和支持向量機(jī)建立近紅外光譜分類模型時(shí)，光譜數(shù)據(jù)的變化程度會與待測大米產(chǎn)地或組成成分的波動進(jìn)行互聯(lián)。因此，該類方法的主要目的是擴(kuò)大不同產(chǎn)地大米近紅外光譜數(shù)據(jù)之間的差異，同時(shí)還可以削減無關(guān)信號的影響作用，進(jìn)而提高后續(xù)模型的預(yù)測精度。常用的數(shù)據(jù)增強(qiáng)型處理方法有歸一化、標(biāo)準(zhǔn)化、平均化以及正態(tài)變量交化等。歸一化的原理是用向量自身去除以向量模長，即使原向量同比例縮小到1個(gè)單位長度；標(biāo)準(zhǔn)化與歸一化類同，不同的是標(biāo)準(zhǔn)化目的是使原向量的均值變?yōu)?；而正態(tài)變量交化的目的是為了讓數(shù)據(jù)符合正態(tài)分布的形式。他們的本質(zhì)意義都是要讓縱坐標(biāo)（透過率）幅度上的微小差異不會被單次測量之間的誤差所掩蓋。平均化同樣也是一種使用廣泛的預(yù)處理方法，即將多個(gè)樣品數(shù)據(jù)的值求平均值。這種預(yù)處理手段能夠有效避免因操作失誤或者是環(huán)境波動所引起的個(gè)別測量誤差，但這樣做的缺點(diǎn)是會導(dǎo)致訓(xùn)練數(shù)據(jù)數(shù)量的下降。平均化以及標(biāo)準(zhǔn)化這兩種方法在數(shù)據(jù)預(yù)處理領(lǐng)域使用頻繁，值得注意的是，在對近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理的同時(shí)，這兩種方法也會對被測數(shù)據(jù)的性質(zhì)或組成進(jìn)行同樣的變換。正態(tài)變量交化是在1998年首次由SvanteWold等人提出，該方法原理是利用正交化方法去除原始數(shù)據(jù)中與測量無關(guān)的數(shù)據(jù)，是目前使用最廣的光譜數(shù)據(jù)預(yù)處理方法之一。圖3-4平均化（上左）、標(biāo)準(zhǔn)化（上右）、歸一化（下左）、正態(tài)變量交化（下右）后的光譜圖4、平滑處理由于近紅外光譜采集儀器設(shè)備本身的問題，或是周圍環(huán)境的波動等原因，會導(dǎo)致光譜信號中含有不同程度的噪聲。噪聲的存在會影響后續(xù)模型的預(yù)測精度，所以需要進(jìn)行去噪處理，信號平滑就是常見的去噪手段，最終達(dá)到提高信號信噪比的目標(biāo)?；瑒悠骄交ㄖ兄饕氖侨绾芜x擇一個(gè)合適的窗口寬度，常用的有五點(diǎn)平滑法，五點(diǎn)平滑法的理論依據(jù)是利用五個(gè)連續(xù)的數(shù)據(jù)點(diǎn)作為一個(gè)滑動窗口，將窗口包含的五個(gè)數(shù)據(jù)進(jìn)行特殊處理來獲得一個(gè)新的數(shù)據(jù)點(diǎn)，五點(diǎn)平滑的算法是可以根據(jù)自我需求進(jìn)行自行修改的。需要注意的是，由于原信號的前2個(gè)點(diǎn)和后2個(gè)點(diǎn)處，不足以湊夠5個(gè)點(diǎn)，所以需要使用特殊且規(guī)定好的平滑規(guī)則；而從第三個(gè)點(diǎn)到倒數(shù)第三個(gè)點(diǎn)，使用的則是另外一種算法。例如，采用如下處理方式，其中b(k)為各數(shù)據(jù)點(diǎn)，其前兩個(gè)數(shù)據(jù)點(diǎn)和中間各點(diǎn)以及后兩個(gè)數(shù)據(jù)點(diǎn)的規(guī)定算法如下圖3-5所列：圖3-5五點(diǎn)平滑算法內(nèi)部程序語句下面分別用10次、100次來平滑數(shù)據(jù)，得出結(jié)果如圖所示，藍(lán)色為原始數(shù)據(jù)、紅色為平滑10次、綠色為平滑100次，觀察可以發(fā)現(xiàn)，數(shù)據(jù)隨處理次數(shù)增加變得更加平滑。圖3-6五點(diǎn)平滑后光譜圖但是，滑動平均平滑法正是由于其本質(zhì)只是簡單的加權(quán)平均算法這樣的處理原理，會導(dǎo)致以下一些問題：如果滑動窗口包含的數(shù)據(jù)太少，就會使得平滑效果較差，去噪不夠明顯；如果滑動窗口包含的數(shù)據(jù)太多，就會導(dǎo)致處理過度，缺失有用信息，導(dǎo)致失真。Savitsky-Golay卷積平滑法的本質(zhì)也是一種利用多數(shù)據(jù)點(diǎn)平滑的方法，這一點(diǎn)與滑動平均平滑法一致，不同的是，前者需要通過對滑動窗口內(nèi)的數(shù)據(jù)，進(jìn)行多項(xiàng)式擬合平滑，但后者只是簡單的求均值，所以SG卷積平滑法更看重中心點(diǎn)的作用。Savitsky-Golay卷積平滑算法主要涉及到兩個(gè)參數(shù)：窗口寬度和多項(xiàng)式次數(shù)。不同的移動窗口寬度及多項(xiàng)式次數(shù)會對平滑產(chǎn)生不同效果，如下圖所示，利用SG平滑法對采集得到的數(shù)據(jù)進(jìn)行處理，其中藍(lán)色為原始的近紅外光譜圖，黑色為窗口寬度20、多項(xiàng)式次數(shù)2的處理后光譜數(shù)據(jù)，綠色為窗口寬度20、多項(xiàng)式次數(shù)5的處理后光譜數(shù)據(jù)，黃色為窗口寬度50、多項(xiàng)式次數(shù)2的處理后光譜數(shù)據(jù)，紅色為窗口寬度50、多項(xiàng)式次數(shù)5的處理后光譜數(shù)據(jù)。圖3-7Savitsky-Golay卷積平滑后光譜圖由上圖分析可得：多項(xiàng)式次數(shù)一定時(shí)，窗口寬度越大，所包含的數(shù)據(jù)越多，平滑起來的效果也越好，但窗口的選擇也不能過大，過大會使得包含的數(shù)據(jù)過多，造成原本沒必要消減的信息也被平滑掉；窗口寬度一定時(shí)，多項(xiàng)式次數(shù)越多，處理后的數(shù)據(jù)越貼合原始數(shù)據(jù)，對噪聲的抵抗能力越弱，但多項(xiàng)式次數(shù)也不宜過大，否則容易發(fā)生過擬合。5、小波變換小波變換（Wavelettransform,WT）是被較少使用到的一種預(yù)處理手段，它同時(shí)也是一種高效的去噪處理方法，其去噪效果遠(yuǎn)比前述的平滑去噪算法要好的多，它可以方便明確地區(qū)分開高頻噪聲。但是，在信號已經(jīng)足夠平滑的情況下，小波變換去噪不會有明顯效果。小波變換的原理就在于將原信號根據(jù)不同的頻率小波分解為不同的小塊信號，再分析各小塊信號的特性，最后按照一定的閾值對其區(qū)分并重構(gòu)，從而實(shí)現(xiàn)平滑去噪。小波變換信號去噪的一般步驟分為如下3個(gè)步驟：（1）確定要變換的小波類型，同時(shí)選擇需要分解的層次，最后分解計(jì)算。（2）確定用去區(qū)分系數(shù)的閾值定義。（3）進(jìn)行具體的小波重構(gòu)。從上面的3個(gè)步驟中可以看出，小波變換的重點(diǎn)就在于如何選取合適的區(qū)分閾值，使得信號被很好地區(qū)分開來，因此信號去噪后表現(xiàn)優(yōu)劣直接取決于閾值的選取。通常，利用MATLAB解決小波變換問題中，閾值的選取方法有三種：①系統(tǒng)自帶閾值；②人為給定閾值；③強(qiáng)制給定。上述的三種閾值選取方式中需要使用到的MATLAB系統(tǒng)自帶函數(shù)有：ddencmp——分解信號的默認(rèn)閾值wdencmp——去噪處理。wthresh——閾值量化處理。針對本文研究所使用的大米近紅外光譜數(shù)據(jù)，分別采用以上三種方式進(jìn)行小波變換，變換方式是：db5小波+3層分解，處理后的數(shù)據(jù)光譜圖如下。圖3-8小波變換后光譜圖根據(jù)圖像可以得出如下結(jié)論：針對本次測量使用的大米近紅外光譜數(shù)據(jù)而言，方法①<方法②<方法③。另外，除了閾值選取會影響結(jié)果外，分解所用到的小波函數(shù)的選擇也會使得小波變換去噪處理后的結(jié)果變得不一樣。因此，使用小波變換時(shí)要根據(jù)具體問題選擇不同的小波函數(shù)，現(xiàn)階段大部分使用的方法是利用大量實(shí)驗(yàn)驗(yàn)證或是依靠經(jīng)驗(yàn)來選擇最佳的小波函數(shù)。由于小波變換涉及到的優(yōu)化參數(shù)較多，處理過程相對復(fù)雜難懂，于是，針對本文所要研究的大米光譜數(shù)據(jù)而言，采用下面將要介紹的EMD算法對光譜數(shù)據(jù)進(jìn)行去噪處理，具有更好的性能和效果?；贓MD算法的光譜去噪方法EMD算法介紹經(jīng)驗(yàn)?zāi)B(tài)分解（EmpiricalModeDecomposition,EMD）經(jīng)常被用于解決非線性處理問題，他的發(fā)明者Huang教授認(rèn)為任何信號都是由若干個(gè)IMF組成的，IMF即本征模態(tài)函數(shù)（IntrinsicModeFunction,IMF）。而EMD算法的主要任務(wù)就是找到IMF分量，并對它們進(jìn)行相應(yīng)的分析區(qū)分。EMD算法從根本上解決了小波變換中小波基和分解尺度選擇的難題。在本文的研究中，考慮到大米光譜數(shù)據(jù)的信號特征，使用本文規(guī)定好的閾公式對信號進(jìn)行分析分解。EMD算法具體步驟如下，其中是由兩個(gè)信號tone（有用信號）和chirp（噪聲信號）疊加而成，如下圖所示，對于信號而言。圖3-9信號組成光譜示意圖利用三次樣條插值法順序連接局部最大值數(shù)據(jù)點(diǎn)，可以獲得上包絡(luò)線；同理，連接局部最小值數(shù)據(jù)點(diǎn)，可以獲得下包絡(luò)線。將上下包絡(luò)線的均值定義為。提取瞬時(shí)局部振蕩值。重復(fù)步驟(1)-(3)直到接近于零，則即為一個(gè)IMF，定義為。計(jì)算余項(xiàng)。將余項(xiàng)賦值于，重復(fù)步驟(1)-(5)直到下一個(gè)余項(xiàng)為單調(diào)函數(shù)。因此，原始信號可以重構(gòu)為：(3-1)式中為第個(gè)IMF，為余項(xiàng)。通過EMD算法對實(shí)際信號進(jìn)行分析時(shí)，迭代次數(shù)可能就無限進(jìn)行，這就需要對IMF的迭代次數(shù)進(jìn)行限定，公式如下：(3-2)其中，為信號長度，當(dāng)小于某值時(shí)（通常為0.2~0.3間），篩選動作停止進(jìn)行。圖3-10信號原始數(shù)據(jù)及各IMF分量數(shù)據(jù)圖圖3-11前n個(gè)IMF重構(gòu)信號圖圖3-12后n個(gè)IMF重構(gòu)信號圖從圖中分解后的IMF分量可以看出，IMF2分量和有用信號在形狀上最為相近，而從代表倒序（從后向前重組）的后n個(gè)IMF分量重構(gòu)后的光譜圖中可以看到，c2f6重構(gòu)信號與原本數(shù)據(jù)中的有用信號基本一致，即IMF2與IMF3、IMF4、IMF5、IMF6以及余項(xiàng)RES組合重構(gòu)后的c2f6即為去噪結(jié)果。光譜數(shù)據(jù)的去噪處理本論文中大米數(shù)據(jù)如下圖所示，綠色為五常、洋紅色為響水、藍(lán)色為越光、紅色為銀水，從圖中可以看出大米近紅外光譜數(shù)據(jù)普遍存在噪聲，且噪聲集中分布，個(gè)別波段區(qū)間幾乎不含噪聲，光譜數(shù)據(jù)混疊嚴(yán)重，受噪聲影響較大，分析產(chǎn)生該現(xiàn)象的原因如下：由于本課題研究中使用的近紅外光譜儀器是偏中紅外波段的儀器，所以對應(yīng)的光譜數(shù)據(jù)圖左端也即波數(shù)較小處（靠近8000cm-1處）的噪聲較大，主要是由儀器本身造成，后期特征波段選取時(shí)的意義不大（不過在下一章也證實(shí)了該區(qū)間波段用于產(chǎn)地分類的用處不大）；而光譜圖中間區(qū)段（即5200cm-1左右處），通過前述光譜分析可知，該區(qū)間有一較明顯的吸收峰，可用于表征水分含量，所以該處噪聲產(chǎn)生的主要原因是水分含量不穩(wěn)定造成的。本文中使用的是MATLABR2016a版本，該版本軟件中本身不包含EMD算法，首先需要下載EMD算法工具箱以及時(shí)頻工具箱，將下載好的package_emd和tftb-0.2文件添加到MATLAB的toolbox文件夾中，并將其添加到工作路徑中，完成編譯。圖3-13大米數(shù)據(jù)原始光譜圖根據(jù)上一節(jié)文章內(nèi)容闡述可知，被處理信號為，其中是對于后續(xù)數(shù)據(jù)處理有用的部分，而為噪聲干擾的部分。EMD算法將被測信號分解成n個(gè)本征模態(tài)分量和一個(gè)余項(xiàng)式，分解后得到的結(jié)果是將所有的IMF分量按照頻率高低進(jìn)行順序排列的結(jié)果。通常認(rèn)為噪聲是一種高頻信號，因此構(gòu)成噪聲信號的IMF分量主要集中在高頻部分；相反地，對后續(xù)處理數(shù)據(jù)有用的信號主要集中在低頻部分。因此，只要找到一個(gè)臨界閾值序號，將IMF分量分為低頻和高頻兩部分，有用信號和噪聲信號分別由這兩部分重構(gòu)組成，如下式所示：(3-3)所以想要獲得去噪后的有用信號，主要的目的就是尋找分解過后的各相關(guān)模態(tài)的分界閾值序號，以此來可以區(qū)分噪聲信號模態(tài)和純凈信號模態(tài)，其中EMD算法中的取值可以通過MATLAB語句獲得，語句如下：imf=emd(y);[m,n]=size(imf);k=ceil(m/2)+1;通常曲線波形的突變主要集中在分解序數(shù)的一半以右，分界序號可以用來區(qū)分噪聲模態(tài)和信號模態(tài)，以單獨(dú)的一個(gè)五常大米近紅外光譜數(shù)據(jù)來看，通過EMD算法進(jìn)行分解并重構(gòu)。其中，f2cn表示將分解后的前n個(gè)IMF分量進(jìn)行組合重構(gòu)，c2fn表示將將分解后的后n個(gè)IMF分量進(jìn)行組合重構(gòu)，EMD分解后的各分量以及按照前向和反向重構(gòu)的可視化程序語句為：emd_visu(y,1:length(y),imf)。具體的處理結(jié)果如下圖所示：圖3-14單個(gè)大米數(shù)據(jù)的EMD處理可視化由于有用數(shù)據(jù)集中在低頻區(qū)域，所以可以通過c2fn的組合看出EMD算法分解重構(gòu)后何時(shí)才能能夠達(dá)到最佳的狀態(tài)，為了方便觀察和處理重構(gòu)后的數(shù)據(jù)，將上述單個(gè)大米數(shù)據(jù)EMD分解后的后n個(gè)IMF分量重構(gòu)的c2fn單獨(dú)處理出來，得如下圖像矩陣，其中紅色代表重構(gòu)后的光譜數(shù)據(jù)，綠色表示原始的大米光譜數(shù)據(jù)。圖3-15單個(gè)大米的c2f8（左）、c2f7（右）重構(gòu)圖圖3-16單個(gè)大米的c2f6（左）、c2f5（右）重構(gòu)圖圖3-17單個(gè)大米的c2f4（左）、c2f3（右）重構(gòu)圖圖3-18單個(gè)大米的c2f2（左）、c2f1（右）重構(gòu)圖通過上圖可以觀察得出結(jié)論：該大米樣本數(shù)據(jù)的最佳去噪組合為c2f5，即IMF4分量及以后分量與余項(xiàng)的組合重構(gòu)數(shù)據(jù)；的選擇越小，處理后的數(shù)據(jù)越貼合原始數(shù)據(jù)，但去噪效果越差；的選擇越大，處理后的數(shù)據(jù)越平滑，但在原本噪聲含量不大的波段處偏移程度越大；雖然c2f5為該大米樣本數(shù)據(jù)全波段最佳的重構(gòu)去噪組合，但仔細(xì)觀察可以發(fā)現(xiàn)，在靠近橫坐標(biāo)左端即波數(shù)數(shù)值較大處（此處噪聲較大），c2f5在該區(qū)域的去噪效果不如c2f4好，但c2f4在中間區(qū)域（噪聲較小，比左側(cè)區(qū)域大，比左側(cè)區(qū)域?。┮约坝覀?cè)區(qū)域（幾乎不含噪聲）存在去噪嚴(yán)重的現(xiàn)象，其處理后的數(shù)據(jù)與原始數(shù)據(jù)偏移較大、平滑過渡，數(shù)據(jù)無法使用。針對上述出現(xiàn)的問題，對大米光譜數(shù)據(jù)進(jìn)行分段處理，如下圖所示。將光譜數(shù)據(jù)分為三個(gè)區(qū)間，大噪聲區(qū)間：7800~5970cm-1（對應(yīng)數(shù)據(jù)點(diǎn)：1~950）、小噪聲區(qū)間：5600~5110cm-1（對應(yīng)數(shù)據(jù)點(diǎn)：1142~1396）、無噪聲區(qū)間（除上述兩區(qū)間以外區(qū)間）。將前兩個(gè)噪聲區(qū)間分開進(jìn)行EMD算法分解重構(gòu)，獲得去噪后的數(shù)據(jù)，將去噪后的數(shù)據(jù)與無噪聲區(qū)間數(shù)據(jù)結(jié)合，得到最終的全波段大米近紅外光譜去噪數(shù)據(jù)。圖3-19大米數(shù)據(jù)的分區(qū)段光譜圖基于EMD算法的大米近紅外光譜數(shù)據(jù)去噪具體步驟如下：(1)導(dǎo)入全波段光譜數(shù)據(jù)信號。(2)截取選定的兩個(gè)噪聲較大的特殊波，即波數(shù)為7800~5970cm-1（對應(yīng)數(shù)據(jù)點(diǎn)1~950）、5600~5110cm-1（對應(yīng)數(shù)據(jù)點(diǎn)1142~1396）這兩部分。(3)利用EMD算法分別對兩波段進(jìn)行分解，獲得一系列IMF。(4)每個(gè)特殊波段的相關(guān)模態(tài)序號值由下式確定：(3-4)對原始信號進(jìn)行重構(gòu)，得如下：(3-5)對每個(gè)大米光譜數(shù)據(jù)進(jìn)行上述處理，并將處理出來的結(jié)果保存到.mat文件中。EMD算法的去噪性能評價(jià)本節(jié)通過對比前述的不同光譜去噪方法，對基于EMD算法分解重構(gòu)后的光譜信號進(jìn)行去噪程度方面的評價(jià)。對比的方法包括有：小波變換法、五點(diǎn)平滑、Savitsky-Golay卷積平滑法、EMD去噪這四種方法。仿真實(shí)驗(yàn)基于R2016a版本的MATLAB計(jì)算平臺，計(jì)算機(jī)參數(shù)為主頻：2.5GHz，IntelCorei5-7200U處理器，內(nèi)存為4GB。其中，小波變換：db5小波、3層分解、給定軟閾值去噪；五點(diǎn)平滑次數(shù)：100；SG平滑：多項(xiàng)式次數(shù)5、窗口寬度20，步驟如下：（1）由前文分析可知，選取噪聲較大的波段7800~5970cm-1為實(shí)驗(yàn)波段；（2）對于實(shí)際采集的光譜信號來說，由于不含噪聲的信號未知，因此不能通過信噪比，但根據(jù)信噪比的定義，我們可以仿照信噪比的原理，提出與之類似的概念，即“信差比”，公式與信噪比公式一致即下式（3-6）所示：(3-6)其中為原始信號，為重構(gòu)信號。信噪比的定義中，首先基于的條件是：不含噪聲的純凈信號是已知的。公式中，分子中的原始信號指的是純凈信號（即信號中不包含任何噪聲的信號），分母為原始信號（不含噪聲）和重構(gòu)信號之差的平方值，所以當(dāng)重構(gòu)信號包含的噪聲越小時(shí)，分母中原始信號（不含噪聲）與重構(gòu)信號差值的平方值就越小，所以，在分子原始信號（不含噪聲）不變的情況下，包含噪聲越小，分母越小，信噪比就越大。然而，不同于信噪比數(shù)值越大噪聲越小的道理，由于不含噪聲的純凈信號未知，所以本設(shè)計(jì)中的“信差比”定義是：分子為原始信號的平方值，但這里的原始信號指的是大米近紅外光譜的原始數(shù)據(jù)，即本身就包含噪聲的光譜數(shù)據(jù)，當(dāng)去噪效果好時(shí)，分母中的原始信號（含噪聲）與重構(gòu)信號差值的平方越大，在分子原始信號（含噪聲）不變的情況下，去噪的效果越好，分母就越大，“信差比”就越小。所以采用這種方法的結(jié)果中，“信差比”越小的方法，去噪效果越好。（3）將不同分解方法的重構(gòu)結(jié)果與原始包含噪聲的數(shù)據(jù)進(jìn)行對比，采用輸出“信差比”的評價(jià)準(zhǔn)則從數(shù)值角度驗(yàn)證不同分解方法信號重構(gòu)結(jié)果的優(yōu)劣，得出具體數(shù)值。（4）作出四種去噪方法所獲得的信號圖像，利用數(shù)形結(jié)合的方法分析各方法性能。根據(jù)以上步驟進(jìn)行實(shí)驗(yàn)驗(yàn)證，得到的數(shù)據(jù)和圖像如下表3-1及下圖3-20：表3-1各去噪方法性能評價(jià)表去噪方法“信差比”/dB小波變換28.4711五點(diǎn)平滑29.5761SG卷積平滑法29.5425EMD算法去噪27.9900圖3-20各去噪方法重構(gòu)信號效果圖表3-1和圖3-20為針對不同的去噪算法重構(gòu)信號結(jié)果的輸出信差比，從圖表中結(jié)果可以得出如下結(jié)論：針對大米近紅外光譜中高噪聲波段