近紅外光譜模型的標(biāo)準(zhǔn)化方法

基于光譜標(biāo)準(zhǔn)化的模型傳遞多元校正技術(shù)是化學(xué)計(jì)量中非常重要的方法。提取信號(hào)中的化學(xué)組成信息可以用作定性或定量分析。近紅外光譜結(jié)合多元校正技術(shù)已成功應(yīng)用在石化、農(nóng)業(yè)、醫(yī)藥等行業(yè)。但是在近紅外光譜的實(shí)際應(yīng)用中,在某一光譜儀(稱源機(jī),Master)上建立的校正模型,在另一臺(tái)與源機(jī)相同功能的光譜儀(稱目標(biāo)機(jī),Slave)上使用時(shí),因各儀器測(cè)量的光譜有差異,模型不再適用,計(jì)算的結(jié)果偏差很大或根本無(wú)法使用。解決這類問(wèn)題的過(guò)程稱之為模型傳遞(Modeltransfer),也稱儀器的標(biāo)準(zhǔn)化(Standardizationofspectrometricinstruments)。模型傳遞的本質(zhì)是克服樣品在不同儀器上的量測(cè)信號(hào)(即光譜)間的不一致性。目前通常采用的途徑是通過(guò)建立源機(jī)和目標(biāo)機(jī)所測(cè)信號(hào)或預(yù)測(cè)結(jié)果之間的函數(shù)關(guān)系,變換目標(biāo)機(jī)所測(cè)信號(hào)或預(yù)測(cè)結(jié)果來(lái)實(shí)現(xiàn)模型傳遞,主要包括直接校正(directstandardlization,DS)、分段直接校正(piecewisedirectstandardlization,PDS)、Shenk’s算法、普魯克分析(Procrustesanalysis)、相關(guān)分析法(Correlationanalysis)等。這些方法已經(jīng)得到廣泛的驗(yàn)證和應(yīng)用。然而這些方法都需要從大量樣本中選擇具有代表性的樣本,并且利用這些樣本在源機(jī)和目標(biāo)機(jī)都測(cè)得光譜,以獲得相互關(guān)系矩陣,而且要保證樣本測(cè)量過(guò)程的準(zhǔn)確性。在通常情況下,收集到大量樣本,選擇具有代表性的樣本并且測(cè)得這些樣本在源機(jī)和目標(biāo)機(jī)上的譜圖難度較大。因此這些方法的使用具有一定的局限性。本文采用一種簡(jiǎn)便的光譜標(biāo)準(zhǔn)化方法,通過(guò)對(duì)不同光譜儀所測(cè)得的相差較大的譜圖的歸一化處理,并且進(jìn)行波長(zhǎng)范圍的優(yōu)化,達(dá)到由不同型號(hào)的光譜儀所測(cè)得的標(biāo)準(zhǔn)樣本之間模型傳遞的目的。本方法不需要預(yù)先獲得大量樣本,也不需要將同一樣本在不同光譜儀上測(cè)的譜圖進(jìn)行比較,因此更加簡(jiǎn)便和通用。1標(biāo)準(zhǔn)化處理方法1.1光譜數(shù)據(jù)標(biāo)準(zhǔn)化在光譜的獲取和放大過(guò)程中,各種噪聲均會(huì)混入光譜信號(hào)中,需要對(duì)光譜信號(hào)進(jìn)行標(biāo)準(zhǔn)化處理。這里首先對(duì)原始光譜的吸光度曲線進(jìn)行去基線處理,然后對(duì)去除基線的譜線進(jìn)行標(biāo)準(zhǔn)歸一化(Standardnormalvariate)。對(duì)于不同的光譜儀,光譜測(cè)量范圍和測(cè)量點(diǎn)有較大差別,本文采用二項(xiàng)式插值處理的辦法獲得相同測(cè)量點(diǎn)的光強(qiáng)信號(hào),而光譜波長(zhǎng)范圍取兩臺(tái)光譜儀測(cè)量范圍的交集。設(shè)兩臺(tái)光譜儀的測(cè)量范圍分別為[a1,a2]和[A1,A2],若[a1,a2]?[A1,A2],取光譜波長(zhǎng)范圍為[a,b],其中[a,b]?[a1,a2],在[a,b]范圍內(nèi)對(duì)光譜作插值處理,以取得相同波長(zhǎng)點(diǎn)的光強(qiáng)信號(hào)。光譜數(shù)據(jù)標(biāo)準(zhǔn)化處理的詳細(xì)步驟如下。(1)對(duì)于從光譜儀讀取的光譜數(shù)據(jù),采用插值的方法,獲得原始光譜和參考光譜曲線。(2)利用原始光譜和參考光譜計(jì)算原始傳輸率和吸光度。(3)采用大窗口多項(xiàng)式卷積平滑算法,獲取吸光度光譜的基線;將吸收光譜減去其基線(即基線校正),獲取基線校正光譜。(4)對(duì)基線校正后的光譜進(jìn)行標(biāo)準(zhǔn)歸一化處理以克服光程影響。(5)采用小窗口多項(xiàng)式卷積平滑算法進(jìn)行光譜濾波,濾除光譜曲線中的高頻噪聲。(6)將上述譜線減去由訓(xùn)練樣本得到的中心線得到差分譜線,作為模型所需的輸入。其中第(3)步和第(5)步所用的多項(xiàng)式卷積平滑算法是相同的,只是所取的窗口半寬不同。第(6)步所用到的中心線是由訓(xùn)練樣本譜線所求得的,與待測(cè)樣本的分布無(wú)關(guān)。經(jīng)過(guò)上述各步處理后的不同光譜儀的譜圖將會(huì)有相近的模型輸入曲線。因此,對(duì)于訓(xùn)練樣本光譜收集時(shí),無(wú)論測(cè)量范圍和測(cè)量點(diǎn)是否相同,只要有完整的光譜曲線,經(jīng)過(guò)以上處理,均可作為標(biāo)準(zhǔn)化的訓(xùn)練樣本,用于各種場(chǎng)合。1.2源機(jī)和目標(biāo)機(jī)光譜預(yù)處理實(shí)驗(yàn)數(shù)據(jù)來(lái)自某煉油廠提供的五個(gè)未知牌號(hào)的汽油樣本進(jìn)行。源機(jī)采用美國(guó)海洋光學(xué)公司(OceanOpticsInc.)的USB2000型近紅外光譜儀,目標(biāo)機(jī)采用自行研制的光纖光譜儀,得到的原始譜圖如圖1所示。其中源機(jī)測(cè)得的每條譜線有2048個(gè)點(diǎn),波長(zhǎng)為638.81～1298.3nm;目標(biāo)機(jī)測(cè)得的每條譜線也有2048個(gè)點(diǎn),但波長(zhǎng)范圍為775.01～999.48nm。從圖1看出,源機(jī)和目標(biāo)機(jī)測(cè)得的原始譜圖相差很大,這里先取交集[a,b]=[775.2,999]?[775.01,999.48]nm之間的譜圖,采用上述標(biāo)準(zhǔn)化算法進(jìn)行光譜預(yù)處理,處理結(jié)果如圖2所示。這里對(duì)原始吸光度光譜采用二項(xiàng)式插值法,每隔0.2nm取值,大窗口多項(xiàng)式卷積平滑窗口半寬取260(52nm),小窗口多項(xiàng)式卷積平滑窗口半寬取30(6nm)。從圖2可以看出,經(jīng)標(biāo)準(zhǔn)化處理后,目標(biāo)機(jī)與源機(jī)光譜趨于一致。下面進(jìn)一步討論波長(zhǎng)范圍和濾波窗口半寬的優(yōu)化問(wèn)題。2優(yōu)化波長(zhǎng)范圍的方法2.1譜線距離的計(jì)算對(duì)于不同光譜儀之間的模型傳遞,最好的情況是經(jīng)過(guò)處理后,兩臺(tái)光譜儀測(cè)得的同一樣本的譜線相對(duì)距離盡可能小,而同一光譜儀測(cè)得的不同樣本之間的區(qū)分相對(duì)較大。設(shè)每臺(tái)光譜儀各測(cè)量了k個(gè)樣本,構(gòu)造光譜標(biāo)準(zhǔn)化誤差指標(biāo)(spectrastandarderror,SSE)為SSE=J2J1(1)SSE=J2J1(1)式中J2表示同一樣本在不同儀器上測(cè)得的譜線的距離,J1表示目標(biāo)機(jī)的k個(gè)樣本相對(duì)中心譜線的距離之和,這里中心譜線指k個(gè)樣本求和后取得的平均值。SSE表示了同一樣本在不同樣機(jī)上的差別與不同樣本之間區(qū)分度的比值,因而波長(zhǎng)范圍優(yōu)化的目標(biāo)應(yīng)使SSE達(dá)到最小。設(shè)源機(jī)和目標(biāo)機(jī)的原始光譜用Fi(j)和fi(j)表示,其中i表示第個(gè)i樣本,j表示光譜的波長(zhǎng)點(diǎn),其中1≤i≤k,a≤j≤b,目標(biāo)機(jī)的光譜均值為fˉ(j)=1k∑i=1kfi(j)(2)fˉ(j)=1k∑i=1kfi(j)(2)而J1=∑i=1k∑j=ab[fi(j)?fˉ(j)]2,J2=∑i=1k∑j=ab[Fi(j)?fˉ(j)]2(3)J1=∑i=1k∑j=ab[fi(j)-fˉ(j)]2,J2=∑i=1k∑j=ab[Fi(j)-fˉ(j)]2(3)2.2a、w、se條件選取由(3)式可知SSE成為a和b的函數(shù)。又由于光譜經(jīng)大窗口平滑濾波和基線校正,因此SSE也是其窗口半寬w的函數(shù)。由于圖2中的兩個(gè)吸收峰反映了樣本的特征信息,所以要求a<883nm,b>913nm。這里k=5,下面討論參數(shù)a,b和w的優(yōu)化問(wèn)題。圖2中,a取775.2,b取999,w取260,此時(shí)SSE為1.418。先固定b和w,對(duì)a進(jìn)行優(yōu)化,這里b取為960,w取300(60nm),以消除基線影響。光譜標(biāo)準(zhǔn)化誤差指標(biāo)隨a的變化如圖3所示。選定a=830,w仍取300(60nm),參數(shù)b對(duì)光譜標(biāo)準(zhǔn)化誤差指標(biāo)的影響如圖4所示。由圖4看出,在970nm以前,各點(diǎn)對(duì)SSE影響不大,這里b取=950,波長(zhǎng)范圍為[830,950]nm。下面考察窗口半寬w對(duì)評(píng)價(jià)指標(biāo)的影響(見(jiàn)圖5)。由于a和b之間只有601個(gè)點(diǎn),因此窗口半寬必須在300(60nm)以內(nèi)。從圖5看出,在w取160(32nm)時(shí),SSE最小。因此,在下面預(yù)測(cè)中,取[830,950]nm之間取值進(jìn)行預(yù)處理,取大窗口平滑的窗口半寬為160(32nm)。經(jīng)過(guò)對(duì)a,b和w的優(yōu)化選擇,使SSE達(dá)到0.167,這表示同一樣本在不同光譜儀上測(cè)得的光譜之間的相對(duì)距離與不同樣本在同一臺(tái)光譜儀上相對(duì)中心距離比值為0.167,在這種情況下,不同樣本之間有著較好的區(qū)分度,因此這些參數(shù)的選擇結(jié)果是有意義的。3預(yù)測(cè)結(jié)果與分析近年來(lái)采用近紅外光譜分析汽油品質(zhì)方法得到了廣泛的應(yīng)用[13,14,15,16,17,18]。它利用汽油在近紅外光譜區(qū)(700～2500nm)的吸收光譜所提供的豐富信息,建立汽油屬性與特征光譜之間的校正模型,并利用該模型對(duì)未知樣本進(jìn)行分析預(yù)測(cè)。近紅外光譜分析儀具有不損耗試樣、測(cè)量周期短、測(cè)定參數(shù)多以及日常維護(hù)方便等優(yōu)點(diǎn)。這里以汽油辛烷值為例討論上述標(biāo)準(zhǔn)化方法的應(yīng)用。訓(xùn)練樣本為利用源機(jī)在多個(gè)煉油廠收集的250個(gè)標(biāo)準(zhǔn)樣本。測(cè)試樣本為某煉油廠提供的8個(gè)未知牌號(hào)的成品汽油,分別用源機(jī)和目標(biāo)機(jī)測(cè)取各個(gè)樣本的光譜,并且采用同一訓(xùn)練樣本集進(jìn)行預(yù)測(cè),所用到的源機(jī)和目標(biāo)機(jī)的中心線分別為前文中的5條譜線所測(cè)得的中心線。本實(shí)驗(yàn)涉及的算法程序均由Matlab6.5語(yǔ)言編寫(xiě),在Pentium4微機(jī)WindowsXP環(huán)境下運(yùn)行,預(yù)測(cè)結(jié)