(19)國家知識產(chǎn)權(quán)局(71)申請人北京燧弘華創(chuàng)科技有限公司地址100000北京市海淀區(qū)中關(guān)村東路1號院8號樓D座6層602GO6V10/14(2022.01)GO6V10/77(2022.01)GO6V10/82(2022.01)GO6N3/0GO6N3/096(2023.01)GO6N3/0464(2023.01)G01N21/25(2006.G01N21/359(2014.01)(54)發(fā)明名稱一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法及系統(tǒng)本發(fā)明涉及玉米粒質(zhì)量檢測技術(shù)領(lǐng)域，具體涉及一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法及系統(tǒng)，包括以下步驟：S1,多源數(shù)據(jù)采集：通過多光譜成像裝置采集玉米粒表觀形態(tài)數(shù)據(jù)，同步利用近紅外光譜儀獲取玉米粒內(nèi)部成分光譜數(shù)據(jù)，結(jié)合聲波傳感器測量玉米粒結(jié)構(gòu)特征矩陣；S3,動態(tài)加權(quán)融合：生成混合特征向與部署優(yōu)化：生成適用于嵌入式設(shè)備的輕量化檢21.一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其特征在于，包括以下步S1,多源數(shù)據(jù)采集：通過多光譜成像裝置采集玉米粒表觀形態(tài)數(shù)據(jù)，同步利用近紅外光譜儀獲取玉米粒內(nèi)部成分光譜數(shù)據(jù)，結(jié)合聲波傳感器測量玉米粒結(jié)構(gòu)密度特征數(shù)據(jù)；S2,多模態(tài)特征構(gòu)建：對表觀形態(tài)數(shù)據(jù)進(jìn)行三維點(diǎn)云重建，生成空間坐標(biāo)映射模型，將光譜數(shù)據(jù)與結(jié)構(gòu)密度特征數(shù)據(jù)通過時空配準(zhǔn)算法嵌入空間坐標(biāo)映射模型，形成多模態(tài)特征矩陣；S3,動態(tài)加權(quán)融合：根據(jù)特征置信度對多模態(tài)特征矩陣進(jìn)行自適應(yīng)權(quán)重分配，生成混合特征向量；S4,雙通道神經(jīng)網(wǎng)絡(luò)構(gòu)建：基于生成的混合特征向量，構(gòu)建雙通道深度神經(jīng)網(wǎng)絡(luò)用于高層特征提取與分類，其中可見光通道采用ResNeXt網(wǎng)絡(luò)提取表觀特征，近紅外通道采用一維卷積網(wǎng)絡(luò)提取光譜特征，通過跨模態(tài)注意力機(jī)制實(shí)現(xiàn)特征交互；S5,模型壓縮與部署優(yōu)化：采用知識蒸餾技術(shù)對雙通道神經(jīng)網(wǎng)絡(luò)進(jìn)行模型壓縮，生成適用于嵌入式設(shè)備的輕量化檢測模型。2.根據(jù)權(quán)利要求1所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其特征在于，所述S1中的多源數(shù)據(jù)采集包括：S11,表觀形態(tài)數(shù)據(jù)采集：將玉米粒置于多光譜成像裝置的成像平臺，通過不同波段的光源照射獲取玉米粒的表面圖像I(x,y,λ),其中，x、y為圖像的空間坐標(biāo)，λ為光譜波長，I(x,y,λ)為在波長λ下的反射強(qiáng)度，采用高斯濾波算法對表面圖像進(jìn)行去噪和增強(qiáng)處理，并使用邊緣檢測算法提取玉米粒輪邡特征E(x,y);S12,內(nèi)部成分光譜數(shù)據(jù)獲?。翰捎媒t外光譜儀掃描玉米粒，在設(shè)定波段范圍內(nèi)記錄其光譜數(shù)據(jù)S(λ),并計(jì)算歸一化反射率Snorm(λ);S13,結(jié)構(gòu)密度特征測量：利用聲波傳感器向玉米粒發(fā)射聲波，記錄其傳播時間t,并結(jié)合幾何厚度d估算聲速V,結(jié)合材料彈性模量E,估算其結(jié)構(gòu)密度特征數(shù)據(jù)P。3.根據(jù)權(quán)利要求2所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其特征在于，所述S2中的多模態(tài)特征構(gòu)建包括：S21,三維點(diǎn)云重建：基于表觀形態(tài)數(shù)據(jù)，通過結(jié)構(gòu)光或多視角立體視覺重建方法獲取玉米粒的三維點(diǎn)云數(shù)據(jù),其中，N為重建得到的點(diǎn)云總數(shù)，(xi,yi,Zi)為點(diǎn)云中第個點(diǎn)的三維空間坐標(biāo)，使用多視角立體匹配法進(jìn)行點(diǎn)云深度計(jì)算，估計(jì)其核心深度Zi;S22,空間坐標(biāo)映射模型構(gòu)建：將三維點(diǎn)云數(shù)據(jù)與二維多光譜圖像進(jìn)行空間映射，建立像素點(diǎn)與三維空間坐標(biāo)之間的映射關(guān)系M:(u,v)→(x,y,z),其中，(uv)為二維圖像坐S23,多模態(tài)特征嵌入與時空配準(zhǔn)：將光譜數(shù)據(jù)S(λ)和結(jié)構(gòu)密度特征數(shù)據(jù)P映射至對應(yīng)的三維空間坐標(biāo)，通過時空配準(zhǔn)算法對不同模態(tài)數(shù)據(jù)進(jìn)行對齊與融合，形成多模態(tài)特征矩第個點(diǎn)的多模態(tài)特征向量。34.根據(jù)權(quán)利要求3所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其S31,特征置信度評估：對多模態(tài)特征矩陣中的每一類模態(tài)特征分別計(jì)算其置信度得分S32,權(quán)重歸一化與分配：將所有模態(tài)的置信度得分進(jìn)S33,混合特征向量生成：將各模態(tài)特征向量按權(quán)重加權(quán)融合，生成量fmix。5.根據(jù)權(quán)利要求4所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其6.根據(jù)權(quán)利要求5所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其fapp→VisibleChannelandS413,輸入特征通道：將劃分后的表觀特征和光譜特征分別輸入至對應(yīng)的神經(jīng)網(wǎng)絡(luò)通Inputvisible=fapp,InputNIR=fspec,其中，Inputvisible為輸入至可見光通道的表7.根據(jù)權(quán)利要求6所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其48.根據(jù)權(quán)利要求7所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其S431,特征關(guān)聯(lián)計(jì)算：對可見光通道特征和近紅外通道特征fspec計(jì)算其關(guān)聯(lián)性，9.根據(jù)權(quán)利要求8所述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，其S53,蒸餾損失函數(shù)優(yōu)化：通過最小化學(xué)生模型與教師模型輸出之間的KL散度作為損失10.一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建系統(tǒng)，用于實(shí)現(xiàn)數(shù)據(jù)采集模塊：通過多光譜成像裝置采集玉米粒表觀形神經(jīng)網(wǎng)絡(luò)建模模塊：基于混合特征向量構(gòu)建雙通道深度神經(jīng)模型壓縮與部署模塊：采用知識蒸餾技術(shù)對雙通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮，生成適用5一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法及技術(shù)領(lǐng)域[0001]本發(fā)明涉及玉米粒質(zhì)量檢測技術(shù)領(lǐng)域，尤其涉及一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法及系統(tǒng)。背景技術(shù)[0002]玉米作為重要的糧食與工業(yè)原料，其質(zhì)量直接關(guān)系到食品安全、加工效率及市場價(jià)值，傳統(tǒng)的玉米粒質(zhì)量檢測方法多依賴人工經(jīng)驗(yàn)或單一傳感器手段，如可見光圖像分析、近紅外光譜檢測或超聲波測試等，這些方法在特定場景下具有一定的適用性，但在實(shí)際應(yīng)用中往往難以兼顧對玉米粒外觀、成分及結(jié)構(gòu)等多維指標(biāo)的全面評估，尤其在面對高通量、異質(zhì)性樣本和復(fù)雜缺陷時，檢測準(zhǔn)確性和魯棒性均受到限制。[0003]現(xiàn)有多模態(tài)檢測技術(shù)通常采用多源數(shù)據(jù)拼接或簡單融合方式，但由于缺乏有效的空間配準(zhǔn)機(jī)制和模態(tài)間權(quán)重調(diào)節(jié)策略，容易造成特征冗余、信息失衡以及關(guān)鍵特征丟失，此外，部分模型采用大型深度網(wǎng)絡(luò)架構(gòu)，雖然具備較強(qiáng)的表達(dá)能力，但存在模型冗余、計(jì)算資源消耗大、不易部署等問題，難以滿足農(nóng)業(yè)現(xiàn)場中對實(shí)時性、嵌入式部署與能效比的實(shí)際需求，因此，如何構(gòu)建一個既能融合多模態(tài)數(shù)據(jù)、又具備輕量化部署能力的智能檢測模型，仍是該領(lǐng)域的技術(shù)難點(diǎn)和研究熱點(diǎn)。發(fā)明內(nèi)容[0004]本發(fā)明提供了一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法及系統(tǒng)，以解決現(xiàn)有方法融合不足、檢測精度有限及部署困難等問題，提升檢測系統(tǒng)的智能化水平與工程實(shí)用性。[0005]一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，包括以下步驟：[0006]S1,多源數(shù)據(jù)采集：通過多光譜成像裝置采集玉米粒表觀形態(tài)數(shù)據(jù)，同步利用近紅外光譜儀獲取玉米粒內(nèi)部成分光譜數(shù)據(jù)，結(jié)合聲波傳感器測量玉米粒結(jié)構(gòu)密度特征數(shù)據(jù)；[0007]S2,多模態(tài)特征構(gòu)建：對表觀形態(tài)數(shù)據(jù)進(jìn)行三維點(diǎn)云重建，生成空間坐標(biāo)映射模型，將光譜數(shù)據(jù)與結(jié)構(gòu)密度特征數(shù)據(jù)通過時空配準(zhǔn)算法嵌入空間坐標(biāo)映射模型，形成多模態(tài)特征矩陣；[0008]S3,動態(tài)加權(quán)融合：根據(jù)特征置信度對多模態(tài)特征矩陣進(jìn)行自適應(yīng)權(quán)重分配，生成混合特征向量；[0009]S4,雙通道神經(jīng)網(wǎng)絡(luò)構(gòu)建：基于生成的混合特征向量，構(gòu)建雙通道深度神經(jīng)網(wǎng)絡(luò)用于高層特征提取與分類，其中可見光通道采用ResNeXt網(wǎng)絡(luò)提取表觀特征，近紅外通道采用一維卷積網(wǎng)絡(luò)提取光譜特征，通過跨模態(tài)注意力機(jī)制實(shí)現(xiàn)特征交互；[0010]S5,模型壓縮與部署優(yōu)化：采用知識蒸餾技術(shù)對雙通道神經(jīng)網(wǎng)絡(luò)進(jìn)行模型壓縮，生成適用于嵌入式設(shè)備的輕量化檢測模型。[0011]可選的，所述S1中的多源數(shù)據(jù)采集包括：6[0012]S11,表觀形態(tài)數(shù)據(jù)采集：將玉米粒置于多光譜成像裝置的成像平臺，通過不同波段的光源照射獲取玉米粒的表面圖像I(x,y,λ),其中，x、y為圖像的空間坐標(biāo)，λ為光譜波長，I(x,y,λ)為在波長λ下的反射強(qiáng)度，采用高斯濾波算法對表面圖像進(jìn)行去噪和增強(qiáng)處理，并使用邊緣檢測算法提取玉米粒輪邡特征E(x,y);[0013]S12,內(nèi)部成分光譜數(shù)據(jù)獲取：采用近紅外光譜儀掃描玉米粒，在設(shè)定波段范圍內(nèi)記錄其光譜數(shù)據(jù)S(λ),并計(jì)算歸一化反射率Snorm(λ);[0014]S13,結(jié)構(gòu)密度特征測量：利用聲波傳感器向玉米粒發(fā)射聲波，記錄其傳播時間t,并結(jié)合幾何厚度d估算聲速v,結(jié)合材料彈性模量E,估算其結(jié)構(gòu)密度特征數(shù)據(jù)P。[0016]S21,三維點(diǎn)云重建：基于表觀形態(tài)數(shù)據(jù)，通過結(jié)構(gòu)光或多視角立體視覺重建方法獲取玉米粒的三維點(diǎn)云數(shù)據(jù),其中，N為重建得到的點(diǎn)云總數(shù)，(xi,yi,Zi)為點(diǎn)云中第個點(diǎn)的三維空間坐標(biāo)，使用多視角立體匹配法進(jìn)行點(diǎn)云深度計(jì)算，估計(jì)其核心深度Zi;[0017]S22,空間坐標(biāo)映射模型構(gòu)建：將三維點(diǎn)云數(shù)據(jù)與二維多光譜圖像進(jìn)行空間映射，建立像素點(diǎn)與三維空間坐標(biāo)之間的映射關(guān)系M:(u,v)→(x,y,z),其中，(uv)為二維圖[0018]S23,多模態(tài)特征嵌入與時空配準(zhǔn)：將光譜數(shù)據(jù)S(λ)和結(jié)構(gòu)密度特征數(shù)據(jù)P映射至對應(yīng)的三維空間坐標(biāo)，通過時空配準(zhǔn)算法對不同模態(tài)數(shù)據(jù)進(jìn)行對齊與融合，形成多模態(tài)特Fi=[xi,Yi,Zi,Si(2),pi]為第i個點(diǎn)的多模態(tài)特征向量。[0020]S31,特征置信度評估：對多模態(tài)特征矩陣中的每一類模態(tài)特征分別計(jì)算其置信度[0021]S32,權(quán)重歸一化與分配：將所有模態(tài)的置信度得分進(jìn)行歸一化處理，計(jì)算各模態(tài)的融合權(quán)重Wm;[0022]S33,混合特征向量生成：將各模態(tài)特征向量按權(quán)重加權(quán)融合，生成最終的混合特征向量fmix。[0023]可選的，所述S4中的雙通道神經(jīng)網(wǎng)絡(luò)構(gòu)建包括：[0024]S41,特征分通道：將混合特征向量中的表觀特征和光譜特征按模態(tài)進(jìn)行劃分，分別輸入至可見光通道和近紅外通道；[0025]S42,通道特征提?。嚎梢姽馔ǖ啦捎肦esNeXt網(wǎng)絡(luò)提取圖像類表觀特征，近紅外通道采用一維卷積網(wǎng)絡(luò)提取光譜特征，兩者并行處理，獲取多模態(tài)的深層信息表示；[0026]S43,跨模態(tài)融合：通過跨模態(tài)注意力機(jī)制，實(shí)現(xiàn)可見光通道特征和近紅外通道特征之間的信息交互與融合，增強(qiáng)特征之間的關(guān)聯(lián)性，提升最終分類效果。7fapp為表觀特征部分，包括玉米粒的表面形態(tài)和紋理信息，fspec為光譜特征部分，包括玉米粒的近紅外光譜反射數(shù)據(jù)；接收來自fspec的光譜特征信息；[0032]S413,輸入特征通道：將劃分后的表觀特征和光譜特征分別輸入至對應(yīng)的神經(jīng)網(wǎng)絡(luò)通道進(jìn)行特征提取與處理，設(shè)定每個通道的輸入層為：Inputvisible=fapp,InputNIR=fspec,其中，Inputvisible為輸入至可見光通道的表觀特征，InputNIR為輸入至近紅外通道的光譜特征。[0033]可選的，所述S42中的通道特征提取包括：[0034]S421,可見光通道特征提?。涸诳梢姽馔ǖ乐?，采用ResNeXt網(wǎng)絡(luò)對表觀特征進(jìn)行特征提取，ResNeXt網(wǎng)絡(luò)通過分組卷積提升計(jì)算效率，同時采用殘差連接增強(qiáng)深度表達(dá)能[0035]S422,近紅外通道特征提?。涸诮t外通道中，采用一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)對光譜特征進(jìn)行特征提取，1D-CNN網(wǎng)絡(luò)對光譜數(shù)據(jù)的每個波段進(jìn)行一維卷積操作，捕捉光譜曲線的局部變化模式；[0036]S423,并行特征提?。嚎梢姽馔ǖ篮徒t外通道的特征提取操作并行進(jìn)行，得到多模態(tài)的特征表達(dá)。[0038]S431,特征關(guān)聯(lián)計(jì)算：對可見光通道特征和近紅外通道特征計(jì)算其關(guān)聯(lián)性，通過跨模態(tài)注意力機(jī)制獲得模態(tài)之間的權(quán)重分配，計(jì)算特征之間的相似度；[0039]S432,跨模態(tài)注意力權(quán)重計(jì)算：通過計(jì)算得到的相似度矩陣，應(yīng)用softmax函數(shù)對其進(jìn)行歸一化處理，得到每一對特征的注意力權(quán)重αij;[0040]S433,特征交互與融合：使用計(jì)算得到的注意力權(quán)重αij對可見光通道特征和近紅外通道特征進(jìn)行加權(quán)融合，生成融合特征ffusion。[0042]S51,教師模型訓(xùn)練：以雙通道神經(jīng)網(wǎng)絡(luò)作為教師模型，使用融合特征fusion進(jìn)行訓(xùn)練，獲得具備聯(lián)合特征判別能力的分類模型，記為fr(ffusion),其輸出為類別概率分布PT;[0043]S52,學(xué)生模型構(gòu)建與訓(xùn)練：構(gòu)建學(xué)生模型，記為fs(fusion),并以教師模型輸出[0044]S53,蒸餾損失函數(shù)優(yōu)化：通過最小化學(xué)生模型與教師模型輸出之間的KL散度作為損失函數(shù)，指導(dǎo)學(xué)生模型學(xué)習(xí)教師模型的預(yù)測行為。[0045]一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建系統(tǒng)，用于實(shí)現(xiàn)上述的一種基8于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，包括以下模塊：[0046]數(shù)據(jù)采集模塊：通過多光譜成像裝置采集玉米粒表觀形態(tài)數(shù)據(jù)，同步利用近紅外光譜儀獲取內(nèi)部成分光譜數(shù)據(jù)，并結(jié)合聲波傳感器測量結(jié)構(gòu)密度特征數(shù)據(jù)；[0047]特征構(gòu)建與融合模塊：對表觀形態(tài)數(shù)據(jù)進(jìn)行三維點(diǎn)云重建，生成空間坐標(biāo)映射模型，并通過時空配準(zhǔn)算法將光譜數(shù)據(jù)與結(jié)構(gòu)密度特征數(shù)據(jù)嵌入空間坐標(biāo)映射模型，形成多模態(tài)特征矩陣，進(jìn)而根據(jù)特征置信度進(jìn)行加權(quán)融合，生成混合特征向量；[0048]神經(jīng)網(wǎng)絡(luò)建模模塊：基于混合特征向量構(gòu)建雙通道深度神經(jīng)網(wǎng)絡(luò)，其中可見光通道采用ResNeXt網(wǎng)絡(luò)提取表觀特征，近紅外通道采用一維卷積網(wǎng)絡(luò)提取光譜特征，并通過跨模態(tài)注意力機(jī)制實(shí)現(xiàn)特征交互；[0049]模型壓縮與部署模塊：采用知識蒸餾技術(shù)對雙通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮，生成適用于嵌入式設(shè)備部署的輕量化質(zhì)量檢測模型。[0051]本發(fā)明，通過融合多光譜圖像、近紅外光譜與聲波傳感數(shù)據(jù)，實(shí)現(xiàn)了對玉米粒表觀形態(tài)、內(nèi)部成分和結(jié)構(gòu)密度的多源信息采集，結(jié)合三維點(diǎn)云重建與空間映射方法，構(gòu)建出精確的多模態(tài)特征矩陣，通過時空配準(zhǔn)算法對不同模態(tài)數(shù)據(jù)進(jìn)行對齊與融合，有效保留了玉米粒在形態(tài)、光譜及結(jié)構(gòu)等多個維度的細(xì)粒度信息，提升了原始特征表達(dá)的完整性和準(zhǔn)確性。[0052]本發(fā)明，通過采用動態(tài)加權(quán)融合策略與雙通道深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對多模態(tài)特征進(jìn)行自適應(yīng)處理與并行建模，能夠根據(jù)信息置信度動態(tài)調(diào)整模態(tài)特征權(quán)重，提升特征的判別能力與模型對復(fù)雜缺陷的感知能力，同時，通過跨模態(tài)注意力機(jī)制引導(dǎo)可見光與近紅外通道之間的深層交互，強(qiáng)化模態(tài)之間的互補(bǔ)性和關(guān)聯(lián)性，進(jìn)一步增強(qiáng)融合特征的表達(dá)效果，顯著提高了分類精度與模型泛化能力。[0053]本發(fā)明，通過引入知識蒸餾技術(shù)，構(gòu)建輕量化的學(xué)生模型，在保留雙通道高性能教師模型判別能力的同時，顯著壓縮模型規(guī)模與計(jì)算復(fù)雜度，生成的輕量檢測模型具備更高的運(yùn)行效率和資源適配性，適用于算力受限的嵌入式設(shè)備或邊緣端部署，滿足農(nóng)業(yè)現(xiàn)場對實(shí)時性、精度和部署靈活性的多重需求，具有良好的應(yīng)用推廣價(jià)值和產(chǎn)業(yè)轉(zhuǎn)化潛力。附圖說明[0054]為了更清楚地說明本發(fā)明或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0055]圖1為本發(fā)明實(shí)施例的構(gòu)建方法流程示意圖；[0056]圖2為本發(fā)明實(shí)施例的系統(tǒng)功能模塊示意圖。具體實(shí)施方式[0057]下面結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。同時在這里做以說明的是，為了使實(shí)施例更加詳盡，下面的實(shí)施例為最佳、優(yōu)選實(shí)施例，對于一些公知技術(shù)本領(lǐng)域技術(shù)人員也可采用其他替代方式而進(jìn)行實(shí)施；而且附圖部分僅是為了更具體的描述實(shí)施例，而9并不旨在對本發(fā)明進(jìn)行具體的限定。[0062]S2,多模態(tài)特征構(gòu)建：對表觀形態(tài)數(shù)據(jù)進(jìn)行三維點(diǎn)云重建，生成空間坐并結(jié)合幾何厚度d估算聲速v,結(jié)合材料彈性模量E,估算其結(jié)構(gòu)密度特征數(shù)據(jù)P,表示為：獲取玉米粒的三維點(diǎn)云數(shù)據(jù)P={(x;,Y;,Z;)}=1,其中，N為重建得到的點(diǎn)云總數(shù)，[0084]Si(2)=S;(λ)where的融合權(quán)重Wm,表示為：[0107]S413,輸入特征通道：將劃分后的表觀特征和光譜特征分別輸入至對應(yīng)Inputvisible=fapp,InputNIR=fspec,其中，Inputvisible為輸入至可見光通道的表特征提取，ResNeXt網(wǎng)絡(luò)通過分組卷積提升計(jì)算效率，同時采用殘差連接增強(qiáng)深度表達(dá)能[0118]其中，為從可見光通道輸出的深層表觀特征，為從近紅外通道輸出的深層光譜特征；[0121]S431,特征關(guān)聯(lián)計(jì)算：對可見光通道特征和近紅外通道特征計(jì)算其關(guān)聯(lián)似度計(jì)算函數(shù)(余弦相似度),別表示第i個可見光特征和第j個近紅外[0136]S52,學(xué)生模型構(gòu)建與訓(xùn)練：構(gòu)建學(xué)生模型生模型學(xué)習(xí)，從而在保持檢測精度的同時顯著減少模型參數(shù)量與計(jì)算開銷，該方法可將融合特征的判別能力有效遷移至結(jié)構(gòu)更小、推理更快的學(xué)生模型，適用于算力受限的嵌入式或邊緣設(shè)備部署，提升模型實(shí)用性與應(yīng)用靈活性，滿足實(shí)時、高效的玉米粒質(zhì)量檢測需求。[0144]一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建系統(tǒng)，用于實(shí)現(xiàn)上述的一種基于多源數(shù)據(jù)融合的玉米粒質(zhì)量檢測模型構(gòu)建方法，包括以下模塊：[0145]數(shù)據(jù)采集模塊：通過多光譜成像裝置采集玉米粒表觀形態(tài)數(shù)據(jù)，同步利用近紅外光譜儀獲取內(nèi)部成分光譜數(shù)據(jù)，并結(jié)合聲波傳感器測量結(jié)構(gòu)密度特征數(shù)據(jù)；[0146]特征構(gòu)建與融合模塊：對表觀形態(tài)數(shù)據(jù)進(jìn)行三維點(diǎn)云重建，生成空間坐標(biāo)映射模型，并通過時空配準(zhǔn)算法將光譜數(shù)據(jù)與結(jié)構(gòu)密度特征數(shù)據(jù)嵌入空間坐標(biāo)映射模型，形成多模態(tài)特征矩陣，進(jìn)而根據(jù)特征置信度進(jìn)行加權(quán)融合，生成混合特征向量；[0147]神經(jīng)網(wǎng)絡(luò)建模模塊：基于混合特征向量構(gòu)建雙通道深度神經(jīng)網(wǎng)絡(luò)，其中可見光通道采用ResNeXt網(wǎng)絡(luò)提取表觀特征，近紅外通道采用一維卷積網(wǎng)絡(luò)提取光譜特征，并通過跨模態(tài)注意力機(jī)制實(shí)現(xiàn)特征交互；[0148]模型壓縮與部署模塊：采用知識蒸餾技術(shù)對雙通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮，生成適用于嵌入式設(shè)備部署的輕量化質(zhì)