(19)國(guó)家知識(shí)產(chǎn)權(quán)局(10)申請(qǐng)公布號(hào)CN120218872A(21)申請(qǐng)?zhí)?02510688212.1(22)申請(qǐng)日2025.05.27(71)申請(qǐng)人成都市特種設(shè)備檢驗(yàn)檢測(cè)研究院(成都市特種設(shè)備應(yīng)急處置中心)地址610000四川省成都市雙流區(qū)物聯(lián)一路255號(hào)(74)專利代理機(jī)構(gòu)成都厚為專利代理事務(wù)所GO6N3/09(2023.01)(54)發(fā)明名稱一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法、系統(tǒng)及介質(zhì)(57)摘要本發(fā)明公開了一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法、系統(tǒng)及介質(zhì)，屬于特種設(shè)備檢測(cè)技術(shù)領(lǐng)域。方法包括：設(shè)備品種確定階段，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集階段，通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理階段，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張量數(shù)據(jù)；輕量化模型推理階段；部件ID識(shí)別階段；匹配檢驗(yàn)項(xiàng)目與條款階段，將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示階段；原始數(shù)據(jù)記錄階段；區(qū)塊鏈存證與提交階段，將檢驗(yàn)記錄數(shù)據(jù)上鏈；檢驗(yàn)報(bào)告自動(dòng)生成階段，最終自動(dòng)生成報(bào)告。本發(fā)明融合邊緣計(jì)算、多采集檢驗(yàn)檢測(cè)設(shè)備的圖像信息匹配檢驗(yàn)檢測(cè)項(xiàng)目與條款關(guān)鍵項(xiàng)目AR提示區(qū)塊鏈存證與提交自動(dòng)化生成檢驗(yàn)檢測(cè)報(bào)告21.一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：包括以下步驟：設(shè)備品種確定階段，通過(guò)獲取設(shè)備位置信息或者輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集階段，根據(jù)不同光照強(qiáng)度采取不同的采集策略，并通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理階段，結(jié)合硬件加速，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張量數(shù)據(jù)；輕量化模型推理階段，使用改進(jìn)的輕量化模型對(duì)預(yù)處理張量數(shù)據(jù)進(jìn)行處理得到部件邊界框、部件ID和部件置信度；部件ID識(shí)別階段，根據(jù)部件邊界框、部件ID和部件置信度查詢部件屬性數(shù)據(jù)庫(kù)，進(jìn)行細(xì)粒度分類得到部件唯一標(biāo)識(shí)符；匹配檢驗(yàn)項(xiàng)目與條款階段，根據(jù)部件唯一標(biāo)識(shí)符從知識(shí)圖譜獲取TSG條款，并通過(guò)規(guī)則引擎將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示階段，采用AR分層顯示對(duì)不同檢驗(yàn)項(xiàng)目進(jìn)行不同的提示，完成檢驗(yàn)得到檢驗(yàn)結(jié)原始數(shù)據(jù)記錄階段，使用哈希鏈記錄檢驗(yàn)結(jié)果并進(jìn)行異常數(shù)據(jù)處理得到結(jié)構(gòu)化的檢驗(yàn)記錄；區(qū)塊鏈存證與提交階段，將檢驗(yàn)記錄進(jìn)行數(shù)據(jù)上鏈，并通過(guò)智能合約自動(dòng)校驗(yàn)簽名有效性，最后通過(guò)RPA自動(dòng)將狀態(tài)回執(zhí)寫入?yún)^(qū)塊鏈；檢驗(yàn)報(bào)告自動(dòng)生成階段，讀取檢驗(yàn)記錄，使用模版引擎渲染HTML中間文件，然后進(jìn)行格式轉(zhuǎn)換得到預(yù)設(shè)格式的檢驗(yàn)報(bào)告。2.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的設(shè)備位置信息通過(guò)AR眼鏡集成的GPS模塊或二維碼掃描功能獲??；所述AR眼鏡搭載攝像頭；所述設(shè)備圖像采集階段還包括以下步驟：使用IMU傳感器實(shí)時(shí)采集姿態(tài)數(shù)據(jù)，通過(guò)卡爾曼濾波補(bǔ)償抖動(dòng)，并動(dòng)態(tài)調(diào)整曝光參數(shù)，在強(qiáng)光環(huán)境啟用HDR模式，在弱光環(huán)境下同步激活紅外攝像頭輔助成像。3.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的硬件加速為調(diào)用高通XR2芯片的HexagonDSP執(zhí)行矩陣運(yùn)算；所述邊緣計(jì)算預(yù)處理階段還包括以下步驟：對(duì)設(shè)備圖像進(jìn)行圖像歸一化，通過(guò)早期特征融合網(wǎng)絡(luò)合并RGB與紅外數(shù)據(jù)，輸出4通道張量，并進(jìn)行運(yùn)動(dòng)模糊補(bǔ)償，基于OpenCV估算抖動(dòng)軌跡，應(yīng)用逆濾波器恢復(fù)清晰圖像。4.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的改進(jìn)的輕量化模型為改進(jìn)的YOLOv8n模型；所述改進(jìn)的YOLOv8n模型主干網(wǎng)絡(luò)替換為MobileNetV3-Small,Neck層嵌入CBAM注意力模塊，檢測(cè)頭采用動(dòng)態(tài)卷積；部署改進(jìn)的YOLOv8n模型時(shí)，將TensorRT量化至INT8,模型體積壓縮至12MB,使用HexagonDSP并行計(jì)算加速推理。5.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的部件ID識(shí)別階段還包括以下步驟：對(duì)同類部件，通過(guò)MobileNetV3的全連接層輸出子類標(biāo)簽，并設(shè)定置信度閾值，對(duì)低于置信度閾值的部件進(jìn)行復(fù)核。36.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的AR分層顯示包括顯示一級(jí)信息和二級(jí)信息，所述一級(jí)信息為部件名稱和關(guān)鍵指標(biāo)是否合格；所述二級(jí)信息為通過(guò)手勢(shì)觸發(fā)彈窗，顯示條款原文及歷史數(shù)據(jù)折線圖；對(duì)檢驗(yàn)項(xiàng)目進(jìn)行的提示包括語(yǔ)音提示，所述語(yǔ)音提示采用Edge-TTS引擎動(dòng)態(tài)播報(bào)，并根據(jù)環(huán)境噪音自適應(yīng)調(diào)整語(yǔ)速。7.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，其特征在于：所述的模版引擎為Jinja2模板引擎，所述預(yù)設(shè)格式為PDF格式；所述檢驗(yàn)報(bào)告自動(dòng)生成階段還包括以下步驟：使用SM2國(guó)密算法簽名，將簽名數(shù)據(jù)寫入預(yù)設(shè)格式的檢驗(yàn)報(bào)告。8.一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)系統(tǒng)，其特征在于：用于實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，包括：設(shè)備品種確定模塊，用于通過(guò)獲取設(shè)備位置信息或者輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集模塊，用于根據(jù)不同光照強(qiáng)度采取不同的采集策略，并通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理模塊，用于結(jié)合硬件加速，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張量數(shù)輕量化模型推理模塊，用于使用改進(jìn)的輕量化模型對(duì)預(yù)處理張量數(shù)據(jù)進(jìn)行處理得到部部件ID識(shí)別模塊，用于根據(jù)部件邊界框、部件ID和部件置信度查詢部件屬性數(shù)據(jù)庫(kù)，進(jìn)行細(xì)粒度分類得到部件唯一標(biāo)識(shí)符；匹配檢驗(yàn)項(xiàng)目與條款模塊，用于根據(jù)部件唯一標(biāo)識(shí)符從知識(shí)圖譜獲取TSG條款，并通過(guò)規(guī)則引擎將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示模塊，用于采用AR分層顯示對(duì)不同檢驗(yàn)項(xiàng)目進(jìn)行不同的提示，完成檢驗(yàn)得到檢驗(yàn)結(jié)果；原始數(shù)據(jù)記錄模塊，用于使用哈希鏈記錄檢驗(yàn)結(jié)果并進(jìn)行異常數(shù)據(jù)處理得到結(jié)構(gòu)化的檢驗(yàn)記錄；區(qū)塊鏈存證與提交模塊，用于將檢驗(yàn)記錄進(jìn)行數(shù)據(jù)上鏈，并通過(guò)智能合約自動(dòng)校驗(yàn)簽行格式轉(zhuǎn)換得到預(yù)設(shè)格式的檢驗(yàn)報(bào)告。9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法。4一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法、系統(tǒng)及介質(zhì)技術(shù)領(lǐng)域[0001]本發(fā)明涉及特種設(shè)備檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)背景技術(shù)[0002]特種設(shè)備是指涉及生命安全、危險(xiǎn)性較大的機(jī)電或承壓類設(shè)備，包括電梯、鍋爐、規(guī)要求，未經(jīng)檢驗(yàn)檢測(cè)或檢驗(yàn)檢測(cè)不合格的設(shè)備禁止使用。每類特種設(shè)備都有專門的檢規(guī)，驅(qū)動(dòng)主機(jī)、懸掛補(bǔ)償裝置及旋轉(zhuǎn)部件、轎廂與對(duì)重、層門和轎門等單元。以層門和轎門單元[0004]檢驗(yàn)檢測(cè)人員對(duì)特種設(shè)備進(jìn)行檢驗(yàn)檢測(cè)時(shí)，需要按照檢規(guī)的每條要求進(jìn)行逐一檢發(fā)明內(nèi)容[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)[0006]本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：本發(fā)明第一方面提供：一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，包括以下步驟：設(shè)備品種確定階段，通過(guò)獲取設(shè)備位置信息或者輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集階段，根據(jù)不同光照強(qiáng)度采取不同的采集策略，并通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理階段，結(jié)合硬件加速，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張量數(shù)輕量化模型推理階段，使用改進(jìn)的輕量化模型對(duì)預(yù)處理張量數(shù)據(jù)進(jìn)行處理得到部部件ID識(shí)別階段，根據(jù)部件邊界框、部件ID和部件置信度查詢部件屬性數(shù)據(jù)庫(kù)，進(jìn)行細(xì)粒度分類得到部件唯一標(biāo)識(shí)符；匹配檢驗(yàn)項(xiàng)目與條款階段，根據(jù)部件唯一標(biāo)識(shí)符從知識(shí)圖譜獲取TSG條款，并通過(guò)5規(guī)則引擎將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示階段，采用AR分層顯示對(duì)不同檢驗(yàn)項(xiàng)目進(jìn)行不同的提示，完成檢驗(yàn)得到檢驗(yàn)結(jié)果；原始數(shù)據(jù)記錄階段，使用哈希鏈記錄檢驗(yàn)結(jié)果并進(jìn)行異常數(shù)據(jù)處理得到結(jié)構(gòu)化的檢驗(yàn)記錄；區(qū)塊鏈存證與提交階段，將檢驗(yàn)記錄進(jìn)行數(shù)據(jù)上鏈，并通過(guò)智能合約自動(dòng)校驗(yàn)簽行格式轉(zhuǎn)換得到預(yù)設(shè)格式的檢驗(yàn)報(bào)告。[0007]優(yōu)選的，所述的設(shè)備位置信息通過(guò)AR眼鏡集成的GPS模塊或二維碼掃描功能獲??；所述AR眼鏡搭載攝像頭；所述設(shè)備圖像采集階段還包括以下步驟：使用IMU傳感器實(shí)時(shí)采集姿態(tài)數(shù)據(jù)，通過(guò)卡爾曼濾波補(bǔ)償抖動(dòng)，并動(dòng)態(tài)調(diào)整曝光參[0008]優(yōu)選的，所述的硬件加速為調(diào)用高通XR2芯片的HexagonDSP執(zhí)行矩陣運(yùn)算；所述邊緣計(jì)算預(yù)處理階段還包括以下步驟：對(duì)設(shè)備圖像進(jìn)行圖像歸一化，通過(guò)早期特征融合網(wǎng)絡(luò)合并RGB與紅外數(shù)據(jù)，輸出4型主干網(wǎng)絡(luò)替換為MobileNetV3-Small,Neck層嵌入CBAM注意力模塊，檢測(cè)頭采用動(dòng)態(tài)卷積；部署改進(jìn)的YOLOv8n模型時(shí)，將TensorRT量化至INT8,模型體積壓縮至12MB,使用HexagonDSP并行計(jì)算加速推理。[0010]優(yōu)選的，所述的部件ID識(shí)別階段還包括以下步驟：對(duì)同類部件，通過(guò)MobileNetV3的全連接層輸出子類標(biāo)簽，并設(shè)定置信度閾值，對(duì)低于置信度閾值的部件進(jìn)行復(fù)核。[0011]優(yōu)選的，所述的AR分層顯示包括顯示一級(jí)信息和二級(jí)信息，所述一級(jí)信息為部件名稱和關(guān)鍵指標(biāo)是否合格；所述二級(jí)信息為通過(guò)手勢(shì)觸發(fā)彈窗，顯示條款原文及歷史數(shù)據(jù)折線圖；對(duì)檢驗(yàn)項(xiàng)目進(jìn)行的提示包括語(yǔ)音提示，所述語(yǔ)音提示采用Edge-TTS引擎動(dòng)態(tài)播報(bào)，并根據(jù)環(huán)境噪音自適應(yīng)調(diào)整語(yǔ)速。[0012]優(yōu)選的，所述的模版引擎為Jinja2模板引擎，所述預(yù)設(shè)格式為PDF格式；所述檢驗(yàn)報(bào)告自動(dòng)生成階段還包括以下步驟：使用SM2國(guó)密算法簽名，將簽名數(shù)據(jù)寫入預(yù)設(shè)格式的檢驗(yàn)報(bào)告。[0013]本發(fā)明第二方面提供：一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)系統(tǒng)，用于實(shí)現(xiàn)上述任一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，包括：設(shè)備品種確定模塊，用于通過(guò)獲取設(shè)備位置信息或者輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集模塊，用于根據(jù)不同光照強(qiáng)度采取不同的采集策略，并通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理模塊，用于結(jié)合硬件加速，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張6輕量化模型推理模塊，用于使用改進(jìn)的輕量化模型對(duì)預(yù)處理張量數(shù)據(jù)進(jìn)行處理得部件ID識(shí)別模塊，用于根據(jù)部件邊界框、部件ID和部件置信度查詢部件屬性數(shù)據(jù)庫(kù)，進(jìn)行細(xì)粒度分類得到部件唯一標(biāo)識(shí)符；匹配檢驗(yàn)項(xiàng)目與條款模塊，用于根據(jù)部件唯一標(biāo)識(shí)符從知識(shí)圖譜獲取TSG條款，并通過(guò)規(guī)則引擎將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示模塊，用于采用AR分層顯示對(duì)不同檢驗(yàn)項(xiàng)目進(jìn)行不同的提示，完成檢驗(yàn)得到檢驗(yàn)結(jié)果；原始數(shù)據(jù)記錄模塊，用于使用哈希鏈記錄檢驗(yàn)結(jié)果并進(jìn)行異常數(shù)據(jù)處理得到結(jié)構(gòu)化的檢驗(yàn)記錄；區(qū)塊鏈存證與提交模塊，用于將檢驗(yàn)記錄進(jìn)行數(shù)據(jù)上鏈，并通過(guò)智能合約自動(dòng)校驗(yàn)簽名有效性，最后通過(guò)RPA自動(dòng)將狀態(tài)回執(zhí)寫入?yún)^(qū)塊鏈；后進(jìn)行格式轉(zhuǎn)換得到預(yù)設(shè)格式的檢驗(yàn)報(bào)告。[0014]本發(fā)明第三方面提供：一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)上述任一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法。[0015]本發(fā)明的有益效果是：1)融合邊緣計(jì)算、多模態(tài)交互與檢規(guī)自動(dòng)化技術(shù)，實(shí)現(xiàn)“采集-識(shí)別-提示-記錄-報(bào)持25FPS實(shí)時(shí)處理能力，顯著提升特種設(shè)備檢驗(yàn)的準(zhǔn)確性與效率。[0016]2)輕量化模型+邊緣計(jì)算：在AR眼鏡端實(shí)現(xiàn)95%mAP@0.5的實(shí)時(shí)檢測(cè)，突破傳統(tǒng)依賴云端的限制。[0017]3)檢規(guī)可編程化：通過(guò)NLP+規(guī)則引擎將文本條款轉(zhuǎn)化為可執(zhí)行邏輯，支持動(dòng)態(tài)更新。流程無(wú)紙化。附圖說(shuō)明[0020]圖1為基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法流程圖。具體實(shí)施方式[0021]下面將結(jié)合實(shí)施例，對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有付出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。[0022]隨著便攜式、可穿戴設(shè)備的發(fā)展和成熟，特別是AR眼鏡的逐步應(yīng)用，將機(jī)器視覺、虛擬(增強(qiáng))現(xiàn)實(shí)技術(shù)與特種設(shè)備檢驗(yàn)檢測(cè)相結(jié)合，為建立一種基于機(jī)器視覺的高效的檢驗(yàn)7模式和檢驗(yàn)系統(tǒng)提供了可能。[0023]參閱圖1,本發(fā)明第一方面提供：一種基于機(jī)器視覺的特種設(shè)備檢驗(yàn)檢測(cè)方法，包括以下步驟：設(shè)備品種確定階段，通過(guò)獲取設(shè)備位置信息或者輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息；設(shè)備圖像采集階段，根據(jù)不同光照強(qiáng)度采取不同的采集策略，并通過(guò)多光譜融合采集設(shè)備圖像；邊緣計(jì)算預(yù)處理階段，結(jié)合硬件加速，對(duì)設(shè)備圖像進(jìn)行預(yù)處理得到預(yù)處理張量數(shù)輕量化模型推理階段，使用改進(jìn)的輕量化模型對(duì)預(yù)處理張量數(shù)據(jù)進(jìn)行處理得到部部件ID識(shí)別階段，根據(jù)部件邊界框、部件ID和部件置信度查詢部件屬性數(shù)據(jù)庫(kù)，進(jìn)行細(xì)粒度分類得到部件唯一標(biāo)識(shí)符；匹配檢驗(yàn)項(xiàng)目與條款階段，根據(jù)部件唯一標(biāo)識(shí)符從知識(shí)圖譜獲取TSG條款，并通過(guò)規(guī)則引擎將TSG條款轉(zhuǎn)化為可執(zhí)行邏輯得到檢驗(yàn)項(xiàng)目列表；AR提示階段，采用AR分層顯示對(duì)不同檢驗(yàn)項(xiàng)目進(jìn)行不同的提示，完成檢驗(yàn)得到檢驗(yàn)結(jié)果；原始數(shù)據(jù)記錄階段，使用哈希鏈記錄檢驗(yàn)結(jié)果并進(jìn)行異常數(shù)據(jù)處理得到結(jié)構(gòu)化的檢驗(yàn)記錄；區(qū)塊鏈存證與提交階段，將檢驗(yàn)記錄進(jìn)行數(shù)據(jù)上鏈，并通過(guò)智能合約自動(dòng)校驗(yàn)簽行格式轉(zhuǎn)換得到預(yù)設(shè)格式的檢驗(yàn)報(bào)告。[0024]在本實(shí)施例中，先進(jìn)行區(qū)塊鏈存證與提交，再自動(dòng)生成檢驗(yàn)檢測(cè)報(bào)告。這樣做的目的是保證原始記錄和數(shù)據(jù)與現(xiàn)場(chǎng)的一致性。設(shè)備位置信息通過(guò)視覺終端獲取，視覺終端的作用第一是進(jìn)行視頻或圖片采集；第二是與操作者進(jìn)行交互，交互的方式包括文字、圖片、眼鏡為視覺終端進(jìn)行闡述。[0025]數(shù)據(jù)采集與預(yù)處理主要包括：(1)多源數(shù)據(jù)采集，真實(shí)場(chǎng)景數(shù)據(jù)：使用AR眼鏡拍攝電梯層門和轎門單元不同視角、光照(強(qiáng)光/弱光/頻閃)的部件圖像，覆蓋層門、轎門、自動(dòng)關(guān)閉層門裝置、緊急開鎖裝置、門鎖裝置等關(guān)鍵部件。同步記錄IMU傳感器數(shù)據(jù)(姿態(tài)、加速度),輔助后續(xù)空間定位與圖像對(duì)齊。合成數(shù)據(jù)生成：利用Blender構(gòu)建3D電梯模型，模擬金屬反光、油污附著、部件遮擋(如線纜遮擋門鎖)等復(fù)雜場(chǎng)景，渲染高分辨率圖像。通過(guò)域隨機(jī)化(DomainRandomization)隨機(jī)調(diào)整紋理、光照角度、攝像頭參數(shù)，提升模型泛化能力。(2)數(shù)據(jù)標(biāo)注與增強(qiáng)，標(biāo)注規(guī)則：使用LabelStudio對(duì)部件標(biāo)注邊界框(BoundingBox),并綁定唯一ID(如door_lock_001),與TSGT7001-2023條款關(guān)聯(lián)。對(duì)易混淆部件(如不同品牌的門鎖)添加細(xì)粒度標(biāo)簽(如door_lock_0TIS、door_lock_Mitsubishi)。通過(guò)以下方法進(jìn)行數(shù)據(jù)增強(qiáng)。物理仿真增強(qiáng)：添加模擬金屬反光(OpenCV光斑生成)、運(yùn)動(dòng)模糊(電梯運(yùn)行中拍8[0026]模型構(gòu)建與訓(xùn)練主要包括：(1)輕量化目標(biāo)檢測(cè)模型，基線模型選擇：YOLOv8n:平衡速度與精度，默認(rèn)輸入分辨率640×640,適用于邊緣設(shè)備。還可以通過(guò)以下措施改進(jìn)設(shè)測(cè)頭優(yōu)化：采用動(dòng)態(tài)卷積(DynamicConvolution)替代固定卷積，適應(yīng)不同尺寸部件(如小尺寸門鎖觸點(diǎn)vs大尺寸轎廂導(dǎo)軌)。模型訓(xùn)練：損失函數(shù)：使用FocalLoss緩解類別不平衡(如導(dǎo)軌樣本遠(yuǎn)多于安全鉗)。遷移學(xué)習(xí)：基于COCO數(shù)據(jù)集預(yù)訓(xùn)練，再以電梯部件數(shù)據(jù)微調(diào)提升小樣本部件識(shí)別精度。(2)抗干擾設(shè)計(jì)，多光譜融合：融合RGB攝像頭與紅外成像數(shù)據(jù)，通過(guò)早期特征融合(EarlyFusion)網(wǎng)絡(luò)處理低光照?qǐng)鼍?。紅外數(shù)據(jù)可穿透部分油污，輔助識(shí)別銹蝕嚴(yán)重的部件。動(dòng)態(tài)推理：根據(jù)環(huán)境光照強(qiáng)度自動(dòng)切換模型分支(如正常光照下使用YOLOv8n,低光照下切換至紅外增強(qiáng)子模型)。[0027]邊緣部署與實(shí)時(shí)優(yōu)化主要包括：(1)模型壓縮與加速，量化：使用TensorRT將模型權(quán)重從FP32量化至INT8,精度損失控制在2%以內(nèi)(通過(guò)校準(zhǔn)數(shù)據(jù)集微調(diào))。剪枝：基于通道重要性評(píng)分(如L1-norm)移除冗余卷積核，模型體積減少30%。的HexagonDSP,加速卷積計(jì)算(相比CPU提升5倍推理速度。(2)實(shí)時(shí)性保障，多線程流水線：圖像采集→預(yù)處理(歸一化/去噪)→推理→后處理(NMS)分線程執(zhí)行，幀率穩(wěn)定在25FPS以上。自適應(yīng)分辨率：當(dāng)檢測(cè)到多部件并發(fā)時(shí)(如轎廂門全開狀態(tài)),臨時(shí)降低輸入分辨率至480×480,優(yōu)先保障實(shí)時(shí)性。[0028]多模態(tài)融合與后處理主要包括：(1)空間對(duì)齊與AR集成，SLAM定位：使用ARCore/ARKit實(shí)時(shí)構(gòu)建電梯井稀疏點(diǎn)云地圖，通過(guò)PnP算法將2D檢測(cè)框映射至3D空間。IMU輔助校(2)誤檢過(guò)濾與邏輯校驗(yàn)，幾何約束：根據(jù)電梯結(jié)構(gòu)先驗(yàn)知識(shí)設(shè)定規(guī)則(如“門鎖不可能出現(xiàn)在機(jī)房”),過(guò)濾異常檢測(cè)結(jié)果。時(shí)序一致性：基于卡爾曼濾波跟蹤部件[0029]檢驗(yàn)檢測(cè)現(xiàn)場(chǎng)適應(yīng)性主要包括：(1)極端環(huán)境魯棒性，防抖算法：采用電子防抖(EIS)與多幀融合技術(shù)，消除人工檢驗(yàn)時(shí)的頭部或手持抖動(dòng)影響。[0030]抗過(guò)曝處理：對(duì)高光區(qū)域(如不銹鋼導(dǎo)軌反光)進(jìn)行局部亮度抑制(CLAHE算法),避免檢測(cè)框漂移。(2)可維護(hù)性設(shè)計(jì)，增量學(xué)習(xí)：支持在線更新模型(如新增某品牌門鎖型號(hào)),僅需上傳少量樣本至邊緣設(shè)備微調(diào)，無(wú)需重新訓(xùn)練全模型。故障自診斷：當(dāng)檢測(cè)到連續(xù)10幀無(wú)有效結(jié)果時(shí)，自動(dòng)切換至備用模型或提示用戶清潔鏡頭。[0031]法規(guī)結(jié)構(gòu)化與知識(shí)庫(kù)構(gòu)建主要包括：(1)法規(guī)文本語(yǔ)義解析，技術(shù)選型：規(guī)則引擎+NLP:結(jié)合正則表達(dá)式提取條款關(guān)鍵字段(如“嚙合深度≥7mm”),輔以BERT模型進(jìn)行上下“游標(biāo)卡尺測(cè)量”)。(2)知識(shí)圖譜構(gòu)建，圖結(jié)構(gòu)設(shè)計(jì)：節(jié)點(diǎn)建圖譜，支持多跳查詢(如“門鎖→TSGT7001-2023_3.8.1→嚙合深度→游9[0032]動(dòng)態(tài)條款匹配與邏輯執(zhí)行包括：(1)建立部件-條款關(guān)聯(lián)映射表，人工標(biāo)注部件與條款關(guān)系。增量更新：當(dāng)新增條款時(shí)，通過(guò)關(guān)鍵詞匹配(如“門鎖”)可編程檢驗(yàn)邏輯，規(guī)則引擎集成：使用Drools或Python-based規(guī)則引行邏輯。動(dòng)態(tài)加載：根據(jù)當(dāng)前識(shí)別到的component_id,從知識(shí)庫(kù)加載對(duì)應(yīng)的規(guī)則集至內(nèi)存執(zhí)行。[0033]多模態(tài)交互與狀態(tài)管理主要包括：(1)AR可視化與語(yǔ)音交互，信息分層按以下方記錄(如“2023-01-05檢測(cè)值：7.2mm”)。語(yǔ)音引擎包括以下內(nèi)容：語(yǔ)音合成(TTS):使用Edge-TTS或VITS生成自然語(yǔ)音提示(如“請(qǐng)使用游標(biāo)卡尺測(cè)量門鎖嚙合深度”)。語(yǔ)音識(shí)別(如測(cè)量照片、語(yǔ)音備注),支持導(dǎo)出PDF報(bào)告(通過(guò)Jinja2模板引擎生成)。[0034]離線支持與版本管理主要包括：(1)本地化部署，數(shù)據(jù)同步：初始部署時(shí)，將法規(guī)知識(shí)庫(kù)、語(yǔ)音模型等預(yù)裝至AR眼鏡存儲(chǔ)。支持USB或Wi-Fi增量更新(如法規(guī)修訂后推送新版本知識(shí)庫(kù))。緩存策略：最近訪問(wèn)的條款數(shù)據(jù)保留在內(nèi)存中，減少數(shù)據(jù)庫(kù)查詢延遲。(2)版本控制，Git式管理：對(duì)知識(shí)庫(kù)的每次修改生成版本哈希(如SHA-256),確保現(xiàn)場(chǎng)檢驗(yàn)使用指定版本(如TSGT7001-2023_v1.2.3)。支持版本回滾，防止更新錯(cuò)誤導(dǎo)致系統(tǒng)不可用。模板引擎：采用Jinja2模板，支持循環(huán)語(yǔ)句動(dòng)態(tài)渲染[0035]在一些實(shí)施例中，所述的設(shè)備位置信息通過(guò)AR眼鏡集成的GPS模塊或二維碼掃描使用IMU傳感器實(shí)時(shí)采集姿態(tài)數(shù)據(jù)，通過(guò)卡爾曼濾波補(bǔ)償抖動(dòng)，并動(dòng)態(tài)調(diào)整曝光參[0036]在本實(shí)施例中，通過(guò)AR眼鏡集成GPS模塊或二維碼掃描功能獲取設(shè)備位置信息，或者語(yǔ)音等方式輸入設(shè)備編號(hào)，結(jié)合云端預(yù)存的設(shè)備數(shù)據(jù)庫(kù)，自動(dòng)識(shí)別當(dāng)前檢驗(yàn)檢測(cè)設(shè)備的類型與基礎(chǔ)信息。例如，掃描電梯使用標(biāo)志的二維碼，獲取設(shè)備編號(hào)后，查詢SQLite本地緩[0037]AR眼鏡搭載1080P攝像頭(幀率30fps)拍攝部件圖像，同步激活紅外攝像頭(850nm波長(zhǎng))輔助低光照?qǐng)鼍?如電梯底坑)。IMU傳感器(加速度計(jì)+陀螺儀)實(shí)時(shí)采集姿態(tài)數(shù)據(jù)(JSON格式),通過(guò)卡爾曼濾波補(bǔ)償抖動(dòng)。動(dòng)態(tài)調(diào)整曝光參數(shù)：強(qiáng)光環(huán)境啟用HDR模式(3幀合成),弱光下紅外成像優(yōu)先。紅外穿透油污能力提升部件可見性。[0038]在一些實(shí)施例中，所述的硬件加速為調(diào)用高通XR2芯片的HexagonDSP執(zhí)行矩陣運(yùn)算；所述邊緣計(jì)算預(yù)處理階段還包括以下步驟：對(duì)設(shè)備圖像進(jìn)行圖像歸一化，通過(guò)早期特征融合網(wǎng)絡(luò)合并RGB與紅外數(shù)據(jù)，輸出4[0039]在本實(shí)施例中，圖像歸一化至640×640分辨率，像素值歸一化(0-1)。多光譜融合：通過(guò)早期特征融合網(wǎng)絡(luò)合并RGB與紅外數(shù)據(jù)，輸出4通道張量(R,G,B,IR)。運(yùn)動(dòng)模糊補(bǔ)償：基于OpenCV估算抖動(dòng)軌跡，應(yīng)用逆濾波器恢復(fù)清晰圖像。硬件加速：調(diào)用高通XR2芯片的HexagonDSP執(zhí)行矩陣運(yùn)算(如FFT去噪),延遲≤10ms.HexagonDSP加速下，預(yù)處理速度提升4倍。[0040]在一些實(shí)施例中，所述的改進(jìn)的輕量化模型為改進(jìn)的YOLOv8n模型；所述改進(jìn)的用動(dòng)態(tài)卷積；部署改進(jìn)的YOLOv8n模型時(shí)，將TensorRT量化至INT8,模型體積壓縮至12MB,使用HexagonDSP并行計(jì)算加速推理。[0041]在本實(shí)施例中，改進(jìn)YOLOv8n模型：主干網(wǎng)絡(luò)替換為Mo2.8B),Neck層嵌入CBAM注意力模塊(通道+空間注意力),檢測(cè)頭采用動(dòng)態(tài)卷積(根據(jù)目標(biāo)尺寸切換3×3/5×5核)。部署優(yōu)化：TensorRT量化至INT8(校準(zhǔn)數(shù)據(jù)集1000張),模型體積壓縮[0042]在一些實(shí)施例中，所述的部件ID識(shí)別階段還包括以下步驟：對(duì)同類部件，通過(guò)MobileNetV3的全連接層輸出子類標(biāo)簽，并設(shè)定置信度閾值，對(duì)低于置信度閾值的部件進(jìn)行復(fù)核。[0043]在本實(shí)施例中，部件屬性數(shù)據(jù)庫(kù)(SQLite)存儲(chǔ)唯一標(biāo)識(shí)符(