ICS35.240.ICS35.240.50CCSI6531T/SZAI團(tuán)體標(biāo)準(zhǔn)T/SZAIXXX-2025“人工智能+”制造領(lǐng)域顯示面板的機(jī)器視覺在線檢測(cè)要求AIEnabledManufacturingField:RequirementsforOnlineInspectionofDisplayPanelsusingMachineVision（征求意見稿）2025-XX-XX發(fā)布2025-XX-XX實(shí)施蘇州市人工智能行業(yè)協(xié)會(huì)發(fā)布目次TOC\o"1-3"\h\u1范圍 前言本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第一部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。機(jī)器視覺作為智能制造的一種重要手段，隨著智能工廠的發(fā)展而得到日益廣泛的應(yīng)用。在面板制造領(lǐng)域，機(jī)器視覺搭配人工智能技術(shù)，實(shí)現(xiàn)對(duì)制造過程中產(chǎn)生的缺陷自動(dòng)判讀，節(jié)省了人力，提升了效率，值得推廣應(yīng)用。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本部分的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本文件牽頭單位：蘇州華星光電技術(shù)有限公司。本文件參與單位：TCL華星光電技術(shù)有限公司、蘇州大學(xué)、蘇州科技大學(xué)、蘇州城市學(xué)院、蘇州華星光電顯示有限公司、格創(chuàng)東智（深圳）科技有限公司、蘇州申翰智能機(jī)器人有限公司。本文件主要起草人：黃衛(wèi)東、尤偉、章棟梁、王長(zhǎng)擂王紹軍、凌興宏、夏振平、黃學(xué)潤(rùn)。

“人工智能+”制造領(lǐng)域顯示面板的機(jī)器視覺在線檢測(cè)要求1范圍本文件給出了顯示面板制造行業(yè)機(jī)器視覺在線檢測(cè)系統(tǒng)的整體結(jié)構(gòu)，規(guī)定了在線檢測(cè)系統(tǒng)的工作流程和人工智能數(shù)據(jù)模型。本文件適用于顯示面板制造過程的人工智能在線檢測(cè)系統(tǒng)的構(gòu)造、組建及評(píng)估。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T41867-2022信息技術(shù)人工智能術(shù)語3術(shù)語和定義GB/T41867-2022界定的以及下列術(shù)語和定義適用于本文件。3.1機(jī)器視覺 machinevision用圖像采集設(shè)備代替人眼來獲得測(cè)量結(jié)果的一種手段。3.2深度學(xué)習(xí)deepleaning通過建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，在計(jì)算系統(tǒng)中實(shí)現(xiàn)人工智能能力的手段。是機(jī)器學(xué)習(xí)的技術(shù)和研究領(lǐng)域之一。3.3在線檢測(cè)onlinedetection將檢測(cè)系統(tǒng)集成在生產(chǎn)線上進(jìn)行實(shí)時(shí)檢測(cè)和實(shí)時(shí)反饋的技術(shù)。3.4機(jī)器視覺在線檢測(cè)系統(tǒng)machinevisiononlinedetectionsystem通過圖像采集裝置（如工業(yè)相機(jī)）獲取被測(cè)對(duì)象的圖像，利用算法進(jìn)行實(shí)時(shí)處理、分析和決策，實(shí)現(xiàn)產(chǎn)品質(zhì)量自動(dòng)判別與分類的智能化系統(tǒng)，通常繼承與生產(chǎn)線連續(xù)運(yùn)行。4機(jī)器視覺在線檢測(cè)系統(tǒng)的整體結(jié)構(gòu)4.1系統(tǒng)整體結(jié)構(gòu)在顯示面板制造過程中，具有人工智能功能的機(jī)器視覺在線檢測(cè)系統(tǒng)結(jié)構(gòu)見圖1。圖1系統(tǒng)結(jié)構(gòu)圖該系統(tǒng)主要用于生產(chǎn)過程中的缺陷自動(dòng)判讀，系統(tǒng)功能分為模型訓(xùn)練和智能推理兩個(gè)部分。模型訓(xùn)練是通過輸入標(biāo)注過的歷史圖片和邏輯規(guī)則表，經(jīng)過機(jī)器學(xué)習(xí)得出準(zhǔn)確性較高的AI推理模型。在產(chǎn)品量產(chǎn)的過程中，實(shí)時(shí)輸入由工業(yè)相機(jī)采集的圖像，經(jīng)過智能推理，給出缺陷的分類、質(zhì)量判斷等結(jié)果。人工智能平臺(tái)構(gòu)架如圖2。為了獲得質(zhì)量較高的推理模型，需要進(jìn)行數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、模型訓(xùn)練迭代三個(gè)步驟。推理模型能夠完成缺陷識(shí)別、缺陷分類、缺陷定位、相交斷線（判斷缺陷與產(chǎn)品電路間的關(guān)系）四項(xiàng)功能。數(shù)據(jù)庫分為兩種：生產(chǎn)數(shù)據(jù)庫用于存儲(chǔ)正常生產(chǎn)過程中數(shù)據(jù)；訓(xùn)練數(shù)據(jù)庫用于存儲(chǔ)模型訓(xùn)練的素材。圖2人工智能平臺(tái)構(gòu)架4.2系統(tǒng)流程概述機(jī)器視覺在線檢測(cè)系統(tǒng)的工作流程見圖3。圖3機(jī)器視覺在線檢測(cè)系統(tǒng)流程圖各部分的說明如下：生產(chǎn)過程中，根據(jù)事先設(shè)定好的工藝路徑，由在線監(jiān)測(cè)設(shè)備中的工業(yè)相機(jī)對(duì)產(chǎn)品進(jìn)行圖像采集；采集的圖片實(shí)時(shí)保存到存儲(chǔ)設(shè)備中（制造執(zhí)行系統(tǒng)中的數(shù)據(jù)庫）；采集設(shè)備在完成一次采集任務(wù)后，以指定格式向制造執(zhí)行系統(tǒng)發(fā)送圖像采集完畢的消息指令；制造執(zhí)行系統(tǒng)根據(jù)檢測(cè)任務(wù)的要求將收到的檢測(cè)消息發(fā)送給AI檢測(cè)系統(tǒng)；AI檢測(cè)系統(tǒng)收到檢測(cè)消息后，從圖像存儲(chǔ)系統(tǒng)中獲取圖片進(jìn)行檢測(cè)；AI檢測(cè)系統(tǒng)將檢測(cè)結(jié)果回傳給制造執(zhí)行系統(tǒng)；制造執(zhí)行系統(tǒng)根據(jù)AI檢測(cè)結(jié)果給產(chǎn)品發(fā)出控制指令（正常進(jìn)行下一制程、進(jìn)入修補(bǔ)或廢棄流程、品質(zhì)預(yù)警產(chǎn)品Hold等）。5在線檢測(cè)系統(tǒng)的工作要求5.1輸入與輸出5.1.1輸入要求工業(yè)相機(jī)搭配相應(yīng)的光源可穩(wěn)定可靠地拍攝識(shí)別度高的圖片，這些圖片一方面進(jìn)行存儲(chǔ)，另一方面進(jìn)行實(shí)時(shí)的品質(zhì)檢測(cè)。系統(tǒng)運(yùn)行時(shí)的輸入包括檢測(cè)消息和待檢圖片，檢測(cè)消息是由制造執(zhí)行系統(tǒng)通過消息總線給AI檢測(cè)系統(tǒng)發(fā)出的檢測(cè)任務(wù)，一般包括檢測(cè)站點(diǎn)信息、設(shè)備信息、產(chǎn)品信息、圖像信息等內(nèi)容，AI檢測(cè)系統(tǒng)在收到檢測(cè)信息后，根據(jù)信息從圖片存儲(chǔ)系統(tǒng)獲取圖片進(jìn)行處理。圖片要求尺寸與訓(xùn)練圖片誤差小于等于5%（為保持一致性，預(yù)處理時(shí)裁剪為標(biāo)準(zhǔn)尺寸）坐標(biāo)準(zhǔn)確性缺陷位于畫面中心90%位置（以防裁剪時(shí)被剔除）倍率與訓(xùn)練圖片一致（如X10倍，X20倍）色彩底色色差≤5%清晰度Tenengrad梯度>200（人眼識(shí)別清晰）檢測(cè)消息產(chǎn)品型號(hào)用于調(diào)用相應(yīng)產(chǎn)品的AI模型站點(diǎn)信息設(shè)備信息用于生成檢測(cè)結(jié)果文件產(chǎn)品ID用于生成地址路徑，訪問相應(yīng)圖片信息觸發(fā)信號(hào)設(shè)備圖片生成后發(fā)送，作為AI檢測(cè)開始的觸發(fā)信號(hào)5.1.2輸出要求根據(jù)缺陷情況以及是否相交斷線判定缺陷種類及品質(zhì)評(píng)級(jí)，并將信息發(fā)送給MES（制造執(zhí)行系統(tǒng)），回寫信息包括檢測(cè)站點(diǎn)信息、設(shè)備信息、缺陷信息，異常信息等內(nèi)容。MES系統(tǒng)根據(jù)判定結(jié)果決定是否要重工、報(bào)廢或者下放該產(chǎn)品到下一工序。輸出信息產(chǎn)品型號(hào)由輸入信息獲取站點(diǎn)信息由輸入信息獲取設(shè)備信息由輸入信息獲取產(chǎn)品ID由輸入信息獲取缺陷位置缺陷有無，及缺陷在圖片中的位置信息缺陷種類根據(jù)AI模型判定的缺陷種類，缺陷代碼由用戶事先定義相交斷線信息用于判別缺陷對(duì)電路的影響置信度AI判定可信度，用于卡控覆蓋率（如設(shè)定置信度0.8，則置信度0.8以下的圖片交由人工復(fù)判）5.2人工智能自動(dòng)缺陷判讀要求人工智能對(duì)缺陷的判讀一般是根據(jù)檢測(cè)需求由多個(gè)功能模塊組合而成的，包括缺陷和背景的分割、缺陷的分類、線路異常檢測(cè)等，具體見圖4。圖4缺陷自動(dòng)判讀流程1)背景分割主要指將面板圖片上的線路與面板背景分開，一般采用傳統(tǒng)圖像識(shí)別方法實(shí)現(xiàn)，目的是為了后續(xù)判斷面板線路是否受到缺陷的影響。2)缺陷分割指將面板圖片上可能存在的缺陷與背景分開，一般采用深度學(xué)習(xí)的方法實(shí)現(xiàn)，目的是為了和背景分割的結(jié)果綜合判斷缺陷對(duì)線路的影響程度，根據(jù)影響程度判定面板質(zhì)量和處理方式，及早發(fā)現(xiàn)問題有助于降低成本，提高產(chǎn)品良率。3)缺陷分類是指對(duì)分割出來的缺陷進(jìn)行類別判斷，一般采用深度學(xué)習(xí)的方法實(shí)現(xiàn)，缺陷類別代碼由人工定義。最終AI模型給出的結(jié)論如下圖所示：（a）缺陷有無及位置；（b）缺陷的類型。根據(jù)事先定義好的“相交斷線表”，結(jié)合（a）、（b）的識(shí)別結(jié)果就可以判斷產(chǎn)品的走向（修補(bǔ)良品化、報(bào)廢、Hold或直通下一制程工藝）。（a）器件缺失(b)異物圖5缺陷識(shí)別的示例5.3監(jiān)控要求由于AI模型在后臺(tái)持續(xù)運(yùn)行，當(dāng)服務(wù)器硬件、軟件系統(tǒng)、產(chǎn)品發(fā)生變異時(shí)，可能會(huì)造成批量性的生產(chǎn)、品質(zhì)影響。為了及時(shí)發(fā)現(xiàn)非預(yù)知性異常，系統(tǒng)還需設(shè)計(jì)自監(jiān)控或人工監(jiān)控功能，常用的技術(shù)方法如下：監(jiān)控方法指標(biāo)監(jiān)控AI判定覆蓋率、準(zhǔn)確性、漏檢率監(jiān)控，指標(biāo)突變時(shí)發(fā)出預(yù)警人工復(fù)判定期抽取一定的圖片由人工復(fù)判，人工復(fù)判結(jié)果與AI判定結(jié)果進(jìn)行比對(duì)，一致性較差時(shí)發(fā)出預(yù)警6人工智能數(shù)據(jù)模型6.1模型概述本文件所涉及的人工智能模型是復(fù)合模型，采用傳統(tǒng)機(jī)器視覺和深度學(xué)習(xí)結(jié)合的方法。傳統(tǒng)機(jī)器視覺方法主要是實(shí)現(xiàn)對(duì)圖像的預(yù)處理，圖像上的線路檢測(cè)，異常判定等功能；深度學(xué)習(xí)的方法主要是實(shí)現(xiàn)缺陷分割、缺陷分類等功能。模型判定缺陷的基本邏輯如圖6：圖6模型判定邏輯獲取到圖片后，模型需對(duì)圖片進(jìn)行模板匹配和缺陷分割，目的是識(shí)別缺陷并完成缺陷分類，然后再根據(jù)“相交斷線表”，按照邏輯判斷的方式給出產(chǎn)品的處理意見，最后生成檢測(cè)文件和通信消息，上報(bào)制造執(zhí)行系統(tǒng)。6.2模型的訓(xùn)練與測(cè)試6.2.1前期準(zhǔn)備具體需要調(diào)研的內(nèi)容包括但不限于：（1）缺陷類型：包含常規(guī)缺陷、特殊缺陷、無缺陷、模糊圖片等；（2）圖片采集設(shè)備的差異及使用情況；（3）不同缺陷代碼的明確定義；（4）相關(guān)的業(yè)務(wù)知識(shí)；（5）當(dāng)前作業(yè)員的判斷流程。6.2.2需求調(diào)研（1）每個(gè)缺陷代碼提供500張以上圖片，并有缺陷代碼的詳細(xì)說明；（2）訓(xùn)練素材事先經(jīng)過人員復(fù)判，確保正確性；（3）訓(xùn)練素材涉及不同設(shè)備、色差，以確保不同質(zhì)量圖片的覆蓋率。6.2.3模型訓(xùn)練訓(xùn)練條件：主要是充足的GPU計(jì)算資源。訓(xùn)練步驟：圖7模型訓(xùn)練流程缺陷分類說明文件。由技術(shù)部門提供，文件中需明確定義缺陷分類規(guī)則、電路器件劃分規(guī)則、相交斷線規(guī)則等。圖片收集。每類缺陷需收集500張以上圖片，圖片需覆蓋不同圖像采集設(shè)備，以便覆蓋學(xué)習(xí)不同質(zhì)量的圖片。另外，為了訓(xùn)練分割模型，還需提供500張以上無缺陷圖片。圖片標(biāo)注。將圖片中的缺陷按照標(biāo)準(zhǔn)方法標(biāo)注出來。為了提升標(biāo)注效率，可利用自動(dòng)標(biāo)注功能進(jìn)行初步標(biāo)注，再由人工復(fù)核的方式進(jìn)行清洗。模型訓(xùn)練。分割模型用于識(shí)別缺陷，分類模型用于對(duì)缺陷分類。離線測(cè)試。提前準(zhǔn)備未訓(xùn)練過的圖片測(cè)試集，用于測(cè)試模型訓(xùn)練效果。模型評(píng)價(jià)原則見6.3。若模型性能不達(dá)標(biāo)，則需根據(jù)過檢、漏檢狀況，針對(duì)性追加采集特定類型圖片強(qiáng)化訓(xùn)練，直至達(dá)標(biāo)。6.3模型評(píng)價(jià)原則（1）模型判定的準(zhǔn)確率要達(dá)到85%以上，準(zhǔn)確率=系統(tǒng)判定所有結(jié)果輸出正確的數(shù)量/系統(tǒng)判定數(shù)量ⅹ100%；（2）模型判定的覆蓋率要達(dá)到50%以上，覆蓋率=系統(tǒng)判定數(shù)量/檢測(cè)圖片總數(shù)ⅹ100%；（3）模型判定速度不少于0.5秒/張。6.4模型測(cè)試與上線6.4.1線下驗(yàn)證階段驗(yàn)證條件：提供一定周期內(nèi)（20000張左右）的圖片，驗(yàn)證模型判定性能。步驟：（1）將所有圖片轉(zhuǎn)換成請(qǐng)求信息，發(fā)送給AI服務(wù)器，獲取結(jié)果；（2）本地分析準(zhǔn)確率及覆蓋率等指標(biāo)，確認(rèn)是否達(dá)標(biāo)；（3）如果準(zhǔn)確率、覆蓋率達(dá)標(biāo)，則確認(rèn)是否存在漏判；（4）如果有任何不達(dá)標(biāo)情況，將失敗案例提取出來，重新回到前一階段，加入訓(xùn)練集，訓(xùn)練新模型，直到達(dá)標(biāo)為止。6.4.2上機(jī)階段上機(jī)條件：線下測(cè)試準(zhǔn)確率、覆蓋率滿足條件。步驟：（1）在上機(jī)的服務(wù)器上部署模型的運(yùn)行環(huán)境，主要是創(chuàng)建模型運(yùn)行的虛擬環(huán)境（如python），并安裝需要的第三方軟件包；（2）將模型封裝打包部署到上機(jī)服務(wù)器上，