ICS96.160

CCSP59

團(tuán)?體?標(biāo)?準(zhǔn)

T/CHESXXX—20XX

水利水電工程過魚設(shè)施目標(biāo)魚類

智能圖像識別指南

Intelligentimagerecognitionguidelinesfortargetfish

inFisheryFacilitiesofwaterconservancyandhydropower

engineeringfishcrossingfacilities

（征求意見稿）

請將你們發(fā)現(xiàn)的有關(guān)專利的內(nèi)容和支持性文件隨意見一并返回

20XX-XX-XX發(fā)布20XX-XX-XX實施

中國水利學(xué)會?發(fā)布

T/CHESXXX—20XX

水利水電工程過魚設(shè)施目標(biāo)魚類智能圖像識別指南

1范圍

本標(biāo)準(zhǔn)規(guī)定了水利水電工程過魚設(shè)施目標(biāo)魚類智能圖像識別技術(shù)一般要求、圖像采

集、圖像增強(qiáng)、前景提取、魚類檢測識別、信息集成與輸出、驗證方法等要求。

本標(biāo)準(zhǔn)適用于濁度測量值在100NTU內(nèi)的測量條件下，水利水電工程過魚設(shè)施目標(biāo)

魚類監(jiān)測和效果評估。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，

注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最

新版本（包括所有的修改單）適用于本文件。

SL/Z705水利建設(shè)項目環(huán)境影響后評價導(dǎo)則

NB/T35054水電工程過魚設(shè)施設(shè)計規(guī)范

GB/T18268.1測量、控制和實驗室用的電設(shè)備電磁兼容性要求第1部分:通用要

求

GB/T28181安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)傳輸、交換、控制技術(shù)要求

GA/T1154.5視頻圖像分析儀第五部分：視頻圖像增強(qiáng)與復(fù)原技術(shù)要求

GB/T4208外殼防護(hù)等級（IP代碼）

GB50311綜合布線系統(tǒng)工程設(shè)計規(guī)范

3術(shù)語和定義

SL/Z705和NB/T35054界定的以及下列術(shù)語和定義適用于本文件。

3.1

目標(biāo)魚類Targetfishes

設(shè)計需要通過水利水電工程過魚設(shè)施的特定種類的魚類。

3.2

智能圖像識別Intelligentimageidentification

通過人工智能的方式自動統(tǒng)計圖像中目標(biāo)魚類種類和數(shù)量的過程。

3.3

圖像采集Imageacquisition

采用成像設(shè)備獲取目標(biāo)魚類水下圖像信號的過程。

3.4

圖像增強(qiáng)Imageenhancement

強(qiáng)調(diào)圖像的整體或局部特性，改善水下魚類圖像視覺效果的過程。

3.5

動態(tài)圖像Dynamicimage

目標(biāo)魚類游動通過過魚設(shè)施時的實時圖像。

3.6

圖像前景提取Imageforegroundextraction

1

T/CHESXXX—20XX

通過圖像處理的手段提取圖像中感興趣對象的過程。

4設(shè)備要求

4.1水下高清攝像頭分辨率不應(yīng)低于200萬像素。

4.2置于水下的設(shè)備防護(hù)等級應(yīng)符合GB/T4208規(guī)定的IP68等級要求。

4.3為保證實時傳輸，網(wǎng)絡(luò)帶寬不應(yīng)低于100Mbps，宜達(dá)到1000Mbps；網(wǎng)絡(luò)延時應(yīng)

低于100ms，宜低于50ms。

4.4應(yīng)確保供電可靠性，電力系統(tǒng)備用容量不應(yīng)低于15%。

4.5智能識別終端算力單線路不應(yīng)低于1TFLOPS,不宜小于5TFLOPS。

4.6線纜應(yīng)使用專用防水電纜，以太網(wǎng)電纜應(yīng)符合GB50311規(guī)定的6類屏蔽電纜要

求，傳輸速度不應(yīng)低于1000Mbps，光纖傳輸速度不應(yīng)低于2.5Gbps。

5圖像采集

5.1水下圖像采集設(shè)備操作

5.1.1水下圖像采集設(shè)備宜包含高清攝像頭、過魚箱涵、補光設(shè)備、自清潔裝置，

其工作狀態(tài)和工作環(huán)境應(yīng)滿足GB/T18268.1要求。

5.1.2水下圖像采集設(shè)備規(guī)格尺寸應(yīng)根據(jù)過魚設(shè)施的寬度和高度定制，上下游宜

分別布置過水網(wǎng)和引導(dǎo)墻。

5.1.3應(yīng)具備由計數(shù)系統(tǒng)觸發(fā)視頻錄制的功能，以減少無效視頻錄制，節(jié)省儲存

空間和智能識別工作量，自動保存有效過魚影像。

5.1.4水下高清攝像頭應(yīng)布置于過魚設(shè)施進(jìn)口段和出口段，應(yīng)實時獲取過魚設(shè)施

目標(biāo)魚類的動態(tài)高清圖像，自動保存有效過魚影像，支持會話通道和媒體流通道的傳

輸協(xié)議。

5.1.5應(yīng)用于渾水（濁度>30NTU）條件下,應(yīng)符合下列要求：

a)采用渾水水下高清攝像機(jī)或渾水?dāng)z像輔助裝置，或在水下攝像機(jī)的鏡頭前安

裝一個耐壓或非耐壓的攝像罩，罩內(nèi)封閉空腔內(nèi)的介質(zhì)為空氣或清水，使光

線從被攝物體到鏡頭的傳輸過程中縮短渾水路徑，從而減少水的散射作用，

提高目標(biāo)魚類影像清晰度，相關(guān)結(jié)構(gòu)示例見附錄B。

b)采用攝像系統(tǒng)配置補光LED燈或搭建LED光壁等技術(shù)補光，選擇目標(biāo)魚類的

親和光譜范圍。

c)安裝補光LED燈或LED光壁時需要注意產(chǎn)生斜側(cè)光拍攝，盡量確保光源的照

射方向與鏡頭的拍攝方向成30度至60度夾角。

d)攝像通道內(nèi)應(yīng)部署自動清潔裝置并具備手動或自動觸發(fā)開啟功能。

5.1.6應(yīng)定期檢查水下高清攝像頭等水下圖像采集設(shè)備，開展密閉絕緣性、信號

狀態(tài)和傳輸通道測試。

5.1.7過魚設(shè)施停運期間，宜將水下高清攝像頭拆除保存；當(dāng)設(shè)備不便于拆卸時，

應(yīng)做好防護(hù)措施。

5.2圖像信息傳輸

5.2.1圖像信息傳輸設(shè)備應(yīng)包含高清攝像機(jī)儲存端、傳輸線纜、客戶接收端。

5.2.2應(yīng)實現(xiàn)過魚設(shè)施圖像監(jiān)測信息化管理，完善監(jiān)測數(shù)據(jù)的實時記錄、傳輸、

保存、分析和共享的數(shù)據(jù)流傳遞。

2

T/CHESXXX—20XX

5.2.3應(yīng)建立符合GB/T28181規(guī)定的流媒體連接，支持的實時最大傳輸幀率應(yīng)

高于25fps。實時傳輸協(xié)議宜采用常見的RTSP（RealTimeStreamingProtocol）、RTMP

（Real-TimeMessagingProtocol）等協(xié)議，滿足圖像傳輸?shù)膶崟r性要求。

5.2.4視頻流應(yīng)具備實時讀取并進(jìn)行有效讀取保存功能。

5.2.5圖像信息視頻流應(yīng)按照固定的命名格式存儲于指定的文件夾內(nèi)，文件名中

宜包含采集時刻、錄制時長、通過數(shù)量等信息。

6圖像增強(qiáng)

6.1能夠?qū)λ聢D像中的魚類個體進(jìn)行準(zhǔn)確的人工魚種辨識是開展檢測模型訓(xùn)練的前

提。因圖像成像質(zhì)量問題造成具備目標(biāo)魚類辨識能力的人員無法辨認(rèn)畫面中魚類的種

類時，應(yīng)進(jìn)行額外的圖像增強(qiáng)處理。

6.2智能識別準(zhǔn)確率低于80%的水下視頻圖像應(yīng)進(jìn)行圖像增強(qiáng)。

6.3圖像增強(qiáng)性能應(yīng)符合GA/T1154.5中6的規(guī)定。

6.4水下視頻圖像的圖像增強(qiáng)處理宜根據(jù)實際圖像和應(yīng)用場景進(jìn)行調(diào)整。

6.5水下視頻圖像宜適當(dāng)增加對比度和色度以補償水下光線條件。

7前景提取

7.1前景提取應(yīng)滿足在受到自然環(huán)境變化、拍攝設(shè)備的監(jiān)測誤差等因素的干擾時提取

視頻圖像中的目標(biāo)魚類前景。

7.2前景提取應(yīng)支持不同類型的圖像視頻輸入；應(yīng)滿足在水下不同光照、水體濁度等

條件下的穩(wěn)定提??；應(yīng)具備實時性；應(yīng)能夠處理大規(guī)模數(shù)據(jù)集，并具有一定的可擴(kuò)展

性，以適應(yīng)未來可能出現(xiàn)的更復(fù)雜的圖像識別任務(wù)。

7.3前景提取應(yīng)適用于前景背景差異小，背景存在快速明暗變化、幾何變化以及光照

等噪聲的場景。

7.4前景提取宜適用于小目標(biāo)提取。

8魚類檢測識別

8.1檢測流程

8.1.1采集到的數(shù)據(jù)集宜多于2000張圖像，按照8:2的比例劃分為訓(xùn)練集和驗證

集，訓(xùn)練集用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，驗證集用于評估模型每次迭代完成后的精度，并

調(diào)整超參數(shù)。

8.1.2當(dāng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率低于85%時，應(yīng)對數(shù)據(jù)集進(jìn)行擴(kuò)充，

并重新按照8:2的比例劃分為新的訓(xùn)練集和驗證集；其中，訓(xùn)練集擴(kuò)充方法宜至少包

括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪以及移位中的一種。

8.1.3數(shù)據(jù)集宜采用卷積神經(jīng)網(wǎng)絡(luò)框架處理，可采用YOLO、Fast-CNN等算法，

包括主干提取網(wǎng)絡(luò)、特征加強(qiáng)網(wǎng)絡(luò)和模型輸出網(wǎng)絡(luò)，主干提取網(wǎng)絡(luò)提取圖像特征信息，

特征加強(qiáng)網(wǎng)絡(luò)對特征信息進(jìn)行加強(qiáng)，豐富上下文語義信息。最后部分為模型輸出網(wǎng)絡(luò)，

將得到的特征圖進(jìn)行解碼預(yù)測，輸出檢測目標(biāo)的種類和位置。相關(guān)測量原理見附錄C。

8.2種類識別

8.2.1應(yīng)具備對動態(tài)圖像進(jìn)行實時識別和數(shù)據(jù)處理功能，識別目標(biāo)魚類種類。

3

T/CHESXXX—20XX

8.2.2在監(jiān)測區(qū)域同時出現(xiàn)的魚類數(shù)量不超過30尾的時，應(yīng)實現(xiàn)所有魚類目標(biāo)種

類同步識別。

8.2.3應(yīng)每月至少進(jìn)行一次人工抽樣復(fù)核，抽取至少30條上次復(fù)核后采集的魚類

信息，核對種類識別是否正確，發(fā)現(xiàn)種類識別精確度顯著下降時應(yīng)分析原因并調(diào)整模

型。

8.2.4單魚種識別精確度宜高于80%，所有魚種識別精確度均值宜高于85%。

8.3數(shù)量統(tǒng)計

8.3.1魚類監(jiān)測模型應(yīng)具備區(qū)分上溯和降河方向分別統(tǒng)計魚類通過數(shù)量的功能。

8.3.2應(yīng)每月至少進(jìn)行一次人工抽樣復(fù)核，隨機(jī)抽取至少5段過魚視頻人工測量

視頻中上溯和降河個體數(shù)量并與自動檢測結(jié)果比對，發(fā)現(xiàn)計數(shù)準(zhǔn)確率顯著下降時應(yīng)分

析原因并調(diào)整模型。

8.3.3目標(biāo)魚類數(shù)量的上溯和降河的計數(shù)準(zhǔn)確率宜均高于80%。

9信息集成與輸出

9.1集成

9.1.1宜建立數(shù)據(jù)管理系統(tǒng)，實現(xiàn)過魚視頻圖像、探魚聲吶、水文、水質(zhì)等各類

參數(shù)測量數(shù)據(jù)實時采集與匯總。

9.1.2數(shù)據(jù)管理系統(tǒng)宜集成智能視頻圖像分析、數(shù)據(jù)統(tǒng)計等功能。

9.1.3數(shù)據(jù)管理系統(tǒng)宜具備分析水質(zhì)、水文監(jiān)測數(shù)據(jù)和過魚圖像監(jiān)測信息的功能，

支持監(jiān)測信息圖形可視化展示。

9.2輸出

9.2.1數(shù)據(jù)管理系統(tǒng)宜具備自動預(yù)警魚道監(jiān)測設(shè)備非正常狀態(tài)的功能。

9.2.2數(shù)據(jù)管理系統(tǒng)宜具備自動生成魚道智能運行監(jiān)測信息報表的功能，相關(guān)示

例見附錄A.1。

9.2.3數(shù)據(jù)管理系統(tǒng)宜具備歷史數(shù)據(jù)查詢和展示功能。

9.2.4在一年的監(jiān)測期結(jié)束后，宜編制該年度過魚設(shè)施目標(biāo)魚類年度監(jiān)測報告，

總結(jié)該年監(jiān)測結(jié)果，相關(guān)說明見附錄A.2。

10驗證方法

10.1魚類種類識別精確度測量

10.1.1為確保目標(biāo)魚類智能識別技術(shù)有可靠的種類判別能力，應(yīng)進(jìn)行識別算法的

種類識別精確度測試。

10.1.2測試數(shù)據(jù)集應(yīng)包含所有需要檢測的魚種和充足的樣本數(shù)量，且每個樣本都

有準(zhǔn)確的標(biāo)注。

10.1.3將數(shù)據(jù)集按8：2隨機(jī)劃分為訓(xùn)練集和驗證集，以便獨立評估模型性能。

訓(xùn)練集用于識別技術(shù)模型訓(xùn)練，驗證集在訓(xùn)練過程中用于測試神經(jīng)網(wǎng)絡(luò)對訓(xùn)練集中未

出現(xiàn)數(shù)據(jù)的分類性能，根據(jù)神經(jīng)網(wǎng)絡(luò)在驗證集的性能情況，計算獲得單魚種識別精確

度和所有魚種識別精確度均值。

10.1.4采用Positive和Negative表示預(yù)測得到的結(jié)果，若IoU值大于設(shè)定的閾值，

4

T/CHESXXX—20XX

則預(yù)測為正類Positive，若IoU值小于設(shè)定的閾值，則預(yù)測為負(fù)類Negative。閾值宜設(shè)

定為0.3。采用True和False則表示預(yù)測的結(jié)果和真實結(jié)果是否相同，相同則是True，

不同則為False。依據(jù)預(yù)測值和真實值的屬性對目標(biāo)分別歸類計算數(shù)量。分類方法見表

1。

表1正負(fù)樣本劃分

預(yù)測值：Positive預(yù)測值：Negative

真實值：TruePositive，計入正確識別的魚FalseNegative，計入漏檢的魚

Positive類數(shù)量類數(shù)量

真實值：FalsePositive，計入錯誤識別的魚

TrueNegative，不計入數(shù)量

Negative類數(shù)量

10.1.5準(zhǔn)確率即分類器認(rèn)為是正樣本并且確實是正樣本的部分占所有分類器判

斷為是正樣本比例。

(1)

式中：

P——樣本準(zhǔn)確率（%）；

NTP——樣本中正確識別的魚類數(shù)量；

NFP——樣本中錯誤識別的魚類數(shù)量。

10.1.6對樣本中所有魚類進(jìn)行檢測，所有結(jié)果進(jìn)行統(tǒng)一計算所得的準(zhǔn)確率為整體

準(zhǔn)確率。篩選單一魚種的識別結(jié)果進(jìn)行分析計算，所得準(zhǔn)確率為該魚種準(zhǔn)確率。

10.1.7召回率即分類器認(rèn)為是正樣本并且確實是正類的部分占所有測試集中正

樣本的比例。

(2)

式中：

R——樣本召回率（%）；

NFN——樣本中漏檢的魚類數(shù)量。

10.1.8平均精確度用來度量模型預(yù)測框類別和位置是否準(zhǔn)確。AP（Average

Precision）是以召回率作為橫軸，準(zhǔn)確率作為縱軸，把P-R曲線下的面積當(dāng)做衡量模

型的尺度。

(3)

式中：

AP——樣本的平均精確度。

10.1.9當(dāng)魚類種類數(shù)大于1時，應(yīng)評估模型對所有目標(biāo)魚種的識別精確度均值。

(4)

式中：

mAP——樣本中所有魚種的識別精確度均值；

Ai——樣本的第i種魚的識別精確度；

n——樣本的魚種數(shù)量。

5

T/CHESXXX—20XX

10.2魚類數(shù)量統(tǒng)計準(zhǔn)確率測試

10.2.1應(yīng)選取實際測量場景中采集到的魚類通過視頻，分別由人工和智能識別模

型測量該視頻中魚類上溯和降河個體數(shù)量（不區(qū)分魚種）。選取視頻中魚類通過量應(yīng)超

過100尾，時長宜超過30分鐘。

10.2.2每次測量中宜由超過兩名測試人員分別觀看測試視頻，獨立統(tǒng)計視頻中的

魚類上溯和降河量。對所有測試人員的測量結(jié)果取算數(shù)平均值作為該段視頻魚類通過

量的人工測量值。

10.2.3每次測試應(yīng)選取超過3個不同時刻的視頻開展比對。

10.2.4逐個計算所選視頻的計數(shù)準(zhǔn)確率，上溯和降河分別進(jìn)行計算。

(1)

式中：

Ci——第i個視頻的計數(shù)準(zhǔn)確率，%;

Ni——第i個視頻中智能識別模型測量所得的魚類通過量（上溯或降河），ind;

Mi——第i個視頻中魚類通過量（上溯或降河）的人工測量值，ind。

10.2.5對所有測試視頻的計數(shù)準(zhǔn)確率取均值獲得智能識別模型的魚類數(shù)量統(tǒng)計

準(zhǔn)確率，上溯和降河分別進(jìn)行計算。

(2)

式中：

——智能識別模型的魚類數(shù)量統(tǒng)計準(zhǔn)確率（上溯或降河），%；

nv——測試視頻數(shù)量。

6

T/CHESXXX—20XX

附錄A

（資料性）

監(jiān)測報表示例

A.1過魚設(shè)施目標(biāo)魚類智能識別記錄表

表A.1為本文件中數(shù)據(jù)輸出月報表的示例，其他時間周期（日、旬、季度，年等）

報表參照此示例編制。

表A.1過魚設(shè)施目標(biāo)魚類智能識別記錄表

20XX年X月XXXXXXXXXX（過魚設(shè)施名稱）魚類監(jiān)測數(shù)據(jù)單位：尾

目標(biāo)魚類A目標(biāo)魚類B目標(biāo)魚類C其他魚類

日期總上溯總降河

上溯降河上溯降河上溯降河上溯降河

第一周

第二周

第三周

第四周

第五周

合計

A.2過魚設(shè)施目標(biāo)魚類年度監(jiān)測報告

A.2.1過魚設(shè)施目標(biāo)魚類年度監(jiān)測報告宜包含以下章節(jié)：概述、設(shè)備運行維護(hù)狀

態(tài)、過魚效果、結(jié)論與建議，并以附件形式提供該年度監(jiān)測期所有月的過魚設(shè)施目標(biāo)

魚類智能識別記錄表。

A.2.2概述章節(jié)宜包含該過魚設(shè)施的基本信息、目標(biāo)魚類的主要情況、過魚設(shè)施

的歷史運行情況。

A.2.3設(shè)備運行維護(hù)狀態(tài)章節(jié)宜包含報告期內(nèi)過魚設(shè)施運行情況、監(jiān)測設(shè)備運行

時間段、檢查維護(hù)情況、監(jiān)測設(shè)備和過魚設(shè)施工作異常情況的相關(guān)信息。

A.2.4過魚效果章節(jié)宜包含各目標(biāo)魚類報告期內(nèi)不同時間尺度監(jiān)測數(shù)據(jù)的統(tǒng)計結(jié)

果，并對日、月通過量的變化情況進(jìn)行簡要分析。宜統(tǒng)計單日內(nèi)不同時刻的通過量，

獲得各目標(biāo)魚類的典型洄游節(jié)律。

A.2.5結(jié)論與建議章節(jié)宜對報告期內(nèi)過魚設(shè)施的魚類通過情況進(jìn)行總結(jié)，給出過

魚設(shè)施的運行效果評估結(jié)論，并提出改進(jìn)建議。

7

T/CHESXXX—20XX

附錄B

（資料性）

水下攝像系統(tǒng)結(jié)構(gòu)示例

圖B.1水下攝像系統(tǒng)結(jié)構(gòu)示例示意圖

8

T/CHESXXX—20XX

附錄C

（資料性）

魚類檢測識別原理（以YOLO算法為例）

通過圖像采集系統(tǒng)，獲取清晰的過魚視頻圖像，并實時傳輸至服務(wù)器中。服務(wù)器

內(nèi)部署YOLO系列檢測模型。YOLO模型對魚類識別主要分為三部分，第一部分主干提取

網(wǎng)絡(luò)，該主干網(wǎng)絡(luò)以Darknet-53網(wǎng)絡(luò)框架為模型，對圖像進(jìn)行特征提取。第二部分為

特征加強(qiáng)，該模塊位于BackBone和最后的輸出網(wǎng)絡(luò)之間。該模塊包括采用最大池化方

法的快速空間金字塔池化池化和實例分割框架下的路徑聚合網(wǎng)絡(luò)結(jié)構(gòu),該模塊將三個