ICS65.020.99

CCSB07

DB6111

楊凌農(nóng)業(yè)高新技術(shù)產(chǎn)業(yè)示范區(qū)地方標(biāo)準

DB6111/T175—2021

智慧農(nóng)業(yè)果實三維數(shù)字化數(shù)據(jù)采集及建

模技術(shù)規(guī)范

SmartAgriculture-Specificationfor3DDigitalDataCollectionandModelingof

Fruits

2021-10-22發(fā)布2021-11-01實施

楊凌示范區(qū)市場監(jiān)督管理局發(fā)布

DB6111T/175—2021

前??言

本文件依據(jù)GB/T1.1-2020《標(biāo)準化工作導(dǎo)則第1部分：標(biāo)準化文件的結(jié)構(gòu)和起草規(guī)則》起草。

本文件由楊凌示范區(qū)農(nóng)業(yè)標(biāo)準化技術(shù)委員會提出并歸口。

本文件起草單位：西北農(nóng)林科技大學(xué)、陜西貞觀實業(yè)有限公司、陜西楊凌田上農(nóng)業(yè)科技有限公司、

陜西美好家園農(nóng)業(yè)科技發(fā)展股份有限公司、楊凌錦田果蔬專業(yè)合作社。

本文件主要起草人：楊會君、王昕、于啟瑞、李勁波、雷鳴、張?zhí)稞?、李海?/p>

本文件首次發(fā)布。

本文件由西北農(nóng)林科技大學(xué)負責(zé)解釋。

聯(lián)系人：楊會君

聯(lián)系方式：yhj740225@

聯(lián)系地址：陜西省楊凌示范區(qū)西農(nóng)南路3號

郵政編碼：712100

I

DB6111T/175—2021

智慧農(nóng)業(yè)果實三維數(shù)字化數(shù)據(jù)采集及建模技術(shù)規(guī)范

1范圍

本文件規(guī)定了果實三維數(shù)字化數(shù)據(jù)采集及建模的術(shù)語與定義、縮略語、果實圖像數(shù)據(jù)的采集、果實

三維重建和精細度評估及三維模型發(fā)布與應(yīng)用。

本文件適用于智慧果園蘋果、獼猴桃、桃子等鮮果果實三維數(shù)字化的點云數(shù)據(jù)采集、建模、處理，

得到干凈、準確的果實模型數(shù)據(jù)。不適用于干果品質(zhì)評測過程中的形態(tài)特征獲取、色澤和水分含量測定。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T2822-2005標(biāo)準尺寸

GB/T8170-2008數(shù)值修約規(guī)則與極限數(shù)值的表示和判定

GB/T18784CAD/CAM數(shù)據(jù)質(zhì)量

GB/T24734.1-2009技術(shù)產(chǎn)品文件數(shù)字化產(chǎn)品定義數(shù)據(jù)通則第1部分：術(shù)語和定義

GB/T26099.1-2010機械產(chǎn)品三維建模通用規(guī)則第1部分：通用要求

GB/T31053-2014機械產(chǎn)品逆向工程三維建模技術(shù)要求

GB/T38368-2019產(chǎn)品幾何技術(shù)規(guī)范（GPS）基于數(shù)字化模型的測量通用要求

3術(shù)語和定義

GB/T26099.1-2010、GB/T31053-2014和GB/T38368-2019界定的以及下列術(shù)語和定義適用于本文

件。

3.1

果實三維數(shù)字化Fruit3DDigitization

用三維重建和分析工具獲取、創(chuàng)建、修改、完善、分析果實數(shù)字模型的系列技術(shù)。

3.2

點云數(shù)據(jù)采集PointCloudDataCollection

用三維掃描儀、深度相機、RGB相機等獲取果實點云形態(tài)的形狀（幾何構(gòu)造）和外觀信息（如顏

色、表面反照率等）過程。

3.3

場景圖SceneGraph

1

DB6111T/175—2021

以圖像為節(jié)點，以幾何校驗后的匹配圖像之間的重疊關(guān)系作為邊構(gòu)成的三維場景圖。

4縮略語

下列縮略語適用于本文件:

——CAD--計算機輔助設(shè)計(ComputerAidedDesign)；

——SFM--運動恢復(fù)結(jié)構(gòu)(StructureFromMotion)；

——SIFT---尺度不變特征變換(ScaleInvariantFeatureTransform)；

——RANSAC--隨機采樣一致性(RandomSampleConsensus)。

5果實多視角圖像數(shù)據(jù)采集

5.1采集設(shè)備

選用彩色相機、攝像頭或手機等普通RGB攝像設(shè)備。調(diào)試確定設(shè)備的分辨率、拍攝距離等具體參數(shù)，

參見表1。

表1數(shù)據(jù)采集過程中的拍攝參數(shù)要求

項目具體要求

設(shè)備選型單目相機

分辨率最低支持1920×1080

角度見圖1所示

距離范圍20cm～100cm

拍攝數(shù)量每一方位≥20張

拍攝設(shè)備和圖像關(guān)系限單個設(shè)備連續(xù)拍攝多視角照片

目標(biāo)占比前景目標(biāo)物占圖像內(nèi)容50%以上

攝像頭內(nèi)部參數(shù)由攝像頭本身元件所確定。計算方法見公式（1）。

........................................................(1)

式中：

focalpix----焦距(像素)；

focalmm----焦距(毫米)；

wpix----圖像寬度(像素)；

hpix----圖像高度(像素)；

ccdwmm----傳感器尺寸(毫米)；

參數(shù)通常包含于圖像EXIF信息中，若缺失，也可通過計算相機元件參數(shù)獲得。

5.2采集環(huán)境

選擇紋理豐富、照明良好，光照變化不強的環(huán)境。應(yīng)避開玻璃、瓷磚等強反光材料，移除拍攝視野

中除環(huán)境光以外的其它光源。最佳拍攝角度、方位和頻次示意圖參見圖1。

2

DB6111T/175—2021

圖1圖像數(shù)據(jù)采集路徑標(biāo)定板（紅色為俯視圖，藍色為側(cè)視圖）

5.3拍攝與數(shù)據(jù)存儲方案

參照圖1所示的位置關(guān)系，確定拍攝視角，具體方案如下：

a)根據(jù)環(huán)境和拍攝果實實際尺寸確定標(biāo)定板的具體大小，并打印圖1所示數(shù)據(jù)采集標(biāo)定方案圖。

b)將拍攝目標(biāo)放在標(biāo)定板的正中心，找到果實中心軸，在距離果實中心軸30cm的斜上方30°

角以及斜下方30°角拍攝，每拍攝一次旋轉(zhuǎn)角度小于等于18°，所得圖像應(yīng)連續(xù)且有重疊，

每一方位拍攝至少20張多視角圖像。

c)建立新文件夾，以存儲拍攝的多視角果實圖像，具體參照6.2中重建執(zhí)行流程。

5.4預(yù)處理

5.4.1背景預(yù)處理

按照5.3拍攝得到的多視角圖片示例參見圖2。用OpenCV庫中的K-均值聚類或分水嶺算法預(yù)處理果實

圖像背景，最終以離散背景點少、果實邊緣完整、基本無陰影、除去速度較快、保留果實特征信息為原

則判定處理效果。

圖2規(guī)范采集的多視角圖像示例（部分數(shù)據(jù)）

5.4.2圖像預(yù)處理

3

DB6111T/175—2021

對原始圖像處理，應(yīng)避免調(diào)整大小、旋轉(zhuǎn)或變換幾何形狀。以便后續(xù)通過數(shù)字化建模特征提取，特

征匹配，幾何驗證，增量式重建以及稠密化重建，正確得到點云。

6果實三維重建

6.1果實表面重建規(guī)范

6.1.1生成稀疏場景圖

生成方法

采取具有迭代重構(gòu)分量的順序處理管道——增量式SFM生成稀疏場景圖。

特征提取

使用SIFT算法檢查每個像素是否代表一個特征，提取同一場景在不同角度下的圖像信息。輸入對象

是拍攝的圖像，輸出是一系列的特征點，如圖3所示。提取方法采用以下三步：

a)首先使用高斯濾波技術(shù)(GaussianBlur)來降低圖像中的噪點，除去紋理噪點等次要特征，保

留給定圖像輪廓主要特征。使用高斯差分技術(shù)(DifferenceofGaussian)，將去噪后圖像與原

圖像進行相減運算；

b)過濾特征點并精確定位。利用黑塞(Hessian)矩陣處理并確定某像素點是否為特征點，特征點

初步定位后，過濾除去不精確的特征點，完成特征點精確定位；

c)計算并分配特征點方向值。統(tǒng)計獲得特征點相鄰區(qū)域內(nèi)梯度方向直方圖，以直方圖中最大值作

為該特征點的主方向；根據(jù)經(jīng)驗值，大于主方向80%的作為該特征點的輔方向，輔方向能夠有

效增強匹配的魯棒性。

圖3相鄰果實圖像特征提取結(jié)果示例

4

DB6111T/175—2021

特征匹配

根據(jù)得到相鄰兩幅圖像的顯著特征點，利用特征點及其鄰域信息計算SIFT描述子，并用基

于歐氏距離的K-近鄰算法匹配兩張相鄰圖像的特征點，比較兩個描述子的相似程度判斷是否為同一個特

征。特征匹配的輸入是提取到的特征點，輸出是重疊的圖像及其相關(guān)聯(lián)的特征對應(yīng)關(guān)系，如圖4所示。

幾何驗證

采用SFM通過估計射影幾何映射圖像之間的特征點轉(zhuǎn)換來驗證可能重疊的圖像對。

a)選擇合適的初始化圖像對。本規(guī)程對初始化圖像對的選擇要求是：具有足夠多匹配點與足夠遠

攝像頭中心的一對圖像；

b)捆綁調(diào)整。使用五點法估計初始化圖像對的外參，根據(jù)軌跡三角化后提供的三維點，采用稀疏

光束平差法進行捆綁調(diào)整，最終確定需保留的三維點；

a)增量式迭代重建。其余多視角圖像序列將被依次輸入并生成三維點重復(fù)參與捆綁調(diào)整過程，直

到所有圖像輸入并優(yōu)化完成。最終得到如圖4的攝像頭位姿信息與稀疏三維點云場景圖，如圖

4(a)所示。

6.1.2果實表面稠密重建

增量式重建

輸入場景圖，估計配準圖像和重構(gòu)場景結(jié)構(gòu)的位姿。

a)利用Harris和Dog（Difference-of-Gaussians）算子在多張圖片上檢測、匹配特征點，生成、

初始化一組與突出圖像區(qū)域相關(guān)的稀疏面片patch集；

b)通過求解PnP問題將新圖像配準到稀疏模型；

c)使用特征對應(yīng)法對已配準的圖像中的點進行三角化(2D-3D對應(yīng))，并利用2D-3D對應(yīng)關(guān)系配準

新圖像；

d)使用將場景點投影到圖像空間的函數(shù)π和降低異常值權(quán)重的損失函數(shù)ρJT最小化重投影誤差，

并將攝像機參數(shù)Pc和點參數(shù)Xkt聯(lián)合非線性細化。

(a)稀疏重建的場景圖(b)稠密化重建點云

圖4果實點云重建結(jié)果圖

稠密化重建

采用Patch-Match方法估計密集點云，恢復(fù)果實表面稠密數(shù)據(jù)，如圖4(b)所示。

5

DB6111T/175—2021

6.2果實重建處理流程

6.2.1配置及處理要求

通過開源庫Colmap實現(xiàn)果實稀疏三維點云重建，Patch-Match實現(xiàn)稠密重建。配置和處理過程請參

見附錄A。

6.2.2準備操作

mkdircolmap_data//新建colmap_data文件夾,作為重建操作的主文件夾

cdcolmap_data//進入colmap_data目錄

mkdirimages//新建子文件夾images，存儲輸入的多視角圖片。

mkdirdatabase.db//新建子文件夾database.db,存儲輸出的特征點信息。

6.2.3稀疏重建

colmapfeature_extractor--database_pathdatabase.db--image_pathimages//執(zhí)行特

征提取命令

colmapexhaustive_matcher--database_pathdatabase.db//執(zhí)行特征點匹配命令

colmapmapper--image_pathimages--database_pathdatabase.db–output_pathsparse

//在colmap_data目錄下新建sparse文件夾，并存儲稀疏重建結(jié)果。

在sparse文件夾中生成三個bin文件，包括相機內(nèi)參：cameras.bin、相機位姿：images.bin

和稀疏3D點：points3D.bin。

6.2.4信息轉(zhuǎn)換

稀疏重建獲得相機位置照片，圖片信息，以及稀疏點云之后，用OpenVMS和colmap轉(zhuǎn)換得到sence.mvs

文件。

6.2.5生成稠密點云

DensifyPointCloudscene.mvs//執(zhí)行命令,使用OpenVMS生成深度圖從而得到稠密點云。

7精細度評估

7.1誤差來源

果實點云獲取過程中的誤差來源包括：

a)設(shè)備誤差：因采集設(shè)備自身性能限制產(chǎn)生；

b)環(huán)境誤差：因拍攝場景復(fù)雜多變，光照變化等影響產(chǎn)生；

c)系統(tǒng)誤差：因不同的軟件版本等產(chǎn)生的誤差；

d)計算誤差：因采用的算法不同產(chǎn)生的誤差；

e)近似誤差：因系統(tǒng)計算時得到的近似值產(chǎn)生的誤差；

f)模型誤差：實際問題抽象為數(shù)學(xué)模型本身含有的誤差；

g)其它誤差：因人為因素或偶然原因引起的其它誤差。

7.2評估指標(biāo)選擇

6

DB6111T/175—2021

通常包括整體指標(biāo)、局部指標(biāo)、量化指標(biāo)和非量化指標(biāo)。評估指標(biāo)選擇應(yīng)滿足GB/T8170-2008中的

下列要求：

a)整體指標(biāo)：評估真實果實和果實數(shù)字化三維模型的偏差，如整體幾何大小、目標(biāo)占比、模型點

數(shù)等；幾何特征間的幾何約束關(guān)系；目標(biāo)、相機之間的角度、距離、定位關(guān)系等；

b)局部指標(biāo)：評估曲面與真實果實對應(yīng)曲面的偏離程度；

c)量化指標(biāo)：評估點云模型點數(shù)值偏差；

d)非量化指標(biāo)：曲面屬性評估果實數(shù)字化三維模型表面的光順性，如曲面的高斯曲率分布、光照

效果、法向量和主曲率圖等。

7.3評估要求

果實數(shù)字化形成的三維模型精度評價應(yīng)遵循以下原則：

a)果實數(shù)字化三維模型的數(shù)據(jù)質(zhì)量應(yīng)滿足GB/T18784的要求；

b)果實數(shù)字化三維模型應(yīng)具備實用性?？筛鶕?jù)數(shù)字化果實模型，判斷果實成熟情況，得到果實詳

細的表型信息等；

c)果實數(shù)字化三維模型與真實果實的實際誤差不得超過4%；

d)果實數(shù)字化三維模型應(yīng)具有對真實果實細節(jié)表達能力，滿足真實果實表型生物量計算的精度需

求。

8三維模型發(fā)布和應(yīng)用

三維點云模型的發(fā)布與應(yīng)用應(yīng)滿足GB/T24734.1-2009中對三維模型的發(fā)布、應(yīng)用要求和GB/T

38368-2019中對三維模型的通用要求。

7

DB6111T/175—2021

AA

附錄A

（規(guī)范性附錄）

環(huán)境配置

A.1COLMAP的安裝配置

A.1.1運行環(huán)境

Ubuntu16.04。

A.1.2在GitHub上下載COLMAP源代碼

gitclone/colmap/colmap

A.1.3安裝Ubuntu存儲庫的依賴項

sudoapt-getinstallgit

sudoapt-getinstallcmake

sudoapt-getinstallbuild-essential

sudoapt-getinstalllibboost-program-options-dev

sudoapt-getinstalllibboost-filesystem-dev

sudoapt-getinstalllibboost-graph-dev

sudoapt-getinstalllibboost-regex-dev

sudoapt-getinstalllibboost-system-dev

sudoapt-getinstalllibboost-test-dev

sudoapt-getinstalllibeigen3-dev

sudoapt-getinstalllibsuitesparse-dev

sudoapt-getinstalllibfreeimage-dev

sudoapt-getinstalllibgoogle-glog-dev

sudoapt-getinstalllibgflags-dev

sudoapt-getinstalllibglew-dev

sudoapt-getinstallqtbase5-dev

sudoapt-getinstalllibqt5opengl5-dev

sudoapt-getinstalllibcgal-dev

A.1.4安裝CGALQt5軟件包

sudoapt-getinstalllibcgal-qt5-dev

A.1.5安裝CeresSolver

sudoapt-getinstalllibatlas-base-devlibsuitesparse-dev

gitclone/ceres-solver

cdceres-solver

gitcheckout$(gitdescribe--tags)#Checkoutthelatestrelease

8

DB6111T/175—2021

mkdirbuild

cdbuild

cmake..-DBUILD_TESTING=OFF-DBUILD_EXAMPLES=OFF

make-j

sudomakeinstall

A.1.6配置和編譯COLMAP

cdcolmap

gitcheckoutdev

mkdirbuild

cdbuild

cmake

make-j

sudomakeinstall

A.1.7運行COLMAP

colmap–h

colmapgui

A.2OpenMVS的安裝配置

A.2.1運行環(huán)境

Ubuntu16.04（參考網(wǎng)站）

A.2.2在GitHub上下載OpenMVS源代碼

gitclone/cdcseacave/openMVS.git

A.2.3環(huán)境配置

sudoapt-getupdate-qq&&sudoapt-getinstall-qq

sudoapt-get-yinstallgitcmakelibpng-devlibjpeg-devlibtiff-devlibglu1-mesa-dev

main_path='pwd'

gitclone/libeigen/eigen.git--branch3.2#Eigen(Required)

mkdireigen_build&&cdeigen_build