基于颜取样的苹果树枝干点云数据提取方法
2019年10月
农业机械学报
第50卷第10期
doi:10.6041/j.issn.1000⁃1298.2019.10.021
基于颜取样的苹果树枝干点云数据提取方法
郭彩玲1,2　刘　刚1,3
(1.中国农业大学现代精细农业系统集成研究教育部重点实验室，北京100083;2.唐山学院机电工程系，唐山063000;
3.中国农业大学农业农村部农业信息获取技术重点实验室，北京100083)
摘要：为了快速提取苹果树冠层枝干三维点云数据，以不同生长时期苹果树冠层彩点云数据为研究对象，提出了基于颜取样的苹果树枝干点云数据提取方法㊂首先，提出了苹果树冠层彩点云获取方法，利用Trimble TX8型地面三维激光扫描仪获取冠层点云数据，同轴全景摄像机获取彩全景图，采用贴图方
法着点云数据；然后，提取全景图像苹果树冠层区域R ㊁G ㊁B 颜分量信息，根据其分布规律建立枝干部分自适应分割阈值，并根据颜阈值删除冠层中非枝干部分彩点云数据；最后，在Geomagic 软件中经过封装 创建流形 编辑多边形 填充孔 光滑等一系列操作重建枝干三维模型㊂苹果树提取枝干点云数据实验结果表明，本文方法点云删除率为75.74%，相对于人工枝干点云数据提取，侧枝数量平均准确率为93.34%，效率提高200倍以上，大大缩短了冠层枝干三维重建时间㊂本研究成果可为有叶苹果树枝干动力学模型建立提供技术基础㊂关键词：苹果树；冠层；点云提取；颜取样；枝干中图分类号:TP391.41;S126
文献标识码:A
文章编号:1000⁃1298(2019)10⁃0189⁃08
收稿日期:20190522　修回日期:20190807
基金项目：国家重点研发计划项目(2017YFD0700503)和河北省高等学校科学技术研究项目(QN2017417)
作者简介：郭彩玲(1976 )，女，博士生，唐山学院副教授，主要从事自动化与信息化技术研究,E⁃mail:gcl@cau.edu 通信作者：刘刚(1966 )，男，教授，博士生导师，主要从事电子信息技术在农业中的应用研究,E⁃mail:pac@cau.edu
Point Cloud Extraction of Apple Tree Canopy Branch Based on Color Sampling
GUO Cailing 1,2　LIU Gang 1,3
(1.Key Laboratory of Modern Precision Agriculture System Integration Research ,Ministry of Education ,
China Agricultural University ,Beijing 100083,China
2.College of Electromechanical Engineering ,Tangshan University ,Tangshan 063000,China
3.Key Laboratory of Agricultural Information Acquisition Technology ,Ministry of Agriculture and Rural Affairs ,
China Agricultural University ,Beijing 100083,China )
Abstract :Construction of 3D model of tree is a long⁃term research hotspot in botany,computer graphics,and architecture.And tree canopy branch reconstruction is an important component in the canopy dynamics analysis.The emergence of terrestrial laser scanners has accelerated this reconstruction process.To quickly reconstruct the canopy branch model,it is necessary to delete a larg
e number of non⁃branched interference point clouds.Taking the canopy of apple tree in the maturity growth stage as the research object,a method of color⁃based sampling apple tree canopy trunk point cloud extraction was proposed.Firstly,the apple tree canopy color point cloud acquisition method was proposed.Trimble TX8and coaxial panoramic camera were selected as the data acquisition device to acquire the apple canopy color point cloud data.Point clouds and color panoramic photos were matched in Realworks software,and color point clouds were get.Then,the color information R ,G and B in the panoramic image was extracted.The adaptive segmentation threshold was established according to the distribution rules of R ,G and B in the panoramic image branch area.Color point cloud data of the non⁃branch part in the canopy was deleted according to the threshold.Finally,the 3D branch model was reconstructed in the Geomgic software.The process was followed by a series of operations,such as wrap,manifold creation,polygon editing,hole filling and smoothing.The experimental results of the apple tree branch extraction point cloud data showed that the point cloud deletion rate of this method was 75.74%.Compared with the
artificial branch point cloud data extraction,the side branch accuracy rate was93.34%,and the efficiency was improved by more than200times,shortening the three⁃dimensional reconstruction time of canopy branches.In this way,the results of this study can provide a basis for studying the canopy structure analysis and the establishment of the branching dynamics model of the leafy apple tree.
Key words:apple tree;canopy;point cloud extraction;color sampling;branch
0　引言
随着果园收获自动化研究的发展，振动收获被
认为是效率最高的收获方式，其原理[1-2]是在不伤害树体的基础上通过一定形式的机构振动果树树
干，使果树枝干以一定频率和振幅振动，果实受到振
动加速运动，当惯性力大于果树与枝干的结合力时,
果实脱落㊂该收获方式在核桃[3-4]㊁樱桃[5]㊁橄榄[6]㊁苹果[7-8]㊁杏[9]㊁冬枣[10]等果品收获中均有应用㊂
为了研究不同树枝在受迫振动下的运动和动态
特征，建立了树干主枝[11]㊁主干侧枝[12]㊁树干枝条㊁树叶嫩枝[13]等有限元模型，并建立了采收与频率㊁振幅变化的数学模型㊂因受实验条件的限制，树木冠层较高区域㊁不同树木冠层枝干的振动实验大多采用数学模型方式模拟，该模拟方式不能真实反映枝干空间信息㊂三维扫描仪为获取真实的树木冠层
内枝干空间分布提供了技术基础[14-16]，采用三维扫描仪获取苹果树冠层点云数据，进行苹果树枝干三维重建，即可对枝干进行较为准确的动力学分析㊂目前，根据苹果树冠层点云数据提取枝干信息主要有两种方法：提取枝干骨架[17-19]和采用圆拟合法或者管道模型进行枝干建模[20-21]㊂这两种方法均存在冠层叶片干扰问题，研究人员尝试树木结构重建前采用半监督的SVM[22]方法㊁基于空间索引的欧几里德簇[23]对树木点云进行枝叶分离，删除大量叶片点云数据；利用Geomagic Studio软件并采用逐层剔除树叶法[24]将树木点云分层，人工删除叶片部分点云数据；采用K⁃means聚类[25]方法将树干与地面点云分离；采用直方图统计分析方法[26]，通过经验阈值，以有效区分枝干和其他点；深度球截线法[27]实现了近景室内环境下提取深度图像中果实之外的点云数据，可实现枝干和叶片的提取㊂上述方法虽然可以实现树木点云数据枝叶分离，删除部分叶片点云数据，但是大多数的叶片点云还是需要人工处理㊂
为了能快速获取收获期苹果树冠层内枝干点云
信息，本文以苹果树冠层为研究对象，提出基于点云
颜取样的苹果树枝干重建方法，为振动收获枝干
识别和建立枝干动力学模型提供基础，也为树冠风中载荷[28]研究提供可行性方法㊂
1　材料与方法
1.1　仪器与材料
在中国农业大学苹果树采摘机器人实验基地果园(北京市昌平区南口镇辛力庄村)，开展苹果树冠层彩三维点云数据采集工作㊂该实验果园采用常规管理方式进行春季修剪，行间生草，灌水条件良好，苹果树高2.5~3.5m，株距2.5m，行距5m，行方向为东西方向㊂本文数据采集对象为随机选择的果园自然生长状态下树龄7a的自由纺锤形宫藤富士苹果树㊂实验中不考虑扫描环境中温湿度㊁大气压等参数的影响㊂
本文实验采用美国Trimble公司TX8型地面三维激光扫描仪(图1)进行苹果树冠层三维点云数据采集㊂扫描仪最大扫描范围为340m，测量速度为
106点/s，视场角为317°×360°，精度为0.5°，采用脉冲激光测距，测量精度小于0.5°,100m测距时，误差小于等于2mm㊂
全景摄像机镜头为EOS5D MarkⅢ搭载EF8~ 15mm f/4L USM鱼眼镜头，实验现场如图1所示㊂
图1　数据采集实验现场
Fig.1　Data acquisition experiment site
　1.2　彩点云数据获取方法
为了采集收获期的苹果树冠层三维点云数据进行冠层枝干三维重建，本文对彩三维点云数据获取展开研究㊂扫描仪内置彩摄像机获取彩点云数据时受自然环境下光线变化影响较大，且每站扫描结束后采集图像方式造成的图像不连续性，导致彩点云数据颜失真[29-30]且难以克服㊂
本文在采集彩图像时，假设纹理空间是连续的㊂实验前，调整扫描仪激光发射中心O1与摄像机
091农　业　机　械　学　报                　2019年
镜头中心O 2在同一位置㊂扫描仪支架放置到扫描仪扫描位置后，两台全景摄像机同时拍摄全景图像㊂
为了保证彩图像拼接成全景时无缝，两幅彩图像重合面积尽量不小于画面面积的1/4，以减少广角边缘的变形对画面的影响，因此，每拍摄一幅彩图像，摄像机旋转90°㊂每个扫描站获取的4幅彩图像通过Kolor Autopano Giga 4.0拼接成全景图像，图2为第1站获取的4幅彩图像拼接而成的全景图
㊂
图2　第1站全景图像
Fig.2　Panoramic picture of the first station
在Trimble 扫描仪自带软件Realworks 中实现点
云数据与全景图像配准㊁点云数据配准㊁去噪等预处理，实现冠层点云数据具备彩信息㊂
于2018年4㊁5㊁9月中连续3d 的下午获取彩点云数据，风速小于1.6m /s 时采集的数据作为预处理前的点云数据，图3为2018年9月获取的收获期苹果树冠层一个侧枝的彩点云数据
㊂
图3　彩点云数据
Fig.3　Color point cloud data
2　苹果树枝干点云数据提取方法
以苹果树冠层彩点云数据为研究对象，在RGB 彩空间，采用线剖图分析法[31-32]
分析全景
彩图像线剖面R ㊁G ㊁B 分布规律，并提取全景图中
枝干彩图像，通过求取R
G ㊁R
B 拟合直线斜率
寻自适应分割阈值，通过分割点云颜数据进而分割枝干点云坐标数据㊂基于颜取样的苹果树枝干点云数据提取流程如图4所示㊂
2.1　成熟期苹果树冠层彩点云颜线剖图分析
彩点云中的颜信息来源于全景彩图像对应位置的彩信息，包含有全景彩图像中枝干㊁果实和叶片的颜信息,
天空地面等颜信息不能投
图4　基于颜取样的苹果树枝干点云提取流程图Fig.4　Flowchart of apple tree branches point cloud
extraction method based on color sampling
射到苹果树冠层点云数据上㊂因此，分析彩点云中冠层R ㊁G ㊁B 颜信息时，可以用全景彩图像枝干㊁果实和叶片的彩信息代替㊂
图5为顺光拍摄时，全景图像中苹果树冠层部分原始彩图像，图5a 中黄线段分别表示全景彩图像中上㊁中㊁下剖面Ⅰ㊁Ⅱ㊁Ⅲ，图5b㊁5c㊁5d 分别是各个剖面的R ㊁G ㊁B 彩分量曲线图㊂图中可见，苹果图像的R 分量大于G 和B 分量，叶片部分G 分量大于R 和B 分量，枝干部分的R 分量大于其他分量㊂
图6为逆光拍摄时，全景图像中苹果树冠层的部分原始彩图像㊂图中可见，苹果图像的R 分量大于G 和B 分量，叶片部分G 分量大于R 和B 分量，枝干部分的R 分量和G 分量在图中上半部分和下半部分的表现不同㊂彩图像上半部分R 分量大于其他分量，中下部G 分量大于其他分量㊂
2.2　基于差法的枝干点云分割
按照彩点云贴图原理，图5和图6是不同站点获取的全景彩图像，在贴图时都会出现在冠层点云中㊂图5和图6数据分析表明，无论顺光或逆光拍摄的全景彩点云数据，枝干部分的R ㊁G ㊁B 变化幅度相近，叶片部分R 分量最大，果实部分G 分量最大，且总体上来说，顺光图像颜分量值大于逆光图像相应的数值㊂
提取枝干顺光和逆光图像中各颜分量值进行统计分析㊂由于冠层中绿分量是最多的，蓝分量相对较少，图7为R ㊁G ㊁B 颜分量相关关系，图
1
91第10期            郭彩玲等：基于颜取样的苹果树枝干点云数据提取方法
图5　顺光图像线剖图
Fig.5　Result of line profile map in frontlighting 
图6　逆光图像线剖图
Fig.6　Result of line profile map in backlighting
中红拟合线为G COLOR R COLOR拟合直线，蓝线为G COLOR B COLOR拟合直线㊂R COLOR㊁G COLOR㊁B COLOR分别表示红㊁绿和蓝颜分量的像素值，由图中可以看出，枝干各颜分量像素值之间呈强相关关系，决定
291农　业　机　械　学　报                　2019年
图7　R ㊁G ㊁B 颜分量相关关系
Fig.7　Correlation of color R ,G and B components
系数R 2分别为0.9837和0.9244㊂
分别以B ㊁R 系数为修正值改进2G R
B 差
算法，采用决定系数较高的G
R 拟合直线斜率作
为改进差分算法系数，即以动态阈值2G
1.1184B
0.8816R 对彩点云进行阈值分割，为了提取冠层枝干点云数据，提取彩点云数据的R ㊁G ㊁B 颜信息，按照自动阈值将颜信息分割，并对相应的点云
坐标信息进行分割，最后合成为彩点云数据，运行结果如图8所示
㊂
图8　枝干点云提取结果比较
Fig.8　Comparisons of branches point cloud extraction results
  由图8可知，相对于人工提取枝干效果，图8c㊁
8d 可以提取直径较小的侧枝③，且在遮挡比较严重的侧枝②和④也可以提取出部分点，图8c 中对于枝叶分离效果并不明显，产生的枝干之外的干扰点数量多于本文算法㊂
3　结果与分析
3.1　苹果树枝干提取可视化效果
苹果13拍照有马赛克
采用上述算法，在Windows 7(专业版)平台下，利用Matlab 开发果树冠层枝干点云提取程序㊂计
算机环境：处理器Intel(R)Xeon(R)CPU E52603
V4@1.70GHz(2个处理器)，内存64GB㊂以苹果树不同生长时期的带叶树木为例进行算法验证，提取效果如图9所示，可见枝干点云数据相对于树点云数据，枝干部分易于分辨㊂
3.2　苹果树枝干提取精度与准确性
为了验证本文算法的枝干点云提取精度和准确性，以不同生长时期苹果树(共9棵)为对象，获取其彩三维点云数据，以人工提取枝干点云数据为基准，对本文方法的准确率等进行比较分析,
结果如图9　不同生长时期提取枝干点云数据视觉化
Fig.9　Visualization of point cloud data in different growth stages
表1所示㊂
表1结果表明，人工逐层删除非枝干点云数据，删除率平均为76.08%，本文算法为75.74%，本文算法一次性删除点云的数量多于人工删除的数量，因为部分侧枝枝干点云数据由于叶片遮挡并未获取到，人工
删除点云时，可以根据拓扑关系保留部分点云数据㊂在冠层侧枝数量方面，相对于人工删除非枝干部分点云数据，本文算法的平均准确率为
93.34%，效率至少提高200倍，节省了冠层枝干三维重建时间㊂
表1中数据A 3为风速3.9m /s 时获取，由于风速超出了1.6m /s 的最佳扫描环境[33]，因此果树冠层中叶片出现分层，影响枝干点云数据的采集，无论人工删除还是本文算法删除，点云删除率都较低，且本文算法提取的枝干点云数据侧枝准确率仅为77.5%㊂数据表明，使用本文算法时，需考虑风速
影响㊂
表1中数据A 6为阴天时获取，扫描获取冠层彩点云数据，点云颜差别较小(图10a)，利用本文算法提取枝干点云数据时，点云删除率仅为
47.29%，且侧枝准确率小于平均准确率㊂因此，使用本文算法时，以室外天气晴天为宜㊂
3
91第10期            郭彩玲等：基于颜取样的苹果树枝干点云数据提取方法

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。