果蔬采摘机器人系统的应用与发展
现代农业装备第42卷  第2期
2021年4月VOL.42  No.2 Apr.  2021
Modern Agricultural Equipment
2
果蔬采摘机器人系统的应用与发展
蒋先平1,2，徐 灿1 ，刘丰溥3 ，吴玉发1,2，薛坤鹏1,2
（1. 广东省现代农业装备研究所，广东 广州 510630；2. 广东弘科农业机械研究开发有限公司，广东 广州 510555；3.华南理工大学，广东 广州 510641）
摘 要：尽管果蔬采摘机器人技术发展迅速，但果蔬采摘机器人商业化的程度不高，很多仍然处于研发阶段。本文针对现有的果蔬采摘机器人系统进行了介绍，并分别从采摘机械臂、末端执行器、移动机构、视觉系统和算法等方面对国内外采摘机器人的发展现状进行论述，分析和讨论了果蔬采摘机器人现阶段面临的挑战和潜在的发展趋势。
关键词：采摘机器人；果蔬；发展现状；挑战；发展趋势
中图分类号：S232.7  文献标识码：A  文章编号：1673-2154（2021）02-0002-07
0 引言
随着国家乡村振兴战略的提出以及数字农业的快速发展，农业作为国民经济的基础产业，正在被互联网、大数据、人工智能等新科技进行重构和升级，人工智能已经成为农业发展的重要方向，农业机器人技术的研究成为现代农业装备发展最快的领域之一。果蔬采摘作业是果蔬生产链中最耗时、最费力的一个环节。采摘作业季节性强、劳动强度大、费用高，因此保证果实适时采收、降低收获作业费用是农业增收的重要途径。由于采摘作业的复杂性，采摘自动化程度依然很低，目前，国内果蔬采摘作业基本上都是人工进行，并且时间较为集中，其费用约占成本的50%~70%。随着人口的老龄化和农业劳动力的减少，劳动成本逐年提高，机器人代替人工的智能采摘将成为果蔬采摘的发展趋势。
1 采摘机器人系统发展现状分析
果蔬的生长环境存在差异，主要有果园环境、温室环境、室内种植环境、露天种植环境等，如图1所示。水果生长在不同的生产环境中，光照条件、肥料供给情况有所不同，不同的水果也会采用不同的种植方式，果蔬采摘机器人在这些环境中工作也会有很多变化。针对采摘作业的这些特点，多种采
收稿日期：2021-01-26
基金项目：广东省乡村振兴战略专项（粤财农 [2019]73号）；广东弘科农业机械研究开发有限公司“广州市院士专家工作站”项目（h2020-03-01）。
作者简介：蒋先平（1975—），男，高级工程师，主要从事现代农业设施及装备的科研开发和推广应用工作。
E-mail:***************
通讯作者：刘丰溥（1997-），男，在读硕士研究生，主要研究方向为机器人技术及应用。E-mail:****************露天西瓜种植技术
图1 四种生产环境中出现的作物
3
第2期图2 关节型采摘机器人
图3 笛卡尔型采摘机器人
摘机器人被研发。
采摘机器人是基于多学科多领域技术融合的智能农业装备，主要由采摘机械臂、末端执行器、移动机构、视觉系统和算法等组成，具体涉及路径规划、机械设计、自动导航、视觉信息获取和视觉识别算法等技术。1.1 采摘机械臂
采摘用机械臂与工业机械臂相比负载量较小，精度要求相对较低，直径较小，目前农业用机械臂还没有成熟的产品，采摘机械臂的分类众多，主要可分为多关节机械臂、直角坐标机械臂、球坐标机械臂、极坐标机械臂和柱坐标机械臂等。多轴机械臂有多个自由度，通常有3~6个自由度，自由度越多，机械臂到达目标位置的构型越多，会相应增大硬件成本。机械臂的长度根据采摘范围确定，也可以结合可伸缩式移动机构来实现。
关节型采摘机器人具有良好的灵活性和高效率的工作模式，被广泛应用于采摘作业。东京大学HIROAKI 等[1]于2016年开发的番茄采摘机器人，由电动式全方位底盘、UR5通用6关节机械臂、Sony
的PS4双目立体相机以及夹持扭转式2自由度末端执行器组成，如图2所示，可实现自然光下温室浅通道内的采摘作业，经过优化使每果的识别采摘周期从85 s 下降到23 s，但作业中会出现夹持失败、
花萼受损和夹持多果而采摘失败的现象。
笛卡尔型采摘机器人在特定的场合也有着较高的采摘效率和较好的稳定性，但笛卡尔机械臂灵活性不足且工作空间的限制较大，这也导致了采摘效
率不高的问题。西北农林科技大学崔永杰教授团队研制的猕猴桃采摘机器人，一代机主要由移动平台、机器视觉、三自由度机械臂和具有两个手指的仿生末端执行器组成。该机械臂的采摘成功率为90%，采摘猕猴桃平均耗时为20 s/个，其实物如图3
所示。
路径规划是机器人运动控制的基础研究领域，决定着其作业效率和运动性能。采摘机器人的路径规划是指综合考虑采摘需求和机器人性能，在关节空间或笛卡尔空间内得出指导机器人末端执行器运动并在运动中避免与障碍物发生碰撞的路径。合理的路径规划算法可以大大提高采摘的效率，国内外学者对此展开了深入的研究。多自由度机械臂的运动规划算法是采摘机器人实现高效、安全采摘的关键因素之一。机械臂在运动过程中的运动稳定性直接影响采摘过程中避障路径的准确性。张志勇等[2]设计了一种机器人手臂控制器来解决苹果采摘机器人的机器人手臂控制的稳定性问题。当机器人手臂进行空移运动时，采用基于正弦和斜坡函数的控制策略；而当机器人靠近苹果时，采用线性模型的二次最优控制策略。仿真结果表明，使用该控制器的机械臂可以稳定、平滑地到达目标果实附近，且时间小于等于2 s。华南理工大学张勤等[3]提出了一种果蔬模糊采摘方法，根据果蔬生长特点确定机械臂的大致姿态，并用于采摘目标，可以大大提高采摘效率。
大量的二维运动规划算法同时被应用于机械臂的运动规划算法，比如人工势场法[4]、蚁算法[5]等。刘灵敏等[6]提出了一种基于决策系统的采摘多路径的优化方法，可以完善果蔬采摘机器人自主决策采摘的功能。其结合计算机视觉、模糊决策等方法，
蒋先平 等：果蔬采摘机器人系统的应用与发展
4现代农业装备2021年
利用小波神经网络进行多次训练，实现了多目标的高精度预测，并在仿真和试验中与多种算法如蚁算法、遗传算法比较，其效率有大幅提升。
由于农业条件存在多样、复杂的特点，目前国内外关于机械臂采摘果实的路径规划算法研究还停留在初步阶段，都还在规范的农业条件中如设施农业的条件下实现，真正能投入生产的应用极少，效率低下，适应性不高。另外，针对在同一空间范围内多个采摘目标的情况，以及注重机械臂的稳定性等问题的实际研究较少。针对采摘机械臂的路径规划问题，还存在着许多困难，如何在保证采摘安全的前提下高效、多目标、稳定地采摘，是在采摘机械臂的路径规划设计中应该考虑的问题。
1.2 末端执行器
末端执行器是机械臂采摘果实时与果实接触的机构，其性能的好坏不仅影响到采摘果实的效率，还影响到采摘果实的质量，而果实的质量直接影响到采摘作业的经济价值。因此，国内外学者对采摘机器人的末端执行器进行了深入和详细的研究，并研发了吸盘式、欠驱动式、两指式等多种末端执行器，用于机器人的采摘工作。
根据果蔬的采摘特点设计不同的末端执行器，日本久保田株式会社在柑橘采摘任务中，针对其采摘环
境开发了一套合适的末端执行器，此套末端执行器在工作时，利用吸盘吸取目标，并将目标水果吸入罩子内，然后通过剪切操作将柑橘的果梗切断[7]，从而完成果实的采摘任务；华南农业大学陈燕等[8]设计了一款用于剪切串状荔枝的末端执行器。该执行器有剪夹一体的机械结构，应对荔枝等成簇状生长的树上果实，并对末端执行器的结构进行了动力学等相关分析，使得其不仅具有足够的剪切能力，还有足够的夹持负担能力，能够负担较重的荔枝果实串。在第一代机构实验中，平均的作业时间为2 s，并且在果实果梗直径5 mm以下的情况下，采摘成功率均达到了100%；江苏大学尹建军等[9]设计了一款葡萄采摘末端执行器。该末端执行器采用欠驱动的设计，并有两指的结构，根据欠驱动的原理可以抓持果实并旋转，利用剪切机构将果实的果梗剪短，采用此种协同工作模式可以大大提高采摘成功率。通过试验可知，在采摘试验中，对50串葡萄进行采摘动作，成功率可达100%，果实损伤率仅为5.2%，每次采摘动作时间为29.4 s。综合国内外的末端执行器发展情况，采摘机器人采摘的目标对象大多是类似葡萄、柑橘、番茄等体积较小的果实，并且这些果实都有脆弱易损的特点，在通过末端执行器采摘时会有对果实造成损伤的风险，从而造成经济损失；另外，对于柚子等大果的研究较少，此类果实难以用普通的末端执行器采摘成功。此外，无论是吸盘式的末端执行器，还是两指式的末端执行器，或是其他类别，由于其设计机构存在体积较大的问题，无法伸入果实或枝条密集的区域采摘单果，或在采摘的过程中难以保证不损伤其他果实等。广东省现代农业装备研究所和华南理工大学联合开发了番茄串采收机械手末端，此末端执行器尺寸小，单电机驱动夹剪同时能够矫正果梗姿
态，有利于机器人采摘。如图4所示。
图4 番茄串采收机械手末端
1.3 移动机构
移动机构是整个采摘机器人的载体，其决定了采摘机器人的移动能力和负载能力，国内外学者对此进行了深入的研究。移动机构可分为软件部分和硬件部分。硬件部分大多参考现有车辆的运动底盘，结合采摘的实际情况，多种轮式、履带式和轨道式的移动机构被开发；软件部分需要借助传感器获取外部信息，如视觉传感器、激光传感器和热成像传感器等。根据获取的外部信息，规划自动导航算法，实现自主导航运动。在国外，荷兰瓦戈宁根大学[10]设计了一款甜椒采摘机器人，可以在商业温室地面轨道上进行全自动化采摘作业。其视觉传感器采用
5
第2期图5 番茄采摘机器人（A型）与双目立体摄像头
RGB 相机和TOF 相机，还设计了两款模块化末端执行器，可以根据不同的采摘任务进行切换，在试验中，单个果实的采摘周期为94 s。在国内，华南农业大学熊俊涛等[11]研发了多种水果采摘机器人的轮式移动机构，针对荔枝、柑橘等果实的实际生长场景，采用双目视觉系统，完善信息获取与信息处
理，并对整个采摘机器人进行了系统的优化和改进，能够同时对单一果实或者成串、成簇果实进行自动采摘。在具体的采摘试验中，荔枝的采摘成功率为80%，柑橘的采摘成功率可达到85%，且果实的单次采摘平均耗时约为28 s。
综合国内外的采摘机器人的移动机构研究现状，目前的移动机构主要以设施农业为主要发展方向，当地面较为平坦或者可铺设合理的轨道时，移动机构可以有较好的运动效果。另外，应对于山地的采摘机器人研究较少，且其移动机构的研究也相应较少。例如我国的柚子农作物大都种植于丘陵地区，山地地形复杂，地势陡峭，且可供采摘机器人运动通过的空间狭小，现在的移动机构难以适应此类问题。即便是履带式的移动机构，也需要进一步优化和提升，使其具有更加完善的通过能力和爬坡能力，进而完成运动和运输果实的任务。
移动方式目前一般采用定步长移动，也就是移动一定距离停止，采摘再行驶的方式，还有就是边走边采的方式，主要根据果蔬生产特点确定采摘方式。
1.4 视觉系统
视觉系统是采摘机器人获取环境信息的关键部分，涉及到对周围环境的获取和目标果实的识别和定位，也是完成采摘任务的前提条件。性能稳定且高效的采摘机器人视觉识别系统，可以准确快速地检测识别到符合特征的目标果实，在获取目标果实的三维空间位置信息后，经过信息处理与计算，可以
通过采摘机械臂将末端执行器送至目标果实处，进行高效精确地采摘作业。国内外很多学者都针对视觉系统展开了大量的研究，并取得了较好的成果。根据采摘机器人的视觉系统的硬件设备，可将其分类为单目识别系统、双目识别系统与混合识别系统；按照图像识别的方式分类，可将其分为传统的识别方式与基于机器学习的识别方式。
单目只能识别目标水果的颜、形状和纹理特征。虽然简单、成本低，但是只能提供二维信息，而且光线的变化会影响成像结果。D’ESNON 等[12]使用一个B/W 相机检测水果的几何特征。EDAN 等[13]开发了一种多单目摄像机系统，它由两个B/W CCD 摄像机组成，用于检测和定位田间西瓜。双目立体视觉利用颜、形状和纹理特征识别水果，但需要对传感器进行标定，图像匹配非常耗时，而且在测量中，有一定的误差。SUN 等[14]设计了双目立体视觉方案，将两个摄像机间隔一定距离并形成一定角度，用两幅图像匹配同一场景。通过三角剖分得到水果对象的三维地图。XIANG 等[15]还研究了一种基于双目立体相机获取深度图的聚类番茄识别方法。在采集距离为300~500 mm 时，簇状番茄的识别准确率为87.9%。广东省现代农业装备研究所蒋先平团队与华南理工大学张勤团队融合人工智能和多传感器技术，共同研发了基于两套移动平台和双目视觉系统的番茄采摘机器人，采用基于深度学习的视觉算法，引导机械手臂完成识别、定位、抓取、剪切、放置的任务，是一个高度协同的自动化系统，采摘成功率可达90%以上，研制的两款采摘机器人（A 型、B 型）目前已进入优化与示范推广阶段。如图5和图6
所示。
1.机械手（6自由度）；
2.末端执行器；
3.双目立体摄像头（固定在升降平台上）；
4.串番茄；
5.移动平台（轨道式）
蒋先平 等：果蔬采摘机器人系统的应用与发展
6
现代农业装备
2021年
图6 番茄采摘机器人（B型）与双目立体摄像头1.机械手（7自由度）；
2.双目立体摄像头（固定在机械臂末端）；
3.末端执行器；
4.移动平台（轮式）
三维激光利用三维重建方法对目标果实进行定位，在光照变化的情况下获取水果的三维位置，但是需要处理复杂、庞大的图像数据。热成像利用目标水果与背景红外辐射的差异来识别目标水果，可用于不同光照条件下的目标果实检测，特别是在夜间效果更佳。由于叶片的物理结构和特性，比果实积累热量少，辐射速度快，有果实的植物冠层温度分布可用于果实检测[16]。BULANON 等[17]也使用热红外摄像机在白天和晚上检测柑橘。利用图像处理技术，根据热图中果实的最大温差，成功地分割出果实。BULANON 等
[18]
在前人研究的基础上，提出
了一种改进的结合热图像和可见光图像的水果检测方法。光谱成像利用不可见波长提取的特征识别目标水果，虽然可以检测绿或重叠的水果，但是成像处理非常耗时，传感器成本高。1.5 视觉识别算法
识别算法是影响视觉识别系统性能的关键因素。大量的文献报道了各种各样的识别算法，都已经被用于机器人收获水果。这些识别方法可以分为无监督分类、监督分类。
无监督分类中常用的是K-means 聚类，它是一种广泛使用的无监督分类方法。它根据输入数据集
之间的固有距离将它们分割成不同的簇，并使物体和各自簇中心之间的距离最小 [19]。WACHS 等[20]使用热图像和彩图像检测青苹果。采用基于L* a* b 颜空间的“a”和“b”通道的K-means 聚类[21]对两幅图像中的苹果进行分割。然后进行形态学操作和CHT 去除噪声，提高分类精度。
监督分类中，贝叶斯分类是一种基于贝叶斯定理的概率分类器，它根据先验知识和概率分布进行统计解释。贝叶斯分类器规则基于贝叶斯最小化风险、最小化概率误差或最大化后验概率[22]。CHINCHULUUN 等[23]分别基于调、饱和度、值(HSV)彩空间的‘S’和‘I’成分以及亮度(Y)和度(IQ) (YIQ)彩空间的‘S’和‘I’成分，使用
贝叶斯分类器进行橘类图像分割。KNN 聚类是一种监督学习方法，广泛应用于分类和回归研究中。利
用已有的训练样本将未知的特征向量分类为K 个最近邻中具有最常见属性的类。对K 个最近邻的多数投票用于分类[24]。KURTULMUS 等[25]利用KNN 聚类分类对不同水果进行分类。LINKER 等[26]使用KNN 分类器对青苹果进行分类。通过基于颜和纹理信息的种子区域检测和生长区域检测，进一步改进了苹果表面检测结果，然后将每个区域的轮廓分割成圆弧，从而可以识别出苹果。
基于颜、形状等特征的传统目标检测方法简单但精度低、鲁棒性差、速度慢；机器深度学习方法复杂，需要大量数据支持，但其精度高、鲁棒性好。基于机器学习的目标检测方法可以分为两类：One-stage 类型的目标检测算法和Two-stage 的目标检测算法，并且随着近年来计算机硬件与GPU 的快速发展，涌现了大批性能优异的目标检测算法，例如R-CNN、SSD、YOLO 等[27]目标检测算法。其中RetinaNet、YOLOv3 属于 One-Stage 的目标检测算法；Faster R-CNN、R-FCN、 FPN、Mask R-CNN 属于 Two-Stage 的目标检测算法[28,29]，这些算法可大幅提高视觉识别的鲁棒性和准确性。广东省现代农业装备研究所与华南理工大学张勤等分析了传统识别方法和基于深度神经网络的方法，结合两者之间优势，提出了基于YOLOv3的番茄串识别定位方法。该方法需要先收集大量番茄串图片数据，构建番茄串的YOLOv3模型；通过训练好的模型对番茄串和其果梗

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。