目标识别即从视觉系统获取的原始图像中, 把被识别目标从背景环境中分离出来。常用方法主要有阈值分割、K-means聚类算法、人工神经网络和K最近邻法(KNN)等^[2]。为了提高目标识别的准确度和效率, 往往会将多种算法相结合, 利用各自的优势来达到优化算法目的。

果实图像经过识别后, 要对其进行定位。常用的定位方法:1)利用质心定位; 2)根据果实目标的轴对称特征对果实进行空间定位; 3)采用类似包围盒的方法, 用略大于果实最大轮廓的球包围果实, 用球心和半径定位即可确定位置^[3]; 4)利用空间三维坐标定位。对视觉系统采集到的图像进行处理, 或者利用激光测距传感器、三维相机定位。

近年来, 国内外学者在果实识别和定位方法方面取得大量研究成果。Lü 等^[4]采用OTSU动态阈值分割方法实现了苹果果实的识别和提取; Arefi等^[5]将番茄图像在RGB颜色空间下, 利用R-G方法去除背景, 然后利用形态学特征定位番茄目标, 识别准确率可达96.36%; Gongal等^[6]将HIS颜色空间的直方图均衡化处理、RGB颜色空间的R-G-B和Otsu阈值分割以及Hough变换、Blob分析相结合, 实现了对苹果目标的识别; 宋健等^[7]采用双目视觉系统, 通过基于亮度的阈值分割算法和四连通像素标记法实现对采摘目标及其特征的提取, 并通过质心匹配、极线约束和视差梯度约束算法获得采摘目标的坐标信息, 但该方法的定位精度和实时性还有待提高; 宋家慧等^[8]同样利用双目视觉系统采集果实图像, 通过拉普拉斯变换、高斯滤波和Canny算法分别对图像进行平滑噪声, 加强处理和图像边缘分割, 从而实现目标识别; 姚立健等^[9]针对立体视觉系统中左右图像特征匹配问题, 将尺度不变特征变换(Scale-invariant feature transform, SIFT)匹配算法进行改进, 结合随机抽样一致算法(random sample consensus, RANSAC)剔除错误的匹配点, 相比传统的匹配算法, 该方法能够有效地提高匹配精度和实时性, 但精度会受摄像机与采集目标间距离的影响; 梁喜凤等^[10]针对成串番茄的采摘, 通过图像增强处理和多尺度形态学方法获得串连通区域, 并将该区域的最小外接矩形与其过质心的垂线之间的交点作为采摘参考点, 但该方法仅对于垂直向下的串番茄具有较好的识别效果; 王滨等^[11]针对猕猴桃采摘, 利用Kinect传感器分别获取深度图像和RGB图像, 然后依次将RGB图像映射到深度图像, 再将深度图像映射到Kinect传感器中的骨骼坐标系上, 从而获得以红外摄像机为中心的采摘目标的空间坐标, 经实验验证, 该方法的定位误差在2 mm以内, 但由于该方法使用的是Kinect传感器, 因此对采摘环境的光线要求比较高; 王政等^[12]针对双目视觉系统中果实彩色图像数据量大且噪声多、处理速度慢等问题, 通过采用Lab彩色空间聚类算法对视频图像进行量化, 能够有效地提高图像的处理速度, 从而为提高果实定位速度提供了一种方法; 李大华等^[13]针对复杂背景环境下果实难以识别的问题, 提出一种基于HSI颜色和纹理属性的图像分割算法, 此算法的识别率高, 适合于果实和背景相近的情况, 但在遮挡物存在的情况下, 分割效果不好; 郭凯敏等^[14]利用成熟西红柿果实与植株颜色特征的差异进行图像分割, 并在双目视觉系统中建立了目标定位误差分析机制, 可对系统定位的准确性做出判断; 郭艾侠等^[15]将SIFT与Harris两种算法相结合进行采摘点计算和匹配, 并利用平行双目立体视觉的三角测量法对特征点定位, 实现了对串型荔枝的识别和定位; 张起荣等^[16]利用樱桃上特征点的三维坐标重建樱桃球模型, 利用最小二乘法求出质心位置实现定位; Xiao等^[17]采用BP神经网络训练识别出图像中的果实, 并提取出目标轮廓, 然后对该轮廓进行圆拟合, 进而实现定位, 该算法具有较好的环境适应性; 王丹丹等^[18]利用K-mean聚类算法得到苹果轮廓, 然后通过去噪、平滑处理, 再利用转动惯量法提取果实目标的对称轴, 完成目标的二维定位, 此方法定位精度有较大提高, 但不适用于苹果目标对称性较差及果实颜色偏绿的情况。

上述研究成果虽然都实现了对果实图像的提取和定位, 但都仅适用于特定的果实和采摘环境, 而且算法的准确性和实时性还有待于进一步的提升。

由于采摘作业是在复杂的非结构化的自然环境下进行, 目标识别和定位效果往往会受到光照强度、振荡、果实重叠和存在遮挡物等诸多因素的影响^[19], 因此, 考虑到这些影响因素, 许多研究者进行大量的算法优化和改进工作。

针对光照的影响, 刘立群等^[20]提出了基于混合蛙跳算法的阈值分割算法, 实现了阈值寻优, 该算法对光照强度存在差异的果实图像均能实现较好的分割处理。项荣等^[21]提出了一种番茄采摘机器人夜间照明系统的评价方法, 以前景与背景类间方差和类内方差的比值作为图像可分割性评价的依据, 确定出采摘机器人夜间照明系统的最佳组合为荧光灯和对角布局的方式。熊俊涛等^[22]通过对荔枝图像进行颜色特征分析, 确定YIQ颜色模型适合夜间果实的识别, 并利用Otsu和模糊C均值聚类算法实现快速准确识别。Linker等^[23]利用黑暗条件下, 光源照射会使凸状苹果产生亮点的现象对果实进行识别, 该方法的优点在于可以识别出不同颜色的果实, 但缺点是无法识别出完整的果实目标区域。赵德安等^[24]提出了一种夜间识别苹果的方法。该方法要经过两次分割过程, 第1次是先将用白炽灯照明拍摄得到的图像进行色差分割; 第2次是提取出果实表面的光亮区域。两次分割之后可得到较为完全的图像。由于夜间采摘作业, 图像会有大量的噪声, 贾伟宽等^[25]用差影法对夜间图像进行了噪声分析, 用PSO-ICA算法对夜间图像进行降噪处理, 有效地降低了夜间作业各种噪声对图像的影响, 并得出白炽灯是最合适的人工光源的结论。在夜间进行采摘作业时, 为了提高工作效率, 林宏等^[26]通过引入导频追踪技术, 采用基于直接判决的快时变信道估计方法实现了夜间对果实的快速识别定位。但该方法需要依赖于照片条件, 而实际夜间照明条件难以控制, 因此还需要结合其他特征进行识别。姬伟等^[27]针对夜间苹果图像不清楚的问题, 对引导滤波进行了改进, 提出了一种具有边缘保持特性的Retinex算法, 很好地起到了图像增强的效果, 但算法的时间效率低。傅隆生等^[28]根据猕猴桃栽培方式的特点, 提出了以竖直向上的方式获取果实图像, 并以果萼为参考点实现了夜间对猕猴桃果实的识别, 但该方法对于多果挤压所导致的果萼不在果实图像中心区域, 以及果实间存在暗色三角形封闭区域时的识别会存在一定的误差。

针对果实振荡导致难以精确定位的问题, 李国利等^[29]将经过阈值分割、形态学处理和灰度填充后的图像序列进行叠加, 得到目标果实运动区域, 计算出振荡果实在该区域内的二维平衡坐标信息, 并结合超声传感器所获得的目标果实深度信息, 实现果实的识别和定位, 试验采摘成功率为86%。程辉等^[30]提出帧间差分法对自然环境下具有遮挡的扰动柑橘进行识别, 以及采用内切圆圆心对扰动柑橘进行定位的方法。

针对果实被遮挡和重叠的情况, 王丹丹等^[31]采用K-means和Ncut算法相结合的方法实现了无遮挡双果重叠的分割和未被遮挡苹果完整轮廓的提取。该方法与Hough变换重建算法相比具有较低的分割误差和较高的重合度。徐越等^[32]采用Snake模型与角点检测的方法实现了双果重叠的分割。上述两种方法都是针对双果重叠的情况, 而未实现对多果重叠的分割。Niu等^[33]用Shape Context算法对提取的被遮挡苹果轮廓进行匹配, 通过提取轮廓的对称轴实现苹果定位。Wang等^[34]针对Niu所提方法中关于匹配点选取不同会导致定位结果误差较大的不足进行了改进, 定位精度得到了提高。贾伟宽^[35]通过K-means聚类分割和神经网络训练的方法进行果实识别, 对遮挡和重叠果实具有较高的识别准确率, 但耗时较长。为了使采摘机器人实现成功避障, 马将等^[36]在视觉系统技术中引入DSP实时编码技术, 能准确获取果蔬位置和障碍物的位置, 提高采摘时避开障碍物的实时性, 准确率高达97%以上。胡婵莉等^[37]通过计算圆内点到边缘最小距离的方法确定局部极大值来确定圆心和半径, 从而实现对重叠苹果的识别和定位, 经实验验证, 该方法对于遮挡情况不是很严重且果实边缘较为完整的情况具有较好的使用效果。