一种适用于串型水果的采摘方法技术

本发明专利技术提供一种适用于串型水果的采摘方法，该方法首先通过单目相机与双目相机的配合对母枝实现预定位，得到母枝的预定位图像及预定位几何中心点；然后通过双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点，再利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；然后利用空气动力进行主动抗扰；最终确定采摘机器人的进给终点与进给路径，实现采摘。该方法能快速、精确的实现对串型水果母枝的剪切，实现完全智能化采摘，从而有效提高采摘的工作效率及串型水果的收率，降低采摘作业的能耗、减少采摘劳动力及成本。减少采摘劳动力及成本。减少采摘劳动力及成本。

【技术实现步骤摘要】
一种适用于串型水果的采摘方法


[0001]本专利技术涉及水果智能采摘
，具体涉及一种适用于串型水果的采摘方法。

技术介绍

[0002]荔枝、龙眼、葡萄等串型水果广泛分布于我国的西南部、南部和东南部，并且，荔枝和龙眼两种串型水果与香蕉、菠萝一同号称“南国四大果品”，是我国水果产业的重要经济支柱。对于串型水果的采摘，目前主要依赖于人工，但人工采摘一是采摘劳动强度大、采摘费用高，浪费大量的人力物力；二是人工采摘效率低、耗时长、成本高。
[0003]随着科技的进步，机械自动化、智能化已广泛应用于各行各业；对于水果智能采摘领域，采摘机器人的研究和应用越来越多，有效的解放了人工劳动力、降低人力成本，同时提高了采摘效率、节约了采摘时间。采摘串型水果的过程中，首先通过人工确定果串的母枝，然后在采用采摘机器人进行采摘、剪断母枝，实现采摘；从母枝进行果串的剪断确保了果串的完整性、避免其散成若干小串或颗粒，从而有利于储存、运输以及保证果串的美观性，确保其经济价值。但是，由于串型水果自身生长特点，果串整体极易随机分布生长，从而造成果串识别难、母枝识别定位难、无法准确找到整个串型水果母枝的问题；同时，由于采摘过程中伴随着风、光照、露水等外部环境，从而导致母枝的位置在采摘过程中会发生变化或被遮挡，进而导致采摘机器人采摘失败或错错剪、漏剪而损伤果实，造成采摘效率低下、拉长采摘时间段以及提高采摘成本。
[0004]因此，若要实现对串型水果的采摘，需要将对视觉的感知系统、对干扰识别和主动抗扰系统以及机械手运动轨迹分析系统协同配合建模，从而实现精确剪切串型水果的母枝，避免错剪、漏剪，提高采摘效率以及降低采摘成本，实现串型水果的采摘智能化。

技术实现思路

[0005]针对以上现有技术存在的问题，本专利技术的目的在于提供一种适用于串型水果的采摘方法，以解决上述
技术介绍
中所涉及的问题。
[0006]本专利技术的目的通过以下技术方案实现：
[0007]一种适用于串型水果的采摘方法，其特征在于：
[0008]S100、首先通过单目相机与双目相机配合实现对母枝的预定位，其具体步骤为：
[0009]S101：采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；
[0010]S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I1；
[0011]S103、重复步骤S101～S102，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I2和彩色图像I3；
[0012]S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I1中随机分布的果实所属的果串类型；
[0013]S105、根据步骤S104中所确定的果串类型进行母枝确定：
[0014]对于单果实果串，其与果实相连的树枝即为母枝；
[0015]对于双果实果串与多果实果串，首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I1与彩色图像I2进行融合分析，通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝；
[0016]S106、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；
[0017]S200、采摘过程中，利用步骤S100中的方法，采用双目视觉获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；
[0018]S300、根据步骤S200中确定的母枝受干扰类型，利用空气动力进行主动抗扰；
[0019]S400、基于步骤S300中的主动抗扰方法，确定采摘机器人机械手臂的进给终点；根据进给终点，确定采摘机器人机械手臂的进给路径，进行串型水果的采摘。
[0020]采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。
[0021]作进一步优化，所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；
[0022]具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。
[0023]作进一步优化，所述步骤S105中通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。
[0024]作进一步优化，所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：
[0025]首先，通过双目CCD相机左图像P1的特征匹配点(x，y)构建匹配窗口，同时右图像P2的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：
[0026][0027]式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W
p
表示以待匹配点坐标为中心的匹配窗口；P2(x+m,y+n)表示右图像待匹配点的灰度值；表示右图像匹配窗口的灰度均值；P1(x,y)表示左图像特征匹配点的灰度值；表示左图像匹配窗口的灰度均值；
[0028]式中，F(m,n)的取值范围为[
‑
1,1]；
[0029]当F(m,n)＝
‑
1时，左图像的特征匹配点与右图像的待匹配点完全不相关；
[0030]当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。
[0031]优选的，所述匹配窗口通常为3*3的匹配窗口。
[0032]作进一步优化，所述左图像与右图像在进行特征匹配前进行极线校正，从而使左图像与右图像的极线处于水平方向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于串型水果的采摘方法，其特征在于：S100、首先通过单目相机与双目相机配合实现对母枝的预定位，其具体步骤为：S101：采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I1；S103、重复步骤S101～S102，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I2和彩色图像I3；S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I1中随机分布的果实所属的果串类型；S105、根据步骤S104中所确定的果串类型进行母枝确定：对于单果实果串，其与果实相连的树枝即为母枝；对于双果实果串与多果实果串，首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I1与彩色图像I2进行融合分析，通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝；S106、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；S200、采摘过程中，利用步骤S100中的方法，采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；S300、根据步骤S200中确定的母枝受干扰类型，利用空气动力进行主动抗扰；S400、基于步骤S300中的主动抗扰方法，确定采摘机器人机械手臂的进给终点；根据进给终点，确定采摘机器人机械手臂的进给路径，进行串型水果的采摘。2.根据权利要求1所述的一种适用于串型水果的采摘方法，其特征在于：所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。3.根据权利要求1或2任一项所述的一种适用于串型水果的采摘方法，其特征在于：所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：首先，通过双目CCD相机左图像P1的特征匹配点(x，y)构建匹配窗口，同时右图像P2的待
匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W
p
表示以待匹配点坐标为中心的匹配窗口；P2(x+m,y+n)表示右图像待匹配点的灰度值；表示右图像匹配窗口的灰度均值；P1(x,y)表示左图像特征匹配点的灰度值；表示左图像匹配窗口的灰度均值；式中，F(m,n)的取值范围为[
‑
1,1]；当F(m,n)＝
‑
1时，左图像的特征匹配点与右图像的待匹配点完全不相关；当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为...

【专利技术属性】
技术研发人员：姚昱岑，曹川川，王维勋，郑讯佳，
申请(专利权)人：重庆文理学院，
类型：发明
国别省市：