机器人防损伤采摘葡萄的自动定位方法技术

本发明专利技术公开了一种机器人防损伤采摘葡萄的自动定位方法，包括以下步骤：左右摄像机对葡萄进行图像采集，得到的葡萄珠圆心和摘切点的平面坐标，通过计算得到葡萄珠圆心和摘切点的三维空间坐标。求解葡萄珠圆心的三维空间坐标到葡萄簇中心轴Y的距离，在每个步长内，对距离Y轴最远的葡萄珠轮廓进行拟合，得到最大的葡萄簇截面轮廓，将葡萄簇截面轮廓绕Y轴旋转360°，得到葡萄簇三维空间域，在躲避葡萄簇三维空间域的前提下，机器人的机械手由当前位置运动至所述摘切点的三维空间坐标对应位置，进行采摘。该方法可以精确定位摘切点，并且防止机械手在采摘过程中损伤葡萄珠。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，特别是涉及一种机器人防损伤采摘葡萄的自动定位 方法。
技术介绍
葡萄营养价值非常高，被贮存一段时间后就会发出酒味，所以，通常用来酿酒。在 酿造葡萄酒的过程中，最耗费时间和人力的便是葡萄的采摘，因此，研宄自动化程度高的采 摘葡萄机器人对葡萄酒酿造工业至关重要。目前，许多研宄方法聚焦在葡萄的图像分割、颗粒个数统计和产量预估等方面，而 针对定位葡萄切割点和葡萄簇的三维空间域的方法较少。传统方法利用点云反求葡萄簇三 维空间域，点云的立体匹配需要花费大量时间。另外，葡萄簇轮廓的不规则和葡萄生长环境 的干扰会使葡萄采摘机器人难以精确定位葡萄的摘切点。并且，在采摘过程中，由于葡萄皮 薄肉嫩，机器人的机械手很容易与葡萄珠发生碰撞而使其受到机械损伤。因此，研宄一种可 以使具有重要意义。
技术实现思路
本专利技术的目的是提供一种。 因此，本专利技术的技术方案为： 一种，包括以下步骤： (1)对机器人的左右摄像机进行标定，然后通过所述左右摄像机采集葡萄的图像， 得到RGB彩色图像A和B，分别对所述图像A和B进行校正后，得到图像C和D; (2)将所述图像C转化为颜色空间图像，提取所述颜色空间图像的分量，得到分量 图，对所述分量图进行中值滤波，得到图像E; (3)对所述图像E进行阈值分割，得到二值图像，对所述二值图像进行形态学腐蚀 和膨胀运算，得到形态学去噪后的图像G ; ⑷提取所述图像G的最大连通区域，求解所述最大连通区域的重心（x。，y。)、轮廓 极值点和轮廓最大左右长度，确定葡萄果梗感兴趣矩形区域，对所述葡萄果梗感兴趣矩形 区域进行边缘提取，得到葡萄果梗感兴趣矩形区域边缘的二值图像，对所述葡萄果梗感兴 趣矩形区域边缘的二值图像进行霍夫直线检测，得到线段，求解所述最大连通区域的重心 到所述线段的距离D m，其中m= 1，2,3……N，确定距离最小的所述线段的中点为摘切点平 面坐标（xu y); (5)根据步骤（4)中所述的最大连通区域的重心、轮廓极值点和轮廓最大左右长 度，得到葡萄簇轮廓外接矩形区域，对所述葡萄簇轮廓外接矩形区域进行边缘提取，得到葡 萄簇轮廓外接矩形区域边缘的二值图像，对所述葡萄簇轮廓外接矩形区域边缘的二值图像 进行霍夫圆检测，得到多个葡萄珠圆心平面坐标（ Xc;lm，y^)和半径，其中m = 1，2, 3…… N； (6)对图像C中所述摘切点平面坐标（Xl，yi)在图像D中进行立体匹配，得到所述 图像D中的摘切点平面坐标（^，yj及所述图像C和图像D中摘切点的视差d。，将所述摘切 点平面坐标（Xl，yi)和（\，yj转换为三维空间坐标（X。，^^。）；对图像C中所述葡萄珠圆 心平面坐标在图像D中进行立体匹配，得到所述图像D中的葡萄珠圆心平面坐 标（x^y。?)及所述图像C和图像D中葡萄珠圆心的视差d m，将所述葡萄珠圆心平面坐标 (xclm，yclm)和（xcrm，y crm)转换为三维空间坐标（xm，ym，zm)，其中 m = 1，2, 3......N ; (7)根据步骤（5)中所述葡萄珠圆心的三维空间坐标的对应位置，求解全部所述 葡萄珠圆心的三维空间坐标（x m，ym，zm)到葡萄簇中心轴Y轴的距离Lm，根据步骤（5)中所 述葡萄珠半径定葡萄珠直径，以葡萄珠直径最大值的1. 5倍为步长，在每个所述步长 内，对距离Y轴最远的葡萄珠轮廓进行拟合，得到最大的葡萄簇截面轮廓，将所述葡萄簇截 面轮廓绕Y轴旋转360°，得到葡萄簇三维空间域； (8)在躲避步骤（7)中所述葡萄簇三维空间域的前提下，机器人的机械手由当前 位置运动至所述摘切点的三维空间坐标对应位置，进行采摘。 优选的是，在步骤（2)中如将所述图像C转化为HSI颜色空间图像，则提取所述 HSI颜色空间图像的H分量；如将所述图像C转化为YCbCr颜色空间图像，则提取所述YCbCr 颜色空间图像的Cr分量。 优选的是，运用大津法对步骤（3)中所述图像E进行阈值分割。 优选的是，通过公式（1)求解步骤（4)中所述的最大连通区域的重心： (1) 式中，（X。，y。）是所述最大连通区域的重心平面坐标，f(x，y)是步骤（3)中所述二 值图像中的点（x，y)的像素值。 优选的是，步骤（4)中所述葡萄果梗感兴趣矩形区域的长度为0. 6L_，高度H为 〇.5|yc;-yt|，中心坐标为（x。，yt_0.5H)，其中，L max为轮廓最大左右长度，yt是葡萄簇轮廓的 最高点的Y轴坐标。 优选的是，在步骤（4)和（5)中，利用Canny算子进行边缘提取。 优选的是，通过公式（2)求解步骤（4)中所述最大连通区域的重心到所述线段的 距离Dm:(2) 式中，Pml(xml, yml)和Pm2(xm2, ym2) (m= 1，2, 3......N)为所述线段的端点的平面坐标。 优选的是，步骤（6)中，用以下方法对图像C中平面坐标在图像D中进行立体匹 配： 1)以所述图像C中的点（x，y)为中心定义一个边长为n的正方形窗口，以所述图 像D中的点（x-d, y)为中心定义一个边长为n的正方形窗口； 2)通过公式（3)求解相似度值NCC(d)最大值所对应的视差d : 式中，L (x+i, y+j)指所述图像C中点（x+i，y+j)的灰度值，yj.w)指所述图像C 中以点（X，y)为中心定义的正方形窗口的灰度值的平均值，I2(x+i-d, y+j)指所述图像D中 点（x+i-d，y+j)的灰度值，指所述图像D中以点（x_d,y)为中心定义一个边长 为n的正方形窗口灰度值平均值； 3)得到图像D中的平面坐标（x-d，y)。 优选的是，在步骤（6)中，利用三角测量原理将平面坐标转换为三维空间坐标，包 括以下步骤： 公式⑷中，（X，Y，Z)为所求三维空间坐标，（x，y)为图像C中的平面坐标，d为图 像C中的平面坐标（x，y)在步骤（6)中所得视差，f为所述左右摄像机的焦距，B为所述左 右摄像机的基线距离。 优选的是，利用公式（5)求解步骤（7)中所述葡萄珠圆心的三维空间坐标（Xni，y m， zm)到Y轴的距离Lm，其中，m = 1，2, 3......N :(5) 本专利技术基于双目立体视觉系统，首先通过求解葡萄采摘点和葡萄珠圆心点的平面 像素坐标，再对这些点进行立体匹配和三维重建，可大大减少立体匹配和三维重建的点数， 提高葡萄簇三维空间域的求解速度，快速获取葡萄簇三维空间域，从而能够精确定位摘切 点，防止机械手在采摘过程中损伤葡萄珠和葡萄簇，避免损伤葡萄果肉。【附图说明】 图1为本专利技术中机器人防损伤采摘葡萄自动定位的方法流程图； 图2为本专利技术中采摘求解过程几何原理示意图； 图3为本专利技术中对葡萄珠轮廓进行拟合示意图。【具体实施方式】 下面结合附图和具体实施例对本专利技术的自动定位方法进行详细说明。 如图1所示，一种，包括以下步骤： 1)用标定板对机器人的左右摄像机进行标定，得到左右摄像机的内外部属性参数 (如焦距、畸变参数等）。用左右摄像机（分辨率为800像素X600像素）对葡萄进行图像 采集，得到RGB彩色的图像A和B，利用Bouguet算法对图像A和B分别进行校正，得到图像 C和D〇 2)将图像C转化为颜色空间图像，提取所述颜色空间图像的分量，本文档来自技高网...

【技术保护点】
一种机器人防损伤采摘葡萄的自动定位方法，其特征在于，包括以下步骤：(1)对机器人的左右摄像机进行标定，然后通过所述左右摄像机采集葡萄的图像，得到RGB彩色图像A和B，分别对所述图像A和B进行校正后，得到图像C和D；(2)将所述图像C转化为颜色空间图像，提取所述颜色空间图像的分量，得到分量图，对所述分量图进行中值滤波，得到图像E；(3)对所述图像E进行阈值分割，得到二值图像，对所述二值图像进行形态学腐蚀和膨胀运算，得到形态学去噪后的图像G；(4)提取所述图像G的最大连通区域，求解所述最大连通区域的重心(xc,yc)、轮廓极值点和轮廓最大左右长度，确定葡萄果梗感兴趣矩形区域，对所述葡萄果梗感兴趣矩形区域进行边缘提取，得到葡萄果梗感兴趣矩形区域边缘的二值图像，对所述葡萄果梗感兴趣矩形区域边缘的二值图像进行霍夫直线检测，得到线段，求解所述最大连通区域的重心到所述线段的距离Dm,其中m＝1,2,3……N，确定距离最小的所述线段的中点为摘切点平面坐标(xl,yl)；(5)根据步骤(4)中所述的最大连通区域的重心、轮廓极值点和轮廓最大左右长度，得到葡萄簇轮廓外接矩形区域，对所述葡萄簇轮廓外接矩形区域进行边缘提取，得到葡萄簇轮廓外接矩形区域边缘的二值图像，对所述葡萄簇轮廓外接矩形区域边缘的二值图像进行霍夫圆检测，得到多个葡萄珠圆心平面坐标(xclm,yclm)和半径rm，其中m＝1,2,3……N；(6)对图像C中所述摘切点平面坐标(xl,yl)在图像D中进行立体匹配，得到所述图像D中的摘切点平面坐标(xr,yr)及所述图像C和图像D中摘切点的视差dc，将所述摘切点平面坐标(xl,yl)和(xr,yr)转换为三维空间坐标(Xc,Yc,Zc)；对图像C中所述葡萄珠圆心平面坐标(xclm,yclm)在图像D中进行立体匹配，得到所述图像D中的葡萄珠圆心平面坐标(xcrm,ycrm)及所述图像C和图像D中葡萄珠圆心的视差dm，将所述葡萄珠圆心平面坐标(xclm,yclm)和(xcrm,ycrm)转换为三维空间坐标(xm，ym，zm)，其中m＝1,2,3……N；(7)根据步骤(5)中所述葡萄珠圆心的三维空间坐标的对应位置，求解全部所述葡萄珠圆心的三维空间坐标(xm，ym，zm)到葡萄簇中心轴Y轴的距离Lm，根据步骤(5)中所述葡萄珠半径rm确定葡萄珠直径，以葡萄珠直径最大值的1.5倍为步长，在每个所述步长内，对距离Y轴最远的葡萄珠轮廓进行拟合，得到最大的葡萄簇截面轮廓，将所述葡萄簇截面轮廓绕Y轴旋转360°，得到葡萄簇三维空间域；(8)在躲避步骤(7)中所述葡萄簇三维空间域的前提下，机器人的机械手由当前位置运动至所述摘切点的三维空间坐标对应位置，进行采摘。...

【技术特征摘要】

【专利技术属性】
技术研发人员：罗陆锋，孙爽，王金敏，李国琴，张宇，宋西平，朱娜，
申请(专利权)人：天津职业技术师范大学，
类型：发明
国别省市：天津;12