自然梨园环境下梨子的识别与中心点定位方法技术

本发明专利技术公开了一种自然梨园环境下梨子的识别与中心点定位方法。本发明专利技术方法通过RGB‑D双目摄像头采集梨子的RGB图像，并转换为HSV色彩图像；读取10张模版图像，计算其直方图并归一化处理；采用反向投影算法，通过模版图像的直方图信息来识别图像中梨子区域；对识别后的图像进行孔洞填充，形态学处理和凸包运算来获得更好的识别效果，重叠梨子通过其凸包与原区域相减的凹陷部分来实现重叠部分的分割处理；然后根据面积和圆面积率来筛选梨子区域；最后对筛选后的区域进行椭圆拟合与中心点计算。该发明专利技术方法的算法效率高，环境适应性强，能快速实现对梨子的识别与中心点定位且最终的准确度都较高。

【技术实现步骤摘要】
自然梨园环境下梨子的识别与中心点定位方法
本专利技术涉及采摘机械领域，具体涉及果蔬采摘机器人的图像识别定位算法，特别是自然梨园环境下梨子的识别与中心点定位方法。
技术介绍
在中国，梨子的种植已经非常成熟，年产量巨大。然而，绝大部分的梨子采摘工作仍然依靠手工进行，采摘效率低，人工成本高。并且梨子成熟后要在短时间内采摘，工人工作强度高，有些梨树的高度较高使得采摘工作具有一定的危险性。随着自动化技术的不断提高，许多国内外研究所和公司都开始研究不同类型的果蔬采摘机器人来效降低果蔬的采摘成本，提高采摘效率，梨子采摘机器人也成为了其中的一个方向。研究梨子采摘机器人首先需要解决机器对梨子的识别问题，然而自然梨园环境下，梨子的生长环境极其复杂。首先，果园中的光照变换对梨子的视觉识别影响最大，过亮的光照使得梨子无法被正确识别。其次，树叶枝干等干扰物的遮挡会影响果实识别的完整性。最后，果实之间的重叠会影响机器对单个梨子的识别与定位。因此，如何实现单个完整梨子的快速识别与定位已成为采摘机器人亟待解决的关键问题之一。
技术实现思路
本专利技术在于克服现有技术中存在的问题，提供一种自然梨园环境下梨子的识别与中心点定位方法，能快速实现对梨子的识别与中心点定位，算法效率高，环境适应性强，且最终的准确度较高。为了实现本专利技术目的，采用如下专利技术构思：首先通过相机拍摄梨树上梨子的图片并转换成HSV色彩空间下的图片。然后读取包含梨子特征的模版图片并计算模版的直方图。再通过反向投影算法比对待识别图片直方图与模版图片直方图，从而找到图片中包含梨子特征的区域。得到的结果通过孔洞填充、形态学处理和凸包运算来填补梨子未被识别和消除噪点以及补全被遮挡的部分，然后根据实验得到的标准将不符合梨子特征的区域排除。最后对识别区域进行椭圆拟合并计算中心点坐标。根据上述专利技术构思，本专利技术采用如下技术方案：一种自然梨园环境下梨子的识别与中心点定位方法，其特征在于具体操作步骤为：a.待采摘梨子图像采集：机械臂移动到指定区域，通过程序控制双目摄像头拍摄梨树上梨子的RGB色彩图像并转换为HSV色彩图像,因为相较于RBG色彩空间，HSV色彩空间更直观，更接近人们对色彩的感知经验，也更适合图像处理；b.计算模板图像的直方图：读取包含梨子特征的10张RGB模板图像，将图像从RGB色彩空间的图转换为HSV色彩空间的图，计算其直方图，并进行归一化处理，这样可以减少计算机的计算量从而提高图像识别速度；c.梨子区域的识别：采用反向投影算法，通过步骤b获得的模板图像的直方图信息来识别步骤a所得图像中的梨子区域；d.识别区域的处理：步骤c所得图像中存在未识别的孔洞部分，利用孔洞填充算法去除这些孔洞，然后通过形态学开运算来去除细小噪点，之后利用凸包运算，消除枝干、树叶的遮挡影响，重叠梨子可以利用凸包与原区域的相减部分来分割，具体方式见具体实施方式中的重叠梨子分割；e.筛选梨子区域：对步骤d所得区域进行筛选，面积小于或大于设定值和圆面积率小于设定值的区域被认为非梨子区域，排除该区域；f.轮廓拟合和中心点计算：对筛选后的区域进行椭圆拟合，并计算每个梨子区域的中心点坐标(X，Y)。优选地，上述步骤a的具体方法：a-1.控制摄像头拍摄RGB色彩图像，将单张三色通道图像分成R、G、B三张单色通道图像，也就是根据色彩把每个像素点分别转化成R、G、B三个通道，同时根据色彩点亮度将每个通道划分为0-255等级(与灰度值原理相同)；a-2.然后将图像的每个像素点转换成H、S、V三张单通道图像并合成为一张HSV图像，其中H、S、V分别代表色调(H)、饱和度(S)和明度(V)。首先定义R′、G′、B′，定义如下：H通道每个像素点值分为四种情况：1)当max(R′，G′，B′)＝min(R′，G′，B′)时，H＝0°；2)当max(R′，G′，B′)＝R′时，3)当max(R′，G′，B′)＝G′时，4)：当max(R′，G′，B′)＝B′时，S通道每个像素点值分为两种情况：1)当max(R′，G′，B′)＝0时，S＝0；2)当max(R′，G′，B′)＝0时，V通道每个像素点值为：V＝max(R′，G′，B′)。优选地，上述步骤b的具体方法：b-1.读取事先准备的10幅包含梨子特征模板图像，将图像从RGB色彩空间转换成HSV色彩空间；b-2.将0-255的颜色范围分成16组颜色区间，计算图像的直方图；b-3.对b-2得到的直方图进行归一化处理：其中src(i，j)为原像素点值，为图像中所有像素点值的2-范数，dst(i，j)为归一化后的像素点值。优选地，上述步骤c的具体方法：c-1.使用反向投影算法比对步骤b得到的模板图像直方图与步骤a所得到的图像，其中模板直方图视为梨子特征的一个先验概率分布，反向投影就是计算步骤a图像中某个特定部分属于该先验分布的概率，得到的反向投影图中，越亮的部分表明该部分属于梨子区域的概率越大；c-2.将反向投影图进行阈值分割，经实验选择将阈值设置为0.05可以得到最好的效果；c-3.由于图像本质上是矩阵，可以进行数学运算。因此通过将10幅阈值分割后得到的反向投影图相加得到1幅总反向投影图可以达到更完整的识别效果。优选地，上述步骤d的具体方法：d-1.由于光照的影响，梨子区域内会存在未能识别的部分，反映在反向投影图上就形成了孔洞部分，利用孔洞填充算法对这部分进行填充：1.设原图像为A；2.将A向外延展一到两个像素，并将值填充为背景色(0)，标记为B；3.使用漫水填充算法将B的大背景填充，填充值为前景色(255)，种子点为(0，0)(步骤2可以确保(0，0)位于大背景)，标记为C；4.将填充好的图像裁剪为原图大小，标记为D；5.将D取反与A相加即可完成孔洞填充；d-2.使用尺寸为7x7，锚点位于中心的椭圆形内核对孔洞填充后的图像进行形态学开运算处理，去除细小噪点；d-3.计算孔洞填充后的区域轮廓，但因树叶枝干等的遮挡，区域轮廓可能会有凹陷，运用凸包算法来计算轮廓的凸包从而补全未被识别的凹陷部分；d-4.重叠梨子区域通过重叠部分凸包与原重叠区域相减获得的凹陷部分来分割重叠梨子，具体方式见具体实施方式中的重叠梨子分割。优选地，上述步骤e的具体方法：e-1.首先定义筛选的两个标准：面积和圆面积率，面积指步骤d所绘制的凸包的面积，圆面积率定义如下：圆面积率＝凸包面积/凸包的最小包围圆面积；e-2.计算图中每个凸包区域的面积，绘制每个凸包的最小包围圆并计算该包围圆的面积，凸包面积大于或小于设定值或者圆面积率小于设定的区域被认定为非梨子区域，排除该区域。优选地，上述步骤f的具体方法：f-1.计算每个梨子区域的轮廓并计算轮廓的0阶矩m00和1阶矩m10,m0本文档来自技高网...

【技术保护点】
1.一种自然梨园环境下梨子的识别与中心点定位方法，其特征在于,具体操作步骤为：/na.梨子图像采集：/n机械臂移动到指定区域，通过程序控制RGB-D双目摄像头拍摄梨树上梨子的RGB色彩图像并转换为HSV色彩图像；/nb.计算模板图像的直方图：/n读取包含梨子特征的10张RGB模板图像，将图像从RGB色彩空间的图转换为HSV色彩空间的图，计算其直方图，并进行归一化处理；/nc.梨子区域的识别：/n采用反向投影算法，通过步骤b获得的模板图像的直方图信息来识别步骤a所得图像中的梨子区域；/nd.识别区域处理：/n步骤c所得图像中存在未识别的孔洞部分，利用孔洞填充算法去除这些孔洞，然后通过形态学开运算来去除细小噪点，之后利用凸包运算，消除枝干、树叶的遮挡影响，重叠梨子可利用凸包与原区域的相减部分来分割；/ne.筛选梨子区域：/n对步骤d所得区域进行筛选，面积小于或大于设定值和圆面积率小于设定值的区域被认为非梨子区域，排除于识别区域外；/nf.轮廓拟合和中心点计算：/n对筛选后的区域进行椭圆拟合，并计算每个梨子区域的中心点坐标(X,Y)。/n

【技术特征摘要】
1.一种自然梨园环境下梨子的识别与中心点定位方法，其特征在于,具体操作步骤为：
a.梨子图像采集：
机械臂移动到指定区域，通过程序控制RGB-D双目摄像头拍摄梨树上梨子的RGB色彩图像并转换为HSV色彩图像；
b.计算模板图像的直方图：
读取包含梨子特征的10张RGB模板图像，将图像从RGB色彩空间的图转换为HSV色彩空间的图，计算其直方图，并进行归一化处理；
c.梨子区域的识别：
采用反向投影算法，通过步骤b获得的模板图像的直方图信息来识别步骤a所得图像中的梨子区域；
d.识别区域处理：
步骤c所得图像中存在未识别的孔洞部分，利用孔洞填充算法去除这些孔洞，然后通过形态学开运算来去除细小噪点，之后利用凸包运算，消除枝干、树叶的遮挡影响，重叠梨子可利用凸包与原区域的相减部分来分割；
e.筛选梨子区域：
对步骤d所得区域进行筛选，面积小于或大于设定值和圆面积率小于设定值的区域被认为非梨子区域，排除于识别区域外；
f.轮廓拟合和中心点计算：
对筛选后的区域进行椭圆拟合，并计算每个梨子区域的中心点坐标(X,Y)。


2.根据权利要求1所述的自然梨园环境下梨子的识别与中心点定位方法,其特征在于，所述的步骤a的具体方法：
a-1.控制摄像头拍摄RGB色彩图像，将单张三色通道图像分成R、G、B三张单色通道图像，也就是根据色彩把每个像素点分别转化成R、G、B三个通道，同时根据色彩点亮度将每个通道划分为0-255等级；
a-2.然后将图像的每个像素点转换成H、S、V三张单通道图像并合成为一张HSV图像，其中H、S、V分别代表色调(H)、饱和度(S)和明度(V)；首先定义R′、G′、B′，定义如下：



H通道每个像素点值分为四种情况：
1)当max(R′，G′，B′)＝min(R′，G′，B′)时，H＝0°；
2)当max(R′，G′，B′)＝R′时，
3)当max(R′，G′，B′)＝G′时，
4)当max(R′，G，B′)＝B′时，
S通道每个像素点值分为两种情况：
1)当max(R′，G，B′)＝0时,S＝0；
2)当max(R′，G，B′)＝0时，
V通道每个像素点值为：V＝max(R′，G，B′)。


3.根据权利要求1所述的自然梨园环境下梨子的识别与中心点定位方法,其特征在于所述的步骤b的具体方法：
b-1.读取事先准备的10幅包含梨子特征模板图像，将图像从RGB色彩空间转换成HSV色彩空间；
b-2.将0-255的颜色范围分成16组颜色区间，计算图像的直方图；
b-3.对b-2得到...

【专利技术属性】
技术研发人员：胡小梅，吴君，吕顺可，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31