一种适用于果园复杂开放环境的苹果识别与定位方法技术

本发明专利技术公开了一种适用于果园复杂开放环境的苹果识别与定位方法，包括步骤：对待识别的苹果图像进行高光区域检测和高光补偿；再从图像分离出的B、R通道进行阴影区域自适应筛选，再进行标准化对数变换；对高阴影增强后的图像，在LAB色彩空间中的提取A分量，在OHTA色彩空间中提取改进后的光照自适应I2分量，并基于苹果在两个空间分量中的色彩特征进行信息融合，得到仅包含所有可见苹果区域的RGB三通道图像；进行二值化、进行形态学操作与中值滤波，得到苹果区域二值图；利用苹果区域二值图将粘连苹果分离；对粘连苹果分离后的图像进行苹果识别与定位。苹果识别与定位。苹果识别与定位。

【技术实现步骤摘要】
一种适用于果园复杂开放环境的苹果识别与定位方法


[0001]本专利技术属于计算机视觉
，具体涉及一种适用于果园复杂开放环境的苹果识别与定位方法。

技术介绍

[0002]苹果在成熟期内需要密集采摘，而采摘作业是苹果种植生产中最耗时、费力的环节之一。随着人口老龄化的加剧和农业劳动人口流失，苹果采收的劳动力成本日益提高。因此研究自动化、智能化的苹果采摘机器人代替人工进行苹果采摘作业迫在眉睫。
[0003]基于计算机视觉的苹果识别与定位是目前苹果采摘机器人的研究与重点。但在开放的室外环境中，由于光线的原因，采集的图像往往存在大量的阴影和高光区域，如不对此进行预处理，将严重影响后续苹果识别定位的效果。此外，现实中的红苹果也存在大量青色区域，仅依靠单一的分割方法，很难将苹果与其他区域分离开。因此研究一种可以在预处理阶段对高光进行补偿，对阴影进行增强，同时结合苹果的颜色特征利用不同的颜色空间特性提取出完整的苹果可见区域，并对此进行粘连苹果分割，最终实现对苹果的识别定位的方法具有十分重要的意义。

技术实现思路

[0004]本专利技术的目的在于针对复杂开放环境下采集的检测图像受高光与阴影影响，且红色苹果存在青色区域与粘连的情况，提出一种适用于果园复杂开放环境的苹果识别与定位方法，本专利技术能够对原始图像进行高光补偿与阴影增强预处理后，利用苹果在不同色彩空间的特性，完整提取苹果的可见区域，并在此基础上基于形状特征实现苹果的识别与定位。
[0005]本专利技术的目的采用如下的技术方案来实现：
[0006]一种适用于果园复杂开放环境的苹果识别与定位方法，包括以下步骤：
[0007]S1，对包含苹果树的原始RGB图像中苹果上的高光区域进行检测，将检测到的高光区域进行高光补偿，得到高光补偿后的图像；
[0008]S2，对高光补偿后的图像进行R通道、G通道和B通道分离，利用B分量与R分量的比值与设定的阈值进行比较，检测出需要阴影补偿的区域，并进行阴影增强；
[0009]S3，对进行了阴影增强后的图像，在LAB色彩空间中的提取A分量，在OHTA色彩空间中提取改进后的光照自适应I2分量，并分别进行全局阈值分割，融合I2的分割结果与A分量的分割结果对原始RGB图像进行所有非苹果区域剔除，得到仅包含所有可见苹果区域的RGB三通道图像；
[0010]S4，对仅包含所有可见苹果区域的RGB三通道图像进行二值化，利用连续多次形态学操作与中值滤波，消除在当前图像中尺寸小于单个苹果尺寸0.2倍的区域，并填充苹果区域内部的孔洞，平滑苹果区域边界，得到苹果区域二值图；
[0011]S5，利用所述苹果区域二值图将粘连苹果分离；
[0012]S6，对粘连苹果分离后的图像进行苹果识别与定位。
[0013]优选的，S1中，利用设定的苹果区域高光判定条件对原始RGB图像中每个像素点进行判断，实现对苹果上的高光区域的判定：
[0014]原始RGB图像中某点是否为苹果区域高光点的判定条件如下：
[0015][0016]其中，r、g和b分别为r分量、g分量和b分量的数值；thre_1为高光点阈值；
[0017]如果该点满足所述判定条件，判定该点为苹果区域高光点，否则该点不是苹果区域高光点；
[0018]将检测到的高光区域进行高光补偿时，利用预设的颜色进行补偿，预设的色彩补偿值为[129,56,76]，如果不是苹果区域的高光点，则不进行补偿。
[0019]优选的，S2中，对高光补偿后的图像进行R通道、G通道和B通道分离，利用B分量与R分量的比值与设定的阈值进行比较，检测出需要阴影补偿的区域时：对高光补偿后的图像进行R通道、G通道和B通道分离，提取每个像素点的r分量、g分量和b分量，设定光强系数阈值thre_2，需要阴影增强的像素点判定条件如下：
[0020][0021]若像素点满足所述需要阴影增强的像素点判定条件，则利用标准化对数变换进行阴影增强，标准化对数变换的公式如下：
[0022][0023]其中，r、g和b分别为r分量、g分量和b分量的数值；
[0024]若像素点不满足所述需要阴影增强的像素点判定条件，则不进行阴影增强。
[0025]优选的，S3中，融合I2的分割结果与A分量的分割结果对原始RGB图像进行所有非苹果区域剔除，得到仅包含所有可见苹果区域的RGB三通道图像的过程包括以下过程：
[0026]将进行了阴影增强后的图像转换到LAB空间，提取A通道的图像，并进行全局阈值分割；而后创建与A通道图像等尺寸，同类型的图像Image_a，当A通道像素点的数值大于图像Image_a像素点的数值时，将单通道图像Image_a在该点值设为255，否则设为0，最终提取保留苹果上红色区域的二值图像；
[0027]将进行了阴影增强后的图像进行通道分离，提取B通道与R通道图像，依据改进后OHTA色彩空间中I2通道图像的提取算法对B图像和R图像每个像素点进行处理，得到能够自适应光照的I2通道图像，I2图像提取公式如下：
[0028][0029]式中，Image_i2为待提取I2通道的图像，(x,y)为Image_i2图像的位置坐标，r为R
通道图像在(x,y)位置的像素值，b为B通道图像在(x,y)位置的像素值；
[0030]对I2通道图像进行OTSU自适应分割，得到保留所有苹果区域和部分叶子区域的二值图像；
[0031]利用I2通道图像分割后的二值图像对进行了阴影增强后的图像进行背景剔除，得到仅保留了所有苹果区域和部分叶子区域的RGB图像，对仅保留了所有苹果区域和部分叶子区域的RGB图像进行通道分离，根据青色苹果RGB图像中，R通道数值最小的特征，计算三通道对应像素点在R通道上与G通道和B通道上的偏差，剔除不属于苹果上的像素点，R通道上与G通道和B通道的偏差计算公式如下：
[0032][0033]式中，err1为G通道与R通道上对应像素点值的差值，err2为B通道与R通道上对应像素点值的差值，r为R通道图像上像素点的像素值，b为B通道图像上像素点的像素值，g为G通道图像上像素点的像素值；
[0034]当err1>0或者err2>0时，判定该像素点为非苹果上的像素点，将该像素点三通道均置为0；最终得到保留大部分苹果区域的三通道图像；
[0035]利用A通道图像分割的二值图像和I2通道分割的三通道图像对原始RGB图像进行处理：当A通道图像分割的二值图像的像素值＝0且I2通道分割的三通道图像的像素值＝[0,0,0]时，原始RGB图像＝[0,0,0]，得到仅包含所有可见苹果区域的RGB三通道图像。
[0036]优选的，S4中，将仅包含所有可见苹果区域的RGB三通道图像进行二值化后，基于圆形卷积核进行3次形态学操作，3次形态学操作依次为形态学开操作、形态学闭操作和形态学开操作，在尺寸为1920
×
1080的图像中，采用的卷积核形状与大小依次为：10
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于果园复杂开放环境的苹果识别与定位方法，其特征在于，包括以下步骤：S1，对包含苹果树的原始RGB图像中苹果上的高光区域进行检测，将检测到的高光区域进行高光补偿，得到高光补偿后的图像；S2，对高光补偿后的图像进行R通道、G通道和B通道分离，利用B分量与R分量的比值与设定的阈值进行比较，检测出需要阴影补偿的区域，并进行阴影增强；S3，对进行了阴影增强后的图像，在LAB色彩空间中的提取A分量，在OHTA色彩空间中提取改进后的光照自适应I2分量，并分别进行全局阈值分割，融合I2的分割结果与A分量的分割结果对原始RGB图像进行所有非苹果区域剔除，得到仅包含所有可见苹果区域的RGB三通道图像；S4，对仅包含所有可见苹果区域的RGB三通道图像进行二值化，利用连续多次形态学操作与中值滤波，消除在当前图像中尺寸小于单个苹果尺寸0.2倍的区域，并填充苹果区域内部的孔洞，平滑苹果区域边界，得到苹果区域二值图；S5，利用所述苹果区域二值图将粘连苹果分离；S6，对粘连苹果分离后的图像进行苹果识别与定位。2.根据权利要求1所述的一种适用于果园复杂开放环境的苹果识别与定位方法，其特征在于，S1中，利用设定的苹果区域高光判定条件对原始RGB图像中每个像素点进行判断，实现对苹果上的高光区域的判定：原始RGB图像中某点是否为苹果区域高光点的判定条件如下：其中，r、g和b分别为r分量、g分量和b分量的数值；thre_1为高光点阈值；如果该点满足所述判定条件，判定该点为苹果区域高光点，否则该点不是苹果区域高光点；将检测到的高光区域进行高光补偿时，利用预设的颜色进行补偿，预设的色彩补偿值为[129,56,76]，如果不是苹果区域的高光点，则不进行补偿。3.根据权利要求1所述的一种适用于果园复杂开放环境的苹果识别与定位方法，其特征在于，S2中，对高光补偿后的图像进行R通道、G通道和B通道分离，利用B分量与R分量的比值与设定的阈值进行比较，检测出需要阴影补偿的区域时：对高光补偿后的图像进行R通道、G通道和B通道分离，提取每个像素点的r分量、g分量和b分量，设定光强系数阈值thre_2，需要阴影增强的像素点判定条件如下：若像素点满足所述需要阴影增强的像素点判定条件，则利用标准化对数变换进行阴影增强，标准化对数变换的公式如下：
其中，r、g和b分别为r分量、g分量和b分量的数值；若像素点不满足所述需要阴影增强的像素点判定条件，则不进行阴影增强。4.根据权利要求1所述的一种适用于果园复杂开放环境的苹果识别与定位方法，其特征在于，S3中，融合I2的分割结果与A分量的分割结果对原始RGB图像进行所有非苹果区域剔除，得到仅包含所有可见苹果区域的RGB三通道图像的过程包括以下过程：将进行了阴影增强后的图像转换到LAB空间，提取A通道的图像，并进行全局阈值分割；而后创建与A通道图像等尺寸，同类型的图像Image_a，当A通道像素点的数值大于图像Image_a像素点的数值时，将单通道图像Image_a在该点值设为255，否则设为0，最终提取保留苹果上红色区域的二值图像；将进行了阴影增强后的图像进行通道分离，提取B通道与R通道图像，依据改进后OHTA色彩空间中I2通道图像的提取算法对B图像和R图像每个像素点进行处理，得到能够自适应光照的I2通道图像，I2图像提取公式如下：式中，Image_i2为待提取I2通道的图像，(x,y)为Image_i2图像的位置坐标，r为R通道图像在(x,y)位置的像素值，b为B通道图像在(x,y)位置的像素值；对I2通道图像进行OTSU自适应分割，得到保留所有苹果区域和部分叶子区域的二值图像；利用I2通道图像分割后的二值图像对进行了阴影增强后的图像进行背景剔除，得到仅保留了所有苹果区域和部分叶子区域的RGB图像，对仅保留了所有苹果区域和部分叶子区域的RGB图像进行通道分离，根据青色苹果RGB图像中，R通道数值最小的特征，计算三通道对应像素点在R通道上与G通道和B通道上的偏差，剔除不属于苹果上的像素点，R通道上与G通道和B通道的偏差计算公式如下：式中，err1为G通道与R通道上对应像素点值的差值，err2为B通道与R通道上对应像素点值的差值，r为R通道图像上像素点的像素值，b为B通道图像上像素点的像素值，g为G通道图像上像素点的像素值；当err1&a...

【专利技术属性】
技术研发人员：徐海波，段星辰，刘施杰，黄观澜，王鹤扬，李沛轩，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：