一种绿色果实识别方法技术

本发明专利技术公开了一种绿色果实识别方法，首先采集图像，提取R通道分量图像，对分量图像进行中值滤波和8级灰度离散化操作；其次对8级灰度图像进行多角度灰度阶梯扫描，并基于启发式规则对扫描结果进行筛选；接着对筛选结果对应的各类信息进行融合，生成候选果实区域；最后从外观特征和团块操作、灰度阶梯方向数量、灰度阶梯数量三方面对候选果实区域进行投票，根据多数投票原则，确定最终的真实果实区域。本发明专利技术识别过程引入多数投票决策机制，并通过该机制融合了场景图像外观特征、网状灰度阶梯特征，大幅提升了识别方法的准确率和鲁棒性，有助于大幅提升采摘机器人整体作业效率。

【技术实现步骤摘要】

：本专利技术属于图像识别
，涉及一种基于网状灰度阶梯特征、自适应分类器以及多数投票决策机制的树上绿色果实识别方法。
技术介绍
：采摘机器人有助于提高果实采摘效率、降低损伤率及节省人工成本，具有重要现实意义。其中基于场景解析的果实识别策略是采摘机器人实现果实采摘的重要关键技术。机器视觉被普遍认为是采摘机器人实现果实场景解析的最佳途径，基于机器视觉的果实识别是相关领域的长期研究热点。然而非结构化果实场景固有的不确定性对机器人通过视觉感知果实及作业环境信息构成了巨大挑战。果实生长条件(如水果品种、营养状态、水分条件、生长阶段、果实相对树枝的位置)、环境条件(如光源强度、色温、照射方向等参数的动态变化)、光照条件(遮挡、树冠场景几何)都是潜在的不确定因素。当前相关研究主要集中在采摘目标与背景颜色对比度大、形状较规则的非绿色水果品种上，并已取得较多进展。综合利用果实外观特征(如颜色、纹理及形状特征)，结合阈值分割以及形态拟合方法对果实目标进行识别定位是较常见和识别率较高的方
法，相关研究涉及柑橘、葡萄、猕猴桃、番茄[等多类水果。另一方面，绿色果实的识别对于成熟绿色水果的自动收获、水果产量的前期估计和销售策略的制定有重要的意义。尽管绿色水果的识别难度较大，特别是国内学者研究很少，但是其已逐渐成为国内外农业工程领域的一个新的研究热点。国内关于绿色水果识别的相关专利暂时没有。经对现有文献检索发现，Ferhat等人在2011年第78卷2期的Computers andElectronics in Agriculture专业期刊上发表了题为《基于特征果、颜色及环形Gabor纹理特征的绿色果实识别方法》的文章(文章英文名：Green citrus detection using‘eigenfruit’,color and circularGabor texture features under natural outdoor conditions)，该文章公开了一种综合多类特征、多尺度寻找策略以及多数投票策略的绿色柑橘识别方法，但其仍然存在果实识别率较低、果实误检率高、检测算法过程复杂等问题。
技术实现思路
：本专利技术的目的在于克服现有技术的不足，提出一种融合网状灰度阶梯特征、自适应分类器以及多数投票决策机制的绿色果实识别方法，该方法基于多角度网状灰度阶梯特征的检测及筛选提出候选果实区域，并利用自适应分类器以及灰度阶梯特征的统计特性对候选区域进行综合判断以确定果实数量及实际位置，其技术方案如下：一种绿色果实识别方法，其特征在于，包括步骤如下：第一步，采集一帧图像到内存。第二步，提取彩色图像的R通道图像。第三步，以特定大小的滤波模块对R通道图像进行中值滤波。第四步，对中值滤波处理后的输出图像进行8级灰度离散化操作，得到8级灰度图。8级灰度图中，果实表面对应区域在相当大的取景尺度范围内均呈现8,7..i,i-1,..2,1的完整灰度分布。其中灰度8仅当果实表面被大面积阴影遮挡时不存在，而灰度1的分布均在随机性。我们将果实表面这种在特定方向上灰度由高到低的等差递减特性定义为灰度阶梯；将不同方向上的灰度阶梯集合总称为网状灰度阶梯特征。第五步，对8级灰度图进行多角度灰度阶梯扫描。扫描角度定义为扫描方向与X轴的夹角。由于果实表面下半部分呈现的灰度阶梯比较完整，因此，我们只扫描0-180度区间(间隔为15度)的灰度阶梯，具体涉及的灰度阶梯有87654321、8765432、765432、7654321四种。场景中绝大部分果实表面的最大灰度为8，而少部分完全处于阴影下的果实表面从灰度7开始，我们将两种灰度阶梯模式分别规定为pattern1及pattern2。第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯。所述的启发式规则涉及灰度阶梯的跨度及特定灰度阶宽概
念，其定义为：针对已有灰度阶梯和对应的扫描线，我们将扫描线经历的特定灰度像素点总数定义为该灰度的阶宽(如widthofgray(i)表示灰度i的阶宽)，同时将所有灰度阶宽的总和定义为灰度阶梯的跨度span，且基于前期实验结果和场景的实际灰度统计特性，本专利技术针对灰度阶梯模式pattern1和pattern2，分别定义为span=Σi=37widthofgray(i)]]>及span=Σi=36widthofgray(i).]]>所述伪灰度阶梯包含三类：树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯，分别设计多个启发式规则进行筛选。第一类伪灰度阶梯产生原因在于：树枝表面近似圆柱形，对自然光照的反射及成像效果类似于果实球状表面，因此其表面呈现局部的灰度依次递减特征。该类伪灰度阶梯与待检测目标灰度阶梯的主要区别在于跨度不同。因此定义规则1：目标span＞＝k1*span_th_low，其中span_th_low为通过实验获得的目标跨度阈值下限，k1定义为与当前成像距离、果实大小相关的尺度系数。第二类伪灰度阶梯产生原因在于：场景局部区域由上下两个分别处于阳面和阴面的树叶构成，灰度由上叶面的高灰度急剧过渡到下叶面的低灰度或一个树叶在其他树叶的遮挡下呈现由外到内的水平灰度递减。该类伪灰度阶梯与目标灰度阶梯的区别主要有两个：跨度小以及部分灰度阶宽在整个跨度中的占比非常小。由于规则1已对目标跨度作出最小值约束，我们定义规则2对阶宽占比进行进一步约束：mini≠j[(widthofgray(i)+widthofgray(j))/span]≥ratio_th,]]>即目标灰度阶梯中，占比最小的两个阶宽比例不能小于特定值ratio_th。第三类伪灰度阶梯为场景几何随机产生的灰度阶梯。该类伪灰度阶梯由于其产生原因的随机性，应定义多条规则进行筛选。规则3：span≤k1*span_th_high，其中span_th_high为通过实验获得的目标跨度阈值上限，k1为与规则1中相同的尺度系数。该规则的目的在于滤除跨度过大的伪灰度阶梯，如在当前视野中占主导地位的叶片表面在水平方向上容易产生该类大跨度灰度阶梯。规则4：f(areaofgray(max(i))＞area_th*k1)，then ratio＜ratio_th_2，这里的ratio＝area/[maxsideof(boundingbox)]2，maxsideof(boundingbox)为最大灰度超像素外接矩阵的长边。本条规则用于约束灰度阶梯中最高灰度所在超像素的紧凑性，当该超像素面积大于特定值area_th*k1(意味着果实中心最高灰度区域基本未被遮挡)，该超像素面积与其外接矩阵长边的平方比值应小于特定值ratio_th_2。规则5：果实表面最高灰度的超像素区域一般会对应多个灰度阶梯，我们将每个超像素所对应的灰度阶梯个数进行累加，得到stairaccu，定义规则：stairaccu≥accu_th，accu_th为对应的累计数阈值，只有当某个灰度阶梯对应的大灰度超像素满足这个条件时，才有可能是目标灰度阶梯。第七步，融合各类信息，生成候选果实区域。进行上一步骤所述的伪灰度阶梯筛除操作后，得到的理想中间本文档来自技高网...

【技术保护点】
一种绿色果实识别方法，其特征在于，识别方法具体为：第一步，采集一帧图像到内存。第二步，提取彩色图像的R通道图像。第三步，以特定大小的滤波模块对R通道图像进行中值滤波。第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图。第五步，对8级灰度图进行多角度灰度阶梯扫描。第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯。第七步，融合各类信息，生成候选果实区域。第八步，基于外观特征对单个候选果实区域内的像素进行分类，并结合团块操作以生成决策结果1。第九步，统计单个候选果实区域对应的灰度阶梯方向数量以生成决策结果2。第十步，统计单个候选果实区域对应的灰度阶梯数量以生成决策结果3。第十一步，针对每个候选果实区域，基于多数投票机制融合上述三个决策结果，对伪果实区域进行筛除。

【技术特征摘要】
1.一种绿色果实识别方法，其特征在于，识别方法具体为：第一步，采集一帧图像到内存。第二步，提取彩色图像的R通道图像。第三步，以特定大小的滤波模块对R通道图像进行中值滤波。第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图。第五步，对8级灰度图进行多角度灰度阶梯扫描。第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯。第七步，融合各类信息，生成候选果实区域。第八步，基于外观特征对单个候选果实区域内的像素进行分类，并结合团块操作以生成决策结果1。第九步，统计单个候选果实区域对应的灰度阶梯方向数量以生成决策结果2。第十步，统计单个候选果实区域对应的灰度阶梯数量以生成决策结果3。第十一步，针对每个候选果实区域，基于多数投票机制融合上述三个决策结果，对伪果实区域进行筛除。2.根据权利要求1所述的绿色果实识别方法，其特征在于：第五步中所述的灰度阶梯是指果实表面固有的在特定方向上由高到低的灰度等差递减特性，其具体表现为8级灰度图上8,7..i,i-1,..2,1的完整灰度分布。3.根据权利要求1所述的绿色果实识别方法，其特征在于：第五步中
\t所述的多角度扫描是指0-180度区间、间隔为15度的扫描角度，而扫描角度定义为扫描方向与X轴的夹角。4.根据权利要求1所述的绿色果实识别方法，其特征在于：第六步中所述的伪灰度阶梯根据其产生机理分为三类，分别为树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯。5.根据权利要求1所述的绿色果实识别方法，其特征在于：第六步中所述的启发式规则为针对不同类型伪灰度阶梯设计的筛选规则，该类规则主要对目标灰度阶梯的跨度、阶宽占比、灰度超像素的形状进行限制，以区分伪灰度阶梯和目标灰度阶梯。6.根据权利要求1所述的绿...

【专利技术属性】
技术研发人员：王明军，
申请(专利权)人：宁波工程学院，
类型：发明
国别省市：浙江;33