一种基于视觉主体检测的果蔬识别预处理方法技术

本发明专利技术公开了一种基于视觉主体检测的果蔬识别预处理方法，针对复杂环境下果蔬图像因光照不均、背景不受控等因素导致的裁剪分割困难的问题，提出了一种基于视觉主体检测的预处理算法。首先调节图像亮度及去除噪声，然后利用流形排序进行显著性检测，获得显著性图像，最后利用梯度图像及位置加权进行融合获得图像裁剪度，完成图像预处理。通过实验可以正确裁剪复杂环境下的果蔬图像，能够达到较好的准确性、鲁棒性以及实时性。

A preprocessing method of fruit and vegetable recognition based on visual subject detection

The invention discloses a vegetable pretreatment method based on the detection of the main visual recognition, the difficult problem for the segmentation of complex environment image with uneven illumination, background and other factors lead to uncontrolled cutting, proposed a preprocessing algorithm based on visual subject detection. First adjust the brightness of the image and remove the noise, then the manifold ranking were detected, obtained significant image, finally using the gradient image and position weighted fusion image cropping, image preprocessing. Through experiments, the image of fruits and vegetables in complex environment can be cut correctly, which can achieve better accuracy, robustness and real-time performance.

【技术实现步骤摘要】
一种基于视觉主体检测的果蔬识别预处理方法
本专利技术涉及食品应用和健康领域，具体是一种基于视觉主体检测的果蔬识别预处理方法，用于水果识别

技术介绍
随着人工智能领域的不断发展，人们的生活逐步走向智能化，其中图像识别技术在人工智能领域中占据着重要地位。本专利技术研究果蔬图像在复杂环境及光照不受控的条件下果蔬位置的定位技术，使用改进后的流形排序显著性检测算法，在原有技术基础上融合梯度能量及位置信息进行果蔬定位。在图像处理阶段，由于获取图像时，获取工具、环境、手段等因素影响，原始图像无法直接应用于图像识别软件。因此，为了改善图像数据、抑制不良因素、提高后续图像处理环节准确性，增加图像预处理环节十分重要且必不可少。由于在实际工程中图像往往在不受控背景及不受控光源下进行采集，并且图像采集工具也不统一，因此在图像预处理环节，需要对图像进行归一化裁剪、亮度调节以及去噪处理。依照图像裁剪主体，可将图像裁剪分为完整性缩放裁剪或部分裁剪。完整性缩放裁剪是将整幅图像按照一定算法进行缩放，突出图像内主体部分，但肉眼分辨图像大致内容不变。最初，裁剪时主要使用插值法进行等比例缩放，裁剪后图像与原图像成等比例，但裁剪后图像清晰度均有所降低。随着技术逐渐进步完善，研究者们注重图像裁剪后保持图像的视觉主体，目前主流的裁剪算法主要有两种：非均匀缩放和线裁剪。1.非均匀缩放非均匀缩放是保持图像的视觉主体不变或发生均匀变化，其他不感兴趣区域图像发生非均匀的变化(如伸缩、扭曲等)实现最终的裁剪效果。2.线裁剪线裁剪算法首先寻找能量值小的像素点，通过改变(如移除或插入)能量值较小的像素点，即图像改变的总能量较小，达到改变图像大小的目的。部分裁剪是依据颜色、位置等因素裁剪部分原图像，裁剪后图像为原图像的子图。该方法大多使用于原图像视觉主体在原图像占比较小或原图像有多个视觉主体的情况，目前较为火热的人脸识别领域大多使用部分裁剪。由于本技术背景应用于果蔬水果识别，采集的背景为可变环境下的图片，原图像在不受控光源、不受控背景及不受控拍摄工具的情况下获取，因此原图像存在光线过亮或过暗、背景不统一、果蔬位置不统一、原图像尺寸不统一等多种影响因素。
技术实现思路
在现实生活中，数字图像在产生和传输过程中常常受到采集设备硬件限制或采集环境外部噪声干扰，获取的图像中往往存在噪声点，即噪声图像或含噪图像。在数字图像处理领域，减少或去除图像噪声的过程称为图像去噪，该过程将降低图像干扰信息，提高后续处理的准确性，因此图像去噪步骤十分重要。由于本专利技术所述算法获取的图像噪声并不严重，并且本步骤主要是为了模糊一部分果蔬纹理，为后续提取轮廓、颜色特征做准备，因此，本专利技术算法使用模糊效果较高的高斯去噪算法，该算法可较好的满足研究要求,针对去噪后的图像采用视觉主体检测的裁剪方法如下:设图像行向量为该算法对每个像素点定义一个流行值f，并设定点和点之间的权重以及D＝diag{d11,...,dnn}，其中dii＝∑jwij与PageRank和频谱聚类算法类似，由公式(1)求得f*，其中μ为平衡参数。由于公式(1)还可写为公式(2)，公式(2)中E为单位矩阵，α＝1/(1+μ)，通过公式(1)及公式(2)可求得矩阵S。f*＝(E-αS)-1X(2)依据上边缘、下边缘、左边缘和右边缘可获得权重Wt、Wb、Wl及Wr，从而可获得四副显著度图St、Sb、Sl及Sr，对于给定图像I，最终显著度见式(3)。S(I)＝St(i)×Sb(i)×Sl(i)×Sr(i)(3)显著度图能够体现出人类视觉的图像关注度，而梯度能量图则可以较好的描述图像。给定图像对于给定图像I，图像的梯度函数见式(4)。由于本专利技术算法所用图像库具有一定的位置信息，因此，裁剪时也许加入图像位置信息。对于给定图像I，设d为图像左上角至图像中心的距离(即长宽差的平方和的开方)，Δk为当前像素点至图像中心的距离。位置信息值见式(5)，其中μ为控制参数，本专利技术研究中控制参数μ＝39。本专利技术所述研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见式(6)。W(I)＝S(I)+e(I)+U(I)(6)W(I)＝50附图说明图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本专利技术所述算法效果较优。具体实施方式本专利技术共采集了12种常见的果蔬图像，共1461幅，如表1所示。这些图像均在不受控光源及不受控背景条件下进行采集。使用单一特征进行分割裁剪难度较大，本专利技术以二维OTSU算法和自适应Canny算法进行了边缘检测。二维OTSU算法是改进后的OTSU算法，该算法可以根据颜色特征将图像分为前景色和背景色。由于本专利技术使用的图像库环境差异较大，使用该方法无法较好的分割图像。自适应Canny算法是Canny算法的改进算法，该算法可提取图像轮廓特征，但若图像细节较多时，算法获取轮廓较多，不易依据轮廓进行分割。表1果蔬图像库数量统计表图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本专利技术所述算本文档来自技高网...

【技术保护点】
一种基于视觉主体检测的果蔬识别预处理方法，其特征在于研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见下式。W(I)＝S(I)+e(I)+U(I)。

【技术特征摘要】
1.一种基于视觉主体检测的果蔬识别预处理方法，其特征在于研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见下式。W(I)＝S(I)+e(I)+U(I)。2.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：王燕清，
申请(专利权)人：南京晓庄学院，
类型：发明
国别省市：江苏,32