杏鲍菇表面瑕疵检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种杏鲍菇表面瑕疵检测方法、装置及存储介质。其中方法包括如下步骤：S1：环绕杏鲍菇至少一周进行视频采集，将视频解析成杏鲍菇图像帧序列；S2：提取获得的杏鲍菇图像帧中的前景目标；S3：搭建包括生成器及鉴别器的条件生成对抗网络，将提取的前景目标分别输入到生成器和鉴别器中生成标准杏鲍菇轮廓图像；S4：从前景目标中提取原始杏鲍菇轮廓图像；S5：将标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差运算，获得杏鲍菇瑕疵位置。上述方法，通过机器视觉代替人工检测，提高了杏鲍菇的检测效率，并采用生成对抗网络生成标准的杏鲍菇轮廓，实现对形态各异、瑕疵形状多变的杏鲍菇等杏鲍菇的瑕疵位置检测。多变的杏鲍菇等杏鲍菇的瑕疵位置检测。多变的杏鲍菇等杏鲍菇的瑕疵位置检测。

【技术实现步骤摘要】
杏鲍菇表面瑕疵检测方法、装置及存储介质


[0001]本专利技术属于机器视觉领域，特别涉及一种杏鲍菇表面瑕疵检测方法、装置及存储介质。

技术介绍

[0002]农业产品表面瑕疵的智能化检测已经逐步替代以往的人工检测，并成为一种趋势，这也是传统农业生产企业迈向智能生产过程中需要突破的一项技术。
[0003]目前如杏鲍菇等可食用伞菌的表面的瑕疵检测方法除人工检测外还采用机器视觉算法进行检测。但是杏鲍菇形态各异，瑕疵形状多变，通过手动设计的算法难以适应上述杏鲍菇多变的特点，同时，传统机器视觉检测算法不具备泛化性且识别精度不高。因此需要寻找一种基于深度学习的杏鲍菇表面瑕疵智能检测方法，能够快速、灵活且高精度识别杏鲍菇表面的瑕疵位置。

技术实现思路

[0004]专利技术目的：本专利技术的目的是提出一种杏鲍菇表面瑕疵检测方法，能够快速、灵活且高精度地识别杏鲍菇等可食用伞菌的表面瑕疵位置。
[0005]本专利技术的另一目的是提出一种可以实施上述杏鲍菇表面瑕疵检测方法的装置，以及存储有上述杏鲍菇表面瑕疵检测方法实例化的计算机程序的存储介质。
[0006]技术方案：本专利技术所述的杏鲍菇表面瑕疵检测方法，包括如下步骤：
[0007]S1：环绕杏鲍菇至少一周进行视频采集，将视频解析成杏鲍菇图像帧序列；
[0008]S2：提取获得的杏鲍菇图像帧中的前景目标；
[0009]S3：搭建包括生成器及鉴别器的条件生成对抗网络，将提取的前景目标分别输入到生成器和鉴别器中生成标准杏鲍菇轮廓图像；
[0010]S4：从前景目标中提取原始杏鲍菇轮廓图像；
[0011]S5：将标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差运算，获得杏鲍菇瑕疵位置。
[0012]进一步的，所述步骤S2包括步骤：
[0013]S2.1：搭建目标检测主干特征网络提取杏鲍菇图像帧中的特征图；
[0014]S2.2：采用注意力算法获取特征图的注意力特征图；
[0015]S2.3：将得到的注意力特征图作为节点输入，采用多尺度特征融合算法得到融合特征；
[0016]S2.4：将融合特征输入到全局池化层中，输出杏鲍菇在图像中的区域和类别；
[0017]S2.5：采用图像分割算法根据杏鲍菇在图像中的区域切割出杏鲍菇图像中的杏鲍菇，输出前景目标。
[0018]进一步的，所述步骤S2.3中，多尺度特征融合算法采用自顶向下和自底向上的双向融合方式。
[0019]进一步的，所述步骤S2.1中的目标检测主干特征网络为MobileNet
‑
SSD网络。
[0020]本专利技术所述的杏鲍菇表面瑕疵检测装置，包括夹具、驱动机构、图像采集装置及处理器，所述夹具用于夹取杏鲍菇，所述驱动机构用于驱动所述夹具自转，所述图像采集装置用于对自转的杏鲍菇进行视频采集，所述处理器用于计算瑕疵位置，所述处理器包括预处理模块、前景目标提取模块、条件生成对抗模块及瑕疵位置计算模块，所述预处理模块用于将视频解析成杏鲍菇图像帧序列，所述前景目标提取模块用于从杏鲍菇图像帧中提取不含背景的杏鲍菇前景目标，所述条件生成对抗模块用于生成标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像，所述瑕疵位置计算模块用于对杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差计算获得杏鲍菇瑕疵位置。
[0021]进一步的，还包括背景板，所述夹具及所述驱动机构设置于所述背景板与所述图像采集装置之间。
[0022]进一步的，所述前景目标提取模块包括主干特征提取网络、多通道注意力子模块及多尺度特征融合模块，所述主干特征提取网络用于提取杏鲍菇图像帧中的特征图，所述多通道注意力子模块嵌于所述主干特征提取网络的第6、8、10、12和14层后，用于从所述特征图中获取注意力特征图，所述多尺度特征融合模块用于从所述注意力特征图中获取融合特征。
[0023]进一步的，所述目标检测主干特征网络为MobileNet
‑
SSD网络。
[0024]进一步的，所述多尺度特征融合模块采用自顶向下和自底向上的双向融合方式。
[0025]本专利技术所述的存储介质，存储有计算机程序，所述计算机程序被设置为运行时实现上述杏鲍菇表面瑕疵检测方法。
[0026]有益效果：与现有技术相比，本专利技术具有如下优点：1、通过机器视觉代替人工检测，提高了对杏鲍菇等可食用伞菌的检测效率；2、使用生成对抗网络直接从原始杏鲍菇图像中生成标准杏鲍菇图像，可以实现对形态各异、瑕疵形状多变的杏鲍菇的瑕疵位置监测；3、使用了轻量化的主干网络结构，并通过在网络中加入轻量型多通道注意力模块和双向融合的多尺度特征融合模块，提升检测精度和监测速度的同时降低计算量，网络构建方便，部署难度低，适用于实际加工现场。
附图说明
[0027]图1为本专利技术实施例的杏鲍菇表面瑕疵检测方法的流程图；
[0028]图2为本专利技术实施例的杏鲍菇表面瑕疵检测装置的机械结构图；
[0029]图3位本专利技术实施例的多通道注意力模块结构图；
[0030]图4为本专利技术实施例的多尺度特征融合模块的结构图；
[0031]图5为本专利技术实施例的目标检测主干特征网络的结构图。
具体实施方式
[0032]下面结合附图对本专利技术的技术方案作进一步说明。
[0033]参照图1，根据本专利技术实施例的杏鲍菇表面瑕疵检测方法，包括如下步骤：
[0034]S1：环绕杏鲍菇至少一周进行视频采集，将视频解析成杏鲍菇图像帧序列；
[0035]S2：提取获得的杏鲍菇图像帧中的前景目标；
[0036]S3：搭建包括生成器及鉴别器的条件生成对抗网络，将提取的前景目标分别输入到生成器和鉴别器中生成标准杏鲍菇轮廓图像；
[0037]S4：从前景目标中提取原始杏鲍菇轮廓图像；
[0038]S5：将标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差运算，获得杏鲍菇瑕疵位置。
[0039]根据上述技术方案的杏鲍菇表面瑕疵检测方法，通过机器视觉代替人工检测，提高了杏鲍菇等可食用杏鲍菇的检测效率。并且采用生成对抗网络，生成对抗网络中的生成器生成不断根据从采集的杏鲍菇图像帧中生成标准的杏鲍菇轮廓图像给鉴别器鉴别，二者交替优化，使生成器可以生成标准的杏鲍菇轮廓图像，避免人为制作标准杏鲍菇轮廓图像耗费大量时间人力和物力，同时也提高鉴别器提取的原始杏鲍菇轮廓图像的准确度。最后通过将获得的标准杏鲍菇轮廓和原始杏鲍菇轮廓进行和差运算，即可得到杏鲍菇的表面瑕疵位置，实现对形态各异、瑕疵形状多变的杏鲍菇等杏鲍菇的瑕疵位置检测。
[0040]其中，在步骤S1中，将杏鲍菇夹紧在夹具100上，并通过驱动机构200驱动夹具100进行自转，图像采集装置300对自转的杏鲍菇进行视频拍摄，以间隔15帧截取一次图像得到杏鲍菇的一组图像帧序列，并计算各图像帧序列中各杏鲍菇的轮廓，取其中轮廓直径最大的12张图像帧搭建前景目标提取用的目标检测主干特征网络。
[0041]参照本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种杏鲍菇表面瑕疵检测方法，其特征在于，包括如下步骤：S1：环绕杏鲍菇至少一周进行视频采集，将视频解析成杏鲍菇图像帧序列；S2：提取获得的杏鲍菇图像帧中的前景目标；S3：搭建包括生成器及鉴别器的条件生成对抗网络，将提取的前景目标分别输入到生成器和鉴别器中生成标准杏鲍菇轮廓图像；S4：从前景目标中提取原始杏鲍菇轮廓图像；S5：将标准杏鲍菇轮廓图像和原始杏鲍菇轮廓图像进行和差运算，获得杏鲍菇瑕疵位置。2.根据权利要求1所述的杏鲍菇表面瑕疵检测方法，其特征在于，所述步骤S2包括步骤：S2.1：搭建目标检测主干特征网络提取杏鲍菇图像帧中的特征图；S2.2：采用注意力算法获取特征图的注意力特征图；S2.3：将得到的注意力特征图作为节点输入，采用多尺度特征融合算法得到融合特征；S2.4：将融合特征输入到全局池化层中，输出杏鲍菇在图像中的区域和类别；S2.5：采用图像分割算法根据杏鲍菇在图像中的区域切割出杏鲍菇图像中的杏鲍菇，输出前景目标。3.根据权利要求2所述的杏鲍菇表面瑕疵检测方法，其特征在于，所述步骤S2.3中，多尺度特征融合算法采用自顶向下和自底向上的双向融合方式。4.根据权利要求2所述的杏鲍菇表面瑕疵检测方法，其特征在于，所述步骤S2.1中的目标检测主干特征网络为MobileNet
‑
SSD网络。5.一种杏鲍菇表面瑕疵检测装置，其特征在于，包括夹具、驱动机构、图像采集装置及处理器，所述夹具用于夹取杏鲍菇，所述驱动机构用于驱动所述夹具自转，所述图像采集装置用于对自转的杏鲍菇进行视频...

【专利技术属性】
技术研发人员：胡荣林，付浩志，刘宬邑，陆文豪，董甜甜，张海艳，邵鹤帅，王媛媛，李鑫鑫，段媛媛，谢敏，蔡进恒，冯万利，
申请(专利权)人：江苏淮香食用菌有限公司，
类型：发明
国别省市：