烟叶包芯霉变在线视觉检测方法技术

本发明专利技术公开了一种烟叶包芯霉变在线视觉检测方法，本发明专利技术的主要设计构思在于，离线获取烟叶包芯图像并对图像进行内容评估后，构建离线烟叶包芯霉变图像的数据集以便训练Faster R

【技术实现步骤摘要】
烟叶包芯霉变在线视觉检测方法


[0001]本专利技术涉及卷烟制造领域，尤其涉及一种烟叶包芯霉变在线视觉检测方法。

技术介绍

[0002]烟草中富含糖类、果胶质和有机酸等，是微生物生长的良好基质，在其醇化贮运过程中，容易出现发霉变质的情况，导致严重质量事故。
[0003]依据烟草行业推荐标准，目前现有的烟草霉变识别方法主要包括以下几种方法：一是凭工作人员眼观、鼻闻、手捏以及燃吸进行感官辨别；二是微生物学检验，对霉菌进行计数；三是参考烟草中麦角甾醇含量，用气相色谱质谱联用法对其进行检测。
[0004]人工感官检测存在主观因素大、嗅觉疲劳、健康隐患的缺点，而微生物学检测和麦角甾醇的气质联用检测过程又过于繁琐耗时。

技术实现思路

[0005]鉴于上述，本专利技术旨在提供一种烟叶包芯霉变在线视觉检测方法，以解决现有技术应用中生产线烟叶包芯霉变需人工判断的问题。
[0006]本专利技术采用的技术方案如下：
[0007]本专利技术提供了一种烟叶包芯霉变在线视觉检测方法，其中包括：
[0008]离线获取烟叶包芯图像并对图像进行内容评估后，构建离线烟叶包芯霉变图像的数据集，用于训练Faster R
‑
CNN模型；
[0009]在线获取烟叶包芯的原始图像，使用带色彩恢复的多尺度视网膜增强算法对原始图像进行增强，得到预处理图像；
[0010]使用训练完毕的Faster R
‑
CNN模型对预处理图像进行霉变判断；
[0011]对判断为霉变的图像进行人工复核，判断是否为真实霉变：如为误报则将误报对应的包芯图像加入数据集，用于对Faster R
‑
CNN模型进行后续迭代。
[0012]在其中至少一种可能的实现方式中，对原始图像的预处理方式包括：
[0013]利用带色彩恢复的多尺度视网膜增强算法的预设尺度因子和动态因子对原始图像的视觉效果进行增强，其中，所述尺度因子用于生成光照分布图像，所述动态因子用于控制图像色彩。
[0014]在其中至少一种可能的实现方式中，对于原始图像的预处理过程具体包括：
[0015]当烟叶包运行至工业相机前方时，工业相机拍摄图像，得到原始图像；
[0016]按尺度因子计算所述原始图像经高斯模糊处理后的增强图像；
[0017]求取增强图像的对数；
[0018]分别计算对数表达的增强图像中的RGB各通道的均值和均方差；
[0019]根据动态因子、均值以及均方差，分别计算RGB各通道的最小值和最大值；
[0020]结合所述最小值和所述最大值，分别对增强图像的RGB各通道的像素值进行线性映射，并化至0～255范围。
[0021]在其中至少一种可能的实现方式中，所述使用训练完毕的Faster R
‑
CNN模型对预处理图像进行霉变判断包括：
[0022]将预处理后的增强图像输入Faster R
‑
CNN模型进行处理：
[0023]以矩形框表示烟叶包芯位置和二分类概率；
[0024]使用预设阈值对二分类概率进行判断，如果预设的霉变概率大于预设阈值，则判断当前图像表征的烟叶包芯为发霉，否则判断烟叶包芯未发生霉变。
[0025]在其中至少一种可能的实现方式中，所述Faster R
‑
CNN模型的训练过程包括：
[0026]从多个角度采集生产线运行过程中的烟叶包芯图像，包括正常包芯图像和霉变包芯图像，并根据人工判别结果，将所有图像数据分为正常与霉变两类；
[0027]离线标注出所有图像上的烟叶包芯位置和包芯类别，并将所有采集的图片及其标注结果组成用于模型训练的数据集；
[0028]使用Faster R
‑
CNN架构作为烟叶包芯霉变检测的判别器，结合数据集及其中的标注结果进行训练。
[0029]在其中至少一种可能的实现方式中，所述训练过程还包括：选择预设比例的满足交并比阈值的烟叶包芯区域的正例，以及不满足交并比阈值的背景和残缺烟叶包芯区域的负例。
[0030]在其中至少一种可能的实现方式中，所述烟叶包芯位置以一个矩形框对应的四元组表示，具体包括矩形框左上角点的横、纵像素位置，矩形框右下角点的横、纵像素位置；
[0031]所述包芯类别以整数区分包芯的正常状态及霉变状态；
[0032]由包芯位置四元组与包芯类别共同组成当前烟叶包芯图像的标注结果。
[0033]在其中至少一种可能的实现方式中，所述对判断为霉变的图像进行人工复核包括：
[0034]将由Faster R
‑
CNN模型处理得到的烟叶包芯边界框和霉变概率绘制在预处理图像上，并以可视化方式展示以供人工复核；
[0035]若经人工复核确定为发霉，则进入清理程序；若经人工复核为未发霉，则将错误数据重新标注后保存至用于训练模型的数据集中。
[0036]本专利技术的主要设计构思在于，离线获取烟叶包芯图像并对图像进行内容评估后，构建离线烟叶包芯霉变图像的数据集以便训练Faster R
‑
CNN模型，实际检测过程中，在线获取烟叶包芯的原始图像，使用带色彩恢复的多尺度视网膜增强算法对原始图像进行增强，得到预处理图像，接着结合训练后的Faster R
‑
CNN模型对预处理图像进行霉变判断，将模型判断为霉变的图像再进行人工复核，确定是否为真实霉变，如为误报则将误报对应的包芯图像加入数据集，以便对Faster R
‑
CNN模型进行后续迭代。本专利技术实施简单、硬件要求低，采用操作简单的无接触测量方式，具体地，利用Faster R
‑
CNN目标检测机制判断烟叶包芯是否发霉，具有较高准确性，并配合人工复核提升检测的精准度，在提高生产线的自动化水平的同时，能够直接应用在现有生产线上，避免对生产线改造，从而大幅降低检测成本。
附图说明
[0037]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步描述，其中：
[0038]图1为本专利技术实施例提供的烟叶包芯霉变在线视觉检测方法的流程图；
[0039]图2为本专利技术实施例提供的MSRCR算法处理示意图；
[0040]图3为本专利技术实施例提供的aster R
‑
CNN深度神经网络的结构示意图。
具体实施方式
[0041]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0042]本专利技术提出了一种烟叶包芯霉变在线视觉检测方法的实施例，具体来说，结合图1示意，其中主要包括：
[0043]1、离线获取烟叶包芯图像，对图像进行内容评估，构建离线烟叶包芯霉变图像数据集，完成Fast本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种烟叶包芯霉变在线视觉检测方法，其特征在于，包括：离线获取烟叶包芯图像并对图像进行内容评估后，构建离线烟叶包芯霉变图像的数据集，用于训练Faster R
‑
CNN模型；在线获取烟叶包芯的原始图像，使用带色彩恢复的多尺度视网膜增强算法对原始图像进行增强，得到预处理图像；使用训练完毕的Faster R
‑
CNN模型对预处理图像进行霉变判断；对判断为霉变的图像进行人工复核，判断是否为真实霉变：如为误报则将误报对应的包芯图像加入数据集，用于对Faster R
‑
CNN模型进行后续迭代。2.根据权利要求1所述的烟叶包芯霉变在线视觉检测方法，其特征在于，对原始图像的预处理方式包括：利用带色彩恢复的多尺度视网膜增强算法的预设尺度因子和动态因子对原始图像的视觉效果进行增强，其中，所述尺度因子用于生成光照分布图像，所述动态因子用于控制图像色彩。3.根据权利要求2所述的烟叶包芯霉变在线视觉检测方法，其特征在于，对于原始图像的预处理过程具体包括：当烟叶包运行至工业相机前方时，工业相机拍摄图像，得到原始图像；按尺度因子计算所述原始图像经高斯模糊处理后的增强图像；求取增强图像的对数；分别计算对数表达的增强图像中的RGB各通道的均值和均方差；根据动态因子、均值以及均方差，分别计算RGB各通道的最小值和最大值；结合所述最小值和所述最大值，分别对增强图像的RGB各通道的像素值进行线性映射，并化至0～255范围。4.根据权利要求1所述的烟叶包芯霉变在线视觉检测方法，其特征在于，所述使用训练完毕的Faster R
‑
CNN模型对预处理图像进行霉变判断包括：将预处理后的增强图像输入Faster R
‑
CNN模型进行处理：以矩形...

【专利技术属性】
技术研发人员：金振训，章强，李汉莹，龚岳雄，
申请(专利权)人：浙江中烟工业有限责任公司，
类型：发明
国别省市：