一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法技术

本发明专利技术公开了一种基于改进YOLOV5模型的纸质药盒钢印字符的识别方法，方法包括：使用图像采集设备采集药盒的钢印字符图像；对图像进行图像增强等预处理并且对识别区域打上标签；输入至改进的YOLOV5模型中进行训练，得到训练完成的YOLOV5模型；改进的YOLOV5模型包括：在YOLOV5的骨干网络中添加高效位置注意力机制CA(Coordinateattention)使得模型网络能够关注大范围的位置信息又不会带来过多的计算量，有助于模型性能提升以及更好地定位和识别目标；用SimSPPF替换SPPF快速池化层，提升训练速度；针对密集的小目标，在模型内额外使用了一个更小的先验框并且相应的增加了一个更小的检测头；将待识别的数据集输入处理，得到最终的预测结果。最终的预测结果。最终的预测结果。

【技术实现步骤摘要】
一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法


[0001]本专利技术涉及药盒目标识别领域，特别涉及一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法。

技术介绍

[0002]钢印字符是各类药盒、食品、机器铭牌、工业材料上经常出现的字符，主要包括有出厂编号、生产日期、工作条件等信息。相较于喷墨字符、印刷字符等方式，钢印字符的过程相对简单，并且不易受环境污染、不易受物理磨损、不会随时间而脱落等影响字符的可读性，对药盒来说，最重要的就是产品的生产日期以及使用期限，所以很多药盒会选择钢印字符。而钢印的准确性是保证消费者能在规定时限内使用药品必要条件，故识别药盒上的钢印字符是关键一环。
[0003]起初的生产厂商流水生产线上，通常依靠雇佣劳动力识别的方式来检测产品的钢印字符。这种检测方式不仅速度较慢，而且因为人的主观能动性，每个人对字符清晰度的判断并不一样，漏检、错检率较高，并且雇佣劳动力需要花费较大的成本。另外随着生活科技的发展，依靠机器来识别钢印字符的情况逐渐崭露头角，OCR文字识别、模板匹配识别等手段逐渐丰富，在选择印刷字符、喷墨字符等方式的厂商中，因为生产日期、使用期限等字符的清晰度较高，且和背景颜色相差明显，易于一般的图像处理手段进行字符识别。但对于钢印字符这种目标和背景颜色相近，对比并不明显，另外相机获取在流水线上较快移动的药盒图像时会出现对焦不准等情况，导致获得的图像不清晰，不利于传统图像处理进行识别。由于背景光线等环境的影响，并且识别目标不在一个平面上，会进一步加大钢印字符识别的难度，获得的准确率并不理想。近年来，在机器视觉领域中，目标检测深受人们关注，也被很多厂商运用于流水线检测和识别。很多目标检测的方法被提出，很多优秀的神经网络，例如CNN、RCNN、VGG等网络被运用其中。除了需要关注检测精度是否具有提高空间，由于满足流水线的实时识别所要求，检测速度也是需要考虑的因素。

技术实现思路

[0004]鉴于上述背景，为提高纸质药盒各类钢印字符的检测的精度和效率，提出了一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法。该方法在YOLOV5模型中添加了高效位置注意力机制CA(Coordinate attention)使得模型网络能够关注大范围的位置信息又不会带来过多的计算量，有助于模型性能提升以及更好地定位和识别目标；使用快速池化层SimSPPF替换SPPF，提升训练速度；针对密集的小目标，在模型内额外使用了一个更小的先验框并且相应的增加了一个更小的检测头。
[0005]本专利技术采取的技术方案为：
[0006]一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法，包括如下步骤：
[0007]S1、使用相机获取清晰以及模糊纸质药盒的钢印字符图像，经过图像增强扩充图像后，对其进行人工标注类别制作成YOLO格式的数据集；
[0008]S2、按照比例将所述数据集划分为验证集、训练集和测试集；
[0009]S3、根据实际运行的计算机内存、显卡和显存的配置信息对参数batch_size、workers和Epoch进行设置；
[0010]S4、载入预训练模型，随机初始化网络权重，将数据集输入至改进的YOLOV5模型中进行训练；
[0011]S5、该YOLOV5模型由Backbone网络、Neck网络、Head网络组成；Backbone网络对数据集进行特征提取，Neck网络双塔结构采样进一步提取特征，Head网络利用提取的特征通过网格的anchor的不同尺寸的特征上进行目标预测；
[0012]S6、网络训练一轮得到的训练预测图对先验框进行调整得到预测框，再和目标的真实框计算IoU，表示预测框和真实框的交并比，根据目标回归函数CIoU得到的定位损失，然后将分类损失、置信度损失、定位损失加权获得网络的总损失；
[0013]S7、将损失反向传播至改进的YOLOV5模型中，依靠SGD随机梯度下降法更新网络权重参数，获得新的权重模型；
[0014]S8、经过S3)中设定的Epoch值，重复步骤S4)
‑
S7)，每一轮更新的网络模型参数，作为下一轮的预训练模型开始新一轮训练；根据每一轮获得的指标信息；最终得到一个设定训练轮数内的最佳模型；
[0015]S9、将测试集中的待测图像输入至步骤S8)的最佳模型中训练，输出所得的预测框，根据NMS极大值抑制，依据每个类别的标签对所有预测框进行分组，并将组中的置信度对其进行从大到小的排序，获得得分最高的矩形框，然后遍历剩余的矩形框并计算与得分最高的矩形框的交集与并集的比值，如果大于预设阈值，则将其移除，然后对剩余的检测框不断进行上述操作，直至得到最终的预测框，实现药盒钢印字符的识别；得到最终的预测框，实现药盒钢印字符的识别。
[0016]进一步的，步骤S1)中的图像增强扩充数据集方式包括：图像对比度、图像模糊、图像加噪、图像缩放、图像旋转。
[0017]进一步的，使用在线网页工具MakeSence对获得的图像进行标注，预先设定好所需识别的类别，用矩形框对所需识别的生产日期进行框选，打上相应的类别标签，对所有图像完成标签后输出YOLO标签的TXT格式，标记内容分别为类别(class)，归一化后的矩形中心xy坐标(x_center，y_center)以及矩形的宽度(width)和长度(height)。
[0018]进一步的，步骤S5)的改进YOLOV5由Backbone网络、Neck网络和Head网络三个网络组成。
[0019]进一步的，步骤S4)中YOLOV5模型包括以下改进方法：
[0020]a.在快速池化层前加入CA位置注意力机制模块，通过这个模块将输入特征图分为两个方向，沿一方向提取特征，同时沿另一方向保留位置信息，分别进行全局平均池化，然后将两个方向获得的特征图进行编码。
[0021]b.快速池化层用速度更快的SimSPPF代替SPPF，将SiLU激活函数替换成ReLU激活函数；
[0022]c.针对小目标检测，添加一个更小的预测框:[5，6，8，14，15，11]，相应的在Head网络中增加了一个更小的检测头；在原先Neck网络继续进行一次上采样等处理，使特征图继续扩大；并将得到的特征图与Backbone网络中特征图融合，用于小目标检测。
[0023]进一步的，所述步骤S6)中YOLOV5的总损失权重公式如下式：
[0024]LOSS＝λ1L
cls
+λ2L
obj
+λ3L
loc
[0025]在该式中：L
cls
为分类损失，只计算正样本的分类损失；
[0026]L
obj
为置信度损失(目标损失)，计算的是所有样本的损失；
[0027]L
loc
为定位损失，采用的是CIoU_loss，只计算正样本的定位损失；
[0028]λ1λ2λ3为权重系数；
[0029]进一步的，在步骤S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法，其特征在于，包括如下步骤：S1、使用相机获取清晰以及模糊纸质药盒的钢印字符图像，经过图像增强扩充图像后，对其进行人工标注类别制作成YOLO格式的数据集；S2、按照比例将所述数据集划分为验证集、训练集和测试集；S3、根据实际运行的计算机内存、显卡和显存的配置信息对参数batch_size、workers和Epoch进行设置；S4、载入预训练模型，随机初始化网络权重，将数据集输入至改进的YOLOV5模型中进行训练；S5、所述YOLOV5模型由Backbone网络、Neck网络、Head网络组成；所述Backbone网络对所述数据集进行特征提取，所述Neck网络双塔结构采样进一步提取特征，所述Head网络利用提取的特征通过网格的anchor的不同尺寸的特征上进行目标预测；S6、网络训练一轮得到的训练预测图对先验框进行调整得到预测框，再和目标的真实框计算IoU，表示预测框和真实框的交并比，根据目标回归函数CIoU得到的定位损失，然后将分类损失、置信度损失、定位损失加权获得网络的总损失；S7、将损失反向传播至改进的YOLOV5模型中，依靠SGD随机梯度下降法更新网络权重参数，获得新的权重模型；S8、经过S3)中设定的Epoch值，重复步骤S4)
‑
S7)，每一轮更新的网络模型参数，作为下一轮的预训练模型开始新一轮训练；根据每一轮获得的指标信息；最终得到一个设定训练轮数内的最佳模型；S9、将测试集中的待测图像输入至步骤S8)的最佳模型中训练，输出所得的预测框，根据NMS极大值抑制，依据每个类别的标签对所有预测框进行分组，并将组中的置信度对其进行从大到小的排序，获得得分最高的矩形框，然后遍历剩余的矩形框并计算与得分最高的矩形框的交集与并集的比值，如果大于预设阈值，则将其移除，然后对剩余的检测框不断进行上述操作，直至得到最终的预测框，实现药盒钢印字符的识别；得到最终的预测框，实现药盒钢印字符的识别。2.根据权利要求1所述的一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法，其特征在于：步骤S1)中的图像增强扩充数据集方式包括：图像对比度、图像模糊、图像加噪、图像缩放和图像旋转。3.根据权利要求2所述的一种基于改进YOLOV5模型的纸质药盒钢印字符识别方法，其特征在于：使用在线网页工具MakeSence对获得的图像进行标注，预先设定好所需识别的类别，用矩形框对所需识别的生产日期进行框选，打上相应的类别标签，对所有图像完成标签后输出YOLO标签的TXT格式，标记内容分别为类别(class)，归一化后的矩形中心xy坐标(x_center，y_center)以及矩形的宽度(...

【专利技术属性】
技术研发人员：王俊茹，黄杨乐天，刘宜胜，向忠，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：