基于神经网络的条形码定位方法及系统技术方案

本发明专利技术公开了一种基于神经网络的条形码定位方法及系统，所述方法采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果。所述系统采用前端交互、后台处理的方式运行；系统摄像头获取需要检测的图像，然后通过网络传输的方式发送至后台服务器端检测；后台服务器端采用所述条形码定位方法得到条形码的定位及解码结果后，将结果发回给前端。所述方法能够实现对不同尺度、摆放杂乱的快递面单上条形码的快速定位，并能对条形码进行分析解码，解决了现有技术中只是针对固定图像中条形码识别定位的问题。

【技术实现步骤摘要】
基于神经网络的条形码定位方法及系统
本专利技术涉及图像处理和深度学习
，具体涉及一种基于神经网络的条形码定位方法及系统。
技术介绍
近年来图像处理技术的发展与神经网络技术在图像处理上的发展与应用使得图像处理技术在各领域应用得更加方便与广泛，而这也使得物流扫码中在多种工作场景下对多尺度物流码进行识别定位成为可能。传统的图像处理技术是一种基于开发者先验知识的应用，开发者能根据特定场景对系统进行分析，设计出合理高效的方案，但场景变化容易导致系统出现失控。物流扫描工作中，场景的不同、使用人的工作习惯差异等会导致图像的特性出现许多差异，尺度变化较大，传统的图像处理方法较难设计出一个适用于各种情况下的系统。另外，目前关于条形码的研究，尽管有了许多成果，但集中体现在研究对固定图像中的条形码识别定位技术，而针对实际情况中条形码的应用研究尤其是在物流上的应用研究是十分欠缺的。目前快递行业所使用的扫描器基本上都是基于1987年推出的手持式条码扫描器，外形很像超市收款员拿在手上使用的条码扫描器一样。手持式扫描枪绝大多数采用CIS技术，光学分辨率为200dpi，有黑白、灰度、彩色多种类型，其中彩色类型一般为18位彩色。也有个别高档产品采用CCD作为感光器件，可实现真彩色，扫描效果较好。但该扫码器的缺点是需要使用者手动对准条形码，影响了快递流程，这也是物流行业自动化中的一个挑战，因此，针对物流扫码工作中货物复杂，条形码尺度变化多端的情况，急需设计一种条形码定位方法及系统来解决该问题。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供了一种基于神经网络的条形码定位方法，所述方法能够实现对不同尺度、摆放杂乱的快递面单上条形码的快速定位，并能对条形码进行分析解码，解决了现有技术中只是针对固定图像中条形码识别定位的问题。本专利技术的另一目的在于提供一种基于神经网络的条形码定位系统。本专利技术的目的可以通过如下技术方案实现：一种基于神经网络的条形码定位方法，所述方法采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果。进一步地，所述YOLO网络采用卷积层作为网络模型的前端部分提取图像深层的抽象特征，并在最后使用全连接层将网络模型的输出转化成代表预测结果的张量，张量的大小为：S*S*(B*5+C)，其中S*S为网格的数量，B为每个网格所预测的边界框个数，C为总共的类别数，在条形码预测工作中，所需的仅是预测出条形码这一类目标，所以这里的C为1。进一步地，所述YOLO网络采用梯度下降的方式更新网络参数，也就是参数朝着损失函数负梯度的方向迭代更新，YOLO网络模型的损失函数为：其中，S2表示YOLO网络将图片分成的网格数，B表示每个网格所预测的边界框个数，表示该目标所属的类别；表示物体是否落在网格i中，若是则为1，否则为0；表明网格i中的第j个边界框是否负责这次预测，若是则为1，否则为0；xi,yi,wi,hi,Ci代表存在目标的第i个预测框的位置以及置信度信息，对应的为标注的正确的目标位置信息以及置信度，因此为1；由于训练样本图片的所有网格中，没有目标的网格数一般是大于存在目标的网格数的，因此设置λcoord＞λnoobj使得损失函数更加注重对有目标网格带来的损失。进一步地，所述当定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，目的是要实现将条形码区域提取并平行摆放的效果，需要使用旋转变换将本来可能非垂直的条形码图案旋转至和边界平行，目标是不论快递面单如何摆放，都能将条形码区域调整至平行摆放位置并提取出来，这里采用仿射变换来校正条形码区域，仿射变换公式如下：中间的运算矩阵即为仿射变换矩阵，其中a1,a2,a3,a4是非奇异线性变换矩阵参数，tx,ty是平移变换矩阵参数，最后一行参数作为增强图像稳定性添加，能够省略。本专利技术的另一目的可以通过如下技术方案实现：一种基于神经网络的条形码定位系统，所述系统采用前端交互、后台处理的方式运行；系统摄像头获取需要检测的图像，然后通过网络传输的方式发送至后台服务器端检测；后台服务器端采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果，将结果发回给前端。进一步地，所述系统的后台服务器端能够供多个前端使用。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术提供的一种基于神经网络的条形码定位方法，采用神经网络技术对条形码进行定位，神经网络通过学习目标的深层抽象的特征识别目标，与传统图像技术通过目标基本的鲁棒性特征进行目标跟踪有所不同，神经网络所学习的特征具有更加良好的泛化能力，在目标的尺度、旋转角度以及图像亮度等特征变化较大时仍能很好地正确定位条形码，且所述神经网络采用YOLO网络，YOLO算法将目标定位问题转化成回归问题，实现从图像像素直接预测目标的位置，实时性十分高，能够快速对条形码进行定位。2、本专利技术提供的一种基于神经网络的条形码定位系统，以网络通信的方式连接系统的前端与后台服务器，前端负责采集图像以及与使用人交互，后台服务器完成条形码定位的功能，这种设计使得系统前端可以方便地移植到低成本的嵌入式平台上，复杂的运算处理由后台服务器负责，系统的可移植性高，一台服务器可以同时为多个前端提供算法支持，更加地节省使用成本。附图说明图1为本专利技术实施例基于神经网络的条形码定位系统实现流程示意图。图2为本专利技术实施例基于神经网络的条形码定位系统硬件平台整体结构图。图3为本专利技术实施例中使用的训练样本示例图。图4为本专利技术实施例YOLO网络的结构图。图5为本专利技术实施例YOLO训练网络的Loss变化曲线图。图6为本专利技术实施例的仿射变换原理图。图7(a)为本专利技术实施例中未修正仿射变换的图片，图7(b)为本专利技术实施例中未修正截取效果的图片，图7(c)为本专利技术实施例中修正仿射变换的图片，图7(d)为本专利技术实施例中最后得到的修正截取效果图片。图8(a)为CODE39码的基本构成示意图，图8(b)为CODE128码的基本构成示意图。图9为socket通信流程图。图10为本专利技术实施例中的软件界面示意图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例：本实施例提供了一种基于神经网络的条形码定位方法，所述方法采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果。所述方法通过一种基于神经网络的条形码定位系统来实现，所述系统采用前端交互、后台处理的方式运行；系统摄像头获取需要检测的图像，然后通过网络传输的方式发送至后台服务器端检测；后台服务器端采用所述方法得到条形码的定位以及解码结果，将结果发回给前端。所述系统的硬件模块由一个USB摄像头、一个摄像头架子，树莓派开发板，一台PC机组成。其中，摄像头选用的是JW-02型TTQ摄像头，采用USB2.0接口；树莓派型号为3代B型开发板；PC机的主要配置为GTX1050型GPU。摄本文档来自技高网...

【技术保护点】
1.一种基于神经网络的条形码定位方法，其特征在于：所述方法采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果。

【技术特征摘要】
1.一种基于神经网络的条形码定位方法，其特征在于：所述方法采用YOLO网络提取目标条形码的图像深层特征，并定位出条形码的区域，再对定位区域进行旋转校正，修正条形码区域，最后采用ZXing库对条形码内容进行解码并显示定位以及解码结果。2.根据权利要求1所述的一种基于神经网络的条形码定位方法，其特征在于：所述YOLO网络采用卷积层作为网络模型的前端部分提取图像深层的抽象特征，并在最后使用全连接层将网络模型的输出转化成代表预测结果的张量，张量的大小为：S*S*(B*5+C)，其中S*S为网格的数量，B为每个网格所预测的边界框个数，C为总共的类别数，在条形码预测工作中，所需的仅是预测出条形码这一类目标，所以这里的C为1。3.根据权利要求2所述的一种基于神经网络的条形码定位方法，其特征在于：所述YOLO网络采用梯度下降的方式更新网络参数，也就是参数朝着损失函数负梯度的方向迭代更新，YOLO网络模型的损失函数为：其中，S2表示YOLO网络将图片分成的网格数，B表示每个网格所预测的边界框个数，C表示该目标所属的类别；表示物体是否落在网格i中，若是则为1，否则为0；表明网格i中的第j个边界框是否负责这次预测，若是则为1，否则为0；xi,yi,wi,hi,Ci代表存在目标的第i个预测框的位置以及置信度信息，对应的为标注的正确的目标位置信息以及置信度，因此为1；由于...

【专利技术属性】
技术研发人员：谢巍，潘春文，张浪文，王缙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44