一种复杂场景下的二维码检测和校正方法技术

本发明专利技术公开了一种复杂场景下的二维码检测和校正方法，主要解决目前二维码识别相关算法在复杂场景中失效的问题。该算法使用局部HOG特征通过级联的方式来检测复杂场景中的二维码，使用卷积神经网络来进一步筛选及回归二维码中的定位点进而对二维码进行精确定位及校正。通过上述算法，本方案能够在复杂场景中快速且准确的定位以及校正二维码，在移动支付、工业检测、机器人二维码导航等具有二维码识别功能需求的领域内具有很高的实用价值和推广价值。

【技术实现步骤摘要】
一种复杂场景下的二维码检测和校正方法
本专利技术涉及图像检测
，尤其是一种复杂场景下的二维码检测和校正方法。
技术介绍
二维码作为日常生活中最为常见的一种编码形式，其被广泛应用于移动支付、信息获取等等；目前，现有技术中常规的二维码识别采用二值化处理，以得到图像中二维码的模式信息，进而根据图像中的二维码的模式信息确定二维码的定位符，以实现二维码的检测定位。但是，二值化的识别效率较低、准确性较差，仅识别较为简单的场景、其无法实现复杂环境下的二维码准确定位检测。定位到二维码后在识别前需要对二维码校准，目前常用的方法是根据定位点在图像中黑白间隔比的比例来计算3个校正点，但是对于较为模糊、污损的二维码很难正确校正。另外，还有采用关键点进行检测识别二维码的，如专利申请号为“201911168409.3”、名称为“基于关键点检测的二维码检测系统及检测方法”的中国专利技术专利，其包括图像输入模块，用于输入待检测的二维码图像；图像处理模块，用于对所述二维码图像进行图像处理，得到符合关键点检测要求的待检测图像；二维码检测模块，用于根据预设的姿态估计算法，对所述待检测图像进行二维码区域检测，得到所述待检测图像上的二维码区域；二维码识别模块，用于对检测得到的各所述二维码区域进行二维码识别并输出所识别到的内容。但是，其采用关键点进行检测，但是，其同样存在关键点无法准确检测的问题。因此，急需要提出一种检测准确、步骤简便的复杂场景下的二维码检测和校正方法。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种复杂场景下的二维码检测和校正方法，本专利技术采用的技术方案如下：一种复杂场景下的二维码检测和校正方法，包括以下步骤：获取自然场景和支付场景下数幅二维码图像，使用二维码识别算法对图像中的二维码进行位置及三个定位点的标记，并对未识别的图像进行标记；构建具有局部HOG特征的级联的分类器；将图像分为训练集和测试集，并从训练样本中获取二维码区域正样本和非二维码区域负样本；利用学习区分二维码区域正样本和非二维码区域负样本的HOG特征；利用学习得到的HOG特征对待检测二维码图像进行窗口扫描，得到二维码图像中二维码区域坐标；构建由卷积层、pooling层或全连接层组成的定位点回归网络模型；对训练集的二维码图像进行随机旋转、颜色变换、模糊、形变处理，以得到扩充的增强数据集；将所述训练集数据输入至定位点回归网络模型，根据L1损失函数调整定位点回归网络模型的参数，以得到训练后的网络模型；并使用测试数据集合对精度进行测试；加载训练后的网络模型，将测试集内的任一幅包含二维码的图像送入到网络模型中，得到此图像中二维码图对应的三个定位点坐标以及该二维码的置信度；利用三个定位点坐标计算仿射变换参数，对该二维码图像进行仿射变换校正。优选地，所述分类器包括5层弱分类器，且第一层包含4个局部HOG特征，第二层弱分类器包含8个局部HOG特征，第三层弱分类器包含16个局部HOG特征，且其余层分类器包含32个局部HOG特征。进一步地，所述定位点回归网络由卷积层、pooling层或全连接层组成的定位点回归网络模型，包括以下步骤：根据二维码的定位点的特征，预设包含5个3*3卷积层、3个1*1卷积层的网络；对训练集的二维码图像进行随机旋转、颜色变换、模糊、形变处理，以得到扩充的增强数据集；将所述训练集数据输入至定位点回归网络模型，根据损失函数调整定位点回归网络模型的参数，以得到训练后的网络模型；并使用测试数据集合对精度进行测试；加载训练后的网络模型，将任一幅包含二维码的图像区域送入到网络中，得到此图像中二维码图对应的三个定位点坐标以及是二维码的置信度；利用三个定位点坐标计算仿射变换参数，对该二维码图像进行仿射变换校正。更进一步地，所述采用局部HOG特征进行二维码定位，包含包括以下步骤：将图像分为训练集和测试集，并从训练样本中获取二维码区域正样本和非二维码区域负样本；采用聚类算法对所述二维码区域正样本和非二维码区域负样本进行聚类处理，并利用聚类处理后的二维码区域正样本和非二维码区域负样本的出现频率对二维码区域正样本和非二维码区域负样本进行排序筛选；利用排序后的二维码区域正样本和非二维码区域负样本按频率加载每一层分类器学习，获得不同尺度和位置上的局部HOG特征；利用学习得到的HOG特征对待检测二维码图像进行窗口扫描，得到二维码图像中二维码区域坐标。更进一步地，所述利用三个定位点坐标对该二维码图像进行坐标校正，包括以下步骤：根据得到的3个定位点相对位置计算仿射变换矩阵，通过仿射变换对图像进行变换得到校正的二维码图像。一种复杂场景下的二维码检测和校正系统，包括:二维码定位模块，采用局部HOG特征来对复杂场景的二维码图像进行定位；二维码校正模块，采用定位点回归网络模型对任一包含二维码的图像区域进行校正。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术巧妙的采用了级联的局部HOG特征来对复杂场景的二维码图进行定位。其好处是，通过3层级联可以逐层快速的排除掉非二维码区域，得到最终图像中可能的二维码区域，尤其在复杂场景下可以快速准确的得到二维码区域。(2)本专利技术采用采用一系列卷积层、pooling层或全连接层对第一步得到的二维码区域进行校正点回归及进一步筛选，其好处是：可以较为快速和准确的得到不同质量二维码图像中的校准点，且可以有效的排除干扰二维码区域。(3)本专利技术通过对训练集的二维码图像进行扩充增强处理，其好处是：能够在校正网络训练前获得大量的样本，防止模型训练过程中的过拟合。(4)本专利技术采用聚类算法对定位过程中负样本进行聚类处理，并利用聚类处理后的负样本的出现频率对二维码图像进行排序筛选，其好处是：可以在级联分类器的第一层和第二层排除掉绝大多数非二维码区域，进而能够快速准确进行二维码定位。本专利技术解决了目前复杂场景下二维码识别失效或者准确率较低、速度较慢等一些缺点，在移动支付、物流等领域具有很高的实用价值和推广价值。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术定位训练过程及检测过程流程图。图2为本专利技术的定位点回归网络模型的示意图。图3为本专利技术检测及校正过程总流程图。具体实施方式为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本专利技术作进一步说明，本专利技术的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例如图1至图3所示本文档来自技高网...

【技术保护点】
1.一种复杂场景下的二维码检测和校正方法，其特征在于，包括以下步骤：/n获取自然场景和支付场景下数幅二维码图像，使用二维码识别算法对图像中的二维码进行位置及三个定位点的标记，并对未识别的图像进行标记；/n构建具有局部HOG特征的级联的分类器；/n将图像分为训练集和测试集，并从训练样本中获取二维码区域正样本和非二维码区域负样本；利用学习区分二维码区域正样本和非二维码区域负样本的HOG特征；/n利用学习得到的HOG特征对待检测二维码图像进行窗口扫描，得到二维码图像中二维码区域坐标；/n构建由卷积层、pooling层或全连接层组成的定位点回归网络模型；对训练集的二维码图像进行随机旋转、颜色变换、模糊、形变处理，以得到扩充的增强数据集；/n将所述训练集数据输入至定位点回归网络模型，根据L1损失函数调整定位点回归网络模型的参数，以得到训练后的网络模型；并使用测试数据集合对精度进行测试；/n加载训练后的网络模型，将测试集内的任一幅包含二维码的图像送入到网络模型中，得到此图像中二维码图对应的三个定位点坐标以及该二维码的置信度；/n利用三个定位点坐标计算仿射变换参数，对该二维码图像进行仿射变换校正。/n...

【技术特征摘要】
1.一种复杂场景下的二维码检测和校正方法，其特征在于，包括以下步骤：
获取自然场景和支付场景下数幅二维码图像，使用二维码识别算法对图像中的二维码进行位置及三个定位点的标记，并对未识别的图像进行标记；
构建具有局部HOG特征的级联的分类器；
将图像分为训练集和测试集，并从训练样本中获取二维码区域正样本和非二维码区域负样本；利用学习区分二维码区域正样本和非二维码区域负样本的HOG特征；
利用学习得到的HOG特征对待检测二维码图像进行窗口扫描，得到二维码图像中二维码区域坐标；
构建由卷积层、pooling层或全连接层组成的定位点回归网络模型；对训练集的二维码图像进行随机旋转、颜色变换、模糊、形变处理，以得到扩充的增强数据集；
将所述训练集数据输入至定位点回归网络模型，根据L1损失函数调整定位点回归网络模型的参数，以得到训练后的网络模型；并使用测试数据集合对精度进行测试；
加载训练后的网络模型，将测试集内的任一幅包含二维码的图像送入到网络模型中，得到此图像中二维码图对应的三个定位点坐标以及该二维码的置信度；
利用三个定位点坐标计算仿射变换参数，对该二维码图像进行仿射变换校正。


2.根据权利要求1所述的一种复杂场景下的二维码检测和校正方法，其特征在于，所述分类器包括5层弱分类器，且第一层包含4个局部HOG特征，第二层弱分类器包含8个局部HOG特征，第三层弱分类器包含16个局部HOG特征，且其余层分类器包含32个局部HOG特征。


3.根据权利要求1所述的一种复杂场景下的二维码检测和校正方法，其特征在于，所述定位点回归网络由卷积层、pooling层或全连接层组成的定位点回归网络模型，包括以下步骤：
根据二维码的定位点的特征，预设包含5个3*3卷积层、3个1*1卷积层的网络；
对训练集的二维码图像进行随机旋转、颜色变换、模糊、形变...

【专利技术属性】
技术研发人员：王飞，刘小超，
申请(专利权)人：成都艾视特信息技术有限公司，
类型：发明
国别省市：四川;51