一种基于图像的交通标志检测方法技术

本发明专利技术涉及计算机视觉的深度学习技术领域，具体公开了一种基于图像的交通标志检测方法，所述方法包括对CCTSDB数据集进行数据增强，生成数据集中的正负样本；重新训练骨干网络ResNet

【技术实现步骤摘要】
一种基于图像的交通标志检测方法


[0001]本专利技术涉及计算机视觉的深度学习领域，具体是一种基于图像的交通标志检测方法。

技术介绍

[0002]交通标志检测是目标检测的一个子方向，而目标检测是图像处理算法的一个重要分支，目前广泛应用于安防系统(如人脸检测)、交通领域(如人脸检测；行人、车流量统计)、医疗领域(如医学检测、医学图像识别)等等。目标检测任务主要有两个目标：目标框预测、目标框分类。而目标检测算法分为传统检测和深度学习检测两类。传统检测算法常分为三个步骤：手工特征提取，区域选择，目标分类，而常用的特征是HOG和Haar；常用的区域选择是滑动窗口；常用的分类器为SVM、AdaBoost、Cascade。深度学习检测算法分为一步流算法和二步流算法。一步流算法框架为特征提取、FPN特征融合、检测头预测检测框和分类，常用的一步流算法由yolo系列、SSD等。二步流算法框架为特征提取，FPN特征融合、预测检测框、对检测框分类，与一步流相比，二步流算法会进行锚框的预测，而锚框的预测有以下进步：滑动窗口、selective search、RPN模块预测、自学习锚框、无锚框。二步流常用的算法有RCNN、SPPNet、Fast RCNN、Faster RCNN、FPN、Mask RCNN。虽然一步流和二步流算法都取得了良好的效果，但是相对而言二步流的精度高于一步流精度。在实际使用场景中根据具体的需求，需要选择不同的检测算法。
[0003]在目标检测领域常用的数据集有ImageNet、Pascal VOC、ILSVRC、MS
‑
COCO等。而在交通标志领域主要有以下6个数据集：KUL Belgium Traffic Sign Dataset、German Traffic Sign、STSD、LISA、Tsinghua
‑
Tencent 100K、CCTSDB。KUL Belgium Traffic Sign Dataset是比利时的交通标志数据集，共含有62种交通信号标志，图像是ppm格式。GTSRB是德国交通标志检测数据，其采集时使用单摄像头，共有900张图像，一般分为训练集600张和测试集300张，共有三个类别。STSD是瑞典交通标志数据集，在20000张图像上标注，包含3488个交通标志，是从350公里的公路视频中抽取的图像。LISA是美国的交通标志数据集，有两个包分别是只有图像、图像和视频都有。TT100K是腾讯基于全景地图抽取的大型交通标志数据集，包含30000个交通标志的10000张图像，有类别标签、边界框和像素掩码信息。CCTSDB是长沙理工大学张建明老师团队制作完成，共有15000多张图像，共有三类交通标志：禁止标志、指示标志和警告标志，本文选用的是CCTSDB。

技术实现思路

[0004]本专利技术的目的在于提供一种基于图像的交通标志检测方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种基于图像的交通标志检测方法，所述方法包括：
[0007]对CCTSDB数据集进行数据增强，生成数据集中的正负样本；
[0008]重新训练骨干网络ResNet
‑
101，提取卷积网络特征；
[0009]根据递归FPN结构将FPN模块多尺度融合的特征图再次前向反馈到骨干网络中进行递归处理；
[0010]基于注意力模块从通道注意力和空间注意力两个方面增强特征图的前景特征；
[0011]基于Inhibition attention模块抑制SAM模块大目标特征，再进行二次特征提取和递归融合，生成特征图；
[0012]基于transformer模块对特征图进行序列预测，生成目标框和目标类别。
[0013]作为本专利技术技术方案进一步的限定：所述重新训练骨干网络ResNet
‑
101，提取卷积网络特征的具体步骤包括：
[0014]读取从CCTSDB数据获取的正负样本；
[0015]基于ResNet
‑
101网络对所述正负样本进行训练；
[0016]其中，ResNet
‑
101中通过残差网络来解决网络退化的问题，而残差网络由一系列残差单元组成，残差单元的数学表达式如下，其中h(x)是当前层的网络映射，F(x，w)是残差部分。
[0017]X
N+1
＝h(X
N
)+F(X
N
，W
N
)
[0018]ResNet
‑
101中使用的是交叉熵损失函数，p(x)表示标签真值，q(x)表示网络的预测值，通过交叉熵来计算两个概率分布之间的距离，该值越小也就是概率分布越好。其损失函数对应的公式如下：
[0019]H(p，q)＝
‑
∑
x
p(x)log q(x)。
[0020]作为本专利技术技术方案进一步的限定：所述根据递归FPN结构将FPN模块多尺度融合的特征图再次前向反馈到骨干网络中进行递归处理的步骤包括：
[0021]读取FPN融合后输出的结果；
[0022]通过反馈连接的方式将检测头的输入梯度特征带回到FPN骨干网络的低层；
[0023]再次递归循环，生成第一特征图。
[0024]作为本专利技术技术方案进一步的限定：所述基于注意力模块从通道注意力和空间注意力两个方面增强特征图的前景特征的步骤包括：
[0025]基于CAM模块并行处理最大全局池化层和平均池化层，并对并行处理结果进行MLP处理；
[0026]对MLP处理后的处理结果进行加和操作和sigmoid激活，并输出通道注意力特征向量；
[0027]其中，所述通道注意力用于区分每个通道的重要性，所述重要性是通过全局描述子生成。在全局描述子生成中，平均池化对特征图的每个像素都有表示，最大池化是在计算梯度反向传播时，特征图中响应最大的区域有梯度反馈，其数学表达式如下式：
[0028]M
c
(F)＝σ(MLP(AvgPool(F)))+MLP(AvgPool(F))。
[0029]作为本专利技术技术方案进一步的限定：所述基于注意力模块从通道注意力和空间注意力两个方面增强特征图的前景特征的步骤还包括：
[0030]基于SAM子模块将输入的特征图基于通道做最大池化和平均池化，生成两个W*H*1的输出；
[0031]连接两个所述输出，并进行卷积降维，生成W*H*1的特征向量；
[0032]对所述特征向量进行sigmoid激活，生成空间特征向量；
[0033]其中，卷积核采用7*7，数学表达式如下：
[0034]M
c
(F)＝σ(f
7*7
([AvgPool(F)，MaxPool(F)]))。
[0035]与现有技术相比，本专利技术的有益效果是：本专利技术根据图像中交通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的交通标志检测方法，其特征在于，所述方法包括：对CCTSDB数据集进行数据增强，生成数据集中的正负样本；重新训练骨干网络ResNet
‑
101，提取卷积网络特征；根据递归FPN结构将FPN模块多尺度融合的特征图再次前向反馈到骨干网络中进行递归处理；基于注意力模块从通道注意力和空间注意力两个方面增强特征图的前景特征；基于Inhibition attention模块抑制SAM模块大目标特征，再进行二次特征提取和递归融合，生成特征图；基于transformer模块对特征图进行序列预测，生成目标框和目标类别。2.根据权利要求1所述的基于图像的交通标志检测方法，其特征在于，所述重新训练骨干网络ResNet
‑
101，提取卷积网络特征的具体步骤包括：读取从CCTSDB数据获取的正负样本；基于ResNet
‑
101网络对所述正负样本进行训练；其中，ResNet
‑
101中通过残差网络来解决网络退化的问题，而残差网络由一系列残差单元组成，残差单元的数学表达式如下，其中h(x)是当前层的网络映射，F(x,w)是残差部分。X
N+1
＝h(X
N
)+F(X
N
，W
N
)ResNet
‑
101中使用的是交叉熵损失函数，p(x)表示标签真值，q(x)表示网络的预测值，通过交叉熵来计算两个概率分布之间的距离，该值越小也就是概率分布越好。其损失函数对应的公式如下：H(p，q)＝
‑
∑
x
p(x)log ...

【专利技术属性】
技术研发人员：练智超，潘陶嘉诚，陈墨，
申请(专利权)人：浙江澄视科技有限公司，
类型：发明
国别省市：