本发明专利技术公开了一种融合Transformer机制的交通标志检测方法，包括如下步骤：步骤1、根据Transformer机制，设计结合图像全局特征的编码模块Trans；步骤2、利用GhostConv代替普通卷积模块搭建特征融合网络，通过GhostConv轻量便捷的线性操作轻量化冗余特征的提取过程，释放计算力和内存占用；步骤3、设计精简的解耦检测头Slim Decoupled Head，将分类与回归任务分开解析，加强网络模型的输出能力。本发明专利技术能够在复杂的道路场景中，以较高的准确率完成小型交通标志的检测。型交通标志的检测。型交通标志的检测。
【技术实现步骤摘要】
一种融合Transformer机制的交通标志检测方法
[0001]本专利技术涉及计算机视觉
，尤其是一种融合Transformer机制的交通标志检测方法。
技术介绍
[0002]在道路交通场景中，智能汽车的视觉感知技术可以帮助自动驾驶系统高效、准确的感知路面环境的信息，交通标志识别(Traffic Sign Recognition，TSR)作为自动驾驶和智能交通应用中的重要组成模块，是安全驾驶的必然需求。现有的TSR方法大致可以分为两类：基于传统的目标检测方法和基于深度学习的目标检测方法。传统的交通标志检测与识别算法大多是基于颜色特征、形状先验匹配或边缘检测的方法。例如，采用基于HSV和HSI等颜色空间来实现颜色特征匹配的交通标志检测方法；利用定向梯度直方图(HOG)和尺度不变特征变换(SIFT)来检测交通标志的形状特征进行匹配的方法。这些算法虽然能够完成特定任务的检测，但是由于手工设计的特征导致算法鲁棒性较差，时间复杂度高，并不满足复杂背景下小型交通标志检测任务的需求，而基于深度学习的目标检测算法凭借强大的特征提取能力和模型的泛化能力，在交通标志检测任务中广泛应用。
[0003]当前基于深度学习的目标检测算法可以分为两阶段目标检测算法和一阶段目标检测算法。典型的两阶段检测算法模型包括R
‑
CNN、SPPNet、Fast RCNN等；典型的一阶段检测算法包括SSD、RetinaNet、YOLO等。这些经典算法在交通标志检测任务中已经取得了一定的成果，但考虑到真实道路场景中交通标志的体积大小、成像角度、背景复杂等问题，检测街景中的小型交通标志仍然具有很大的挑战。
技术实现思路
[0004]本专利技术所要解决的技术问题在于，提供一种融合Transformer机制的交通标志检测方法，能够在复杂的道路场景中，以较高的准确率完成小型交通标志的检测。
[0005]为解决上述技术问题，本专利技术提供一种融合Transformer机制的交通标志检测方法，包括如下步骤：
[0006]步骤1、根据Transformer机制，设计结合图像全局特征的编码模块Trans；
[0007]步骤2、利用GhostConv代替普通卷积模块搭建特征融合网络，通过GhostConv轻量便捷的线性操作轻量化冗余特征的提取过程，释放计算力和内存占用；
[0008]步骤3、设计精简的解耦检测头Slim Decoupled Head，将分类与回归任务分开解析，加强网络模型的输出能力。
[0009]优选的，步骤1中，根据Transformer机制，设计结合图像全局特征的编码模块Trans具体为：构建的Trans包含两个子层，第一层是一个多头注意力层，第二层是一个全连接层MLP，同时在输入输出端用残差连接相连；其中，多头注意力层Multi
‑
head Attention是Trans的核心层，由多个不同的自注意力集成，多头注意力的每一个分支都有不同的Q，K，V，其中Q表示查询的数据的具体属性，K表示正在被查询的数据的关键字索引，V表示查询出
来的具体数据内容，Q、K、V均通过图像矩阵线性变化得到，最终经过自注意力机制得到的加权之后的注意力权重的计算公式如(1)所示：
[0010][0011]d
k
是Q和K的长度，用作比例因子，缓解引入softmax函数可能带来的梯度消失问题，在对Q和K进行内积以获得相似性表示后，通过softmax获得权重，最后作用于V以获得最终输出。
[0012]优选的，步骤2中，在特征融合阶段搭建GhostConv模块，通过轻量便捷的操作轻量化特征提取过程中，降低冗余特征的内存占用具体为：使用深度可分离卷积作为线性操作来搭建GhostConv模块，假定输入特征图的尺寸为D
H
×
D
w
×
C，卷积核的尺寸为D
F
×
D
F
×
C，padding为1，数量为N，普通卷积的总计算量为：
[0013]D
H
×
D
W
×
D
F
×
D
F
×
C
×
N#(2)
[0014]深度可分离卷积的总计算分为两部分，一部分是深度卷积的计算，公式如(3)所示：
[0015]D
H
×
D
W
×
D
F
×
D
F
×
C#(3)
[0016]另一个是逐点卷积的计算，公式如(4)所示：
[0017]C
×
N
×
D
H
×
D
W
#(4)
[0018]计算总量如(5)所示：
[0019]D
H
×
D
W
×
D
F
×
D
F
×
C+C
×
N
×
D
H
×
D
W
#(5)
[0020]深度可分离卷积与普通卷积的比率如等式(6)所示：
[0021][0022]深度分类可卷积的计算参数远小于正常卷积的计算参数，并且，在深度可分离卷积操作中，使用5
×
5大小的卷积核进行卷积操作，扩大感受野范围，包含更丰富的上下文信息；通过1
×
1卷积来处理通道的特征信息，保留输入特征的绝大部分原始的特征信息，另外通道则是通过深度可分离卷积进行特征提取，轻量化冗余特征的提取过程，最后通过级联操作，将两个分支提取出的特征层进行合并输出，得到最终的输出特征层。
[0023]优选的，步骤3中，设计Slim Decoupled Head解析输出结果具体为：精简的解耦检测头将分类任务与回归任务分开，拥有三个输出检测头，分别为：分类输出class_output、回归输出regression_output和目标输出object_output；首先通过一个1
×
1的卷积层来降低通道的维度，然后是两个平行的子网，其中class_output属于分类子网，该分支预测目标框内物体的类别，regression_output和object_output属于回归子网，其中regression_output针对目标框的坐标信息(x，y，w，h)进行检测，object_output判断框定的目标框中是前景还是背景；在class_output检测分支中采用全连接检测头，在另外两个检测分支中采用卷积检测头，最后将三个输出检测头经过concat操作融合到一起，得到最终的输出结果。
[0024]本专利技术的有益效果为：本专利技术在YOLOv5s的基础上提出了一种融合Transformer机制的交通标志检测方法TRD
‑
...
【技术保护点】
【技术特征摘要】
1.一种融合Transformer机制的交通标志检测方法，其特征在于，包括如下步骤：步骤1、根据Transformer机制，设计结合图像全局特征的编码模块Trans；步骤2、利用GhostConv代替普通卷积模块搭建特征融合网络，通过GhostConv轻量便捷的线性操作轻量化冗余特征的提取过程，释放计算力和内存占用；步骤3、设计精简的解耦检测头Slim Decoupled Head，将分类与回归任务分开解析，加强网络模型的输出能力。2.如权利要求1所述的融合Transformer机制的交通标志检测方法，其特征在于，步骤1中，根据Transformer机制，设计结合图像全局特征的编码模块Trans具体为：构建的Trans包含两个子层，第一层是一个多头注意力层，第二层是一个全连接层MLP，同时在输入输出端用残差连接相连；其中，多头注意力层Multi
‑
head Attention是Trans的核心层，由多个不同的自注意力集成，多头注意力的每一个分支都有不同的Q，K，V，其中Q表示查询的数据的具体属性，K表示正在被查询的数据的关键字索引，V表示查询出来的具体数据内容，Q、K、V均通过图像矩阵线性变化得到，最终经过自注意力机制得到的加权之后的注意力权重的计算公式如(1)所示：d
k
是Q和K的长度，用作比例因子，缓解引入softmax函数可能带来的梯度消失问题，在对Q和K进行内积以获得相似性表示后，通过softmax获得权重，最后作用于V以获得最终输出。3.如权利要求1所述的融合Transformer机制的交通标志检测方法，其特征在于，步骤2中，在特征融合阶段搭建GhostConv模块，通过轻量便捷的操作轻量化特征提取过程中，降低冗余特征的内存占用具体为：使用深度可分离卷积作为线性操作来搭建GhostConv模块，假定输入特征图的尺寸为D
H
×
D
w
×
C，卷积核的尺寸为D
F
×
D
F
×
C，padding为1，数量为N，普通卷积的总计算量为：D
H
×
D
W
×
D
F
×
D
F
×
C
×
N#(2)深度可分离卷积的总计算分为两部分，一部分是深度卷积的计算，公式如(3...
【专利技术属性】
技术研发人员：张闯，储金祺，颜蒙蒙，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。