【技术实现步骤摘要】
本专利技术属于深度学习神经网络目标检测学习领域，涉及到卷积神经网络、transformer神经网络、深度学习、目标检测等技术，尤其涉及到一种基于动态可变形注意力机制的轻量化道路缺陷检测方法。
技术介绍
1、近几年来，道路缺陷引起的交通事故数量在全球范围内增加，道路缺陷的修复和预防是一项紧迫的任务。不同国家的研究人员提出了许多处理此任务的模型，但大多数模型要么检测精度高，但检测速度慢，要么检测速度快，但检测精度低。有些模型虽然精度和速度取得了良好的效果，但模型对其他数据集的泛化能力较差。现有的实时检测器通常采用基于卷积神经网络的架构，在检测速度和准确性方面实现了合理的权衡。然而，这些实时检测器通常需要nms进行后处理，这通常很难优化，不够健壮，导致检测器的推理速度延迟。
技术实现思路
1、本专利技术克服了现有技术的不足之处提出了一种基于动态可变形注意力机制的轻量化道路缺陷检测方法，意在改进现有的基于卷积的实时检测网络，提升算法对道路缺陷检测的速度和正确率。
2、本专利技术为达上述专利技术目的，采用如下技术方案：
3、一种基于动态可变形注意力机制的轻量化道路缺陷检测方法，包括如下步骤：
4、步骤(1)：选取包含纵向裂纹、横向裂纹、网状裂纹、坑陷的公开道路缺陷数据集，将数据集划分为训练集、验证集和测试集；
5、步骤(2)：搭建基于动态可变形注意力机制的轻量化道路缺陷检测神经网络模型drd-detr，模型最终输出为图像上预测的缺陷类别以及位置
6、步骤(3)：使用步骤(1)得到的训练集、验证集训练drd-detr，保存训练过程中模型在测试集上检测准确率最高的权重参数，并使用测试集对最高检测准确率权重参数下的模型进行最终的评估，最终确定测试集上检测准确率最高的道路缺陷检测神经网络模型为最优模型；
7、步骤(4)：将车载摄像机拍摄的道路图像输入步骤(3)中得到的最优模型中，输出车载图像中存在的道路缺陷类别以及位置。
8、进一步的，所述drd-detr包括主干网络、混合编码器和带有辅助预测头的解码器，所述主干网络基于resnet18，使用标准卷积模块、动态可变形卷积模块来获取道路缺陷信息特征，标准卷积模块由卷积层、批量归一化层和silu激活函数组成，；利用主干网络输出的三个不同尺度的特征图{s3,s4,s5}作为混合编码器的输入，混合编码器包括基于可变形注意力的尺度内特征交互模块和轻量化跨尺度特征融合模块，通过尺度内交互和跨尺度融合将多尺度特征转换为一系列图像特征；使用iou感知查询选择从混合编码器输出序列中选择固定数量的图像特征作为解码器的初始对象查询。最后带有辅助预测头的解码器迭代优化对象查询以生成目标框和置信度分数。
9、进一步的，所述主干网络具体操作包括如下步骤：
10、步骤(3.1)：以resnet18网络为基础，在最后一层加入动态可变形注意力模型使主干网络第七层专注于相关区域并捕获图像中的更多信息特征，最终图像在输入主干网络后会输出三个不同尺度的特征图分别标记为s3、s4、s5，其中s3来自主干网络的第五层，s4来自主干网络的第六层，s5来自主干网络的第七层；
11、步骤(3.2)：将步骤(3.1)中提取的特征图s5输入到基于可变形注意力的尺度内特征交互模块中，特征图s5经过可变形注意力模块、dropout后与s5残差连接后再进行归一化，经过第一次归一化处理后的特征图与卷积层fc1、激活函数层gelu、dropout层、卷积层fc2进行残差连接后再经过归一化层最后输出特征图x5；
12、步骤(3.3)：将步骤(3.2)中输出的特征图x5与s3、s4都输入到轻量化跨尺度特征融合模块中：首先x5与s3、s4都输入到轻量化卷积模块中得到下级特征图x3、x4、y5，后续下级特征图y5进行上采样并与x4进行特征融合，特征融合后再输入轻量化结构模块中进行进一步的特征提取，再经过一次量化卷积得到y4，y4经过一次上采样后与x3进行特征融合，特征融合后再输入轻量化结构模块中得到y3，y3再经过一次下采样后与y4进行特征融合得到特征图f4，f4再经过一次下采样与y5进行特征融合得到f5，最终经过轻量化跨尺度特征融合模块得到三个不同尺度特征相互交融的一系列图像特征y3、f4、f5
13、步骤(3.4)：采用iou感知查询选择从混合编码器输出序列中选择一定数量的图像特征，作为解码器的初始对象查询最后，带有辅助预测头的解码器迭代优化对象查询，生成边框和置信度分数。
14、进一步的，所述动态可变形注意力模块具体操作包括如下步骤：
15、可变形注意力模块接收上一层的特征图作为输入，首先，通过卷积操作提取输入特征图的特征，随后进行偏移调制，通过多路径坐标注意力模块来预测每个位置的偏移参数δp和权重参数δm；根据预测的偏移量，可变形注意力模块对输入特征图进行变形操作；多路径坐标注意力模块得到的权重参数δm用于调整变形过程中的插值权重，最后，可变形注意力模块生成新的特征图作为输出。
16、进一步的，假设可变形注意力模块卷积核的大小为n×n，pk和wk分别是单个卷积核中第k个元素的位置和对应的卷积核参数，k<n，p0是输出特征图上的位置，在输入特征图x通过该模块后，得到的特征模块y可以表示为：
17、
18、其中δpk和δmk分别表示该模块中网络学习的偏移量参数和变化幅度，δpk是变量，δmk在学习后具有[1,0]的可变范围。
19、进一步的，所述多路径坐标注意力模块具体操作包括如下步骤：
20、步骤(5.1)：首先，输入特征通过全局平均池化层降维，以获得全局特征信息，再经过卷积层转换全局池化后的特征，全局池化的输出可以表示为：
21、
22、其中h为特征图的宽度，w为高度，zc为池化层的输出，xc是表示输入特征图，i,j分别表示特征图中的高度与宽度；
23、步骤(5.2)：同时输入特征分别经过两个自适应平均池化层，在水平和垂直方向上进行平均池化，以获取相应方向的特征信息；具体步骤为：使用尺寸为(h,1)或(1,w)的池化内核分别沿着水平坐标和垂直坐标对每个通道进行编码，因此高度为h的第c个通道的输出可以表示为：
24、
25、同理，宽度为w的第c个通道的输出可以表示为：
26、
27、步骤(5.3)：水平和垂直方向的特征经过转置操作，转置后的特征连接起来形成综合特征，经过3x1的卷积并分离得到水平和垂直方向的特征信息x、y，如下所示：
28、f＝δ{f1([zw,(zh)t])}
29、其中[·,·]表示沿空间维度的连接操作，t是转置操作，δ是非线性激活函数，是编码水平方向和垂直方向空间信息的中间特征图，c是通道数，r是控制块大小的缩减率；
30、步骤(5.4)：综合特征通过1x1的卷积操作得到水平和垂直方向的本文档来自技高网...
【技术保护点】
1.一种基于动态可变形注意力机制的轻量化道路缺陷检测方法，包括如下步骤：
2.如权利要求1所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述DRD-DETR包括主干网络、混合编码器和带有辅助预测头的解码器，所述主干网络基于Resnet18，使用标准卷积模块、动态可变形卷积模块来获取道路缺陷信息特征，标准卷积模块由卷积层、批量归一化层和SiLU激活函数组成，；利用主干网络输出的三个不同尺度的特征图{S3,S4,S5}作为混合编码器的输入，混合编码器包括基于可变形注意力的尺度内特征交互模块和轻量化跨尺度特征融合模块，通过尺度内交互和跨尺度融合将多尺度特征转换为一系列图像特征；使用IoU感知查询选择从混合编码器输出序列中选择固定数量的图像特征作为解码器的初始对象查询。最后带有辅助预测头的解码器迭代优化对象查询以生成目标框和置信度分数。
3.如权利要求2所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述主干网络具体操作包括如下步骤：
4.如权利要求3所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特
5.如权利要求4所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：
6.如权利要求4所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：
7.如权利要求3所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述轻量级卷积模块具体操作包括如下步骤：
8.如权利要求3所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述轻量化结构模块具体操作包括如下步骤：
9.如权利要求3所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：步骤(3.4)中IoU感知查询选择首先利用分类分数从编码器中选择排名靠前的K个特征来初始化对象查询，通过在训练期间对模型施加约束，使模型对IoU分数高的特征产生高分类分数，对IoU分数低的特征产生低分类分数；最后，模型根据分类分数选择的排名靠前的K个编码。
...【技术特征摘要】
1.一种基于动态可变形注意力机制的轻量化道路缺陷检测方法，包括如下步骤：
2.如权利要求1所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述drd-detr包括主干网络、混合编码器和带有辅助预测头的解码器，所述主干网络基于resnet18，使用标准卷积模块、动态可变形卷积模块来获取道路缺陷信息特征，标准卷积模块由卷积层、批量归一化层和silu激活函数组成，；利用主干网络输出的三个不同尺度的特征图{s3,s4,s5}作为混合编码器的输入，混合编码器包括基于可变形注意力的尺度内特征交互模块和轻量化跨尺度特征融合模块，通过尺度内交互和跨尺度融合将多尺度特征转换为一系列图像特征；使用iou感知查询选择从混合编码器输出序列中选择固定数量的图像特征作为解码器的初始对象查询。最后带有辅助预测头的解码器迭代优化对象查询以生成目标框和置信度分数。
3.如权利要求2所述的基于动态可变形注意力机制的轻量化道路缺陷检测方法，其特征在于：所述主干网络具体操作包括如下步骤：
4.如权利要求3所述...
【专利技术属性】
技术研发人员：章东平，何数技，卜玉真，李铮，胡海苗，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。