一种基于环形平滑标签的航拍图像旋转目标检测方法技术

本发明专利技术涉及一种基于环形平滑标签的航拍图像旋转目标检测方法，属于图像处理领域。该方法包括以下步骤：S1：利用环形平滑标签(CSL)对图像标签的格式进行处理，使标签中角度信息具有周期性；S2：针对存在遮挡、目标小等原因导致的特征提取困难的问题，在YOLOv5s网络的特征提取模块引入全局上下文模块，对其进行改进并搭建旋转目标检测模型；S3：利用GSConv卷积替代标准卷积优化网络的Neck模块并生成不同尺寸的特征图；S4：进行类别预测和包含角度信息的旋转包络框预测；S5：计算分类损失、置信度损失、定位损失以及角度损失；S6：利用改进后的检测模型对预处理后的数据集进行训练；S7：输入测试集，得到检测结果。得到检测结果。得到检测结果。

【技术实现步骤摘要】
一种基于环形平滑标签的航拍图像旋转目标检测方法


[0001]本专利技术属于图像处理领域，涉及一种基于环形平滑标签的航拍图像旋转目标检测方法。

技术介绍

[0002]对于城市管理，交通道路车辆是重点，基于无人机航拍图像的车辆检测让交管部门效率大增。但在实际应用场景中，航拍图像通常存在角度，这使得传统的目标检测识别准确率不是很理想。
[0003]目前基于YOLO系列一阶段目标检测算法虽然在自然场景下有着很好的表现，但无人机航拍图像中的目标呈现的特点与自然场景下的图片有很大区别，高空无人机采集的图像一般具有数据集制作困难、目标尺度特殊、目标具有旋转性等特点，同时航拍图像目标小且会被遮挡，特征提取困难。在一些基于角度回归的旋转目标检测算法中，会出现理想的预测结果超出了所定义的范围，导致出现边界问题，产生较大的损失。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于环形平滑标签的航拍图像旋转目标检测方法。以YOLOv5s网络模型为基础提出了一种航拍图像旋转目标检测算法，从而解决角度的边界问题，提高识别率。该方法主要利用环形平滑标签(Circular Smooth Label,CSL)来处理目标角度，用高斯窗口函数根据角度θ的周期性赋予真实框标签同样的周期性，利用分类的方式将角度范围分为[
‑
90,90)，再利用全局上下文块(Global Context Block,GC Block)方法获得全局上下文信息，充分提取特征并将其融合到通道中来提升性能，捕获远程依赖关系，同时减少上下文特征冗余同时为了避免模型参数过多导致的计算成本加大以及影响模型的收敛，在颈部网络中使用轻量级卷积GSConv替代标准卷积，降低运算成本，但其对模型学习能力的贡献与标准卷积不相上下。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于环形平滑标签的航拍图像旋转目标检测方法，该方法包括以下步骤：
[0007]S1：对数据集中的图像进行数据预处理，将训练图像标签处理成符合旋转目标检测的格式；
[0008]S2：对经过标签处理后的图像进行数据增强以增强网络的鲁棒性；
[0009]S3：优化改进YOLOv5s模型的主干网络部分，首先是经过两个卷积核大小为3
×
3、步长为2的Conv模块，特征图缩小2倍；再经过第一个C3_GC模块，其中C3模块由两个支路Concat组成，支路一为Conv模块，支路二由Conv模块和n个BottleNeck模块组成，GC模块添加在C3的支路一中；第三至七层为连续的Conv模块和C3模块，第八层为C3_GC模块，第九层为SPPF模块，实现局部特征和全局特征的feature Map级别的融合；
[0010]S4：构建模型颈部网络的FPN结构，由GSConv模块、上采样单元、Concat操作以及C3模块组成，经过两次上采样后分别得到P3、P4级别的特征图，之后分别与C3、C4级特征图进
行Concat操作，将高层特征通过上采样和低层特征做融合，传递高层的语义特征；其中GSConv使用shuffle将标准卷积生成的信息渗透到深度可分离卷积生成的信息的每个部分，使其计算的输出接近标准卷积；
[0011]S5：构建模型颈部网络的PANet结构，是一个自底向上的特征金字塔结构，由GSConv模块、Concat操作以及C3模块组成，与第十层和第十四层的特征图进行融合，把浅层的定位信息传递到深层，得到108
×
108、54
×
54、27
×
27这三个尺度的特征图；
[0012]S6：构建模型的Head部分，由3个Detect检测层组成，只需在Head结构处新增一个旋转角度预测通道θ就可以实现旋转框的预测；在forward操作中，网络接收3个不同尺度的特征图，依次在这3个特征图上进行网格化预测，利用卷积操作得到特征输出，随后对经过检测器卷积后的特征图划分网格，网格的尺寸与输入尺寸相同，如54
×
54的特征图会变成54
×
54的网格，那么一个网格对应到原图中就是32
×
32像素，以此类推；之后对x和y进行预测，再对w和h进行预测；
[0013]S7：构建模型的损失函数部分；Loss＝αL
cls
+βL
obj
+ηL
loc
+λL
theta
，其中L
cls
为BCE Loss，只计算正样本的分类损失；L
obj
依然采用的是BCE Loss，注意此时obj是网络预测的目标边界框与真实边界框的CIOU，计算所有样本的obj损失；L
loc
采用CIOU Loss，只计算正样本的定位损失；L
theta
采用的依然是BCE Loss；
[0014]S8：将图片输入至目标检测网络进行训练并输出检测结果；
[0015]S9：将训练完成的目标检测网络用于实际场景中。
[0016]可选的，所述S1中，对训练图像进行数据预处理具体包括：将数据标签从poly格式{(x1,y1),(x2,y2),(x3,y3),(x4,y4)}转换成(x
c
,y
c
,w,h,θ)格式，其中w表示包络框中最长的边，h表示与w对应的另一条边，θ表示w与x轴逆时针所成的夹角；再利用CSL对数据集中的标签进行处理，将标签中的角度信息传入高斯函数获得高斯函数平滑标签。
[0017]可选的，所述S2中，对图像进行数据增强具体包括：对mosaic、random_perspective以及普通数据增强这三种数据增强方式做添加θ维度的修改，random_perspective中的perspective会引起目标角度上的改变，在超参数中将其设为0。
[0018]可选的，所述S3中，GC模块包括三个过程：
[0019](a)采用1
×
1卷积和softmax函数获得注意力权重，然后进行注意力池化获取全局上下文特征；
[0020](b)通过bottleneck transform模块进行特征变换；
[0021](c)采用加法将全局上下文特征聚合到每个位置的特征；将此抽象定义为其中Σ
j
α
j
x
j
表示全局上下文建模模块，该模块通过权重α
j
的加权平均将所有位置的特征组合在一起以获得全局上下文特征，δ(
·
)表示捕获通道关系的特征变换，F(,
·
,)表示将全局上下文特征聚合到每个位置的特征融合函数；全局上下文(GC)块的详细公式为其中i是查询位置的索引，j枚举所
有可能的位置，W
K
和W
v
表示线性变换矩阵，是全局注意力池的权重，δ(
·
)＝W
...

【技术保护点】

【技术特征摘要】
1.一种基于环形平滑标签的航拍图像旋转目标检测方法，其特征在于：该方法包括以下步骤：S1：对数据集中的图像进行数据预处理，将训练图像标签处理成符合旋转目标检测的格式；S2：对经过标签处理后的图像进行数据增强以增强网络的鲁棒性；S3：优化改进YOLOv5s模型的主干网络部分，首先是经过两个卷积核大小为3
×
3、步长为2的Conv模块，特征图缩小2倍；再经过第一个C3_GC模块，其中C3模块由两个支路Concat组成，支路一为Conv模块，支路二由Conv模块和n个BottleNeck模块组成，GC模块添加在C3的支路一中；第三至七层为连续的Conv模块和C3模块，第八层为C3_GC模块，第九层为SPPF模块，实现局部特征和全局特征的feature Map级别的融合；S4：构建模型颈部网络的FPN结构，由GSConv模块、上采样单元、Concat操作以及C3模块组成，经过两次上采样后分别得到P3、P4级别的特征图，之后分别与C3、C4级特征图进行Concat操作，将高层特征通过上采样和低层特征做融合，传递高层的语义特征；其中GSConv使用shuffle将标准卷积生成的信息渗透到深度可分离卷积生成的信息的每个部分，使其计算的输出接近标准卷积；S5：构建模型颈部网络的PANet结构，是一个自底向上的特征金字塔结构，由GSConv模块、Concat操作以及C3模块组成，与第十层和第十四层的特征图进行融合，把浅层的定位信息传递到深层，得到108
×
108、54
×
54、27
×
27这三个尺度的特征图；S6：构建模型的Head部分，由3个Detect检测层组成，只需在Head结构处新增一个旋转角度预测通道θ就可以实现旋转框的预测；在forward操作中，网络接收3个不同尺度的特征图，依次在这3个特征图上进行网格化预测，利用卷积操作得到特征输出，随后对经过检测器卷积后的特征图划分网格，网格的尺寸与输入尺寸相同，如54
×
54的特征图会变成54
×
54的网格，那么一个网格对应到原图中就是32
×
32像素，以此类推；之后对x和y进行预测，再对w和h进行预测；S7：构建模型的损失函数部分；Loss＝αL
cls
+βL
obj
+ηL
loc
+λL
theta
，其中L
cls
为BCE Loss，只计算正样本的分类损失；L
obj
依然采用的是BCE Loss，注意此时obj是网...

【专利技术属性】
技术研发人员：蒋畅江，王继承，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：