【技术实现步骤摘要】
本专利技术属于目标检测，涉及一种基于改进yolov7的无人机遥感小目标检测方法。
技术介绍
1、针对小目标检测中存在的特征表征不明显和提取细节特征困难的问题，以及小目标方向任意性导致的检测框边界问题，结合卷积操作在提取局部特征的优势和transformer结构中的自注意力机制在捕获全局特征上的特点，对yolov7网络进行改进，设计全新的yolov7-bifm网络是一个富有创新性的想法。
2、在yolov7-bifm网络中，可以考虑结合卷积神经网络(cnn)和自注意力机制来同时提取局部和全局特征。cnn部分可以保留yolov7原有的结构，用于提取图像的局部特征，这对于识别小目标及其细节特征非常关键。同时，可以在网络的特定层引入自注意力机制，例如通过增加transformer的编码器层或使用自注意力模块，来捕捉图像中的远距离特征依赖关系，从而获取全局特征。
3、针对小目标方向任意性导致的检测框边界问题，可以在yolov7-bifm网络中增加对方向敏感的检测机制。例如，可以通过修改损失函数或引入方向预测分支，使网络能够学习并预测目标的方向，从而更准确地定位小目标并调整检测框的边界。
4、此外，为了进一步提高yolov7-bifm网络的性能，还可以考虑采用一些轻量化策略。例如，可以简化网络结构，去除不必要的层和模块，降低模型的计算复杂度。同时，可以使用轻量化的卷积操作，如深度可分离卷积或点卷积，来减小模型的参数量和计算开销。
5、综上所述，设计全新的yolov7-bifm网络是一个涉及多个
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于改进yolov7的无人机遥感小目标检测方法。
2、为达到上述目的，本专利技术提供如下技术方案：
3、基于改进yolov7的无人机遥感小目标检测方法，该方法包括以下步骤：
4、s1：设计双向路由注意力机制bifm模块
5、建立双向路由注意力bra机制，包括以下三步：
6、①划分区域以及进行线性映射；首先将输入的特征图x∈rh×w×c划分为s×s个非重叠区域，使每个区域包含hw/s2个特征向量；然后将x转化为对xr进行线性变换后得到线性映射q、k、其中，r表示特征图区域，h表示特征图的长，w表示特征图的宽，c表示特征图通道数；h×w×c表示特征图的参数；s表示特征图一条边划分的网格数；注意力bra将特征图整体划分为s×s个网格；s2表示特征图区域划分个数；q、k和v表示在自注意力机制中使用的三个输入表示向量；q表示查询向量，k表示关键向量，v表示数值向量；这三个向量是通过线性变换从原始输入向量得到的；
7、在自注意力机制中，以查询向量q为基础，通过计算查询向量与所有关键向量k之间的相似度，得到一个权重分布，用于加权求和关联的数值向量v；
8、②由有向图实现区域间的路由；首先对之前得到的q、k求均值，得到粗粒度区域的查询和键值对k表示取topk的数量，即保留每个区域的前k个最有关联的向量；然后对求得的这两个均值进行矩阵乘法运算，得到邻接矩阵ar，矩阵ar是由qr和kr转置两个矩阵相乘得到的，包含s2×s2个区域；邻接矩阵中的每个元素表示两个相邻区域的相关程度，接着对邻接矩阵中每行进行top-k操作得到一个索引矩阵ir，利用索引矩阵ir筛出粗粒度区域中qr与相似度最高的k个kr；kr表示对前面k线性映射求均值；具体公式如下：
9、ar＝qr(kr)t (1)
10、ir＝topkindex(ar) (2)
11、t表示转置矩阵符号；topkindex表示取前k个最大值；
12、③计算token-to-token注意力；确定s个粗粒度区域间的相似度后，针对第i个区域内的每一个查询都会与之前第i个区域匹配到的k个粗粒度区域的键值对的每个token进行注意力交互，i∈ns；ns表示s个区域；将每一个粗粒度查询查询区域的k个键值区域聚集起来，与每一个查询的token进行密集的矩阵运算，如公式(3)所示；
13、kg＝gather(k,ir),vg＝gather(v,ir) (3)
14、kg表示聚焦的键的张量；vg表示聚焦的值的张量；gather表示聚焦；
15、将收集到的键值对应用注意力机制，公式如(4)所示，其中lce(·)为深度可分离卷积，应用注意力机制可强化局部特征信息，起到增强上下文的作用；
16、o＝attention(q,kg,vg)+lce(v) (4)
17、区域之间的双向路由让特征图能加强关联内容的提取，双向路由注意力bra机制在粗粒度区域过滤掉不相关的键值对，去掉冗余信息后，只保留剩下的区域，并在这些区域应用注意力机制；通过结合双向路由注意力机制构建biformer结构；首先使用深度可分离卷积dwconv进行隐式编码相对位置信息，接着应用双向路由注意力和多层感知机mlp对输入特征进行跨位置关系建模和逐位置嵌入；基于biformer模块设计多路径聚合的bifm模块；bifm模块内部嵌入基于双层路由注意力的biformer模块，实现对输入图片的动态稀疏关注，bifm模块拥有多路径跨层连接，实现对残差特征的学习；bifm模块通过内部的动态稀疏注意力能保留细粒度的上下文特征，降低背景对小目标检测的各种噪声干扰，实现模型在远程关系依赖上的建模；
18、s2：建立基于归一化wasserstein距离损失函数
19、将边界框建模为二维高斯分布，其中边界框中心像素具有最高的权重，并且像素的权重从中心到边界递减；对于边界框r＝(cx,cy,w,h)，(cx,cy)是边界框的中心坐标，w和h表示边界框的宽度和高度；其内切椭圆方程如公式(5)；
20、
21、其中(μx,μy)是椭圆的中心坐标，σx、σy分别沿x轴和y轴的半轴长度；μx＝cx,μy＝cy,σx＝w/2,σy＝h/2；二维高斯分布函数由公式(6)所示；
22、
23、其中x、μ、σ分别表示坐标信息、均值和方差；μ和σ计算如公式(7)所示；
24、
25、式(7)是边界框2d高斯分布建模后均值和方差的意义，cx、cy是中心点坐标；
26、nwd函数使用来自最优传输理论的wasserstein距离来计算分布距离；对于两个高斯分布μ1＝n(m1,∑1),μ2＝n(m2,∑2),μ1和μ2之间的二阶wasserstein距离定义为公式(8)所示；
27、
28、m1和m2分别表示两个高斯分布的均值；tr表示矩阵的迹；
29、公式(8)进一步化简为式(9)；
本文档来自技高网...【技术保护点】
1.基于改进YOLOv7的无人机遥感小目标检测方法，其特征在于：该方法包括以下步骤：
【技术特征摘要】
1.基于改进yolov7的无人机遥感小目标...
【专利技术属性】
技术研发人员：文凯，张力文，
申请(专利权)人：重庆邮电大学空间通信研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。