【技术实现步骤摘要】
本专利技术涉及图像检索的，尤其涉及一种基于空间上下文特征金字塔的小目标检测方法。
技术介绍
1、目标检测作为计算机视觉领域的重要组成部分，已经经过了将近20年的快速发展，在技术层面已经非常成熟。在这20年间，涌现了例如faster rcnn、yolo系列、transformer等非常优秀的目标检测方法，这些方法已经可以成熟地应用在工业界，并展现出了极高的检测效果。但针对于小目标检测性能差、精度低的问题至今仍没有被完全解决。以swin transformer为例，其在ms-coco数据集上的平均精度(ap)值已经达到61，而小目标的ap值仅仅只达到44，大目标的ap值将近是小目标ap值的1.7倍。由此可见，小目标检测问题目前依然是计算机视觉领域的一大挑战。随着深度学习的出现，计算机视觉有了很大的进步，其强大的特征提取能力为计算机视觉在复杂场景中的应用提供了可能。
2、先前的研究将小物体分为两类：一是在现实世界中物理上很小的物体(如鼠标、电话、瓶子或盘子)，二是由于相机的角度或焦距而在图像中显得很小的物体。在ms-coco数据集的度量估值中，任何占用的面积小于等于32*32pixels的物体被称作小目标。如今，与小目标检测极低的精确度相反，小目标检测却具有极高的研究意义和应用价值。我们的现实生活中充斥着大量的小目标物体及其应用，小目标检测技术在交通监控、医学影像分析、自动驾驶、智慧医疗、缺陷检测和无人机航拍图像分析等诸多领域发挥着重要作用。例如无人机视角下的车辆像素点很低，发生车祸时，如果能够精确的检测定位事故车辆，这将
3、小目标之所以比大目标面临更多的困难，是因为小目标本身包含的像素信息太少，所以包含的特征信息就非常少。为了解决这一问题，一些研究者提出通过生成对抗网络(gan)更改原本小目标极低的分辨率，生成高分辨率的图片或是高分辨率的特征，进而提升小目标的检测精度。但由于这种方法需要消耗极大的资源和时间，随着图像分辨率的提高，计算速度也随之变慢。此外，这些方法是单方面获得更好的融合图像，在实际应用中很少讨论与下游高级视觉任务的适应性和联系。
4、小目标面临的另一个主要困难是数据集本身的问题。高质量和大规模的数据集对于训练基于卷积神经网络的目标检测方法非常重要。目前，还没有专门针对小目标的大规模数据集资源。以大规模的ms-coco数据集为例，数据集中小目标的数量与大目标的数量极不平衡。因此，基于这类数据集的训练模型对大目标和小目标的关注也是不平衡的。此外，在数据集中，小目标覆盖的面积要小得多，这意味着小目标的位置也缺乏多样性。针对这一问题，有学者提出通过改进数据集来解决这一问题。然而，这些方法的缺点是它只对特定的数据集有效，而不是通用的。
5、为了解决特征提取困难、小目标本身能识别的特征很少的问题，也有学者提出了基于多尺度特征学习和基于上下文的方法。随着网络深度的加深，小物体的位置信息和特征信息会逐渐丢失。因此，多尺度特征学习的研究重点是在检测过程中同时利用小目标的深层语义信息和浅层表征信息，通过融合和利用不同尺度的特征信息来提高检测精度。近年来，将多尺度特征学习用于小目标检测，取得了许多效果良好、速度快的研究成果。基于上下文的方法的核心思想是利用与小物体或其他更容易检测的物体相关联的背景信息来辅助小目标的检测。虽然卷积神经网络已经从具有多个抽象层次的分层特征表示中隐式地学习了上下文信息，但在基于深度学习的小物体检测中，明确地探索上下文信息仍然具有价值。多尺度特征学习和基于上下文的方法是近年来研究小目标检测的关键方法之一，也是本专利技术所选择的研究基础以及重点。
技术实现思路
1、针对小目标像素低、背景信息杂乱、特征信息少，现有小目标检测方法提取的小目标语义信息少、特征难以提取等难点导致的小目标检测性能差、精度低的技术问题，本专利技术提出一种基于空间上下文特征金字塔的小目标检测方法，可以在保持检测速度不变的同时有效提高小目标特征的提取能力和检测精度，在各种数据集的应用中均具有良好的鲁棒性。
2、为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于空间上下文特征金字塔的小目标检测方法，其步骤如下：
3、步骤一：在空间金字塔上增加一条聚合路线构建空间上下文金字塔块模块；
4、步骤二：构建动态感知上采样模块：采用动态卷积的方式动态地处理输入特征图生成上采样核，根据上采样核的尺寸通过阈值处理调整特征权重；根据调整后特征权重将每个动态生成的上采样核与原输入特征图进行特征重组生成新的特征图；
5、步骤三：在基础网络yolov5s的骨干网络之后以及颈部网络3个输出的特征图之后融合空间上下文金字塔块模块，提取小目标物体在不同尺度下的空间上下文特征信息；在基础网络yolov5s的颈部网络的前两个卷积层之后添加动态感知上采样模块，生成上采样核并进行特征重组，生成三个尺寸的特征图输入检测头网络，构建小目标检测模型；
6、步骤四：采用eiou损失函数在小目标数据集上对小目标检测模型进行训练，直至损失值收敛、平均精度稳定，得到训练后的小目标检测模型；
7、步骤五：将待检测的图像输入训练后的小目标检测模型，得到小目标检测结果。
8、优选地，所述聚合路线将输入的特征图经过1×1卷积核的映射处理后通过softmax层归一化处理，然后再经过1×1卷积核的映射后得到聚合的特征图，聚合的特征图与空间金字塔的路线得到的细化后的空间上下文特征图广播逐元素相乘，得到一个没有信息混淆且与输入的特征图尺寸一致的全局上下文特征图，学习输入的特征图中每个像素的空间上下文信息，并融合输入的特征图图像的局部和全局的空间特征信息。
9、优选地，所述空间上下文金字塔块模块对输入的特征图的处理方法为：1)首先将输入的大小为h×w×c的特征图s先后经过1×1卷积核的映射处理以及softmax层提取注意力权重处理，生成大小为1×hw×1的注意图b；2)再次将特征图s经过1×1卷积核的特征映射处理得到大小为1×c’×hw的特征图d，将特征图d与注意图b批处理矩阵相乘，获得全局上下文特征图e；将全局上下文特征图e经过1×1卷积核的上下文细化处理，得到细化后的空间上下文特征图f；3)将输入的特征图s输入一个独立的聚合路径，分别经过两个1×1卷积核以及softmax层的激活函数处理，得到大小为1×h×w的特征图z；4)最终将特征图z与细化后的本文档来自技高网...
【技术保护点】
1.一种基于空间上下文特征金字塔的小目标检测方法，其特征在于，其步骤如下：
2.根据权利要求1所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述聚合路线将输入的特征图经过1×1卷积核的映射处理后通过softmax层归一化处理，然后再经过1×1卷积核的映射后得到聚合的特征图，聚合的特征图与空间金字塔的路线得到的细化后的空间上下文特征图广播逐元素相乘，得到一个没有信息混淆且与输入的特征图尺寸一致的全局上下文特征图，学习输入的特征图中每个像素的空间上下文信息，并融合输入的特征图图像的局部和全局的空间特征信息。
3.根据权利要求2所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述空间上下文金字塔块模块对输入的特征图的处理方法为：1)首先将输入的大小为H×W×C的特征图S先后经过1×1卷积核的映射处理以及softmax层提取注意力权重处理，生成大小为1×HW×1的注意图B；2)再次将特征图S经过1×1卷积核的特征映射处理得到大小为1×C’×HW的特征图D，将特征图D与注意图B批处理矩阵相乘，获得全局上下文特征图E；将全局上下文特征图E经过
4.根据权利要求3所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述空间上下文金字塔块模块中逐像素的特征聚合为：
5.根据权利要求1-4中任意一项所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述采用动态卷积的方式动态地处理输入特征图生成上采样核的方法为：设输入特征图J的尺寸大小为H×W×C，其中C表示输入特征图的通道数，W、H分别表示输入特征图的宽和高；首先利用一个1×1卷积核将输入特征图J的通道数进行压缩，将通道数C压缩至Cm得到大小为H×W×Cm的特征图J’；将特征图J’经过参数为β的特征映射之后变为大小为βH×βW×Cm的特征图J”；使用大小为k×k的重组内核对压缩后的特征图J”中每个像素位置进行特征重组操作得到大小为H×W×β^2×k^2的上采样重组核；将上采样重组核的通道维度在空间维度展开得到尺寸为βH×βW×k^2的上采样核；将得到的上采样核利用softmax层进行归一化处理，让每个上采样核的权重映射到概率分布上，使每个上采样核的概率值都在0到1之间且所有上采样核的概率之和为1，而后取其中概率值最大的上采样核得到最终生成的上采样核。
6.根据权利要求5所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述输入特征图J中的位置a(x,y)经过映射参数β的特征映射后变为a′(β×x,β×y)；
7.根据权利要求5所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述调整特征权重的方法为：设定阈值α，设置特征权重的初始值，当生成的上采样核的尺寸L≧α时，上采样核归为非小目标物体，调小特征权重的大小；当L≦α时，上采样核归为小目标物体，调大特征权重的大小。
8.根据权利要求7所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述步骤二中进行特征重组的方法为：取输入特征图J中以位置a(x,y)为中心的k×k个像素的区域，将区域与生成的上采样核作点积操作；然后与调整后的特征权重相乘，得到新的特征图：
9.根据权利要求6-8中任一项所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述EIoU损失函数为：
10.根据权利要求6-8中任意一项所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述小目标检测模型包括依次连接的基础网络Yolov5s的骨干网络、颈部网络和检测头网络，基础网络Yolov5s的骨干网络包括依次设置的第一Conv层、第二Conv层、第一C3_1层、第三Conv层、C3_2层、第四Conv层、C3_3层、第五Conv层、第二C3_1层、SPPF模块和第一空间上下文金字塔块模块，颈部网络包括依次连接的第六Conv层、第一动态感知上采样模块、第一连接层、第三C3_1层、第七Conv层、第二动态感知上采样模块、第二连接层、第四C3_1层、第八Conv层、第三连接层、第五C3_1层、第九Conv层、第四连接层、第六C3_1层...
【技术特征摘要】
1.一种基于空间上下文特征金字塔的小目标检测方法，其特征在于，其步骤如下：
2.根据权利要求1所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述聚合路线将输入的特征图经过1×1卷积核的映射处理后通过softmax层归一化处理，然后再经过1×1卷积核的映射后得到聚合的特征图，聚合的特征图与空间金字塔的路线得到的细化后的空间上下文特征图广播逐元素相乘，得到一个没有信息混淆且与输入的特征图尺寸一致的全局上下文特征图，学习输入的特征图中每个像素的空间上下文信息，并融合输入的特征图图像的局部和全局的空间特征信息。
3.根据权利要求2所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述空间上下文金字塔块模块对输入的特征图的处理方法为：1)首先将输入的大小为h×w×c的特征图s先后经过1×1卷积核的映射处理以及softmax层提取注意力权重处理，生成大小为1×hw×1的注意图b；2)再次将特征图s经过1×1卷积核的特征映射处理得到大小为1×c’×hw的特征图d，将特征图d与注意图b批处理矩阵相乘，获得全局上下文特征图e；将全局上下文特征图e经过1×1卷积核的上下文细化处理，得到细化后的空间上下文特征图f；3)将输入的特征图s输入一个独立的聚合路径，分别经过两个1×1卷积核以及softmax层的激活函数处理，得到大小为1×h×w的特征图z；4)最终将特征图z与细化后的空间上下文特征图f广播逐元素相乘，得到最终输出结果：一个没有信息混淆且与原特征图尺寸一致的全局上下文特征图r；其中，c为特征图s的通道数，h为特征图s的高度，w为特征图s的宽度，c’表示特征图s经过特征映射处理后得到的特征图d的高度。
4.根据权利要求3所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述空间上下文金字塔块模块中逐像素的特征聚合为：
5.根据权利要求1-4中任意一项所述的基于空间上下文特征金字塔的小目标检测方法，其特征在于，所述采用动态卷积的方式动态地处理输入特征图生成上采样核的方法为：设输入特征图j的尺寸大小为h×w×c，其中c表示输入特征图的通道数，w、h分别表示输入特征图的宽和高；首先利用一个1×1卷积核将输入特征图j的通道数进行压缩，将通道数c压缩至cm得到大小为h×w×cm的特征图j’；将特征图j’经过参数为β的特征映射之后变为大小为βh×βw×cm的特征图j”；使用大小为k×k的重组内核对压缩后的特征图j”中每个像素位置进行特征重组操作得到大小为h×w×β^2×k^2的上采样重组核；将上采样重组核的通道维度在空间维度展开得到尺寸为βh×βw×k^2的上采样核；将得到的上采样核利用softmax层进行归一化处理，让每个上采样核的权重映射到概率分布上，使每个上采样核的概率值都在0到1之间且所有上采样核的概率之和为1，而后取其中...
【专利技术属性】
技术研发人员：李玉华，张春雨，张梦月，许彦如，黄万伟，李璞，张王卫，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。