【技术实现步骤摘要】
基于跨层特征融合和线性注意力优化的跨物种目标检测方法
[0001]本专利技术涉及目标检测
，特别是涉及一种基于跨层特征融合和线性注意力优化的跨物种目标检测方法。
技术介绍
[0002]由于智能手机、电脑、平板电脑等电子产品的普及，图像已经深入到人们的日常生活，并正在迅速地成为最重要的信息传递渠道。随着图像数据的不断增加，仅凭人力来理解和识别这些信息已经不足以满足需求，因此，需要利用计算机技术来实现图像的信息化处理。如何有效的、高效的提取和分析图像中信息变得尤为重要，目标检测技术可处理这个问题。目标检测任务是利用计算机对输入图像中进行数字化分析，对图像中出现的目标进行定位和分析，得出目标的位置信息和所属类别。相比于其他复杂视觉任务，目标检测任务虽然简单，但却能够为语义分割、姿态估计以及目标跟踪等更加复杂的任务提供有效的技术支持。
[0003]目前跨物种目标检测已经广泛应用于生产生活。例如在车辆驾驶过程中，跨物种目标检测可以依靠摄像机代替人类视觉系统进行观察，对摄像头捕获到的车辆、行人、信号灯进行精准定位，从而提前规避交通风险。在农业生产过程中，跨物种目标检测可以通过对农业生产提供数据支撑和技术支持有效的提高了生产效率，如对瓜果蔬菜进行检测和计数从而有效的评估亩产量；对病虫害进行检测从而有效的指导防治工作。
[0004]在智能医疗领域中，跨物种目标检测可以应用于分析海量的医疗数据，通过找出有价值的信息可以帮助医生做出更加精准的诊断，可以帮助医生提高诊断效率，及早发现病情并采取有效的干预措施。>[0005]但目前由于跨物种目标检测网络在利用多层级目标特征上，大多采用简单的特征级联或相加操作来融合多层级特征，未对冗余信息加以抑制，这种对特征的有限利用极大地限制了跨物种目标检测网络的检测性能。同时由于跨物种目标检测网络在应用注意力对特征进行建模时，存在注意力模块的计算复杂度过高，对硬件内存和计算资源消耗过高，难以用于实践。
技术实现思路
[0006]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于跨层特征融合和线性注意力优化的跨物种目标检测方法，旨在解决目前基于神经网络的跨物种目标检测存在的一方面未能对神经网络内的各层级特征充分利用，在实际应用中受到小尺寸目标、重叠目标、前后景对比不明显目标等若干复杂场景的影响，检测效果不尽如人意的缺陷；以及一方面其建模各层级特征的过程由于复杂度过高，对硬件内存和计算资源消耗过高，难以用于实践的缺陷。
[0007]为实现本专利技术的目的所采用的技术方案是：
[0008]一种基于跨层特征融合和线性注意力优化的跨物种目标检测方法，通过跨层特征
融合和线性注意力优化的跨物种目标检测网络实现，对输入的待检测图像处理，对目标位置预测；该跨物种目标检测网络包括注意力编码解码模块以及关键点热图检测模块；所述注意力编码解码模块包括至少两级注意力编码解码器；前一级注意力编码解码器的输出为下一级注意力编码解码器的输入，每级注意力编码解码器包括至少两级混合自注意力编码器以及至少两级交叉注意力解码器器；包括步骤：
[0009]所述混合自注意力编码器模块，基于窗口划分策略和注意力线性优化策略，对输入图像分割成多个分割特征图，将注意力计算限制在一个窗口中，将分割特征图通过线性映射层线性映射至注意力计算特征空间，通过注意力计算获得多个特征后重组操作，实现从待检测图像中提取跨物种目标的各层级特征；
[0010]所述交叉注意力解码器模块，通过交叉注意力计算，融合所述混合自注意力编码器模块提出的各层级特征，实现低层信息和高层信息的联合编码和对齐，输出待检测特征图；
[0011]所述关键点热图检测处理模块，根据编码器
‑
解码器建模的目标特征，使用高斯热图编码方式对待检测特征图处理，对目标所在位置进行预测，预测目标的中心点位置、下采样时中心点偏移量和边界框长宽，形成对应的预测值，将预测值同真实值对比，获得损失，将损失值反向传播更新网络参数，以不断修正，直至预测值等于真实值，输出预测结果。
[0012]其中，使用高斯热图编码方式对目标中心点在二维空间的分布进行拟合，高斯热图中心值对应目标中心点，接近于1，从中心向边缘逐渐递减，趋近于0；通过网络的学习行为使得预测的关键点热图符合目标分布，从而获得精准的对目标位置的预测。
[0013]其中，所述关键点热图检测处理模块包括三个检测模块：
[0014]关键点热图检测模块，用于获得关键点热图的预测值同获得的关键点热图真实值Y
xyc
比对，通过像素级逻辑回归损失Focal Loss计算损失值L
k
；
[0015][0016]其中，α和β是超参数，N是待检测目标的数量；
[0017]定位误差检测模块，对每一个中心点预测下采样时中心点偏移量的预测值通过L1范数计算真实值同预测值之间损失，计算过程如下式：
[0018][0019]式中，代表中心点偏移量的预测值，O
k
代表偏移量的真实值，k是待检测的第k个目标；
[0020]目标尺寸检测模块，对每一个点预测对应的边界框长宽的预测值通过L1范数计算真实值同预测值之间损失，计算过程如下式所示：
[0021][0022]式中，代表目标尺寸的预测值，s
k
代表尺寸的真实值。
[0023]其中，至少两级混合注意力编码器依次连接，后一个混合自注意力编码器对前一
个混合自注意力编码器的输出结果进行特征提取；每个混合自注意力编码器包括一个空间自注意力编码器以及一个通道自注意力编码器；所述空间自注意力编码器的输出为所述通道自注意力编码器的输入。
[0024]其中，所述混合自注意力编码器的编码处理是，通过窗口划分对输入图像X分割成个分割特征图X
slice
，将分割特征图X
slice
通过一个线性映射层线性映射至一个空间注意力计算特征空间，通过空间注意力计算得到空间分割特征图X
space
，将空间分割特征图X
space
通过一个线性映射层线性映射到一个通道注意力计算特征空间，获得通道空间注意力计算得到通道分割特征图X
chanl
，通过窗口重组操作，将多个通道分割特征图X
chanl
重组为输出特征图F
selfattn
；h、w是输入图像的长宽，M是窗口长宽。
[0025]其中，至少两级交叉注意力解码器依次连接；每个交叉注意力解码器包括交叉空间注意力解码器与交叉通道注意力解码器；采用交叉空间注意力解码器，对空间自注意力编码器捕获后的高层特征和捕获前的低层特征在空间维度进行联合编码和对齐；采用交叉通道注意力解码器，对通道自注意力编码器捕获后的高层特征和捕获前的低层特征在通道维度进行联合编码和对齐；通过交叉注意力控制高层信息和低层信息的传输比重，实现有效信息利用。
[0026]其中，所述交叉注意力解码器的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，通过跨层特征融合和线性注意力优化的跨物种目标检测网络实现，对输入的待检测图像处理，对目标位置预测；该跨物种目标检测网络包括注意力编码解码模块以及关键点热图检测模块；所述注意力编码解码模块包括至少两级注意力编码解码器；前一级注意力编码解码器的输出为下一级注意力编码解码器的输入，每级注意力编码解码器包括至少两级混合自注意力编码器以及至少两级交叉注意力解码器器；包括步骤：所述混合自注意力编码器模块，基于窗口划分策略和注意力线性优化策略，对输入图像分割成多个分割特征图，将注意力计算限制在一个窗口中，将分割特征图通过线性映射层线性映射至注意力计算特征空间，通过注意力计算获得多个特征后重组操作，实现从待检测图像中提取跨物种目标的各层级特征；所述交叉注意力解码器模块，通过交叉注意力计算，融合所述混合自注意力编码器模块提出的各层级特征，实现低层信息和高层信息的联合编码和对齐，输出待检测特征图；所述关键点热图检测处理模块，根据编码器
‑
解码器建模的目标特征，使用高斯热图编码方式对待检测特征图处理，对目标所在位置进行预测，预测目标的中心点位置、下采样时中心点偏移量和边界框长宽，形成对应的预测值，将预测值同真实值对比，获得损失，将损失值反向传播更新网络参数，以不断修正，直至预测值等于真实值，输出预测结果。2.根据权利要求1所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，使用高斯热图编码方式对目标中心点在二维空间的分布进行拟合，高斯热图中心值对应目标中心点，接近于1，从中心向边缘逐渐递减，趋近于0；通过网络的学习行为使得预测的关键点热图符合目标分布，从而获得精准的对目标位置的预测。3.根据权利要求2所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，所述关键点热图检测处理模块包括三个检测模块：关键点热图检测模块，用于获得关键点热图的预测值同获得的关键点热图真实值Y
xyc
比对，通过像素级逻辑回归损失Focal Loss计算损失值L
k
；其中，α和β是超参数，N是待检测目标的数量；定位误差检测模块，对每一个中心点预测下采样时中心点偏移量的预测值通过L1范数计算真实值同预测值之间损失，计算过程如下式：式中，代表中心点偏移量的预测值，o
k
代表偏移量的真实值，k是待检测的第k个目标；目标尺寸检测模块，对每一个点预测对应的边界框长宽的预测值通过L1范数计算真实值同预测值之间损失，计算过程如下式所示：
式中，代表目标尺寸的预测值，s
k
代表尺寸的真实值。4.根据权利要求1所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，至少两级混合注意力编码器依次连接，后一个混合自注意力编码器对前一个混合自注意力编码器的输出结果进行特征提取；每个混合自注意力编码器包括一个空间自注意力编码器以及一个通道自注意力编码器；所述空间自注意力编码器的输出为所述通道自注意力编码器的输入。5.根据权利要求4所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，所述混合自注意力编码器的编码处理是，通过窗口划分对输入图像X分割成个分割特征图X
slice
，将分割特征图X
slice
通过一个线性映射层线性映射至一个空间注意力计算特征空间，通过空间注意力计算得到空间分割特征图X
space
，将空间分割特征图X
space
通过一个线性映射层线性映射到一个通道注意力计算特征空间，获得通道空间注意力计算得到通道分割特征图X
chanl
，通过窗口重组操作，将多个通道分割特征图X
chanl
重组为输出特征图F
selfattn
；h、w是输入图像的长宽，M是窗口长宽。6.根据权利要求5所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，至少两级交叉注意力解码器依次连接；每个交叉注意力解码器包括交叉空间注意力解码器与交叉通道注意力解码器；采用交叉空间注意力解码器，对空间自注意力编码器捕获后的高层特征和捕获前的低层特征在空间维度进行联合编码和对齐；采用交叉通道注意力解码器，对通道自注意力编码器捕获后的高层特征和捕获前的低层特征在通道维度进行联合编码和对齐；通过交叉注意力控制高层信息和低层信息的传输比重，实现有效信息利用。7.根据权利要求6所述基于跨层特征融合和线性注意力优化的跨物种目标检测方法，其特征在于，所述交叉注意力解码器的解码处理包括步骤：第一，交叉空间注意力解码器接收混合自注意力编码器捕获后的高层特征图F
selfattn
和捕获前的低层特征图F
repl
，通过窗口划分处理获得个对应的窗口化的高层特征图Fs
plit
和低层特征图R
split
；对每个窗口化的高层特征图Fs
plit
和低层特征图R...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。