一种基于注意力和时空信息的有限像素车辆目标检测方法技术

本发明专利技术公开了一种基于注意力和时空信息的有限像素车辆目标检测方法，属于航空图像处理技术领域。以无人机实飞数据为基础，建立远距离无人机图像典型目标数据集；通过语义分割网络分割出道路区域后对无人机图像进行稳定性区域提取，作为目标的候选区域；基于时空连续性及外观相似度对某时间段内同一目标的不同候选区域进行关联，构造分组；并进行局部加权显著性检测，设定显著性分数阈值以去除虚警；利用真实目标对应的分组，根据目标运动轨迹在时间上的连续性，对未在稳定性区域检测出的目标位置进行估计，对稳定性区域的检测结果进行补充。本发明专利技术将深度网络模型与非深度方法相结合，对有限像素车辆目标实现了有效检测，具有较高的准确性和速度。具有较高的准确性和速度。具有较高的准确性和速度。

【技术实现步骤摘要】
一种基于注意力和时空信息的有限像素车辆目标检测方法


[0001]本专利技术属于航空图像处理
，具体涉及一种基于注意力和时空信息的有限像素车辆目标检测方法。

技术介绍

[0002]无人机图像有限像素目标是指在无人机图像中所占像素很少的目标。在远距离成像条件下，尤其是中高空无人机远距离斜视对地观测时，地面目标在图像中所占像素数较少。
[0003]利用计算机对无人机图像数据进行有效地分析和处理，识别出不同类别的目标并标注其所在的位置是计算机视觉任务中的基础问题之一，被广泛应用于军事、农林业、海事、防灾救灾以及城市规划等各个领域，这也对无人机图像的目标检测任务提出了更高的要求。
[0004]在复杂背景中检测小目标是图像分析处理领域的一个重要研究方向，与自然场景下的图像相比，由于成像距离较远，无人机图像具有背景复杂度高、目标尺寸小和特征弱等特点，且由于成像环境较为复杂，例如天气、平台速度、高度及稳定性变化性大，导致无人机图像具有分辨率低、色彩饱和度低和环境噪声失真等问题，从而加大了目标检测的难度。
[0005]现有的目标检测算法分为基于传统图像处理和基于深度学习的算法两大类，对有限像素级别的车辆目标检测具有一定局限性，主要体现在：
[0006]1)基于传统图像处理的目标检测法大多应用于红外弱小目标检测领域，通过引入视觉注意力机制，利用目标与背景、噪声之间的差异，选择性地发现感兴趣的目标区域，但手工设计特征具有代表性不足的缺点，易受复杂背景的干扰，不能直接应用于无人机图像目标检测任务中。r/>[0007]2)基于深度神经网络的目标检测方法，大多针对于具有一定尺寸或比例的中大型目标，难以适用于复杂场景下的小目标检测，特别是针对有限像素的目标存在固有缺陷。
[0008]3)无人机图像序列车辆目标运动轨迹在时间上具有连续性，现有的方法未能利用时空信息，从而改善有限像素车辆目标的检测性能。

技术实现思路

[0009]针对无人机图像中的有限像素车辆目标检测任务，为提升检测结果的准确率，并具有适应复杂环境变化的能力，同时满足一定的实时性要求，本专利技术通过结合非深度方法与深度网络，同时引入车辆目标运动信息，提出一种基于注意力和时空信息的有限像素车辆目标检测方法。
[0010]具体步骤如下：
[0011]步骤一、利用某无人机的实飞数据，选取某时间段内远距离无人机图像中的目标数据集。
[0012]目标为道路场景中的车辆；每帧无人机图像中的车辆个数不定；
[0013]步骤二、针对每张图像数据，分别进行真值标签处理和地理位置偏移计算；
[0014]真值标签处理是对每张无人机图像对应的标签分别进行处理；
[0015]标签处理包括两部分：一部分是标记单通道二值标签，以及标记道路与水平方向的夹角θ；
[0016]单通道标签图为0
‑
1二值图像；
[0017]另一部分是对每张图像中每个目标车辆的真实尺寸进行统计，生成尺寸分布直方图。
[0018]地理位置偏移计算是指：基于无人机飞行高度和成像参数，计算图像序列的位置偏移量，包括相邻两帧图像的旋转角度Δθ和平移量Δs＝(Δx,Δy)；
[0019]步骤三、根据无人机图像和单通道二值标签，采用SegNet全卷积网络训练道路语义分割网络模型，并引入回归分支预测分割后道路的角度值；
[0020]针对某无人机图像，通过给定的真值标签，在SegNet全卷积网络中引入一个回归分支，网络自动学习角度值。
[0021]步骤四、对每张无人机图像进行二值分割后聚类，对各聚类结果进行二次后验，生成各聚类对应的稳定性区域；
[0022]稳定性区域的提取过程具体为：
[0023]步骤401、针对每张图像，将三通道彩色图像转换为灰度图像，采用多级阈值对灰度图像进行二值分割，得到多个连通区域组成的二值图；
[0024]多级阈值为：一组灰度范围在[0，255]，步长为δ的阈值；
[0025]二值图中每个连通区域分别对应五种结构描述符，分别为：1)像素数|r|；2)几何中心点c；3)最小外接矩形框b；4)填充率f；5)宽高比a；
[0026]步骤402、针对每张图像，以各连通区域的几何中心点之间的欧几里得距离作为约束，通过计算相似性度量准则，基于连通区域之间的空间关系对二值分割得到的连通区域进行聚类；
[0027]具体为：
[0028]对任意两个相邻连通区域u,v的结构描述符进行运算，得到四种稳定性度量准则，分别为：
[0029]1)面积变化D
r
(u,v)＝||u|
‑
|v||；
[0030]2)中心距离D
c
(u,v)＝||c
u
‑
c
v
||；
[0031]3)填充率差异
[0032]4)宽高比差异
[0033]聚类过程为：判断两个相邻区域的中心距离D
c
(r
i
,r
j
)是否小于阈值Δ
c
，如果是，则区域r
i
,r
j
为同一个聚类。否则，这两个区域不能聚类；
[0034]Δ
c
定义为：
[0035][0036]其中表示区域r
i
的宽，表示区域r
i
的高。
[0037]最后、每张图像中各目标分别对应一个聚类；每个聚类中包含的连通区域个数不定；
[0038]步骤403、对每张图像中各聚类结果分别进行二次后验，生成各聚类结果对应的稳定性区域。
[0039]对当前图像中各聚类结果均做如下操作：
[0040]首先，针对某目标P对应的聚类结果，从所有的填充率差异中选择最小值对应的两个连通区域，以及宽高比差异最小值对应的两个连通区域，从这四个连通区域中选择像素数|r|最大的区域作为目标P的最终区域R。
[0041]然后，以区域R的最小外接矩形框为边界，对应到原始图像中，从原始图像中按最小外接矩形框的边界进行提取，得到仅包含目标P的图像作为最优子图像；
[0042]接着，通过Otsu阈值分割方法对最优子图像进行分割，使目标P与背景的类间方差最大，从而获得最优阈值用于分离最优子图像中的目标P和背景，并得到分割结果
[0043]在最优阈值左右一个步长δ范围内分别取两个阈值然后，分别使用分割阈值对最优子图像再次进行分割，得到对应的分割结果
[0044]判断分割后的两个区域面积变化量是否小于阈值Φ
r
，如果是，则二次后验判定区域R为稳定性区域；否则，该区域R不是稳定区域，直接舍弃。
[0045]阈值Φ
r
定义为：
[0046]Φ
r
＝Δ
r
φ
r
[0047][0048]其中Δ
r<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力和时空信息的有限像素车辆目标检测方法，其特征在于，具体步骤如下：步骤一、利用某无人机的实飞数据，选取某时间段内远距离无人机图像中的目标数据集；步骤二、针对每张图像数据，分别进行真值标签处理和地理位置偏移计算；步骤三、根据无人机图像和单通道二值标签，采用SegNet全卷积网络训练道路语义分割网络模型，并引入回归分支自动预测分割后道路的角度值；步骤四、对每张无人机图像进行二值分割后聚类，对各聚类结果进行二次后验，生成各聚类对应的稳定性区域；步骤五：基于时空连续性及外观相似度，对该时间段内的不同帧图像中的同一个目标的稳定性区域进行关联，形成分组；具体过程为：步骤501、针对某目标Q当前第i帧图像中的稳定性区域，根据无人机图像中目标车辆的运动特性和预测的分割道路的角度值，对该目标在第i+1帧图像中建立搜索区域范围；步骤502、在目标Q第i+1帧图像的搜索区域范围内，利用稳定性检测生成二值区域，并判断是否在二值区域上搜索到了目标Q，如果是，进入步骤503检验相邻两帧的外观相似性，否则，忽略第i+1帧图像，继续在第i+2帧图像的搜索区域范围内，依次类推，直至搜索到目标Q；步骤503、基于形状描述子和颜色描述子，对包含目标Q的两个相邻帧中的稳定性区域进行外观相似性度量；对两个相邻稳定性区域之间，外观相似度计算公式为：其中χ2[.]是直方图之间的卡方距离，α表示卡方距离的权重，D[.]表示两个Hu矩特征向量之间的欧式距离，β表示欧式距离的权重；表示第i帧图像中稳定性区域m对应的子图像灰度直方图，表示第i帧图像中稳定性二值区域m对应的特征向量；步骤504、选择外观相似度超过设定阈值的目标Q的稳定性区域进行关联，最后得到一系列包含目标Q的稳定性区域，这一系列稳定性区域作为一组；步骤六、对各目标的分组中对应的稳定性区域分别进行局部加权显著性检测，并判定各组的目标是否为真实目标；显著性检测过程为：步骤601、对该时间段内的所有无人机图像进行灰度化，并采用高斯滤波对各稳定性区域进行处理；步骤602、利用高斯滤波的结果，同时引入尺寸加权因子和概率加权因子，对每组关联的各稳定性区域分别计算加权显著性分数；具体为：首先，针对不同目标，分别计算各分组关联的每个稳定性区域的尺寸加权因子和概率加权因子；尺寸加权因子由关联的各稳定性区域的自身尺寸决定，根据车辆目标真实尺寸分布先
验值得到；同一组内不同的稳定性区域对应的尺寸加权因子不同；概率加权因子由所在的分组决定，每个分组关联的各稳定性区域的概率加权因子相同；然后，利用尺寸加权因子和概率加权因子，对稳定性区域进行显著性计算，得到加权显著性分数；表示为：其中表示第k个分组中第i'个稳定性区域的显著性分数；表示第k个分组中第i'个稳定性区域的尺寸加权因子，P
k
表示第k个分组的各稳定性区域的概率加权因子；表示第k个分组中第i'个稳定性区域；步骤603、选择每个分组中最大的加权显著性分数值并与设定阈值Th进行比较，判断是否大于阈值，如果是，则将该分组对应的目标判定为真实目标，否则，该分组对应的目标为虚假目标；阈值定义为：Th＝0.7max(S
k
)；其中S
k
为第k个分组中加权显著性分数最大的值；步骤七、利用真实目标对应的分组，根据目标运动轨迹在时间上的连续性，以及齐次变换矩阵和道路角度的先验值，对未在稳定性区域检测出的目标位置进行估计，对稳定性区域的检测结果进行补充。2.如权利要求1所述的一种基于注意力和时空信息的有限像素车辆目标检测方法，其特征在于，所述步骤一中，目标为道路场景中的车辆；每帧无人机图像中的车辆个数不定。3.如权利要求1中所述的一种基于注意力和时空信息的有限像素车辆目标检测方法，其特征在于，所述步骤二中，真值标签处理是对每张无人机图像对应的标签分别进行处理；标签处理包括两部分：一部分是标记0
‑
1的单通道二值标签，以及标记道路与水平方向的夹角θ；另一部分是对每张图像中每个目标车辆的真实尺寸进行统计，生成尺寸分布直方图；地理位置偏移计算是指：基于无人机飞行高度和成像参数，计算图像序列的位置偏移量，包括相邻两帧图像的旋转角度Δθ和平移量Δs＝(Δx,Δy)。4.如权利要求1中所述的一种基于注意力和时空信息的有限像素车辆目标检测方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：李红光，于若男，李烜烨，王菲，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：