一种航拍视频运动目标检测方法及系统技术方案

本发明专利技术涉及视频监控数据处理技术领域，公开了一种航拍视频运动目标检测方法及系统，该检测方法，包括以下步骤：S1，运动背景补偿：对相邻视频帧进行全局运动背景补偿，消除背景的运动；S2，变化区域检测：采用基于多尺度特征融合的深度变化检测网络，进行相邻视频帧间变化区域检测；S3，运动目标提取：采用连续三帧间的变化信息来确认最终的运动目标区域。本发明专利技术解决了现有技术存在的检测准确率低、环境适应力差等问题。差等问题。差等问题。

【技术实现步骤摘要】
一种航拍视频运动目标检测方法及系统


[0001]本专利技术涉及视频监控数据处理
，具体是一种航拍视频运动目标检测方法及系统。

技术介绍

[0002]视频运动目标检测是计算机视觉领域的重要研究内容，其解决的核心问题是将视频连续帧中出现的运动目标(作为前景)从视频静态场景(作为背景)中分割出来，即把视频前景与背景分离，处理结果是一个二值化图，通常灰度值为0的像素区域代表背景，灰度值为1的像素区域代表前景，即运动目标。在机载视频智能处理应用中，运动目标检测是实现目标跟踪、目标定位、目标分类、目标识别、目标行为分析等功能的基础，目标检测结果通常会作为上述功能的输入。因此，在一个视频智能处理系统中，检测结果的准确性将直接影响后续跟踪、定位、识别、行为分析等功能的精度。
[0003]航拍视频是移动飞行监测平台下一种典型的应用方式，针对航拍视频的运动目标检测已成为包含计算机视觉、模式识别、图像处理和自动控制等多个交叉领域的前沿研究问题。航拍视频的飞行平台一般包括无人机、侦察机等，通常这些平台具备造价低廉、体积小、操作方便、人员风险低、环境适应能力强等特点，可高效替代人类去执行许多高风险的工作任务，已达到节省人力、财力和物力的目的。在军事应用领域，航拍视频的运动目标检测已经广泛应用于战场情报侦察、对空/地作战攻击、无人机遥感、高智能武器等应用中。在民用领域，该技术在灾后救援、交通监测、电力线巡检、边境线巡逻等应用中也具有极大的研究和使用价值。
[0004]航拍视频监控是智能化视觉监控技术的重要组成部分，在当今的军事应用研究和民用科技中都有着无可替代的重要地位，国内国外的研究机构和工业机构均十分看重该项技术的研究。当前，航拍视频智能处理领域存在海量数据过度依赖人工分析，耗时长，自动化智能化程度低，极度浪费人力物力资源等问题，因此迫切需要研究航拍数据自动化、智能化处理技术，实现对视频中目标(包括运动目标)的自动检测、跟踪和定位，进而为后续行为理解、场景分析、态势分析等高层任务提供必需的决策基础。当前常见的运动目标检测方法可大致划分为3类：(1)基于光流场的运动目标检测：该类方法的关键是根据运动目标的运动矢量特征，利用视频中局部区域的一致性以及背景和运动目标之间的差异性完成对运动目标的分割，此类方法的缺点计算量大、抗噪能力弱；(2)基于统计模型的运动目标检测：该类方法首先通过视频相邻帧运动估算获得运动矢量场，然后基于马尔可夫随机场(MRF)建立运动矢量场的间断点分布模型，最后，利用建立的分布模型进行运动矢量场的间断点检测，从而提取出运动目标。此类方法的优点是计算量较小，可达到实时处理，但是在复杂运动背景下检测率下降严重；(3)基于背景补偿的运动目标检测：作为目前最常用的一种方法，该类方法一般处理流程是首先对视频相邻帧进行图像匹配，然后基于匹配结果估算出全局运动模型，并依据运动模型完成运动背景补偿，通过这样的操作将动态背景转化为静态背景处理，本专利技术属于该类方法的扩展和深入。
[0005]相比固定场景中的运动目标检测，航拍视频的运动目标检测面临更多挑战，主要包括飞行平台运动造成的场景复杂多变、背景运动、视频帧分辨率低、目标尺度变化大、关注目标尺寸过小(如航拍视频图像中运动的行人像素大小一般只有十几个像素)。此外，由于应用需求，通常对处理资源有着极强的限制，这些将对算法的准确性、鲁棒性和实时性提出更高的要求。已有航拍视频运动目标检测技术，不管是从方法理论的系统性，还是从研究成果的实用性，都亟需进一步的深入研究。

技术实现思路

[0006]为克服现有技术的不足，本专利技术提供了一种航拍视频运动目标检测方法及系统，解决现有技术存在的检测准确率低、环境适应力差等问题。
[0007]本专利技术解决上述问题所采用的技术方案是：
[0008]一种航拍视频运动目标检测方法，
[0009]一种航拍视频运动目标检测方法，包括以下步骤：
[0010]S1，运动背景补偿：对相邻视频帧进行全局运动背景补偿，消除背景的运动；
[0011]S2，变化区域检测：采用基于多尺度特征融合的深度变化检测网络，进行相邻视频帧间变化区域检测；
[0012]S3，运动目标提取：采用连续三帧间的变化信息来确认最终的运动目标区域。
[0013]作为一种优选的技术方案，步骤S1中，利用空间约束方法对ORB特征点的分布进行筛选，具体实施步骤如下：
[0014]S11，对视频帧进行相同大小的区域划分，并按顺序对区域进行编号；
[0015]S12，基于区域划分方式和ORB特征点的具体位置，对每个特征点进行编号，使得每个特征点的编号对与该特征点在视频帧中位置区域的序号对应；
[0016]S13，采用如下特征点筛选方式：为每个相同序号区域的ORB特征点中只保留强度值最大的点作为该区域的特征点，过滤掉其它的特征点，ORB特征点的强度值通过以下方式定义：
[0017]R＝det M
‑
α(traceM)2；
[0018]M表示梯度矩阵的协方差矩阵，det M为M的行列式，traceM为M的迹，α为常数，α取值范围为0.04
‑
0.06。
[0019]作为一种优选的技术方案，步骤S1中，采用8自由度的单应性变换来拟合航拍视频的运动模型，单应性变换模型对应的变换矩阵定义如下：
[0020][0021]其中，t
11
、t
12
、t
13
、t
21
、t
22
、t
23
、t
31
、t
32
、t
33
表示模型参数，通过将矩阵T中每个元素除以t
33
的方式对单应性矩阵进行归一化，则将单应性矩阵T中的未知元素就由9个降为8个。
[0022]作为一种优选的技术方案，步骤S2中，对经全局运动背景补偿后的前后两帧图像，
使用孪生架构的卷积网络分别提取它们的多尺度特征；其中，孪生架构的卷积网络上下2个分支结构相同，权重共享，每个分支包含5个卷积模块，5个卷积模块分别对应着5种不同尺度特征的计算；在第3,4,5个卷积模块之后，分别将2幅输入视频帧对应特征拼接后送到解码模块，得到每个尺度下初步的变化特征后与上一层变化特征逐步融合，最终得到多特征融合的变化检测图。
[0023]作为一种优选的技术方案，步骤S2中，解码模块以多层深度特征作为输入，通过上采样和卷积操作，将输入特征映射为所需的变化特征图，该解码模块包括上采样层、卷积层、批处理层和非线性激活层，上采样层用以进行对应倍数的上采样，卷积层用以减少模型输出的通道数，已达到对图像特征降维的目的，卷积层输出通道数设置为64，解码模块计算过程公式化描述为：
[0024][0025]其中，i为正整数且i≥3；cat(.)表示特征拼接操作，其功能是在通道方向上实现图像特征的拼接；F
i
表示当前帧和参考帧的第i层特征图与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航拍视频运动目标检测方法，其特征在于，包括以下步骤：S1，运动背景补偿：对相邻视频帧进行全局运动背景补偿，消除背景的运动；S2，变化区域检测：采用基于多尺度特征融合的深度变化检测网络，进行相邻视频帧间变化区域检测；S3，运动目标提取：采用连续三帧间的变化信息来确认最终的运动目标区域。2.根据权利要求1所述的一种航拍视频运动目标检测方法，其特征在于，步骤S1中，利用空间约束方法对ORB特征点的分布进行筛选，具体实施步骤如下：S11，对视频帧进行相同大小的区域划分，并按顺序对区域进行编号；S12，基于区域划分方式和ORB特征点的具体位置，对每个特征点进行编号，使得每个特征点的编号对与该特征点在视频帧中位置区域的序号对应；S13，采用如下特征点筛选方式：为每个相同序号区域的ORB特征点中只保留强度值最大的点作为该区域的特征点，过滤掉其它的特征点，ORB特征点的强度值通过以下方式定义：R＝det M
‑
α(traceM)2；M表示梯度矩阵的协方差矩阵，det M为M的行列式，traceM为M的迹，α为常数，α取值范围为0.04
‑
0.06。3.根据权利要求1所述的一种航拍视频运动目标检测方法，其特征在于，步骤S1中，采用8自由度的单应性变换来拟合航拍视频的运动模型，单应性变换模型对应的变换矩阵定义如下：其中，t
11
、t
12
、t
13
、t
21
、t
22
、t
23
、t
31
、t
32
、t
33
表示模型参数，通过将矩阵T中每个元素除以t
33
的方式对单应性矩阵进行归一化，则将单应性矩阵T中的未知元素就由9个降为8个。4.根据权利要求1所述的一种航拍视频运动目标检测方法，其特征在于，步骤S2中，对经全局运动背景补偿后的前后两帧图像，使用孪生架构的卷积网络分别提取它们的多尺度特征；其中，孪生架构的卷积网络上下2个分支结构相同，权重共享，每个分支包含5个卷积模块，5个卷积模块分别对应着5种不同尺度特征的计算；在第3,4,5个卷积模块之后，分别将2幅输入视频帧对应特征拼接后送到解码模块，得到每个尺度下初步的变化特征后与上一层变化特征逐步融合，最终得到多特征融合的变化检测图。5.根据权利要求1所述的一种航拍视频运动目标检测方法，其特征在于，步骤S2中，解码模块以多层深度特征作为输入，通过上采样和卷积操作，将输入特征映射为所需的变化特征图，该解码模块包括上采样层、卷积层、批处理层和非线性激活层，上采样层用以进行对应倍数的上采样，卷积层用以减少模型输出的通道数，已达到对图像特征降维的目的，卷积层输出通道数设置为64，解码模块计算过程公式化描述为：
其中，i为正整数且i≥3；cat(.)表示特征拼接操作，其功能是在通道方向上实现图像特征的拼接；F
i
表示当前帧和参考帧的第i层特征图与解码后的第i+1层特征图拼接后，并进行下层特征图生成；和分别表示当前帧和参考帧在网络第i层计算的深度特征；卷积模块5的卷积层是特征提取的最后一层，应该独立计算，其解码后特征为：6.根据权利要求1所述的一种航拍视频运动目标检测方法，其特征在于，步骤S2中，利用解码模块计算得到的特征F
i
后，变化检测网络利用一个卷积层计算得到相应尺度的变化检测结果图P<...

【专利技术属性】
技术研发人员：向涛，赖作镁，乔文昇，刘杰，熊召龙，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：