一种基于二次补偿的移动相机下运动目标检测方法技术

一种基于二次补偿的移动相机下运动目标检测方法，其特征在于，将视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，然后在静止背景下检测出运动目标。

【技术实现步骤摘要】
基于二次补偿的移动相机下运动目标检测方法
本专利技术属于图像探测与处理领域，具体涉及一种基于二次补偿的移动相机下运动目标检测方法。
技术介绍
移动相机下的目标检测技术，可以通过运动补偿技术消除图像序列中的背景运动，将移动背景下的运动目标检测问题转化为静止背景下的运动目标检测问题。目前运动补偿技术是采用特征点匹配的方法进行的，首先对相邻两帧图像进行特征点检测，然后通过特征点匹配的方法获得匹配点对，从而得到相邻两帧之间的变换矩阵，最后进行运动补偿。一种典型的运动补偿技术是在两帧图像上寻找特征点，例如Harris、SIFT或SURF特征点，并生成128维的特征描述向量，然后在两个特征点集合之间按照特征描述向量的欧氏距离最小准则进行最邻近搜索，这种方法虽然可以获得较高精度的点匹配，但是却有很大的时间消耗，单次匹配时间达到了秒量级，明显不适于实时性要求较高的场合。另外一种典型的运动补偿方法是计算图像序列的金字塔LK光流，通过计算图像KLT特征点的位移量(光流)，得到两幅图像间的匹配点对。由于采用了最优化搜索的方法，使得匹配工作不需要全局进行，从而一定程度上提高了算法的速度，但图像金字塔部分是算法的瓶颈，复杂度仍然很高。
技术实现思路
本专利技术提供一种基于二次补偿的移动相机下运动目标检测方法，解决了传统方法计算复杂度高、运算耗时的问题。本专利技术为解决上述技术问题的技术方案是，提出一种基于二次补偿的移动相机下运动目标检测方法，将视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，然后在静止背景下检测出运动目标。具体为，输入视频图像序列的相邻两帧图像Ik和Ik+1，利用相位相关法计算两帧图像之间的平移量(u，υ)，并对图像Ik进行平移变换消除图像序列背景运动中的平移分量，实现一次补偿；计算一次补偿后图像序列中每帧图像的KLT角点以及相邻两帧图像之间的LK光流，获得相邻两帧图像之间的KLT匹配点；估计出相邻两帧图像之间的单应矩阵H，对图像序列进行单应矩阵变换消除图像序列背景运动中的仿射分量，实现二次补偿，然后在静止背景下检测运动目标。本专利技术与现有技术相比，其显著优点为：(1)该方法将图像序列的背景运动分为平移分量和仿射分量两部分，分别利用相位相关法和LK光流法进行补偿。其复杂度有较明显的减少，从而使得本专利技术方法的硬件实时实现成为可能。(2)本专利技术方法提出分层求解算法，充分利用RANSAC的鲁棒性以及图像的背景特征，能够快速获得单应矩阵估计。下面结合附图对本专利技术作进一步详细描述。附图说明图1是本专利技术方法流程图。图2是待处理的视频图像序列的相邻两帧图像，其中，图2(a)是前帧图像，图2(b)是后帧图像。图3是使用本专利技术方法获得的运动目标检测效果图。图4是使用本专利技术方法获得运动目标之后在图2(a)中对运动目标进行标示。具体实施方式结合图1，本专利技术提出的基于二次补偿的移动相机下运动目标检测方法，通过将输入的视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，在静止背景下检测出运动目标。实现上述基于二次补偿的移动相机下运动目标检测方法的具体实施步骤如下：(1)计算相邻两帧图像Ik(x，y)和Ik+1(x，y)的互功率谱,计算方式如下:其中(x，y)为图像像素点坐标，Fk(ξ，η)和Fk+1(ξ，η)分别为两帧图像的二维傅里叶变换，(ξ，η)为频域坐标，为Fk(ξ，η)的共轭。根据傅里叶变换的时域平移特性，互功率谱又可以写为cps(ξ，η)＝e-j2π(ξu+ηυ),对上式进行傅里叶逆变换可得相位相关函数cps(x，y)＝δ(x-u，y-υ),相位相关函数是一个在平移量(u，υ)处的单位脉冲函数，它在(u，υ)处不为0，而在其他位置都是0。求取相位相关函数的峰值位置即得到两幅图像之间的平移量(u，υ)，并对图像Ik(x，y)进行平移变换消除图像序列背景运动中的平移分量，实现一次补偿。(2)检测一次补偿后图像的KLT角点，根据下式计算图像序列的LK光流d，从而获得相邻两幅图像之间的匹配点对,Zd＝e上式中，是一个2×2的矩阵，是2×1的矩阵，其中I(x)和J(x)为相邻两幅图像，w(x)为权重。(3)利用相邻图像间的匹配点来估算单应矩阵通常采用RANSAC方法。考虑到实际视频中存在背景聚集效应，匹配率不会太低，如此RANSAC迭代方法较为耗时。本专利技术提出了一种分层求解算法，充分利用RANSAC的鲁棒性以及图像的背景特征，能够快速获得单应矩阵估计，流程如下：(i)利用RANSAC方法计算当前KLT匹配点所满足的单应矩阵H；(ii)将KLT匹配点代入下式，计算KLT匹配点的单应矩阵残差∈，∈＝|xk+1-Hxk|其中，xk和xk+1分别为相邻两帧图像上的匹配点。若单应矩阵残差∈小于预先设定的残差判断阈值T1，则保留该匹配点，否则予以剔除；(iii)若步骤(ii)保留的匹配点数量大于预先设定的匹配点数量判断阈值T2，则直接输出步骤(i)中计算获得的单应矩阵H，流程结束；否则重复(i)和(ii)直至步骤(ii)保留的全部KLT匹配点的单应矩阵残差∈小于残差判断阈值T1时，输出步骤(i)中计算获得的单应矩阵H。(4)获得单应矩阵H之后，对图像序列进行单应矩阵变换消除图像序列背景运动中的仿射分量，实现二次补偿，然后在静止背景下检测运动目标。本专利技术采用运动历史图像(MHI)方法在静止背景下检测运动目标。首先，如下式计算帧间差分图像Dk＝|Ik-Ik±Δ|其中，减号表示前向MHI，而加号表示后向MHI，Δ表示差分间隔，一般可以取1，Ik和IK±Δ为运动补偿后的图像。求取MHI是一个不断更新的过程，以前向MHI图像HFk为例，其计算过程递推如下上式中的τ为衰减量，表示离当前帧越远的图像对最终目标检测的影响将会越来越小，一般可取τ＝255/L，其中L为MHI长度，T为差分图像灰度阈值。MHI图像初始值可以为0，即HFk-(L-1)＝0，HBk+(L-1)＝0求得了前向MHI图像HFk和后向MHI图像HBk之后，对这两幅图像中值滤波，滤除椒盐噪声，取它们中的较小值作为最终的检测结果，计算方式如下：Mk＝min(medfilt(HFk)，medfilt(HBk))本专利技术的效果可以通过以下仿真结果作进一步说明：图2是从拍摄的公路上运动车辆的视频中截取出来的相邻两帧图像，可以明显看出，相机移动导致原来静止的背景也有一定的运动。根据本专利技术提出的基于二次补偿的移动相机下运动目标检测方法，检测结果Mk如图3所示，视频图像中运动的汽车能够被有效地检测出来，图4将检测出的目标用矩形框框出。为了说明本专利技术在计算速度本文档来自技高网...

【技术保护点】
一种基于二次补偿的移动相机下运动目标检测方法，其特征在于，将视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，然后在静止背景下检测出运动目标。

【技术特征摘要】
1.一种基于二次补偿的移动相机下运动目标检测方法，其特征在于，输入视频图像序列的相邻两帧图像Ik和Ik+1，利用相位相关法计算两帧图像之间的平移量(u，υ)，并对图像Ik进行平移变换消除图像序列背景运动中的平移分量，实现一次补偿；计算一次补偿后图像序列中每帧图像的KLT角点以及相邻两帧图像之间的LK光流，获得相邻两帧图像之间的KLT匹配点；估计出相邻两帧图像之间的单应矩阵H，对图像序列进行单应矩阵变换消除图像序列背景运动中的仿射分量，实现二次补偿，然后在静止背景下检测运动目标。2.根据权利要求1所述的基于二次补偿的移动相机下运动目标检测方法，其特征在于，估计相邻两帧图像之间的单应矩阵H的过程为，2.1利用RANSAC方法计算当前KLT匹配点所满足的单应矩阵H；2.2计算K...

【专利技术属性】
技术研发人员：陈钱，汪鹏程，陆恺立，龚文彪，廖逸琪，顾国华，徐富元，钱惟贤，任侃，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：