本发明专利技术公开了一种基于单应性矩阵的实时视频稳像方法，对手持DV，无人机等设备获取的视频序列进行稳像处理。本发明专利技术的方法包括如下步骤：A、提取视频图像中分布均匀的角点；B、计算帧间的光流矢量，利用光流矢量跟踪帧间运动的角点；C、利用分层仿射校正算法校正跟踪的角点；D、利用随机抽样一致算法求取帧间的单应性矩阵；E，使用卡尔曼滤波器分离帧间的主动运动补偿量、畸变校正量；F、使用单应性矩阵，运动补偿量和畸变校正量对视频图像进行稳像变换得到稳定的当前帧输出。本发明专利技术可以有效的去除视频序列存在的抖动，算法复杂度较低，运行速度快，为实时的视频处理系统提供很好的应用价值。
【技术实现步骤摘要】
本专利技术属于视频信息处理的
，本专利技术是一种基于单应性矩阵的视频序列稳像方法，适用于手持设备，无人机等领域。
技术介绍
目前UAV(UnmannedAerialVehicle)在航拍领域发挥着越来越重要的作用。由于受到了自身电机振动以及飞行路径不平稳的影响，无人机拍摄的视频不可避免的存在抖动问题。这些抖动不仅严重影响了观看效果，而且会给视频序列的目标检测，目标跟踪以及目标识别等后处理带来较大误差。因此，使用快速有效的稳像算法去除视频中的高频抖动具有重要的实用意义。现有的视频稳像算法主要分为两大类：一是基于2D图像变换的稳像算法，二是基于3D场景重建的稳像算法。基于2D图像变换的稳像算法将相机实际的3D的运动简化为2D的平面运动进行处理。这类稳像算法主要使用图像的块特征和点特征来进行帧间信息的估计。在帧率为30FPS的视频流中，帧间时差相对运动较小，采用四参数的2D相似变换模型或者六参数的仿射变换模型对帧间的运动进行建模，使用适当参数的低通滤波器分离相应的主动运动量对配准图像进行运动补偿，对视频抖动有一定的去除效果。但是，2D稳像算法中使用仿射模型，相似模型估计的2D的相机路径与实际的3D相机路径并不等价，这使得此类稳像算法对于视角及景深变换明显的视频稳像效果并不理想。基于3D场景重建的视频稳像算法使用了SFM(StructFromMotion)，利用2D图像序列估计出场景的3D结构和3D的运动信息。然后利用这些信息对3D的相机运动路径进行滤波平滑，并使用最终的平滑后参数补偿抖动帧。这种基于场景重建的稳像算法对于一些视角及景深变化明显的抖动视频具有很好的稳像效果。然而该算法的计算量大，参数计算过度依赖与帧间特征的跟踪精度，因而鲁棒性一般。论文名：Contentpreservingwarpsfor3Dvideostabilization，期刊：ACMTransactionsonGraphics，年份：2009年。Liu等人提出了一种基于3D场景重建的稳像算法，并将深度相机引入稳像处理中来提高稳像系统的鲁棒性。但该算法需要对场景进行3D重建，计算量较大，无法实现实时处理，很难应用于实时场景中。论文名：Calibration-freerollingshutterremoval，会议：IEEEInternationalConferenceonComputationalPhotography(ICCP)，年份：2012年。Grundmann等人提取图像中的角点作为特征，并使用光流法跟踪帧间角点。但是跟踪算法对于帧间存在大运动，帧模糊情况效果退化明显。针对上述背景内容，研究一种有效处理3D相机路径的快速稳像算法，对实时性系统应用具有重要意义。
技术实现思路
本专利技术的目的是为了克服现有稳像算法的不足，提供一种基于单应性矩阵的实时视频稳像算法，既能有效的去除无人机航拍视频中存在的抖动，恢复出平稳连续的视频，同时做到较低的复杂度和较快的运行速度，为实时应用系统提供了很好的应用价值。本专利技术的技术方案：一种基于单应性矩阵的实时视频稳像方法，步骤如下：(1)使用距离约束的Harris角点检测算法获得分布均匀的帧图像特征点集计算抖动视频序列图像的Harris特征点，先将当前彩色图像变换成灰度图像，使用Harris角点检测算法获得角点，并用距离r进行约束，获得均匀分布的帧图像特征点集；(2)利用分层仿射约束的光流跟踪算法跟踪下一帧角点的坐标1)对长宽分别为w,h的图像建立5层尺度金字塔，第L层图像对应的长宽为第0层为原始图像尺度，同时，第L层对应的角点坐标为：2)在最底层跟踪同一尺度下的帧间角点，将跟踪问题转化为帧间图像窗口SSD函数，求最小值：其中，I(x,y)，J(x+υx,y+υy)分别表示t1，时刻的图像；(2·ωx+1)×(2·ωy+1)表示以(px,py)为中心的邻域窗口尺寸(见图6)；像素点(px,py)经过时间的运动矢量(υx,υy)；将跟踪问题进一步转化为最终求解得到第L层对应的角点坐标(xL,yL)；3)对第L层跟踪得到的角点集合进行仿射约束，利用误差公式：其中，FL是下一帧第L层全局单应性模型，其形式(5)；是FL对应的尺度变化系数；表示当前帧第L层角点坐标；表示通过跟踪得到的下一帧第L层对应的坐标；第L层对应的误差阈值：当εL大于对应阈值thL，使用校正公式：设置初始的误差th0＝3，校正后第L层角点坐标4)第L-1层的搜索起点为对第L-1层的角点重复上述2)-3)的跟踪过程，通过反复迭代得到第0层即原始图像尺度下一帧对应的角点坐标；(3)使用RANSAC迭代算法计算原始尺度下前后帧全局单应性矩阵H0，其形式(5)：(4)分离前后帧的全局单应性矩阵中的各个运动量，使用卡尔曼滤波器获得相应平滑的主动运动量1)令H′＝(H0)-1，对H′分离运动量；待分离的运动量包含相对前一帧的平移T(x,y)、2D旋转角度θ、2D缩放Z和单应性矩阵的畸变D；2)使用四点变换的方法进行实际运动量的分离，定义原始的矩形ABCD的长宽对应的是视频帧的长宽，面积为S，使用H′对矩形变换得到A′B′C′D′，面积为S′，此时缩放量：计算A′B′和C′D′在水平方向的夹角θ1和θ3，A′D′和B′C′在垂直方向的夹角θ4和θ2，用均值法减小由畸变带来的2D角度误差：因为缩放和旋转会影响平移量的计算，本稳像算法使用已经得到的Z和θ对四边形A′B′C′D′进行补偿变换，去掉旋转和缩放；然后计算变换前后的中心分别为C(x,y)，C′(x,y)，得到平移量(见图5)为：T(tx,ty)＝C(x,y)-C′(x,y)(10)3)对已经得到的平移T、旋转θ和缩放Z使用卡尔曼滤波器进行滤波可以得到对应的主动运动量IT、Iθ和IZ，其中对于二维矢量T对应卡尔曼滤波器的状态方程为：对应的观测矩阵为：标量θ，Z对应的卡尔曼滤波器的状态方程：观测矩阵：(100)(14)其中dt是采样间隔；4)上述运动量均为2D，单应性变换会带来实际视角变化而产生的图像畸变，必须对这一畸变进行校正。使用已有的2D的平移T，旋转θ，缩放Z对A′B′C′D′进行变换去掉2D平面运动，得到A″B″C″D″，A″B″C″D″只存在由3D视角变化带来的畸变。使用平移T建立的卡尔曼滤波器对变换后的四个顶点坐标A″B″C″D″分别进行滤波得到AiBiCiDi。AiBiCiDi到ABCD表示相机3D视角变化对应的主动变化量，即所需的畸变校正量ID。(5)利用已经得到的全局单应性及各个平滑的主动运动量计算第N帧的稳像变换模型CN，对图像进行稳像变换。1)第N帧以第N-1帧做基准的单应性变换HN，2D平面运动补偿矩阵motionHN，3D视角变化对应的畸变补偿变换distortHN，利用上述变换得到第N帧参考第N-1帧的补偿变换：TN＝motionHN·distortHN·HN(15)为了获得连续稳定的视频帧输出，以第一帧作为全局参考帧，因此最终第N帧的稳像变换模型为：CN＝T1·...·TN-1·TN(16)使用CN对当前帧进行变换获得稳定的帧图像。本专利技术的有益结果：(1)使用分层仿射约束的光流跟踪方法对帧间角点位置进行跟踪，充分利用了视频帧间的信息。同时，通过分层约束减小层与层本文档来自技高网...
【技术保护点】
一种基于单应性矩阵的实时视频稳像方法，其特征在于，步骤如下：(1)使用距离约束的Harris角点检测算法获得分布均匀的帧图像特征点集计算抖动视频序列图像的Harris特征点，先将当前彩色图像变换成灰度图像，使用Harris角点检测算法获得角点，并用距离r进行约束，获得均匀分布的帧图像特征点集；(2)利用分层仿射约束的光流跟踪算法跟踪下一帧角点的坐标1)对长宽分别为w,h的图像建立5层尺度金字塔，第L层图像对应的长宽为wL=wl-1+12hL=hL-1+12---(1)]]>第0层为原始图像尺度，同时，第L层对应的角点坐标为：xL=xL-12yL=yL-12---(2)]]>2)在最底层跟踪同一尺度下的帧间角点，将跟踪问题转化为帧间图像窗口SSD函数，求最小值：ϵ(υx,υy)=min(Σx=px-ωxpx+ωxΣy=py-ωypy+ωy(I(x,y)-J(x+υx,y+υy))2)---(3)]]>其中，I(x,y)，J(x+υx,y+υy)分别表示t1，t1+Δt时刻的图像；(2·ωx+1)×(2·ωy+1)表示以(px,py)为中心的邻域窗口尺寸；像素点(px,py)经过时间Δt的运动矢量(υx,υy)；将跟踪问题进一步转化为最终求解得到第L层对应的角点坐标(xL,yL)；3)对第L层跟踪得到的角点集合进行仿射约束，利用误差公式：ϵL=||ω.xALyAL1-FL.xBLyBL1||---(4)]]>其中，FL是下一帧第L层全局单应性模型，其形式(5)；是FL对应的尺度变化系数；表示当前帧第L层角点坐标；表示通过跟踪得到的下一帧第L层对应的坐标；FL=m0m1m2m3m4m5m6m71---(5)]]>第L层对应的误差阈值：thL=th02L---(6)]]>当εL大于对应阈值thL，使用校正公式：xBLyBL1=1ω·FL·xALyAL1---(7)]]>设置初始的误差th0＝3，校正后第L层角点坐标4)第L‑1层的搜索起点为对第L‑1层的角点重复上述2)‑3)的跟踪过程，通过反复迭代得到第0层即原始图像尺度下一帧对应的角点坐标；(3)使用RANSAC迭代算法计算原始尺度下前后帧全局单应性矩阵H0，其形式(5)：(4)分离前后帧的全局单应性矩阵中的各个运动量，使用卡尔曼滤波器获得相应平滑的主动运动量1)令H′＝(H0)‑1，对H′分离运动量；待分离的运动量包含相对前一帧的平移T(x,y)、2D旋转角度θ、2D缩放Z和单应性矩阵的畸变D；2)使用四点变换的方法进行实际运动量的分离，定义原始的矩形ABCD的长宽对应的是视频帧的长宽，面积为S，使用H′对矩形变换得到A′B′C′D′，面积为S′，此时缩放量：Z=S′S---(8)]]>计算A′B′和C′D′在水平方向的夹角θ1和θ3，A′D′和B′C′在垂直方向的夹角θ4和θ2，用均值法减小由畸变带来的2D角度误差：θ=14·Σn=14θn---(9)]]>使用已经得到的Z和θ对四边形A′B′C′D′进行补偿变换，去掉旋转和缩放；然后计算变换前后的中心分别为C(x,y)，C′(x,y)，得到平移量为：T(tx,ty)＝C(x,y)‑C′(x,y) (10)3)对已经得到的平移T、旋转θ和缩放Z使用卡尔曼滤波器进行滤波得到对应的主动运动量IT、Iθ和IZ，其中对于二维矢量T对应卡尔曼滤波器的状态方程为：10dt0dt2/20010dt0dt2/20010dt000010dt000010000001---(11)]]>对应的观测矩阵为：100000010000---(12)]]>标量θ，Z对应的卡尔曼滤波器的状态方程：1dtdt2/201dt001---(13)]]>观测矩阵：(1 0 0) (14)其中dt是采样间隔；4)上述运动量均为2D，单应性变换会带来实际视角变化而产生的图像畸变，对畸变进行校正；使用已有的2D的平移T、旋转θ和缩放Z对A′B′C′D′进行变换去掉2D平面运动，得到A″B″C″D″，A″B″C″D″只存在由3D视角变化带来的畸变；使用平移T建立的卡尔曼滤波器对变换后的四个顶点坐标A″B″C″D″分别进行滤波得到AiBiCiDi；AiBiCiDi到ABCD表示相机3D视角变化对应的主动变化量，即所需的畸变校正量ID；(5)利用已经得到的全局单应性及各个平滑的主动运动量计算第N帧的稳像变换模型CN，对图像进行稳像变换1)...
【技术特征摘要】
1.一种基于单应性矩阵的实时视频稳像方法，其特征在于，步骤如下：(1)使用距离约束的Harris角点检测算法获得分布均匀的帧图像特征点集计算抖动视频序列图像的Harris特征点，先将当前彩色图像变换成灰度图像，使用Harris角点检测算法获得角点，并用距离r进行约束，获得均匀分布的帧图像特征点集；(2)利用分层仿射约束的光流跟踪算法跟踪下一帧角点的坐标1)对长宽分别为w,h的图像建立5层尺度金字塔，第L层图像对应的长宽为wL=wl-1+12hL=hL-1+12---(1)]]>第0层为原始图像尺度，同时，第L层对应的角点坐标为：xL=xL-12yL=yL-12---(2)]]>2)在最底层跟踪同一尺度下的帧间角点，将跟踪问题转化为帧间图像窗口SSD函数，求最小值：ϵ(υx,υy)=min(Σx=px-ωxpx+ωxΣy=py-ωypy+ωy(I(x,y)-J(x+υx,y+υy))2)---(3)]]>其中，I(x,y)，J(x+υx,y+υy)分别表示t1，t1+Δt时刻的图像；(2·ωx+1)×(2·ωy+1)表示以(px,py)为中心的邻域窗口尺寸；像素点(px,py)经过时间Δt的运动矢量(υx,υy)；将跟踪问题进一步转化为最终求解得到第L层对应的角点坐标(xL,yL)；3)对第L层跟踪得到的角点集合进行仿射约束，利用误差公式：ϵL=||ω.xALyAL1-FL.xBLyBL1||---(4)]]>其中，FL是下一帧第L层全局单应性模型，其形式(5)；是FL对应的尺度变化系数；表示当前帧第L层角点坐标；表示通过跟踪得到的下一帧第L层对应的坐标；FL=m0m1m2m3m4m5m6m71---(5)]]>第L层对应的误差阈值：thL=th02L---(6)]]>当εL大于对应阈值thL，使用校正公式：xBLyBL1=1ω·FL·xALyAL1---(7)]]>设置初始的误差th0＝3，校正后第L层角点坐标4)第L-1层的搜索起点为对第L-1层的角点重复上述2)-3)的跟踪过程，通过反复迭代得到第0层即原始图像尺度下一帧对应的角点坐标；(3)使用RANSAC迭代算法计算原始尺度下前后帧全局单应性矩阵H0，其形式(5)：(4)分离前后帧的全局单应性矩阵中的各个运动量，使用卡尔曼滤波器获得相应平滑的主动运动量1)令H′＝(H0)...
【专利技术属性】
技术研发人员：王洪玉，王杰，郝应光，刘宝，景丽石，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。