一种搜跟系统中航拍视频的快速自动拼接技术技术方案

本发明专利技术提出一种搜跟系统中航拍视频的快速自动拼接技术。首先将航拍视频序列中连续两帧彩色图像转化成灰度图像；利用图像三值化方法对灰度图像进行三值化处理、利用边缘检测sobel算子提取边缘特征信息图像、使用Harris算法提取特征点；利用光流金字塔算法完成特征点匹配；结合DLT算法和RANSAC算法计算彩色图像的最优单应性矩阵；利用修正几何转换矩阵对彩色图像进行图像修正后完成图像全景的拼接；在图像全景拼接过程中动态调整图像三值化的上下限阈值以及sobel算子的边缘检测的阈值。本发明专利技术提高了图像拼接的准确度和稳健性。

【技术实现步骤摘要】
一种搜跟系统中航拍视频的快速自动拼接技术
本专利技术属于图像自动拼接
，具体涉及一种搜跟系统中航拍视频的快速自动拼接技术。
技术介绍
图像拼接中最关键的步骤是图像特征点的寻找及匹配。杨涛等人（基于场景复杂度与不变特征的航拍视频实时配准算法.电子学报，2010.5，5期38卷）提出了利用Harris角点和SIFT描述子相结合的方式进行图像匹配，保证了算法具有良好的旋转、尺度、亮度不变性和配准精度使算法。但由于前期特征点提取的数量较多，导致后期计算量过大，无法真正意义上实现图像拼接的实时性。针对这个问题，需要从简化特征点的提取与匹配运算量入手优化算法。很多人提出了多种图像自动拼接技术的实现方法，主要有基于特征点的方法、基于光流的方法，基于图像融合的方法等等。这些方法主要是利用图像的几何变换矩阵完成对图像的修正。这种方法对于帧数较少的图像序列来说，拼接效果很好，但随着视频序列帧数的增加，图像拼接的几何变换矩阵就会因为前期不断地叠加而产生误差的累积与放大；同时，由于飞机的抖动和场景变换明显，也会导致图像拼接的准确率降低，同时还会导致图像拼接过程的中断
技术实现思路
本专利技术公开了一种搜跟系统中航拍视频的快速自动拼接技术，提高了图像拼接的准确度和稳健性。为了解决上述技术问题，本专利技术提出一种搜跟系统中航拍视频的快速自动拼接技术，包括以下步骤：步骤一：将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg，并记录帧序号Z和Z+1；步骤二：利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测sobel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2，S1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值；步骤三：利用光流金字塔（KLT）算法计算光流，完成灰度图像Ig和Jg的特征点匹配；步骤四：结合DLT算法和RANSAC算法计算得出彩色图像I和J的最优单应性矩阵HI,J和图像拼接的修正矩阵H′z，并求解出图像拼接的修正几何转换矩阵P；步骤五：利用修正几何转换矩阵P对彩色图像J进行图像修正得到图像J′，设置一个长宽为彩色图像J长宽两倍的黑色背景，将修正后的图像J′的像素信息J′(x′,y′)贴至黑色背景中，完成图像全景的拼接；步骤六：将当前帧图像的单应性矩阵HI,J与已保存的前帧图像的单应性矩阵HI-1,I比较，将准确匹配的特征点对数目N与特征点对数目阈值Nf进行比较，根据比较结果动态调整图像三值化的上下限阈值T1和T2以及sobel算子的边缘检测的阈值S1和S2。本专利技术与现有技术相比，其显著优点在于，采用图像三值化、边缘提取和Harris角点检测三者结合的方法来降低特征点的数量，并筛选出图像中最为稳定的、特征最为突出的特征点；采用了RANSAC算法与DLT算法结合的方法，求解出带有修正矩阵的图像几何转换矩阵矩阵，提高图像拼接的准确度；阈值动态调整有效解决了因图像场景变换明显或飞机抖动等原因造成的程序中断问题。附图说明图1是本专利技术简要流程图。图2是本专利技术详细流程图。图3（a）是仅利用Harris算法提取特征点效果图；图3（b）是本专利技术步骤二中经过图像三值化和sobel算子边缘检测后，再利用Harris算法提取特征点的效果图。图4（a）和图4（b）分别为本专利技术实施例自动拼接70帧和150帧的总场景图。具体实施方式如图1和图2所示，本专利技术一种搜跟系统中航拍视频的快速自动拼接技术，包括以下步骤：步骤一：将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg，并记录帧序号Z和Z+1。图像灰度化可以将R,G,B任何一个分量作为图像的灰度值，也可以用R,G,B三者的平均值作为灰度值，也可以利用亮度公式将R,G,B分量转换成灰度值。本专利技术采用亮度公式的方法，将彩色图像I和J转换成只包含亮度信息的灰度图像Ig和Jg，亮度公式为公式（1）：Y＝0.3R+0.59G+0.11B（1）步骤二：利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测sobel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2，S1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值；所述获得三值化图像的计算方法如公式（2）所示，T2---(2)]]>式（2）中，p[x,y]是灰度图像Ig中坐标为(x,y)处的像素值，T1和T2为图像三值化的上下限阈值，T1和T2的具体取值根据航拍视频的场景进行设置，例如公路、河流和岩石等的灰度图像素值一般大于0.6，树木、植被等的灰度图像素值一般小于0.4；所述使用Harris算子提取边缘特征图像If的特征点的计算过程如下：1.1计算像素点p[x,y]的相关矩阵M，计算方法如公式（3）所示，式（3）中，w(x,y)是窗口大小为w*w的高斯权重函数，Ix代表行方向的导数，Iy代表列方向的导数；1.2计算像素点p[x,y]的特征点响应R(x,y)，计算方法如公式（4）所示，R(x,y)＝detM-k′*(traceM)2（4）式（4）中，detM代表相关矩阵M行列式的值，traceM代表相关矩阵M的迹，k′为常数，一般为0.04-0.06；1.3根据公式（5）判断像素点p[x,y]是否为特征点，如果像素点p[x,y]的特征点响应R(x,y)满足公式（5），则像素点p[x,y]为特征点，将像素点p[x,y]放入特征点集合D中，[R(x，y)≥R(x′，y′)]I[R(x，y)≥0.01Rmax](5)式（5）中，R(x′,y′)代表窗口w*w中除像素点p[x,y]之外的其它像素点的特征点响应，Rmax为边缘特征信息图像If中的最大特征点响应；为了实现算法的实时性，需要降低程序的运算量，最根本的方法是在保证特征点质量的基础上降低特征点的数目，根据航拍视频背景范围大、空旷、颜色单一，并以高山、河流和公路、树木和房屋等轮廓性较强的事物居多的特点。本专利技术采取的图像三值化、图像边缘提取和Harris角点提取三者结合的方式可以去除图像冗余信息，在突出图像特征的基础上进行特征点的有效选取，有利于降低特征点数量，从而降低后续计算量。步骤三：利用光流金字塔（KLT）算法计算光流，完成灰度图像Ig和Jg的特征点匹配，计算过程如下：3.1利用下采样公式分别对灰度图Ig和Jg进行下采样，获得灰度图Ig和Jg的图像金字塔，计算方法如公式（6）所示，...

【技术保护点】

【技术特征摘要】
1.一种搜跟系统中航拍视频的快速自动拼接方法，其特征在于，包括以下步骤：步骤一：将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg，并记录帧序号Z和Z+1；步骤二：利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测sobel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2，S1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值；所述获得三值化图像的计算方法如公式(1)所示，式(1)中，p[x,y]是灰度图像Ig中坐标为(x,y)处的像素值，T1和T2为图像三值化的上下限阈值；步骤三：利用光流金字塔(KLT)算法计算光流，完成灰度图像Ig和Jg的特征点匹配；步骤四：结合DLT算法和RANSAC算法计算得出彩色图像I和J的最优单应性矩阵HI,J和图像拼接的修正矩阵H'Z，并求解出图像拼接的修正几何转换矩阵P；步骤五：利用修正几何转换矩阵P对彩色图像J进行图像修正得到图像J'，设置一个长宽为彩色图像J长宽两倍的黑色背景，将修正后的图像J'的像素信息J'(x',y')贴至黑色背景中，完成图像全景的拼接；步骤六：将当前帧图像的单应性矩阵HI,J与已保存的前帧图像的单应性矩阵HI-1,I比较，将准确匹配的特征点对数目N与特征点对数目阈值Nf进行比较，根据比较结果动态调整图像三值化的上下限阈值T1和T2以及sobel算子的边缘检测的阈值S1和S2。2.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接方法，其特征在于，所述步骤一中，采用亮度公式将彩色图像I和J转换成只包含亮度信息的灰度图像Ig和Jg。3.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接方法，其特征在于，步骤二中，所述使用Harris算子提取边缘特征图像If的特征点的计算过程如下：3.1计算像素点p[x,y]的相关矩阵M，计算方法如公式(2)所示，式(2)中，w(x,y)是窗口大小为w*w的高斯权重函数，Ix代表行方向的导数，Iy代表列方向的导数；3.2计算像素点p[x,y]的特征点响应R(x,y)，计算方法如公式(3)所示，R(x,y)＝detM-k′*(traceM)2(3)式(3)中，detM代表相关矩阵M行列式的值，traceM代表相关矩阵M的迹，k′为常数；3.3根据公式(4)判断像素点p[x,y]是否为特征点，如果像素点p[x,y]的特征点响应R(x,y)满足公式(4)，则像素点p[x,y]为特征点，将像素点p[x,y]放入特征点集合D中，[R(x,y)≥R(x',y')]∩[R(x,y)≥0.01Rmax](4)式(4)中，R(x',y')代表窗口w*w中除像素点p[x,y]之外的其它像素点的特征点响应，Rmax为边缘特征信息图像If中的最大特征点响应。4.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接方法，其特征在于，所述步骤三的计算过程如下：4.1利用下采样公式分别对灰度图Ig和Jg进行下采样，获得灰度图Ig和Jg的图像金字塔，计算方法如公式(5)所示，式(5)中，IgL(x,y)表示灰度图Ig中第L层图像中像素坐标为(x，y)的像素值，设原灰度图Ig和Jg为图像金字塔的第一层图像，根据下采样公式可以得到图像金字塔的第二层图像和同理，对第二层图像和进行下采样，得到图像金字塔的第三层图像和4.2计算图像中的特征点p[x,y]相对于图像的光流量，计算方法如公式(6)：式(6)中，Ix表示w*w窗口内每个像素点的行方向的导数，Iy表示w*w的窗口内每个像素点的列方向的导数，It表示图像与的时间导数，dn＝[un,vn]表示图像中特征点p[x,y]相对于图像的光流量，其中un为图像金字塔第n层的行方向的光流量，vn为图像金字塔第n层的列方向的光流量；4.3将光流量dn作为初始光流量传递至光流金字塔的第n-1层，即在图像中的像素点q[x,y]上叠加光流量dn，使每一个像素点的坐标变q[x+2*un,y+2*vn]，然后在图像和叠加了光流量dn的图像之间，重复步骤3.2计算出图像金字塔第n-1层的光流量dn-1＝[un-1,vn-1]；4.4重复步骤3.2和3.3，直至计算获得图像金字塔第一层的光流量d1＝[u1,v1]，即为灰度图像Ig和Jg的总光流量；4.5根据第一层光流量d1＝[u1,v1]和灰度图像Ig的特征点p[x,y]坐标，根据公式(7)计算获得灰度图像Jg中的匹配特征点的坐标(x',y')，若求得的x'和y'超出了图像的像素范围，即特征点跟踪匹配失败，则将匹配特征点q[x',y']舍掉，并将对应的特征点p[x,y]从特征点集合D中剔除出去；若求得的x'和y'在图像像素范围内，则将匹配特征点q[x',y']存入特征点集D'中，x'＝x-u1y'＝y-v1(7)。5.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接方法，其特征在于，步骤四中，所述最优单应性矩阵HI,J的计算过程如下：5.1利用公式(8)判断每一对特征点对是否为准确匹配的特征点对，将误差较大的特征点对剔除，将准确匹配的特征点对存入特征点对集合S中，并统计出准确匹配的特征点对数N；Dpq≥|p[xi,yi]-q[x'i,y'i]|(8)式(8)中，Dpq为特征点对的平均距离，计算方式如公式(9)所示，

【专利技术属性】
技术研发人员：顾国华，韩鲁，刘恒建，刘琳，廖逸琪，钱惟贤，任侃，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：