剧烈光照变化下基于角点匹配与光流法的运动估计方法技术

一种计算机视觉技术领域的剧烈光照变化下基于角点匹配与光流法的运动估计方法，包括如下步骤：首先，对当前帧进行角点检测；其次，对当前帧与上一帧进行旋转不变的归一化角点匹配；然后，对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数，针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对前一帧进行运动补偿；再次，针对运动补偿之后的前一帧分块进行分块线性光照补偿；最后，利用已经进行线性光照补偿的图像与当前图像帧进行光流计算，对下一帧的全局运动矢量进行估计。本发明专利技术克服了由于剧烈的光照变化以及大幅度旋转等不良条件而导致的光流法失效的缺点，获得较高的准确率。

【技术实现步骤摘要】

本专利技术涉及一种图像处理
的方法，具体是一种剧烈光照变化下基于 角点匹配与光流法的运动估计方法。技术背景光流法是分析序列图像中物体运动的重要方法，在视频图像分析方面有着极 其重要的应用。当物体在摄像机前运动或者摄像机在环境中运动时，就会发现图 像的改变，图像模式运动的速度分布就称为光流，图像上的每一点就形成光流场。 但是由于相邻帧之间亮度恒常条件假设的存在，使得其应用范围大为縮减。光流 场的计算的问题主要在于两个方面1，由相对运动所引起的运动不连续性；2， 剧烈的光照变化破坏光流恒定方程。当物体在具有与背景所不相同的速度进行运 动时，所产生的运动的不连续性打破了 Horn-Schunck (霍恩-舒恩克)光流法的基 本假设。经对现有的技术文献检索发现，Hulya Yalcin等在Background Estimation under Rapid Gain Change in Thermal Imagery (快速增益变化下红外图像中的 背景予页测)，Second IEEE Workshop on Object Tracking and Classification in and Beyond the Visible Spectrum (OTCBVS'05) ， June, 2005 (第二届可见谱与 非可见谱物体跟踪与分类电气和电子工程师协会研讨会，2005年六月)，该文中针 对红外图像中增益变化比较大的情况提出了一种用已经进行运动补偿后的前一帧 尸w来对当前帧/,利用表示式/,=附*/~-1+6进行线性光照补偿的模型。但是这种模型相对比较粗糙，还存在如下不足1、由于其图片为红外图片，所以暗含假 设为如果光照增益强度发生变化，那么必定是各像素点增益都按照同样方式发生 变化，并且变化均为线性。但是这显然与平常我们所用的视频监控摄像机进行由 亮处到暗处的扫描时图像光照强度的非均匀变化情况不符；2、由于其用归一化的 互相关函数来进行匹配，而互相关函数受旋转，以及仿射变换等因素影响比较大，因此不适合于运动情况比较剧烈以及运动为非线性的情况；3、对于运动物体上角 点数目比较多的情况，此方法也并没有提出一种有效的解决方案来将物体上的运 动矢量误判为全局运动矢量的情况消除。
技术实现思路
本专利技术针对上述现有技术中的不足，提出了一种剧烈光照变化下基于角点匹 配与光流法的运动估计方法，使其既能够提高普通情况下光流法的精度，又能够 在外界光照环境极其恶劣的情况下提供较为可靠的运动的估计，使其在下一步的 视频编解码以及提取和稳像当中发挥用处。本专利技术是通过以下技术方案来实现，本专利技术包括如下步骤① 对当前帧进行角点检测；② 对当前帧与上一帧进行旋转不变的归一化角点匹配；③ 对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数， 针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对前一 帧进行运动补偿；④ 针对运动补偿之后的前一帧分块进行分块线性光照补偿；⑤ 利用已经进行线性光照补偿的图像与当前图像帧进行光流计算，对下一帧 的全局运动矢量进行估计。所述的旋转不变，是指在经过基于图像中物体表面的梯度或者弧度的最大化 的角点检测方法将图像帧当中的角点显式的表现出来以后，提取各个角点附近的 特征以及角点域选择时均采用不依赖于旋转的方法，具体是采用对于旋转不敏感 的拉普拉斯高斯滤波器来对图像进行滤波来选取特征，采用半径为r的一个圆来 作为角点域，r为3像素-10像素。所述的旋转不变的归一化角点匹配，是指选取旋转不变的特征以及角点域并 对此特征进行匹配，得到每个角点区域内的总滤波图像像素值、平均滤波图像像 素值、滤波之前的总图像像素值、平均图像像素值，以上四个值构成表征图像每 个角点的四个特征，然后将此四个特征进行归一化处理，来消除由光照突然变化 所引起的影响，形成每个象素点的归一化特征向量，利用此特征向量来寻找前一 帧中在以本角点附近区域范围内的角点，选取与此角点特征向量平方误差最小的 特征向量所代表的角点作为其匹配角点。所述计算所分的每一个块内的仿射变换参数，是指将整幅图像帧分为十六个 块，每次分别任意选取不相邻的三个块，再在每一个块中随机挑选一个匹配点对， 再利用分块挑选的随机挑选一致性(RANSAC)方法，对于前景运动物体以及背景 上面角点数目占所有角点数目的比例达到1/3的图像帧进行图像仿射运动参数的 计算，得到仿射坐标的六个参数，再由仿射坐标的六个参数，计算运动矢量。所述的进行分块线性光照补偿，是指将整幅图像划分为n个块，对于前一帧与已经进行运动补偿之后的当前帧的每一块都进行除灰度值为零的点外的对应块的逐点比较，并且由线性回归式4("，V):W/'(,)("，V) + 6得到补偿系数，其中f(u，v)代表补偿后的图像灰度值，I'代表补偿前像素灰度值，i代表第i个块，i〈n， (",v)表示前一帧中某一点位置，m》为线性补偿系数，由线性回归式，得到任意 点(",v)处的光强，对于连接缝处所出现的光照突变，采用邻域的局部平均法来消 除。所述的进行光流计算，是指将经由分块线性光照补偿之后的前一帧图像与当前像素帧之间的运动假设为六参数模型的仿射运动，那么根据光流恒定方程和能量最小化原则，并且根据仿射运动模型f 二"^ + "^ + :1计算出仿射运动的六参|y= a3w + a4v + 62数apa2,a3，a4,b,，b2， w， v表示前一帧中某一点位置，"'，v'表示当前帧中此点 位置。与现有技术相比，本专利技术具有如下有益效果本专利技术在进行光流法计算运动 矢量之前先采用旋转不变的归 一化的角点匹配方法来对图像进行光照补偿操作， 克服了由于剧烈的光照变化以及大幅度旋转等不良条件而导致的光流法失效的缺 点，获得较高的准确率；经实验验证，本专利技术较普通光流法而言能减少上面所述 恶劣情况下误检率的10%以上至35%之间。并且本专利技术采用分块化的方法来进行运 动补偿，克服了运动物体上角点数目比较多而导致运动矢量误判的情况，利用分 块方法进行光照补偿使得本专利技术在普通摄像机在由亮到暗扫描时的检测具有鲁棒 性。所以本专利技术结合了归一化角点匹配方法对噪声抑制良好具有良好稳健性和光 流法运算精度高的优点，可以应用于视频监控、视频编解码、电子稳像、视频分 割等
附图说明图1是在微弱光照变化以及小运动尺度的含有运行汽车的视频中的图片帧； 图2是与图1相隔5帧的在微弱光照变化以及小运动尺度的含有运行汽车的 视频中的图片帧；图3是大运动尺度含有起自行车行人的视频中的图片帧；图4是与图3相隔5帧的大运动尺度含有起自行车行人的视频中的图片帧；图5是强烈光照变化下含有行人的视频中的图片帧；图6是与图5相隔5帧的强烈光照变化下含有行人的视频中的图片帧。具体实施方式下面结合附图对本专利技术的实施例作详细说明本实施例在以本专利技术技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护 范围不限于下述的实施例。本实施例所采用的视频来源于拍摄的具有光照突变的多物体视频库。本实施例包括如下具体步骤步骤一，采用Harris (哈里斯)角点检测法，对图像进行一阶或者二阶差分，计算每个像素点的平均平方梯度矩阵C(30本文档来自技高网...

【技术保护点】
一种剧烈光照变化下基于角点匹配与光流法的运动估计方法，其特征在于，包括如下步骤：①对当前帧进行角点检测；②对当前帧与上一帧进行旋转不变的归一化角点匹配；③对于匹配好的角点，进行分块，并计算所分的每一个块内的仿射变换参数，针对仿射变换参数对当前帧进行分块全局运动矢量估计，并利用向量估计对前一帧进行运动补偿；④针对运动补偿之后的前一帧分块进行分块线性光照补偿；⑤利用已经进行线性光照补偿的图像与当前图像帧进行光流计算，对下一帧的全局运动矢量进行估计。

【技术特征摘要】

【专利技术属性】
技术研发人员：梁博，罗青山，曾贵华，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]