一种大位移光流场估计方法技术

本发明专利技术公开了一种大位移光流场估计方法，涉及视觉系统技术领域，针对大位移情况下光流估计提出改进方法，将最近领域场(NNF)思想与从粗到精图像金字塔策略相结合，以Kd

【技术实现步骤摘要】
一种大位移光流场估计方法


[0001]本专利技术涉及视觉系统
，特别涉及一种大位移光流场估计方法。

技术介绍

[0002]自Horn和Schunck首次提出的经典变分最小化框架的光流方法以来，研究人员一直致力于减少这种方法的缺陷，多年来提出了一系列改进，但传统光流方法均基于变分能量模型和相关的能量最小化问题，对于大位移光流场估计效果较差。为了处理大位移，大多数光流方法采用多尺度粗到细框架，从细尺度到粗尺度对图像进行子采样，构建金字塔之后，更高级别金字塔的匹配对应关系作为较低级别匹配过程的指导。作为匹配和光流整合的重要里程碑，Brox和Malik等开创性的在光流的经典变分最小化框架中引入了稀疏描述符匹配项，稀疏描述符是具有高置信度的点，对于大位移是稳健的。然而，由于匹配的稀疏性和变分最小化的精确初始化的要求，它们通常在运动大于其自身尺度的小细节的情况下失败。
[0003]基于纯粹数据的方法，如最近邻域场(NNF)和稀疏描述符匹配，可以快速、有效地执行全局搜索以获得完整图像分辨率的最佳匹配，避免了复杂的能量最小化过程。NNF计算定义为，对于一个图像中的每个块，在另一个图像中找到一个最相似的图像块。通过称为PatchMatch的开创性工作和改进的方法，计算NNF的效率显着提高，这种提升的核心思想是邻近之间的随机搜索和传播。本专利技术针对大位移情况，融合最近邻域场方法与从粗到精图像金字塔策略，提出了一种大位移光流场估计方法。

技术实现思路

[0004]本专利技术的目的在于提供一种大位移光流场估计方法，将最近领域场NNF思想与从粗到精图像金字塔策略相结合，以Kd-tree算法为搜索策略，实现图像块的有效匹配。
[0005]本专利技术提供了一种大位移光流场估计方法，包括以下步骤：
[0006]S1：Kd-tree初始化：图像I1和I2是由以某一像素点为中心并含有一定邻域构成的图像像素块，在图像I1中的任一图像块，都能以某种配对方式指定其在图像I2中相对应的图像块，将得到的每个图像块的27维向量分类为叶大小相同的Kd-tree，并以树中最大维度及该维度的中值构建Kd-tree；
[0007]S2：领域传播：构建Kd-tree之后，对图像I1中的像素位置p1处的所有图像块P
r
(p1)创建WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块P
r
(p1)的WHT向量中找到在Kd-tree中所有L个匹配项设为是初始光流场F(p1)的候选项，计算L个匹配项的匹配误差E
d
并且仅保留在初始光流场中具有最低匹配误差的候选项，即：
[0008][0009]根据初始光流场中最优匹配候选项，获取邻近图像块的信息，光流场值从位置(x，y-1)1与(x-1，y)1传播到位置p1＝(x，y)1：
[0010][0011]G1＝{F(p1)，F((x，y-1)1)，F((x-1，y)1)}+p1ꢀꢀꢀ
(3)
[0012]其中，G1为第一个传播步骤考虑的光流场；在处理位置(x，y)1之前，采用公式(2)、(3)处理位置(x，y-1)1和(x-1，y)1；
[0013]S3：随机搜索：获得初始光流场G1后，以交错的方式迭代地执行邻域传播和随机搜索，将图像I1和I2的构造了一个具有k级别的金字塔，在图像金字塔每个尺度下构建图像子块，保证每个尺度上的图像块数量相同，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场；
[0014]S4：粗尺度细化：在搜索半径R内迭代地执行的随机搜索与邻域传播，设n为迭代次数，经过n次迭代后，停止匹配过程，以获得每个图像块的精确光流场，将R限制在一小范围内，有效处理粗糙尺度的匹配，保留细微结构特征；
[0015]S5：光流场估计：采用前向后向一致性检查，对异常值过滤，通过边缘保持插值方法插值，在Middlebury，MPI-Sinte数据库上进行仿真实验，完成光流场的估计。
[0016]进一步地，所述步骤S1中给定两个图像I1和I2，其中I1，P
r
(p
i
)表示以像素位置p
i
＝(x，y)
i
∈I
i
，i＝1，2为中心，半径r的图像子块，图像子块是(2r+1)
×
(2r+1)像素尺寸，采用F(p1)表示图像I1每个像素p1∈I1的光流场，其中光流场F(p1)＝M(p1)-p1，M(p1)表示像素的位置，确定像素p1在图像I2的相对应匹配位置p2∈I2，计算以像素位置p2为中心的I2中所有图像块P
r
(p2)的Walsh-Hadamard变换。
[0017]进一步地，所述步骤S3将图像I1和I2构造成一个具有k级别的金字塔，其中下采样因子均为η，采用表示图像I
i
金字塔的第I级i∈{1，2}，I∈{0，1，...，k-1}，金字塔的底层I
10
和是原始图像，在图像金字塔每个尺度下构建图像子块，并且定义在第I级像素位置{p
il
}的图像子块{P
r
(p
i
)
l
}为I
i0
(i∈{1，2}，I∈{0，1，...，k-1})中原始图像的下采样，即：
[0018]{P
r
(p
i
)
l
}＝η
·
{P
r
(p
i
)
l-1
}，I≥1
ꢀꢀꢀ
(4)
[0019]每个尺度上的图像块数量相同，在构建金字塔和每个尺度的图像块生成之后，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场。
[0020]进一步地，从金字塔顶部到底部传播每个图像块的光流场的步骤如下所示：
[0021]S31：将在金字塔顶层中图像块的光流场{P
r
(p
i
)
k-1
}作为随机流；
[0022]S32：迭代地执行在该尺度上的最大图像维度内的随机搜索与传播，将获得的光流场{F(P
r
(p
i
)
k-1
)}作下一级的图像块{P
r
(p
i
)
k-2
}的初始化，同样在每个尺度中计算的光流场总是用作在下一个尺度中图像块的初始化：
[0023][0024]S33：在小搜索半径R内迭代地执行的随机搜索与传播，以获得每个图像块的精确光流场，R定义为每个金字塔等级的像素级搜索半径，将限制在一小范围内，能够有效处理粗糙尺度的匹配。
[0025]与现有技术相比，本专利技术具有如下显著优点：
[0026](一)本专利技术针对传统光流场估计的不足，利用最近邻域场方法与从粗到精图像金字塔策略，提出了一种大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大位移光流场估计方法，其特征在于，包括以下步骤：S1：Kd-tree初始化：图像I1和I2是由以某一像素点为中心并含有一定邻域构成的图像像素块，在图像I1中的任一图像块，都能以某种配对方式指定其在图像I2中相对应的图像块，将得到的每个图像块的27维向量分类为叶大小相同的Kd-tree，并以树中最大维度及该维度的中值构建Kd-tree；S2：领域传播：构建Kd-tree之后，对图像I1中的像素位置p1处的所有图像块P
r
(p1)创建WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块P
r
(p1)的WHT向量中找到在Kd-tree中所有L个匹配项被认为是初始光流场F(p1)的候选项，计算L个匹配项的匹配误差E
d
并且仅保留在初始光流场中具有最低匹配误差的候选项，即：根据初始光流场中最优匹配候选项，获取邻近图像块的信息，光流场值从位置(x，y-1)1与(x-1，y)1传播到位置p1＝(x，y)1：G1＝{F(p1)，F((x，y-1)1)，F((x-1，y)1)}+p1ꢀꢀꢀꢀ
(3)其中，G1为第一个传播步骤考虑的光流场；在处理位置(x，y)1之前，采用公式(2)、(3)处理位置(x，y-1)1和(x-1，y)1；S3：随机搜索：获得初始光流场G1后，以交错的方式迭代地执行邻域传播和随机搜索，将图像I1和I2的构造了一个具有k级别的金字塔，在图像金字塔每个尺度下构建图像子块，保证每个尺度上的图像块数量相同，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场；S4：粗尺度细化：在搜索半径R内迭代地执行的随机搜索与邻域传播，设n为迭代次数，经过n次迭代后，停止匹配过程，以获得每个图像块的精确光流场，将R限制在一小范围内，有效处理粗糙尺度的匹配，保留细微结构特征；S5：光流场估计：采用前向后向一致性检查，对异常值过滤，通过边缘保持插值方法插值，在Middlebury，MPI-Sinte数据库上进行仿真实验，完成光流场的估计。2.如权利要求1所述的一种大位移光流场估计方法，其特征在于，所述步骤S1中给定两个图像I1和I2，其中P
r
(p
i
)表示以像素位置p
i
＝(x，y)
i
∈I
i
，i＝1，2为中心，半径r的图像子块，图像子块是(2r+1)
...

【专利技术属性】
技术研发人员：宋涛，赵明富，王瑜琳，马婧华，贺媛媛，巫涛江，石胜辉，吴德操，
申请(专利权)人：重庆能源职业学院，
类型：发明
国别省市：