一种垂直视差消减方法技术

一种垂直视差消减方法属3D图像处理技术领域，本发明专利技术首先用抗缩放、旋转及仿射变换的SIFT特征匹配算法检测出双目图像对的特征匹配点，然后根据匹配点的坐标位置，运用L‑M算法计算可消减垂直视差的变换矩阵，再将变换矩阵作用于目标图像，计算出该视图每个像素点的新坐标位置。与现有的垂直视差消减方法相比，本发明专利技术所获得的技术效果，在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解能进一步消减垂直视差，同时能降低对水平视差的影响，并有效地增强观看立体视频的舒适度。

【技术实现步骤摘要】

本专利技术属立体视频舒适度增强和3D图像处理
，具体涉及一种垂直视差消减方法。
技术介绍
近年来，随着3D技术的迅速发展，人们已经不满足于从二维图像中获得有限的信息，逐渐习惯于享受三维视觉带来的沉浸感。双眼视差是立体显示技术的理论基础，水平视差在三维重建的过程中起着关键的作用，水平视差的变化使得人们对于画面所呈现的事物有了立体的感知，然而垂直视差则会使人感觉疲劳。理想条件下，在拍摄的过程中所有摄相机都应在同一条水平线上，同时要求所有摄像机的光轴平行，并且所拍摄出图像或视频的极线严格要求水平。但实际上，由于支架的形变，摄像机内部感光元件的不一致性等工艺问题往往会造成不同程度的垂直视差，结果不仅影响了立体图像的合成质量，还会引起视觉疲劳。因此为了提高观视者的舒适度，对于垂直视差消减方法的研究成为了越来越多的科研者研究的重点。国内外对垂直视差消减技术的研究较少，并且这些方法中很多都是在处理的过程中需要较多的图像信息或者摄像机参数。韩国的Yun-SukKang和CheonLee等人提出了针对平行相机阵列的拟合公共基线解决办法和针对弧形相机阵列的几何补偿校正算法。但是，这个方法需要多视点相机的标定参数，无法提供脱离相机参数的独立应用。在无摄像机标定情况下Loop提出了基于基本矩阵的图像校正方法，将校正过程分解为射影变换和仿射变换两个部分。该方法依赖于基本矩阵的精确求解，而由对应点计算基本矩阵还没有较为稳定的算法。r>上海大学的刘利亮和安平等人提出了一种基于公共点提取的多视图像校正的方法，该方法有效的降低了垂直视差，但是这个方法在校正垂直视差的过程中使得水平视差也发生了较大改变。
技术实现思路
本专利技术要解决的技术问题在于提供一种基于Levenberg-Marquardt算法(简称L-M算法)的垂直视差消减方法，通过本专利技术可以在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解进一步消减垂直视差，同时降低对水平视差的影响，有效地增强观看立体视频的舒适度。本专利技术的一种垂直视差消减方法，包括下列步骤：1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻距离比值进行匹配；1.2由垂直视差消减原理计算出匹配点的坐标，再用L-M算法进行可消减垂直视差的变换矩阵计算，包括下列步骤：1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图-基准图的特征点坐标为[xi,yi,1]T，右视图的特征点坐标为其中：i＝1,…,N；N表示特征点的个数；1.2.2计算二维射影变换矩阵M2D，使右视图中的特征点[xi',yi',1]T经校正矩阵后与左视图中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为[xi',yi,1]；1.2.3将用线性算法计算出的二维射影变换矩阵M2D作为L-M算法的初值，M2D形式为：M2D=m0m1m2m3m4m5m6m71]]>其中：m2表示水平方向位移量；m5表示垂直方向位移量；m0、m1、m3、m4表示尺度和旋转量；m6、m7表示水平和垂直方向的形变量；1.2.4用L-M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量Mk；其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ增加；Mk为第k次迭代时的M值，其中M为列向量(m0,m1,…,m7)T；1.2.4.2利用变换矩阵Mk计算目标图像的新坐标，并计算误差指标函数E(Mk)其中：E(Mk)表示第k次迭代时的E(M)值，E(M)值的计算公式为：E(M)=12Σi=1N[(m0xi′+m1yi′+m2m6xi′+m7yi′+1-xi′)2+(m3xi′+m4yi′+m5m6xi′+m7yi′+1-yi)2]]]>1.2.4.3利用下式计算误差ei(M)的Jacobian矩阵J(M)：J(M)=∂e1(M)∂m0∂e1(M)∂m1...∂e1(M)∂m7∂e2(M)∂m0∂e2(M)∂m1...∂e2(M)∂m7∂eN(M)∂m0∂eN(M)∂m1...∂eN(M)∂m7]]>其中：误差ei(M)的计算公式为：ei(M)=[(m0xi′+m1yi′+m2m6xi′+m7yi′+1-xi′)2+(m3xi′+m4yi′+m5m6xi′+m7yi′+1-yi)2]12]]>1.2.4.4根据公式ΔM＝-[JT(M)J(M)+μI]-1JT(M)e(M)计算变换矩阵增量ΔM；1.2.4.5若E(Mk)＜ε，则结束；否则计算Mk+1，并计算误差指标函数E(Mk+1)其中：Mk+1＝Mk+ΔM；1.2.4.6若E(Mk+1)＜E(Mk)，则令k＝k+1，μ＝μ/β，转到步骤1.2.4.2；否则不更新变换矩阵M，Mk+1＝Mk，μ＝μβ，转到步骤1.2.4.4；1.3将原右视图的每一个像素点依次与校正变换矩阵M2D相乘，得到新的右视图即校正后视图；1.4用后处理方法去除部分图像中由校正变换引起的噪声，后处理方法为对没有像素生成的坐标位置，将该坐标位置点周围8个点的像素值的均值作为该坐标位置点像素值，得到最终改进后的右视图，垂直视差得到消减。本专利技术的垂直视差消减方法与现有的垂直视差消减方法相比，在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解能进一步消减垂直视差、降低对水平视差的影响，从而能有效地增强观看立体视频的舒适度。附图说明图1为垂直视差消减方法的流程图图2为breakdancer第1帧的1、2视点实验效果图图3为ballet第7帧的3、4视点实验效果图图2和图3中：(a)表示左视图，(b)表示右视图，(c)表示利用参考文献算法处理后的右视图，(d)表示利用本专利技术方法处理后的右视图具体实施方式本专利技术的核心内容在于：通过使用L-M算法实现对可消减垂直视差变换矩阵的精确求解，将通过该方法求得的最优化的变换矩阵作用于右视图，生成校正后的右视图，该方法在进一步消减垂直视差的同时，能降低对水平视差的影响本文档来自技高网...

【技术保护点】
一种垂直视差消减方法，其特征在于包括下列步骤：1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻距离比值进行匹配；1.2由垂直视差消减原理计算出匹配点的坐标，再用L‑M算法进行可消减垂直视差的变换矩阵计算，包括下列步骤：1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图‑基准图的特征点坐标为[xi,yi,1]T，右视图的特征点坐标为其中：i＝1,...,N；N表示特征点的个数；1.2.2计算二维射影变换矩阵M2D，使右视图中的特征点[x′i,y′i,1]T经校正矩阵后与左视图中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为[x′i,yi,1]；1.2.3将用线性算法计算出的二维射影变换矩阵M2D作为L‑M算法的初值，M2D形式为：M2D=m0m1m2m3m4m5m6m71]]>其中：m2表示水平方向位移量；m5表示垂直方向位移量；m0、m1、m3、m4表示尺度和旋转量；m6、m7表示水平和垂直方向的形变量；1.2.4用L‑M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量Mk；其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ增加；Mk为第k次迭代时的M值，其中M为列向量(m0,m1,...,m7)T；1.2.4.2利用变换矩阵Mk计算目标图像的新坐标，并计算误差指标函数E(Mk)其中：E(Mk)表示第k次迭代时的E(M)值，E(M)值的计算公式为：E(M)=12Σi=1N[(m0xi′+m1yi′+m2m6xi′+m7yi′+1-xi′)2+(m3xi′+m4yi′+m5m6xi′+m7yi′+1-yi)2]]]>1.2.4.3利用下式计算误差ei(M)的Jacobian矩阵J(M)：J(M)=∂e1(M)∂m0∂e1(M)∂m1...∂e1(M)∂m7∂e2(M)∂m0∂e2(M)∂m1...∂e2(M)∂m7∂eN(M)∂m0∂eN(M)∂m1...∂eN(M)∂m7]]>其中：误差ei(M)的计算公式为：ei(M)=[(m0xi′+m1yi′+m2m6xi′+m7yi′+1-xi′)2+(m3xi′+m4yi′+m5m6xi′+m7yi′+1-yi)2]12]]>1.2.4.4根据公式ΔM＝‑[JT(M)J(M)+μI]‑1JT(M)e(M)计算变换矩阵增量ΔM；1.2.4.5若E(Mk)＜ε，则结束；否则计算Mk+1，并计算误差指标函数E(Mk+1)其中：Mk+1＝Mk+ΔM；1.2.4.6若E(Mk+1)＜E(Mk)，则令k＝k+1，μ＝μ/β，转到步骤1.2.4.2；否则不更新变换矩阵M，Mk+1＝Mk，μ＝μβ，转到步骤1.2.4.4；1.3将原右视图的每一个像素点依次与校正变换矩阵M2D相乘，得到新的右视图即校正后视图；1.4用后处理方法去除部分图像中由校正变换引起的噪声，后处理方法为对没有像素生成的坐标位置，将该坐标位置点周围8个点的像素值的均值作为该坐标位置点像素值，得到最终改进后的右视图，垂直视差得到消减。...

【技术特征摘要】
1.一种垂直视差消减方法，其特征在于包括下列步骤：
1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻
距离比值进行匹配；
1.2由垂直视差消减原理计算出匹配点的坐标，再用L-M算法进行可消减垂直视差的变
换矩阵计算，包括下列步骤：
1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图-基准图的特征点坐标
为[xi,yi,1]T，右视图的特征点坐标为其中：i＝1,...,N；N表示特征点的个数；
1.2.2计算二维射影变换矩阵M2D，使右视图中的特征点[x′i,y′i,1]T经校正矩阵后与左视图
中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为
[x′i,yi,1]；
1.2.3将用线性算法计算出的二维射影变换矩阵M2D作为L-M算法的初值，M2D形式为：
M2D=m0m1m2m3m4m5m6m71]]>其中：m2表示水平方向位移量；m5表示垂直方向位移量；m0、m1、m3、m4表示尺度和旋
转量；m6、m7表示水平和垂直方向的形变量；
1.2.4用L-M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：
1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量Mk；
其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ
增加；Mk为第k次迭代时的M值，其中M为列向量(m0,m1,...,m7)T；
1.2.4.2利用变换矩阵Mk计算目标图像的新坐标，并计算误差指标函数E(Mk)
其中：E(Mk)表示第k次迭代时的E(M)值，E(M)值的计算公式为：
E(M)=12Σi=1N[(m0xi′+m1yi′+m2m6xi′+m7yi′+1-xi′)2+...

【专利技术属性】
技术研发人员：赵岩，李清玉，王世刚，王学军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22