一种基于视点合成的立体图像垂直视差消除方法技术

本发明专利技术公开了一种基于视点合成的消除立体图像垂直视差的方法。本发明专利技术按顺序可以分为四个步骤：（1）对原始立体图像进行传统方式的外极线校正，得到初始校正后的立体图像；（2）对初始校正后的立体图像进行立体匹配，得到对应的水平视差图；（3）根据投影关系，计算得到对应于原始立体图像的水平视差图和垂直视差图；（4）基于原始立体图像的水平视差图和垂直视差图，进行视点合成，得到校正后的立体图像。本发明专利技术的主要特点是引入视点合成技术，在消除立体图像的垂直视差的同时，减小校正过程带来的投影失真。

【技术实现步骤摘要】

本专利技术涉及一种基于视点合成的立体图像垂直视差消除方法。
技术介绍
3D电影近年来得到了快速发展。一般而言，3D电影可通过计算机动画合成、2D转3D技术以及立体相机拍摄三种方式获得，其中通过立体相机拍摄是未来3D电影发展的主流。立体相机通常由左右两个相机构成，它们被设计成光轴平行配置的形式。然而，由于机械对齐的精度问题，拍摄得到的立体图像或视频无法做到完全对齐。当立体摄像机镜头需要拉伸时，左右两个相机之间的动作不同步使得对齐问题变得更加复杂。这些都造成了最终得到的立体图像或视频左右视图之间或多或少存在垂直视差。Mayhew曾对7部商业3D影片中的70个立体视频帧进行过评估，发现只有6个(占8.5％)视频帧是不需要进行校正的。垂直视差的存在是造成观看者头晕、眼胀等视觉疲劳现象的主要原因之一，因而探寻通过对3D电影进行后期校正来消除垂直视差的理论和方法具有重要意义。消除垂直视差的过程在计算机视觉中被称为“外极线校正”，通常是指对两幅图像各进行一次投影变换，使得变换后的两幅图像所对应的对极线位于图像的同一条扫描线上。立体图像的外极线校正方法可分为相机已标定情况下的校正和未标定情况下的校正两种。对于相机已标定情况而言，左右两个相机的内外参数已知，可以通过构造变换矩阵的方法来实现外极线校正。但是运用这种方法的前提是在3D影片拍摄前必须对立体相机进行标定，否则该方法就失效了。对于现实中大多数3D影片而言，相机参数是无法获取的，在这种情况下，只能运用未标定情况的方法。对于未标定情况下的外极线校正，目前已存在多种方法，这些方法大多是针对计算机视觉应用而提出的，即使校正结果存在变形，也不会对三维重构产生较大的影像。然而，对于3D电影而言，我们必须考虑校正后的影片呈现给观众的视觉效果，也就必须使校正后的图像帧不能产生太大的畸变。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种基于视点合成的立体图像垂直视差消除方法。本专利技术的目的是通过以下技术方案实现的：一种基于视点合成的立体图像垂直视差消除方法，包括以下步骤：(1)采集原始立体图像的左视图IL和右视图IR；(2)输入原始立体图像的左视图IL和右视图IR，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图ITL和右视图ITR，并记录下分别施加在左视图和右视图上变换矩阵TL和TR；(3)对经过初始校正后的立体图像左视图ITL和右视图ITR进行立体匹配，得到对应的水平视差图DTL和DTR；(4)根据投影关系，计算得到对应于左视图IL的水平视差图DHL和垂直视差图DVL，以及对应于右视图IR的水平视差图DHR以及垂直视差图DVR，通过以下步骤实现：(4.1)对左视图IL中的任意一点pL，经过变换TL得到经过初始校正后的左视图ITL中的对应点pTL＝TL·pL。点pTL的坐标值一般为非整数，通过做双线性插值，在视差图DTL中得到对应于pTL位置的视差值(4.2)记ITL中的点pTL的齐次坐标为pTL＝[xTL,yTL,1]T，则它在相对应的右视图ITR中的对应点pTR为：(4.3)将点pTR经过对应于TR的逆变换投影回右视图IR得到点从而建立起了左视图IL中的点pL和右视图IR中的点pR之间的对应关系，即pL和pR是一对匹配点。(4.4)记pL和pR的坐标值分别为[xL,yL]T和[xR,yR]T，可以根据下式计算得到对应于pL的水平视差值dHL和垂直视差值dVL：dHL＝xL-xR，dVL＝yL-yR(4.5)对左视图IL中的每一点施加上述过程，可以得到对应于左视图IL的水平视差图DHL和垂直视差图DVL。(4.6)同理，对右视图IR施加上述过程，可以计算得到对应于右视图IR的水平视差图DHR以及垂直视差图DVR。(5)基于原立体图像的左右视图IL和IR，以及相应的水平和垂直视差图DHL、DVL、DHR、DVR，进行视点合成，得到新的右视图包括以下步骤：(5.1)采用反向映射的机制，即对于新的右视图上的每一个点记它的坐标值为根据由IL和IR的水平及垂直视差图DHL、DVL、DHR、DVR所确定的投影关系，分别IL和IR上寻找各自的对应点p′L及p'R，包括以下步骤：(a)设点在左视图IL中的对应点为p'L，为了达到消除垂直视差的目的，需要以满足水平视差约束为条件，在IL中进行搜索。记p'L的坐标值为要求其x轴坐标值须满足下面的关系式：xpL′=argminxpL~∈[xRnew-τ1,xRnew+τ1]|xpL~xRnew-dHpL~|]]>上式中，τ1为一预设值，表示在IL上以坐标值为中心沿水平方向的搜索范围。为与IL对应的水平视差图DHL中位于坐标处的水平视差值。(b)设点在右视图IR中的对应点为p'R，在垂直视差的约束下，在IR中进行搜索。记p'R的坐标值为要求其y轴坐标值须满足下面的关系式：ypR′=argminyPR~∈[yRnew-τ2,yRnew+τ2]||ypR~-yRnew|-|dVpR~||]]>上式中，τ2为一预设值，表示在IR上以坐标值为中心沿垂直方向的搜索范围。为与IR对应的垂直视差图DVR中位于坐标处的垂直视差值。(5.2)在找到了新的右视图上的点在左右视图上各自的对应点p'L，p'R后，比较这二点的水平视差值，将视差值大的点投影得到(5.3)对合成新右视图中空白点进行修补。本专利技术的有益效果是：在消除立体图像垂直视差的同时，最大程度地减小传统校正方式带来的投影失真问题。附图说明图1为本专利技术方法的流程图；图2为步骤103中对左视图IL生成水平视差图DHL和垂直视差图DVL的示意图；具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细描述，本专利技术的目的和效果将变得更加明显。图1给出了依照本专利技术进行立体图像校正的方法流程图。本专利技术所述的基于视点合成的立体图像校正方法是针对立体图像进行的。一幅立体图像由分别称为左视图和右视图的二幅视图构成。立体图像一般由立体相机拍摄，立体相机由左相机和右相机二个相机组成，其中左相机用于拍摄左视图，右相机用于拍摄右视图。立体图像也可以由单个相机通过分时水平位移拍摄得到，这时左右相机都对应着同一个相机。对于立体视频而言，其每一个视频帧可视为一幅立体图像，同样可适用本专利技术提出的方法。如图1所示，在步骤101中，输入原始立体图像的左视图IL和本文档来自技高网...

【技术保护点】
一种基于视点合成的立体图像垂直视差消除方法，其特征在于，该方法包括以下步骤：(1)采集原始立体图像的左视图IL和右视图IR；(2)输入原始立体图像的左视图IL和右视图IR，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图ITL和右视图ITR，并记录下分别施加在左视图和右视图上变换矩阵TL和TR；(3)对经过初始校正后的立体图像左视图ITL和右视图ITR进行立体匹配，得到对应的水平视差图DTL和DTR；(4)根据投影关系，计算得到对应于左视图IL的水平视差图DHL和垂直视差图DVL，以及对应于右视图IR的水平视差图DHR以及垂直视差图DVR；(5)基于原立体图像的左右视图IL和IR，以及相应的水平和垂直视差图DHL、DVL、DHR、DVR，进行视点合成，得到新的右视图原始立体图像的左视图IL和新的右视图已经消除了垂直视差，构成了新的立体图像。

【技术特征摘要】
1.一种基于视点合成的立体图像垂直视差消除方法，其特征在于，该方法包括
以下步骤：
(1)采集原始立体图像的左视图IL和右视图IR；
(2)输入原始立体图像的左视图IL和右视图IR，对其进行传统方式的外极
线校正，得到经过初始校正后的立体图像左视图ITL和右视图ITR，并记录下分别
施加在左视图和右视图上变换矩阵TL和TR；
(3)对经过初始校正后的立体图像左视图ITL和右视图ITR进行立体匹配，
得到对应的水平视差图DTL和DTR；
(4)根据投影关系，计算得到对应于左视图IL的水平视差图DHL和垂直视
差图DVL，以及对应于右视图IR的水平视差图DHR以及垂直视差图DVR；
(5)基于原立体图像的左右视图IL和IR，以及相应的水平和垂直视差图
DHL、DVL、DHR、DVR，进行视点合成，得到新的右视图原始立体图像的左
视图IL和新的右视图已经消除了垂直视差，构成了新的立体图像。
2.根据权利要求1所述的一种基于视点合成的立体图像垂直视差消除方法，其
特征在于，所述的步骤(4)中计算得到对应于左视图IL的水平视差图DHL和垂
直视差图DVL，以及对应于右视图IR的水平视差图DHR以及垂直视差图DVR，通过
以下步骤来实现：
(4.1)对左视图IL中的任意一点pL，经过变换TL得到经过初始校正后的左
视图ITL中的对应点pTL＝TL·pL；点pTL的坐标值一般为非整数，通过做双线性插
值，在视差图DTL中得到对应于pTL位置的视差值(4.2)记ITL中的点pTL的齐次坐标为pTL＝[xTL,yTL,1]T，则它在相对应的右视
图ITR中的对应点pTR为：(4.3)将点pTR经过对应于TR的逆变换投影回右视图IR得到点
从而建立起了左视图IL中的点pL和右视图IR中的点pR之间的对应
关系，即pL和pR是一对匹配点；
(4.4)记pL和pR的坐标值分别为[xL,yL]T和[xR,yR]T，可以根据下式计算得
到对应于pL的水平视差值dHL和垂直视差值dVL：
dHL＝xL-xR，dVL＝yL-yR；
(4.5)对左视图...

【专利技术属性】
技术研发人员：杜歆，邹泷，朱云芳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33