基于不同相机间距的立体图像克隆方法技术

本发明专利技术属于图像处理技术领域，为提出针对相机间距不一致时的立体图像克隆算法。本发明专利技术采用的技术方案是，基于不同相机间距的立体图像克隆方法,首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。本发明专利技术主要应用于图像处理场合。

【技术实现步骤摘要】
基于不同相机间距的立体图像克隆方法
本专利技术属于图像处理
，具体讲,涉及一种基于不同相机间距的立体图像克隆算法。
技术介绍
随着3D电影和电视等3D媒体的增加，3D内容受到了用户的广泛关注。因此，一旦用户能够很方便地接触到3D相机和3D显示设备，就会希望能够像编辑2D图像一样编辑3D图像，然而，将2D图像编辑的方法直接应用到3D图像，往往不能产生令人舒适愉悦的视觉体验。目前，关于2D图像克隆已经有很多成熟的算法，然而3D图像克隆面临着许多新的挑战：1)3D图像相比2D图像增加了深度约束，因此，为了保证立体图像克隆过程中的深度一致性，需要对克隆区域的大小和形状进行调整。2)为了舒适的视觉体验，需要保持左视点图像和右视点图像之间的对应关系。目前，已有部分研究人员对立体图像克隆进行了研究。Lo等人提出了一种3D复制和粘贴的方法，需要精确分割源图像中的待克隆对象，并将其粘贴到目标图像中。Luo等人提出了一种基于透视感知变形的无缝立体图像克隆算法，该算法不需要对源图像中的待克隆区域进行精确分割，可以处理具有模糊边界、不易分割的克隆对象。然而，在立体图像克隆的过程中，上述研究都假设拍摄源图像和拍摄目标图像的立体相机的相机间距是一致的。然而，实际中，拍摄源图像和拍摄目标图像的立体相机的相机间距往往不一致，因此，相机间距不一致时的立体图像克隆问题亟待解决。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出针对相机间距不一致时的立体图像克隆算法。本专利技术采用的技术方案是，基于不同相机间距的立体图像克隆方法,首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。图像预处理具体步骤是，计算源图像和目标图像的视差图，同时为源图像和目标图像构建四边形网格，构建方式如下：首先用一个均匀网格Ml＝(Vl,El,Fl)表示源图像的左视点图像，其中Vl表示左视点图像的网格顶点，El表示左视点图像的网格边，Fl表示左视点图像的网格四边形，之后根据源图像的视差图构建源图像右视点图像的网格Mr＝(Vr,Er,Fr)，其中，Vr表示右视点图像的网格顶点，Er表示右视点图像的网格边，Fr表示右视点图像的网格四边形。轮廓处理具体步骤是，结合源图像的左视点图像的初始均匀网格对用户绘制的任意轮廓进行调整，使新轮廓为包含用户绘制轮廓的最小矩形轮廓，其中矩形轮廓的四个角点均为源图像的左视点图像的初始均匀网格中的网格顶点，在获得源图像的左视点图像的新轮廓之后，根据源图像视差图获得源图像的右视点图像的新轮廓，轮廓包围区域即为源图像克隆区域。调整视差来迭代调整立体图像克隆区域的形状和大小即迭代优化变形，具体步骤是，1)视差调整调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G0，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图其中是为源图像克隆区域制定的权重函数，用于惩罚更为平滑的区域，DT表示目标图像视差图，表示源图像克隆区域的轮廓，表示调整后的源图像克隆区域的视差图的梯度场；2)基于四边形网格的优化变形2.1场景物体大小与视差的关系假定立体相机摄像头平行设置，根据几何关系及相似三角形定理，推导出场景物体深度z和相机间距b之间的关系为：其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝xL-xR表示图像视差，xL和xR表示同一场景物体在左视点图像和右视点图像的对应横坐标；根据几何关系及相似三角形定理，推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小，由此推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为：由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关；对于同一场景物体L1，其在源图像上和目标图像上的大小分别为x1和x2，视差分别为d1和d2，双目立体相机间距分别为b1和b2，得下述公式：由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：由此，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关；2.2优化变形采用透视缩放项、直线约束项、视差一致项、垂直对齐项和位置固定项的权重组合来指导四边形网格变形，其中Vl和Vr表示优化变形前的左视点图像网格顶点和右视点图像网格顶点，和表示优化变形后的左视点图像网格顶点和右视点图像网格顶点；(1)透视缩放项定义透视缩放因子为其中，和分别表示源图像克隆区域调整后的视差和调整前的视差，bS和bT分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距；对于源图像克隆区域左视点图像的任意网格边其中，Vil和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，其缩放因子定义为其中，和分别表示优化变形前的左视点图像网格的第i和第j个顶点的透视缩放因子；透视缩放项定义为其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合；Vil和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标；和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；Sij表示网格边的缩放因子；(2)直线约束项为源图像左视点图像的网格边定义变形后与变形前的长度比为其中，Vil和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标；用相同的方法定义源图像右视点图像的长度比直线约束项定义为其中，El和Er分别表示源图像克隆区域左视点图像网格边和右视点图像网格边的集合，Vil和分别表示优化变形前的左视点图像网格的第i和第j个顶点坐标，Vir和分别表示优化变形前的右视点图像网格的第i和第j个顶点坐标；和分别表示优化变形后的左视点图像网格的第i和第j个顶点坐标，和分别表示优化变形后的右视点图像网格的第i和第j个顶点坐标；(3)视差一致项对于每组待计算的水平坐标分量其视差应与调整后的视差保持一致，令表示调整后的视差。视差一致项定义为其中，表示左视点图像待计算的水平坐标，表示右视点图像待计算的水平坐标；(4)垂直对齐项对于每组待计算的垂直坐标分量应使其调整后趋近于0，从而消除垂直视差的影响，垂直对齐项定义为其中，表示左视点图像待计算的垂直坐标，表示右视点图像待计算的垂直坐标；(5)位置固定项为防止源图像克隆区域的中心位置发生改变，引入位置固定项固定源图像克隆区域左网格的中心位置，令表示初始左网格的中心位置，其中，Vl表示初始的左视点图像网格顶点坐标，Vil表示初始的左视点图像网格的第i个顶点坐标。位置固定项定义为其中，表示优化变形后的左视点图像网格顶点坐标，表示优化变形后的左视点图像网格的第i个顶点坐标；优化变形的总能量定义为上述五个能量项的权重加和：Φ＝ωsΦs+ωlΦl+ωdΦd+ωvΦv+ωdΦd其中，Φs本文档来自技高网...

【技术保护点】
一种基于不同相机间距的立体图像克隆方法，其特征是，首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。

【技术特征摘要】
1.一种基于不同相机间距的立体图像克隆方法，其特征是，首先进行图像预处理，之后处理用户绘制的轮廓以便进行后续的网格变形，之后通过调整视差来调整立体图像克隆区域的形状和大小，最后将调整后的立体图像克隆区域融合到目标图像中。2.如权利要求1所述的基于不同相机间距的立体图像克隆方法，其特征是，图像预处理具体步骤是，计算源图像和目标图像的视差图，同时为源图像和目标图像构建四边形网格，构建方式如下：首先用一个均匀网格Ml＝(Vl,El,Fl)表示源图像的左视点图像，其中Vl表示左视点图像的网格顶点，El表示左视点图像的网格边，Fl表示左视点图像的网格四边形，之后根据源图像的视差图构建源图像右视点图像的网格Mr＝(Vr,Er,Fr)，其中，Vr表示右视点图像的网格顶点，Er表示右视点图像的网格边，Fr表示右视点图像的网格四边形。3.如权利要求1所述的基于不同相机间距的立体图像克隆方法，其特征是，轮廓处理具体步骤是，结合源图像的左视点图像的初始均匀网格对用户绘制的任意轮廓进行调整，使新轮廓为包含用户绘制轮廓的最小矩形轮廓，其中矩形轮廓的四个角点均为源图像的左视点图像的初始均匀网格中的网格顶点，在获得源图像的左视点图像的新轮廓之后，根据源图像视差图获得源图像的右视点图像的新轮廓，轮廓包围区域即为源图像克隆区域。4.如权利要求1所述的基于不同相机间距的立体图像克隆方法，其特征是，调整视差来迭代调整立体图像克隆区域的形状和大小即迭代优化变形，具体步骤是，1)视差调整调整方式如下：采用源图像克隆区域的视差图梯度场作为求解下式的引导场G0，同时迫使调整后的源图像克隆区域边缘的视差和目标立体图粘贴区域边缘的视差相同，通过求解下述加权泊松等式的最小值获得调整后的源图像克隆区域的视差图其中是为源图像克隆区域制定的权重函数，用于惩罚更为平滑的区域，DT表示目标图像视差图，表示源图像克隆区域的轮廓，表示调整后的源图像克隆区域的视差图的梯度场；2)基于四边形网格的优化变形2.1场景物体大小与视差的关系假定立体相机摄像头平行设置，根据几何关系及相似三角形定理，推导出场景物体深度z和相机间距b之间的关系为：其中，b表示立体相机间距，f表示相机焦距，z表示场景物体的深度，d＝xL-xR表示图像视差，xL和xR表示同一场景物体在左视点图像和右视点图像的对应横坐标；根据几何关系及相似三角形定理，推导出场景物体在立体图像平面上的大小与场景物体深度之间的关系为其中，L表示场景物体的大小，x表示场景物体在图像平面上的大小，由此推导出场景物体在立体图像平面上的大小x与图像视差d之间的关系为：由上式可知，场景物体L在立体图像上的大小x与图像视差d及立体相机间距b有关，而与立体相机焦距f无关；对于同一场景物体L1，其在源图像上和目标图像上的大小分别为x1和x2，视差分别为d1和d2，双目立体相机间距分别为b1和b2，得下述公式：由上述两式可得，相机间距不一致时同一场景物体在源图像和目标图像上的缩放关系为：由此，场景物体在立体图像上的大小不仅与图像视差有关，而且与立体相机的相机间距有关；2.2优化变形采用透视缩放项、直线约束项、视差一致项、垂直对齐项和位置固定项的权重组合来指导四边形网格变形，其中Vl和Vr表示优化变形前的左视点图像网格顶点和右视点图像网格顶点，和表示优化变形后的左视点图像网格顶点和右视点图像网格顶点；(1)透视缩放项定义透视缩放因子为其中，和分别表示源图像克隆区域调整后的视差和调整前的视差，bS和bT分别表示拍摄源图像的立体相机间距和拍摄目标图像的立体相机间距，Vil表示优化变形前的左视点图像网格的第i个顶点坐标；对于源图像克隆区域左视点图像的任意...

【专利技术属性】
技术研发人员：侯春萍，刘琦，阎维青，陈华，王致芃，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12