一种基于直线约束的无缝立体图像克隆方法技术

本发明专利技术公开了一种基于直线约束的无缝立体图像克隆方法，所述方法包括以下步骤：计算源立体图像的视差图和目标立体图像的视差图，为源立体图像的左视点图像绘制均匀网格；根据源立体图像的视差图获得对应的右视点图像网格；采用轮廓线确定方法获得适合优化变形的矩形轮廓；通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格；通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果。本发明专利技术提出的基于直线约束的立体图像克隆算法，在调整源立体图像指定区域的大小的同时，保证克隆后的立体图像视差一致，并且不发生结构失真，为观看者带来较为舒适的视觉体验。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种基于直线约束的无缝立体图像克隆方法。
技术介绍
随着3D电影的发展和3D媒介的推广，用户对3D内容产生了浓厚的兴趣，并且希望能够像编辑2D图像一样编辑3D图像。然而，3D图像相比2D图像增加了深度信息约束，将2D图像编辑的方法直接应用到3D图像往往会产生不舒适的视觉体验。图像融合技术是图像编辑技术的一个研究热点。2D图像融合主要分为两类：alpha抠图和基于梯度域的方法。现有的alpha方法包括：贝叶斯方法、闭合解方法和软剪刀方法。alpha方法在图像融合方面取得了很大的成功，但是不能很好地处理边界不明确的情况。而基于梯度域的方法可以解决这个问题，Perez等人[1]和Jia等人[2]提出在融合之前寻找最优边界；Farbman等人[3]提出了一种平均值坐标的方法；Yang等人[4]引入了色彩保真度。近几年，部分研究对alpha抠图和基于梯度域的方法进行了结合。近些年，已有大量的研究人员对立体图像编辑进行了深入的研究。对于立体图像编辑，基于变形的方法是十分有效的。基于变形的方法广泛应用于立体图像克隆、立体图像视差调整、立体图像缩放等方向。针对立体图像克隆方法，Lo等人[5]提出了一种3D复制和粘贴的方法，该方法要求精确分割指定对象，不能处理指定对象和背景之间没有明显边界的情况。Luo等人[6]提出了一种基于透视感知变形的立体图像克隆方法；Tong等人[7]提出了一种将2D图像克隆到3D图像的方法，但是上述方法都没有考虑优化变形中网格边方向改变的问题。本专利技术提出了一种基于直线约束的无缝立体图像克隆方法，通过引入直线约束能量，在保证源立体图像指定对象根据视差缩放的同时，保护其结构信息。
技术实现思路
本专利技术提供了一种基于直线约束的无缝立体图像克隆方法，本专利技术，详见下文描述：一种基于直线约束的无缝立体图像克隆方法，所述方法包括以下步骤：计算源立体图像的视差图和目标立体图像的视差图，为源立体图像的左视点图像绘制均匀网格；根据源立体图像的视差图获得对应的右视点图像网格；采用轮廓线确定方法获得适合优化变形的矩形轮廓；通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格；通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果。其中，所述网格为四边形网格。所述采用轮廓线确定方法获得适合优化变形的矩形轮廓的步骤具体为：根据用户指定的轮廓，确定用户绘制轮廓线与左视点图像网格边的所有交点坐标；求得四条轮廓线，四条轮廓线组成一个矩形轮廓；在获得新的左视点图像轮廓之后，根据源立体图像的视差图确定右视点图像轮廓；对轮廓内部的图像进行优化变形，保留轮廓内部的网格。所述通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格的步骤具体为：采用透视缩放能量函数、直线约束能量函数、视差约束能量函数和位置固定能量函数来指导网格变形。所述通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果的步骤具体为：通过双线性插值算法获得调整后的源立体图像指定区域左视点图像和右视点图像，之后使用泊松融合算法将调整后的源立体图像指定区域的左视点图像和右视点图像分别与目标立体图像的左视点图像和右视点图像无缝融合，来获得最终的结果。本专利技术提供的技术方案的有益效果是：本专利技术提出的基于直线约束的立体图像克隆算法，在调整源立体图像指定区域的大小的同时，保证克隆后的立体图像视差一致，并且不发生结构失真，为观看者带来较为舒适的视觉体验。附图说明图1为本专利技术提供的一种基于直线约束的无缝立体图像克隆方法的流程图；图2为本专利技术提供的视差图的示意图；图3本专利技术和Luo等人提出的方法的比较示意图；图4本专利技术和Luo等人提出的方法的另一比较示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1本专利技术实施例提出了一种基于直线约束的无缝立体图像克隆方法，采用四边形网格来指导图像变形，参见图1，该方法包括以下步骤：101：计算源立体图像的视差图DS和目标立体图像的视差图DT，为源立体图像的左视点图像绘制均匀网格；102：根据源立体图像的视差图DS获得对应的右视点图像网格；103：采用轮廓线确定方法获得适合优化变形的矩形轮廓；104：通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格；105：通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果。综上所述，本专利技术实施例针对立体图像克隆，受到前期图像变形方法的启发，提出了一种基于直线约束的立体图像克隆算法。本方法通过在网格变形算法中采用透视缩放函数、直线约束函数、视差约束函数、位置固定函数来调整源立体图像指定区域的大小，保证克隆后的立体图像视差一致，并且不发生结构失真。实施例2下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：201：四边形网格构建；首先为源立体图像的左视点图像绘制均匀网格，其中m×n表示左视点图像网格的网格数目，VL、EL和FL分别表示左视点图像网格的网格顶点，网格边及网格四边形。对应的右视点图像网格依据源立体图像视差图DS获得，VR、ER和FR分别表示右视点图像网格的网格顶点，网格边及网格四边形。202：轮廓线的确定；本专利技术实施例允许用户为源立体图像的左视点图像绘制任意的轮廓为了对源立体图像指定区域进行无缝克隆，需要对源立体图像的轮廓进行调整，将其调整成一个矩形轮廓，以便对源立体图像指定区域进行四边形网格变形操作。具体轮廓扩张方式如下：首先根据用户指定的轮廓，确定用户绘制轮廓线与左视点图像网格边EL的所有交点坐标其中和分别表示交点坐标的x和y分量。之后求得四条轮廓线Lleft，Lright，Lup和Ldown，方式如下：其中，运算符floor和ceil分别表示向下取整和向上取整，m和n分别表示水平方向和垂直方向划分的网格个数。四条轮廓线Lleft，Lright，Lup和Ldown组成一个矩形轮廓矩形轮廓的四个顶点为(Lleft,Lup)，(Lleft,Ldown)，(Lright,Lup)和(Lright,Ldown)。在获得新的左视点图像轮廓之后，根据源立体图像的视差图DS确定右视点图像轮廓其中，轮廓扩张示意图可见图1流程图的“确定轮廓线”部分，为了展示效果，对源立体图像进行了裁剪，其中覆盖图像的均匀四边形的边表示网格线不规则线条表示用户任意绘制的轮廓粗框线表示扩张后的轮廓左视点图像扩张轮廓和右视点图像扩张轮廓包围起来的图像区域即为源立体图像指定区域其中，表示源立体图像左视点图像指定区域，表示源立体图像右视点图像指定区域。本专利技术实施例提出的立体图像克隆方法，只需对轮廓内部的图像进行优化变形，因此只需保留轮廓内部的网格其中表示变形前源立体图像左视点图像轮廓内部的网格，表示变形前源立体图像右视点图像轮廓内部的网格。203：图像网格变形；本专利技术实施例采用Luo等人[6]提出的方法调整源立体图像指定区域的视差。为了保证克隆后的图像不发生结构失真，保证视差的一致性，本专利技术实施例采用透视缩放能量函数、直线约束能量函数、视差约束能量函数和位置固定能量函数本文档来自技高网...

【技术保护点】
一种基于直线约束的无缝立体图像克隆方法，其特征在于，所述方法包括以下步骤：计算源立体图像的视差图和目标立体图像的视差图，为源立体图像的左视点图像绘制均匀网格；根据源立体图像的视差图获得对应的右视点图像网格；采用轮廓线确定方法获得适合优化变形的矩形轮廓；通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格；通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果。

【技术特征摘要】
1.一种基于直线约束的无缝立体图像克隆方法，其特征在于，所述方法包括以下步骤：计算源立体图像的视差图和目标立体图像的视差图，为源立体图像的左视点图像绘制均匀网格；根据源立体图像的视差图获得对应的右视点图像网格；采用轮廓线确定方法获得适合优化变形的矩形轮廓；通过视差调整和优化变形的迭代过程，获得源立体图像指定区域的优化网格；通过双线性插值的方法获得源立体图像指定区域的优化变形结果；通过泊松融合算法获得最终融合结果。2.根据权利要求1所述的一种基于直线约束的无缝立体图像克隆方法，其特征在于，所述网格为四边形网格。3.根据权利要求1所述的一种基于直线约束的无缝立体图像克隆方法，其特征在于，所述采用轮廓线确定方法获得适合优化变形的矩形轮廓的步骤具体为：根据用户指定的轮廓，确定用户绘制轮廓线与左视点图像网格边的所有交点坐标；求得四条轮廓线，四条轮廓线组成一个矩形轮廓；...

【专利技术属性】
技术研发人员：侯春萍，刘琦，阎维青，陈华，陈天宇，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12