视图合成方法和装置制造方法及图纸

本发明专利技术公开了一种视图合成方法和装置。所述方法包括：对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形；确定所述参考图像三角形中的空洞像素点；对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。通过上述技术方案，根据Delaunay三角剖分结构，在目标图像对应的参考图像中寻找像素信息来填充空洞。在DIBR视图合成中，能够解决图像的变形和旋转产生的空洞的问题，从而使视图合成更准确。

【技术实现步骤摘要】

本公开涉及计算机图像领域，具体地，涉及一种视图合成方法和装置。
技术介绍
基于深度图像绘制(depth-image-basedrendering，DIBR)技术根据参考图像(ReferenceImage)及其对应的深度图像(DepthImage)生成新视图，即目标图像。目前，基于DIBR的视图合成算法通常采用的流程是：深度图像预处理(Pre-ProcessingofDepthImage)、三维图像变换(3DImageWarping)、空洞填充(HoleFilling)。由于深度图像的深度值不连续等原因，会在新视图中产生较大空洞。目前的空洞填充算法，包括基于运动矢量和时空相结合的空洞填充算法，都不能解决图像物体的变形和旋转产生的空洞的问题。
技术实现思路
本公开的目的是提供一种空洞填充效果较好的视图合成方法和装置。为了实现上述目的，本公开提供一种视图合成方法。所述方法包括：对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形；确定所述参考图像三角形中的空洞像素点；对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。可选地，所述对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形的步骤包括：根据Harris算子确定参考图像对应的深度图像的特征点；根据所述特征点进行Delaunay三角剖分，得到参考图像三角形。可选地，所述确定所述参考图像三角形中的空洞像素点的步骤包括：根据所述参考图像三角形确定目标图像三角形；确定目标图像三角形与参考图像三角形的映射关系；确定所述目标图像三角形中的空洞像素点；根据所述映射关系和所述目标图像三角形中的空洞像素点确定所述参考图像三角形中的空洞像素点。可选地，所述对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像的步骤包括：根据双线性差值方法，对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。可选地，所述对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像的步骤包括：通过垂直视差的平移，对所述参考图像边缘的空洞像素点进行填充。本公开还提供一种视图合成装置。所述装置包括：三角剖分模块，用于对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形；空洞确定模块，用于确定所述参考图像三角形中的空洞像素点；空洞填充模块，用于对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。通过上述技术方案，根据Delaunay三角剖分结构，在目标图像对应的参考图像中寻找像素信息来填充空洞。在DIBR视图合成中，能够解决图像的变形和旋转产生的空洞的问题，从而使视图合成更准确。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是一示例性实施例提供的视图合成方法的流程图；图2是另一示例性实施例提供的视图合成方法的流程图；图3是一示例性实施例提供的确定参考图像三角形中的空洞像素点的流程图；图4是一示例性实施例提供的图像像素坐标系的转换示意图；图5是又一示例性实施例提供的视图合成方法的流程图；图6a和6b是一示例性实施例提供的线性插值的示意图；图7是又一示例性实施例提供的视图合成方法的流程图；图8是一示例性实施例提供的视图合成装置的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。图1是一示例性实施例提供的视图合成方法的流程图。如图1所示，所述方法包括以下步骤。在步骤S11中，对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形。在步骤S12中，确定参考图像三角形中的空洞像素点。在步骤S13中，对参考图像三角形中的空洞像素点进行填充，以生成目标图像。通过上述技术方案，根据Delaunay三角剖分结构，在目标图像对应的参考图像中寻找像素信息来填充空洞。在DIBR视图合成中，能够解决图像的变形和旋转产生的空洞的问题，从而使视图合成更准确。其中，所述参考图像三角形表示参考图像的深度图像三角形。即，本文中为了描述简单，将参考图像的深度图像三角形描述为参考图像三角形。在步骤S11中，可以先对参考图像对应的深度图像进行特征点检测，再对特征点进行Delaunay三角剖分。在特征点检测时，可以应用Maravec算子、Harris算子、Susan算子等特征检测算子。图2是另一示例性实施例提供的视图合成方法的流程图。如图2所示，在图1的基础上，对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形的步骤(步骤S11)可以包括以下步骤。在步骤S111中，根据Harris算子确定参考图像对应的深度图像的特征点。特征点的数量决定了三角形的数量。三角形数量对算法的时间复杂度影响较为严重，每个三角形面积的大小也影响空洞填充的效果。当特征点个数较少时，三角形面积较大，其中包含着前背景信息，不能将前背景像素点区分开。这样，在进行空洞填充时，可能会使得参考图像三角形中的前景拉伸变大，填充了本应该填充背景像素点的地方；当特征点个数较多时，三角形面积较小。在从参考图像三角形中找目标图像空洞的像时，小的三角形可能要填充大的空洞，从而进行大范围的拉伸，造成扭曲现象较为严重。可以通过试验的放法选取适中的三角形数量。在步骤S112中，根据所述特征点进行Delaunay三角剖分，得到参考图像三角形。在该实施例中，由于Harris算法的公式只涉及图像的一阶导数，因此，计算简单、稳定且不受光照、旋转、噪声等影响，具有较好的检测特征点的效果。具体地，对参考图像对应的深度图进行Delaunay三角剖分后，可以得到两个矩阵，一个是参考图像特征点矩阵corner(n×2)，每一行代表一个特征点在图像中的坐标，共n个特征点。另一个矩阵是三角形矩阵T(m×3)，该矩阵中的每一行代表一个三角形，其中列代表三角形的三个顶点在特征点矩阵中的行，从而确定了三角形三个顶点的坐标位置，共m个三角形。图3是一示例性实施例提供的确定参考图像三角形中的空洞像素点的流程图。如图3所示，确定参考图像三角形中的空洞像素点的步骤(步骤S12)可以包括以下步骤。在步骤S121中，根据所述参考图像三角形确定目标图像三角形。其中，可以将参考图像特征点矩阵corner中的所有特征点经过三维图像变换公式投影到目标图像中去，得到目标图像的特征点矩阵，记为conrner_des。根据目标图像的特征点矩阵可以确定目标图像三角形。在步骤S122中，确定目标图像三角形与参考图像三角形的映射关系。其中，可以用矩阵来表示两个三角形的映射关系。在坐标变换过程中，可以用齐次坐标来表示一个二维空间点坐标。可以按照三角形矩阵T(m×3)进行遍历整幅图像，T的第一行就是要处理的第一个三角形，找到目标图像的特征点矩阵conrner_des对应的目标图像三角形，记作Tri_des，参考图像特征点矩阵conrner对应的参考图像三角形，记作Tri_ref。可以理解的是，在使用摄像机标定的内部参数矩阵时，“Ballet”和“Breakdancer本文档来自技高网...

【技术保护点】
一种视图合成方法，其特征在于，所述方法包括：对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形；确定所述参考图像三角形中的空洞像素点；对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。

【技术特征摘要】
1.一种视图合成方法，其特征在于，所述方法包括：对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形；确定所述参考图像三角形中的空洞像素点；对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。2.根据权利要求1所述的方法，其特征在于，所述对参考图像对应的深度图像进行Delaunay三角剖分，得到参考图像三角形的步骤包括：根据Harris算子确定参考图像对应的深度图像的特征点；根据所述特征点进行Delaunay三角剖分，得到参考图像三角形。3.根据权利要求1所述的方法，其特征在于，所述确定所述参考图像三角形中的空洞像素点的步骤包括：根据所述参考图像三角形确定目标图像三角形；确定目标图像三角形与参考图像三角形的映射关系；确定所述目标图像三角形中的空洞像素点；根据所述映射关系和所述目标图像三角形中的空洞像素点确定所述参考图像三角形中的空洞像素点。4.根据权利要求1所述的方法，其特征在于，所述对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像的步骤包括：根据双线性差值方法，对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像。5.根据权利要求4所述的方法，其特征在于，所述对所述参考图像三角形中的空洞像素点进行填充，以生成目标图像的步骤还包括：通过垂直视差的平移，对所述参考图像边缘的空洞像素点进行填充。6.一种视图合成装置...

【专利技术属性】
技术研发人员：刘然，贾瑞双，邓泽坤，徐苗，
申请(专利权)人：重庆大学，深圳天珑无线科技有限公司，
类型：发明
国别省市：重庆;50