一种增强裸眼立体显示效果的合成方法技术

本发明专利技术涉一种可以增强裸眼立体显示效果的合成方法，包括:a.根据不同的输入数据进行不同的深度信息获取；b.如果是双目数据，则通过特征匹配，建立能量函数来获得最优视差；c.如果是图像+深度信息，则提取视差信息并进行滤波去噪获取最优视差；d.对深度信息进行分割，划分并标记不同的区域；e.对每一块区域重新预估最优视差；f.调整视差偏移参数得到合适的深度空间；g.根据绘制规则合成多视点图像，输出到裸眼电视上。本发明专利技术能够有效解决裸眼电视立体效果不佳的显示问题。并且在各种分辨率下都能够有效合成景深和出屏感都非常强的多视点图像。同时解决了合成多个视点计算量庞大的问题，减少了计算多视点图像中重复计算无效视点的问题。

【技术实现步骤摘要】
一种增强裸眼立体显示效果的合成方法
本专利技术涉及视差计算，图像分割和多视点合成
，尤其涉及一种增强裸眼立体显示效果的合成方法。
技术介绍
随着电视产业相关技术的不断发展，立体电视逐渐进入人们的视野，立体电视的实现将是继数字电视后的又一场重大革命，它的完全实现将是从摄像到显像的重大进步，立体电视是完全建立在数字技术、计算机技术和网络技术上的一个整体集成系统。立体电视是一种能够模拟实际景物的真实空间关系的电视系统。又称三维电视(Threedimensionaltelevision,3DTV)。立体电视图像不仅能给观众一种深度感觉，而且能给观众一种景物伸展于屏幕之外似乎触手可及的感觉。立体电视与现行普通电视的区别是，现行电视只传送一个视点的二维图像信息，而立体电视传送的是多视点的图像信息。人们在观看物体时用两只眼睛同时观看一个物体的图像，不同深度的物体在左右两眼中形成图像的视差不同，大脑则根据这些视差的区别融像出不同的深度和距离，从而产生三维的立体感官。裸眼3D电视既是立体电视的一种前沿产品，有别于传统的戴眼镜式立体电视，裸眼3D电视利用人两眼具有视差的特性，在不需要任何辅助设备（如3D眼睛、头盔等）的情况下，即可获得具有空间和深度的逼真立体影像，是真正意义上的三维立体显示技术。不过现有的裸眼3D电视普遍立体效果不强，特别是在高分辨率下，观众立体效果感官不佳。
技术实现思路
本专利技术的目的是克服现有技术中存在的不足，提供一种增强裸眼立体显示效果的合成方法。该方法能够大幅度提升裸眼电视的立体显示效果，并且在各种分辨率下都能够给观众带来更佳的立体影像效果。本专利技术的技术方案为：一种增强裸眼立体显示效果的合成方法，其中包括视差获取单元，深度空间合成单元，多视点图像合成单元，方法流程图见图1。其中视差获取单元可以接收两种数据格式：双目影像格式和“视频+深度”（video+depth，VD）格式。所述视差获取单元可以根据不同的输入图像格式分别获取相应的视差信息。视差获取单元包括双目视差获取单元和VD视差获取单元。所述双目视差获取单元：根据输入的图像数据进行分图，分为左视图和右视图，并结合立体匹配对左右视图进行计算，得到相应的视差信息。所述VD视差获取单元：根据输入的图像数据进行分图，分离出原始数据中的深度信息，结合预处理得到相应的视差信息。所述深度空间合成单元：重建出图像数据所对应的深度空间，根据图像分割划分出不同的区域，重新划分不同区域的深度信息并进行归一化。观众可以自己调节深度空间，以达到更佳符合观众的立体感受。所述多视点图像合成单元：根据虚拟视点绘制方法合成多视点图像。按照本专利技术提供的技术方案，所述增强裸眼立体显示效果的合成方法包括如下步骤：1）视差获取单元获取原始数据图像信息，针对不同的输入格式选择对应的单元。如果输入数据是双目图像，则进行双目视差获取单元，如果输入数据时视频+深度，则进行VD视差获取单元。2）具体的，双目视差获取单元分离左右路视图ImgL和ImgR，在对ImgL和ImgR滤波缩放之后在设置的视差范围内[-α，α]计算匹配代价分别得到轮廓梯度和色彩梯度，α是最大允许视差，其中当像素视差角度，根据色彩梯度来建立能量函数，，根据轮廓梯度来建立能量函数，通过计算最小全局能量函数得到最优视差信息。3）具体的，VD视差获取单元提取出原始数据本身包含的深度信息，在该单元需要对提取的深度信息进行进一步的滤波去噪，已得到准确的深度信息。按照符合虚拟视点合成规范，将深度信息转换为原始图像的视差信息。4）进一步的，所述深度空间合成单元对视差获取单元得到的视差信息进行处理。在该单元中，需要将视差信息转换为空间深度信息，映射原始数据。5）具体的，在转换深度空间深度信息中，需要对视差信息进行边缘图像分割，确定每一块分割区域的最佳视差平面参数ω。针对需要生成N视点的深度空间，,其中scale（N）为第N个视差的相对偏移系数，观众可以通过调整scale（N）来获得更佳的裸眼3D感受。6）进一步的，多视点图像合成单元根据深度空间按照虚拟视点合成公式合成最终的多视点图像并输出到裸眼电视显示屏上。本专利技术所要解决的技术问题：提供一种增强裸眼立体显示效果的合成方法。该方法能够有效解决裸眼电视立体效果不佳的显示问题。并且在各种分辨率下都能够有效合成景深和出屏感都非常强的多视点图像。同时解决了合成多个视点计算量庞大的问题，减少了计算多视点图像中重复计算无效视点的问题。附图说明下面结合附图和具体例子对本专利技术作进一步详细的描述。附图1为增强裸眼立体显示效果的合成方法的流程图。附图2为双目视差获取单元的系统框图。附图3为VD视差获取单元的系统框图。附图4为深度空间合成单元的系统框图。具体实施方式下面结合附图和实施例对本专利技术作进一步详细说明：如图1所示本方法包括101视差获取单元，102深度空间合成单元和103多视点图像合成单元。图2中201模块接收双目图像数据，将双目图像分成左右两路图像ImgL和ImgR。左右两路图像要保持分辨率一致，如不一致需要对ImgL和ImgR进行图像缩放，以保证左右图像分辨率大小一样。图202模块特征匹配将对左右两路图像进行特征匹配检测，在设置的允许视差[-α，α]内执行SIFT算法（ScaleInvariantFeatureTransform，尺度不变特征变换），生成基于SIFT的特征向量。在特征匹配模块通过建立高斯金字塔来的到图像的尺度空间信息，,其中：Img（x,y）为图像ImgL或ImgR上的点，是对Img(x,y)高斯滤波后的信息,n是高斯金字塔的层数,σ为尺度空间因子，σ值越大越能代表图像的概貌特征，σ越小更能代表图像的细节特征。建立好尺度空间后，利用同一阶上的两个相邻的两层的尺度空间函数之差得DOG（DifferenceOfGaussian）高斯金字塔的一层。,其中k是高斯金字塔中两个相邻层之间的尺度比例，优选的本方法设为0.5。通过检测DOG空间的局部极值点得到一个预估视差β的集合f，在模块203中如果，根据色彩梯度来建立能量函数，，根据轮廓梯度来建立能量函数。基于视差的能量函,其中,p和q是像素的位置，N代表了图像中的p，q坐标关系，V是衡量不一致程度的相关函数，D是衡量f与正确视差分类误差的函数。图204色彩梯度模块中，V由左右两路图像的R,G,B像素差信息得到。图205轮廓梯度模块中，V由左右两路图像的灰度梯度信息差得到。图206模块中，E（f）最小的全局能量分布就是原始图像最优的视差分布。图3中301模块接收视频+深度格式的图像数据，302模块提取VD格式数据的深度信息。由于在视频编码过程中会产生各种噪音例如块效应等，所以303模块需要对原始深度信息进行滤波去噪，本方法采用加窗中值滤波，有效的去处了和高斯噪音混合的情况。304模块中将去噪后的深度信息平滑处理，保留完整的深度轮廓得到最优的视差信息。深度空间合成单元102需要对最优视差处理得到深度空间信息集合。首先对最优视差进行分割，分割采用边缘分割的方法，通过检测视差信息的边缘划分出不同的视差区域。将每个区域的视差值排序，选择中值作为最佳视差平面参数ω，对每一个分割区域用最佳视差平面参数ω对分割区域内所有视差重新预估。针对需要生成N视本文档来自技高网...

【技术保护点】
一种增强裸眼立体显示效果的合成方法，其特征具体包括：a. 获取原始数据图像信息,针对不同的输入格式选择对应的单元；b. 如果输入数据是双目图像，则选择双目视差获取单元，将双目图像分成左右两路图像并在允许视差内执行对左右两路图像进行特征匹配检测，再通过色彩梯度或轮廓梯度来构建能量函数，获得最小全局能量分布；c. 如果输入数据是视频+深度，则选择VD视差获取单元，提取VD格式数据的深度信息并对原始深度信息进行滤波去噪和平滑处理；d. 对视差信息进行分割，并对每个分割区域标记；e. 将每个区域的视差值排序，对每一个分割区域用最佳视差平面参数对分割区域内所有视差重新预估；f. 针对需要生成N视点的深度空间，调整视差的相对偏移系数有效的影响最终原始图像中场景远近生成合适的深度空间；g. 将深度空间信息和原始图像按照多视点合成规则合成多视点图像，并将合成好的多视点图像输出到裸眼电视上。

【技术特征摘要】
1.一种增强裸眼立体显示效果的合成方法，其特征具体包括：a.视差获取单元获取原始数据图像信息，针对不同的输入格式选择对应的单元；b.如果输入数据是双目立体图像，则选择双目视差获取单元，将双目立体图像分成左右两路图像并在允许视差内执行对左右两路图像进行特征匹配检测，再通过色彩梯度或轮廓梯度来构建能量函数，获得最小全局能量分布；如果输入数据是“视频+深度”格式，则选择VD视差获取单元，提取VD格式数据的深度信息并对原始深度信息进行滤波去噪和平滑处理；c.对上述步...

【专利技术属性】
技术研发人员：曾超，廖巍巍，梁园，
申请(专利权)人：成都斯斐德科技有限公司，
类型：发明
国别省市：四川;51