重新映射深度图以用于3D观看制造技术

公开了布置用于重新映射深度图（101）的图像处理设备（100）。3D图像包括深度图和内容图像。深度图具有在2D阵列中的深度像素。每个深度像素具有深度值（203）和位置（201，202）。所述重新映射包括全局重新映射函数（122）。图像处理设备包括处理单元（199），其包括：选择功能（110），其用于使用基于至少位置和深度值的选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；确定功能（120），其用于确定用于重新映射对象的局部重新映射函数（121）；以及映射功能（130），其用于通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于其他深度像素来重新映射深度图。使用经由耦合到3D图像的元数据而提供的选择准则来选择所述对象。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及与二维（2D）内容图像相对应的深度图的重新映射。2D图像和深度图形成呈现要在3D显示器上观看的三维（3D）图像的基础。重新映射将深度图从输入深度范围映射到3D显示器的输出深度范围。
技术介绍
文献论文“Disparityremappingtoamelioratevisualcomfortofstereoscopicvideo”（Sohn等人,Proc.SPIE8648,StereoscopicDisplaysandApplicationsXXIV,86480Y）描述了一种重新映射视差图的方法。视差图是也包括与视差图相对应的二维（2D）图像的三维（3D）图像的一部分。将视差图重新映射到新的视差图上，使得可以在3D显示器上观看（基于新的视差图的）3D图像。如下建立重新映射。首先，该方法建立全局重新映射曲线以用于将视差图从输入视察范围映射到输出视差范围（3D显示器的）。其次，该方法基于在3D显示器上观看3D图像时导致视觉不适的视差转变来识别局部显著特征。因此将全局重新映射曲线适配到局部显著特征以便减小所述视觉不适。然后根据所适配的全局重新映射曲线来重新映射视差图。US2012/0314933公开了图像处理，其包括：估计立体图像上被估计为受到用户关注的关注区，检测立体图像的视差并生成指示立体图像的每个区的视差的视差图，基于关注区和视差图来设置用于校正立体图像的视差的转换特性，以及基于转换特性来校正视差图。可以针对关注区和背景使用不同的转换函数。US2013/0141422描述了一种用于更改与三维立体图像的一部分相关联的性质的系统。方法包括基于虚拟对象的一部分的左眼图像与虚拟图像的该部分的右眼图像之间的差异来确定三维图像中虚拟对象的该部分沿着相对于显示器的第一轴处于预定的地点。第一轴垂直于显示器的平面。WO2009/034519描述了接收用于图像数据的深度相关信息，包括接收与在深度相关信息的生成中使用的映射函数有关的元数据。US2012/0306866描述了用于调节深度信息的3D图像转换。所述转换包括生成关于输入图像的深度信息；检测具有超过预设范围的视差的对象；以及通过将检测到的对象的视差调节到预设范围内来调节对象的深度信息。可以分析例如流派或观看年龄这样的元数据以便将所生成的深度信息调节到预定的范围内。
技术实现思路
现有技术的缺点是全局视差重新映射（或“重定目标”）对于局部特征的顺应性是有限的，因为向局部特征的所有适配都需要被相同的（经适配的）全局重新映射所适应。本专利技术的目的是通过提供准确地选择并适配图像中的对象的深度重新映射而不在图像的其他部分中适配所述深度重新映射来克服现有技术的缺点。公开了一种图像处理设备，其布置用于重新映射三维图像的深度图，三维图像包括深度图和二维内容图像，深度图具有在与内容图像中图像像素的位置相对应的位置处配置在二维阵列中的深度像素，每个深度像素具有深度值，所述重新映射包括用于将深度图的深度值映射到深度图的新深度值的全局重新映射函数，所述图像处理设备包括接收单元，其用于接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，以及处理单元，其包括：选择功能，其配置成从元数据检索选择准则并使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素；确定功能，其配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数；以及映射功能，其配置成通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。三维（3D）图像包括深度图和相应的内容图像。深度图包括在沿着X和Y轴的相应位置处布置成2D阵列的深度像素，每个深度像素具有深度值。深度图的每个像素对应于内容图像中相应位置处的像素。这样的3D图像格式通常已知为“图像加深度”或“2D+Z”。重新映射深度图意味着深度图的相应深度像素的深度值向相应新深度值的映射。重新映射至少包括用于重新映射深度图的全局重新映射函数。选择功能配置成使用至少基于位置和深度值的选择准则来选择与三维图像中的对象相对应的深度像素。例如，选择准则包括在深度和位置方面的边界，其包括与前景对象相对应的深度像素：选择功能通过选择处于边界内的深度像素来选择与前景对象相对应的深度像素。基于位置和深度值选择对象使得能够实现对象的准确选择，从而高百分比的深度像素对应于该对象，而选择选择低百分比的不与该对象相对应的深度像素。可选地，选择功能包括用于确定3D图像中的（前景）对象的自动化过程。确定功能配置成确定用于重新映射所选择的深度像素的局部重新映射函数。局部重新映射函数是与全局重新映射函数不同的重新映射函数。可选地，确定功能配置成从耦合到3D图像的元数据检索局部重新映射函数。可选地，确定功能包括用于确定局部重新映射函数的自动化过程，使得对象与另一对象和/或背景之间的深度对比度改进。重新映射功能配置成使用局部重新映射函数和全局重新映射函数两者来重新映射深度图。局部重新映射函数用于重新映射所选择的深度像素，而全局重新映射函数用于重新映射其余的（未选择的）深度像素。公开了一种用于重新映射三维图像的深度图的方法，三维图像包括深度图和二维内容图像，深度图具有在与内容图像中图像像素的位置相对应的位置处配置在二维阵列中的深度像素，每个深度像素具有深度值，所述重新映射包括用于将深度图的深度值映射到新深度值的全局重新映射函数，所述方法包括步骤：接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素；从元数据检索选择准则；使用选择准则来选择与三维图像中的对象相对应的深度像素；以及确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数；以及通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。公开了一种用于在上述图像处理设备中使用以用于重新映射深度图的信号，所述信号包括三维图像和耦合到三维图像的元数据，三维图像包括深度图和二维内容图像，深度图具有配置在二维阵列中的深度像素，每个深度像素具有深度值并且具有与内容图像中的位置相对应的在二维阵列中的位置，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素从而将所选择的深度像素的深度值映射到新深度值。公开了一种用于生成供在以上信号中使用的元数据的图像编码方法，所述方法包括步骤：生成元数据，所述元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素从而将所选择的深度像素的深度值映射到新深度值；以及将元数据耦合到三维图像。本专利技术不具有现有技术的所述缺点，因为通过使用位置和深度值两者，元数据使得能够准确地选择与对象相对应的深度像素。对象的准确选择因而使得能够准确地向对象应本文档来自技高网...

【技术保护点】
布置用于重新映射三维图像的深度图（101）的图像处理设备（100），‑ 三维图像包括深度图和二维内容图像，‑ 深度图具有在与内容图像中图像像素的位置相对应的位置（201，202）处配置在二维阵列中的深度像素，‑ 每个深度像素具有深度值（203），‑ 所述重新映射包括用于将深度图的深度值映射到新深度值（131）的全局重新映射函数（122），所述图像处理设备包括接收单元（150），其用于接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，以及处理单元（199），其包括‑ 选择功能（110），其配置成从元数据检索选择准则并使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；‑ 确定功能（120），其配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数（121）；以及‑ 映射功能（130），其配置成通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。

【技术特征摘要】
【国外来华专利技术】2013.10.14 EP 13188429.81.布置用于重新映射三维图像的深度图（101）的图像处理设备（100），
-三维图像包括深度图和二维内容图像，
-深度图具有在与内容图像中图像像素的位置相对应的位置（201，202）处配置在二维阵列中的深度像素，
-每个深度像素具有深度值（203），
-所述重新映射包括用于将深度图的深度值映射到新深度值（131）的全局重新映射函数（122），
所述图像处理设备包括
接收单元（150），其用于接收包括三维图像和耦合到三维图像的元数据的信号，元数据包括基于至少位置和深度值的选择准则以用于选择与三维图像中的至少一个对象相对应的深度像素，以及
处理单元（199），其包括
-选择功能（110），其配置成从元数据检索选择准则并使用选择准则来选择与三维图像中的至少一个对象相对应的深度像素（112）；
-确定功能（120），其配置成确定用于将所选择的深度像素的深度值映射到新深度值的局部重新映射函数（121）；以及
-映射功能（130），其配置成通过将局部重新映射函数用于重新映射所选择的深度像素并将全局重新映射函数用于除了所选择的深度像素以外的深度像素来重新映射深度图。
2.权利要求1的图像处理设备，其中，处理单元布置用于从元数据检索用于确定局部重新映射函数的数据。
3.权利要求1的图像处理设备，其中，选择准则包括在位置（201，202）和深度值（203）方面的边界（221xy，221xd），并且选择功能配置成选择处于所述边界内的深度像素。
4.权利要求3的图像处理设备，其中
边界限定三维闭合体积，所述三维闭合体积具有
-与深度值相对应的第一维度，以及
-与位置相对应的第二维度和第三维度。
5.权利要求4的图像处理设备，其中，三维闭合体积由多个体积（322-323）形成，所述多个体积中的每一个具有多个形状之一，所述多个形状包括框、椭球、球体、立方体和平行六面体。
6.权利要求3的图像处理设备，其中，边界由具有至少两个维度的定界框（231xd）限定，
-两个维度中的第一维度与深度值相对应，并且
-两个维度中的第二维度与位置相对应。
7.权利要求3的图像处理设备，其中
三维图像对应于三维视频的视频帧，并且选择功能配置成通过使用运动矢量从与三维视频的另一视频帧相对应的其他边界的位置进行外推来确定所述边界的位置。
8.权利要求1的图像处理设备，其中
选择功能配置成使用作另外的选择准则来选择深度像素，所述另外的选择准则是包围每个所选择的深度像素的预定尺寸的体积包含超过预定量的深度像素量。
9.权利要求1的图像处理设备，其中
选择功能配置成使用作为另外的选择准则来选择深度像素，所述另外的选择准则是所选择的深度像素在位置和...

【专利技术属性】
技术研发人员：Z原，WHA布鲁斯，W德哈安，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：荷兰;NL