使用视点相关的点云再现的技术制造技术

本公开提供了一种用于渲染图像的方法和设备。该方法包括从至少两个不同的相机位置接收图像，以及确定与位置中的每个位置相关联的相机取向和至少一个图像属性。然后，基于与所接收的图像的相机位置相关联的属性和相机取向来生成图像的模型。模型能够在多个观看取向提供图像的虚拟渲染，并且选择性地提供与观看取向相关联的适当属性。取向相关联的适当属性。取向相关联的适当属性。

【技术实现步骤摘要】
【国外来华专利技术】使用视点相关的点云再现的技术


[0001]本公开整体涉及图像渲染，并且更具体地涉及使用点云技术的图像渲染。

技术介绍

[0002]体积视频捕获是一种允许通过稍后可以从任何角度观看的方式捕获通常在真实场景中的运动图像的技术。这与常规相机捕获截然不同，该常规相机捕获受限于仅从特定角度捕获人和对象的图像。另外，视频捕获允许在三维(3D)空间中捕获场景。因此，所采集的数据然后可以用于建立真实的或另选地由计算机生成的沉浸式体验。随着虚拟现实环境、增强现实环境和混合现实环境的日益普及，体积视频捕获技术也在日益普及。这是因为该技术利用了摄影的视觉质量并将其与空间化内容的沉浸和交互性相混合。该技术较复杂并且结合了计算机图形、光学和数据处理领域中的许多最新进展。
[0003]体积视觉数据通常从真实世界对象捕获或通过使用计算机生成的工具来提供。提供此类对象的共同表示的一种常见方法是通过使用点云。点云是在空间中表示三维(3D)形状或对象的数据点的集合。每个点具有其一组X、Y或Z坐标。点云压缩(PCC)是压缩体积视觉数据的一种方式。MPEG(运动图像专家组)的子组致力于PCC标准的开发。对点云表示的MPEG PCC要求需要每3D位置的视点相关的属性。根据观看者角度来观看补片，或者在某种程度上观看点云的点。然而，因为某些视觉方面可能随视角变化，所以根据不同角度观看场景中的任何3D对象可能需要修改不同属性(例如，颜色或纹理)。例如，因为视角可以根据对象的材料来改变其颜色和着色，所以光的性质可以影响对象的渲染。这是因为纹理可取决于入射光波长。遗憾的是，当前的现有技术在所有条件和角度下不提供真实对象视图。对于捕获图像或者甚至扫描图像，根据观看者角度调制的属性并不总是提供原始内容的忠实再现。问题的一部分是因为即使在当渲染图像时已知优选的观看者角度的情况下，也不总是以可以在稍后时间提供可能的真实渲染的方式来记录相机设置和用于捕获与3D属性相关的图像的角度，并且3D点云属性在一些视角下可能变得不确定。因此，当渲染真实的视图和图像时，需要解决现有技术的这些缺点的技术。

技术实现思路

[0004]在一个实施方案中，提供了用于渲染图像的方法和设备。该方法包括从至少两个不同的相机位置接收图像，以及确定与位置中的每个位置相关联的相机取向和至少一个图像属性。然后，基于与所接收的图像的相机位置相关联的属性和相机取向来生成图像的模型。模型能够在多个观看取向提供图像的虚拟渲染，并且选择性地提供与观看取向相关联的适当属性。
[0005]在另一个实施方案中，提供了解码器和编码器。解码器具有用于从具有一个或多个属性的比特流对数据进行解码的装置，该数据至少具有对应于属性捕获视点的相关联位置。解码器也具有处理器，该处理器被配置为使用所有接收到的所述属性从比特流重构点云，并且提供来自该点云的渲染。编码器可以对模型和渲染进行编码。
附图说明
[0006]通过结合附图考虑以下详细的描述，可易于理解本公开的教导内容，其中：
[0007]图1是渲染图像的相机装备和虚拟相机的示例的图示；
[0008]图2类似于图1，但相机以相对于系统坐标的不同角度渲染图像；
[0009]图3是球体的八分圆的投影到平面上并展开成单位正方形的八面体映射的图示；
[0010]图4是使用八面体建模的解引用点值和邻居的图示；
[0011]图5是根据一个实施方案提供捕获位置的表的图示；
[0012]图6示出了具有与图5中提供的信息类似的信息的另选的表；
[0013]图7是根据实施方案的流程图图示；
[0014]图8示意性地示出了根据一个或多个实施方案的编码和解码系统的一般概览；并且
[0015]图9是根据实施方案的编码器的流程图图示。
[0016]为了便于理解，在可能的情况下，已经使用相同的附图标记来标示与附图共同的相同元件。
[0017]优选实施方案的具体实施方式
[0018]图1提供了相机装备和虚拟相机的示例，从而提供图像或视频的渲染。当提供渲染时，证明渲染的至少一个处理器必须已知相机捕获参数，以便使用点云技术选择适当的属性(例如，颜色或纹理)点样本。图1中捕获的图像用数字100表示。该图像可以是对象、场景或者视频或实况流的一部分的图像。当这是数字图像时，诸如视频图像、TV图像、静态图像或由录像机或计算机生成的图像或者甚至扫描图像，该图像传统上由以水平和垂直线排列的像素或样本组成。单个图像中的像素数量通常为数万个。每个像素通常包含某些特性，诸如亮度和色度信息。如果不是不可能通过传统广播或宽带网络传输，并且压缩技术用于经常传输图像，诸如从编码器传输到图像解码器，则从图像传送大量信息也是困难的。许多压缩方案符合MPEG(运动图像专家组)标准，该标准将以本专利技术的不同实施方案提供。
[0019]捕获图像并以二维形式呈现该图像，诸如图1中100处提供的图像。提供真实3D图像或渲染是具有挑战性的，该渲染提供二维(2D)图像的3D感觉。最近使用的一种技术利用如前所述的体积视频捕获，特别是使用点云技术的体积视频捕获。点云提供数据点的集合。每个点在空间中具有一组X、Y和Z坐标，并且该集合的点一起表示3D形状或对象。当使用压缩方案时，点云压缩(PCC)包括描述与附加信息诸如距离、颜色和其他特性和属性相关联的三维点的巨大数据集。
[0020]在将讨论的一些实施方案中，使用PCC标准和MPEG标准两者。对点云表示的MPEG PCC要求需要每3D位置的视点相关的属性。根据观看者角度来观看例如在V
‑
PCC(FDIS ISO/IEC 23090
‑
5，MPEG
‑
I的第5部分)中指定的补片，或者在某种程度上观看点云的点。然而，根据不同角度观看场景中的被表示为点云的3D对象可以示出随视角变化的不同属性值(例如，颜色或纹理)。这是由于构成对象的材料的性质引起的。例如，光在表面上的反射(各向同性、非各向同性等)可以改变渲染图像的方式。由于对象的表面的材料反射取决于入射光波长，因此光的性质通常影响渲染。
[0021]现有技术不提供以下解决方案：对于在不同视点下的捕获材料或者甚至扫描材料，允许根据观看者角度来忠实地调制再现属性，因为在大多数情况下不记录相机设置和
用于捕获每个3D属性的角度，并且3D属性从某些角度变得不确定。
[0022]另外，当使用PCC标准和MPEG标准时，尽管存在拼接、体积SEI消息和视口SEI消息，但视点相关的属性不像预期的那样处理3D图形。另外，当在V
‑
PCC流中携带一些信息时，可以跨属性“计数”(在attribute_information(j)语法结构中的ai_attribute_count)存储由多角度采集系统(在CGI的情况下可以是虚拟的)捕获的相同类型的点属性，并且由引起一些问题的属性索引(vuh_attribute_index，指示在属性视频数据单元中携带的属性数据的索引)标识该点属性。例如，不本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理图像的方法，所述方法包括：从至少一个相机位置接收图像；确定与所述位置相关联的相机取向和至少一个图像属性；基于与所接收的图像的所述相机位置相关联的所述属性和所述相机取向来生成要渲染的图像的模型；所述模型能够在多个观看取向提供所述图像的视点，并且选择性地提供与所述观看取向相关联的适当属性。2.一种用于处理图像的设备，所述设备包括：处理器，所述处理器被配置为从至少一个相机位置接收图像；所述处理器被进一步配置为：确定与所述位置相关联的相机取向和至少一个图像属性；基于与所接收的图像的所述相机位置相关联的所述属性和所述相机取向来生成要渲染的图像的模型；所述模型能够在多个观看取向提供所述图像的视点渲染，并且选择性地提供与所述观看取向相关联的适当属性。3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中包括所述相机位置的所述相机属性被存储在储存库中。4.根据权利要求3所述的方法或根据权利要求3所述的设备，其中所述储存库为图谱。5.根据权利要求1
‑
4所述的方法或根据权利要求2
‑
4所述的设备，其中利用属性的选择性子集来构建所述模型。6.根据权利要求1或3
‑
4中任一项所述的方法或根据权利要求2
‑
4中任一项所述的设备，其中利用所有属性来构建所述模型，但是在所述渲染中仅显示所述属性中的一些属性。7.根据权利要求6所述的方法或根据权利要求6所述的设备，其中经选择的所述属性取决于由所述渲染显示的视角。8.根据权利要求1所述的方法或根据权利要求2所述的设备，其中所述相机取向为相机角度。9.根据权利要求1所述的方法或根据权利要求2所述的设备，其中所述相机取向为所述相机相...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：