一种装置包括接收器(201、203)，所述接收器接收表示来自第一和第二视点的场景的纹理图和网格。图像生成器(205)基于接收到的数据来确定针对第三视点的光强度图像。第一视图变换器(207)针对第一网格的顶点确定图像中的第一图像位置和深度值，而第二视图变换器(209)针对第二网格的顶点确定第二图像位置和深度值。第一着色器(211)基于第一图像位置和深度值来确定第一光强度值和第一深度值，并且第二着色器(213)根据第二图像位置来确定第二光强度值和第二深度值。组合器(215)将输出值生成为第一和第二光强度值的加权组合，其中光强度值的加权针对增加的深度值而增加。值的加权针对增加的深度值而增加。值的加权针对增加的深度值而增加。
【技术实现步骤摘要】
【国外来华专利技术】用于生成光强度图像的装置和方法
[0001]本专利技术涉及一种用于生成光强度图像的装置和方法，并且具体而言涉及基于来自多个不同视点的纹理图和网格来生成适于加速硬件处理的针对新视点的光强度图像。
技术介绍
[0002]基于三维场景的图形应用已经在许多应用中变得普遍，例如特别是计算机图形应用。为了支持快速三维图形处理，已经开发了许多标准和规范。这不仅提供了更快的设计和实现，因为它可以为许多标准操作(例如视点移位)提供标准化的功能和例程，而且还允许针对这些例程开发和优化专用硬件图形引擎。实际上，对于许多计算机，图形处理单元(GPU)现在通常至少与中央处理单元(CPU)一样强大和重要。
[0003]用于支持快速图形处理的标准的示例是OpenGL规范，其提供具有若干支持图形处理的功能的应用程序接口(API)。该规范通常用于提供硬件加速图形处理，其中，特定例程由GPU形式的专用加速硬件实现。
[0004]在大多数这样的图形规范中，场景的表示是通过具有相关联的三维网格的多个纹理图的组合来进行的。实际上，在许多情况下，一种特别有效的方法是通过多边形网格来表示图像对象，或者实际上整个场景，其中一组多边形通过它们的公共边或角(顶点)连接，其是由三维位置给出的。因此，组合的三维多边形网格提供了三维对象的有效模型，包括可能的对整幅图像的三维描述。多边形网格通常是由具有在3D空间中给出的公共角的三角形形成的三角形网格。
[0005]作为示例，立体相机可以从给定视点记录场景的图像。对于每个像素，可以执行视差估计以估计到由像素表示的对象的距离。这可以针对每个像素执行，从而提供针对每个像素的x,y,z的三维位置。然后可以将这些位置用作三角形(或其他元)网格的顶点，其中为每个2
×
2像素的组形成两个三角形。由于这可能导致大量三角形，所述过程可以包括将一些初始三角形组合成更大的三角形(或者在一些场景中更一般地组合成更大的多边形)。这将减少三角形的数量，但也将降低网格的空间分辨率。因此，它通常取决于深度变化并且主要在较平坦的区域中进行。
[0006]每个顶点还与纹理图的光强度值相关联。纹理图实质上为顶点的像素位置处的对象提供场景中的光/颜色强度。通常，光强度图像/纹理图与网格一起提供，每个顶点包含表示顶点的x,y,z位置的数据，识别纹理图中的链接的位置的u,v数据，即它指向在纹理图中捕获的x,y,z位置处的光强度。
[0007]在这样的表示中，多边形网格用于提供对象的三维几何形状的信息，而纹理通常作为单独的数据结构提供。具体地，纹理通常作为单独的二维图提供，其通过处理算法可以叠加在三维几何结构上。
[0008]三角形网格的使用特别适合于通过计算机图形算法进行处理和操纵，并且已经开发了许多有效的软件和硬件解决方案并且其可以在市场上获得。通过针对多个多边形共同处理各个顶点而不是分别处理每个多边形的算法在许多系统实现了显著的计算效率。例
如，对于典型的三角形网格，单个顶点通常是几个(通常是3
‑
8个)三角形的公共点。因此，对单个顶点的处理可以应用于相对大量的三角形，从而实质上减少了正在处理的图像或其他对象中的点的数量。
[0009]作为具体示例，许多当前的片上系统(SoC)包含GPU，其针对3D图形的处理进行了高度优化。例如，3D对象几何结构和3D对象纹理的处理在所谓的OpenGL渲染管道(或许多其他API，例如DirectX)中是使用两个很大程度上分离的路径完成的。3D源以顶点(通常为三角形)和纹理的形式呈现给GPU，SoC上的GPU的硬件就可以有效地处理3D图形。然后，OpenGL应用接口允许设置和控制虚拟透视相机，所述相机确定3D对象在2D屏幕上的投影方式。虽然OpenGL使用3D对象作为输入，但输出通常是适合于普通2D显示的2D图像。
[0010]然而，这种方法需要由多边形网格和相关的纹理信息提供三维信息。尽管这在一些应用中可能相对容易提供，例如基于完全由计算机生成的虚拟场景和环境的游戏，但是在其他实施例中可能不太容易。特别是，在基于捕获真实场景的应用中，需要将它们转换为纹理和网格表示。如前所述，这可以基于立体图像或基于场景的图像和深度表示。然而，尽管已知许多用于执行这种转换的方法，但这并不是简单的并且带来若干复杂的问题和挑战。
[0011]图形处理中的常见操作是视点变化，其中，针对与输入纹理图和网格的视点不同的视点来生成图像。图形API通常具有非常有效地执行这种视点转换的功能。然而，由于输入网格通常不是完美的，因此这样的视点变换可能导致移位的质量下降过于显著。此外，来自视点的场景的表示通常将包括多个被遮挡的元素，其中前景对象遮挡其后面的元素。这些元素可以从新的方向可见，即视点改变可以导致去遮挡(de
‑
occlusion)。然而，对于估计的深度，在这种情况下，输入纹理图和网格将不包括针对这些去遮挡部分的任何信息。因此，由于无法获得所需信息，因此无法对其进行最佳表示。
[0012]由于这些原因，视点变换通常基于对应于不同视图方向的多个纹理图和网格。实际上，为了合成新的(看不见的)视点，通常优选或甚至必须将来自不同视点的多个捕获的网格与相关联的相机图像(纹理)组合。组合来自不同视点的数据的主要原因是恢复在一个视图中隐藏(被遮挡)但在另一个视图中可见的对象。此问题通常称为视点插值。
[0013]然而，传统方法仍然倾向于次优。
[0014]例如，一种用于生成新的视点的方法是将源自不同视点的网格变换到单个全局坐标系，然后在新的相机平面上执行透视投影。这些步骤可以在标准图形硬件中完成。但是，这通常不能正确显示隐藏的表面。具体而言，当点在单个像素处组合时，图形硬件使用深度测试来选择的最前面的点。该方法用于解决自遮挡，其中，视点移位可导致图像对象相对于彼此移动，使得发生新的遮挡，即，在新的视点处，可能存在针对从两个在原始视点未被遮挡点的遮挡。但是，当应用于不同的图像时，这可能导致错误或劣化。实际上，深度通常是线性内插的，使得它延伸超出前景对象(像光晕效果)，最前面的点通常对应于由于紧邻前景对象而可能被遮挡的区域。
[0015]在C.L.Zitnick等人的"High
‑
quality video view interpolation using alayered representation".SIGGRAPH'04ACM SIGGRAPH 2004,第600
‑
608页中提供了用于基于深度图像的视图插值的技术的示例。为了实现高质量，所述技术使用由主层和边界层(围绕深度过渡)组成的两层表示。这些是使用alpha计算(alpha matting)(考虑透明度)构
建的，并且在渲染过程中两者都被翘曲(并与其他视图混合)。该方法的缺点是需要断开网格以生成双层表示。该过程需要选择深度图的阈值并在深度不连续处擦除相应网格的三角形。这是不期望的，因为使用阈值可能潜在地降低绘制中的时间稳定性。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种生成光强度图像的方法，所述方法包括：接收(301)表示来自第一视点的场景的第一纹理图和第一网格；接收(303)表示来自第二视点的所述场景的第二纹理图和第二网格；响应于所述第一纹理图、所述第一网格、所述第二纹理图和所述第二网格，确定(305)表示来自第三视点的所述场景的光强度图像，其中，确定(305)所述光强度图像包括：确定(401)针对所述第一网格的顶点的所述光强度图像中对应的第一图像位置和第一图像位置深度值；确定(403)针对所述第二网格的顶点的所述光强度图像中对应的第二图像位置和第二图像位置深度值；并且针对所述光强度图像中的多个位置中的每个第一位置：基于所述第一纹理图和所述第一图像位置来确定(501)第一光强度值，并且基于所述第一图像位置和所述第一图像位置深度值来确定第一深度值；基于所述第二纹理图和所述第二图像位置来确定(503)第二光强度值，并且基于所述第二图像位置和所述第二图像位置深度值来确定第二深度值；将针对所述光强度图像的在所述第一位置处的光强度值确定(505)为至少所述第一光强度值与所述第二光强度值的加权组合；所述第一光强度值相对于所述第二光强度值的加权针对增加的第一深度值而增加。2.根据权利要求1或2所述的方法，其中，所述加权取决于所述第一深度值与所述第二深度值之间的差值的符号。3.根据权利要求1所述的方法，其中，所述加权取决于所述第一深度值与所述第二深度值之间的差异量度的幅值。4.根据权利要求3所述的方法，其中，针对所述第一深度值和所述第二深度值中的最大深度值相对于所述第一深度值和所述第二深度值中的最小深度值的加权针对所述差异量度的增加的幅值而增加。5.根据任一前述权利要求所述的方法，其中，确定(405)针对所述光强度图像的所述光强度值包括将所述光强度值设置为所述第一光强度值和所述第二光强度值中的与最大深度值相对应的值。6.根据任一前述权利要求所述的方法，其中，确定(401)针对所述第一网格的顶点的所述光强度图像中对应的第一图像位置和第一图像位置深度值由顶点着色器执行。7.根据任一前述权利要求所述的方法，其中，确定所述第一光强度值的步骤由第一片段着色器执行。8.根据任一前述权利要求所述的方法，其中，确定针对所述光强度图像的所述光强度值的步骤由第二片段着色器执行。9.根据权利要求8所述的方法，其中，所述第二片段着色器被布置为：接收包括多分量值的第二着色器纹理图，所述多分量值包括至少一个光强度分量值和一个透明度分量值；并且通过响应于所述透明度分量值而组合来自多个纹理图的光强度分量值来生成输出光强度...
【专利技术属性】
技术研发人员：C，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。