用于多折射和反射界面的运动向量优化制造技术

公开了用于多折射和反射界面的运动向量优化。系统和方法涉及确定准确的运动向量，用于渲染例如图像对象表面至少部分半透明的噪声蒙特卡洛积分的情况。为了优化对“真实世界”位置的搜索，本发明专利技术将背景定义为通过多层折射界面可见的第一路径顶点。为了找到匹配的世界位置，背景被视为以混乱方式变形的单层，允许优化算法只执行一次。进一步提高了性能优于在前的线性梯度下降，本技术可以应用跨越函数和数值优化，例如牛顿二次目标或其他收敛函数，以经由向量角最小化来定位像素。然后，确定的运动向量可以用作包括图像去噪的服务的输入。运动向量可以用作包括图像去噪的服务的输入。运动向量可以用作包括图像去噪的服务的输入。

【技术实现步骤摘要】
用于多折射和反射界面的运动向量优化

技术介绍

[0001]图像和视频内容越来越多地以更高分辨率和在更高质量的显示器上生成和显示。渲染更高质量内容的方法通常是资源密集型的，特别是对于现代帧速率，这对于资源容量有限的设备来说可能是个问题。特别是，实时光线追踪越来越成为本领域的一个重点领域。随着对基于物理的渲染的推动，着色的随机采样(例如，使用路径跟踪)在实时渲染中变得很重要。
[0002]随着路径追踪在交互式帧速率下变得越来越普遍和可行，被设计用于处理光线追踪效果的当前降噪器的一些缺点开始浮出水面。路径追踪时，如果使用的每个像素的光线数量不足，或者路径追踪到主题场景的距离不够远，则会导致图像参差不齐，因为许多像素无法从其光线中找到任何光源。随着每像素样本的增加，图像质量变得越来越好。因此，路径追踪需要强大的计算能力。
[0003]时空降噪器最常用于对来自偶估地(随机地)渲染效果(如光线追踪阴影、反射、AO等)的信号进行降噪。实现令人满意的渲染质量的要求之一是良好的运动向量。并且路径跟踪支持长镜面反射链，具有许多接口，对于图形/游戏引擎没有很好的解决方案来生成反射和折射运动向量，特别是在涉及多个接口和/或半透明对象的情况下。
附图说明
[0004]根据本公开的各个实施例将参照附图进行描述，在附图中：
[0005]图1A
‑
1D示出了根据各种实施例的用于生成折射运动向量的示例性设置；
[0006]图2A示出了在各种实施例中使用的图像的示例像素布局；
[0007]图2B示出了根据各种实施例的用于生成或提供图像内容的代表性系统的组件；
[0008]图3示出了根据各种实施例的用于生成折射运动向量的代表性处理流程；
[0009]图4示出了根据至少一个实施例的用于处理图像内容的设备的组件；
[0010]图5示出了如在各种实施例中使用的计算机系统；
[0011]图6示出了在各种实施例中使用的图形处理器的至少部分；以及
[0012]图7示出了在各种实施例中使用的图形处理器的至少部分。
具体实施方式
[0013]根据各种说明性实施例的方法为涉及半透明对象的图像提供准确运动向量的确定。应用程序设置包括路径追踪图像去噪和/或时间抗锯齿(“TAA”)，其中需要搜索和优化来自过去图像帧和当前帧的世界位置和其他数据，以消除当前帧中的噪声或锯齿状对象边缘。各种应用程序可以利用图像文件，例如在渲染、编码和/或传输(仅作为示例实施例)图片、视频帧等时使用的图像文件。为避免疑问，虽然术语“图像”和“帧”频繁在本文使用，诸如为了方便起见，但这些术语(和相关术语)是非限制性的并且实际上包括任何种类的静止或运动图像。在每个这样的图像中，可能存在表示的各种对象，例如可以包括可以是静态或动态的前景和背景对象。任何这些对象的位置、大小和方向都可能发生变化。
[0014]更具体地，各种实施例可以被配置为确定准确的运动向量，用于渲染诸如噪声(noisy)蒙特卡罗积分的情况，其中图像对象表面是半透明的，从而导致出现复杂的光反射和折射。为了优化图像渲染的路径追踪、光线追踪或其他形式的光传输模拟技术，本系统和方法将背景定义为通过多层折射界面可见的第一路径顶点。为了找到匹配的世界位置，背景被视为在相机运动期间以混乱方式变形的单层。这样，在一些实施例中可以最小化作为成本函数的角度的优化路径追踪算法仅被执行一次，而不是每个折射界面执行一次。进一步提高了性能优于在前的(prior)线性梯度下降，本系统和方法可以应用跨越函数和数值优化，例如牛顿二次目标或其他收敛函数，来定位渲染所需的像素。特别是，二次收敛不是查看世界位置并试图在先前(previous)帧中找到最接近当前帧中感兴趣像素的像素，而是检查从前景到世界位置的向量的角度并最小化瞄准的那个角度。然后，确定的运动向量可以用作包括图像去噪的服务的输入。
[0015]路径追踪是渲染三维(3
‑
D)场景的图像的计算机图形蒙特卡罗方法(对相机视图中的每个像素的光束的重复随机采样)，使得复杂的全局照明看起来很逼真。越来越多的现代渲染技术正朝着蒙特卡洛方向发展。这些技术不是评估已知的已知光点源，而是解决场景中的一般光传输。对于简单的光线追踪，每个像素发出一条光线；但在路径追踪中，不是发出一条光线，而是为每个要渲染的像素发出数十、数百甚至数千条光线。当使用路径追踪进行渲染时，光线每次反弹只产生一条光线；每次反弹时，光线不遵循设定的线，而是沿随机方向射出。
[0016]根据一个或更多个实施例，在执行路径追踪技术期间，当在被追踪的路径和场景中描绘的表面之间检测到碰撞或相交时，路径不会被追踪到每个光源；相反，该技术将光线从表面反弹并继续反弹，直到光源被击中或反弹限制耗尽。镜面或折射界面是空气与诸如玻璃的表面之间的界面。在场景中与对象的每个折射交叉点或“界面”处，都会生成指向随机方向的新光束。经过一定次数的反弹后，每束光束最终都会离开场景或被吸收。然后计算一直传输到目标像素的光量，包括沿途从表面收集的任何颜色信息。当光束在给定场景周围完成反弹时，将基于光束反弹的对象计算样本值。样本值被添加到感兴趣的源像素的平均值。
[0017]然后，路径追踪算法对所有光线进行随机采样以创建最终图像，整合到达对象表面上的单个点的所有照度。主题图像帧中每个像素的颜色是为该像素计算的所有样本的平均值。具体来说，一种或更多种路径追踪算法可以对从追踪到帧中的所有路径计算的值进行平均，以获得最终的像素颜色值，从而对各种不同类型的照明进行采样。
[0018]如本领域技术人员所知，可以将渲染图像编码为Referentiemodel Gemeentelijke Basisgegevens Zaken(“RGBZ”)光线树。这样的努力可以导致生成具有三个节点的RGBZ光线树：漫反射、反射和折射，并将它们各自的颜色与相对于父节点的深度一起存储。漫反射节点深度是传统的线性深度缓冲区，另外两个包含从主表面到反射或折射点的距离。对于每个光线树节点(漫反射、反射和折射)，可以从深度及其屏幕导数重建世界位置和法线。
[0019]然而，路径追踪中的随机采样会引起噪声出现在渲染图像中。可以通过生成更多样本的算法来去除噪声，即由单个光束产生的颜色值。换句话说，问题在于蒙特卡洛积分是有噪声的，因为它是一个采样过程，并且样本包含噪声(即随机的、不需要的亮度或颜色变
化)。这种采样需要以某种方式去噪。随着多个帧的累积，问题变得更加复杂，噪声样本大幅增加。
[0020]一种可用的去噪方法是时间积分或时间累积。时间累积需要使用一个或更多个先前帧的输入来确定当前帧中是否存在任何需要校正的伪影。但是，要做到这一点，当相机或对象在给定场景中移动时，需要找到它在先前帧中存在的像素。这是运动向量辅助的地方，为先前帧中的像素提供屏幕空间中的方向，从而允许继续进行集成。时间累积需要与帧的每个颜色样本相关联的二维(2
‑
D)运动向量。反过来，TAA将来自过去帧和当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收第一图像帧和第二图像帧的图像数据；至少部分地基于所述图像数据定位所述第一图像帧和所述第二图像帧之间共同的至少一个表面点；至少部分地基于至少一个共同表面点和与通过使用所述第一图像帧描绘的一层或更多层的折射界面可见的至少一个光束路径相对应的一个或更多个顶点，确定与使用所述第一图像帧描绘的背景相对应的背景区域；确定所述背景区域中的感兴趣像素；以及至少部分地基于跨越函数或优化函数中的至少一个，生成表示所述第一图像帧和所述第二图像帧之间的所述感兴趣像素的偏移的至少一个运动向量。2.如权利要求1所述的计算机实现的方法，其中所述第二图像帧是视频序列中的在前图像或先前图像中的至少一个，所述视频序列也包括第一图像。3.如权利要求1所述的计算机实现的方法，其中所述生成是至少部分地基于包括牛顿二次公式的优化函数。4.如权利要求1所述的计算机实现的方法，其中所述至少一个运动向量的所述生成被迭代以生成图像的一组运动向量。5.如权利要求1所述的计算机实现的方法，还包括：应用所述至少一个运动向量去噪路径追踪图像。6.如权利要求5所述的计算机实现的方法，其中所述路径追踪图像至少部分地使用蒙特卡罗过程来渲染。7.如权利要求1所述的计算机实现的方法，其中所述第一图像帧和所述第二图像帧包括动态图像序列，并且其中所述动态图像序列的历史渲染信息被钳位在至少一个缓冲区中。8.如权利要求7所述的计算机实现的方法，还包括：获得关于在所述第一图像帧或所述第二图像帧的至少一个中的初始运动向量相对于主表面的移动的输入。9.如权利要求1所述的计算机实现的方法，其中所述背景区域的所述确定进一步至少部分地基于所述第一图像帧或所述第二图像帧的一个或更多个中的一个或更多个对象位置。10.如权利要求1所述的计算机实现的方法，其中所述至少一个运动向量的所述生成是至少部分地基于从前景点到所述感兴趣像素的所述至少一个运动向量的角度的最小化。11.如权利要求1所述的计算机实现的方法，还包括：使所述至少一个运动向量使用缓冲区以被存储，其中所述至少一个运动向量被用于生成随后的图像。12.一种系统，包括：至少一个处理器；以及存储器设备，其包括指令，在所述指令由所述至少一个处理器执行时，使所述系统：接收第一图像帧和第二图像帧的图像数据；至少部分地基于所述图像数据定位所述第一图像帧和所述第二图像帧中的至少一个
共同表面点；至少部分地基于所述至少一个共同表面点和针对通过所述第一图像帧中描绘的一层或更多层的一个或更多个折射界面可见的至少一个光束路径的一个或更多个顶点，确定与所述第一图像帧中的背景相对应的背景区域；确定所述背景区域中的感兴趣像素；至少部分地基于跨越函数或优化函数中的至少一个，生成表示所述第一图像帧和所述第二图像帧之...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：辉达公司，
类型：发明
国别省市：