基于重要度特征图共享的实时蒙特卡洛路径追踪降噪方法、装置和计算机设备制造方法及图纸

本发明专利技术公开一种基于重要度特征图共享的蒙特卡洛路径追踪降噪方法、装置和计算设备，包括：对蒙特卡洛路径追踪生成的实时绘制帧进行初步滤波预处理；将每个预处理后绘制帧对应的颜色特征与不包含噪声的场景几何数据对应的辅助特征拼接作为输入特征；利用深度神经网络预测得到输入特征的多个重要度特征图，针对每个重要度特征图，通过跨像素重要度值共享的方式来构建每个像素上具有特定窗口大小的多通道滤波器，将基于多个重要度特征图构建的不同窗口大小的多通道滤波器用于像素的多次滤波；将多次滤波处理结果融合后再叠加基础材质颜色，得到最终降噪处理结果。利用深度学习网络预测的重要度值构建滤波器，来对绘制帧进行降噪，效率高，开销低。开销低。开销低。

【技术实现步骤摘要】
基于重要度特征图共享的实时蒙特卡洛路径追踪降噪方法、装置和计算机设备


[0001]本专利技术属于实时绘制领域，尤其涉及一种基于重要度特征图共享的蒙特卡洛路径追踪降噪方法、装置和计算机设备。

技术介绍

[0002]蒙特卡洛路径追踪是一项绘制照片级真实感图片的技术，它的特点是只使用一套统一的绘制流水线来产生软阴影、全局光照等各种复杂的基于物理的视觉效果，这个不需要对某个视觉效果进行额外大量定制化的绘制流水线，对离线绘制应用和实时绘制应用都是很有吸引力的。
[0003]蒙特卡洛路径追踪技术的核心步骤之一在于计算一项蒙特卡洛积分，而蒙特卡洛积分是需要大量样本才能够收敛的，如果使用少量样本则会导致收敛较差，即绘制的图片上出现明显噪声，因此想要得到肉眼难以分辨出噪声的合成图片则需要每像素计算大量的样本。这个过程是非常花费时间的，一幅图片有可能需要多个小时才能绘制完成，这显然是不符合实时绘制的时间要求的。
[0004]一种能够在实际应用中使用蒙特卡洛光线追踪技术的方案是先使用少量样本产生带有噪声的二维图片，然后在二维图片空间执行降噪算法来降低图片中包含的噪声，以此来逼近大量样本下蒙特卡洛积分的结果。这种方法叫做蒙特卡洛降噪方法，因为其较高的应用价值而很早地便成为了工业界和学术界研究的热点问题，并产生出大量基于滤波器、回归模型、神经网络等技术背景的降噪方法，但是这些方法大部分都是基于离线绘制应用的。
[0005]实时绘制应用相比于离线绘制应用具有更加严格的时间限制，一般需要在每秒钟绘制六十张图片。在该时间限制下，常用的硬件设备上只允许每个像素计算一个蒙特卡洛样本，因此绘制的结果包含有更严重的噪声。也就是说相比于离线降噪方法，实时降噪方法面临更具挑战性的任务，即在更短的时间里降低更严重的噪声。现有的传统实时降噪方法自适应能力较差，导致重建的图片质量较低。
[0006]Meng等人虽然也提出了一种神经网络结合三维双边网格的实时降噪方法，但是三维双边网格的相关操作开销较大，导致其整体降噪方法能力不足，重建出的图片质量欠佳。
[0007]因此，迫切地需要一种能够实时蒙特卡洛路径追踪降噪方法，以满足实时绘制应用。

技术实现思路

[0008]基于上述，本专利技术的目的是提供一种基于重要度特征图共享的蒙特卡洛路径追踪降噪方法、装置和计算机设备，通过共享利用神经网络预测的重要度值构建多通道滤波器权重，来对蒙特卡洛路径追踪绘制帧进行滤波，实现降噪。
[0009]第一方面，实施例提供的一种基于重要度特征图共享的蒙特卡洛路径追踪降噪方
法，包括以下步骤：
[0010]对蒙特卡洛路径追踪生成的实时绘制帧进行初步滤波，实现对绘制帧的预处理；
[0011]将每个预处理后绘制帧对应的颜色特征与不包含噪声的场景几何数据对应的辅助特征拼接作为输入特征；
[0012]利用深度神经网络预测得到输入特征的多个重要度特征图，针对每个重要度特征图，通过跨像素重要度值共享的方式来构建每个像素上具有特定窗口大小的多通道滤波器，将基于多个重要度特征图构建的不同窗口大小的多通道滤波器用于实时绘制帧的多次滤波处理；
[0013]将多次滤波处理结果融合后再叠加基础材质颜色，得到最终降噪处理结果。
[0014]第二方面，实施例提供的一种基于重要度特征图共享的蒙特卡洛路径追踪降噪装置，包括：
[0015]预处理模块，用于对蒙特卡洛路径追踪绘制帧进行初步滤波，实现对绘制帧的预处理；
[0016]拼接模块，用于将每个预处理后绘制帧对应的颜色特征与不包含噪声的场景几何数据对应的辅助特征拼接作为输入特征；
[0017]预测模块，用于利用深度神经网络预测得到输入特征的多个重要度特征图；
[0018]滤波模块，用于针对每个重要度特征图，通过跨像素重要度值共享的方式来构建每个像素上具有特定窗口大小的多通道滤波器，将基于多个重要度特征图构建的不同窗口大小的多通道滤波器用于实时绘制帧的多次滤波处理；
[0019]融合模块，用于将多次滤波处理结果融合后再叠加基础材质颜色，得到最终降噪处理结果。
[0020]第三方面，实施例提供的一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法。
[0021]第四方面，实施例提供的一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现第一方面所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法的步骤。
[0022]上述实施例提供的技术方案，具有的有益效果至少包括：
[0023]利用深度神经网络的超强表达能力来预测每个像素在降噪过程中的重要度值，并通过共享重要度值来构建多通道滤波器权重，这种对滤波器权重的中间高效紧凑表示能够减少神经网络的吞吐量、重建过程中的显存使用以及带宽；同时，整个图像去噪重建过程基于多通道滤波器进行，执行的操作简单，并行度高；再者，可以方便部署集成到现有的路径追踪渲染器中，简洁高效，能够高效率、低吞吐量、低显存开销重建出质量更高的图像。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0025]图1是一实施例提供的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法的流程图；
[0026]图2是一实施例提供的像素重要度预测和基于滤波器滤波的图像重建流程图；
[0027]图3是一实施例提供的滤波器的构建流程图；
[0028]图4是一实施例提供的基于重要度特征图共享的蒙特卡洛路径追踪降噪装置的结构示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。
[0030]经过蒙特卡洛路径追踪技术得到是实时绘制帧，由于样本数量不足存在于一定噪声，需要进行降噪处理，才能得到高质量的绘制图像。本专利技术为实现对蒙特卡洛路径追踪生成的实时绘制帧进行高效率、低能耗的实时降噪处理，提供了基于重要度特征图共享的蒙特卡洛路径追踪降噪方法和装置。
[0031]图1是一实施例提供的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法的流程图。图2是一实施例提供的像素重要度预测和基于滤波器滤波的图像重建流程图。如图1和图2所示，实施例提供的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，包括以下步骤：
[0032]步骤1，对蒙特卡洛路径追踪生成的实时绘制帧进行初步滤波，实现对绘制帧的预处理。
[0033]实施例中，采用对噪声的实时绘制帧的时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，其特征在于，包括以下步骤：对蒙特卡洛路径追踪生成的实时绘制帧进行初步滤波，实现对绘制帧的预处理；将每个预处理后绘制帧对应的颜色特征与不包含噪声的场景几何数据对应的辅助特征拼接作为输入特征；利用深度神经网络预测得到输入特征的多个重要度特征图，针对每个重要度特征图，通过跨像素重要度值共享的方式来构建每个像素上具有特定窗口大小的多通道滤波器，将基于多个重要度特征图构建的不同窗口大小的多通道滤波器用于实时绘制帧的多次滤波处理；将多次滤波处理结果融合后再叠加基础材质颜色，得到最终降噪处理结果。2.如权利要求1所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，其特征在于，所述方法还包括：对蒙特卡洛路径追踪生成的实时绘制帧进行初步滤波后，对初步滤波结果进行由高动态表示范围到低动态表示范围的颜色数值空间转换，以实现对绘制帧的预处理。3.如权利要求1或2所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，其特征在于，所述对蒙特卡洛路径追踪绘制帧进行初步滤波包括：对当前绘制帧的相邻历史绘制帧，采用相机参数和无噪声的场景几何数据来进行重投影，以使相邻历史绘制帧累计到当前绘制帧，以实现对当前绘制帧的初步滤波。4.如权利要求1或2所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，其特征在于，所述不包含噪声的场景几何数据为对蒙特卡洛路径追踪中主光线和场景第一次求交计算得到的结果，包括摄像机视角深度值、物体表面法向量、物体基础材质颜色。5.如权利要求1或2所述的基于重要度特征图共享的蒙特卡洛路径追踪降噪方法，其特征在于，所述针对每个重要度特征图，通过跨像素重要度值共享的方式来构建每个像素上具有特定窗口大小的多通道滤波器，包括：采用滑动窗口的方式进行图像展开操作，将每个单通道重要度特征图展开为多通道重要度特征图；将多通道重要度特征图中的每个位置的重要度...

【专利技术属性】
技术研发人员：王锐，鲍虎军，霍宇驰，范航明，
申请(专利权)人：光线云杭州科技有限公司，
类型：发明
国别省市：