光线追踪多帧降噪方法、电子设备、芯片及可读存储介质技术

本申请实施例提供了一种光线追踪多帧降噪方法，涉及终端领域。通过将前一降噪图像帧对齐到当前噪声帧，并将因对齐处理而未采样到图像信息的边缘区域填充为当前噪声帧的内容，使用通道串联的方式将前一降噪图像帧与当前噪声帧合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果。本申请实施例还提供了一种电子设备、芯片及计算机可读存储介质。本申请基于迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，实现利用一次网络推理即同时实现降噪与多帧融合。同时实现降噪与多帧融合。同时实现降噪与多帧融合。

【技术实现步骤摘要】
光线追踪多帧降噪方法、电子设备、芯片及可读存储介质


[0001]本申请涉及终端
，尤其涉及一种光线追踪多帧降噪方法、电子设备、芯片及计算机可读存储介质。

技术介绍

[0002]光栅化和光线追踪(Ray Tracing，RT)是目前主流的图形渲染技术。光栅化技术发展比较成熟，与硬件的结合较为完善，是目前各种图形显卡主要支持的渲染技术，其优点是渲染速度快，适合诸如游戏等对实时性要求高的场景，缺点是渲染效果不够真实。光线追踪技术基于一定的物理原理，如光线的传播、反射、折射、能量守恒等对光线进行求解和渲染，其优点是渲染效果可以做到真实，甚至肉眼难辨的程度，缺点是渲染所需的计算量非常大。
[0003]目前光线追踪的主流实现方法由路径追踪(Path Tracing，PT)加蒙特卡洛采样来实现。因此业界常常将该实现方法等同于光线追踪。路径追踪是指将屏幕空间中的单个像素看作是一个区域，并在该区域中随机选择位置发射光线，然后基于一定的物理原理追踪该光线，最终获得颜色信息并将其赋给对应的像素。在该种方式中具有一定随机性的采样过程称为蒙特卡洛采样，所有像素发射一次光线称为一次像素采样(Sample Per Pixel，SPP)。通常对全图进行一次蒙特卡洛采样(1SPP)不能保证各个像素获得准确的颜色信息，因此1SPP的渲染结果通常充满噪音。为了得到准确的颜色信息，需要对随机采样过程进行大量的重复，并对所有的采样结果进行叠加。然而，完全依靠提高SPP数来获得高质量的渲染结果需要很大的算力。比如使用显卡Nvidia RTX 2080Ti以1080P的分辨率渲染一个具有百万面片的三维模型，需耗费数十分钟才可得到比较好的渲染结果，与实时性显示之间有非常大的差距。

技术实现思路

[0004]有鉴于此，有必要提供一种光线追踪多帧降噪方法，其可克服上述问题，可以对低采样率的渲染结果进行降噪及多帧融合，提升图像显示质量。
[0005]本申请实施例第一方面公开了一种光线追踪多帧降噪方法，包括：响应于视频片段的降噪需求，将第一降噪图像帧对齐至视频片段的第二图像帧；确定经过对齐处理的第一降噪图像帧的边缘缺失区域；将第二图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到对齐图像帧；将对齐图像帧与第二图像帧进行通道串联，并输入至降噪网络，以对第二图像帧进行降噪处理得到第二降噪图像帧；其中，第一降噪图像帧为利用降噪网络对视频片段的第一图像帧进行降噪处理得到的图像帧，第一图像帧为第二图像帧的上N帧图像，N为正整数。
[0006]通过采用该技术方案，采用迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果，利用一次网络推理即同时实现降噪与多帧融合。
[0007]在一种可能的实现方式中，视频片段由光线追踪管线对三维模型进行渲染生成，
光线追踪管线对三维模型进行渲染时还生成三维模型的辅助信息，所述通道串联包括下列其中一者：对所述对齐图像帧与所述第二图像帧执行通道串联；对所述对齐图像帧、所述第二图像帧及所述三维模型的辅助信息执行通道串联；其中，辅助信息包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。
[0008]通过采用该技术方案，可以实现对于渲染时还包含有三维模型的辅助信息的视频片段，利用一次网络推理同样可以实现降噪与多帧融合。
[0009]在一种可能的实现方式中，光线追踪多帧降噪方法还包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，第一类型的样本图像帧的SPP小于第二类型的样本图像帧的SPP；将样本视频片段的第一样本降噪图像帧对齐至样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧；将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练，其中第一样本降噪图像帧为利用预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，第一类型的第一样本图像帧为第一类型的第二样本图像帧的上M帧图像，M为正整数；计算预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用损失函数进行梯度反传更新预设深度学习网络的模型参数，直至完成对预设深度学习网络的训练得到降噪网络。
[0010]通过采用该技术方案，采用迭代多帧作为深度学习网络的训练输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入深度学习网络进行降噪处理训练，得到当前噪声帧的降噪结果，再基于该降噪结果及其对应的高SPP的标签图像共同计算损失函数，并通过梯度反传更新网络的模型参数，以实现训练得到降噪网络。
[0011]在一种可能的实现方式中，样本视频片段中的每一图像帧均对应有多个第一类型的样本图像帧及一个第二类型的样本图像帧，多个第一类型的样本图像帧的SPP互不相同，光线追踪多帧降噪方法还包括：从多个第一类型的样本图像帧中随机选取一样本图像帧，并与第二类型的样本图像帧组合成样本数据集；其中，样本数据集中的第一类型的样本图像帧作为预设深度学习网络的训练输入数据，样本数据集中的第二类型的样本图像帧作为预设深度学习网络的标签数据。
[0012]通过采用该技术方案，随机从多个第一类型的样本图像帧中随机选取一样本图像帧，并与第二类型的样本图像帧组合成样本数据集，可以使得训练出的模型将会对一个比较宽泛的采样数范围具备降噪能力。
[0013]在一种可能的实现方式中，多个样本视频片段由对三维样本模型进行渲染产生，对三维样本模型进行渲染时还生成三维样本模型的辅助信息，将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，包括：将样本对齐图像帧、三维样本模型的辅助信息及第一类型的第二样本图像帧进行通道串联。
[0014]通过采用该技术方案，可以实现对于渲染时还包含有三维模型的辅助信息的样本视频片段进行训练，使得训练得到的降噪网络可以对包含有辅助信息的待处理图像进行降
噪与多帧融合。
[0015]在一种可能的实现方式中，光线追踪多帧降噪方法还包括：对样本视频片段中每一图像帧进行预处理；其中，预处理包括将图像帧中的异常像素值替换为预设像素值，和/或去除图像帧中的贴图。
[0016]通过采用该技术方案，通过对渲染得到的图像帧进行预处理，避免图像帧中包含的异常像素值导致降噪网络训练失败。
[0017]在一种可能的实现方式中，对样本视频片段中每一图像帧进行预处理，包括：对图像帧中的像素值为无穷大的像素进行置零替换；或对图像帧中的像素值为无穷大的像素进行最近邻插值替换。
[0018]在一种可能的实现方式中，将样本视频片段的第一样本降噪图像帧对齐至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光线追踪多帧降噪方法，其特征在于，包括：响应于视频片段的降噪需求，将第一降噪图像帧对齐至所述视频片段的第二图像帧；确定经过对齐处理的第一降噪图像帧的边缘缺失区域；将所述第二图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到对齐图像帧；将所述对齐图像帧与所述第二图像帧进行通道串联，并输入至降噪网络，以对所述第二图像帧进行降噪处理得到第二降噪图像帧；其中，所述第一降噪图像帧为利用所述降噪网络对所述视频片段的第一图像帧进行降噪处理得到的图像帧，所述第一图像帧为所述第二图像帧的上N帧图像，N为正整数。2.如权利要求1所述的光线追踪多帧降噪方法，其特征在于，所述视频片段由光线追踪管线对三维模型进行渲染生成，所述光线追踪管线对所述三维模型进行渲染时还生成所述三维模型的辅助信息，所述通道串联包括下列其中一者：对所述对齐图像帧与所述第二图像帧执行通道串联；对所述对齐图像帧、所述第二图像帧及所述三维模型的辅助信息执行通道串联；其中，所述辅助信息包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。3.如权利要求1或2所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中所述样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，所述第一类型的样本图像帧的每像素采样数(Sample Per Pixel，SPP)小于所述第二类型的样本图像帧的SPP；将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧；将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，其中所述第一样本降噪图像帧为利用所述预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，所述第一类型的第一样本图像帧为所述第一类型的第二样本图像帧的上M帧图像，M为正整数；计算所述预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用所述损失函数进行梯度反传更新所述预设深度学习网络的模型参数，直至完成对所述预设深度学习网络的训练得到所述降噪网络。4.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述样本视频片段中的每一图像帧均对应有多个第一类型的样本图像帧及一个第二类型的样本图像帧，所述多个第一类型的样本图像帧的SPP互不相同，所述方法还包括：从所述多个第一类型的样本图像帧中随机选取一样本图像帧，并与所述第二类型的样
本图像帧组合成样本数据集；其中，所述样本数据集中的第一类型的样本图像帧作为所述预设深度学习网络的训练输入数据，所述样本数据集中的第二类型的样本图像帧作为所述预设深度学习网络的标签数据。5.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述多个样本视频片段由对三维样本模型进行渲染得到，所述对三维样本模型进行渲染时还生成所述三维样本模型的辅助信息，所述将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，包括：将所述样本对齐图像帧、所述三维样本模型的辅助信息及所述第一类型的第二样本图像帧进行通道串联。6.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：对所述样本视频片段中每一图像帧进行预处理；其中，所述预处理包括将所述图像帧中的异常像素值替换为预设像素值，和/或去除所述图像帧中的贴图。7.如权利要求6所述的光线追踪多帧降噪方法，其特征在于，所述对所述样本视频片段中每一图像帧进行预处理，包括：对所述图像帧中的像素值为无穷大的像素进行置零替换；或对所述图像帧中的像素值为无穷大的像素进行最近邻插值替换。8.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧，包括：利用坐标变换确定所述样本视频片段的第一样本降噪图像帧中每一像素在所述样本视频片段的第一类型的第二样本图像帧的位置信息；利用预设图像插值算法对所述样本视频片段的第一样本降噪图像帧中发生位置变化的像素进行插值处理。9.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，包括：缓存每一所述样本视频片段的前一样本降噪图像帧；随机从所述多个样本视频片段中选取一样本视频...

【专利技术属性】
技术研发人员：拜阳，邓瑞喆，孙永杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：