图像渲染方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像渲染方法、装置、设备及存储介质，属于人工智能领域。该方法包括：获取采用神经点云表示的三维模型；对于图像中的第一像素，从相机光心向成像平面上的第一像素发出第一射线，第一射线穿过三维模型，第一像素是图像上的任意一个像素；采样第一射线上的多个着色点；对于多个着色点中的任意一个着色点，获取着色点周围的多个神经点；将多个神经点的多个渲染特征通过线性函数进行集成，得到着色点的渲染特征；根据着色点的渲染特征，得到着色点的渲染属性；根据多个着色点的渲染属性，得到第一像素的颜色；根据多个第一像素的颜色，得到图像的渲染结果。相比于相关技术，线性集成加快了图像的渲染速度。线性集成加快了图像的渲染速度。线性集成加快了图像的渲染速度。

【技术实现步骤摘要】
图像渲染方法、装置、设备及存储介质


[0001]本申请涉及人工智能领域，特别涉及一种图像渲染方法、装置、设备及存储介质。

技术介绍

[0002]为实现对三维模型进行图像渲染，需先对模型进行建模。
[0003]相关技术提供了对采用神经点云表示的三维模型进行体渲染的方案。具体的，将沿观察三维模型的方向发出一条射线，在射线上采样多个着色点。对于一个着色点，将获取该着色点周围的多个神经点，将多个神经点通过四层MLP(Multi Layer Perceptron，多层感知机)进行逐神经点处理后再进行集成，得到该着色点的密度和颜色。根据多个着色点的密度和颜色进行体渲染积分，得到图像上的像素的颜色。
[0004]然而，上述相关技术提供的对神经点云进行体渲染的计算过程十分复杂，三维模型的渲染速度较慢。

技术实现思路

[0005]本申请提供了一种图像渲染方法、装置、设备及存储介质，加速了图像渲染。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种图像渲染方法，所述方法包括：
[0007]获取采用神经点云表示的三维模型，神经点云中的任意一个神经点是三维模型中的三维点；
[0008]对于图像中的第一像素，从相机光心向成像平面上的第一像素发出第一射线，第一射线穿过三维模型，第一像素是图像上的任意一个像素；
[0009]采样第一射线上的多个着色点；
[0010]对于多个着色点中的任意一个着色点，获取着色点周围的多个神经点；将多个神经点的多个渲染特征通过线性函数进行集成，得到着色点的渲染特征，多个渲染特征与多个神经点一一对应；根据着色点的渲染特征，得到着色点的渲染属性；
[0011]根据多个着色点的渲染属性，得到第一像素的颜色；根据多个第一像素的颜色，得到图像的渲染结果。
[0012]根据本申请的一个方面，提供了一种图像渲染装置，所述装置包括：
[0013]获取模块，用于获取采用神经点云表示的三维模型，神经点云中的任意一个神经点是三维模型中的三维点；
[0014]计算模块，用于对于图像中的第一像素，从相机光心向成像平面上的第一像素发出第一射线，第一射线穿过三维模型，第一像素是图像上的任意一个像素；
[0015]采样模块，用于采样第一射线上的多个着色点；
[0016]计算模块，还用于对于多个着色点中的任意一个着色点，获取着色点周围的多个神经点；将多个神经点的多个渲染特征通过线性函数进行集成，得到着色点的渲染特征，多个渲染特征与多个神经点一一对应；根据着色点的渲染特征，得到着色点的渲染属性；
[0017]计算模块，还用于根据多个着色点的渲染属性，得到第一像素的颜色；根据多个第一像素的颜色，得到图像的渲染结果。
[0018]根据本申请的一个方面，提供了一种计算机设备，计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的图像渲染方法。
[0019]根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上所述的图像渲染方法。
[0020]根据本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像渲染方法。
[0021]本申请实施例提供的技术方案带来的有益效果至少包括：
[0022]本申请通过对多个神经点的渲染特征通过线性函数进行集成，得到着色点的渲染特征；相比于相关技术通过四层的感知机进行集成，线性集成的方式替代了四层感知机，降低了模型的复杂度，线性集成仅需要少量的计算步骤，进而加速了图像渲染。并且，降低模型的复杂度还有利于提升模型的泛化性能，对于新的图像具有更好的表现效果，比如，对于人脸图像的新的表情具有更好的表现效果。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本申请一个示例性实施例提供的图像渲染方法的原理示意图；
[0025]图2是本申请一个示例性实施例提供的着色点的采样方法的示意图；
[0026]图3是本申请一个示例性实施例提供的着色点颜色和密度的生成方法的示意图；
[0027]图4是本申请一个示例性实施例提供的像素颜色的生成方法的示意图；
[0028]图5是本申请一个示例性实施例提供的图像渲染方法的流程图；
[0029]图6是本申请一个示例性实施例提供的着色点的采样方法的流程图；
[0030]图7是本申请一个示例性实施例提供的体渲染积分的方法流程图；
[0031]图8是本申请一个示例性实施例提供的神经点云的隐式特征和位置特征的生成方法的示意图；
[0032]图9是本申请一个示例性实施例提供的神经点云的隐式特征和位置特征的生成方法的流程图；
[0033]图10是本申请一个示例性实施例提供的通过本申请和相关技术提供的方法渲染得到的图像的效果对比图；
[0034]图11是本申请一个示例性实施例提供的通过本申请和相关技术提供的方法渲染得到的图像的效果对比图；
[0035]图12是本申请一个示例性实施例提供的图像渲染装置的结构框图；
[0036]图13是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
[0037]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0038]首先，对本申请实施例中涉及的名词进行简单介绍：
[0039]人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0040]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0041]图1示出了本申请一个示例性实施例提供的图像渲染方法的原理示意图。图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染方法，其特征在于，所述方法包括：获取采用神经点云表示的三维模型，所述神经点云中的任意一个神经点是所述三维模型中的三维点；对于所述图像中的第一像素，从相机光心向成像平面上的所述第一像素发出第一射线，所述第一射线穿过所述三维模型，所述第一像素是所述图像上的任意一个像素；采样所述第一射线上的多个着色点；对于所述多个着色点中的任意一个着色点，获取所述着色点周围的多个神经点；将所述多个神经点的多个渲染特征通过线性函数进行集成，得到所述着色点的渲染特征，所述多个渲染特征与所述多个神经点一一对应；根据所述着色点的渲染特征，得到所述着色点的渲染属性；根据所述多个着色点的渲染属性，得到所述第一像素的颜色；根据多个所述第一像素的颜色，得到所述图像的渲染结果。2.根据权利要求1所述的方法，其特征在于，所述渲染特征包括相对位置特征和隐式特征；所述将所述多个神经点的多个渲染特征通过线性函数进行集成，得到所述着色点的渲染特征，包括：对于所述多个神经点中的任意一个神经点，确定所述神经点与所述着色点之间的相对位置特征；以及，获取所述神经点的隐式特征；将所述多个神经点的相对位置特征通过线性函数进行集成，得到所述着色点的相对位置特征；以及，将所述多个神经点的隐式特征通过线性函数进行集成，得到所述着色点的隐式特征。3.根据权利要求2所述的方法，其特征在于，所述将所述多个神经点的相对位置特征通过线性函数进行集成，得到所述着色点的相对位置特征，包括：对于所述多个神经点中的一个神经点，计算所述神经点与所述着色点之间的位置差值，得到所述神经点的相对位置特征；确定多个权重，所述多个权重与所述多个神经点一一对应；将所述多个神经点的多个相对位置特征与各自的权重分别相乘，将相乘后的和值除以所述多个权重的和值，得到所述着色点的相对位置特征。4.根据权利要求3所述的方法，其特征在于，所述确定多个权重，包括：对于所述多个神经点中的一个神经点，将所述神经点与所述着色点之间的距离的倒数，作为所述神经点对应的权重；重复上一步骤，确定得到所述多个神经点的多个权重。5.根据权利要求2所述的方法，其特征在于，所述将所述多个神经点的隐式特征通过线性函数进行集成，得到所述着色点的隐式特征，包括：确定多个权重，所述多个权重与所述多个神经点一一对应；将所述多个神经点的多个隐式特征与各自的权重分别相乘，将相乘后的和值除以所述多个权重的和值，得到所述着色点的隐式特征。6.根据权利要求5所述的方法，其特征在于，所述确定多个权重，包括：对于所述多个神经点中的一个神经点，将所述神经点与所述着色点之间的距离的倒
数，作为所述神经点对应的权重；重复上一步骤，确定得到所述多个神经点的多个权重。7.根据权利要求1至6任一所述的方法，其特征在于，所述采样所述第一射线上的多个着色点，包括：确定所述图像上所述第一像素所处的图像块；获取所述图像块包含的多个像素分别对应的多个深度值；根据所述多个深度值，确定得到采样深度；在所述第一射线上所述采样深度对应的区域采样得到所述多个着...

【专利技术属性】
技术研发人员：王聪，康頔，曹炎培，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：