图像拍摄、渲染方法、装置、终端及云端设备制造方法及图纸

本申请提供一种图像拍摄、渲染方法、装置、终端及云端设备。所述方法包括：获取第一环境光照明模型，第一环境光照明模型是通过对真实场景中的第一图像的外观表征进行学习以及对真实场景中的第二图像的外观表征进行学习获得的，第一图像是静态目标的图像，第二图像是动态目标的图像；向云端设备发第一环境光照明模型；接收云端设备发送的虚拟目标的第三图像以及第三图像对应的透明通道，第三图像是使用所述第一环境光照明模型对虚拟目标进行渲染后得到的图像；根据透明通道以及第三图像，对虚拟目标和真实场景进行拍摄。本申请使用该第一环境光照明模型对虚拟目标进行光渲染后得到的图像的光照更为准确，完成的虚实合拍图像具有更强的真实感。具有更强的真实感。具有更强的真实感。

【技术实现步骤摘要】
图像拍摄、渲染方法、装置、终端及云端设备


[0001]本申请涉及图像处理
，特别是指一种图像拍摄、渲染方法、装置、终端及云端设备。

技术介绍

[0002]随着互联网技术的发展，互联网上的娱乐形式多种多样，其中虚拟人合拍成为一种备受欢迎的拍摄形式。例如：网络上的虚拟美妆达人和真人互动，与实拍场景的真实感融合，从视觉上达到虚拟人仿佛置身于现实世界。基于实拍场景的光照完成虚拟人的二次渲染以及虚拟人与环境互动能够准确产生阴影对于提升用户观看体验极为重要。
[0003]二次渲染的难点在于获取准确的环境照明，若现实场景中存在运动的人或者物体，将对环境照明产生较大的影响，导致虚拟人实景合拍的图像真实感较差。

技术实现思路

[0004]本申请的目的是提供一种图像拍摄、渲染方法、装置、终端及云端设备，解决了相关技术中的虚拟人实景合拍的图像真实感较差的问题。
[0005]为达到上述目的，本申请的实施例提供一种图像拍摄方法，应用于终端，所述方法包括：
[0006]获取第一环境光照明模型，所述第一环境光照明模型是通过对真实场景中的第一图像的外观表征进行学习以及对所述真实场景中的第二图像的外观表征进行学习获得的，所述第一图像是静态目标的图像，所述第二图像是动态目标的图像；
[0007]向云端设备发所述第一环境光照明模型；
[0008]接收所述云端设备发送的虚拟目标的第三图像以及所述第三图像对应的透明通道，所述第三图像是使用所述第一环境光照明模型对虚拟目标进行渲染后得到的图像；/>[0009]根据所述透明通道以及所述第三图像，对所述虚拟目标和所述真实场景进行拍摄。
[0010]可选的，在所述获取第一环境光照明模型之前，所述方法还包括：
[0011]通过相机采集所述真实场景的图像的信息，所述图像内包括静态目标和动态目标；
[0012]将所述动态目标与所述静态目标分离，获得所述第一图像的信息和所述第二图像的信息。
[0013]可选的，所述通过相机采集所述真实场景的图像的信息，包括：
[0014]获取所述真实场景的图像对应的第一空间点，所述第一空间点是所述图像在世界坐标系下的空间点；
[0015]根据所述相机的外参数将所述第一空间点转换为相机坐标系下的第二空间点；
[0016]将所述第二空间点输入第一多层感知网络(Multilayer Perceptron，MLP)，获得所述第二空间点对应颜色、体素密度以及体素采样点。
[0017]可选的，所述获取第一环境光照明模型，包括：
[0018]根据所述第一图像的信息，学习所述真实场景的静态目标的外观表征，获得第二环境光照明模型；
[0019]根据所述第二图像的信息，学习所述真实场景中的动态目标的外观表征，获得第三环境光照明模型；
[0020]将所述第二环境光照明模型与所述第三环境光照明模型叠加，获得第一环境光照明模型。
[0021]可选的，所述根据所述第一图像的信息，学习所述真实场景的静态目标的外观表征，获得第二环境光照明模型，包括：
[0022]根据所述第一图像对应的第二空间点确定第一相机视角，所述第一相机视角通过第一射线的单位向量表示，所述第一射线是以所述第一图像对应的第二空间点为端点、以指向成像平面的像素点的方向为出射方向的射线；所述第一图像对应的第二空间点是：所述第一图像在相机坐标系下的空间点；
[0023]确定所述第一图像在嵌入空间对应的隐变量；
[0024]将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，确定所述第一图像对应的第二空间点映射到半球面的像素点的颜色，获得第一半球面图像；
[0025]将所述第一半球面图像转换为第一立方体贴图，并将所述第一立方体贴图作为所述第二环境光照明模型。
[0026]可选的，所述确定所述第一图像在嵌入空间对应的隐变量，包括：
[0027]采用特征金字塔网络(Feature Pyramid Networks，FPN)获得所述第一图像在嵌入空间对应的隐变量。
[0028]可选的，在所述将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP之前，所述方法还包括：
[0029]获取训练数据图像对应的隐变量，所述训练数据图像用于进行网络训练；
[0030]根据所有训练数据图像的隐变量的均值和方差构建正态分布；
[0031]从所述正态分布中采样获得扩展的隐变量数据；
[0032]使用所述训练数据图像对应的隐变量以及所述扩展的隐变量数据进行MLP网络训练，获得所述第二MLP。
[0033]可选的，所述将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，确定所述第一图像对应的第二空间点映射到半球面的像素点的颜色，获得第一半球面图像，包括：
[0034]将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，学习所述第一图像对应的第二空间点与半球面的映射关系；
[0035]通过所述第二MLP并基于第一体渲染方程计算所述第一射线上的体素采样点的颜色；
[0036]根据所述第一射线上的体素采样点的颜色以及所述映射关系，通过所述MLP确定所述第一射线投影到所述半球面的像素点的颜色；
[0037]根据所述第一射线投影到所述半球面的像素点的颜色，确定所述第一半球面图像；
[0038]其中，所述半球面是将纹理空间坐标参数化得到的三维单位半球面。
[0039]可选的，所述根据所述第二图像的信息，学习所述真实场景中的动态目标的外观表征，获得第三环境光照明模型，包括：
[0040]根据所述第二图像对应的第二空间点确定第二相机视角，所述第二相机视角通过第二射线的单位向量表示，所述第二射线是以所述第二图像对应的第二空间点为端点、以指向成像平面的像素点的方向为出射方向的射线；所述第二图像对应的第二空间点是：所述第二图像在相机坐标系下的空间点；
[0041]确定所述第二图像在嵌入空间对应的隐变量；
[0042]将所述第二相机视角、所述隐变量以及所述第二图像的信息输入第三MLP，确定所述第二图像对应的第三空间点映射到半球面的像素点的颜色以及所述颜色的不确定性；
[0043]根据所述第二图像对应的第三空间点映射到半球面的像素点的颜色，获得第二半球面图像；
[0044]将所述第二半球面图像转换为第二立方体贴图，并将所述第二立方体贴图作为所述第三环境光照明模型。
[0045]可选的，在所述将所述第二相机视角、所述隐变量以及所述第二图像的信息输入第三MLP之前，所述方法还包括：
[0046]获取训练数据图像对应的隐变量，所述训练数据图像用于进行网络训练，所述训练数据图像包括具有动态目标的训练图像和不具有动态目标的训练图像；
[0047]根据所有训练数据图像的隐变量的均值和方差构建正态分布；
[0048]从所述正态分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像拍摄方法，应用于终端，其特征在于，包括：获取第一环境光照明模型，所述第一环境光照明模型是通过对真实场景中的第一图像的外观表征进行学习以及对所述真实场景中的第二图像的外观表征进行学习获得的，所述第一图像是静态目标的图像，所述第二图像是动态目标的图像；向云端设备发所述第一环境光照明模型；接收所述云端设备发送的虚拟目标的第三图像以及所述第三图像对应的透明通道，所述第三图像是使用所述第一环境光照明模型对虚拟目标进行渲染后得到的图像；根据所述透明通道以及所述第三图像，对所述虚拟目标和所述真实场景进行拍摄。2.根据权利要求1所述的方法，其特征在于，在所述获取第一环境光照明模型之前，所述方法还包括：通过相机采集所述真实场景的图像的信息，所述图像内包括静态目标和动态目标；将所述动态目标与所述静态目标分离，获得所述第一图像的信息和所述第二图像的信息。3.根据权利要求2所述的方法，其特征在于，所述通过相机采集所述真实场景的图像的信息，包括：获取所述真实场景的图像对应的第一空间点，所述第一空间点是所述图像在世界坐标系下的空间点；根据所述相机的外参数将所述第一空间点转换为相机坐标系下的第二空间点；将所述第二空间点输入第一多层感知网络MLP，获得所述第二空间点对应颜色、体素密度以及体素采样点。4.根据权利要求1所述的方法，其特征在于，所述获取第一环境光照明模型，包括：根据所述第一图像的信息，学习所述真实场景的静态目标的外观表征，获得第二环境光照明模型；根据所述第二图像的信息，学习所述真实场景中的动态目标的外观表征，获得第三环境光照明模型；将所述第二环境光照明模型与所述第三环境光照明模型叠加，获得第一环境光照明模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像的信息，学习所述真实场景的静态目标的外观表征，获得第二环境光照明模型，包括：根据所述第一图像对应的第二空间点确定第一相机视角，所述第一相机视角通过第一射线的单位向量表示，所述第一射线是以所述第一图像对应的第二空间点为端点、以指向成像平面的像素点的方向为出射方向的射线；所述第一图像对应的第二空间点是：所述第一图像在相机坐标系下的空间点；确定所述第一图像在嵌入空间对应的隐变量；将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，确定所述第一图像对应的第二空间点映射到半球面的像素点的颜色，获得第一半球面图像；将所述第一半球面图像转换为第一立方体贴图，并将所述第一立方体贴图作为所述第二环境光照明模型。6.根据权利要求5所述的方法，其特征在于，所述确定所述第一图像在嵌入空间对应的
隐变量，包括：采用特征金字塔网络FPN获得所述第一图像在嵌入空间对应的隐变量。7.根据权利要求5所述的方法，其特征在于，在所述将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP之前，所述方法还包括：获取训练数据图像对应的隐变量，所述训练数据图像用于进行网络训练；根据所有训练数据图像的隐变量的均值和方差构建正态分布；从所述正态分布中采样获得扩展的隐变量数据；使用所述训练数据图像对应的隐变量以及所述扩展的隐变量数据进行MLP网络训练，获得所述第二MLP。8.根据权利要求5所述的方法，其特征在于，所述将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，确定所述第一图像对应的第二空间点映射到半球面的像素点的颜色，获得第一半球面图像，包括：将所述第一相机视角、所述隐变量以及所述第一图像的信息输入第二MLP，学习所述第一图像对应的第二空间点与半球面的映射关系；通过所述第二MLP并基于第一体渲染方程计算所述第一射线上的体素采样点的颜色；根据所述第一射线上的体素采样点的颜色以及所述映射关系，通过所述MLP确定所述第一射线投影到所述半球面的像素点的颜色；根据所述第一射线投影到所述半球面的像素点的颜色，确定所述第一半球面图像；其中，所述半球面是将纹理空间坐标参数化得到的三维单位半球面。9.根据权利要求4所述的方法，其特征在于，所述根据所述第二图像的信息，学习所述真实场景中的动态目标的外观表征，获得第三环境光照明模型，包括：根据所述第二图像对应的第二空间点确定第二相机视角，所述第二相机视角通过第二射线的单位向量表示，所述第二射线是以所述第二图像对应的第二空间点为端点、以指向成像平面的像素点的方向为出射方向的射线；所述第二图像对应的第二空间点是：所述第二图像在相机坐标系下的空间点；确定所述第二图像在嵌入空间对应的隐变量；将所述第二相机视角、所述隐变量以及所述第二图像的信息输入第三MLP，确定所述第二图像对应的第三空间点映射到半球面的像...

【专利技术属性】
技术研发人员：罗志平，蒋晨晨，蔡永辉，陈霖甲，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：