【技术实现步骤摘要】
本申请涉及计算机视觉与虚拟场景拍摄，特别地涉及一种虚拟相机位姿调整方法、系统以及计算机程序产品。
技术介绍
1、此处提供的
技术介绍
描述的目的是总体地给出本申请的背景，本部分的陈述仅仅是提供了与本申请相关的背景，并不必然构成现有技术。
2、现有技术下，对于一个传统的演艺节目而言，真实视频拍摄过程一般包括场景设计、表演安排、情节设计和相机位置设定等多个步骤。每个拍摄的镜头都受到上述因素的影响，由于客观条件的限制，视频制作者可能无法拍摄出最好的镜头。同时，这类节目由于其不确定性，导演往往会选择提前进行一次预演的拍摄，这需要耗费大量的人力物力，也会受到时间和天气等各种因素影响。所以高成本、低可控性和需要提前彩排是目前传统演艺节目的主要问题。但如果能将节目转移到虚拟场景中进行拍摄，则可以减少各种因素带来的影响，帮助导演方便快速的找到最佳拍摄方案，获得最佳的视觉效果，提高节目的制作效率并且减少大量的成本消耗。然而，虽然虚拟场景中拍摄有诸多优点，但是目前虚拟场景通常使用虚拟引擎人为搭建，手工建模相关的演艺场景这一过程过于复杂耗时，需要人为创建物体的材质、纹理和光照等，同时对于建模的逼真度也难以保证，部分特殊材质(如玻璃，雾气等)的物体难以很好通过手工建模的方式呈现出来，导致了重建虚拟场景耗时耗力，效果差的问题。综上，目前仍热缺少快速表达出一个虚拟场景的方法。
3、在虚拟场景中拍摄演艺节目，除了演艺本身的创意和质量外，相机的运镜也非常重要，因为它直接和观众的观感挂钩。合理运用镜头语言将更好地增强数字演艺内容的艺术表现力，
4、为了优化相机的位姿从而保证参考视频和渲染视频拍摄手法一致，需要考虑到两者之间的多个特征是否一致。现有的方法往往会考虑人物动作、构图、相机运动和美学评价等方面的特征。其中，构图特征一般考虑的是人物的构图，使用人物的关节点特征来表示人物的位置和大小等，但人物在屏幕上的位置只是一种2d的构图信息，在真实的拍摄中，往往还需要全面考虑画面中的透视关系，即3d的构图信息。因此，目前仍然缺少一种特征能表示人物3d的构图信息来辅助指导相机的位姿优化。
5、因此，亟需一种新的相机位姿优化方法，以能够克服并解决如上所述的缺陷。
技术实现思路
1、针对上述问题，本申请提出一种虚拟相机位姿调整方法、虚拟相机位姿调整系统以及存储介质。
2、本申请的第一个方面，提供了一种虚拟相机位姿调整方法，包括：
3、通过动态神经辐射场确定预设参考视频对应的隐式表达模型，并根据预设相机轨迹位姿集合中的任一相机轨迹位姿，通过所述隐式表达模型确定当前相机轨迹位姿下的渲染视频；
4、将所述渲染视频和所述预设参考视频输入至预设虚拟相机位姿优化模型，以分别确定所述预设参考视频和所述渲染视频中各视频帧的光流图、人物关节点热力图和深度图；
5、分别确定所述光流图对应的光流损失函数、所述人物关节点热力图对应的关节点损失函数和所述深度图对应的深度损失函数；
6、根据所述预设参考视频和所述渲染视频的光流图、人物关节点热力图和深度图，通过预设引导区域确定模型确定引导区域，以突出显示对梯度贡献满足预设条件的关键区域；
7、针对所述渲染视频中视频帧的任一像素点，根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度；并根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述第二梯度对应的第二回传梯度以及所述第三梯度对应的第三回传梯度，并将所述第一回传梯度、所述第二回传梯度和所述第三回传梯度进行回传，以优化虚拟相机的拍摄参数。
8、进一步地，所述预设虚拟相机位姿优化模型包括：
9、
10、其中，为相机的外参矩阵，为时间，φ为相机的焦距，fθ()为隐式表达模型，为参考视频的视频帧；其中，
11、
12、
13、其中，i为参考视频的视频帧标号，i*为渲染视频的视频帧。
14、进一步地，所述预设引导区域确定模型包括：
15、
16、其中，为第二特征差分图，h*为渲染视频帧的关节点热力图，为参考视频帧的关节点热力图；为第一特征差分图，o*为渲染视频帧的光流图，为参考视频帧的光流图；为第三特征差分图，d*为渲染视频帧的深度图，为参考视频帧的深度图；f*()表示归一化处理。
17、进一步地，所述根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度，包括：
18、对所述光流损失函数进行求导操作，获得所述第一梯度；
19、对所述关节点损失函数进行求导操作，获得所述第二梯度；
20、对所述深度损失函数进行求导操作，获得所述第三梯度。
21、进一步地，所述根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述第二梯度对应的第二回传梯度以及所述第三梯度对应的第三回传梯度，包括：
22、将所述引导区域和所述第一梯度的点乘结果，作为所述第一回传梯度；
23、将所述引导区域和所述第二梯度的点乘结果，作为所述第二回传梯度；
24、将所述引导区域和所述第三梯度的点乘结果，作为所述第三回传梯度。
25、进一步地，所述光流损失函数包括：
26、
27、其中，和分别表示渲染视频的水平光流分量和垂直光流分量，和分别表示参考视频的水平光流分量和垂直光流分量。
28、进一步地，所述关节点损失函数包括：
29、
30、其中，dw为wasserstein距离，h*和分别代表渲染视频帧和参考视频帧的人物关节点热力图，hi表示人物关节点热力图中第i个关节点的值，m为关节点数量。
31、进一步地，所述深度损失函数包括：
32、
33、其中，n为视频帧中像素点的数量，和分别表示渲染视频帧和参考视频帧的第i个像素点的深度值，h为参考视频帧的高度，w为参考视频帧的宽度。
34、本申请的第二个方本文档来自技高网...
【技术保护点】
1.一种虚拟相机位姿调整方法，其特征在于，所述方法包括：
2.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述预设虚拟相机位姿优化模型包括：
3.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述预设引导区域确定模型包括：
4.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度，包括：
5.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述第二梯度对应的第二回传梯度以及所述第三梯度对应的第三回传梯度，包括：
6.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述光流损失函数包括：
7.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述关节点损失函数包括：
8.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述深度损失函数包括：
9.一种虚拟相机位姿调整系统，其特征在于，
10.一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种虚拟相机位姿调整方法，其特征在于，所述方法包括：
2.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述预设虚拟相机位姿优化模型包括：
3.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述预设引导区域确定模型包括：
4.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述根据所述光流损失函数确定第一梯度、根据所述关节点损失函数确定第二梯度并根据所述深度损失函数确定第三梯度，包括：
5.根据权利要求1所述的虚拟相机位姿调整方法，其特征在于，所述根据所述引导区域分别确定所述第一梯度对应的第一回传梯度、所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。