画面渲染、数据预测及其训练方法、系统及存储和服务器技术方案

本发明专利技术实施例公开了画面渲染、数据预测及其训练方法、系统及存储和服务器，应用于信息处理技术领域。获取到真实拍摄装置的多帧运动数据后，可以根据多帧运动数据提前预测真实拍摄装置在多帧运动数据之后的任一帧运动数据，然后基于预测的任一帧运动数据，调整虚拟拍摄装置的运动，并基于调整后的虚拟拍摄装置，预先渲染目标虚拟场景画面。这样，考虑到虚拟制作架构基于真实拍摄装置的运动数据渲染并显示虚拟场景画面的时间延迟，提前预测真实拍摄装置的任一帧运动数据，进而渲染得到的目标虚拟场景画面，可以尽量能抵消显示目标虚拟场景画面的时间延迟，使得最终显示的目标虚场景画面可以跟得上真实拍摄装置的运动，不会有延迟或拖拽的情况。或拖拽的情况。或拖拽的情况。

【技术实现步骤摘要】
画面渲染、数据预测及其训练方法、系统及存储和服务器


[0001]本专利技术涉及信息处理
，特别涉及画面渲染、数据预测及其训练方法、系统及存储和服务器。

技术介绍

[0002]发光二极管(light emitting diode，LED)虚拟制作是指利用高显示性能、小点距的LED显示屏作为背景墙，通过实时渲染引擎，采用多屏同步的实时渲染方法，利用摄影机内外参定位同步系统，将高画面质量的三维场景渲染到LED背景墙上，并通过实时渲染引擎调整，同步现场的灯光、场景机械装置等拍摄用具，由摄影机直接拍摄，将真实的演员表演、道具陈设与LED背景墙实时合成，从而达到“所见即所得”的新型电影制作方法。
[0003]在虚拟制作过程中，动作捕捉系统先捕捉虚拟制作系统的三维空间中的运动对象(包括人物、摄影机等)的运动数据，并将运动数据通过各种网络协议传输给数据分析系统；数据分析系统将这些运动数据转化为渲染引擎使用的“相机定位”数据，再通过局域网广播给多台渲染引擎；这些渲染引擎根据接收到的数据，调整虚拟摄影机的位置，并渲染出虚拟摄影机对应的画面至LED显示屏上。
[0004]这样，从运动数据到在LED显示屏上显示的这个过程中，是需要经过动作捕捉系统、数据分析系统及渲染引擎的处理，会产生一定时间的延迟，这个延迟在拍摄时，会让摄影机的“视锥”产生严重的延迟感(画面显示的延迟)，即定位到的摄影机显示在屏幕上的视锥画面会跟不上摄影机的摇晃，从而造成系统中渲染引擎的渲染压力，且画质也不是很好。

技术实现思路

[0005]本专利技术实施例提供画面渲染、数据预测及其训练方法、系统及存储和服务器，减少了虚拟制作过程中基于真实拍摄装置运动的虚拟场景画面的延迟。
[0006]本专利技术实施例一方面提供一种基于虚拟制作的画面渲染方法，包括：
[0007]获取真实拍摄装置的多帧运动数据；
[0008]根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据；
[0009]基于预测的任一帧运动数据，调整虚拟拍摄装置的运动；
[0010]基于调整后的虚拟拍摄装置，预先渲染目标虚拟场景画面，所述目标虚拟场景画面用于所述真实拍摄装置在所述多帧之后进行拍摄。
[0011]本专利技术实施例另一方面提供一种数据预测方法，包括：
[0012]获取拍摄装置在多个时刻分别对应的位置信息，得到多帧位置信息；
[0013]获取所述拍摄装置在所述多帧位置信息下分别对应的角度信息，得到多帧角度信息；
[0014]根据所述多帧位置信息和多帧角度信息，预测所述拍摄装置在所述多个时刻之后的任一帧运动数据，所述任一帧运动数据包括位置信息和角度信息。
[0015]本专利技术实施例又一方面提供一种数据预测的训练方法，包括：
[0016]确定数据预测初始模型；
[0017]确定训练样本，所述训练样本中包括多组样本数据，每组样本数据包括拍摄装置样本的多帧运动样本数据，及所述多帧运动样本数据之后的运动标注数据；
[0018]所述数据预测初始模型根据所述多组样本数据中的运动样本数据，分别预测所述拍摄装置样本在所述多帧运动样本数据对应时刻起，经过特定时间之后的运动数据；
[0019]根据所述数据预测初始模型得到的运动数据和所述训练样本中相应的运动标注数据，调整所述数据预测初始模型，以训练得到数据预测模型，所述数据预测模型用于根据拍摄装置的多帧运动数据，预测所述多帧运动数据之后的任一帧运动数据。
[0020]本专利技术实施例另一方面提供一种虚拟制作的画面渲染系统，包括：
[0021]数据获取单元，用于获取真实拍摄装置的多帧运动数据；
[0022]预测单元，用于根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据；
[0023]调整单元，用于基于预测的任一帧运动数据，调整虚拟拍摄装置的运动；
[0024]渲染单元，用于根据调整后的虚拟拍摄装置，预先渲染目标虚拟场景画面，所述目标虚拟场景画面用于所述真实拍摄装置在所述多帧之后进行拍摄。
[0025]本专利技术实施例另一方面提供一种数据预测系统，包括：
[0026]位置单元，用于获取拍摄装置在多个时刻分别对应的位置信息，得到多帧位置信息；
[0027]角度单元，用于获取所述拍摄装置在所述多帧位置信息下分别对应的角度信息，得到多帧角度信息；
[0028]运动预测单元，用于根据所述多帧位置信息和多帧角度信息，预测所述拍摄装置在所述多个时刻之后的任一帧运动数据，所述任一帧运动数据包括位置信息和角度信息。
[0029]本专利技术实施例另一方面提供一种数据预测的训练系统，包括：
[0030]模型确定单元，用于确定数据预测初始模型；
[0031]样本确定单元，用于确定训练样本，所述训练样本中包括多组样本数据，每组样本数据包括拍摄装置样本的多帧运动样本数据，及所述多帧运动样本数据之后的运动标注数据；
[0032]模型预测单元，用于所述数据预测初始模型根据所述多组样本数据中的运动样本数据，分别预测所述拍摄装置样本在所述多帧运动样本数据对应时刻起，经过特定时间之后的运动数据；
[0033]调整训练单元，用于根据所述数据预测初始模型得到的运动数据和所述训练样本中相应的运动标注数据，调整所述数据预测初始模型，以训练得到数据预测模型，所述数据预测模型用于根据拍摄装置的多帧运动数据，预测所述多帧运动数据之后的任一帧运动数据。
[0034]本专利技术实施例另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如本专利技术实施例一方面所述的基于虚拟制作的画面渲染方法，或执行如本专利技术实施例另一方面所述的数据预测方法，或执行如本专利技术实施例又一方面所述的数据预测的训练方法。
[0035]本专利技术实施例另一方面还提供一种服务器，包括处理器和存储器；
[0036]所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本专利技术实施例一方面所述的基于虚拟制作的画面渲染方法，或执行如本专利技术实施例另一方面所述的数据预测方法，或执行如本专利技术实施例又一方面所述的数据预测的训练方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。
[0037]可见，在本实施例的方法中，在虚拟制作架构中，获取到真实拍摄装置的多帧运动数据后，可以根据多帧运动数据提前预测真实拍摄装置在多帧运动数据之后的任一帧运动数据，然后基于预测的任一帧运动数据，调整虚拟拍摄装置的运动，并基于调整后的虚拟拍摄装置，预先渲染目标虚拟场景画面。这样，考虑到虚拟制作架构基于真实拍摄装置的运动数据渲染并显示虚拟场景画面的时间延迟，可以提前预测真实拍摄装置的任一帧运动数据，使得基于预测的任一帧运动数据渲染得到的目标虚拟场景画面，可以尽量能抵消虚拟制作架构中显示目标虚拟场景画面的时间延迟，使得最终显示的目标虚场景画面可以跟得上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟制作的画面渲染方法，其特征在于，包括：获取真实拍摄装置的多帧运动数据；根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据；基于预测的任一帧运动数据，调整虚拟拍摄装置的运动；基于调整后的虚拟拍摄装置，预先渲染目标虚拟场景画面，所述目标虚拟场景画面用于所述真实拍摄装置在所述多帧之后进行拍摄。2.如权利要求1所述的方法，其特征在于，所述方法还包括：确定上屏延迟时间，所述上屏延迟时间为基于任一帧运动数据完成虚拟拍摄装置的虚拟场景画面显示的过程所经历的时间；所述根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据，具体包括：根据所述多帧运动数据预测所述任一帧运动数据为：从所述多帧运动数据中最后一帧运动数据对应时刻起，经过所述上屏延迟时间之后的一帧运动数据。3.如权利要求1所述的方法，其特征在于，任一帧运动数据包括：所述真实拍摄装置的位置信息和角度信息；所述方法还包括：获取所述多帧运动数据下分别对应的所述虚拟拍摄装置的虚拟场景画面，得到多帧虚拟场景画面；则所述根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据，具体包括：根据所述真实拍摄装置的多帧位置信息、角度信息及所述多帧虚拟场景画面预测任一帧运动数据；所述基于预测的任一帧运动数据，调整虚拟拍摄装置的运动，具体包括：将所述虚拟拍摄装置的位置信息和角度信息，分别调整为与所述预测的任一帧运动数据中的位置信息和角度信息。4.如权利要求3所述的方法，其特征在于，所述获取真实拍摄装置的多帧运动数据，具体包括：通过动作捕捉系统获取多帧所述位置信息和角度信息；其中，所述动作捕捉系统包括在所述真实拍摄装置上安装的传感设备；所述获取所述多帧运动数据下分别对应的所述虚拟拍摄装置的多帧虚拟场景画面，具体包括：获取所述真实拍摄装置在所述多帧运动数据下实际拍摄的多帧拍摄画面作为所述多帧虚拟场景画面。5.如权利要求3任一项所述的方法，其特征在于，每一帧运动数据包括：位置信息和角度信息，则所述根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据，具体包括：提取所述每一帧运动数据中的位置信息的特征，得到位置特征信息；提取所述每一帧运动数据中的角度信息的特征，得到角度特征信息；提取每一帧虚拟场景画面的特征，得到画面特征信息；将所述位置特征信息、角度特征信息和画面特征信息进行拼接，得到所述拼接后特征信息；
根据所述拼接后特征信息预测所述多帧之后的任一帧运动数据中的位置信息和角度信息。6.如权利要求5所述的方法，其特征在于，所述提取所述每一帧运动数据中的位置信息的特征具体包括：通过一长短期记忆编码网络对所述每一帧运动数据中的位置信息进行编码得到所述位置特征信息；所述提取所述每一帧运动数据中的角度信息的特征具体包括：通过另一长短期记忆编码网络对所述每一帧运动数据中的角度信息进行编码得到所述角度特征信息；所述提取每一帧虚拟场景画面的特征具体包括：通过卷积网络对所述每一帧虚拟场景画面进行编码，得到所述画面特征信息；所述根据所述拼接后特征信息预测所述多帧之后的任一帧运动数据中位置信息和角度信息，具体包括：通过长短期记忆解码网络对所述拼接后特征信息进行解码，根据解码后特征预测所述多帧之后的任一帧运动数据中的位置信息和角度信息。7.如权利要求1至6任一项所述的方法，其特征在于，所述根据所述多帧运动数据预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据，具体包括：调用预训练的数据预测模型；根据所述多帧运动数据及所述数据预测模型，预测所述真实拍摄装置在所述多帧运动数据之后的任一帧运动数据。8.如权利要求7所述的方法，其特征在于，所述方法还包括：确定数据预测初始模型；确定训练样本，所述训练样本中包括多组样本数据，每组样本数据包括拍摄装置样本的多帧运动样本数据，及所述多帧运动样本数据之后的运动标注数据；所述数据预测初始模型根据所述多组样本数据中的运动样本数据，分别预测所述拍摄装置样本在所述多帧运动样本数据对应时刻起，经过特定时间之后的运动数据；根据所述数据预测初始模型得到的运动数据和所述训练样本中相应的运动标注数据，调整所述数据预测初始模型，以得到所述预训练的数据预测模型。9.如权利要求8所述的方法，其特征在于，所述每组样本数据还包括：所述拍摄装置样本的多帧虚拟场景画面；所述数据预测初始模型根据所述多组样本数据中的运动样本数据，分别预测所述拍摄装置样本在所述多帧运动样本数据对应时刻起，经过特定时间之后的运动数据，具体包括：所述预测初始模型根据所述多组样本数据中的运动样本数据和虚拟场景画面，分别预测所述拍摄装置样本在所述多帧运动样本数据对应时刻起，经过特定时间之后的运动数据。10.如权利要求9所述的方法，其特征在于，所述训练样本包括的多帧运动样本数据为：多个第一安装类型的拍摄装置样本的多帧运动样本数据；所述方法还包括：储存所述预训练的数据预测模型对应的安装类型为所述第一安装类型。11.如权利要求10所述的方法，其特征在于，所述方法还包括...

【专利技术属性】
技术研发人员：余倞璇，胡梓超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：