本申请提出了一种数字人驱动数据同步及帧率自适应的渲染方法，包括：S1：获取单数字人多个部分的驱动数据，初始化获取驱动数据的帧率，并根据帧率对驱动数据进行预处理；S2：将经过预处理的驱动数据发送至渲染引擎，通过渲染引擎将经过预处理的驱动数据分别保存至每个部分对应的驱动数据池；S3：当渲染引擎接收到tick信号时，发送驱动数据池的第一帧数据至渲染引擎，并通过渲染引擎根据接收到的数据渲染单数字人的行为；S4：通过渲染引擎的虚拟相机捕获当前帧画面，将当前帧画面保存为图片或推流到视频流服务器；S5：通过渲染引擎发送tick信号，并重复步骤S3到S5，直到驱动数据池为空。本申请实现了数字人驱动起来后整体渲染效果的同步。的同步。的同步。
【技术实现步骤摘要】
数字人驱动数据同步及帧率自适应的渲染方法和装置
[0001]本申请涉及数字人渲染
，尤其涉及一种数字人驱动数据同步及帧率自适应的渲染方法和装置。
技术介绍
[0002]数字人是信息科学与生命科学融合的产物，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。随着AI模型的发展，基于文本的AI聊天可以提供越来越真实的内容，而进一步用数据驱动数字人，可以提供一种更为逼真自然的交互体验。
[0003]目前在数字人驱动方面主要有动捕驱动和算法驱动两种方案，多数数字人驱动时均采用面部驱动和肢体驱动独立分开驱动的方式，已有的技术方案大多专注于其中一部分的驱动，有专注于标准驱动协议的方案、动捕驱动优化的方案以及使用语音驱动面部的算法方案；也有关注于解决面部和音频同步的解决方案，但缺乏完整驱动数字人情况下做整体同步的方案。
技术实现思路
[0004]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本申请的第一个目的在于提出一种数字人驱动数据同步及帧率自适应的渲染方法，解决了现有数字人渲染过程中，单数字人不同部分及多数字人驱动不同步、动作出现迟滞或抖动的技术问题，实现了数字人面部和肢体独立渲染同步和多数字人同步驱动，同时实现了独立部分进一步细分的肢体动作风格、面部情绪叠加等情况下的数字人行为同步，并且能够在实时场景下根据渲染输出的帧率动态调节外部数据的帧率。
[0006]本申请的第二个目的在于提出一种数字人驱动数据同步及帧率自适应的渲染装置。
[0007]本申请的第三个目的在于提出一种计算机设备。
[0008]本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
[0009]为达上述目的，本申请第一方面实施例提出了一种数字人驱动数据同步及帧率自适应的渲染方法，包括：S1：获取单数字人多个部分的驱动数据，初始化获取驱动数据的帧率，并根据帧率对驱动数据进行预处理；S2：将经过预处理的驱动数据发送至渲染引擎，通过渲染引擎将经过预处理的驱动数据分别保存至每个部分对应的驱动数据池；S3：当渲染引擎接收到tick信号时，发送驱动数据池的第一帧数据至渲染引擎，并通过渲染引擎根据接收到的数据渲染单数字人的行为；S4：通过渲染引擎的虚拟相机捕获当前帧画面，将当前帧画面保存为图片或推流到视频流服务器；S5：通过渲染引擎发送tick信号，并重复步骤S3到S5，直到驱动数据池为空。
[0010]可选地，在本申请的一个实施例中，根据帧率对驱动数据进行预处理，包括：
[0011]对驱动通道叠加指定值或因子，并将对应单数字人不同部分的驱动数据对齐。
[0012]可选地，在本申请的一个实施例中，在将当前帧画面保存为图片或推流到视频流
服务器之前，包括：
[0013]对当前帧画面进行图像预处理操作，其中，图像预处理操作包括质量检测、叠加图层。
[0014]可选地，在本申请的一个实施例中，在将当前帧画面推流到视频流服务器时，包括：
[0015]检测推出的视频流一定时间窗口内的平均帧率，并对平均帧率和获取驱动数据的帧率进行对比；
[0016]当平均帧率高于获取驱动数据的帧率时，对获取驱动数据的帧率进行帧补偿；
[0017]当平均帧率低于获取驱动数据的帧率时，对获取驱动数据的帧率进行帧压缩。
[0018]可选地，在本申请的一个实施例中，方法，还包括：
[0019]通过获取多数字人多个部分的驱动数据，并增加多数字人每个部分对应的驱动数据池，实现多数字人同时驱动的驱动数据渲染同步。
[0020]为达上述目的，本申请第二方面实施例提出了一种数字人驱动数据同步及帧率自适应的渲染装置，包括：
[0021]获取模块，用于获取单数字人多个部分的驱动数据，初始化获取驱动数据的帧率，并根据帧率对驱动数据进行预处理；
[0022]保存模块，用于将经过预处理的驱动数据发送至渲染引擎，通过渲染引擎将经过预处理的驱动数据分别保存至每个部分对应的驱动数据池；
[0023]渲染模块，用于当渲染引擎接收到tick信号时，发送驱动数据池的第一帧数据至渲染引擎，并通过渲染引擎根据接收到的数据渲染单数字人的行为；
[0024]捕获模块，用于通过渲染引擎的虚拟相机捕获当前帧画面，将当前帧画面保存为图片或推流到视频流服务器；
[0025]迭代模块，用于通过渲染引擎发送tick信号，并重复渲染模块和捕获模块，直到驱动数据池为空。
[0026]可选地，在本申请的一个实施例中，获取模块，还用于：
[0027]对驱动通道叠加指定值或因子，并将对应单数字人不同部分的驱动数据对齐。
[0028]可选地，在本申请的一个实施例中，装置，还包括：
[0029]多数字人渲染模块，用于通过获取多数字人多个部分的驱动数据，并增加多数字人每个部分对应的驱动数据池，实现多数字人同时驱动的驱动数据渲染同步。
[0030]为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的数字人驱动数据同步及帧率自适应的渲染方法。
[0031]为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种数字人驱动数据同步及帧率自适应的渲染方法。
[0032]本申请实施例的数字人驱动数据同步及帧率自适应的渲染方法、装置、计算机设备和非临时性计算机可读存储介质，解决了现有数字人渲染过程中，单数字人不同部分及多数字人驱动不同步、动作出现迟滞或抖动的技术问题，实现了数字人面部和肢体独立渲染同步和多数字人同步驱动，同时实现了独立部分进一步细分的肢体动作风格、面部情绪
叠加等情况下的数字人行为同步，并且能够在实时场景下根据渲染输出的帧率动态调节外部数据的帧率。
[0033]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0034]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0035]图1为本申请实施例一所提供的一种数字人驱动数据同步及帧率自适应的渲染方法的流程示意图；
[0036]图2为本申请实施例的数字人驱动数据同步及帧率自适应的渲染方法的另一个流程图；
[0037]图3为本申请实施例的数字人驱动数据同步及帧率自适应的渲染方法的调节帧率配置示例图；
[0038]图4为本申请实施例二所提供的一种数字人驱动数据同步及帧率自适应的渲染装置的结构示意图。
具体实施方式
[0039]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人驱动数据同步及帧率自适应的渲染方法，其特征在于，包括以下步骤：S1：获取单数字人多个部分的驱动数据，初始化获取所述驱动数据的帧率，并根据所述帧率对所述驱动数据进行预处理；S2：将经过预处理的驱动数据发送至渲染引擎，通过所述渲染引擎将所述经过预处理的驱动数据分别保存至每个部分对应的驱动数据池；S3：当所述渲染引擎接收到tick信号时，发送所述驱动数据池的第一帧数据至所述渲染引擎，并通过所述渲染引擎根据接收到的数据渲染所述单数字人的行为；S4：通过所述渲染引擎的虚拟相机捕获当前帧画面，将所述当前帧画面保存为图片或推流到视频流服务器；S5：通过所述渲染引擎发送tick信号，并重复步骤S3到S5，直到所述驱动数据池为空。2.如权利要求1所述的方法，其特征在于，所述根据所述帧率对所述驱动数据进行预处理，包括：对驱动通道叠加指定值或因子，并将对应单数字人不同部分的驱动数据对齐。3.如权利要求1所述的方法，其特征在于，在将所述当前帧画面保存为图片或推流到视频流服务器之前，包括：对所述当前帧画面进行图像预处理操作，其中，所述图像预处理操作包括质量检测、叠加图层。4.如权利要求1所述的方法，其特征在于，在将当前帧画面推流到视频流服务器时，包括：检测推出的视频流一定时间窗口内的平均帧率，并对所述平均帧率和获取驱动数据的帧率进行对比；当所述平均帧率高于所述获取驱动数据的帧率时，对所述获取驱动数据的帧率进行帧补偿；当所述平均帧率低于所述获取驱动数据的帧率时，对所述获取驱动数据的帧率进行帧压缩。5.如权利要求1所述的方法，其特征在于，所述方法，还包括：通过获取多数字人多个部分的驱动数据，并增加所述多数字人每个部分对应的驱动数据...
【专利技术属性】
技术研发人员：张洽钿，杜冀中，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。