虚拟形象驱动方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种虚拟形象驱动方法、装置、设备以及储介质，涉及人工智能技术领域，尤其涉及虚拟人、元宇宙、增强现实、虚拟现实、混合现实、扩展现实等技术领域。具体实现方案为：接收输入数据流，输入数据流包括多个时序帧，任意一个时序帧与面部姿态相关联，面部姿态包括第一部位姿态和第二部位姿态，针对多个时序帧中的任意一个目标时序帧，根据初始基准姿态以及第一部位姿态，确定第一姿态变换系数；根据第一姿态变换系数更新初始基准姿态，得到更新基准姿态；根据更新基准姿态以及第二部位姿态，确定第二姿态变换系数；根据第二姿态变换系数驱动虚拟形象。系数驱动虚拟形象。系数驱动虚拟形象。

【技术实现步骤摘要】
虚拟形象驱动方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及虚拟人、元宇宙、增强现实、虚拟现实、混合现实、扩展现实等
，具体涉及一种虚拟形象驱动方法、装置、设备以及存储介质。

技术介绍

[0002]随着计算机技术和互联网技术的发展，可以通过虚拟形象提供生活、娱乐等方面的各项功能服务。例如，一些虚拟形象提供视觉显示服务，如何使得虚拟形象作出的面部表情更真实是一个亟需解决的问题。

技术实现思路

[0003]本公开提供了一种虚拟形象驱动方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种虚拟形象驱动方法，包括：接收输入数据流，其中，输入数据流包括多个时序帧，任意一个时序帧与面部姿态相关联，面部姿态包括第一部位姿态和第二部位姿态，第二部位姿态包括多个第二子部位姿态，任意多个第一部位姿态之间的相关性小于与多个第二子部位姿态之间的相关性，针对多个时序帧中的任意一个目标时序帧，根据初始基准姿态以及第一部位姿态，确定第一姿态变换系数；根据第一姿态变换系数更新初始基准姿态，得到更新基准姿态；根据更新基准姿态以及第二部位姿态，确定第二姿态变换系数；以及根据第二姿态变换系数驱动虚拟形象。
[0005]根据本公开的另一方面，提供了一种虚拟形象驱动装置，包括：输入数据流接收模块，用于接收输入数据流，其中，输入数据流包括多个时序帧，任意一个时序帧与面部姿态相关联，面部姿态包括第一部位姿态和第二部位姿态，第二部位姿态包括多个第二子部位姿态，任意多个第一部位姿态之间的相关性小于多个第二子部位姿态之间的相关性；第一姿态变换系数确定模块，用于针对多个时序帧中的任意一个目标时序帧，根据初始基准姿态以及第一部位姿态，确定第一姿态变换系数；更新基准姿态确定模块，用于根据第一姿态变换系数更新初始基准姿态，得到更新基准姿态；第二姿态变换系数确定模块，用于根据更新基准姿态以及第二部位姿态，确定第二姿态变换系数；虚拟形象驱动模块，用于根据第二姿态变换系数驱动虚拟形象。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开实施例的方法。
[0008]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0009]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0010]图1示意性示出了根据本公开实施例的虚拟形象驱动方法和装置的系统架构图；
[0011]图2A示意性示出了根据本公开实施例的虚拟形象驱动方法的流程图；
[0012]图2B示意性示出了下巴
‑
嘴唇区域姿态的示意图；
[0013]图3示意性示出了根据本公开另一实施例的虚拟形象驱动方法的示意图；
[0014]图4示意性示出了根据本公开又一实施例的虚拟形象驱动方法的确定第三姿态变换系数示意图；
[0015]图5示意性示出了根据本公开又一实施例的虚拟形象驱动装置的框图；以及
[0016]图6示意性示出了可以实现本公开实施例的虚拟形象驱动方法的电子设备的框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0019]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0020]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0021]图1示意性示出了根据本公开一实施例的虚拟形象驱动方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0022]如图1所示，根据该实施例的系统架构100可以包括客户端101、102、103，网络104和服务器105。网络104用以在客户端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0023]用户可以使用客户端101、102、103通过网络104与服务器105交互，以接收或发送消息等。客户端101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0024]客户端101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。本公开实施例的客户
端101、102、103例如可以运行应用程序。
[0025]服务器105可以是提供各种服务的服务器，例如对用户利用客户端101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给客户端。另外，服务器105还可以是云服务器，即服务器105具有云计算功能。
[0026]需要说明的是，本公开实施例所提供的虚拟形象驱动方法可以由服务器105执行。相应地，本公开实施例所提供的虚拟形象驱动装置可以设置于服务器105中。本公开实施例所提供的虚拟形象驱动方法也可以由不同于服务器105且能够与客户端101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的虚拟形象驱动装置也可以设置于不同于服务器105且能够与客户端101、102、103和/或服务器105通信的服务器或服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象驱动方法，包括：接收输入数据流，其中，所述输入数据流包括多个时序帧，任意一个时序帧与面部姿态相关联，所述面部姿态包括第一部位姿态和第二部位姿态，所述第二部位姿态包括多个第二子部位姿态，任意多个所述第一部位姿态之间的相关性小于多个所述第二子部位姿态之间的相关性；针对所述多个时序帧中的任意一个目标时序帧，根据初始基准姿态以及所述第一部位姿态，确定第一姿态变换系数；根据所述第一姿态变换系数更新所述初始基准姿态，得到更新基准姿态；根据所述更新基准姿态以及所述第二部位姿态，确定第二姿态变换系数；以及根据所述第二姿态变换系数驱动虚拟形象。2.根据权利要求1所述的方法，其中，所述输入数据流包括顶点流数据，所述顶点流数据的每一个所述时序帧由多个图元顶点位置表征所述面部姿态；所述根据所述第二姿态变换系数驱动虚拟形象包括：针对所述目标时序帧，根据所述第二姿态变换系数以及所述目标时序帧对应的所述图元顶点位置，确定第二姿态变换差异数据；根据所述第二姿态变换差异数据以及所述第二姿态变换系数，确定第三姿态变换系数；以及根据所述第三姿态变换系数驱动虚拟形象。3.根据权利要求2所述的方法，其中，所述根据所述第二姿态变换差异数据以及所述第二姿态变换系数，确定第三姿态变换系数包括：根据所述第二姿态变换差异数据和所述初始基准姿态，确定第一差异姿态，所述第一差异姿态由相应的图元顶点的位置表征；利用第一骨骼节点数据对所述第一差异姿态进行骨骼分解，得到骨骼
‑
顶点第一关联数据，其中，所述第一骨骼节点数据包括第一骨骼节点的数量和位姿，所述骨骼
‑
顶点第一关联数据表征任意一个所述第一骨骼节点与所述第一差异姿态相应的图元顶点之间的关联权重；根据所述骨骼
‑
顶点第一关联数据，确定与所述骨骼
‑
节点第一关联数据对应的第二差异姿态；以及根据所述第二姿态变换系数和所述第二差异姿态，确定所述第三姿态变换系数。4.根据权利要求2所述的方法，其中，所述根据所述第三姿态变换系数驱动虚拟形象包括：针对所述目标时序帧，根据所述第三姿态变换系数以及所述目标时序帧对应的所述图元顶点位置，确定第三姿态变换差异数据；在所述第三姿态变换差异数据不满足姿态变换差异条件的情况下，根据所述第三姿态变换差异数据和所述第三姿态变换系数，确定第四姿态变换系数，其中，所述第四姿态变换系数对应的面部姿态与所述目标时序帧对应的图元顶点位置之间的差异数值满足所述姿态变换差异条件；以及根据所述第四姿态变换系数驱动虚拟形象。5.根据权利要求4所述的方法，其中，所述根据所述第三姿态变换差异数据和所述第三
姿态变换系数，确定第四姿态变换系数包括：根据所述第三姿态变换差异数据和所述初始基准姿态，确定第三差异姿态，所述第三差异姿态由相应的图元顶点的位置表征；利用第二骨骼节点数据对所述第三差异姿态进行骨骼分解，得到骨骼
‑
顶点第二关联数据，其中，所述第二骨骼节点数据包括第二骨骼节点的数量和位姿，所述骨骼
‑
顶点第二关联数据表征任意一个所述第二骨骼节点与所述第三差异姿态相应的图元顶点之间的关联权重；根据所述骨骼
‑
顶点第二关联数据，确定与所述骨骼
‑
节点第二关联数据对应的第四差异姿态；以及根据所述第三姿态变换系数和所述第四差异姿态，确定所述第四姿态变换系数。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述第一部位姿态包括以下中的至少一个：眼睛区域姿态、鼻子区域姿态以及下巴区域姿态；所述第二部位姿态包括以下中的至少一个：下巴
‑
牙齿区域姿态、下巴
‑
嘴唇区域姿态、眼睛
‑
眉毛区域姿态，所述下巴
‑
牙齿区域姿态包括下巴子区域姿态和牙齿子区域姿态，所述下巴
‑
嘴唇区域姿态包括下巴子区域姿态和嘴唇子区域姿态，所述眼睛
‑
眉毛区域姿态包括眼睛子区域姿态和眉毛子区域姿态。7.根据权利要求1
‑
5中任一项所述的方法，其中，姿态变换系数是根据姿态变换函数得到的，所述姿态变换函数与基准姿态、图元顶点位置相关，所述基准姿态包括所述初始基准姿态、所述更新基准姿态；所述姿态变换系数包括所述第一姿态变换系数、所述第二姿态变换系数、第三姿态变换系数以及第四姿态变换系数中的至少一个，所述第三姿态变换系数为根据所述第二姿态变换系数得到，所述第四姿态变换系数为根据所述第三姿态变换系数得到。8.根据权利要求2所述的方法，其中，姿态变换差异数据是根据姿态变换差异函数得到的，所述姿态变换差异函数与姿态变换系数和关键顶点的位置相关；所述关键顶点是根据表征性从全量的图元顶点中确定的；所述姿态变换差异数据包括所述第二姿态变换差异数据以及第三姿态变换差异数据中的至少一个，所述第三姿态变换差异数据为根据所述第三姿态变换系数得到。9.一种虚拟形象驱动装置，包括：输入数据流接收模块，用于接收输入数据流，其中，所述输入数据流包括多个时序帧，任意一个时序帧与面部姿态相关联，所述面部姿态包括第一部位姿态和第二部位姿态，所述第二部位姿态包括多个第二子部位姿态，任意多个所述第一部位姿态之间的相关性小于多个所述第二子部位姿态之间的相关性；第一姿态变换系数确定模块，用于针对所述多个时序帧中的任意一个目标时序帧，根据初始基准姿态以及所述第一部位姿态，确定第一姿态变换系数；更新基准姿态确定模块，用于根据所述第一姿态变换系数更新所述初始基准姿态，得到更新基准姿态；第二姿态变换系数确定模块，用于根据所述更新基准姿态...

【专利技术属性】
技术研发人员：张世昌，赵亚飞，郭紫垣，范锡睿，孙权，张伟伟，刘倩，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：