虚拟对象处理方法、电子设备及存储介质技术

本申请公开了虚拟对象处理方法、电子设备及存储介质。其中虚拟对象处理方法，包括：获取对驱动对象进行编码处理得到的第一特征数据；获取第一特征数据相对于驱动对象的参考特征数据的变化数据；融合变化数据以及对虚拟对象进行编码处理得到的第二特征数据，得到更新数据；基于更新数据得到更新的虚拟对象。通过上述方式，本申请能够提升虚拟对象处理的效率。本申请能够提升虚拟对象处理的效率。本申请能够提升虚拟对象处理的效率。

【技术实现步骤摘要】
虚拟对象处理方法、电子设备及存储介质


[0001]本申请涉及视频图像处理
，特别是涉及虚拟对象处理方法、电子设备及存储介质。

技术介绍

[0002]随着智能终端的普及以及通信技术的发展，越来越多的人们享受了智能终端畅游高速网络所带来的乐趣。智能终端硬件和软件上的不断迭代，网络带宽的不断升级，能够让人们在智能终端上观看高清图像和视频。
[0003]为了使得呈现内容的多元化，视频或者图像往往会经过相应的处理。在视频或者图像中呈现虚拟对象。常见的虚拟对象一般是通过设计以及3D建模创建虚拟对象，然后通过真人动作捕捉实现，虚拟对象的动作变化，或者设计好相应状态的虚拟对象，通过后期人工进行图像处理替换视频或者图像中的对象，或者利用AI技术对词汇、表情提取动作序列，以实现虚拟对象的动作变化。

技术实现思路

[0004]本申请主要解决的技术问题是提供虚拟对象处理方法、电子设备及存储介质，能够调整提升处理的效率。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种虚拟对象处理方法，该方法包括：获取对驱动对象进行编码处理得到的第一特征数据；获取所述第一特征数据相对于所述驱动对象的参考特征数据的变化数据；融合所述变化数据以及对虚拟对象进行编码处理得到的第二特征数据，得到更新数据；基于所述更新数据得到更新的所述虚拟对象。
[0006]为了解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器和存储器；存储器分别耦接处理器，存储器中存储有计算程序，处理器能够执行计算机程序以实现上述的虚拟对象处理方法。
[0007]为了解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读的存储介质，其存储有计算机程序，计算机程序能够被处理器执行以实现上述的虚拟对象处理方法。
[0008]本申请的有益效果是：区别于现有技术的情况，通过对驱动对象进行编码得到第一特征数据，获取第一特征数据相对于参考数据的变化数据，使得驱动对象不同的第一特征数据能够基于较为统一的标准获得变化数据，能够快捷地得出有效的变化数据，以更有效地表征驱动对象的特征变化，此种处理计算处理压力小，而且出错率低，而且由于变化数据获取简单且能够有效地展示特征变化，使得利用变化数据与虚拟对象的第二特征数据进行融合后得出更新数据的精确度也较高，进而能够更加快捷有效地得出更新后的虚拟对象，过程简单且错误率较低，可以无需利用复杂的动作捕获等方式获取动作变化，而且也比利用文字或者表情所提取的特征变化所得出的虚拟对象更为精确展示特征变化以及正确
率更高。
附图说明
[0009]图1是本申请实施例一示例性实施场景的系统组成示意图；
[0010]图2是本申请虚拟对象处理方法实施例的第一流程示意图；
[0011]图3是本申请虚拟对象处理方法实施例的第二流程示意图；
[0012]图4是本申请虚拟对象处理方法实施例的第三流程示意图；
[0013]图5是本申请电子设备实施例的一示例性电路结构示意图；
[0014]图6是本申请计算机可读的存储介质实施例的示例性电路结构示意图。
具体实施方式
[0015]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0016]本申请的专利技术人经过长期研究发现，目前制作虚拟形象，一般需要设计以及3D建模，然后在制作好的虚拟形象上利用动作捕获的方式映射到虚拟形象上，进而使得虚拟形象可以产生想要达到的相应表情、动作等变化，或者通过AI的方式输入对应某些表情、动作等的词语或者语音，使得模型能够做出与词语或者语音相对应的动作或者表情。需要建立3D模型的虚拟形象，利用动作捕捉的方式需要投入较多的人力，难度较高、而且制作程序复杂，虽然动作映射较为精确，但成本极大，效率较低。而通过词语或者语音所得出的动作，错误率较高，也间接导致效率低下，难以在虚拟形象上呈现较好的动作、表情变化。为此，本申请提出以下实施例。
[0017]本申请以下实施例可以应用于直播和视频处理等场景中。以直播场景为例，如图1所示，直播系统1可以包括服务器10、观众端20和主播端30。服务器10、观众端20和主播端30可以为电子设备，具体观众端20和主播端30可以是移动终端、计算机、服务器或者其他终端等，移动终端可以是手机、笔记本电脑、平板电脑、智能穿戴设备等，计算机可以是台式电脑等。服务器10可以从主播端30中进行对直播数据流拉流，并将获取的直播数据流推流到观众端20。观众端20获取到直播数据流后即可观看主播或者嘉宾的直播过程。直播数据流的混流可以发生在服务器10、主播端30和观众端20中的至少一方。主播端30和主播端30之间、主播端30和观众端20之间均可以进行视频连麦或者语音连麦。在视频连麦中，连麦方可以将包括视频流在内的直播数据流推送到服务器10。以视频处理为例，可以通过电子设备对普通视频文件的画面或对象等进行处理。
[0018]以下实施例可以对上述举例的视频文件或者直播视频流在内的视频数据进行相应的处理，当然以下实施例也可以对图像进行相应的处理。
[0019]如图2所示，本申请虚拟对象处理方法实施例可以包括如下步骤：
[0020]S100：获取对驱动对象进行编码处理得到的第一特征数据。
[0021]驱动对象可以是指用于产生相应变化的对象。虚拟对象可以是指将相应变化作用于其上的对象，使其也能具有相应的变化。换言之，驱动对象产生的相应变化是用于驱动虚
拟对象也对应产生相应的变化。上述变化可以是包括表情和姿态等在内的变化。例如，在视频数据的画面中可以显示驱动对象，利用驱动对象产生的相应变化驱动视频数据外的虚拟对象产生相应变化，进而可以便于将虚拟对象替换驱动对象呈现在视频数据对应的画面中。
[0022]虚拟对象可以至少包括脸部特征，例如人脸或者其他动物脸。同样地，驱动对象可以包括脸部特征，例如人脸或者其他动物脸。可选地，人脸可以是卡通人脸或者普通人脸。
[0023]对驱动对象进行编码处理得到的第一特征数据，可以是指用于表征驱动对象的特征的数据。以人脸为例，第一特征数据可以包括表征脸型、肤色、发型、发色、眼睛以及开闭状态、嘴巴及其开闭状态和头部姿态等特征的数据。当然，除了人脸对象外的其他对象，同样可以通过编码方式获取表征该对象的特征的第一特征数据。
[0024]如图3所示，以视频数据为例，第一特征数据具体可以通过步骤S100包括的如下方式获取：
[0025]S110：获取视频数据。
[0026]对于直播而言，服务器10或主播端30可以获取直播过程中产生的视频数据，即在直播过程中依次接收视频数据的视频帧。在直播过程中，例如可以以主播的脸部作为驱动对象。
[0027本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象处理方法，其特征在于，包括：获取对驱动对象进行编码处理得到的第一特征数据；获取所述第一特征数据相对于所述驱动对象的参考特征数据的变化数据；融合所述变化数据以及对虚拟对象进行编码处理得到的第二特征数据，得到更新数据；基于所述更新数据得到更新的所述虚拟对象。2.根据权利要求1所述的虚拟对象处理方法，其特征在于：在所述获取所述第一特征数据相对于所述驱动对象的参考特征数据的变化数据之前，包括：获取具有所述驱动对象的参考图像；对所述参考图像进行编码处理，以获得所述驱动对象的所述参考特征数据。3.根据权利要求2所述的虚拟对象处理方法，其特征在于：在所述融合所述变化数据以及对虚拟对象进行编码得到的第二特征数据之前，包括：获取具有所述虚拟对象的预设静态图像；对所述预设静态图像进行编码处理，以获得所述虚拟对象的所述第二特征数据。4.根据权利要求3所述的虚拟对象处理方法，其特征在于：所述获取具有所述驱动对象的参考图像，包括：获取具有所述驱动对象的待处理图像；计算所述待处理图像的所述驱动对象和所述预设静态图像的所述虚拟对象的相似度；若所述相似度大于或等于预设阈值，则将所述待处理图像确定为所述参考图像。5.根据权利要求4所述的虚拟对象处理方法，其特征在于：所述计算所述待处理图像的所述驱动对象和所述静态图像的所述虚拟对象的相似度，包括：在所述待处理图像中获取所述驱动对象的多个第一关键特征点，并生成表征所述多个第一特征关键点的第一关键特征向量；在所述预设静态图像中获取所述虚拟对象的多个第二关键特征点，并生成表征所述多个第二关键特征点的第二关键特征向量；计算所述第一关键特征向量和所述第二关键特征向量之间的距离，以作为所述相似度。6.根据权利要求3所述的虚拟对象处理方法，其特征在于：所述获取对驱动对象进行编码处理得到的第一特征数据，包括：获取视频数据；对所述视频数据中具有所述驱动对象的视频帧进行编码处理，以获得对应的所述视频帧的所述驱动对象的第一特征数据。7.根据权利要求6所述的虚拟对象处理方法，其特征在于：所述对所述视频数据中具有所述驱动对象的视频帧进行编码处理，以获得所述视频帧的所述驱动对象的第一特征数据，包括：依次在所述视频数据的各视频帧中识别所述驱动对象；利用生成对抗网络对识别出所述驱动对象的视频帧进行编码，以获得对应的以多维特
征向量表达的所述第一特征数据；所述对所述参考图像进行编码处理，...

【专利技术属性】
技术研发人员：张树业，蔡海军，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：