【技术实现步骤摘要】
本申请属于计算机视觉领域，涉及图像处理技术，尤其涉及一种表情同步方法、装置、电子设备及存储介质。
技术介绍
1、元宇宙是一个结合了各种虚拟元素的虚拟世界，用户可以通过驱动元宇宙环境下的虚拟人物执行与用户相同的动作或者表情。目前，虚拟现实(augmented reality，ar)增强现实开发组件(例如，arkit应用)通过使用深度摄像头能够非常准确地捕捉到用户的面部表情与头部姿态，但实现这类方法需要配套的硬件成本较高以及设备产生的功耗较大，在表情同步领域中普适性较差。此外，目前的表情同步方法容易在用户人脸被遮挡、视频模糊等情况下直接输出表情异常值，导致虚拟人物同步输出的表情扭曲变形，无法稳定地同步现实世界与虚拟世界的人物状态，影响用户体验。
技术实现思路
1、本申请实施例提供一种表情同步方法、装置、电子设备及存储介质，能够解决相关技术中的用户表情映射至虚拟人物时稳定性较差的技术问题。
2、本申请实施例提供了一种表情同步方法，应用于电子设备，所述方法包括：响应于用户开启预设应用的触发操作，采集所述用户的视频帧序列，并在所述电子设备的显示屏显示所述预设应用的应用界面，所述应用界面包括预先创建的虚拟人物；基于从所述视频帧序列中识别的目标人脸图像，控制所述虚拟人物的表情，包括：获取所述视频帧序列的当前视频帧，得到从所述当前视频帧中识别的当前人脸图像，将所述当前人脸图像作为所述目标人脸图像；将所述当前人脸图像输入预设的表情同步模型，输出第一表情结果、口部识别结果、眼部识别结果以及
3、本申请的一些实施例中，所述基于从所述视频帧序列中识别的目标人脸图像，控制所述虚拟人物的表情，包括：获取所述视频帧序列的在先视频帧，以及从所述在先视频帧中识别的在先人脸图像，所述在先视频帧为所述当前视频帧的前一视频帧；若所述当前视频帧的所述当前人脸图像未达到所述清晰度，舍弃所述当前人脸图像，并将所述在先人脸图像作为所述目标人脸图像；基于所述在先人脸图像对应的历史表情结果，控制所述虚拟人物的表情。
4、本申请的一些实施例中，所述对所述第二表情结果进行平滑处理，得到第三表情结果，包括：利用预设的数学模型对所述历史表情结果与所述第二表情结果进行加权计算，得到所述第三表情结果。
5、本申请的一些实施例中，所述基于所述口部识别结果和/或所述眼部识别结果更新所述第一表情结果，包括：若所述口部识别结果指示存在遮挡，且所述眼部识别结果也指示存在遮挡时，将所述第一表情结果中的口部形态值与眼部形态值更新为预设值；若所述口部识别结果指示存在遮挡，且所述眼部识别结果指示未存在遮挡时，将所述第一表情结果中的口部形态值更新为所述预设值；若所述口部识别结果指示未存在遮挡，且所述眼部识别结果指示存在遮挡时，将所述第一表情结果中的眼部形态值更新为所述预设值。
6、本申请的一些实施例中，在所述基于从所述视频帧序列中识别的目标人脸图像之前，所述方法还包括：将所述视频帧序列输入预设的人脸检测模型，得到人脸检测结果。
7、本申请的一些实施例中，所述方法还包括：若所述人脸检测结果表示识别到所述目标人脸图像，基于所述目标人脸图像，控制所述虚拟人物的表情；若所述人脸检测结果表示未识别到所述目标人脸图像，将所述口部形态值与所述眼部形态值更新为所述预设值，并控制所述虚拟人物展示无表情的脸部状态。
8、本申请的一些实施例中，所述方法还包括：对所述表情同步模型进行训练，包括：获取训练数据以及所述训练数据对应的训练标签，所述训练数据包括表情形态训练数据、口部训练数据、眼部训练数据以及图像质量训练数据；将所述训练数据输入初始表情同步模型，输出所述表情形态训练数据对应的第一预测结果、所述口部训练数据对应的第二预测结果、所述眼部训练数据对应的第三预测结果与所述图像质量训练数据对应的第四预测结果；根据所述第一预测结果与所述表情形态训练数据对应的训练标签，计算第一损失函数值；根据所述第二预测结果与所述口部训练数据对应的训练标签，计算第二损失函数值；根据所述第三预测结果与所述眼部训练数据对应的训练标签，计算第三损失函数值；根据所述第四预测结果与所述图像质量训练数据对应的训练标签，计算第四损失函数值；计算所述第一损失函数值、所述第二损失函数值、所述第三损失函数值与所述第四损失函数值的总损失函数值；基于所述总损失函数值对所述初始表情同步模型进行训练，直至所述初始表情同步模型的更新的总损失函数值收敛至预设范围内，将所述总损失函数值收敛时的初始表情同步模型作为所述表情同步模型。
9、本申请还提供了一种表情同步装置，包括：响应模块，用于响应于用户开启预设应用的触发操作，采集所述用户的视频帧序列，并在所述电子设备的显示屏显示所述预设应用的应用界面，所述应用界面包括预先创建的虚拟人物；表情同步模块，用于基于从所述视频帧序列中识别的目标人脸图像，控制所述虚拟人物的表情，所述表情同步模块包括：获取子模块、图像识别子模块、更新子模块、平滑处理子模块、表情同步子模块；所述获取子模块，用于获取所述视频帧序列的当前视频帧，得到从所述当前视频帧中识别的当前人脸图像，将所述当前人脸图像作为所述目标人脸图像；所述图像识别子模块，用于将所述当前人脸图像输入预设的表情同步模型，输出第一表情结果、口部识别结果、眼部识别结果以及所述当前人脸图像的图像质量检测结果；所述更新子模块，用于若所述图像质量检测结果表示所述当前人脸图像达到预设的清晰度，基于所述口部识别结果和/或所述眼部识别结果更新所述第一表情结果，得到第二表情结果；所述平滑处理子模块，用于对所述第二表情结果进行平滑处理，得到第三表情结果；所述表情同步子模块，用于控制所述虚拟人物展示所述第三表情结果指示的表情。
10、本申请实施例还提供了一种电子设备，包括：存储器，及处理器，所述处理器执行所述存储器中存储的计算机可读指令，实现所述的表情同步方法。
11、本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现表情同步方法。
12、在本申请实施例提供的表情同步方法中，响应于用户开启预设应用的触发操作，采集用户的视频帧序列，并在电子设备的显示屏显示预设应用的应用界面，该应用界面包含预先创建的虚拟人物，能够在响应触发操作时，同时采集用户的视频帧序列与显示包含虚拟人物的应用界面，建立用户与虚拟人物之间的关联。基于从视频帧序列中识别的目标人脸图像，控制虚拟人物的表情，同步用户的表情与虚拟人物的表情，能够提高用户的体验感。同步用户的表情与虚拟人物的表情，具体包括：获取视频帧序列的当前视频帧，得到从当前视频帧中识别的当前人脸图像，将当前人脸图像本文档来自技高网...
【技术保护点】
1.一种表情同步方法，应用于电子设备，其特征在于，所述方法包括：
2.根据权利要求1所述的表情同步方法，其特征在于，所述基于从所述视频帧序列中识别的目标人脸图像，控制所述虚拟人物的表情，包括：
3.根据权利要求2所述的表情同步方法，其特征在于，所述对所述第二表情结果进行平滑处理，得到第三表情结果，包括：
4.根据权利要求1所述的表情同步方法，其特征在于，所述基于所述口部识别结果和/或所述眼部识别结果更新所述第一表情结果，包括：
5.根据权利要求4所述的表情同步方法，其特征在于，在所述基于从所述视频帧序列中识别的目标人脸图像之前，所述方法还包括：
6.根据权利要求5所述的表情同步方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的表情同步方法，其特征在于，所述方法还包括：对所述表情同步模型进行训练，包括：
8.一种表情同步装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，
...【技术特征摘要】
1.一种表情同步方法，应用于电子设备，其特征在于，所述方法包括：
2.根据权利要求1所述的表情同步方法，其特征在于，所述基于从所述视频帧序列中识别的目标人脸图像，控制所述虚拟人物的表情，包括：
3.根据权利要求2所述的表情同步方法，其特征在于，所述对所述第二表情结果进行平滑处理，得到第三表情结果，包括：
4.根据权利要求1所述的表情同步方法，其特征在于，所述基于所述口部识别结果和/或所述眼部识别结果更新所述第一表情结果，包括：
5.根据权利要求4所述的表情同步方法，其特征在于，在所述基...
【专利技术属性】
技术研发人员：冯进亨，
申请(专利权)人：广州海外扛把子网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。