数据展示方法、装置、电子设备以及计算机可读存储介质制造方法及图纸

本公开提供了一种数据展示方法、装置、电子设备以及计算机可读存储介质，其中，该方法包括：获取真实主播在直播过程中的多帧视频图像；检测每帧所述视频图像中所述真实主播的头部姿态；在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在所述视频直播画面中展示目标特效动画；其中，视频直播画面展示有所述真实主播驱动的虚拟主播模型。播模型。播模型。

【技术实现步骤摘要】
数据展示方法、装置、电子设备以及计算机可读存储介质


[0001]本公开涉及图像处理的
，具体而言，涉及一种数据展示方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]随着网络技术发展，实时视频交流如网络直播成为一种越来越流行的娱乐方式。在直播的过程中，一般情况下要求主播面对主播方终端的显示屏幕，从而增强主播和观众之间的互动效果。在一些特殊情况下，当主播的面部从显示屏幕上消失时，不仅影响为该主播所添加的动画特效的展示效果，还降低观众观看该直播视频的观看体验。同时，由于观众离开直播室，还将间接影响主播的直播体验，以及直播热度。

技术实现思路

[0003]本公开实施例至少提供一种数据展示方法、装置、电子设备以及计算机可读存储介质。
[0004]第一方面，本公开实施例提供了一种数据展示方法，包括：获取真实主播在直播过程中的多帧视频图像；检测每帧所述视频图像中所述真实主播的头部姿态；在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。
[0005]针对虚拟直播领域，在检测到真实主播的头部长时间处于指定姿态的情况下，此时，可能导致视频直播画面中展示的虚拟主播模型的头部出现抖动，从而影响主播的直播体验，以及观看体验。在本公开技术方案中，通过在视频直播画面中展示虚拟主播模型，可以增强直播的趣味性和互动性，进一步地，在确定出真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，可以通过在视频直播画面中展示驱动虚拟主播模型所对应的目标特效动画，保证虚拟主播模型的头部处于稳定的播放状态，同时还可以丰富视频主播画面的展示内容，从而使得视频直播画面不再过于单调，进而解决传统的直播场景下在匹配不到真实主播的面部画面的情况下所导致虚拟主播模型显示异常的问题。
[0006]一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征所述第一面部朝向的变化信息；基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。
[0007]上述实施方式中，通过根据当前时刻真实主播的第一面部朝向确定真实主播的头部姿态的变化信息，进而根据该变化信息确定真实主播的头部姿态，可以实现利用视频序列中的时序信息(即，相邻的视频图像)对真实主播的头部姿态的变化信息进行分析，相比于基于单帧视频图像确定头部姿态的方式，本公开技术方案所提供的方法可以提高头部姿
态的准确率，从而得到更加准确的姿态结果。
[0008]一种可选的实施方式中，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。
[0009]一种可选的实施方式中，基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。
[0010]上述实施方式中，通过将目标夹角的变化信息与第一阈值和第二阈值进行比较的方式，可以实现通过多阈值比较的方式确定真实主播的头部姿态，进而提高真实主播的头部姿态的准确率，从而防止单阈值技术方案所带来的真实主播头部姿态的频繁变化。
[0011]一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。
[0012]上述实施方式中，在真实主播的面部侧对视频采集装置的情况下，在视频直播画面中无法显示完整的面部特征点。此时，残缺的面部特征点将影响头部姿态的确定结果。基于此，通过深度学习模型对视频直播画面进行姿态估计，得到真实主播的头部姿态，可以提高真实主播头部姿态的估计准确率。
[0013]一种可选的实施方式中，所述通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，包括：获取所述目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；通过深度学习模型对所述视频直播画面和所述目标参考图像帧进行处理，得到所述真实主播的头部姿态。
[0014]上述实施方式中，通过结合视频序列中的时序信息，来预测当前时刻视频直播画面中真实主播的头部姿态，可以将根据N个图像帧(或者M个图像帧)确定出的真实主播的头部姿态作为当前时刻待处理的视频直播画面的引导信息，从而指引深度学习模型预测当前时刻视频直播画面中真实主播的头部姿态，以得到更加准确的头部姿态的检测结果。
[0015]一种可选的实施方式中，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：对所述视频图像中所述真实主播的面部进行特征点检测，得到特征点检测结果，其中，所述特征点检测结果用于表征所述真实主播面部特征点的特征信息；根据所述特征点检测结果确定所述真实主播的第二面部朝向，其中，所述第二面部朝向用于表征所述真实主播的面部相对于视频采集装置的方位信息；根据所述第二面部朝向确定所述真实主播的头部姿态。
[0016]上述实施方式中，通过根据对视频图像中真实主播的面部进行特征点检测的特征点检测结果确定真实主播的第二面部朝向，可以确定真实主播相对于视频采集装置的方位信息，例如，真实主播正面朝向视频采集装置，或者，真实主播侧对视频采集装置。由于真实主播侧对视频采集装置时，无法采集完整面部图像，在此情况下，将影响真实主播头部姿态
的准确率。通过分正面朝向和未正面朝向两种情况确定真实主播的头部姿态，可以提高真实主播的头部姿态的准确率。
[0017]一种可选的实施方式中，所述在所述视频直播画面中展示目标特效动画，包括：确定所述头部姿态的姿态类型；确定与所述姿态类型相匹配的特效动画，将所述相匹配的特效动画作为驱动所述虚拟主播模型所展示的所述目标特效动画，并在所述视频直播画面中展示所述目标特效动画。
[0018]上述实施方式中，根据不同的头部姿态的姿态类型，触发不同类型的特效动画的方式，可以丰富特效动画的展示内容，从而增加直播过程中的直播趣味性，为用户提供更加的直播体验。
[0019]一种可选的实施方式中，所述在所述视频直播画面中展示目标特效动画，包括：确定观看所述真实主播驱动的虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据展示方法，其特征在于，包括：获取真实主播在直播过程中的多帧视频图像；检测每帧所述视频图像中所述真实主播的头部姿态；在根据所述多帧视频图像对应的所述头部姿态，确定出所述真实主播的头部处于指定姿态的时间长度满足特效触发要求的情况下，在视频直播画面中展示目标特效动画；所述视频直播画面展示有所述真实主播驱动的虚拟主播模型。2.根据权利要求1所述的方法，其特征在于，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部正面朝向视频采集装置的情况下，确定当前时刻所述真实主播的第一面部朝向；根据所述第一面部朝向确定所述真实主播的头部姿态的变化信息；所述变化信息用于表征所述第一面部朝向的变化信息；基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态。3.根据权利要求2所述的方法，其特征在于，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向增大至超过第一阈值的情况下，确定所述真实主播的头部姿态从非指定姿态变化为所述指定姿态。4.根据权利要求2或3项所述的方法，其特征在于，所述基于所述变化信息确定每帧所述视频图像中所述真实主播的所述头部姿态，包括：在根据所述变化信息确定出所述第一面部朝向由超过第一阈值降低至小于第二阈值的情况下，确定所述真实主播的头部姿态从所述指定姿态变化为非指定姿态，其中，所述第二阈值小于所述第一阈值。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述检测每帧所述视频图像中所述真实主播的头部姿态，包括：在确定出所述真实主播的面部未正面朝向视频采集装置的情况下，通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，并根据所述头部姿态确定所述真实主播的头部是否处于所述指定姿态。6.根据权利要求5所述的方法，其特征在于，所述通过深度学习模型对所述视频直播画面进行处理，得到所述真实主播的头部姿态，包括：获取目标参考图像帧；其中，所述目标参考图像帧包括至少以下一种图像帧：所述视频直播画面所属的视频序列中位于该视频直播画面之前的N个图像帧、所述视频直播画面所属的视频序列中前M个图像帧，N和M为大于零的正整数；通过深度学习模型对所述视频直播画面和所述目标参考...

【专利技术属性】
技术研发人员：邱丰，王佳梨，王权，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：