视频会议显示的控制方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种视频会议显示的控制方法、装置、电子设备及存储介质，上述视频会议显示的控制方法包括：获取视频会议的媒体数据，媒体数据包括视频数据以及音频数据；根据视频数据，获取第一身份信息；根据音频数据，获取第二身份信息；根据第一身份信息以及第二身份信息，确定视频会议的演讲者；以及根据接收到的显示指令，显示包含演讲者的面部的图像画面。本方法实现了根据视频会议的视频数据以及音频数据，分别获取到的第一身份信息以及第二身份信息，确定视频会议的演讲者，并根据接收到的显示指令，显示包含演讲者的面部的图像画面，可提高视频会议过程中演讲者的识别准确度，进而可提高视频会议过程中演讲者的图像画面的显示准确度。

【技术实现步骤摘要】
视频会议显示的控制方法、装置、电子设备及存储介质
本申请涉及多媒体通信
，更具体地，涉及一种视频会议显示的控制方法、装置、电子设备及存储介质。
技术介绍
在视频会议中，演讲者是会议中的重点关注方，与会人员除了需要关注演讲者内容，如演示文稿(PowerPoint，PPT)，同时演讲者的表情、动作、声音都能及时传达重要信息，因此，演讲者的图像画面也是与会人员重点关注的内容。传统视频会议系统利用摄像头对与会人员进行拍摄，同时利用麦克风阵列定位视频会议的发言者，并将定位出的发言者的图像显示于视频会议影像中，以作为视频会议的演讲者的图像画面进行显示。然而，利用麦克风阵列对视频会议的发言者进行定位时，易受到环境噪音的影响而导致定位不准确，从而导致视频会议的演讲者的定位不准确，进而导致视频会议演讲者的图像画面显示错误，因此，导致视频会议过程中演讲者的图像画面的显示准确度降低。
技术实现思路
鉴于上述问题，本申请提出了一种视频会议显示的控制方法、装置、电子设备及存储介质，能够实现根据视频会议的视频数据以及音频数据，分别获取到的第一身份信息以及第二身份信息，确定视频会议的演讲者，并根据接收到的显示指令，显示包含演讲者的面部的图像画面，能够同时根据声音识别以及视频识别来确定演讲者，摒除了环境噪音对识别过程的不良影响，其对演讲者识别的准确度较高，从而使视频会议过程中演讲者的图像画面的显示准确度相对较高，可提高视频会议过程中演讲者的识别准确度，进而可提高视频会议过程中演讲者的图像画面的显示准确度。第一方面，本申请实施例提供了一种视频会议显示的控制方法，包括：获取视频会议的媒体数据，媒体数据包括视频数据以及音频数据；根据视频数据，获取第一身份信息；根据音频数据，获取第二身份信息；根据第一身份信息以及第二身份信息，确定视频会议的演讲者；以及根据接收到的显示指令，显示包含演讲者的面部的图像画面。第二方面，本申请实施例提供了一种视频会议显示的控制装置，包括：第一获取模块，用于获取视频会议的媒体数据，媒体数据包括视频数据以及音频数据；第二获取模块，用于根据视频数据，获取第一身份信息；第三获取模块，用于根据音频数据，获取第二身份信息；确定模块，用于根据第一身份信息以及第二身份信息，确定视频会议的演讲者；以及显示模块，用于根据接收到的显示指令，显示包含演讲者的面部的图像画面。第三方面，本申请实施例提供了一种电子设备，包括：存储器；一个或多个处理器，与存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如上述第一方面提供的视频会议显示的控制方法。第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行如上述第一方面提供的视频会议显示的控制方法。本申请提供的方案，通过获取视频会议的媒体数据，媒体数据包括视频数据以及音频数据，并根据视频数据，获取第一身份信息，并根据音频数据，获取第二身份信息，并根据第一身份信息以及第二身份信息，确定视频会议的演讲者，以及根据接收到的显示指令，显示包含演讲者的面部的图像画面，因此，实现了根据视频会议的视频数据以及音频数据，分别获取到的第一身份信息以及第二身份信息，确定视频会议的演讲者，并根据接收到的显示指令，显示包含演讲者的面部的图像画面，能够同时根据声音识别以及视频识别来确定演讲者，摒除了环境噪音对识别过程的不良影响，其对演讲者识别的准确度较高，从而使视频会议过程中演讲者的图像画面的显示准确度相对较高，可提高视频会议过程中演讲者的识别准确度，进而可提高视频会议过程中演讲者的图像画面的显示准确度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请实施例提供的一种视频会议系统的运行环境示意图。图2示出了本申请实施例提供的视频会议显示的控制方法的一种流程示意图。图3示出了本申请实施例提供的视频会议显示的控制方法的另一种流程示意图。图4示出了本申请实施例提供的视频会议显示的控制方法的又一种流程示意图。图5示出了本申请实施例提供的一种应用场景中视频会议的显示方式示意图。图6示出了本申请实施例提供的另一种应用场景中视频会议的显示方式示意图。图7示出了本申请实施例提供的视频会议显示的控制装置的一种程序模块示意图。图8示出了本申请实施例提供的一种电子设备的功能模块示意图。图9示出了本申请实施例提供的用于保存或者携带现实本申请实施例的视频会议显示的控制方法的程序代码的计算机可读存储介质。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。视频会议，是指两个或两个以上不同地方的个人或群体，通过视频会议系统，使处于不同地方的个人或群体就像在同一会议室内沟通，通话双方均能看到彼此且能够进行语言交流，还能看到对方的表情和动作，如通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时且互动的沟通。传统视频会议系统利用摄像头对与会人员进行拍摄，同时利用麦克风阵列定位视频会议的发言者，并将定位出的发言者的图像显示于视频会议影像中，以作为视频会议的演讲者的图像画面进行显示。然而，利用麦克风阵列对视频会议的发言者进行定位时，易受到环境噪音的影响而导致定位不准确，从而导致视频会议的演讲者的定位不准确，进而导致视频会议演讲者的图像画面显示错误，因此，导致视频会议过程中演讲者的图像画面的显示准确度降低。针对上述问题，专利技术人经过长时间的研究并提出了本申请实施例提供的视频会议显示的控制方法、装置、电子设备及存储介质，可以通过获取到的视频会议的视频数据以及音频数据，分别获取第一身份信息以及第二身份信息，并根据第一身份信息以及第二身份信息，确定视频会议的演讲者，并将包含演讲者的面部的图像画面进行显示，能够同时根据声音识别以及视频识别来确定演讲者，摒除了环境噪音对识别过程的不良影响，其对演讲者识别的准确度较高，从而使视频会议过程中演讲者的图像画面的显示准确度相对较高，可提高视频会议过程中演讲者的识别准确度，进而可提高视频会议过程中演讲者的图像画面的显示准确度。请参阅图1，其示出了本申请实施例提供的一种应用场景的示意图，该应用场景包括视频会议系统100，该视频会议系统100可以包括控制模块110、视频数据采集模块120、音频数据采集模块130以及显示模块140。其中，控制模块110可以本文档来自技高网...

【技术保护点】
1.一种视频会议显示的控制方法，其特征在于，包括：/n获取视频会议的媒体数据，所述媒体数据包括视频数据以及音频数据；/n根据所述视频数据，获取第一身份信息；/n根据所述音频数据，获取第二身份信息；/n根据所述第一身份信息以及所述第二身份信息，确定视频会议的演讲者；以及/n根据接收到的显示指令，显示包含所述演讲者的面部的图像画面。/n

【技术特征摘要】
1.一种视频会议显示的控制方法，其特征在于，包括：
获取视频会议的媒体数据，所述媒体数据包括视频数据以及音频数据；
根据所述视频数据，获取第一身份信息；
根据所述音频数据，获取第二身份信息；
根据所述第一身份信息以及所述第二身份信息，确定视频会议的演讲者；以及
根据接收到的显示指令，显示包含所述演讲者的面部的图像画面。


2.根据权利要求1所述的控制方法，其特征在于，所述根据视频数据，获取第一身份信息，包括：
根据所述视频数据，在与会人员的图像画面中确定发言者；以及
根据所述发言者的人脸图像，确定所述第一身份信息，所述第一身份信息包括对应于所述发言者的面部特征信息。


3.根据权利要求2所述的控制方法，其特征在于，所述根据所述视频数据，在与会人员的图像画面中确定发言者，包括：
提取所述视频数据中的至少一个人脸图像，每个所述人脸图像对应于一个与会人员的面部；
分别获取每个所述人脸图像的唇部特征信息；以及
根据相邻帧的图像画面中的所述唇部特征信息的变化值以及预设的变化阈值，在所述与会人员的图像画面中确定所述发言者。


4.根据权利要求3所述的控制方法，其特征在于，所述根据相邻帧的图像画面中的所述唇部特征信息的变化值以及预设的变化阈值，在所述与会人员的图像画面中确定所述发言者，包括：
从所述与会人员的图像画面中选择所述唇部特征信息的变化值大于或等于所述预设的变化阈值的人脸图像所对应的与会人员，作为所述发言者。


5.根据权利要求1所述的控制方法，其特征在于，所述根据所述第一身份信息以及所述第二身份信息，确定视频会议的演讲者，包括：
根据所述第一身份信息，获取第一身份对应的第一置信度；
根据所述第二身份信息，获取第二身份对应的第二置信度；以及
当所述第一身份与所述第二身份相同，且所述第一置信度及所述第二置信度均大于或等于预设置信度时，确定所述演讲者的身份为所述第一身份。


6.根据权利要求5所述的控制方法，其特征在于，所述第一身份信息包括面部特征信息，所述根据所述第一身份信息，获取第一身份对应的第一置信度，包括：
将所述面部特征信息与预设的信息库进行匹配，其中，所述信息库包括多个用户的身份及所述多个用户的面部特征；
根据所述面部特征信息与所述多个用户的面部特征的比对结果，获得多个第一匹配度，多个所述第一匹配度与多个所述用户的身份一一对应；
从多个所述第一匹配度中选取匹配度最大的所述第一匹配度，作为第一目标匹配度；
确定所述第一目标匹配度所对应的用户的身份为第一身份；...

【专利技术属性】
技术研发人员：梅书慧，
申请(专利权)人：游密科技深圳有限公司，
类型：发明
国别省市：广东;44