基于连麦直播的直播画面处理方法、装置及电子设备制造方法及图纸

本申请提供了基于连麦直播的直播画面处理方法、装置及电子设备，涉及直播技术领域，该方法通过获取进行连麦直播的至少两路直播视频流，对至少一路直播视频流进行人脸朝向识别，确定直播视频流中的主播人物的人脸朝向，并计算人脸朝向与预设指示朝向之间的偏差角度；在偏差角度达到预设角度阈值时，对直播视频流进行翻转处理得到翻转直播视频流，利用翻转直播视频流合成得到连麦直播视频流。本技术方案能够实现将直播视频流中相关画面的翻转处理，提高连麦直播过程中的直播互动的视觉效果。

【技术实现步骤摘要】
基于连麦直播的直播画面处理方法、装置及电子设备
本申请涉及直播
，具体而言，本申请涉及一种基于连麦直播的直播画面处理方法、装置及电子设备，还涉及一种计算机可读存储介质。
技术介绍
目前，随着互联网应用的兴起，用户越来越倾向于选择在线视频直播或小视频的方法，与他人分享一些趣闻或进行现场才艺表演。其中，连麦直播业务是指主播通过主播终端与主播连麦者的终端(也称为接入终端)建立连麦会话连接，在建立连麦会话连接之后，主播可以与直播连麦者进行双向的音视频互动，而观众可以观看该主播与该直播连麦者的音视频互动过程。在连麦直播技术中，主播终端获取自身采集的主播直播画面，也即是第一直播画面，并获取接入终端采集的直播连麦者的直播画面，也即是第二直播画面，将第一直播画面和第二直播画面进行缩放、裁剪和重布局后合成视频流发送到观众终端进行展示。为了构造出较为真实的互动效果，直播平台给出相关提示以提醒主播朝向指定方向以在合成画面营造出主麦主播和连麦主播面对面互动的效果，例如，主麦主播向左伸出手，连麦主播向右伸出手，做出握手动作，然而在实践中，主播有时候没有按照指定方向做出动作，例如，主麦主播向右伸出手，连麦主播也向右伸出手，导致握手动作失败，影响主播互动效果。
技术实现思路
本申请的目的旨在至少解决上述技术缺陷之一，特别是连麦直播画面不协调，影响主播间交互效果的问题。第一方面，本申请提供了一种基于连麦直播的直播画面处理方法，包括以下步骤：获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向；计算所述人脸朝向与预设指示朝向之间的偏差角度；在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理得到翻转直播视频流，利用所述翻转直播视频流合成得到连麦直播视频流。在一种可能的实现方式中，所述获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向的步骤包括：从主播终端获取主麦主播所在的第一直播图像序列，从接入终端获取连麦主播的第二直播图像序列；提取所述第一直播图像序列和所述第二直播图像序列中的至少一者中人脸区域的特征关键点；根据所述特征关键点对所述直播视频流进行人脸朝向识别，得到对应的图像序列中主播人物的人脸姿态；基于所述人脸姿态确定所述直播视频流中的主播人物的人脸朝向。在一种可能的实现方式中，所述计算所述人脸朝向与预设指示朝向之间的偏差角度的步骤包括：根据所述人脸朝向估计所述主播人物的头部偏转角度；计算所述头部偏转角度与预设指示朝向对应的标准角度的差值，得到所述人脸朝向与预设指示朝向之间的偏差角度。在一种可能的实现方式中，所述在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理的步骤包括：在所述偏差角度达到预设角度阈值、且持续时间达到预设时间阈值时，根据所述偏差角度对所述直播视频流中的主播人物进行水平翻转处理得到翻转直播视频流。在一种可能的实现方式中，所述对所述直播视频流进行翻转处理得到翻转直播视频流的步骤包括：在预设时间段内检测到所述直播视频流中的主播人物开始做出指定动作时，在所述直播视频流对应的视频图像上插入翻转开始标识，得到翻转开始位置；当检测到所述直播视频流中的主播人物结束做出指定动作时，在所述直播视频流对应的视频图像上插入翻转结束标识，得到翻转结束位置；对翻转开始位置和翻转结束位置之间的直播视频流中的主播人物进行翻转处理。在一种可能的实现方式中，所述利用所述翻转直播视频流合成得到连麦直播视频流的步骤包括：获取预先配置的连麦直播画面的合成模板；根据所述合成模板将所述翻转直播视频流与其他参与连麦的直播视频流进行合成，得到连麦直播视频流。在一种可能的实现方式中，所述翻转直播视频流为连麦主播所在的直播视频流；所述根据所述合成模板将所述翻转直播视频流与其他参与连麦的直播视频流进行合成，得到连麦直播视频流的步骤包括：按照所述合成模板，将主麦主播所对应的直播视频流设置在所述合成模块的左侧，将所述翻转直播视频流设置在所述合成模板的右侧进行合成，得到连麦直播视频流。第二方面，本申请提供了一种基于连麦直播的直播画面处理装置，包括：人脸朝向确定模块，用于获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向；偏差角度计算模块，用于计算所述人脸朝向与预设指示朝向的偏差角度；直播视频合成模块，用于在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理得到翻转直播视频流，利用所述翻转直播视频流合成得到连麦直播视频流。第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所提及的基于连麦直播的直播画面处理方法。第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现第一方面所提及的基于连麦直播的直播画面处理方法。上述实施例提供的基于连麦直播的直播画面处理方法、装置及电子设备，通过获取进行连麦直播的至少两路直播视频流，对至少一路直播视频流进行人脸朝向识别，确定直播视频流中的主播人物的人脸朝向，并计算人脸朝向与预设指示朝向之间的偏差角度；在偏差角度达到预设角度阈值时，对直播视频流进行翻转处理得到翻转直播视频流，利用翻转直播视频流合成得到连麦直播视频流，在主麦主播或连麦主播做出的动作不符合预设指示朝向时，实现直播视频流中相关画面的翻转处理，避免了主麦主播或连麦主播做出错误朝向的动作影响直播互动效果，提供连麦主播过程中主播之间互动成功率，提高直播互动效果。本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1A是本申请一实施例提供的一种连麦直播的直播系统的示意图；图1B是本申请一实施例提供的一种连麦直播的直播系统的另一示意图；图1C是相关技术中连麦直播的合成画面示意图；图2是一实施例提供的一种基于连麦直播的直播画面处理方法的流程图；图3A是本申请一实施例提供的连麦直播的合成画面的第一示意图；图3B是本申请一实施例提供的连麦直播的合成画面的第二示意图；图3C是本申请一实施例提供的连麦直播的合成画面的第三示意图；图4是本申请实施例提供的一种基于连麦直播的直播画面处理装置的结构示意图；图5为本申请一实施例提供的一种电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中本文档来自技高网...

【技术保护点】
1.一种基于连麦直播的直播画面处理方法，其特征在于，包括以下步骤：/n获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向；/n计算所述人脸朝向与预设指示朝向之间的偏差角度；/n在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理得到翻转直播视频流，利用所述翻转直播视频流合成得到连麦直播视频流。/n

【技术特征摘要】
1.一种基于连麦直播的直播画面处理方法，其特征在于，包括以下步骤：
获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向；
计算所述人脸朝向与预设指示朝向之间的偏差角度；
在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理得到翻转直播视频流，利用所述翻转直播视频流合成得到连麦直播视频流。


2.根据权利要求1所述的基于连麦直播的直播画面处理方法，其特征在于，所述获取进行连麦直播的至少两路直播视频流，对至少一路所述直播视频流进行人脸朝向识别，确定所述直播视频流中的主播人物的人脸朝向的步骤包括：
从主播终端获取主麦主播所在的第一直播图像序列，从接入终端获取连麦主播的第二直播图像序列；
提取所述第一直播图像序列和所述第二直播图像序列中的至少一者中人脸区域的特征关键点；
根据所述特征关键点对所述直播视频流进行人脸朝向识别，得到对应的图像序列中主播人物的人脸姿态；
基于所述人脸姿态确定所述直播视频流中的主播人物的人脸朝向。


3.根据权利要求1所述的基于连麦直播的直播画面处理方法，其特征在于，所述计算所述人脸朝向与预设指示朝向之间的偏差角度的步骤包括：
根据所述人脸朝向估计所述主播人物的头部偏转角度；
计算所述头部偏转角度与预设指示朝向对应的标准角度的差值，得到所述人脸朝向与预设指示朝向之间的偏差角度。


4.根据权利要求1所述的基于连麦直播的直播画面处理方法，其特征在于，所述在所述偏差角度达到预设角度阈值时，对所述直播视频流进行翻转处理的步骤包括：
在所述偏差角度达到预设角度阈值、且持续时间达到预设时间阈值时，根据所述偏差角度对所述直播视频流中的主播人物进行水平翻转处理得到翻转直播视频流。


5.根据权利要求1所述的基于连麦直播的直播画面处理方法，其特征在于，所述对所述直播视频流进行翻转处理得到翻转直播视频流的步骤包括：
在预设时间段内检测到所述直播视频流中的主播人物开始做出指定动作时，在所...

【专利技术属性】
技术研发人员：罗飞龙，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东;44