直播监测方法技术

本申请提供一种直播监测方法

【技术实现步骤摘要】
直播监测方法、装置及电子设备


[0001]本申请涉及直播
，具体而言，涉及一种直播监测方法
、
装置及电子设备
。

技术介绍

[0002]目前，随着网络直播技术的不断发展，用户可参与的线上娱乐项目越来越多，其中，网络直播由于实时性强且交互性强的特点，受到越来越多用户的喜爱
。
但是，随着直播行业的快速发展，往往会出现一些不良直播信息在网络上传播的情况，从而造成了不良的社会影响
。
为了保证直播行业的良性发展，需要对主播直播的视频信息进行监测，查封存在风险的违规直播行为
。
[0003]通常，针对诸如性暗示舞蹈
、
低俗不雅举动等具备时序性质的违规行为，采取的监测方式为：从直播视频流中提取关键帧，生成对应的图片，再根据图片特征来判断是否包含违规行为
。
然而，直播场景画面信息丰富，仅从单帧截图层面做出违规决策判定无法使直播监测精准有效，且无法准确地识别出存在风险的直播间，从而导致风险直播视频违规播放
。

技术实现思路

[0004]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种直播监测方法
、
装置及电子设备
。
[0005]第一方面，本申请实施例提供一种直播监测方法，所述直播监测方法包括：
[0006]获取直播间的直播视频及与所述直播视频对应的互动信息；
[0007]基于所述直播视频，获取所述直播视频的图像运动特征；
[0008]基于所述互动信息，获取与所述直播视频相关的互动特征，所述互动特征表征在所述直播视频对应的时间段内用户的互动频次的变化趋势；
[0009]将所述图像运动特征与所述互动特征进行融合，生成目标融合特征；
[0010]根据所述目标融合特征监测所述直播视频是否存在违规风险
。
[0011]在一种可能的实现方式中，所述基于所述直播视频，获取所述直播视频的图像运动特征的步骤，包括：
[0012]对所述直播视频中的多个直播视频图像进行光流分析，获得多个所述直播视频图像对应的光流信息图；
[0013]根据所述光流信息图，获取所述直播视频的图像运动特征
。
[0014]在一种可能的实现方式中，所述根据所述光流信息图，获取所述直播视频的图像运动特征的步骤，包括：
[0015]对各所述光流信息图进行特征提取，获得各所述光流信息图对应的光流特征信息；
[0016]按照时序对各所述光流特征信息进行时序特征提取，获得光流时序特征作为所述直播视频的图像运动特征
。
[0017]在一种可能的实现方式中，所述按照时序对各所述光流特征信息进行时序特征提
取，获得光流时序特征作为所述直播视频的图像运动特征的步骤，包括：
[0018]基于所述光流特征信息，通过
Bi
‑
GRU
捕捉所述直播视频的光流时序特征；
[0019]利用自注意力机制，获取所述光流时序特征的权重，对所述光流时序特征进行分配，获取所述直播视频的图像运动特征
。
[0020]在一种可能的实现方式中，所述互动信息包括文本互动信息；
[0021]所述基于所述互动信息，获取与所述直播视频相关的互动特征的步骤，包括：
[0022]按照设定时间间隔获取所述直播间内的文本互动频次，所述文本互动频次包括弹幕信息发送量；
[0023]按时序将根据多个时间间隔内的文本互动频次生成互动频次向量；
[0024]对所述互动频次向量进行特征提取，获得所述互动特征
。
[0025]在一种可能的实现方式中，所述方法还包括：
[0026]对所述直播视频中的音频信息进行特征提取，获得音频特征；
[0027]将所述图像运动特征与所述互动特征进行融合，生成目标融合特征的步骤，包括：
[0028]将所述图像运动特征
、
所述互动特征及所述音频特征进行融合，生成目标融合特征
。
[0029]在一种可能的实现方式中，所述将所述图像运动特征与所述互动特征进行融合，生成目标融合特征的步骤之后，包括：
[0030]基于所述目标融合特征，通过
Projector
网络结构进行融合决策，监测所述直播视频是否存在违规风险
。
[0031]第二方面，本申请实施例还提供一种直播监测装置，包括：
[0032]接收模块：用于获取直播间的直播视频及与所述直播视频对应的互动信息；
[0033]图像处理模块：用于基于所述直播视频，获取所述直播视频的图像运动特征；
[0034]互动信息处理模块：用于基于所述互动信息，获取与所述直播视频相关的互动特征，所述互动特征表征在所述直播视频对应的时间段内观众用户的互动频次的变化趋势；
[0035]融合模块：用于将所述图像运动特征与所述互动特征进行融合，生成目标融合特征；
[0036]监测模块：用于根据所述目标融合特征监测所述直播视频是否存在违规风险
。
[0037]第三方面，本申请实施例还提供一种电子设备，包括：
[0038]存储器，用于存储一个或多个程序；
[0039]处理器，当所述一个或多个程序被所述处理器执行时，实现上述第一方面提供的直播截图处理方法
。
[0040]第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述第一方面提供的直播截图处理方法
。
[0041]基于上述任意一个方面，本申请实施例提供的一种直播监测方法
、
装置及电子设备，通过获取直播视频的图像运动特征以及互动信息的互动特征，并将图像运动特征与互动特征融合，实现图像序列模态与互动信息模态的联合决策，有效克服了单帧图像的决策弊端，从而实现更为精准有效的违规动作行为监测目的
。
附图说明
[0042]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图
。
[0043]图1为本实施例提供的直播监测方法的一种示意性应用场景图；
[0044]图2为本实施例提供的直播监测方法的一种示意性流程图；
[0045]图3为本实施例提供的步骤
S200
的子步骤示意图；
[0046]图4为本实施例提供的步骤
S220
的子步骤示意图；
[0047]图5为本实施例提供的步骤
S222
的子步骤示意图；
[0048]图6为本实施例提供的网络结构示意图之一；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种直播监测方法，其特征在于，所述方法包括：获取直播间的直播视频及与所述直播视频对应的互动信息；基于所述直播视频，获取所述直播视频的图像运动特征；基于所述互动信息，获取与所述直播视频相关的互动特征，所述互动特征表征在所述直播视频对应的时间段内用户的互动频次的变化趋势；将所述图像运动特征与所述互动特征进行融合，生成目标融合特征；根据所述目标融合特征监测所述直播视频是否存在违规风险
。2.
根据权利要求1所述的直播监测方法，其特征在于，所述基于所述直播视频，获取所述直播视频的图像运动特征的步骤，包括：对所述直播视频中的多个直播视频图像进行光流分析，获得多个所述直播视频图像对应的光流信息图；根据所述光流信息图，获取所述直播视频的图像运动特征
。3.
根据权利要求2所述的直播监测方法，其特征在于，所述根据所述光流信息图，获取所述直播视频的图像运动特征的步骤，包括：对各所述光流信息图进行特征提取，获得各所述光流信息图对应的光流特征信息；按照时序对各所述光流特征信息进行时序特征提取，获得光流时序特征作为所述直播视频的图像运动特征
。4.
根据权利要求3所述的直播监测方法，其特征在于，所述按照时序对各所述光流特征信息进行时序特征提取，获得光流时序特征作为所述直播视频的图像运动特征的步骤，包括：基于所述光流特征信息，通过
Bi
‑
GRU
捕捉所述直播视频的光流时序特征；利用自注意力机制，获取所述光流时序特征的权重，对所述光流时序特征进行分配，获取所述直播视频的图像运动特征
。5.
根据权利要求1所述的直播监测方法，其特征在于，所述互动信息包括文本互动信息；所述基于所述互动信息，获取与所述直播视频相关的互动特征的步骤，包括：按照设定时间间隔获取所述直播间内的文本互动频次，...

【专利技术属性】
技术研发人员：邱尚锋，张文伟，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：