【技术实现步骤摘要】
本专利技术涉及一种基于弹幕分享的直播内容评价检测方法，用于清肃直播环境，属于互联网直播平台监管领域，是一种图像识别与语义识别相结合的技术。
技术介绍
1、网络直播是当前最热门的移动互联网技术，直播平台由于直播间的大量增加导致实时数量巨大，直播内容参差不齐，直播内容监管难度大；同时，由于弹幕分享技术的开发，对直播内容又会产生一定的影响，进一步增加了直播内容的监管难度。
2、目前，直播内容监管技术主要有关键字过滤、人工审核机制、实名认证机制、社区举报机制、ai技术等；关键字过滤，是直播平台通过关键字过滤系统，自动识别敏感信息、色情、暴力等不良内容并进行屏蔽，以保证直播内容的健康与正常，但是该方法只能单维度对文字进行过滤，应用于视频环境实是力不从心；人工审核机制，成本高、效率低；实名认证机制，只能尽可能提高直播用户的身份真实性；社区举报机制，需要直播用户的主动配合，但是对有特殊需求的直播用户，往往是不会进行举报的，因此该方法的监管难度大；ai技术，能够在直播过程中实时监测直播内容，如有涉及低俗、色情等不良信息，会执行相关警示操作，但是目前的ai技术都是针对主播的直播内容进行只能监测，都没有注意到弹幕内容对直播内容的引导。
技术实现思路
1、专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于弹幕分享的直播内容评价检测方法，考虑弹幕内容与直播内容的互为影响关系，通过对弹幕内容的监督来监督直播内容，提高网络直播环境。
2、技术方案：为实现上述目的，本专利
3、一种基于弹幕分享的直播内容评价检测方法，构建敏感图片样本库和关键词库，通过追踪连续时间内在弹幕中出现的一组关键词，基于该组关键词所包含的文本特征生成文本图像；构建动态融合模块，结合关键词的评价次数和出现时间，获取该组关键词对样本库中各个样本的描述程度信息；采用层transformer编码器重构文本图像与各个样本所形成的空间特征，评价文本图像及弹幕的类别。优选的，当确认出弹幕的类别后，采用所确认的类别对应的图片样本对直播内容进行追踪。
4、由于直播互动中，直播的内容和弹幕内容往往是相互影响的，因此采用同一时刻的内容进行评价和监测往往不够准确，通常是针对某一时间段的视频内容，其更多的是被前一段时间的弹幕内容所引导，在之结束时又被弹幕内容所评价，因此前后及期间的弹幕内容都有可能与直播内容相关。基于该考虑，本案采用了连续观察一段时间内的弹幕内容，考虑弹幕内容和直播内容的互动，建立弹幕内容与敏感图片样本库的联系来反向评价和追踪直播内容，为直播内容的监控提供了新的思路。
5、优选的，统计每个关键词的出现次数和点赞次数，对出现次数和点赞次数进行加权求和或者简单求和得到关键词的评价次数。对获得高赞的弹幕内容进行分析在现有技术中已经存在，本案更多考虑的是该时段内出现次数较多的关键词，这类关键词通常可分为对敏感内容的直接描述性关键词和间接描述性关键词（也可称为引导性关键词）。
6、优选的，所述层transformer编码器是由个transformer编码器层组成的多模态结构，第层transformer编码器描述为：
7、
8、其中：和分别表示第层和第层transformer编码器的输出，，表示层transformer编码器的输入，交互嵌入总序列；根据函数获取输出嵌入序列。
9、具体的，该方法包括如下步骤：
10、（1）构建敏感图片样本库，为第个样本，为样本库中的样本总数；
11、（2）从视频流中获取训练样本集，每个训练样本均包括相对应的一幅图像和一组弹幕；所述弹幕为图像发生前至图像发生后时间内的所有弹幕，；从图像中裁剪出敏感区域；
12、（3）提取弹幕的所有关键词，将评价次数最高的个关键词作为敏感弹幕，使用关键词的评价次数、关键词首次出现相对于图像发生时间的时间差和关键词的文本特征将敏感弹幕描述为特征矩阵；
13、（4）基于敏感弹幕生成文本图像，构建动态融合模块获取敏感弹幕对样本的描述程度信息，并估计出权重值，使用权重值全程动态指导敏感弹幕和样本的相互作用；
14、（5）通过线性投影层将文本图像和样本投影成2维特征，并行输入到层transformer编码器进行自注意运算，获得交互嵌入总序列，利用权重值对交互嵌入总序列进行调整获得输出嵌入序列；
15、（6）将输出嵌入序列重构为空间特征，通过全卷积网络获取空间特征的得分图，将得分最高的位置作为样本的得分；将得分最高的样本作为敏感区域的分类；
16、（7）使用损失函数对跟踪网络的训练过程进行监督；
17、（8）使用训练好的跟踪网络对直播间的弹幕进行监控，并估计敏感区域的出现时间。
18、具体的，所述步骤（3）中，使用关键词的评价次数、关键词首次出现相对于图像发生时间的时间差和关键词的文本特征将敏感弹幕描述为个关键词构成的特征矩阵，，表示第个关键词的特征向量，表示关键词的评价次数，表示关键词首次出现相对于图像发生时间的时间差，表示关键词的第个文本特征，文本特征的总数为个；
19、所述步骤（5）中，先将文本图像和样本分割成块，记为，，再通过线性投影层将文本图像和样本投影成2维特征：
20、
21、
22、其中：为文本图像的二维特征，为样本的二维特征，是线性投影层的可学习参数，为文本图像的位置编码，为样本的位置编码；将并行输入到层transformer编码器进行自注意运算，获得交互嵌入总序列；根据数据属性从交互嵌入总序列中拆分出文本图像嵌入序列和样本嵌入序列，计算输出嵌入序列。
23、具体的，所述步骤（4）中，首先使用跨模态对比生成对抗网络将敏感弹幕的文本特征描述为文本图像，再使用可训练的神经网络将文本图像映射到一个（0,1）的区间范围，即可估计出权重值；所述可训练的神经网络包括一个全局平均池化层、一个1×1卷积层、一个全连接层和sigmoid激活函数，文本图像先通过全局平均池化层调整尺寸，然后通过1×1卷积层转换通道，最后通过全连接层和sigmoid激活函数映射为一个具体的分数值，函数表示为：
24、
25、其中：表示卷积操作，表示全局平均池化操作，表示全连接层，表示sigmoid激活函数。
26、具体的，所述（6）中，设定评分阈值，若得分最高的样本的得分低于评分阈值，则判断样本库中无敏感区域对应的分类。
27、具体的，所述步骤（7）中，使用加权焦点损失作为分类损失，使用giou损失作为回归损失，结合平均绝对误差损失，评价跟踪网络的总损失。
28、具体的，所述步骤（8）中，使用训练好的跟踪网络对直播间的弹幕进行监控，监控窗口的时长为。
29、有益效果：本专利技术提供的基于弹幕分享的直播内容评价检测方法，采用了连续观察一段时间内的弹幕内容，考虑弹幕内容和直播内容的互动，建立弹幕内容与敏感本文档来自技高网...
【技术保护点】
1.一种基于弹幕分享的直播内容评价检测方法，其特征在于：构建敏感图片样本库和关键词库，通过追踪连续时间内在弹幕中出现的一组关键词，基于该组关键词所包含的文本特征生成文本图像；构建动态融合模块，结合关键词的评价次数和出现时间，获取该组关键词对样本库中各个样本的描述程度信息；采用层Transformer编码器重构文本图像与各个样本的所形成的空间特征，评价文本图像及弹幕的类别。
2.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：当确认出弹幕的类别后，采用所确认的类别对应的图片样本对直播内容进行追踪。
3.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：统计每个关键词的出现次数和点赞次数，对出现次数和点赞次数进行加权求和或者简单求和得到关键词的评价次数。
4.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述层Transformer编码器是由个Transformer编码器层组成的多模态结构，第层Transformer编码器描述为：
5.根据权利要求1所述的基于弹幕分享的直播内容
6.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述步骤（3）中，使用关键词的评价次数、关键词首次出现相对于图像发生时间的时间差和关键词的文本特征将敏感弹幕描述为个关键词构成的特征矩阵，，表示第个关键词的特征向量，表示关键词的评价次数，表示关键词首次出现相对于图像发生时间的时间差，表示关键词的第个文本特征，文本特征的总数为个；
7.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述步骤（4）中，首先使用跨模态对比生成对抗网络将敏感弹幕的文本特征描述为文本图像，再使用可训练的神经网络将文本图像映射到一个（0,1）的区间范围，即可估计出权重值；所述可训练的神经网络包括一个全局平均池化层、一个1×1卷积层、一个全连接层和Sigmoid激活函数，文本图像先通过全局平均池化层调整尺寸，然后通过1×1卷积层转换通道，最后通过全连接层和Sigmoid激活函数映射为一个具体的分数值，函数表示为：
8.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述（6）中，设定评分阈值，若得分最高的样本的得分低于评分阈值，则判断样本库中无敏感区域对应的分类。
9.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述步骤（7）中，使用加权焦点损失作为分类损失，使用GIoU损失作为回归损失，结合平均绝对误差损失，评价跟踪网络的总损失。
10.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述步骤（8）中，使用训练好的跟踪网络对直播间的弹幕进行监控，监控窗口的时长为。
...【技术特征摘要】
1.一种基于弹幕分享的直播内容评价检测方法，其特征在于：构建敏感图片样本库和关键词库，通过追踪连续时间内在弹幕中出现的一组关键词，基于该组关键词所包含的文本特征生成文本图像；构建动态融合模块，结合关键词的评价次数和出现时间，获取该组关键词对样本库中各个样本的描述程度信息；采用层transformer编码器重构文本图像与各个样本的所形成的空间特征，评价文本图像及弹幕的类别。
2.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：当确认出弹幕的类别后，采用所确认的类别对应的图片样本对直播内容进行追踪。
3.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：统计每个关键词的出现次数和点赞次数，对出现次数和点赞次数进行加权求和或者简单求和得到关键词的评价次数。
4.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述层transformer编码器是由个transformer编码器层组成的多模态结构，第层transformer编码器描述为：
5.根据权利要求1所述的基于弹幕分享的直播内容评价检测方法，其特征在于：该方法包括如下步骤：
6.根据权利要求5所述的基于弹幕分享的直播内容评价检测方法，其特征在于：所述步骤（3）中，使用关键词的评价次数、关键词首次出现相对于图像发生时间的时间差和关键词的文本特征将敏感弹...
【专利技术属性】
技术研发人员：赵德祥，
申请(专利权)人：江苏初辰文化发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。