一种视频弹幕生成方法技术

本发明专利技术属于计算机视觉领域与自然语言处理的交叉领域，具体涉及一种视频弹幕生成方法，包括：首先对原始的视频及弹幕进行分段处理来降低输入到模型中的信息量，并通过预训练模型进行特征提取，由此来获得视频及弹幕的特征表示；使用堆叠的注意力层来对视频与弹幕的特征进行融合并使用记忆单元来捕获每段之间的上下文信息；通过解码器结构对融合的特征表示进行解码，最终生成新的弹幕评论。本发明专利技术通过引入分段机制与记忆单元，解决了使用Transformer结构只能处理固定长度上下文、自注意力机制计算量大、使用静态位置编码造成长距离信息丢失的问题，有效提高了所生成的弹幕评论的质量，还可以对不同长度的视频进行自适应化处理，分段生成多个视频弹幕。分段生成多个视频弹幕。分段生成多个视频弹幕。

【技术实现步骤摘要】
一种视频弹幕生成方法


[0001]本专利技术属于计算机视觉领域与自然语言处理的交叉领域，更具体地，涉及一种视频弹幕生成方法。

技术介绍

[0002]随着互联网技术的不断发展和创新，观看网络视频已经成为现代人主流的娱乐活动，人们的观看要求也不断地增高。现如今人们往往不满足于观看视频，而是追求情感表达以及与他人互动。很多学者的研究表明，当今传统的视频网站的互动性较弱，评论区是与他人交流观点的唯一途径，然而这一做法将视频与评论分割，无法做到实时性，同步性等特点。因此，用户日益增长的互动需求成为了视频网站运营人员考虑的重要因素。因此，弹幕网站应运而生。现在，国内主流的在线视频网站也引入了弹幕功能，如爱奇艺，腾讯视频等。弹幕视频网站与传统视频网站不同的是，用户可以在观看期间发送弹幕评论，同时也可以看到其他用户发送的评论，这种方式让用户之间的互动性更强，为用户营造出一种陪伴感，归属感的体验氛围，给用户一个可以自由发声的机会。对用户而言发送弹幕成为了一个寻求信息以及宣泄情绪的渠道。随着弹幕的发展，弹幕的应用已经不止局限于视频场景，越来越多的应用都引入了该功能如在线书籍，在线教育平台，直播平台等。可见弹幕与人们的生活越来越紧密相关。
[0003]弹幕评论也产生了实际的经济价值。有学者通过研究直播平台主播与用户的互动以及用户与用户之间的互动是否会影响用户的打赏行为，研究表明直播过程中用户发送的弹幕互动越强烈，用户的兴奋水平越高，进而提高用户所向主播发送礼物的数量。还有学者研究了弹幕与营销行为的关系，得出通过视频弹幕的聚群效应形成用户群体，进而产生粉丝营销等一系列营销活动。弹幕评论有助于提高用户粘性，对弹幕进行管理同时也可以引导直播间以及视频的评论导向，为未来多元化商业奠定基础。
[0004]现有的视频弹幕自动生成方法一般使用堆叠Transformer结构对视频以及文本信息进行融合，然而Transformer结构只使用静态的位置编码来捕获时序信息，随着数据长度的增加会导致模型捕获长距离信息能力降低。其次，训练的数据集中有很多与视频无关的弹幕评论，其对生成新的弹幕评论产生了影响，现有的处理方案是直接对数据集进行过滤或者不对其进行处理，前者忽略了真实的使用环境，后者则影响生成效果。除此之外，现有方案设计时均只针对固定视频长度进行设计，对于直播等场景适用性较弱。总体来讲，利用现有技术所生成的视频弹幕评论，其质量有待进一步提高。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种视频弹幕生成方法，其目的在于解决视频弹幕生成方法中Transformer导致长距离依赖丢失的问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种视频弹幕生成方法，包括：采用已训练的视频弹幕生成模型生成视频弹幕，所述视频弹幕生成模型的生成方式为：
[0007]利用分段匹配映射机制，对视频进行分段，并组合每段视频及其相同时间段内的各个弹幕；使用预训练模型对视频和弹幕进行特征提取，最终得到每个视频弹幕组合的特征信息；
[0008]通过外部存储单元获取历史视频弹幕组合信息，使用堆叠的注意力层，对当前视频弹幕组合的特征信息和所述历史视频弹幕组合信息进行特征融合，得到融合的模态特征；
[0009]对历史视频弹幕组合信息更新，将更新的历史视频弹幕组合信息更新到所述外部存储单元中；同时，根据每个时间段对应的所述融合的模态特征，通过解码器以及概率生成器生成该时间段的视频弹幕评论。
[0010]进一步，在所述使用堆叠的注意力层之前，所述方法还包括：
[0011]对每个视频弹幕组合中的弹幕特征进行文本过滤。
[0012]进一步，所述文本过滤的实现方式为：
[0013]对每个视频弹幕组合中的弹幕特征、视频特征以及所述视频弹幕生成模型的多重相似度矩阵进行运算，得到权重值H
s
；所述权重值Hs表示每个视频弹幕组合中弹幕特征与视频特征的相关度系数；
[0014]将所述权重值Hs与Aw
′
做乘积运算，得到初步过滤后的弹幕特征，再将得到的结果与所述Aw
′
相加，得到最终过滤后的弹幕特征，其中，Aw
′
为该视频弹幕组合中的视频特征和弹幕特征经维度统一后的弹幕特征。
[0015]进一步，所述特征融合的实现方式为：
[0016]采用堆叠的注意力层中的一层注意力层，对历史视频弹幕组合信息和当前视频弹幕组合中的弹幕特征进行融合，得到融合历史信息的弹幕特征；
[0017]采用所述堆叠的注意力层中另一层注意力层，对历史视频弹幕组合信息和当前视频弹幕组合中的视频特征进行融合，得到融合历史信息的视频特征；
[0018]基于融合门结构，使用其两个独立的多层感知机分别对融合历史信息的视频特征以及融合历史信息的文本特征进行升维操作，使其转变为高维度的特征表达，之后再将该两种高维度的特征表达拼接为一个特征向量，之后再使用融合门结构中的另外一个多层感知机进行降维操作，计算结果即为融合的模态特征。
[0019]进一步，所述对历史视频弹幕组合信息更新，实现方式为：
[0020]根据当前融合的模态特征与从外部存储单元中获取的历史视频弹幕组合信息，利用改进的带有注意力机制的GRU结构，对历史视频弹幕组合信息进行更新，并将结果推送到所述外部存储单元中；
[0021]其中，所述改进的带有注意力机制的GRU结构是利用多头注意力计算所述历史视频弹幕组合信息与当前融合的模态特征之间的注意力关系，并基于该注意力关系，利用GRU结构对历史视频弹幕组合信息进行更新计算，更新计算公式表示为：Z
il+1
＝GRU(Z
il
,Attention(Z
il
,M
i
‑
1l
+Z
il
,M
i
‑
1l
+Z
il
))，其中，M
i
‑
1l
代表当前第i段视频弹幕组合输入时从外部存储单元中获取的历史视频弹幕组合信息，Z
il
代表当前第i段对应的所述融合的模态特征，l代表当前计算的注意力层数。
[0022]进一步，在所述视频弹幕生成模型训练用损失函数的计算过程中，在每个视频弹幕组合输入时均计算损失，最终得到的损失为每个视频弹幕组合对应损失的加和。
[0023]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种视频弹幕生成方法。
[0024]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
[0025](1)本专利技术提出了一个端到端的视频弹幕(评论)生成模型，用户可以输入原始的视频以及视频周围的文本，模型通过分段特征提取、特征编码、视频弹幕生成计算后，得到新生成的弹幕。本专利技术通过引入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频弹幕生成方法，其特征在于，包括：采用已训练的视频弹幕生成模型生成视频弹幕，所述视频弹幕生成模型的视频弹幕生成方式为：利用分段匹配映射机制，对视频进行分段，并组合每段视频及其相同时间段内的各个弹幕；使用预训练模型对视频和弹幕进行特征提取，最终得到每个视频弹幕组合的特征信息；通过外部存储单元获取历史视频弹幕组合信息，使用堆叠的注意力层，对当前视频弹幕组合的特征信息和所述历史视频弹幕组合信息进行特征融合，得到融合的模态特征；对历史视频弹幕组合信息更新，将更新的历史视频弹幕组合信息更新到所述外部存储单元中；同时，根据每个时间段对应的所述融合的模态特征，通过解码器以及概率生成器生成该时间段的视频弹幕评论。2.根据权利要求1所述的一种视频弹幕生成方法，其特征在于，在所述使用堆叠的注意力层之前，所述方法还包括：对每个视频弹幕组合中的弹幕特征进行文本过滤。3.根据权利要求2所述的一种视频弹幕生成方法，其特征在于，所述文本过滤的实现方式为：对每个视频弹幕组合中的弹幕特征、视频特征以及所述视频弹幕生成模型的多重相似度矩阵进行运算，得到权重值H
s
；所述权重值Hs表示每个视频弹幕组合中弹幕特征与视频特征的相关度系数；将所述权重值Hs与Aw
′
做乘积运算，得到初步过滤后的弹幕特征，再将得到的结果与所述Aw
′
相加，得到最终过滤后的弹幕特征，其中，Aw
′
为该视频弹幕组合中的视频特征和弹幕特征经维度统一后的弹幕特征。4.根据权利要求1所述的一种视频弹幕生成方法，其特征在于，所述特征融合的实现方式为：采用堆叠的注意力层中的一层注意力层，对历史视频弹幕组合信息和当前视频弹幕组合中的弹幕特征进行融合，得到融合历史信息的弹幕特征；采用所述堆叠的注意力层中另一层注意力层，对历史视频弹幕组合信息和当前视频弹幕组合中的视频特征进行融合，得到融合历史信息的视频特征；基于融合门结构，使用其两个独立的多层感知机分别对融合历史...

【专利技术属性】
技术研发人员：李玉华，董铁夫，李瑞轩，辜希武，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：