本发明专利技术提供一种弹幕生成方法、装置、设备及计算机存储介质，通过预先构建的剧情理解模型和人物识别模型对待自动生成弹幕的视频内容进行剧情和人物的识别，并利用剧情弹幕生成模型结合识别后的剧情和人物生成与贴合视频剧情的自动弹幕，当实时播放或者在后续播放该视频内容时，能够定时定量的投放生成的弹幕，不仅实现活跃弹幕氛围、良性引导观众发送弹幕和提升用户观看体验的目的，同时节约了人力运营成本。营成本。营成本。
【技术实现步骤摘要】
弹幕生成方法、装置、设备及计算机存储介质
[0001]本专利技术涉及深度学习
，尤其涉及一种弹幕生成方法、装置、设备及计算机存储介质。
技术介绍
[0002]当前大部分视频网站在播放视频的过程中，都支持观众发送弹幕，以增加观众在观看视频时的趣味性和交互性。但观众在发送弹幕的过程中，可能存在发送与正在播放的视频无关的弹幕，或者存在具有不良倾向的弹幕，严重影响正常观众的观影体验。
[0003]在现有技术中，通常采用两种方式来良性引导和活跃弹幕氛围。一是通过人工运营的方式对观众发送的弹幕进行良性引导，但是该种方式人力成本和时间成本较高。二是采用固定模板的方式，通过机器人发布固定内容的弹幕，这种方式虽然效率较高，但弹幕质量无法保证，仍然会存在与正在播放的视频无关的弹幕，很容易被观众发现并引起质疑，依然无法起不到良性引导和活跃弹幕氛围的作用。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种弹幕生成方法、装置、设备及计算机存储介质，以实现自动生成符合当前正在播放视频的弹幕，起到活跃弹幕氛围和良性引导观众发送弹幕的目的。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例第一方面公开了一种弹幕生成方法，所述方法包括：
[0007]分析待自动生成弹幕的视频内容，得到视频帧数据和对应视频帧数据的时间轴，所述待自动生成弹幕的视频内容包括未播放的视频内容或正在播放的视频内容；
[0008]利用预先构建的剧情理解模型对所述视频帧数据进行特定剧情识别，并基于识别到的特定剧情获取对应的剧情信息，将所述剧情信息输入至预先构建的剧情弹幕生成模型；
[0009]利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别，将识别到的特定人物信息输入至预先构建的剧情弹幕生成模型；
[0010]在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕；
[0011]在所述视频内容播放的过程中，在所述时间抽上投放所述第一剧情弹幕。
[0012]可选的，还包括：
[0013]利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别未识别到特定人物信息时，在预先构建的剧情弹幕生成模型中基于输入的所述时间轴和所述剧情信息进行文本构建，得到携带有所述时间轴的第二剧情弹幕；
[0014]在所述视频内容播放的过程中，所述时间轴上投放所述第二剧情弹幕。
[0015]可选的，预先构建所述剧情理解模型的过程包括：
[0016]获取样本视频数据，并对所述样本视频数据中的样本特定剧情进行标记；
[0017]构建包含标记样本特定剧情的样本视频数据的剧情视频数据集；
[0018]将所述剧情视频数据集作为mmdetection2 action模型的输入，在所述mmdetection2 action模型中对所述剧情视频数据集进行迭代训练，直至输出被标记的样本特定剧情，得到剧情理解模型。
[0019]可选的，预先构建所述人物识别模型的过程包括：
[0020]基于获取到的特定人物人脸数据构建特定人物人脸数据集，并标注所述特定人物人脸数据对应特定人物姓名；
[0021]将所述特定人物人脸数据集输入resnet模型进行训练，得到人脸识别模型；
[0022]利用人脸检测算法对所述特定人物人脸数据集进行人脸检测，得到人脸关键特征点；
[0023]在所述人脸识别模型中对所述人脸关键特征点进行迭代训练，直至识别出人脸关键特征点对应的特定人物姓名，得到人物识别模型。
[0024]可选的，预先构建所述剧情弹幕生成模型的过程包括：
[0025]基于获取到的样本剧情弹幕数据构建剧情弹幕数据集；
[0026]构建Transformer模型，所述Transformer模型由编码模块和解码模块构成；
[0027]在所述Transformer模型的编码模块的输入层嵌入剧情类别分层，所述剧情类别分层用于划分不同剧情类别的剧情弹幕数据；
[0028]将所述剧情弹幕数据通过所述剧情类别分层进行分类后输入所述Transformer模型，在所述Transformer模型按照输入的剧情弹幕数据的剧情类别进行分层训练，得到剧情弹幕生成模型。
[0029]可选的，所述在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕，包括：
[0030]在剧情弹幕生成模型中生成对应所述剧情信息的初始弹幕信息，所述初始弹幕信息中存在初始人物信息；
[0031]将所述初始弹幕信息中的初始人物信息替换为所述特定人物信息，结合所述时间轴，生成携带有所述时间轴和特定人物信息的第一剧情弹幕。
[0032]本专利技术实施例第二方面公开了一种弹幕生成装置，所述装置包括：
[0033]视频分析模块，用于分析待自动生成弹幕的视频内容，得到视频帧数据和对应视频帧数据的时间轴，将所述视频数据分别输入所述剧情理解模型和人物识别模型，将所述时间轴输入剧情弹幕生成模型，其中，所述待自动生成弹幕的视频内容包括未播放的视频内容或正在播放的视频内容；
[0034]所述剧情理解模型，用于对所述视频帧数据进行特定剧情识别，并基于识别到的特定剧情获取对应的剧情信息，将所述剧情信息输出至剧情弹幕生成模型。
[0035]所述人物识别模型，用于对所述视频帧数据进行特定人物信息识别，将识别到的特定人物信息输入至预先构建的剧情弹幕生成模型；
[0036]所述剧情弹幕生成模型，用于基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕；
[0037]投放模块，用于在所述视频内容播放的过程中，在所述时间抽上投放所述第一剧情弹幕。
[0038]可选的，所述剧情弹幕生成模型，还用于：在仅接收到剧情信息的情况下，基于输入的所述时间轴和所述剧情信息进行文本构建，得到携带有所述时间轴的第二剧情弹幕；
[0039]相应的，所述投放模块，还用于在所述视频内容播放的过程中，所述时间轴上投放所述第二剧情弹幕。
[0040]本专利技术实施例第三方面公开了一种电子设备，所述电子设备包括存储器和处理器；
[0041]所述存储器，用于存储计算机程序；
[0042]所述处理器，用于调用并执行所述存储器中存储的计算机程序时，实现如本专利技术实施例第一方面公开的弹幕生成方法。
[0043]本专利技术实施例第四方面公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如本专利技术实施例第一方面公开的弹幕生成方法。
[0044]基于上述本专利技术实施例提供的一种弹幕生成方法、装置、设备及计算机存储介质，该方法分析待自本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种弹幕生成方法，其特征在于，所述方法包括：分析待自动生成弹幕的视频内容，得到视频帧数据和对应视频帧数据的时间轴，所述待自动生成弹幕的视频内容包括未播放的视频内容或正在播放的视频内容；利用预先构建的剧情理解模型对所述视频帧数据进行特定剧情识别，并基于识别到的特定剧情获取对应的剧情信息，将所述剧情信息输入至预先构建的剧情弹幕生成模型；利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别，将识别到的特定人物信息输入至预先构建的剧情弹幕生成模型；在所述剧情弹幕生成模型中基于输入的所述时间轴、所述剧情信息和所述特定人物信息进行文本构建，得到携带有所述时间轴和特定人物信息的第一剧情弹幕；在所述视频内容播放的过程中，在所述时间抽上投放所述第一剧情弹幕。2.根据权利要求1所述的方法，其特征在于，还包括：利用预先构建的人物识别模型对所述视频帧数据进行特定人物信息识别未识别到特定人物信息时，在预先构建的剧情弹幕生成模型中基于输入的所述时间轴和所述剧情信息进行文本构建，得到携带有所述时间轴的第二剧情弹幕；在所述视频内容播放的过程中，所述时间轴上投放所述第二剧情弹幕。3.根据权利要求1所述的方法，其特征在于，预先构建所述剧情理解模型的过程包括：获取样本视频数据，并对所述样本视频数据中的样本特定剧情进行标记；构建包含标记样本特定剧情的样本视频数据的剧情视频数据集；将所述剧情视频数据集作为mmdetection2 action模型的输入，在所述mmdetection2 action模型中对所述剧情视频数据集进行迭代训练，直至输出被标记的样本特定剧情，得到剧情理解模型。4.根据权利要求1所述的方法，其特征在于，预先构建所述人物识别模型的过程包括：基于获取到的特定人物人脸数据构建特定人物人脸数据集，并标注所述特定人物人脸数据对应特定人物姓名；将所述特定人物人脸数据集输入resnet模型进行训练，得到人脸识别模型；利用人脸检测算法对所述特定人物人脸数据集进行人脸检测，得到人脸关键特征点；在所述人脸识别模型中对所述人脸关键特征点进行迭代训练，直至识别出人脸关键特征点对应的特定人物姓名，得到人物识别模型。5.根据权利要求1所述的方法，其特征在于，预先构建所述剧情弹幕生成模型的过程包括：基于获取到的样本剧情弹幕数据构建剧情弹幕数据集；构建Transformer模型，所述Transformer模型由编码模块和解码模块构成；在所述Transformer模型的编码模块的输入层嵌入剧情类别分层，...
【专利技术属性】
技术研发人员：骆迅，王心莹，余意，杨杰，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。