【技术实现步骤摘要】
本申请实施例涉及人工智能，尤其涉及一种标签打分方法、标签打分模型训练方法和装置。
技术介绍
1、随着互联网技术的快速发展，多媒体的应用越来越广泛，视频数量也急剧增长，用户可以通过各种多媒体平台浏览各种各样的视频。为了使用户可以从海量的视频中获取自己感兴趣的视频，通常会为视频内容打上各种丰富标签，从而利用标签去帮助用户对视频做搜索、帮助推荐系统用于推荐视频，还可以辅助内容的商业化。
2、在视频产品的内容生产的标准化阶段，通常通过人工标注视频的方式，或者使用标签系统给视频进行打标签操作。其中，人工标注的标签质量不稳定，如人工标注标签非常依赖编目人员对于视频内容、关键人物的理解深度，而且人工打标的质量和结果也具有随机性，很难保持一致。同时，标签系统通常使用多路召回的方式召回大量的候选标签，候选标签的特点是召回率高但是准确率低。因此，如何输出准确率更高的标签是亟待解决的问题。
技术实现思路
1、本申请提供一种标签打分方法、标签打分模型训练方法和装置，能够对目标视频的多个候选标签进行重新打分排序，有利于获取更加准确的视频标签。
2、第一方面，本申请实施例提供一种标签打分方法，包括：
3、获取目标视频的至少两个候选标签；
4、利用第一特征编码器获取所述至少两个候选标签对应的标签特征；
5、利用m个第二特征编码器分别对目标视频的对应模态信息进行特征编码，获取所述目标视频的m个模态特征；m为正整数；
6、利用m个模态特征注入模
7、利用聚合模块对所述每个候选标签对应的m个融合标签特征进行融合，得到所述每个候选标签对应的得分。
8、第二方面，本申请实施例提供一种标签打分模型训练方法，包括：
9、获取训练样本，所述训练样本包括视频样本的至少两个标签和所述至少两个标签的真实值；
10、利用第一特征编码器获取所述至少两个标签对应的标签特征；
11、利用m个第二特征编码器分别对视频样本的对应模态信息进行特征编码，获取所述视频样本的m个模态特征；
12、利用m个模态特征注入模块分别将所述视频样本的m个模态特征与所述至少两个标签对应的标签特征进行融合，得到所述至少两个标签中的每个标签对应的m个融合标签特征；
13、利用聚合模块对所述每个标签对应的m个融合标签特征进行融合，得到所述每个标签对应的得分；
14、根据所述每个标签对应的得分和所述每个标签的真实值，对所述m个模态特征注入模块和所述聚合模块分别进行参数更新，得到已训练的m个模态特征注入模块和聚合模块。
15、第三方面，本申请实施例提供了一种标签打分装置，包括：
16、获取单元，用于获取目标视频的至少两个候选标签；
17、第一特征编码器，用于获取所述至少两个候选标签对应的标签特征；
18、m个第二特征编码器，用于分别对目标视频的对应模态信息进行特征编码，获取所述目标视频的m个模态特征；m为正整数；
19、m个模态特征注入模块，用于分别将所述m个模态特征与所述至少两个候选标签对应的标签特征进行融合，得到所述至少两个候选标签中的每个候选标签对应的m个融合标签特征；
20、聚合模块，用于对所述每个候选标签对应的m个融合标签特征进行融合，得到所述每个候选标签对应的得分。
21、第四方面，本申请实施例提供了一种标签打分模型训练装置，包括：
22、获取单元，用于获取训练样本，所述训练样本包括视频样本的至少两个标签和所述至少两个标签的真实值；
23、第一特征编码器，用于获取所述至少两个标签对应的标签特征；
24、m个第二特征编码器，用于分别对视频样本的对应模态信息进行特征编码，获取所述视频样本的m个模态特征；
25、m个模态特征注入模块，用于分别将所述视频样本的m个模态特征与所述至少两个标签对应的标签特征进行融合，得到所述至少两个标签中的每个标签对应的m个融合标签特征；
26、聚合模块，用于对所述每个标签对应的m个融合标签特征进行融合，得到所述每个标签对应的得分；
27、参数更新单元，用于根据所述每个标签对应的得分和所述每个标签的真实值，对所述m个模态特征注入模块和所述聚合模块分别进行参数更新，得到已训练的m个模态特征注入模块和聚合模块。
28、第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面或第二方面中的方法。
29、第六方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时使得计算机执行如第一方面或第二方面中的方法。
30、第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或第二方面中的方法。
31、第八方面，本申请实施例提供一种计算机程序，计算机程序使得计算机执行如第一方面或第二方面中的方法。
32、本申请实施例通过利用模态特征注入模块分别将每个模态特征与每个候选标签对应的标签特征进行融合，实现将跨模态信息注入标签特征，得到每个候选标签对应的多个融合标签特征，该融合特征能够捕捉到更细粒度的关系，从而提供更丰富的信息用于后续处理，然后将该多个融合标签特征进行再次融合，即将经过不同模态信息注入后的标签特征融合到一起，动态地调整不同模态之间的相互作用，使得更重要的信息得到强调而不重要的信息被抑制，使得每个候选标签对应的得分更够准确地反映标签的准确性，从而获取更加准确的视频标签。
本文档来自技高网...【技术保护点】
1.一种标签打分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述模态特征注入模块包括交互注意力模块。
3.根据权利要求2所述的方法，其特征在于，所述M个模态特征注入模块包括第一模态特征对应的第一模态特征注入模块；
4.根据权利要求2或3所述的方法，其特征在于，所述交互注意力模块之前还设置有自注意力模块。
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述至少两个候选标签对应的标签特征输入所述自注意力模块，得到所述至少两个候选标签对应的信息增强后的标签特征，包括：
7.根据权利要求1所述的方法，其特征在于，所述聚合模块包括映射层和聚合层；所述利用聚合模块对所述每个候选标签对应的M个融合标签特征进行融合，得到所述每个候选标签对应的得分，包括：
8.根据权利要求1所述的方法，其特征在于，还包括：
9.根据权利要求1所述的方法，其特征在于，所述M个模态特征包括音频模态特征、视觉模态特征和文本模态特征中的至少一种。p>
10.一种标签打分模型训练方法，其特征在于，包括：
11.一种标签打分装置，其特征在于，包括：
12.一种标签打分模型训练装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有指令，所述处理器执行所述指令时，使得所述处理器执行权利要求1-10任一项所述的方法。
14.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于执行权利要求1-10中任一项所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序代码，当所述计算机程序代码被电子设备运行时，使得所述电子设备执行权利要求1-10中任一项所述的方法。
...【技术特征摘要】
1.一种标签打分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述模态特征注入模块包括交互注意力模块。
3.根据权利要求2所述的方法，其特征在于，所述m个模态特征注入模块包括第一模态特征对应的第一模态特征注入模块；
4.根据权利要求2或3所述的方法，其特征在于，所述交互注意力模块之前还设置有自注意力模块。
5.根据权利要求4所述的方法，其特征在于，还包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述至少两个候选标签对应的标签特征输入所述自注意力模块，得到所述至少两个候选标签对应的信息增强后的标签特征，包括：
7.根据权利要求1所述的方法，其特征在于，所述聚合模块包括映射层和聚合层；所述利用聚合模块对所述每个候选标签对应的m个融合标签特征进行融合，得到所述每个候选标签对应的得分，包括：
8.根据权利...
【专利技术属性】
技术研发人员：杨煜霖，陈世哲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。