内容标签生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号：42537395 阅读：8 留言：0更新日期：2024-08-27 19:42

本公开实施例公开了一种内容标签生成方法、装置、电子设备及存储介质，通过获取待识别内容，提取待识别内容至少两种模态的模态特征，融合至少两种模态的模态特征得到待识别内容的第一内容特征；获取提示文本，提取提示文本的第一文本特征，对第一文本特征以及第一内容特征进行交叉注意力处理；基于第一门控参数调整交叉注意力处理结果，得到目标文本特征；调用文本生成模型基于目标文本特征进行文本生成，得到待识别内容的内容标签。能够在实现将第一内容特征注入至文本生成模型的基础上，无须额外训练适配器或者是微调文本生成模型，能够提升模型的训练效率，进而高效地进行内容标签生成，广泛应用于内容分类、内容推荐等场景。

全部详细技术资料下载

【技术实现步骤摘要】

本公开涉及人工智能，特别是涉及一种内容标签生成方法、装置、电子设备及存储介质。

技术介绍

1、为了高效、准确地对内容进行标记，内容标签生成是一种必不可少的处理手段。相关技术中，在利用文本生成模型（例如大语言模型）基于多模态特征进行内容标签生成时，往往需要引入不同模态对应的适配器（adapter）来将非文本模态的特征转化至文本模态的特征，再与文本模态的特征进行融合，这种模型架构往往需要进行二阶段的训练过程（即先训练适配器的基础功能，再结合适配器和文本生成模型进行微调），降低了模型的训练效率，无法高效地进行内容标签生成。

技术实现思路

1、以下是对本公开详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本公开实施例提供了一种内容标签生成方法、装置、电子设备及存储介质，能够提升模型的训练效率，进而高效地进行内容标签生成。

3、一方面，本公开实施例提供了一种内容标签生成方法，包括：

4、获取待识别内容，提取所述待识别内容至少两种模态的模态特征，融合至少两种模态的所述模态特征得到所述待识别内容的第一内容特征；

5、获取提示文本，提取所述提示文本的第一文本特征，对所述第一文本特征以及所述第一内容特征进行交叉注意力处理，其中，所述提示文本用于提示文本生成模型对所述待识别内容进行标签生成；

6、基于第一门控参数调整交叉注意力处理结果，得到目标文本特征，其中，所述第一门控参数是通过冻结所述文本生成模型的参数后训练得到的；</p>

7、调用所述文本生成模型基于所述目标文本特征进行文本生成，得到所述待识别内容的内容标签。

8、另一方面，本公开实施例提供了一种内容标签生成装置，包括：

9、内容特征提取模块，用于获取待识别内容，提取所述待识别内容至少两种模态的模态特征，融合至少两种模态的所述模态特征得到所述待识别内容的第一内容特征；

10、交叉注意力模块，用于获取提示文本，提取所述提示文本的第一文本特征，对所述第一文本特征以及所述第一内容特征进行交叉注意力处理，其中，所述提示文本用于提示文本生成模型对所述待识别内容进行标签生成；

11、门控模块，用于基于第一门控参数调整交叉注意力处理结果，得到目标文本特征，其中，所述第一门控参数是通过冻结所述文本生成模型的参数后训练得到的；

12、生成模块，用于调用所述文本生成模型基于所述目标文本特征进行文本生成，得到所述待识别内容的内容标签。

13、进一步，所述基于第一门控参数调整交叉注意力处理结果，得到目标文本特征，上述门控模块用于：

14、基于第一门控参数调整交叉注意力处理结果，基于调整后的交叉注意力处理结果与所述第一文本特征进行求和，得到第二文本特征；

15、对所述第二文本特征进行映射，基于第二门控参数调整映射结果，得到目标文本特征，其中，所述第二门控参数是通过冻结所述文本生成模型的参数后训练得到的。

16、进一步，所述文本生成模型设置有多个依次级联的编码层，所述调用所述文本生成模型基于所述目标文本特征进行文本生成，得到所述待识别内容的内容标签，上述生成模块用于：

17、基于多个所述编码层对所述目标文本特征进行编码，基于编码的结果进行文本生成，得到所述待识别内容的内容标签；

18、其中，所述目标文本特征为首个所述编码层的输入；

19、对于除了最后一个所述编码层以外的任意一个所述编码层，对当前的所述编码层的输出与所述第一内容特征进行交叉注意力处理，基于所述第一门控参数调整交叉注意力处理结果，基于调整后的交叉注意力处理结果与当前的所述编码层的输出进行求和，对求和后得到的特征进行映射，基于所述第二门控参数调整映射结果后，输入至下一个所述编码层进行编码。

20、进一步，所述内容标签生成装置还包括训练模块，各个所述编码层均对应有各自的所述第一门控参数以及各自的所述第二门控参数，所述基于第一门控参数调整交叉注意力处理的结果之前，训练模块用于：

21、获取样本内容，冻结所述文本生成模型的参数，将各个所述第一门控参数与各个所述第二门控参数均初始化为零；

22、基于所述样本内容训练各个所述第一门控参数以及各个所述第二门控参数。

23、进一步，所述获取提示文本，提取所述提示文本的第一文本特征，对所述第一文本特征以及所述第一内容特征进行交叉注意力处理，上述交叉注意力模块用于：

24、检索出与所述第一内容特征相似的第二内容特征，以及与所述第二内容特征关联的参考标签，其中，所述参考标签为参考内容的标签，所述第二内容特征是通过融合所述参考内容至少两种模态的特征得到的，所述第二内容特征所融合的特征的模态与所述第一内容特征所融合的特征的模态相同；

25、基于所述参考标签构建提示文本，提取所述提示文本的第一文本特征；

26、将所述第二内容特征与所述第一内容特征拼接得到拼接内容特征，对所述第一文本特征以及所述拼接内容特征进行交叉注意力处理。

27、进一步，所述基于所述参考标签构建提示文本，上述交叉注意力模块用于：

28、在所述参考标签的两端分别拼接起始标记和结束标记，得到所述参考标签对应的标签文本片段；

29、在最后一个所述标签文本片段之后拼接所述起始标记，得到提示文本。

30、进一步，所述对所述第一文本特征以及所述拼接内容特征进行交叉注意力处理，上述交叉注意力模块用于：

31、对所述第一文本特征中所述标签文本片段的第一子特征，以及所述拼接内容特征中与所述第一子特征对应的所述第二内容特征进行交叉注意力处理；

32、对所述第一文本特征中最后一个所述起始标记的第二子特征，以及所述拼接内容特征中的所述第一内容特征进行交叉注意力处理。

33、进一步，所述对所述第一文本特征中所述标签文本片段的第一子特征，以及所述拼接内容特征中与所述第一子特征对应的所述第二内容特征进行交叉注意力处理，上述交叉注意力模块用于：

34、根据所述第一文本特征确定查询矩阵，根据所述拼接内容特征确定键矩阵，根据所述查询矩阵与转置后的所述键矩阵的乘积得到目标矩阵；

35、基于掩码矩阵对所述目标矩阵进行掩码，对掩码后的所述目标矩阵进行归一化，得到交叉注意力权重矩阵，其中，所述掩码矩阵用于屏蔽所述目标矩阵中除了目标元素以外的矩阵元素，所述目标元素是基于所述第一文本特征中所述标签文本片段的第一子特征，以及所述拼接内容特征中与所述第一子特征对应的所述第二内容特征相乘得到的；

36、根据所述第二内容特征确定值矩阵，根据所述交叉注意力权重矩阵与所述值矩阵的乘积得到交叉注意力处理结果。

37、进一步，所述检索出与所述第一内容特征相似的第二内容特征，以及与所述第二内容特征关联的参考标签，上述交叉注意力模块用于：

38、获取多个所述参考内容本文档来自技高网...

【技术保护点】

1.一种内容标签生成方法，其特征在于，包括：

2.根据权利要求1所述的内容标签生成方法，其特征在于，所述基于第一门控参数调整交叉注意力处理结果，得到目标文本特征，包括：

3.根据权利要求2所述的内容标签生成方法，其特征在于，所述文本生成模型设置有多个依次级联的编码层，所述调用所述文本生成模型基于所述目标文本特征进行文本生成，得到所述待识别内容的内容标签，包括：

4.根据权利要求3所述的内容标签生成方法，其特征在于，各个所述编码层均对应有各自的所述第一门控参数以及各自的所述第二门控参数，所述基于第一门控参数调整交叉注意力处理结果之前，所述内容标签生成方法还包括：

5.根据权利要求1所述的内容标签生成方法，其特征在于，所述获取提示文本，提取所述提示文本的第一文本特征，对所述第一文本特征以及所述第一内容特征进行交叉注意力处理，包括：

6.根据权利要求5所述的内容标签生成方法，其特征在于，所述基于所述参考标签构建提示文本，包括：

7.根据权利要求6所述的内容标签生成方法，其特征在于，所述对所述第一文本特征以及所述拼接

8.根据权利要求7所述的内容标签生成方法，其特征在于，所述对所述第一文本特征中所述标签文本片段的第一子特征，以及所述拼接内容特征中与所述第一子特征对应的所述第二内容特征进行交叉注意力处理，包括：

9.根据权利要求5所述的内容标签生成方法，其特征在于，所述检索出与所述第一内容特征相似的第二内容特征，以及与所述第二内容特征关联的参考标签，包括：

10.根据权利要求9所述的内容标签生成方法，其特征在于，所述参考内容为参考视频，所述将各个所述第二内容特征与对应的所述参考标签关联存储至检索库，包括：

11.根据权利要求1所述的内容标签生成方法，其特征在于，所述待识别内容为待识别视频，所述提取所述待识别内容至少两种模态的模态特征，包括：

12.一种内容标签生成装置，其特征在于，包括：

13.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任意一项所述的内容标签生成方法。

14.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任意一项所述的内容标签生成方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任意一项所述的内容标签生成方法。

...

【技术特征摘要】

1.一种内容标签生成方法，其特征在于，包括：

2.根据权利要求1所述的内容标签生成方法，其特征在于，所述基于第一门控参数调整交叉注意力处理结果，得到目标文本特征，包括：

6.根据权利要求5所述的内容标签生成方法，其特征在于，所述基于所述参考标签构建提示文本，包括：

7.根据权利要求6所述的内容标签生成方法，其特征在于，所述对所述第一文本特征以及所述拼接内容特征进行交叉注意力处理，包括：

8.根据权利要求7所述的内容标签生成方法，其特征在于，所述对所述第一文本特征中所述标签文...

【专利技术属性】
技术研发人员：陈世哲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人