标签构建模型的生成方法、装置、电子设备和存储介质制造方法及图纸

本公开关于标签构建模型的生成方法、装置、电子设备和存储介质，该方法包括：获取多个样本多媒体资源和每个样本多媒体资源对应的预设资源标签，通过第一待训练模型生成每个样本多媒体资源对应的目标资源标签，并基于预设资源标签，通过第二待训练模型对目标资源标签进行标签检测，得到标签检测结果。通过标签检测结果确定正样本标签信息和负样本标签信息，并基于目标资源标签、预设资源标签、样本多媒体资源、正样本标签信息和负样本标签信息，对第一待训练模型和第二待训练模型进行模型训练，得到第一待训练模型对应的标签构建模型。该方法可以提高多媒体资源的标签多样性并提高标签构建的准确性。高标签构建的准确性。高标签构建的准确性。

【技术实现步骤摘要】
标签构建模型的生成方法、装置、电子设备和存储介质


[0001]本公开涉及机器学习
，尤其涉及标签构建模型的生成方法、装置、电子设备和存储介质。

技术介绍

[0002]在短视频平台或者中长视频平台上，视频数据量级都十分庞大，通过对视频进行打标签，可以利用标签从多个维度对视频进行刻画，从而便于对视频进行管理、推荐以及展示等，相关技术中，在确定视频的标签时，通常需要基于人工筛选高质量标签，并基于高质量标签对视频进行分类，但存在视频只能选择人工筛选的标签作为自己的标签的问题，导致多媒体资源标签的多样性低。

技术实现思路

[0003]本公开提供标签构建模型的生成方法、装置、电子设备和存储介质，以至少解决相关技术中多媒体资源标签的多样性低的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种标签构建模型的生成方法，所述方法包括；
[0005]获取多个样本多媒体资源和每个所述样本多媒体资源对应的预设资源标签；
[0006]对每个所述样本多媒体资源进行多模态特征提取，得到每个所述样本多媒体资源对应的样本多模态特征；
[0007]将所述样本多模态特征输入到第一待训练模型中进行资源标签构建，得到每个所述样本多媒体资源对应的目标资源标签；
[0008]将所述目标资源标签、所述预设资源标签和所述样本多模态特征输入到第二待训练模型中进行标签检测处理，得到标签检测结果，所述标签检测结果指示每个所述样本多媒体资源对应的所述目标资源标签与每个所述样本多媒体资源间的匹配情况；
[0009]基于所述标签检测结果，将第一多媒体资源对应的所述目标资源标签和所述第一多媒体资源对应的所述预设资源标签作为正样本标签信息，以及将第二多媒体资源对应的所述目标资源标签和所述第二多媒体资源对应的所述预设资源标签作为负样本标签信息；所述第一多媒体资源为与所述目标资源标签匹配的样本多媒体资源，所述第二多媒体资源为与所述目标资源标签不匹配的样本多媒体资源；
[0010]基于所述目标资源标签、所述预设资源标签、所述样本多媒体资源、所述正样本标签信息和所述负样本标签信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型，所述标签构建模型包括所述第一待训练模型对应的标签提取网络和所述第二待训练模型对应的对比学习网络。
[0011]作为一个可选的实施例，所述第二待训练模型包括标签特征提取层、相似度确定层和标签检测层，所述将所述目标资源标签、所述预设资源标签和所述样本多模态特征输入到第二待训练模型中进行标签检测处理，得到标签检测结果包括：
[0012]将所述目标资源标签和所述预设资源标签输入到所述标签特征提取层中分别进行标签特征提取，得到所述目标资源标签对应的第一标签特征和所述预设资源标签对应的第二标签特征；
[0013]将所述第一标签特征、所述第二标签特征和所述样本多模态特征输入到所述相似度确定层中进行相似度确定，得到所述目标资源标签和所述样本多媒体资源间的第一特征相似度，以及所述预设资源标签和所述样本多媒体资源间的第二特征相似度；
[0014]将所述第一特征相似度和所述第二特征相似度输入到所述标签检测层中进行标签相似度检测处理，得到所述标签检测结果。
[0015]作为一个可选的实施例，所述样本多模态特征包括多个按序排列的多模态子特征，所述第一待训练模型包括特征解码层和文本生成层，所述将所述样本多模态特征输入到第一待训练模型中进行资源标签构建，得到每个所述样本多媒体资源对应的目标资源标签包括：
[0016]在当前多模态子特征为所述多个按序排列的多模态子特征中的第一个多模态子特征的情况下，将所述第一个多模态子特征输入到所述特征解码层中进行特征解码处理，得到第一个多模态子特征对应的特征解码结果；
[0017]在所述当前多模态子特征为所述多个按序排列的多模态子特征中的非第一个多模态子特征的情况下，获取所述当前多模态子特征对应的上一特征解码结果，将所述当前多模态子特征和所述上一特征解码结果输入到所述特征解码层中进行特征解码处理，得到所述当前多模态子特征对应的特征解码结果，其中，所述上一特征解码结果为所述当前多模态子特征的上一多模态子特征对应的特征解码结果；
[0018]将所述多个按序排列的多模态子特征中的最后一个多模态子特征对应的特征解码结果输入到所述文本生成层中进行文本生成，得到所述目标资源标签。
[0019]作为一个可选的实施例，所述基于所述目标资源标签、所述预设资源标签、所述样本多媒体资源、所述正样本标签信息和所述负样本标签信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型包括：
[0020]基于所述目标资源标签和所述预设资源标签间的差异信息，确定标签生成损失信息；
[0021]基于所述样本多媒体资源和所述正样本标签信息间的差异信息，以及所述负样本标签信息中的目标资源标签和所述负样本标签信息中的预设资源标签间的差异信息，确定标签检测损失信息；
[0022]基于所述标签生成损失信息和所述标签检测损失信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型。
[0023]作为一个可选的实施例，所述对每个所述样本多媒体资源进行多模态特征提取，得到每个所述样本多媒体资源对应的样本多模态特征包括：
[0024]对每个所述样本多媒体资源对应的资源图像信息进行图像特征提取，得到样本图像特征；
[0025]对每个所述样本多媒体资源对应的资源文本信息进行文本特征提取，得到样本文本特征；
[0026]对所述样本图像特征和所述样本文本特征进行特征融合，得到所述样本多媒体资
源对应的样本多模态特征。
[0027]作为一个可选的实施例，所述资源文本信息包括至少两种类型的文本信息，所述样本文本特征包括多个按序排列的文本子特征，所述对每个所述样本多媒体资源对应的资源文本信息进行文本特征提取，得到样本文本特征包括：
[0028]对所述样本多媒体资源对应的至少两种类型的文本信息进行文本拼接，得到文本拼接信息；
[0029]将所述文本拼接信息中的前预设数目个字符信息输入到文本特征提取模型中进行文本特征提取，得到所述预设数目个字符信息分别对应的文本子特征。
[0030]作为一个可选的实施例，所述资源图像信息包括预设数目个按序排列的图像信息，所述样本图像特征包括多个按序排列的图像子特征，所述对每个所述样本多媒体资源对应的资源图像信息进行图像特征提取，得到样本图像特征包括：
[0031]将所述预设数目个按序排列的图像信息输入到图像特征提取模型中进行图像特征提取，得到所述预设数目个按序排列的图像信息分别对应的图像子特征。
[0032]作为一个可选的实施例，在所述获取样本多媒体资源和所述样本多媒体资源对应的预设资源标签之前，所述方法还包括：
[0033]对所述样本多媒体资源进行资源分类处理，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标签构建模型的生成方法，其特征在于，所述方法包括：获取多个样本多媒体资源和每个所述样本多媒体资源对应的预设资源标签；对每个所述样本多媒体资源进行多模态特征提取，得到每个所述样本多媒体资源对应的样本多模态特征；将所述样本多模态特征输入到第一待训练模型中进行资源标签构建，得到每个所述样本多媒体资源对应的目标资源标签；将所述目标资源标签、所述预设资源标签和所述样本多模态特征输入到第二待训练模型中进行标签检测处理，得到标签检测结果，所述标签检测结果指示每个所述样本多媒体资源对应的所述目标资源标签与每个所述样本多媒体资源间的匹配情况；基于所述标签检测结果，将第一多媒体资源对应的所述目标资源标签和所述第一多媒体资源对应的所述预设资源标签作为正样本标签信息，以及将第二多媒体资源对应的所述目标资源标签和所述第二多媒体资源对应的所述预设资源标签作为负样本标签信息；所述第一多媒体资源为与所述目标资源标签匹配的样本多媒体资源，所述第二多媒体资源为与所述目标资源标签不匹配的样本多媒体资源；基于所述目标资源标签、所述预设资源标签、所述样本多媒体资源、所述正样本标签信息和所述负样本标签信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型，所述标签构建模型包括所述第一待训练模型对应的标签提取网络和所述第二待训练模型对应的对比学习网络。2.根据权利要求1所述的标签构建模型的生成方法，其特征在于，所述第二待训练模型包括标签特征提取层、相似度确定层和标签检测层，所述将所述目标资源标签、所述预设资源标签和所述样本多模态特征输入到第二待训练模型中进行标签检测处理，得到标签检测结果包括：将所述目标资源标签和所述预设资源标签输入到所述标签特征提取层中分别进行标签特征提取，得到所述目标资源标签对应的第一标签特征和所述预设资源标签对应的第二标签特征；将所述第一标签特征、所述第二标签特征和所述样本多模态特征输入到所述相似度确定层中进行相似度确定，得到所述目标资源标签和所述样本多媒体资源间的第一特征相似度，以及所述预设资源标签和所述样本多媒体资源间的第二特征相似度；将所述第一特征相似度和所述第二特征相似度输入到所述标签检测层中进行标签相似度检测，得到所述标签检测结果。3.根据权利要求1所述的标签构建模型的生成方法，其特征在于，所述样本多模态特征包括多个按序排列的多模态子特征，所述第一待训练模型包括特征解码层和文本生成层，所述将所述样本多模态特征输入到第一待训练模型中进行资源标签构建，得到每个所述样本多媒体资源对应的目标资源标签包括：在当前多模态子特征为所述多个按序排列的多模态子特征中的第一个多模态子特征的情况下，将所述第一个多模态子特征输入到所述特征解码层中进行特征解码处理，得到第一个多模态子特征对应的特征解码结果；在所述当前多模态子特征为所述多个按序排列的多模态子特征中的非第一个多模态子特征的情况下，获取所述当前多模态子特征对应的上一特征解码结果，将所述当前多模
态子特征和所述上一特征解码结果输入到所述特征解码层中进行特征解码处理，得到所述当前多模态子特征对应的特征解码结果，其中，所述上一特征解码结果为所述当前多模态子特征的上一多模态子特征对应的特征解码结果；将所述多个按序排列的多模态子特征中的最后一个多模态子特征对应的特征解码结果输入到所述文本生成层中进行文本生成，得到所述目标资源标签。4.根据权利要求1所述的标签构建模型的生成方法，其特征在于，所述基于所述目标资源标签、所述预设资源标签、所述样本多媒体资源、所述正样本标签信息和所述负样本标签信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型包括：基于所述目标资源标签和所述预设资源标签间的差异信息，确定标签生成损失信息；基于所述样本多媒体资源和所述正样本标签信息间的差异信息，以及所述负样本标签信息中的目标资源标签和所述负样本标签信息中的预设资源标签间的差异信息，确定标签检测损失信息；基于所述标签生成损失信息和所述标签检测损失信息，对所述第一待训练模型和所述第二待训练模型进行模型训练，得到所述标签构建模型。5.根据权利要求1所述的标签构建模型的生成方法，其特征在于，所述对每个所述样本多媒体资源进行多模态特征提取，得到每个所述样本多媒体资源对应的样本多模态特征包括：对每个所述样本多媒体资源对应的资源图像信息进行图像特征提取，得到样本图像特征；对每个所述样本多媒体资源对应的资源文本信息进行文本特征提取，得到样本文本特征；对所述样本图像特征和所述样本文本特征进行特征融合，得到所述样本多媒体资源对应...

【专利技术属性】
技术研发人员：林和政，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：