模型训练方法及相关设备技术

本公开实施例提供一种模型训练方法及相关设备。该方法包括：确定多媒体训练样本，获取多媒体训练样本的历史样本特征和历史类别特征；其中，历史样本特征和历史类别特征分别是利用第一特征提取模型和第一分类器输出的；通过第二特征提取模型处理多媒体训练样本得到多媒体训练样本的预测样本特征，根据历史样本特征和预测样本特征计算第一损失函数；通过第一分类器处理预测样本特征确定多媒体训练样本的预测类别特征，根据历史类别特征和预测类别特征计算第二损失函数；根据第一损失函数和第二损失函数训练第二特征提取模型。该方法可以对第二特征提取模型进行训练，使得通过第二特征提取模型提取出的特征能够与历史样本特征在特征空间上对齐。征在特征空间上对齐。征在特征空间上对齐。

【技术实现步骤摘要】
模型训练方法及相关设备


[0001]本公开涉及深度学习
，尤其涉及一种模型训练方法、模型训练装置、电子设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]作品分享平台可以接收用户上传的多媒体文件，并将多媒体文件作为作品个性化地推送给用户。其中，可以通过作品分享平台上部署的特征提取模型将作品映射到能够表达作品内容信息的特征空间，得到作品的作品特征，再根据作品特征将作品个性化地推送给用户。由于作品分享平台上的作品数据是变化的，表达作品内容信息的特征空间会相应改变，因此常常需要更新作品分享平台上作品的作品特征，以保证作品在特征空间上的一致性。
[0003]相关技术中对作品的作品特征进行更新时，通常是使用部署在线上的特征提取模型对作品分享平台上所有作品重新进行特征提取处理以得到新的作品特征，以此保证所有作品在特征空间上的一致性。可见在相关技术的作品特征更新过程中，为保证所有作品在特征空间上的一致性，需要处理的数据量为作品分享平台上所有作品，因此存在资源消耗大、作品特征更新效率低的缺陷。

技术实现思路

[0004]本公开提供一种模型训练方法、模型训练装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中作品特征更新过程中资源消耗大、作品特征更新效率低的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种模型训练方法，该方法包括：确定多媒体训练样本，获取多媒体训练样本的历史样本特征和历史类别特征；其中，历史样本特征是利用第一特征提取模型预测输出的，历史类别特征是通过第一分类器处理历史样本特征获得的；通过第二特征提取模型处理多媒体训练样本，得到多媒体训练样本的预测样本特征，根据历史样本特征和预测样本特征计算第一损失函数；通过第一分类器处理预测样本特征确定多媒体训练样本的预测类别特征，根据历史类别特征和预测类别特征计算第二损失函数；根据第一损失函数和第二损失函数训练第二特征提取模型。
[0006]在本公开的一些示例性实施例中，第二特征提取模型包括图像特征提取模型和文本特征提取模型；以及，通过第二特征提取模型处理多媒体训练样本，得到多媒体训练样本的预测样本特征步骤，包括：通过图像特征提取模型处理多媒体训练样本，得到多媒体训练样本的图像特征；通过文本特征提取模型处理多媒体训练样本，得到多媒体训练样本的文本特征；对图像特征和文本特征进行融合，得到多媒体训练样本的预测样本特征。
[0007]在本公开的一些示例性实施例中，通过图像特征提取模型处理多媒体训练样本，得到多媒体训练样本的图像特征步骤，包括：获取多媒体训练样本的封面图像；对多媒体训练样本进行抽帧，得到预设数量的抽样帧图像；通过图像特征提取模型分别提取封面图像
和各个抽样帧图像的图像特征，作为多媒体训练样本的图像特征。
[0008]在本公开的一些示例性实施例中，通过文本特征提取模型处理多媒体训练样本，得到多媒体训练样本的文本特征步骤，包括：使用字符识别技术分别识别封面图像和各个抽样帧图像，得到第一识别文本；使用内容识别技术识别多媒体训练样本，得到第二识别文本；获取多媒体训练样本的描述文本，拼接描述文本、第一识别文本、第二识别文本，得到多媒体训练样本的待处理文本；通过文本特征提取模型提取待处理文本的文本特征，作为多媒体训练样本的文本特征。
[0009]在本公开的一些示例性实施例中，第二特征提取模型包括多头注意力层；对图像特征和文本特征进行融合，得到多媒体训练样本的预测样本特征步骤，包括：使用多头注意力层对图像特征和文本特征进行融合处理，得到多媒体训练样本的预测样本特征。
[0010]在本公开的一些示例性实施例中，根据第一损失函数和第二损失函数训练第二特征提取模型步骤，包括：获取约束参数，基于约束参数、第一损失函数和第二损失函数构建约束条件表达式；根据约束条件表达式训练第二特征提取模型。
[0011]在本公开的一些示例性实施例中，还包括：获取待处理多媒体文件；通过第二特征提取模型处理待处理多媒体文件，得到待处理多媒体文件的多媒体特征；通过第二分类器处理多媒体特征，确定待处理多媒体文件的推荐标签。
[0012]根据本公开实施例的第二方面，提供一种模型训练装置，包括：获取模块，被配置为执行确定多媒体训练样本，获取多媒体训练样本的历史样本特征和历史类别特征；其中，历史样本特征是利用第一特征提取模型预测输出的，历史类别特征是通过第一分类器处理历史样本特征获得的；计算模块，被配置为执行通过第二特征提取模型处理多媒体训练样本，得到多媒体训练样本的预测样本特征，根据历史样本特征和预测样本特征计算第一损失函数；计算模块还被配置为执行通过第一分类器处理预测样本特征确定多媒体训练样本的预测类别特征，根据历史类别特征和预测类别特征计算第二损失函数；训练模块，被配置为执行根据第一损失函数和第二损失函数训练第二特征提取模型。
[0013]在本公开的一些示例性实施例中，第二特征提取模型包括图像特征提取模型和文本特征提取模型；以及，计算模块执行通过第二特征提取模型处理多媒体训练样本，得到多媒体训练样本的预测样本特征步骤，包括：通过图像特征提取模型处理多媒体训练样本，得到多媒体训练样本的图像特征；通过文本特征提取模型处理多媒体训练样本，得到多媒体训练样本的文本特征；对图像特征和文本特征进行融合，得到多媒体训练样本的预测样本特征。
[0014]在本公开的一些示例性实施例中，计算模块执行通过图像特征提取模型处理多媒体训练样本，得到多媒体训练样本的图像特征步骤，包括：获取多媒体训练样本的封面图像；对多媒体训练样本进行抽帧，得到预设数量的抽样帧图像；通过图像特征提取模型分别提取封面图像和各个抽样帧图像的图像特征，作为多媒体训练样本的图像特征。
[0015]在本公开的一些示例性实施例中，计算模块执行通过文本特征提取模型处理多媒体训练样本，得到多媒体训练样本的文本特征步骤，包括：使用字符识别技术分别识别封面图像和各个抽样帧图像，得到第一识别文本；使用内容识别技术识别多媒体训练样本，得到第二识别文本；获取多媒体训练样本的描述文本，拼接描述文本、第一识别文本、第二识别文本，得到多媒体训练样本的待处理文本；通过文本特征提取模型提取待处理文本的文本
特征，作为多媒体训练样本的文本特征。
[0016]在本公开的一些示例性实施例中，第二特征提取模型包括多头注意力层，计算模块执行对图像特征和文本特征进行融合，得到多媒体训练样本的预测样本特征步骤，包括：使用多头注意力层对图像特征和文本特征进行融合处理，得到多媒体训练样本的预测样本特征。
[0017]在本公开的一些示例性实施例中，训练模块执行根据第一损失函数和第二损失函数训练第二特征提取模型步骤，包括：获取约束参数，基于约束参数、第一损失函数和第二损失函数构建约束条件表达式；根据约束条件表达式训练第二特征提取模型。
[0018]在本公开的一些示例性实施例中，还包括处理模块，被配置为执行：获取待处理多媒体文件；通过第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：确定多媒体训练样本，获取所述多媒体训练样本的历史样本特征和历史类别特征；其中，所述历史样本特征是利用第一特征提取模型预测输出的，所述历史类别特征是通过第一分类器处理所述历史样本特征获得的；通过第二特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的预测样本特征，根据所述历史样本特征和所述预测样本特征计算第一损失函数；通过所述第一分类器处理所述预测样本特征确定所述多媒体训练样本的预测类别特征，根据所述历史类别特征和所述预测类别特征计算第二损失函数；根据所述第一损失函数和所述第二损失函数训练所述第二特征提取模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述第二特征提取模型包括图像特征提取模型和文本特征提取模型；以及，所述通过第二特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的预测样本特征步骤，包括：通过所述图像特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的图像特征；通过所述文本特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的文本特征；对所述图像特征和所述文本特征进行融合，得到所述多媒体训练样本的预测样本特征。3.根据权利要求2所述的模型训练方法，其特征在于，所述通过所述图像特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的图像特征步骤，包括：获取所述多媒体训练样本的封面图像；对所述多媒体训练样本进行抽帧，得到预设数量的抽样帧图像；通过所述图像特征提取模型分别提取所述封面图像和各个抽样帧图像的图像特征，作为所述多媒体训练样本的图像特征。4.根据权利要求3所述的模型训练方法，其特征在于，所述通过所述文本特征提取模型处理所述多媒体训练样本，得到所述多媒体训练样本的文本特征步骤，包括：使用字符识别技术分别识别所述封面图像和各个抽样帧图像，得到第一识别文本；使用内容识别技术识别所述多媒体训练样本，得到第二识别文本；获取所述多媒体训练样本的描述文本，拼接所述描述文本、第一识别文本、第二识别文本，得到所述多媒体训练样本的待处理文本...

【专利技术属性】
技术研发人员：林和政，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：