本公开关于一种异构多媒体数据的表征模型训练方法、装置、设备及介质，用以解决相关技术无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低的问题。本公开的异构多媒体数据的表征模型训练方法，包括：对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；利用所述异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；利用所述特征数据对所述主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，所述对齐学习训练包括对比学习训练和对抗学习训练中至少一种。括对比学习训练和对抗学习训练中至少一种。括对比学习训练和对抗学习训练中至少一种。
【技术实现步骤摘要】
一种异构多媒体数据的表征模型训练方法、装置、设备及介质
[0001]本公开涉及深度学习
，尤其涉及一种异构多媒体数据的表征模型训练方法、装置、设备及介质。
技术介绍
[0002]信息推荐领域的内容理解中，包含了物品,直播,短视频,推荐信息等多类异构多媒体数据的类目识别，实体识别，属性识别等。现有内容理解方案中，大多都是基于同构内容进行建模的，对不同的异构多媒体数据有不同的识别任务，所得到的内容表征也不在同一空间，因此无法通过表征进行异构多媒体数据的互相关联。而如果使用在一种异构多媒体数据上建模的模型直接去预估其它形式的内容，虽然也可以得到同空间下的表征，但是无法消除不同异构多媒体数据之间的领域差异性，且异构多媒体数据在同空间下的分布并不均匀。且对于内容相似或相同的异构多媒体数据来说，例如短视频中所提及的物品，由于视频和物品在标签体系上存在较大差异性，会导致两者在隐空间中的类聚性差，无法分到同一个聚类蔟上，且异构多媒体数据之间的表征壁垒限制了使用者在各个异构多媒体数据上的关联打通，极大的限制了跨域兴趣的应用，且在兴趣建模视角预估模型(Search
‑
Based Interest Model，SIM)这样的长期兴趣序列建模中，无法把全部异构多媒体数据上的兴趣进行高效的整合，致使兴趣关联性稀疏。
[0003]综上所述，在信息推荐领域中，无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低。
技术实现思路
[0004]本公开提供一种异构多媒体数据的表征模型训练方法、装置、设备及介质，以至少解决相关技术中无法做到高关联度的跨领域信息推荐，致使兴趣关联性稀疏，推荐效率低的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种异构多媒体数据的表征模型训练方法，包括：
[0006]对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；
[0007]利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；
[0008]利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。
[0009]在一种可能的实施方式中，本公开提供的方法中，对齐学习训练为对比学习训练时，主干网络后连接对比学习分支网络；利用特征数据对主干网络进行对齐学习训练，包括：
[0010]利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。
[0011]在一种可能的实施方式中，本公开提供的方法中，利用特征数据对对比学习分支
网络进行训练，得到对比学习分支网络，包括：
[0012]选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对；
[0013]利用正例对和负例对计算得到对比损失，利用对比损失调整对比学习分支网络的模型参数，以得到对比学习分支网络。
[0014]在一种可能的实施方式中，本公开提供的方法中，对齐学习训练为对抗学习训练时，主干网络后连接对抗学习分支网络；
[0015]利用特征数据对主干网络进行对齐学习训练，包括：
[0016]利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。
[0017]在一种可能的实施方式中，本公开提供的方法中，在主干网络后连接对抗学习分支网络，包括：在主干网络上连接域分类器；
[0018]利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络，包括：
[0019]将特征数据映射到特征空间中；
[0020]在主干网络和域分类器之间进行梯度反转，得到对抗学习分支网络，使得特征数据在特征空间中分布一致。
[0021]在一种可能的实施方式中，本公开提供的方法中，利用异构多媒体数据样本数据对初始异构多媒体数据的表征模型进行训练，包括：
[0022]对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据；
[0023]对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据；
[0024]对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，特征数据包含图文表征数据。
[0025]根据本公开实施例的第二方面，提供一种异构多媒体数据的表征模型训练装置，包括：
[0026]标注单元，被配置为执行对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；
[0027]第一训练单元，被配置为执行利用异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；
[0028]第二训练单元，被配置为执行利用特征数据对主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，对齐学习训练包括对比学习训练和对抗学习训练中至少一种。
[0029]在一种可能的实施方式中，本公开提供的装置中，对齐学习训练为对比学习训练时，主干网络后连接对比学习分支网络；
[0030]第二训练单元具体被配置为执行利用特征数据对对比学习分支网络进行训练，得到对比学习分支网络。
[0031]在一种可能的实施方式中，本公开提供的装置中，第二训练单元具体被配置为执行：
[0032]选取标注相同的特征数据为正例对，并在特征数据中随机选取负例对；
[0033]利用正例对和负例对计算得到对比损失，利用对比损失调整对比学习分支网络的模型参数，以得到对比学习分支网络。
[0034]在一种可能的实施方式中，本公开提供的装置中，对齐学习训练为对抗学习训练
时，主干网络后连接对抗学习分支网络；第二训练单元具体被配置为执行：
[0035]利用特征数据对对抗学习分支网络进行训练，得到对抗学习分支网络。
[0036]在一种可能的实施方式中，本公开提供的装置中，在主干网络后连接对抗学习分支网络，包括：在主干网络上连接域分类器；第二训练单元具体被配置为执行：
[0037]将特征数据映射到特征空间中；
[0038]在主干网络和域分类器之间进行梯度反转，得到对抗学习分支网络，使得特征数据在特征空间中分布一致。
[0039]在一种可能的实施方式中，本公开提供的装置中，第一训练单元具体被配置为执行：
[0040]对异构多媒体数据样本数据进行图像特征提取，得到图像表征数据；
[0041]对异构多媒体数据样本数据进行文本特征提取，得到文本表征数据；
[0042]对图像表征数据和文本表征数据进行图文特征提取，得到特征数据，特征数据包含图文表征数据。
[0043]根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；
[0044]用于存储处理器可执行指令的存储器；
[0045]其中，处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的基于异构多媒体数据的表征模型训练方法。
[0046]根据本公开实施例的第四方面，提供一种存储介质，当存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构多媒体数据的表征模型训练方法，其特征在于，包括：对预先获取的异构多媒体数据样本进行标注，获得异构多媒体数据样本数据；利用所述异构多媒体数据样本数据对初始模型进行训练，得到特征数据和用于提取特征数据的主干网络；利用所述特征数据对所述主干网络进行对齐学习训练，得到异构多媒体数据的表征模型，所述对齐学习训练包括对比学习训练和对抗学习训练中至少一种。2.根据权利要求1所述的方法，其特征在于，所述对齐学习训练为对比学习训练时，所述主干网络后连接对比学习分支网络；所述利用所述特征数据对所述主干网络进行对齐学习训练，包括：利用所述特征数据对所述对比学习分支网络进行训练，得到对比学习分支网络。3.根据权利要求2所述的方法，其特征在于，所述利用所述特征数据对所述对比学习分支网络进行训练，得到对比学习分支网络，包括：选取标注相同的特征数据为正例对，并在所述特征数据中随机选取负例对；利用所述正例对和所述负例对计算得到对比损失，利用所述对比损失调整所述对比学习分支网络的模型参数，以得到所述对比学习分支网络。4.根据权利要求1所述的方法，其特征在于，所述对齐学习训练为对抗学习训练时，所述主干网络后连接对抗学习分支网络；所述利用所述特征数据对所述主干网络进行对齐学习训练，包括：利用所述特征数据对所述对抗学习分支网络进行训练，得到对抗学习分支网络。5.根据权利要求4所述的方法，其特征在于，所述在所述主干网络后连接对抗学习分支网络，包括：在所述主干网络上连接域分类器；所述利用所述特征数据对所述对抗学习分支网络进行训练，得到对抗学习分支网络，包括：将所述特征数据映射到特征空间中；在所述主干网络和所述域分类器之间进行梯度反转，得到所述对抗学习分支网络，使得所述特征数据在所述特征空间中分布一致。...
【专利技术属性】
技术研发人员：代成，李帆，林英乔，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。