数据处理方法、装置及设备制造方法及图纸

本申请提出了一种数据处理方法、装置及设备，可以应用于云技术、人工智能、区块链、车联网、智慧交通、智能家居等各种领域或场景，该方法包括：获取训练样本，训练样本包括参考样本、正样本和负样本；调用特征提取模型对参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征；根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失；将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，目标特征提取模型用于提取多媒体数据的数据特征，采用本申请可以提高特征提取模型的准确性。的准确性。的准确性。

【技术实现步骤摘要】
数据处理方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、数据处理装置及计算机设备。

技术介绍

[0002]随着计算机技术的迅速发展，特征提取模型的应用越来越广泛，在应用特征提取模型之前，通常需要先对特征提取模型进行训练，训练的好坏可以决定特征提取模型的准确性（由特征质量的好坏决定），而损失的计算方法在很大程度上决定了特征提取模型训练的好坏，因此，针对损失设计合理的计算方法，提高特征提取模型的准确性是有待解决的问题。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置及设备，可以联合对比损失和相似损失，有效提高特征提取模型的准确性。
[0004]一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
[0005]另一方面，本申请实施例提供了一种数据处理装置，所述装置包括：获取单元，用于获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；处理单元，用于调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；所述处理单元，还用于根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；所述处理单元，还用于将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
[0006]相应地，本申请实施例提供了一种计算机设备，上述计算机设备包括处理器、通信
接口和存储器，上述处理器、通信接口和存储器相互连接，其中，上述存储器存储有计算机程序，上述处理器用于调用上述计算机程序，执行上述任一可能实现方式的数据处理方法。
[0007]相应地，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行实现本申请实施例提供的数据处理方法的步骤。
[0008]相应地，本申请实施例还提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行实现本申请实施例提供的数据处理方法的步骤。
[0009]相应地，本申请实施例还提供了一种计算机程序，上述计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行本申请实施例提供的数据处理方法。
[0010]本申请实施例中，调用特征提取模型对训练样本包括的参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征，其中，参考样本和正样本满足相似关系，参考样本和负样本满足不相似关系，根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失，将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，目标特征提取模型是用于提取多媒体数据的数据特征；上述方法中采用了对比损失和相似损失联合训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性。
附图说明
[0011]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本申请实施例提供的一种适用于数据处理方法的网络架构示意图；图2为本申请实施例提供的一种数据处理方法的流程示意图一；图3为本申请实施例提供的一种残差块的结构示意图；图4为本申请实施例提供的一种数据处理方法的流程示意图二；图5为本申请实施例提供的一种数据处理方法的流程示意图三；图6为本申请实施例提供的一种数据处理方法的流程示意图四；图7为本申请实施例提供的一种数据处理装置的结构示意图；图8为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0013]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的技术特征可以明示或者隐含的包括至少一个该特征。
[0015]本申请提出了一种数据处理方法，可以联合对比损失和相似损失训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性。该数据处理算法具体涉及人工智能技术中的机器学习技术，机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0016]在可行的实施例中，本申请实施例提供的数据处理方法还可以基于云技术（Cloud technology）和/或区块链技术实现。区块链：（blockchain或block chain）是借由密码学串接并保护内容的串连文字记录（又称区块）。每一个区块包含了前一个区块的加密散列、相应时间戳记以及交易数据（通常用默克尔树（Merkle tree）算法计算的散列值表示），这样的设计使得区块内容具有难以篡改的特性。用区块链技术所串接的分布式账本能让两方有效纪录交易，且可永久查验此交易本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。2.根据权利要求1所述的方法，其特征在于，所述将所述相似损失和所述对比损失叠加为目标损失，包括：获取所述特征提取模型的已训练批次量；若所述已训练批次量小于预设值，则将所述相似损失的权重和所述对比损失的权重均设为第一参数；若所述已训练批次量不小于所述预设值，则根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重；根据所述相似损失的权重和所述对比损失的权重，将所述相似损失和所述对比损失叠加为目标损失。3.根据权利要求2所述的方法，其特征在于，所述根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重，包括：获取所述训练样本所在的训练批次的参考相似损失和参考对比损失；根据所述参考相似损失和所述参考对比损失，确定所述正样本的数据类型和所述负样本的数据类型，所述数据类型包括噪声类型和非噪声类型；若所述正样本的数据类型为所述噪声类型，且所述负样本的数据类型为所述非噪声类型，则将所述相似损失的权重设为第二参数，将所述对比损失的权重设为所述第一参数，所述第一参数大于所述第二参数；若所述正样本的数据类型为所述非噪声类型，且所述负样本的数据类型为所述噪声类型，则将所述相似损失的权重设为所述第一参数，将所述对比损失的权重设为所述第二参数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若所述正样本和所述负样本的数据类型均为所述非噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为所述第一参数；若所述正样本和所述负样本的数据类型均为所述噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为空，权重为空的相似损失和权重为空的对比损失叠加得到的目标损失为空。5.根据权利要求3所述的方法，其特征在于，所述获取所述训练样本所在的训练批次的参考相似损失和参考对比损失，包括：若所述训练样本所在的训练批次为目标训练批次，则将所述训练样本所在的训练批次
的平均相似损失作为所述参考相似损失，将所述训练样本所在的训练批次的平均对比损失作为所述参考对比损失；若所述训练样本所在的训练批次不为所述目标训练批次，则根据所述训练样本所在的训练批次的平均相似损失，以及与所述训练样本所在的训练批次相邻的训练批次确定所...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：