基于对比学习和商品实体的商品向量检索方法与系统技术方案

本发明专利技术提供一种基于对比学习和商品实体的商品向量检索方法与系统，其中，所述方法包括：基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量，并基于所述商品向量构建商品对比数据库；获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量；基于所述搜索编码向量与商品对比数据库中的商品向量进行相似度计算得到检索向量进行输出。本发明专利技术提出一种基于对比学习方法和商品实体知识的可控向量检索方案，可以在不调整模型的情况下有效微调商品向量，使得商品向量焦距于重要部分，减少语义偏移。减少语义偏移。减少语义偏移。

【技术实现步骤摘要】
基于对比学习和商品实体的商品向量检索方法与系统


[0001]本专利技术涉及电子商务以及向量检索
，特别是涉及一种基于对比学习和商品实体的商品向量检索方法与系统。

技术介绍

[0002]随着互联网技术的迅猛发展，电子商务行业已经成为了一个巨大的市场。在这个市场中，商家需要通过各种方式吸引消费者的注意力并提供他们想要的商品。而为了让消费者能够更快速、准确地找到自己需要的商品，电商平台需要实现高效的商品检索系统。
[0003]其中，商品向量检索方法就是一种解决这个问题的技术，它通过将商品表示为向量的形式，并将这些向量储存在数据库中，使得电商平台能够根据用户的需求，快速地从数据库中召回与之匹配的商品向量，从而实现快速的商品推荐，但是目前检索出的商品向量不可控，经常出现语义偏移的现象，影响用户使用。

技术实现思路

[0004]本专利技术的目的在于提供一种基于对比学习和商品实体的商品向量检索方法与系统，用于解决现有技术中检索到的商品向量不可调整的问题。
[0005]第一方面，本申请提供了一种基于对比学习和商品实体的商品向量检索方法，所述方法包括：基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量，并基于所述商品向量构建商品对比数据库；获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量；基于所述搜索编码向量与商品对比数据库中的商品向量进行相似度计算得到检索向量进行输出。
[0006]在本申请一个可能的实现方式中，所述基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量，具体包括：基于所述商品名称输入到所述编码网络模型中得到商品名称编码向量；基于所述商品实体输入到所述编码网络模型中得到商品实体编码向量，其中，所述商品实体至少包括商品品牌、商品口味以及商品规格；基于所述商品名称编码向量以及所述商品实体编码向量进行加权求和得到所述商品向量。
[0007]在本申请一个可能的实现方式中，所述获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量，具体包括：获取所述用户搜索需求，基于所述用户搜索需求识别搜索词；基于所述搜索词利用所述编码网络模型进行词向量编码得到所述搜索编码向量。
[0008]在本申请一个可能的实现方式中，所述方法还包括构建编码网络模型，具体包括：
获取训练数据集，其中，所述训练数据集包括第一训练数据以及第二训练数据；基于所述第一训练数据以及所述第二训练数据进行训练得到所述编码网络模型，其中，基于所述第一训练数据进行对比学习训练得到所述编码网络模型，基于所述第二训练数据对所述编码网络模型进行微调训练。
[0009]在本申请一个可能的实现方式中，所述获取数据集，具体包括：基于商品的点击数据以及商品名称数据得到所述第一训练数据；基于外部知识构建所述第二训练数据，其中包括基于特定类型样本挖掘得到所述第二训练数据，和/或对所述第一训练数据进行离线推理得到所述第二训练数据，所述第二训练数据包括难负样本。
[0010]在本申请一个可能的实现方式中，基于所述第一训练数据进行对比学习训练得到编码网络模型具体包括：基于所述第一训练数据进行采样得到正样本对以及负样本对；基于预设的编码网络结构结合正样本对以及负样本对进行对比学习训练得到所述编码网络模型，其中，所述编码网络结构包括robert
‑
tiny网络结构。
[0011]在本申请一个可能的实现方式中，基于所述第二训练数据对所述编码网络模型进行微调训练，具体包括：基于所述编码网络模型对难负样本三元组进行编码；基于编码结果进行距离计算以获取三元组损失值进行微调。
[0012]第二方面，本申请提供了一种基于对比学习和商品实体的商品向量检索系统，所述系统包括：编码模块，用于基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量；构建模块，用于基于所述商品向量构建商品对比数据库；获取模块，用于获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量；输出模块，用于基于所述搜索编码向量与商品对比数据库中的商品向量进行相似度计算得到检索向量进行输出。
[0013]第三方面，本申请提供了一种上述的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于对比学习和商品实体的商品向量检索方法。
[0014]第四方面，本申请提供了一种上述的电子设备，所述电子设备包括：处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于加载执行所述计算机程序，以使所述电子设备执行所述的基于对比学习和商品实体的商品向量检索方法。
[0015]如上所述，本专利技术的基于对比学习和商品实体的商品向量检索方法与系统，提出一种基于对比学习方法和商品实体知识的可控向量检索方案，可以在不调整模型的情况下有效微调商品向量，使得商品向量焦距于重要部分，减少语义偏移。
附图说明
[0016]图1显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的场景应用图；
图2显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的方法步骤示意图；图3显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的方法步骤示意图；图4显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的向量编码加权流程示意图；图5显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的方法步骤示意图；图6显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的方法步骤示意图；图7 显示为本专利技术的基于对比学习和商品实体的商品向量检索方法于一实施例中的三元组编码示意图；图8显示为本专利技术的基于对比学习和商品实体的商品向量检索系统于一实施例中的结构示意图；图9显示为本专利技术一实施例中电子设备的结构示意图。
[0017]元件标号说明
具体实施方式
[0018]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0019]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0020]如图1所示，为本申请中说明的基于对比学习和商品实体的商品向量检索方法的场景应用图，其中，向量检索旨在计算用户Query和商品数据库中各商品之间的相关程度，也就是判断商品数据库中的内容是否满本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习和商品实体的商品向量检索方法，其特征在于，包括：基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量，并基于所述商品向量构建商品对比数据库；获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量；基于所述搜索编码向量与商品对比数据库中的商品向量进行相似度计算得到检索向量进行输出。2.根据权利要求1所述的基于对比学习和商品实体的商品向量检索方法，其特征在于，所述基于商品名称以及商品实体利用预设的编码网络模型进行编码，而后进行加权求和得到对应的商品向量，具体包括：基于所述商品名称输入到所述编码网络模型中得到商品名称编码向量；基于所述商品实体输入到所述编码网络模型中得到商品实体编码向量，其中，所述商品实体至少包括商品品牌、商品口味以及商品规格；基于所述商品名称编码向量以及所述商品实体编码向量进行加权求和得到所述商品向量。3.根据权利要求1所述的基于对比学习和商品实体的商品向量检索方法，其特征在于，所述获取用户搜索需求，基于所述用户搜索需求利用预设的编码网络模型进行编码得到搜索编码向量，具体包括：获取所述用户搜索需求，基于所述用户搜索需求识别搜索词；基于所述搜索词利用所述编码网络模型进行词向量编码得到所述搜索编码向量。4.根据权利要求1所述的基于对比学习和商品实体的商品向量检索方法，其特征在于，所述方法还包括构建编码网络模型，具体包括：获取训练数据集，其中，所述训练数据集包括第一训练数据以及第二训练数据；基于所述第一训练数据以及所述第二训练数据进行训练得到所述编码网络模型，其中，基于所述第一训练数据进行对比学习训练得到所述编码网络模型，基于所述第二训练数据对所述编码网络模型进行微调训练。5.根据权利要求4所述的基于对比学习和商品实体的商品向量检索方法，其特征在于，获取数据集，具体包括：基于商品的点击数据以及商品名称数据得到所...

【专利技术属性】
技术研发人员：张玉，李舒昊，周兵兵，林冠，
申请(专利权)人：北京永辉科技有限公司，
类型：发明
国别省市：