本申请公开一种商品对象搜索方法及其装置、设备、介质、产品，所述方法包括：获取商品数据库中各商品对象的综合特征向量，所述综合特征向量包括商品对象的图片语义特征和文本语义特征；所述图片语义特征为所述商品对象的商品图片的多个分割图元分别提取图元语义特征后进行特征交互所生成；构造特征索引矩阵，用于存储两两商品对象之间的综合特征向量之间的相似度数据；获取用户行为消息中的已访问商品对象，将其确定为待搜索商品对象；从所述特征索引矩阵中查询出与待搜索商品对象满足相似度匹配条件的多个目标商品对象。本申请通过对商品对象的商品图片和摘要文本进行深度语义层面的特征交互实现相似度计算，使相似商品匹配更准确。匹配更准确。匹配更准确。
【技术实现步骤摘要】
商品对象搜索方法及其装置、设备、介质、产品
[0001]本申请涉及电商信息
，尤其涉及一种商品对象搜索方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。
技术介绍
[0002]时下，各大电商平台都会根据用户的浏览记录针对性推荐一些相关商品，以实现商品推广的目的，一方面可以提升用户的购物体验，一方面帮助商品提高销售量。这其中最重要的环节就是站内相似商品搜索。
[0003]进行站内搜索，一方面，考虑到商品信息一般都有文本信息(标题文本、详情内容)和图像信息(主图、详情图)两种形式，这两种信息从不同维度描述了商品，现有技术一般都采用其中的单一信息或者两者的综合信息进行搜索匹配，但实践中效果并不明显。
[0004]究其原因，现有技术中基于商品图片、文本信息的语义特征信息进行相似图片识别，但由于对其中的语义特征信息的表示学习较为表浅，使得获得的语义表示欠缺综合描述商品对象的特征的能力，因此，相应的改进方案有待探索。
技术实现思路
[0005]本申请的首要目的在于解决上述问题至少之一而提供一种商品对象搜索方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。
[0006]为满足本申请的各个目的，本申请采用如下技术方案：
[0007]适应本申请的目的之一而提供的一种商品对象搜索方法，包括如下步骤：
[0008]获取商品数据库中各商品对象的综合特征向量，所述综合特征向量包括商品对象的图片语义特征和文本语义特征；所述图片语义特征为所述商品对象的商品图片的多个分割图元分别提取图元语义特征后进行特征交互所生成；
[0009]构造特征索引矩阵，用于存储两两商品对象之间的综合特征向量之间的相似度数据；
[0010]获取用户行为消息中的已访问商品对象，将其确定为待搜索商品对象；
[0011]从所述特征索引矩阵中查询出与待搜索商品对象满足相似度匹配条件的多个目标商品对象。
[0012]深化的实施例中，获取商品数据库中各商品对象的综合特征向量，包括如下步骤：
[0013]调用预训练的图像特征提取模型提取商品数据库中各个商品对象的商品图片的图片语义特征；
[0014]调用预训练的文本特征提取模型提取商品数据库中各个商品对象的摘要文本的文本语义特征；
[0015]将每个商品对象的图片语义特征与文本语义特征进行特征拼接，获得其相对应的综合特征向量。
[0016]具体化的实施例中，调用预训练的图像特征提取模型提取商品数据库中各个商品
对象的商品图片的图片语义特征，包括如下步骤：
[0017]将每个商品对象的商品图片切分为多个分割图元；
[0018]针对每个分割图元，采用第一图像特征提取模型提取对应的单图特征向量；
[0019]将所述单图特征向量展开为以单行向量表示的单图嵌入向量，将所有单图嵌入向量拼接为图片编码向量，其中携带各个分割图元在所述商品图片中的位置信息及区分信息；
[0020]采用基于多头注意力机制的第二图像特征提取模型对所述图片编码向量进行特征交互，获得实现了所述单图特征向量的深层语义交互的图片语义特征。
[0021]具体化的实施例中，调用预训练的文本特征提取模型提取商品数据库中各个商品对象的摘要文本的文本语义特征，包括如下步骤：
[0022]对各个商品对象的摘要文本进行分词；
[0023]根据所述分词进行编码，获得相应的文本嵌入向量、位置嵌入向量以及分句嵌入向量；
[0024]采用文本特征提取模型根据所述文本嵌入向量、位置嵌入向量、分句嵌入向量进行特征提取，获得相应的文本语义特征。
[0025]具体化的实施例中，采用基于多头注意力机制的第二图像特征提取模型对所述图片编码向量进行特征交互，获得实现了深层语义交互的图片语义特征，包括由所述的第二图像特征提取模型中的至少一级编码器执行的如下步骤：
[0026]对应当前输入的图片编码向量中的每个行向量构造查询向量、键向量及值向量；
[0027]将所有行向量相对应的值向量进行加权求和，各值向量相应的权重为其相对应的键向量与其他行向量相对应的查询向量的点积的归一化分值；
[0028]将加权求和结果乘以转换权重矩阵获得其相对应的中间信息矩阵；
[0029]经多层感知器对所述中间信息矩阵进行特征提取，获得图片语义特征，作为下一编码器所需的图片编码向量，或在最后一个编码器中直接输出。
[0030]较佳的实施例中，所述第二图像特征提取模型为基于Vision Transformer架构的DeiT模型，被相应预先训练至收敛状态。
[0031]深化的实施例中，从所述特征索引矩阵中查询出与待搜索商品对象满足相似度匹配条件的多个目标商品对象，包括如下步骤：
[0032]从所述特征索引矩阵中查询出与待搜索商品对象存在相似度数据映射关系的所有商品对象；
[0033]选取相似度数据最大的预定数量的若干个商品对象作为满足相似度数据匹配条件的目标商品对象；
[0034]构造包含所述目标商品对象的搜索结果列表；
[0035]推送所述搜索结果列表以响应所述商品对象搜索请求。
[0036]适应本申请的目的之一而提供的一种商品对象搜索装置，包括：特征汇总模块、矩阵构造模块、搜索启动模块，以及匹配反馈模块，其中，所述特征汇总模块，用于获取商品数据库中各商品对象的综合特征向量，所述综合特征向量包括商品对象的图片语义特征和文本语义特征；所述图片语义特征为所述商品对象的商品图片的多个分割图元分别提取图元语义特征后进行特征交互所生成；矩阵构造模块，用于构造特征索引矩阵，用于存储两两商
品对象之间的综合特征向量之间的相似度数据；搜索启动模块，用于获取用户行为消息中的已访问商品对象，将其确定为待搜索商品对象；匹配反馈模块，用于从所述特征索引矩阵中查询出与待搜索商品对象满足相似度匹配条件的多个目标商品对象。
[0037]深化的实施例中，所述特征汇总模块包括：图片提取子模块，用于调用预训练的图像特征提取模型提取商品数据库中各个商品对象的商品图片的图片语义特征；文本提取子模块，用于调用预训练的文本特征提取模型提取商品数据库中各个商品对象的摘要文本的文本语义特征；特征拼接子模块，用于将每个商品对象的图片语义特征与文本语义特征进行特征拼接，获得其相对应的综合特征向量。
[0038]具体化的实施例中，所述图片提取子模块包括：图元分割单元，用于将每个商品对象的商品图片切分为多个分割图元；图元提取单元，用于针对每个分割图元，采用第一图像特征提取模型提取对应的单图特征向量；拼接编码单元，用于将所述单图特征向量展开为以单行向量表示的单图嵌入向量，将所有单图嵌入向量拼接为图片编码向量，其中携带各个分割图元在所述商品图片中的位置信息及区分信息；图元交互单元，用于采用基于多头注意力机制的第二图像特征提取模型对所述图片编码向量进行特征交互，获得实现了所述单图特征向量本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种商品对象搜索方法，其特征在于，包括如下步骤：获取商品数据库中各商品对象的综合特征向量，所述综合特征向量包括商品对象的图片语义特征和文本语义特征；所述图片语义特征为所述商品对象的商品图片的多个分割图元分别提取图元语义特征后进行特征交互所生成；构造特征索引矩阵，用于存储两两商品对象之间的综合特征向量之间的相似度数据；获取用户行为消息中的已访问商品对象，将其确定为待搜索商品对象；从所述特征索引矩阵中查询出与待搜索商品对象满足相似度匹配条件的多个目标商品对象。2.根据权利要求1所述的商品对象搜索方法，其特征在于，获取商品数据库中各商品对象的综合特征向量，包括如下步骤：调用预训练的图像特征提取模型提取商品数据库中各个商品对象的商品图片的图片语义特征；调用预训练的文本特征提取模型提取商品数据库中各个商品对象的摘要文本的文本语义特征；将每个商品对象的图片语义特征与文本语义特征进行特征拼接，获得其相对应的综合特征向量。3.根据权利要求2所述的商品对象搜索方法，其特征在于，调用预训练的图像特征提取模型提取商品数据库中各个商品对象的商品图片的图片语义特征，包括如下步骤：将每个商品对象的商品图片切分为多个分割图元；针对每个分割图元，采用第一图像特征提取模型提取对应的单图特征向量；将所述单图特征向量展开为以单行向量表示的单图嵌入向量，将所有单图嵌入向量拼接为图片编码向量，其中携带各个分割图元在所述商品图片中的位置信息及区分信息；采用基于多头注意力机制的第二图像特征提取模型对所述图片编码向量进行特征交互，获得实现了所述单图特征向量的深层语义交互的图片语义特征。4.根据权利要求2所述的商品对象搜索方法，其特征在于，调用预训练的文本特征提取模型提取商品数据库中各个商品对象的摘要文本的文本语义特征，包括如下步骤：对各个商品对象的摘要文本进行分词；根据所述分词进行编码，获得相应的文本嵌入向量、位置嵌入向量以及分句嵌入向量；采用文本特征提取模型根据所述文本嵌入向量、位置嵌入向量、分句嵌入向量进行特征提取，获得相应的文本语义特...
【专利技术属性】
技术研发人员：李保俊，刘涛，黄家冕，兴百桥，曾鹏，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。