System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 物品检索模型的训练方法及装置制造方法及图纸_技高网

物品检索模型的训练方法及装置制造方法及图纸

技术编号:42630721 阅读:7 留言:0更新日期:2024-09-06 01:31
本申请公开了一种物品检索模型的训练方法及装置。方法的一具体实施方式包括:结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本,其中,多个物品描述片段根据原始训练样本中对应于查询请求的物品描述文本生成;以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到物品检索模型。本申请基于物品描述片段降低了物品描述文本的文本长度和无序程度,降低了物品检索模型的学习难度,有助于提高物品检索模型的准确度;重新定义了生成式的物品检索模型的检索任务,使得物品检索模型不再基于查询请求生成物品描述文本,而是基于查询请求生成物品描述片段,提高了由物品检索模型召回的物品的准确度。

【技术实现步骤摘要】

本申请实施例涉及计算机,具体涉及电子商务,尤其涉及一种物品检索模型的训练方法及装置、物品检索方法及装置、计算机可读介质、电子设备及计算机程序产品。


技术介绍

1、电商场景下,检索任务的核心挑战是如何快速准确地从海量的候选物品中召回特定的物品。在生成式的物品检索方法中,物品检索模型根据查询请求生成物品title(标题)以召回物品,实现端到端的检索。但是,由于电商平台中的物品的title一般是关键词的堆叠,文本长度大且无序,导致物品检索模型在训练过程学习困难,召回的物品的准确度不足。


技术实现思路

1、本申请实施例提出了一种物品检索模型的训练方法及装置、物品检索方法及装置、计算机可读介质、电子设备及计算机程序产品。

2、第一方面,本申请实施例提供了一种物品检索模型的训练方法,包括:结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本,其中,多个物品描述片段根据原始训练样本中对应于查询请求的物品描述文本生成;以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到物品检索模型。

3、在一些示例中,在上述结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本之前,上述方法还包括:拆分物品描述文本,得到多个物品描述词;根据多个物品描述词,得到多个物品描述片段。

4、在一些示例中,上述根据多个物品描述词,得到多个物品描述片段,包括:对于原始训练样本集中的每个原始训练样本,采用预设排序方式对该原始训练样本中的物品描述文本对应的多个物品描述词进行排序;将排序后的多个物品描述词划分为多个物品描述片段。

5、在一些示例中,上述以查询请求为输入、多个物品描述片段为期望输出进行模型训练,包括:对于多个物品描述片段中的每个物品描述片段,执行如下操作:以查询请求为模型的输入,得到输出文本;计算输出文本和该物品描述片段之间的第一损失;结合多个物品描述片段对应的多个第一损失,调整物品检索模型的参数。

6、在一些示例中,上述以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到物品检索模型,包括:以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到训练后模型;通过表征用户的物品偏好信息的调整样本,更新训练后模型的参数,得到物品检索模型。

7、在一些示例中,上述调整样本包括表征用户在物品描述片段层次的物品偏好信息的片段调整样本和表征用户在物品描述文本层次的物品偏好信息的文本调整样本,以及上述通过表征用户的物品偏好信息的调整样本,更新训练后模型的参数,包括:通过片段调整样本和文本调整样本,更新训练后模型的参数。

8、在一些示例中,上述片段调整样本中包括查询请求、作为正样本的第一物品描述片段和作为负样本的第二物品描述片段,以及通过片段调整样本,更新训练后模型的参数,包括:以片段调整样本中的查询请求分别为训练后模型和当前更新后模型的输入,确定当前训练后模型生成第一物品描述片段的累积概率和生成第二物品描述片段的累积概率,以及确定当前更新后模型生成第一物品描述片段的累积概率和生成第二物品描述片段的累积概率;根据多个累积概率,确定第二损失;根据第二损失,更新训练后模型的参数。

9、在一些示例中,上述文本调整样本包括查询请求、作为正样本的第一描述文本和作为负样本的第二描述文本,以及通过文本调整样本,更新训练后模型的参数,包括:以文本调整样本中的查询请求为训练后模型的输入,以排序在前的第一描述文本和排序在后的第二描述文本为训练后模型的期望输出,更新训练后模型的参数。

10、第二方面,本申请实施例提供了一种物品检索方法,包括:通过预训练的物品检索模型,根据查询请求,生成多个物品描述片段,其中,物品检索模型通过上述第一方面任一实现方式训练得到;根据多个物品描述片段,从物品集合中召回目标物品。

11、在一些示例中,上述通过预训练的物品检索模型,根据查询请求,生成多个物品描述片段,包括:确定物品集合包括的物品;将查询请求和物品对应的物品描述文本输入物品检索模型,生成多个物品描述片段。

12、第三方面,本申请实施例提供了一种物品检索模型的训练装置,包括:第一生成单元,被配置成结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本,其中,多个物品描述片段根据原始训练样本中对应于查询请求的物品描述文本生成;训练单元,被配置成以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到物品检索模型。

13、在一些示例中,上述装置还包括:拆分单元,被配置成拆分物品描述文本,得到多个物品描述词;得到单元,被配置成根据多个物品描述词,得到多个物品描述片段。

14、在一些示例中,上述得到单元进一步被配置成:对于原始训练样本集中的每个原始训练样本,采用预设排序方式对该原始训练样本中的物品描述文本对应的多个物品描述词进行排序;将排序后的多个物品描述词划分为多个物品描述片段。

15、在一些示例中,上述训练单元进一步被配置成:对于多个物品描述片段中的每个物品描述片段,执行如下操作:以查询请求为模型的输入,得到输出文本;计算输出文本和该物品描述片段之间的第一损失;结合多个物品描述片段对应的多个第一损失,调整物品检索模型的参数。

16、在一些示例中,上述训练单元进一步被配置成:以查询请求为输入、多个物品描述片段为期望输出进行模型训练,得到训练后模型;通过表征用户的物品偏好信息的调整样本,更新训练后模型的参数,得到物品检索模型。

17、在一些示例中,上述调整样本包括表征用户在物品描述片段层次的物品偏好信息的片段调整样本和表征用户在物品描述文本层次的物品偏好信息的文本调整样本,以及上述训练单元进一步被配置成:通过片段调整样本和文本调整样本,更新训练后模型的参数。

18、在一些示例中,上述片段调整样本中包括查询请求、作为正样本的第一物品描述片段和作为负样本的第二物品描述片段,以及上述训练单元进一步被配置成:以片段调整样本中的查询请求分别为训练后模型和当前更新后模型的输入,确定训练后模型生成第一物品描述片段的累积概率和生成第二物品描述片段的累积概率,以及确定当前更新后模型生成第一物品描述片段的累积概率和生成第二物品描述片段的累积概率;根据多个累积概率,确定第二损失;根据第二损失,更新训练后模型的参数。

19、在一些示例中,上述文本调整样本包括查询请求、作为正样本的第一描述文本和作为负样本的第二描述文本,以及上述训练单元进一步被配置成:以文本调整样本中的查询请求为训练后模型的输入,以排序在前的第一描述文本和排序在后的第二描述文本为训练后模型的期望输出,更新训练后模型的参数。

20、第四方面,本申请实施例提供了一种物品检索装置,包括:第二生成单元,被配置成通过预训练的物品检索模型,根据查询请求,生成多个物品描述片段,其中,类目确定模型通过上述第三方面任一实现方式训练得到;检索单元,被配置成根据多个物品描述片段,从物品集合中召回目标物品...

【技术保护点】

1.一种物品检索模型的训练方法,包括:

2.根据权利要求1所述的方法,其中,在所述结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本之前,包括:

3.根据权利要求2所述的方法,其中,所述根据所述多个物品描述词,得到所述多个物品描述片段,包括:

4.根据权利要求1所述的方法,其中,所述以所述查询请求为输入、所述多个物品描述片段为期望输出进行模型训练,包括:

5.根据权利要求1-3中任一项所述的方法,其中,所述以所述查询请求为输入、所述多个物品描述片段为期望输出进行模型训练,得到物品检索模型,包括:

6.根据权利要求5所述的方法,其中,所述调整样本包括表征用户在物品描述片段层次的物品偏好信息的片段调整样本和表征用户在物品描述文本层次的物品偏好信息的文本调整样本,以及

7.根据权利要求6所述的方法,其中,所述片段调整样本中包括查询请求、作为正样本的第一物品描述片段和作为负样本的第二物品描述片段,以及

8.根据权利要求6所述的方法,其中,所述文本调整样本包括查询请求、作为正样本的第一描述文本和作为负样本的第二描述文本,以及

9.一种物品检索方法,包括

10.根据权利要求9所述的方法,其中,所述通过预训练的物品检索模型,根据查询请求,生成多个物品描述片段,包括:

11.一种物品检索模型的训练装置,包括:

12.一种物品检索装置,包括

13.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

14.一种电子设备,包括:

15.一种计算机程序产品,包括:计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

...

【技术特征摘要】

1.一种物品检索模型的训练方法,包括:

2.根据权利要求1所述的方法,其中,在所述结合多个物品描述片段和原始训练样本中的查询请求,生成训练样本之前,包括:

3.根据权利要求2所述的方法,其中,所述根据所述多个物品描述词,得到所述多个物品描述片段,包括:

4.根据权利要求1所述的方法,其中,所述以所述查询请求为输入、所述多个物品描述片段为期望输出进行模型训练,包括:

5.根据权利要求1-3中任一项所述的方法,其中,所述以所述查询请求为输入、所述多个物品描述片段为期望输出进行模型训练,得到物品检索模型,包括:

6.根据权利要求5所述的方法,其中,所述调整样本包括表征用户在物品描述片段层次的物品偏好信息的片段调整样本和表征用户在物品描述文本层次的物品偏好信息的文本调整样本,以及

7.根据权利要求6所述的方法,其中,所...

【专利技术属性】
技术研发人员:李明明王彗木王彬彬聂广涛唐国瑜
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1