System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,尤其涉及人工智能,具体涉及一种物品处理方法、一种物品处理装置、一种计算机设备、一种计算机可读存储介质、以及一种计算机程序产品。
技术介绍
1、llm(large language model,大语言模型)在接入物品推荐系统后,在物品推荐系统的上游提取物品特征,提取的物品特征可以作为物品推荐系统的下游进行物品推荐的依据。目前,大语言模型内部对语言序列表征的维度(hidden dimension)往往是比较高的,一般是几千维,甚至上万维度,也就是说,大语言模型提取的物品特征的维度比较高。通常情况下,物品推荐系统的下游处理资源有限,有限的处理资源对高维的物品特征的计算耗时会非常大,导致高维的物品特征难以被物品推荐系统的下游任务所使用。因此,亟需训练一种能够降低特征维度的模型。
技术实现思路
1、本申请实施例提供了一种物品处理方法、装置及计算机设备、存储介质、程序产品,可以训练得到能够降低特征维度的模型。
2、一方面,本申请实施例提供了一种物品处理方法,该物品处理方法包括:
3、获取样本数据;样本数据包括样本序列,样本序列包括n个物品标识,n个物品标识用于标识被同一物品访问对象访问的n个物品,一个物品标识对应一个物品;n个物品标识按照被访问时间的先后顺序排序,n为大于1的整数;
4、获取每个物品标识分别对应的第一物品特征;第一物品特征的特征维度为第一维度;
5、调用物品处理模型对每个物品标识对应的第一物品特征进行降维处理,得
6、调用物品处理模型基于样本序列中的前i个物品标识对应的第二物品特征,预测前i个物品标识的下一个物品标识为第i+1个物品标识的概率;i为小于n的正整数;
7、基于预测得到的概率确定物品处理模型的损失信息,并根据损失信息对物品处理模型进行训练;训练好的物品处理模型用于进行物品特征的降维。
8、相应地,本申请实施例提供了一种物品处理装置,该物品处理装置包括:
9、获取单元,用于获取样本数据;样本数据包括样本序列,样本序列包括n个物品标识,n个物品标识用于标识被同一物品访问对象访问的n个物品,一个物品标识对应一个物品;n个物品标识按照被访问时间的先后顺序排序,n为大于1的整数;
10、获取单元,还用于获取每个物品标识分别对应的第一物品特征;第一物品特征的特征维度为第一维度;
11、处理单元,用于调用物品处理模型对每个物品标识对应的第一物品特征进行降维处理,得到每个物品标识对应的第二物品特征;第二物品特征的特征维度为第二维度,第一维度高于第二维度;
12、处理单元,还用于调用物品处理模型基于样本序列中的前i个物品标识对应的第二物品特征,预测前i个物品标识的下一个物品标识为第i+1个物品标识的概率;i为小于n的正整数;
13、处理单元,还用于基于预测得到的概率确定物品处理模型的损失信息,并根据损失信息对物品处理模型进行训练;训练好的物品处理模型用于进行物品特征的降维。
14、在一种实现方式中,前i个物品标识表示为第i+1个物品标识的i个前序物品标识;处理单元,用于调用物品处理模型对每个物品标识对应的第一物品特征进行降维处理,得到每个物品标识对应的第二物品特征时,具体用于执行如下步骤:
15、基于i个前序物品标识中的每个前序物品标识对应的第一物品特征,与i个前序物品标识对应的第一物品特征之间的依赖关系,优化每个前序物品标识对应的第一物品特征;
16、将每个前序物品标识优化后的第一物品特征,从第一维度空间映射至第二维度空间,得到每个前序物品标识对应的第二物品特征;
17、其中,第一维度空间中的特征维度为第一维度,第二维度空间中的特征维度为第二维度。
18、在一种实现方式中,i个前序物品标识中的任一个前序物品标识表示为第j个前序物品标识,j为小于或等于i的正整数;处理单元,用于基于i个前序物品标识中的每个前序物品标识对应的第一物品特征,与i个前序物品标识对应的第一物品特征之间的依赖关系,优化每个前序物品标识对应的第一物品特征时,具体用于执行如下步骤:
19、基于第j个前序物品标识对应的第一物品特征与i个前序物品标识对应的第一物品特征之间的依赖关系,确定第j个前序物品标识与i个前序物品标识之间的依赖权重;
20、基于第j个前序物品标识与i个前序物品标识之间的依赖权重,对i个前序物品标识对应的第一物品特征进行加权求和,得到第j个前序物品标识对应的依赖物品特征;
21、对第j个前序物品标识对应的依赖物品特征进行特征增强处理,得到第j个前序物品标识对应的增强物品特征;
22、对第j个前序物品标识对应的第一物品特征、第j个前序物品标识对应的依赖物品特征、以及第j个前序物品标识对应的增强物品特征进行融合处理,得到第j个前序物品标识优化后的第一物品特征。
23、在一种实现方式中,前i个物品标识表示为第i+1个物品标识的i个前序物品标识;处理单元,用于调用物品处理模型对每个物品标识对应的第一物品特征进行降维处理,得到每个物品标识对应的第二物品特征时,具体用于执行如下步骤:
24、将每个物品标识对应的第一物品特征,从第一维度空间映射至第二维度空间,得到每个物品标识对应的映射物品特征;
25、基于i个前序物品标识中的每个前序物品标识对应的映射物品特征,与i个前序物品标识对应的映射物品特征之间的依赖关系,优化每个前序物品标识对应的映射物品特征,得到每个前序物品标识对应的第二物品特征。
26、在一种实现方式中,调用物品处理模型基于样本序列中的前i个物品标识对应的第二物品特征,预测前i个物品标识的下一个物品标识为第i+1个物品标识的概率时,具体用于执行如下步骤:
27、将前i个物品标识对应的第二物品特征映射至物品空间中,得到前i个物品标识的下一个物品标识为物品空间中的各个物品标识的概率;
28、将物品空间中第i+1个物品标识的概率,确定为前i个物品标识的下一个物品标识为第i+1个物品标识的概率。
29、在一种实现方式中,样本序列中的任一物品标识对应的第一物品特征的确定过程,包括:
30、获取物品标识对应物品的多模态描述信息,多模态描述信息包括以下至少一种类型的描述信息:文本、图像、语音、以及视频;
31、将多模态描述信息划分为多个嵌入单元,并获取每个嵌入单元的嵌入信息;
32、根据各个嵌入单元的嵌入信息之间的依赖关系,确定物品标识对应的第一物品特征。
33、在一种实现方式中,处理单元,还用于执行如下步骤:
34、获取待处理物品标识;
35、获取待处理物品标识对应的第一物品特征;
36、调用训练好的所述物品处理模型,对待本文档来自技高网...
【技术保护点】
1.一种物品处理方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述前i个物品标识表示为所述第i+1个物品标识的i个前序物品标识;所述调用物品处理模型对每个所述物品标识对应的第一物品特征进行降维处理,得到每个所述物品标识对应的第二物品特征,包括:
3.如权利要求2所述的方法,其特征在于,所述i个前序物品标识中的任一个前序物品标识表示为第j个前序物品标识,j为小于或等于i的正整数;所述基于所述i个前序物品标识中的每个所述前序物品标识对应的第一物品特征,与所述i个前序物品标识对应的第一物品特征之间的依赖关系,优化每个所述前序物品标识对应的第一物品特征,包括:
4.如权利要求1所述的方法,其特征在于,所述前i个物品标识表示为所述第i+1个物品标识的i个前序物品标识;所述调用物品处理模型对每个所述物品标识对应的第一物品特征进行降维处理,得到每个所述物品标识对应的第二物品特征,包括:
5.如权利要求1所述的方法,其特征在于,所述调用所述物品处理模型基于所述样本序列中的前i个物品标识对应的第二物品特征,预测所述前i个物品标识的
6.如权利要求1所述的方法,其特征在于,所述样本序列中的任一所述物品标识对应的第一物品特征的确定过程,包括:
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
8.如权利要求7所述的方法,其特征在于,所述方法还包括:
9.如权利要求8所述的方法,其特征在于,所述调用训练好的所述物品处理模型,基于所述掩码标识对应的掩码特征,对所述待处理物品标识对应的第一物品特征进行降维处理,得到所述待处理物品标识对应的第二物品特征,包括:
10.如权利要求8所述的方法,其特征在于,所述调用训练好的所述物品处理模型,基于所述掩码标识对应的掩码特征,对所述待处理物品标识对应的第一物品特征进行降维处理,得到所述待处理物品标识对应的第二物品特征,包括:
11.如权利要求7所述的方法,其特征在于,所述根据所述待处理物品标识对应的第二物品特征,对所述待处理物品标识对应的物品进行推荐处理,包括以下至少一种:
12.一种物品处理装置,其特征在于,包括:
13.一种计算机设备,其特征在于,所述计算机设备包括:
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-11任一项所述的物品处理方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的物品处理方法。
...【技术特征摘要】
1.一种物品处理方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述前i个物品标识表示为所述第i+1个物品标识的i个前序物品标识;所述调用物品处理模型对每个所述物品标识对应的第一物品特征进行降维处理,得到每个所述物品标识对应的第二物品特征,包括:
3.如权利要求2所述的方法,其特征在于,所述i个前序物品标识中的任一个前序物品标识表示为第j个前序物品标识,j为小于或等于i的正整数;所述基于所述i个前序物品标识中的每个所述前序物品标识对应的第一物品特征,与所述i个前序物品标识对应的第一物品特征之间的依赖关系,优化每个所述前序物品标识对应的第一物品特征,包括:
4.如权利要求1所述的方法,其特征在于,所述前i个物品标识表示为所述第i+1个物品标识的i个前序物品标识;所述调用物品处理模型对每个所述物品标识对应的第一物品特征进行降维处理,得到每个所述物品标识对应的第二物品特征,包括:
5.如权利要求1所述的方法,其特征在于,所述调用所述物品处理模型基于所述样本序列中的前i个物品标识对应的第二物品特征,预测所述前i个物品标识的下一个物品标识为第i+1个物品标识的概率,包括:
6.如权利要求1所述的方法,其特征在于,所述样本序列中的任一所述物品标识对应的第一物品特征的确定过程,包括:
7.如权...
【专利技术属性】
技术研发人员:叶祺,秦子淳,吴瑕,
申请(专利权)人:腾讯科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。