一种数据处理方法及其装置制造方法及图纸

一种数据处理方法，应用于人工智能领域，包括：获取用户存在交互行为的第一序列和第二序列；根据第一序列的特征表示，通过扩散模型中的加噪模块，对特征表示进行加噪，得到加噪后的特征表示；根据当前的步长以及第二序列的融合结果

【技术实现步骤摘要】
一种数据处理方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置
。

技术介绍

[0002]人工智能
(Artificial Intelligence
，
AI)
是利用数字计算机或者数字计算机控制的机器模拟
、
延伸和扩展人的智能，感知环境
、
获取知识并使用知识获得最佳结果的理论
、
方法
、
技术及应用系统
。
换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器
。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知
、
推理与决策的功能
。
[0003]stablediffusion(
稳定扩散模型，可以简称为扩散模型
)
是一种生成模型，用于生成高保真度的图像
、
语音和视频等多媒体数据
。
扩散模型通过扩散过程来生成图像
。
该模型通过对噪声进行多次扩散和逆扩散操作，完成模型的训练及推理
。
这使得扩散模型的生成过程更加稳定，且不容易产生模式崩溃等问题
。
[0004]推荐系统是一种使用机器学习和数据挖掘技术来帮助用户找到感兴趣的内容的技术
。
推荐系统通过收集用户的历史行为，学习用户的行为偏好，从而帮助用户发现他们可能喜欢的商品
、
服务或内容，并且可以增加用户满意度
、
促进销售和提高网站或应用程序的活跃度
。
推荐系统是多种互联网应用的核心模块，目前较为流行的方法包括协同过滤
、
深度模型等
。
[0005]序列推荐系统是指根据用户历史行为的序列
(
如购买历史
、
浏览历史等
)
来进行推荐的一种推荐系统
。
相比于传统推荐系统，序列推荐系统利用用户行为序列的时间信息，更能反映用户兴趣的变化和演化，并且可以预测用户未来的行为
。
序列推荐系统的核心思想是使用序列模型来对用户行为序列进行建模，从而学习用户兴趣的演化趋势，并预测用户的未来行为
。
[0006]推荐系统是根据用户的历史行为，兴趣点，所处上下文环境等信息去判断用户当前需要或感兴趣的物品
/
服务的一类应用
。
序列推荐系统
(sequential recommender system
，
SRS)
是推荐模型的一种，主要根据的历史行为序列
(
如购买历史
、
浏览历史等
)
来进行推荐的一种推荐系统
。
相比于传统推荐系统
,SRS
利用用户行为序列的时间信息，更能反应用户兴趣的演化，并且可以预测用户未来的行为
。
序列推荐的核心思想是使用序列模型对用户行为序列建模，从而学习用户的兴趣演化趋势，预测未来的行为
。
[0007]训练数据集的质量决定了是
SRS
的效果上限
。
根据实验验证，用户的历史行为信息越丰富，推荐模型对用户的预判越精确
。
然而，推荐系统中普遍存在着严重的长尾问题，也即大量的用户的行为数据是异常稀疏的，从而导致推荐系统的推荐精度较差
。
[0008]因此，亟需一种对原始的序列推荐数据集进行数据增强的方法
。

技术实现思路

[0009]第一方面，本申请提供了一种数据处理方法，所述方法包括：获取目标序列，所述
目标序列为用户存在交互行为的物品序列，所述序列包括第一序列和第二序列；根据所述第一序列的特征表示，通过扩散模型中的加噪模块，对所述特征表示进行加噪，得到加噪后的特征表示；根据当前的步长以及所述第二序列的融合结果
、
以及所述加噪后的特征表示，通过所述扩散模型中的噪声预测模块，进行所述当前的步长的噪声的预测，得到第一噪声预测结果，所述第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。
[0010]本申请实施例使用原始序列
(
例如本申请实施例中的目标序列
)
来训练扩散模型，将原始序列分为两部分，将前面部分
(
例如本申请实施例中的第一序列
)
进行加噪至特定的噪声分布
(
例如高斯噪声
)
，并在序列后面部分
(
例如本申请实施例中的第而序列
)
的引导下，尝试用扩散模型进行还原
。
将这种方式训练得到的扩散模型作用到全体原始样本，从特定的噪声分布
(
例如高斯噪声
)
出发，以原始样本序列作为引导，对原始样本序列进行补充
。
该方法生成的增长序列，可用于直接训练新的序列推荐模型，增强推荐模型的效果
。
[0011]在一种可能的实现中，所述方法还包括：对所述第二序列进行池化操作；将所述当前的步长以及池化操作结果进行融合，得到所述融合结果
。
[0012]在一种可能的实现中，所述方法还包括：获取预训练模型在根据所述第一序列的特征表示预测所述第一序列中的目标物品时对应的梯度信息；对所述噪声预测模块得到的第一噪声预测结果和所述梯度信息进行融合，得到调整后的第一噪声预测结果；所述调整后的第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。
[0013]在一种可能的实现中，所述目标物品为所述第一序列中的第一个物品
。
[0014]在一种可能的实现中，所述方法还包括：根据当前的步长以及所述第二序列的融合结果
、
以及填充
padding
向量，通过所述扩散模型中的噪声预测模块，进行噪声预测，得到第二噪声预测结果；对所述噪声预测模块得到的第一噪声预测结果和所述第二噪声预测结果进行融合，得到调整后的第一噪声预测结果；所述调整后的第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。
[0015]在一种可能的实现中，所述
padding
向量为随机初始化的向量或者预设的向量，且所述
padding
向量可以被更新
。
[0016]上文介绍的两种方案均可实现对噪声的受控生成，且通过上述两种引导方法，使得能够根据已有的序列生成符合数据分布的增强样本
。
[0017]在一种可能的实现中，所述方法还包括：根据所述第一噪声预测结果和对应的标签，更新所述噪声预测模块
。
[0018]在一种可能的实现中，噪声预测模块可以为...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法包括：获取目标序列，所述目标序列为用户存在交互行为的物品序列，所述序列包括第一序列和第二序列；根据所述第一序列的特征表示，通过扩散模型中的加噪模块，对所述特征表示进行加噪，得到加噪后的特征表示；根据当前的步长以及所述第二序列的融合结果
、
以及所述加噪后的特征表示，通过所述扩散模型中的噪声预测模块，进行所述当前的步长的噪声的预测，得到第一噪声预测结果，所述第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第二序列进行池化操作；将所述当前的步长以及池化操作结果进行融合，得到所述融合结果
。3.
根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取预训练模型在根据所述第一序列的特征表示预测所述第一序列中的目标物品时对应的梯度信息；对所述噪声预测模块得到的第一噪声预测结果和所述梯度信息进行融合，得到调整后的第一噪声预测结果；所述调整后的第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。4.
根据权利要求3所述的方法，其特征在于，所述目标物品为所述第一序列中的第一个物品
。5.
根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据当前的步长以及所述第二序列的融合结果
、
以及填充
padding
向量，通过所述扩散模型中的噪声预测模块，进行噪声预测，得到第二噪声预测结果；对所述噪声预测模块得到的第一噪声预测结果和所述第二噪声预测结果进行融合，得到调整后的第一噪声预测结果；所述调整后的第一噪声预测结果用于对所述加噪后的特征表示进行去噪
。6.
根据权利要求5所述的方法，其特征在于，所述
padding
向量为随机初始化的向量或者预设的向量，且所述
padding
向量可以被更新
。7.
根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：根据所述第一噪声预测结果和对应的标签，更新所述噪声预测模块
。8.
一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取目标序列，所述目标序列为用户存在交互行为的物品序列，所述序列包括第一序列和第二序列；处理模块，用于根据所述第一序列的特征表示，通过扩散模型中的加噪模块，对所述特征表示进行加噪，得到加噪后的特征表示；根据当前的步长以及所述第二序列的融合结果
、
以及所述加噪后的特征表示，通过所述扩散模型中的噪声预测模块，进行所述当前的步长的噪声的预测，得到第一噪声预测结果，所述第一噪声预测结果用于对所述加噪后...

【专利技术属性】
技术研发人员：颜番，杜昭呈，刘启东，赵翔宇，郭慧丰，唐睿明，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：