【技术实现步骤摘要】
本专利技术涉及用户需求的个性化评论推荐，尤其涉及一种基于解耦合多模态模型的用户需求推荐算法及系统。
技术介绍
1、在线评论已成为互联网环境下用户需求获取的重要数据资源，然而随着互联网技术的不断发展，用户面临的信息过载问题日益严重，个性化评论推荐技术作为一种有效的过滤与精准推荐手段，为供需双方提供了极大的便利和效益，已然成为互联网与电子商务领域的重要技术。现有的多模态个性化评论推荐技术难以捕获模态间的相互关系，不能很好的理解多模态内容中的耦合信息。
2、本专利技术拟研究一种集成多模态评论内容的用户画像供需服务推荐模型，实现对行业内用户供需关系服务的智慧推荐，解决行业内供需服务过程中存在的“找解决方法难”的问题。针对现有的多模态融合算法难以捕获模态间的相互关系的问题，该技术通过融合用户的多模态评论内容，涵盖指标全面，实现用户间供需服务的智慧推荐技术，相较于现有的多模态融合推荐算法，能够更好的捕获多模态内容间的模态关联信息与模态特定信息，可为用户快速锁定供需服务提供重要的方案参考。因此，本专利技术提出了一种基于解耦合多模态模型的用户需求推荐算法及系统。
技术实现思路
1、本专利技术针对现有技术的不足，提出了一种基于解耦合多模态模型的用户需求推荐算法及系统，可为用户快速锁定供需服务提供重要的方案参考。
2、本专利技术解决技术问题的技术方案为：
3、一种基于解耦合多模态模型的用户需求推荐算法，包括如下步骤：
4、s1.针对用户发布的多模态内容进
5、s2.根据步骤s1中获得的特征构建多模态编-解码器架构，然后通过交互解耦合模块得到特定信息属性的特征，再通过单模态内部融合模块将模态关联特征和模态特定特征融合为解码器的输入，进行解码获得解码后的特征，最后对解码后的特征施加协同一致性约束；
6、s3.结合注意力机制、散度约束以及对比约束对编码后的特征进行交互解耦合；
7、s4.使用自注意力机制作为多模态融合模块来聚合在步骤s2中得到的模态关联特征和模态特定特征预测用户偏好；
8、s5.聚合步骤s4中的损失作为整个模型的总损失来对进行模型训练和参数优化。
9、步骤s1的具体步骤为：
10、使用预训练图像模型和语言模型分别对评论内容中的图像数据与文本数据进行特征提取，得到原始图像特征和原始文本特征；
11、步骤s1的相关公式为：
12、，
13、，
14、其中，表示激活函数，表示图像的权重参数，表示文本的权重参数，表示图像的偏差参数，表示文本的偏差参数，表示图像的输入特征，表示文本的内容输入特征，表示通过预训练图像模型进行图像数据的特征提取，表示通过语言模型进行文本数据的特征提取。
15、步骤s2的具体步骤为：
16、（1）构建为主题的多模态编-解码器架构，运算公式为：
17、，
18、，
19、其中，表示图像编码后的特征，表示文本编码后的特征，表示图像编码器，表示文本编码器，与分别用于表示图像编码器与文本编码器的参数；
20、（2）通过交互解耦合模块得到特定信息属性的特性，其中包括模态关联特征和模态特定特征，通过注意力机制实现单模态融合模块，将上述特征通过单模态内部融合模块融合为解码器的输入，运算公式为：
21、，
22、，
23、其中，表示图像的模态关联特征，表示文本的模态关联特征，表示图像的模态特定特征，表示文本的模态特定特征，表示和通过单模态内部融合模块后解码器的输入，表示和通过单模态内部融合模块后解码器的输入，和分别用于表示图像融合器与文本融合器的参数，表示图像融合模块，表示文本融合模块；
24、（3）将步骤（2）中获得的特征解码，获得解码后的图像特征和文本特征，运算公式为：
25、，
26、，
27、其中，与分别用于表示图像融合器与文本融合器的参数，表示图像解码器，表示文本解码器；
28、（4）对解码后的图像特征和文本特征施加协同一致性约束，运算公式为：
29、，
30、，
31、其中，与分别表示原始图像特征与原始文本特征的维度，表示图像协同一致性损失，表示文本协同一致性损失，表示循环次数。
32、步骤s3的具体步骤为：
33、在交互解耦合模块中，结合注意力机制、散度约束以及对比学习约束对编码后的图像特征以及文本特征进行交互解耦合；
34、（1）使用交互注意力机制获取描述相近的模态关联特征和，运算公式为：
35、，，，，，，，，，，
36、其中，表示图像查询矩阵，表示图像键矩阵，表示图像值矩阵，表示文本查询矩阵，表示文本键矩阵，表示文本值矩阵，、和表示图像变换过程中的权重参数，、和表示文本变换过程中的权重参数，和分别表示编码后的图像特征注意力系数和文本特征注意力系数，表示归一化函数运算，表示归一化的特征维度；
37、（2）对模态关联特征和施加散度约束，运算公式为：
38、 ，
39、其中，表示模态关联特征的散度损失，表示解耦合模块的参数，表示散度约束，表示评论的索引；
40、（3）通过使用模态关联信息、转换图像特征与转换文本特征分别构件正负样本来施加对比学习约束，得到模态特定特征和，运算公式为：
41、，
42、，
43、其中，表示图像内容的对比学习损失，表示文本内容的对比学习损失，表示正负样本分布，和表示用于控制不同实例上概率分布的参数。
44、步骤s4的具体步骤为：
45、通过自注意力机制作为多模态融合模块来聚合模态关联特征和模态特定特征，得到预测的用户偏好，运算公式为：
46、，，
47、其中，表示预测的用户偏好，表示融合模块，表示融合模块的参数，表示融合模块的损失，表示分布，和表示评论，和表示真实用户偏好标签，表示评论的分布，表示第条评论的真实标签，表示第条评论的预测标签，表示评论的索引。
48、步骤s5的具体步骤为：聚合步骤s4中的损失作为整个模型的总损失来进行模型训练和参数优化，运算公式为：
49、，
50、，
51、其中，表示编码器的估计参数，表示解码器的估计参数，表示解耦合模块的估计参数，表示融合模块的估计参数，表示最小化。
52、除上述技术方案外，本专利技术还提供了一种基于解耦合多模态模型的用户需求推荐算法的系统，包括以下模块：
53、特征提取模块：提取评论中的图像数据和文本数据的特征，并将其装换成原始特征；
54、单模态内部融合模块：将特定信息属性的特征融合作为解码器的输入；
55、交互解耦合模块：获得特定信息属性的特征，结合注意本文档来自技高网...
【技术保护点】
1.一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤S1的具体步骤为：使用预训练图像模型和语言模型分别对评论内容中的图像数据与文本数据进行特征提取，得到原始图像特征和原始文本特征，并将上述特征统一转换为原始特征；
3.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤S2的具体步骤为：
4.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤S3的具体步骤为：
5.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤S4的具体步骤为：
6.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤S5的具体步骤为：聚合步骤S4中的损失作为整个模型的总损失来进行模型训练和参数优化，运算公式为：
7.一种基于解耦合多模态模型的用户需求推荐算法的系统，其特征在于，包括以下模块：
【技术特征摘要】
1.一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤s1的具体步骤为：使用预训练图像模型和语言模型分别对评论内容中的图像数据与文本数据进行特征提取，得到原始图像特征和原始文本特征，并将上述特征统一转换为原始特征；
3.根据权利要求1所述的一种基于解耦合多模态模型的用户需求推荐算法，其特征在于，步骤s2的具体步骤为：
4.根据权利要求1所述...
【专利技术属性】
技术研发人员：高天雷，王晔，贾国伟，朱文印，张蕊，魏诺，
申请(专利权)人：山东省人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。