个性化多视图联邦推荐系统技术方案

本发明专利技术公开了一种个性化多视图联邦推荐系统，该系统包括一个中央服务器及数个用户客户端，任意用户客户端内包含训练模块与预测模块；其中，训练模块包括数据分发子模块、梯度计算子模块、梯度聚合子模块、模型更新子模块、模型微调子模块、用户数据仓库及物品数据仓库，相互协作完成训练算法的执行，获得用户子模型及物品子模型；预测模块则包括语义计算子模块、交互计算子模块、概率聚合子模块、概率排序子模块、推荐输出子模块、用户模型仓库及物品模型仓库，相互协作完成预测算法的执行，获得任意用户客户端对应的推荐物品序列。本发明专利技术场景适应性更强、底层模型对特征的挖掘更深、原始输入涵盖的数据来源更广、全局模型的本地化微调更佳。微调更佳。微调更佳。

【技术实现步骤摘要】
个性化多视图联邦推荐系统


[0001]本专利技术属于数据科学与大数据
，具体涉及一种基于多视图学习、元学习以及联邦学习的面向隐私保护的个性化多视图联邦推荐系统。
技术背景
[0002]随着信息技术与互联网技术的飞速发展，人们从信息匮乏的时代步入了信息过载的时代。以电子商务平台为例，为了满足用户的各种需求，商品信息量迅速膨胀。一方面，用户经常会迷失在海量的商品信息空间中，无法快速且顺利地找到自己需要的商品；另一方面，大量商品面临着无法被精准推送给目标人群的困境，造成商家获客难、平台盈利难的双重问题。在此背景下，推荐系统应运而生。经过二十余年的积累和沉淀，推荐系统现已被广泛地应用于电子商务、社交网络、在线广告以及流媒体等诸多领域。近年来，伴随着机器学习与深度学习技术的发展，工业界和学术界对推荐系统的研究热情更加高涨，继续挖掘推荐系统中的潜在问题并做出与时代同步的改进具有明显价值。
[0003]推荐系统认为，用户的属性以及与物品的历史交互行为等数据暗藏了用户的偏好，物品的属性以及描述文字等数据则隐含了其所指向的特定群体。因此，通过分析上述数据，对用户和物品进行建模，推荐系统就能够实现预测用户对某种物品感兴趣程度的功能，然后根据这种感兴趣程度的高低来主动地为用户推荐物品，从而实现对用户个性与偏好的妥善捕捉，并更好地发掘长尾信息，利于获取更多细分市场的利润。推荐系统发展至今，已逐步实现了从基于内容的朴素推荐，到基于协同过滤的中阶推荐，再到基于深度学习的高阶推荐算法的跨越，将更大规模与更为精准的推荐变为可能。目前，多样化的数据融合是推荐系统的研究热点之一。诸多学者已尝试将“多视图学习”引入至推荐算法之中，相关实验亦表明有效利用多源数据能够显著地提高模型预测精度。
[0004]推荐系统的成功，得益于对海量用户数据的广泛采集、分析和集中存储。推荐系统在实施前述推荐行为时，不可避免地会使用到用户的一些敏感信息。这些信息可能包括用户的年龄、性别、住址等属性数据，以及浏览记录、评分记录、行程记录等交互数据。与此同时，移动互联网的崛起，使得人们得以摆脱固定终端的束缚。通过携带便携式智能手机、可穿戴设备、平板电脑等设备，人们可以随时随地在互联网上进行工作、社交、购物以及其他活动。用户数据的体量实现了指数级增长，用户数据的形式也变得更为多样。除了前述的用户属性和交互数据以外，诸如健康状况、地理位置等更为私密的数据也被移动设备实时收集，并定期发送给第三方用于数据挖掘相关的服务。诚然，此类服务能够在一定程度上提升用户体验，为用户带来便利。但是，上述信息均触及到了用户的隐私红线，一旦被滥用或泄露将给用户造成极大的困扰并带来难以估量的风险。
[0005]近年来，大众对个人隐私愈发重视，学界对数据伦理的讨论进入了白热化，大型公司对数据安全的保护意识日益增强。如何更好地保护用户的隐私以及加强数据的安全性，已经成为了一项全球性的命题。目前，世界各国都在加强保障数据安全和维护用户隐私的法律法规。然而，相关条例和法规的出台给人工智能中的数据交互带来了全新的挑战，即平
台与用户之间就此形成了数据壁垒，平台与第三方的数据共享也将受到严格地限制和监管。如何合法、合规地解决数据碎片与数据隔离问题，现已成为人工智能领域的研究者和从业者所面临的主要挑战。由此，美国某公司于2016年首次提出了“联邦学习”这一概念，试图破解数据孤岛和隐私保护的难题。联邦学习是一种特殊的分布式机器学习框架，它要求任何参与联邦过程的协作方的本地原始数据都不会被暴露，从而有效地保护用户隐私和数据安全。
[0006]现有技术或着眼于联邦推荐系统的底层设计，或聚焦于联邦推荐系统的实质应用。它们针对联邦推荐系统均做出了广泛的探索和有益的实现，但其专利技术技术本身仍存在着一些无法忽视的局限性。
[0007]具体而言，现有技术所存在的问题可归纳为以下四个方面：
[0008](1)部分技术所提出的联邦推荐方法面向的是特定的场景与应用，而未能给出普适的技术框架。例如，公开号“CN113158241A”描述了一种基于横向联邦学习的岗位推荐算法。它将若干用户的简历特征与浏览过的目标岗位特征进行联合训练，最终实现保护简历隐私的同时进行岗位匹配，但它仅适用于人力资源管理这一场景。
[0009](2)部分技术所提出的联邦推荐方法基于的是传统的模型与算法，而未能结合前沿的神经网络。例如，公开号“CN112287244A”提出了一种基于联邦学习的产品推荐方法。它以早期的协同过滤模型作为底层算法，进行用户与产品以及产品之间相似度的训练，并依据相似度对产品进行聚类及排序，却未更充分地挖掘用户表征。
[0010](3)部分技术所提出的联邦推荐方法针对的是单一的交互型数据，而未能解决用户冷启动问题。例如，公开号“CN111339412A”给出了一种基于纵向联邦学习的推荐召回方法。它仅使用用户行为数据矩阵作为训练数据源，来生成待预测用户数据对应的物品召回集，然而新用户往往不具备历史数据，这导致了用户冷启动问题。
[0011](4)部分技术所提出的联邦推荐方法训练的是共享的全局化模型，而未能适应客户端的差异性。例如，公开号“CN113626687A”实现了一种基于联邦学习的在线课程推荐系统。它根据本地数据计算梯度并发送给中央服务器，服务器完成梯度聚合并回传给本地设备进行更新，差异较大的用户之间却仍共享一套模型参数实施推荐。

技术实现思路

[0012]本专利技术解决了以下现有技术所存在的四个问题：
[0013](1)算法框架的普适性，即：现有技术所设计的算法框架难以适用于绝大多数的应用场景和领域；
[0014](2)底层模型的深度性，即：现有技术所使用的底层模型尚未适度引入机器学习或深度学习模型；
[0015](3)原始数据的多源性，即：现有技术所采用的原始输入未能涵括不同来源以及不同形式的数据；
[0016](4)数据分布的差异性，即：现有技术所生成的全局模型从未完成在联邦客户端上的个性化微调。
[0017]实现本专利技术目的的具体技术方案是：
[0018]一种个性化多视图联邦推荐系统，特点是该系统包括一个中央服务器及数个用户
客户端，其中，任意一个用户客户端的内部结构均相同，任意一个用户客户端之内包含训练模块及预测模块；中央服务器内部、中央服务器与任意一个用户客户端之间、任意一个用户客户端内部都有着数据流传输；同时，这种数据流的传输是采用同步传输的方式，即各模块间的数据交换是非异步且由统一时钟信号调配；所述的训练模块和预测模块各自包含数个分别用于完成训练任务和预测任务的子模块；
[0019]所述中央服务器，包括更新协调模块及数据计算模块；
[0020]所述数据计算模块分别对来自数个用户客户端的物品梯度数据与用户梯度数据执行聚合操作，所述聚合操作在中央服务器与任意一个用户客户端之间进行；
[0021]所述更新协调模块协调来自任意用户客户端的单一梯度数据和来自数据计算模块的聚合梯度数据在任意用户客户端内的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种个性化多视图联邦推荐系统，其特征在于，该系统包括一个中央服务器及数个用户客户端，其中，任意一个用户客户端的内部结构均相同，任意一个用户客户端之内包含训练模块及预测模块；中央服务器内部、中央服务器与任意一个用户客户端之间、任意一个用户客户端内部都有着数据流传输；同时，这种数据流的传输是采用同步传输的方式，即各模块间的数据交换是非异步且由统一时钟信号调配；所述的训练模块和预测模块各自包含数个分别用于完成训练任务和预测任务的子模块；所述中央服务器，包括更新协调模块及数据计算模块；所述数据计算模块分别对来自数个用户客户端的物品梯度数据与用户梯度数据执行聚合操作，所述聚合操作在中央服务器与任意一个用户客户端之间进行；所述更新协调模块协调来自任意用户客户端的单一梯度数据和来自数据计算模块的聚合梯度数据在任意用户客户端内的训练模块与中央服务器内的更新协调模块之间的传输；所述协调，这一操作在中央服务器内部完成，并通过安全聚合协议来保障数据传输过程中进入数据计算模块内部的单一梯度数据被远程安全聚合；远程安全聚合是指在安全聚合协议的控制之下对来自数个用户客户端的用户梯度数据或物品梯度数据执行加密并上传至中央服务器，中央服务器对梯度数据完成解密后再对其执行聚合；所述任意用户客户端内的训练模块，包括数据分发子模块、梯度计算子模块、梯度聚合子模块、模型更新子模块、模型微调子模块、用户数据仓库及物品数据仓库；训练模块内部的子模块与数据仓库相互协作完成训练算法的执行；所述用户数据仓库和物品数据仓库，分别在任意用户客户端的本地设备之中存储用户数据和物品数据；用户数据是指任意用户客户端上用户在各应用视图之内产生的历史交互行为数据集；物品数据是指推荐服务提供商经由中央服务器分发至任意用户客户端上的待推荐物品数据集；所述数据分发子模块与中央服务器内的更新协调模块以及训练模块内的模型更新子模块发生交互，承担着承上启下的数据枢纽的作用；一方面，上传来自模型更新子模块的本地安全聚合后的梯度数据至中央服务器，接收来自中央服务器的物品数据集与远程安全聚合后的梯度数据；另一方面，把来自中央服务器的远程安全聚合后的梯度数据传递给模型更新子模块；本地安全聚合是指对任意用户客户端内部产生的梯度数据执行随机采样、梯度裁剪以及高斯加噪后再进行聚合；所述梯度计算子模块计算训练算法中物品子模型和用户子模型依据目标函数进行迭代拟合后的梯度下降结果，缓存来自梯度聚合子模块的本地梯度下降聚合结果；所述梯度聚合子模块聚合梯度计算子模块中产生的梯度下降结果，并对梯度下降结果执行随机采样、梯度裁剪以及高斯加噪，从而实现梯度下降结果的本地安全聚合；所述模型更新子模块对当前轮次的模型训练进行更新，即从数据分发子模块中分别获取来自中央服务器的远程安全聚合后的物品子模型梯度和用户子模型梯度，分别利用物品子模型梯度和用户子模型梯度对物品子模型和用户子模型执行梯度下降；一旦当前的训练次数达到预设的迭代上限值或全局模型已收敛，模型更新子模块便将全局模型发送给模型微调子模块；全局模型是指模型更新子模块利用远程聚合梯度对用户子模型和物品子模型执行梯度下降之后得到的用户子模型和物品子模型；所述模型微调子模块调用本地的用户数据和物品数据，对全局用户子模型和全局物品
子模型分别进行有限轮次的本地训练迭代，使全局模型更加符合任意用户自身本地数据的数据分布，从而完成全局模型在任意...

【专利技术属性】
技术研发人员：张胜博，高明，束金龙，徐林昊，杜蓓，蔡文渊，
申请(专利权)人：上海嗨普智能信息科技股份有限公司，
类型：发明
国别省市：