【技术实现步骤摘要】
本专利技术涉及数据要素交易，具体地说，涉及一种端对端的分布式模型交易方法。
技术介绍
1、过去的研究在数据定价和数据交易市场设计方面进行了广泛的探索。早期研究者们将数据资产类比为商品或金融资产，并尝试通过经济学定价理论结合数据的特性(例如数据量、数据种类和获取成本)来设计数据交易市场。然而，这种直接定价源数据的方式可能会带来数据提供方的隐私泄露风险。为了考虑数据隐私安全，一些研究者开始尝试基于隐私泄露的程度对数据进行定价，或者基于指定查询的内容对数据定价。然而，前者由于难以准确量化隐私泄露的成本而面临困难，而后者则因为缺乏灵活性而难以适应真实市场需求。值得注意的是，上述的交易市场均是针对原始数据定价。
2、随着数字化技术的迅速发展，数据的预测价值变得尤为重要。研究者们从数据驱动的角度提出了以机器学习模型为交易标的的数据市场。其特点是数据提供者可以实现数据所有权和预测价值的分离，模型购买者只需要对自己感兴趣的预测价值付费。模型交易市场的安全性和低成本性同时实现了对供求双方的有效激励。值得注意的是，目前存在的模型交易市场都是中心化训练，数据提供者需要将数据上传至中心训练点。随着训练数据量的增加，由于计算能力和存储资源的限制，集中训练可能难以支撑巨大的计算成本。此外，中心化训练要求数据提供者将数据上传到不可信的培训中心，数据泄露的潜在风险使得难以激励他们参与。
3、在另一方面，模型交易市场的机制设计方面同样存在不足。在激励机制设计方面，现有的研究存在激励机制的深度和广度不足的问题。多数研究仅专注于市场局部个体的
4、最后，真实的交易市场是一个多方博弈的动态复杂系统，各个参与者都在满足个体理性的条件下追求利益最大化的策略。然而现有的研究很少有能完整地刻画市场主体的动态博弈过程，这限制了对真实市场参与者的理解，也阻碍了数据交易市场交易机制的进一步完善与优化。
技术实现思路
1、本专利技术的内容是提供一种端对端的分布式模型交易方法，其能够克服现有技术在隐私保护和参与者激励方面的缺陷。
2、本专利技术提供了一种端对端的分布式模型交易方法，其包括以下步骤：
3、一、分布式训练下的模型训练和质量评估以及数据补偿分配，经纪人在分布式训练下根据潜在数据提供方的数据信息和隐私需求评估模型质量，并根据其个体特性分配数据补偿以激励其参与训练；
4、二、信息不对称下的模型竞价和版本控制，经纪人向潜在模型购买者发布多轮动态竞标任务，并根据模型特性和利润最大化原则确定各个版本质量模型的最优生产策略。
5、作为优选，分布式训练下的模型训练和质量评估过程具体为：
6、在分布式训练中，经纪人通过分布式训练查询数据提供方数据梯度而非原始数据，数据提供者在每轮通信的梯度中添加噪声以保护隐私；经纪人会根据数据提供者的隐私需求及其数据的状态确定分布式训练下模型的质量；
7、对于数据提供方的隐私保护，假设在第t∈t轮经纪人向数据提供方梯度查询中，第i∈n个数据提供者针对梯度查询在本地数据的梯度响应rt(di)中加入独立同分布的拉普拉斯噪声，且噪声分布满足那么数据提供者的噪声满足差分隐私机制，其中ρ＝maxg(x，y)(wt，di)，β是拉普拉斯噪声分布的方差；其中∈是隐私预算，g(x，y)(wt，di)表示第i个数据提供方数据在当前t轮梯度查询下的子梯度响应，g(x，y)中的g指的是子梯度，(x，y)是具体数据点，wt指的是在t轮梯度查询时模型的参数，li是第i个数据提供方的数据量，β是拉普拉斯噪声分布的方差；在数据提供方确定隐私保护后，经纪人通过数据提供方的数据状况和隐私需求确定分布式训练模型的性能收敛性；
8、对于模型训练质量q在分布式训练下的性能收敛关系为其中，数据大小，的增加、隐私预算∈的变大和数据提供者总数n的增加都有助于提高训练模型的质量；进一步得到当具有(∈n+1，ln+1)的数据提供方参与时分布式训练模型质量边际影响为其中表示数据量的累积和，表示隐私预算平方的倒数之和；e(qn+1-qn)的期望负值表明模型质量的提升。
9、作为优选，分布式训练下的数据补偿分配具体为：
10、不同数据提供方提供数据的价值对模型训练影响存在很大差异，经纪人需要选择最具价值的数据；与此同时，经纪人必须确保合理的报酬，以激励数据提供方的积极参与，同时最大限度地降低成本；最后，整个博弈过程要反映市场真实参与者的特征，这需要将经纪人和数据提供方的属性如个体理性、公平性等作为约束条件纳入博弈框架中；
11、经纪人的补偿策略c(gi，fi)和每个数据提供方期望的补偿策略s(di，xi)应满足的属性：
12、a)非负性
13、b)公平性
14、c)单调性
15、d)个体理性；
16、数据提供方理性：经纪人理性：
17、上述个体特性展示了经纪人的目标是通过根据数据提供者的数据状况、隐私需求和期望补偿建立不同的补偿方案激励其参与的同时最小化成本；利用基于贪婪选择的最小化补偿算法，即算法1，筛选最有价值的数据提供方，并对不同数据状况和隐私预算的数据提供方进行差异化定价；
18、1.1)将待选数据提供方根据的权重升序排列；
19、1.2)按照该权重依次加入数据提供方参与训练，并根据计算模型质量；
20、1.3)循环迭代至达到目标模型质量或达到最大数据提供方数量；
21、1.4)按照隐私预算从高到低的顺序，从选定的数据提供者中构建单位数据量的预期补偿集合；
22、1.5)循环迭代对于当前具有∈i隐私预算的数据提供者，确保单位数据量的补偿不低于前一个数据提供者的补偿；
23、1.6)循环迭代至遍历所有选定的数据提供者。
24、作为优选，信息不对称下的模型竞价，具体为：
25、对于模型购买者，假设市场有v∈n+个潜在模型购买者，期望购买满足性能需求且价格在预算内的模型；对于任意模型购买者j∈ 具有两种策略即期望的模型质量mj和出价意愿yj，经纪人在不对称信息下的单个模型定价的定价机制为其中，i(mj≤q)表示模型质量mj与第j个买家的意愿质量相匹配，即如果mj≤q则为1，否则为0；i(yj≥p)表示第j个潜在买家的出价yj大于模型价格p，则本文档来自技高网...
【技术保护点】
1.一种端对端的分布式模型交易方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种端对端的分布式模型交易方法，其特征在于：分布式训练下的模型训练和质量评估过程具体为：
3.根据权利要求2所述的一种端对端的分布式模型交易方法，其特征在于：分布式训练下的数据补偿分配具体为：
4.根据权利要求3所述的一种端对端的分布式模型交易方法，其特征在于：信息不对称下的模型竞价，具体为：
5.根据权利要求4所述的一种端对端的分布式模型交易方法，其特征在于：信息不对称下的版本控制，具体为：
【技术特征摘要】
1.一种端对端的分布式模型交易方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种端对端的分布式模型交易方法，其特征在于：分布式训练下的模型训练和质量评估过程具体为：
3.根据权利要求2所述的一种端对端的分布式模型交易方法，其特征在...
【专利技术属性】
技术研发人员：肖三川，李庆，赵静梅，陈岩，邢容，顾凌云，
申请(专利权)人：西南财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。