一种数据综合价值的评估方法、装置及电子设备制造方法及图纸

技术编号:36325680 阅读:22 留言:0更新日期:2023-01-14 17:33
本发明专利技术提供一种数据综合价值的评估方法、装置及电子设备。所述方法包括:在联邦学习过程中,获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值;根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值。本发明专利技术的实施例,基于数据评估阶段的数据相对价值、模型训练阶段中数据对于模型训练的训练价值以及模型应用阶段中数据的应用价值的数据,进行多维度价值定量评估,避免了将数据价值绝对化、静态化,避免利用单一的评估方式,使得数据价值评估结果更准确。此外,在数据评估的过程中不需要引入第三方,保护了数据提供方的数据隐私。保护了数据提供方的数据隐私。保护了数据提供方的数据隐私。

【技术实现步骤摘要】
一种数据综合价值的评估方法、装置及电子设备


[0001]本专利技术涉及数据处理领域,特别是指一种数据综合价值的评估方法、装置及电子设备。

技术介绍

[0002]在大数据时代,数据拥有巨大的经济价值,被喻为新兴的石油资源。通过深入挖掘跨领域的数据资源,发现数据背后的经济规律,能有力促进产业升级和跨越式发展。机器学习算法的突破性进展和人工智能技术的大范围落地应用也离不开海量高质量数据的供应,然而当前的数据共享与流通规则和技术却无法满足各类应用对于数据资源的强烈需求,形成了大量与世隔绝的数据孤岛,造成数据资源的极大浪费,因此,亟须支持数据共享的开放平台和相关技术来打破数据壁垒,促进数据在互联网上的流通,以挖掘大数据的经济价值,释放各类数据的应用潜力。
[0003]在这种背景下联邦学习技术应运而生,联邦学习技术目前仍然处于快速发展的状态中,目前还处于前期试点技术验证阶段,尤其对于数据质量评估,目前联邦学习对于数据的评估方法主要有两种:质量评估关注数据内容本身的多维度特性,如完整性、时效性等,而价值评估则在评估数据质量的同时进一步综合考虑数据在生产过程中的成本和在不同任务中的产出。以上数据评估方案存在把数据价值绝对化、静态化的弊端,导致数据评估结果不准确。

技术实现思路

[0004]本专利技术的目的是提供一种数据综合价值的评估方法、装置及电子设备,用以解决现有的数据评估方法的评估结果不准确的问题。
[0005]为达到上述目的,本专利技术的实施例提供一种数据综合价值的评估方法,包括:
[0006]在联邦学习过程中,获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值;
[0007]根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值。
[0008]可选地,获取数据提供方提供的待评估数据的相对价值,包括:
[0009]在数据评估过程中,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果;
[0010]根据所有数据评估方对于所述待评估数据的相对价值评估结果,计算所述待评估数据的综合相对价值。
[0011]可选地,所述对所述待评估数据进行数据质量评估之前,所述方法还包括:
[0012]与所述数据提供方进行数据评估协商;所述数据评估协商的内容包括:评估内容、评估字段以及安全算法中的至少一项;
[0013]根据所述数据评估协商的结果获得共享数据安全评估协议;
[0014]所述在数据评估过程中,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果,包括:
[0015]根据所述共享数据安全评估协议,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果。
[0016]可选地,获取数据提供方提供的待评估数据的训练价值包括:
[0017]在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中,计算数据提供方提供的待评估数据对所述模型训练的贡献度;
[0018]根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
[0019]可选地,在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中,计算数据提供方提供的待评估数据对所述模型训练的贡献度之前,所述方法还包括:
[0020]接收数据建模发起方发送的数据协同请求;
[0021]根据所述数据协同请求,将允许共享的待评估数据发送至所述数据建模发起方;
[0022]接收所述数据建模发起方选择所述待评估数据的通知消息;
[0023]根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
[0024]可选地,获取数据提供方提供的待评估数据的应用价值,包括:
[0025]在模型预测过程中,根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数,计算所述数据提供方提供的待评估数据的应用价值。
[0026]可选地,根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值,包括:
[0027]分别确定所述相对价值、所述训练价值以及所述应用价值的权重;
[0028]根据所述权重,对所述相对价值、所述训练价值以及所述应用价值进行加权求和处理,获得所述待评估数据的综合价值。
[0029]为达到上述目的,本专利技术的实施例提供一种数据综合价值的评估装置,包括:
[0030]第一获取模块,用于在联邦学习过程中,获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值;
[0031]价值评估模块,用于根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值。
[0032]可选地,所述第一获取模块包括:数据相对价值评估模块,所述数据相对价值评估模块具体用于:
[0033]在数据评估过程中,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果;
[0034]根据所有数据评估方对于所述待评估数据的相对价值评估结果,计算所述待评估数据的综合相对价值。
[0035]可选地,所述装置还包括:
[0036]数据协商模块,用于与所述数据提供方进行数据评估协商;所述数据评估协商的内容包括:评估内容、评估字段以及安全算法中的至少一项;
[0037]第二获取模块,用于根据所述数据评估协商的结果获得共享数据安全评估协议;
[0038]所述数据相对价值评估模块具体用于:
[0039]根据所述共享数据安全评估协议,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果。
[0040]可选地,所述第一获取模块包括:数据模型训练价值评估模块,所述数据模型训练价值评估模块具体用于:
[0041]在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中,计算数据提供方提供的待评估数据对所述模型训练的贡献度;
[0042]根据所述贡献度计算所述待评估数据对于模型训练的训练价值。
[0043]可选地,所述装置还包括:多方协同计算管理模块,具体用于:
[0044]接收数据建模发起方发送的数据协同请求;
[0045]根据所述数据协同请求,将允许共享的待评估数据发送至所述数据建模发起方;
[0046]接收所述数据建模发起方选择所述待评估数据的通知消息;
[0047]根据所述通知消息建立所述数据建模发起方与所述数据提供方的数据协同连接通道。
[0048]可选地,所述第一获取模块包括:数据应用价值评估模块,所述数据应用价值评估模块具体用于:
[0049]在模型预测过程中,根据模型的调用次数以及每次调用中所述数据提供方的数据协同计算次数,计算所述数据提供方提供的待评估数据的应用价值。
[0050]可选地,所述价值评估模块包括:<本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据综合价值的评估方法,其特征在于,包括:在联邦学习过程中,获取数据提供方提供的待评估数据的相对价值、训练价值以及应用价值;根据所述相对价值、所述训练价值以及所述应用价值,确定所述待评估数据的综合价值。2.根据权利要求1所述的方法,其特征在于,获取数据提供方提供的待评估数据的相对价值,包括:在数据评估过程中,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果;根据所有数据评估方对于所述待评估数据的相对价值评估结果,计算所述待评估数据的综合相对价值。3.根据权利要求2所述的方法,其特征在于,所述对所述待评估数据进行数据质量评估之前,所述方法还包括:与所述数据提供方进行数据评估协商;所述数据评估协商的内容包括:评估内容、评估字段以及安全算法中的至少一项;根据所述数据评估协商的结果获得共享数据安全评估协议;所述在数据评估过程中,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果,包括:根据所述共享数据安全评估协议,对所述待评估数据进行数据质量评估,获取所述待评估数据相对于数据评估节点的相对价值评估结果。4.根据权利要求1所述的方法,其特征在于,获取数据提供方提供的待评估数据的训练价值包括:数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中,计算数据提供方提供的待评估数据对所述模型训练的贡献度;根据所述贡献度计算所述待评估数据对于模型训练的训练价值。5.根据权利要求4所述的方法,其特征在于,在数据建模发起方与所述数据提供方之间进行数据协同模型训练的过程中,计算数据提供方提供的待评估数据对所述模型训练的贡献度之前,所述方法还包括:接收数据建模发起方发送的数据协同请求;根据所述数据协同请求,将允许共享的待评估数据发送至所述数据建模发起方...

【专利技术属性】
技术研发人员:蔡国庆
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1