System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及农业数据处理,尤其涉及一种农业科研模型训练方法、装置、电子设备及存储介质。
技术介绍
1、当前我国进入了大数据时代,数据已成为国家重要战略资源与关键生产要素,数据共享与有效利用越来越受到各行各业的重视。农业科研数据作为大数据分析研究和应用的重要领域显得尤为重要。当前科研机构之间对于与其他机构进行数据共享安全问题持有显著的不信任态度,不放心且不愿轻易进行数据共享,导致数据始终限制在各自机构的应用范围内。
2、目前,农业科研数据共享和训练主要依赖于传统的数据库管理系统和一些初级的数据加密技术。这些方法虽然在一定程度上促进了数据的共享和利用,但仍存在诸多不足。
3、综上可知,在现有的农业科研的农业科研模型的训练的效率低。
技术实现思路
1、本专利技术提供一种农业科研模型训练方法、装置、电子设备及存储介质,用以解决现有技术中农业科研的农业科研模型的训练效率低的缺陷,实现提高农业科研领域的模型的训练效率。
2、第一方面,本专利技术提供一种农业科研模型训练方法,包括:获取与农业研究需求对应的至少两个数据集;对每个所述数据集的隐私数据集进行加密,得到加密数据集,每个所述加密数据集包括标识数据集和加密后的隐私数据集;基于所有所述标识数据集的交集,获取公共标识数据集,基于所述公共标识数据集,获取加密后的目标隐私数据集;基于所述目标隐私数据集,对预设模型进行训练,对训练后的所述预设模型的模型参数进行解密,得到农业科研模型,所述农业科研模型用于解决所述农
3、根据本专利技术提供的一种农业科研模型训练方法,所述对每个所述数据集的隐私数据集进行加密,得到加密数据集,包括:对每个所述数据集进行哈希处理,得到至少两个哈希数据集,每个所述哈希数据集包括标识哈希集和隐私哈希集;将所述标识哈希集作为所述标识数据集;使用公钥对所述隐私哈希集进行高等级加密,得到所述加密后的隐私数据集。
4、根据本专利技术提供的一种农业科研模型训练方法,所述对每个所述数据集进行哈希处理,得到至少两个哈希数据集之后,还包括:使用所述公钥对所述标识哈希集进行低等级加密,得到所述标识数据集。
5、根据本专利技术提供的一种农业科研模型训练方法,所述公共标识数据集包括至少一个公共标识数据,所述基于所述公共标识数据集,获取加密后的目标隐私数据集,包括:从所述加密后的隐私数据集中,获取与每个所述公共标识数据关联的目标隐私数据,基于所有所述目标隐私数据,得到所述目标隐私数据集。
6、根据本专利技术提供的一种农业科研模型训练方法,所述基于所述目标隐私数据集,对预设模型进行训练,包括:基于所述预设模型的目标函数和所述预设模型的模型类型,确定所述目标函数的近似计算表示;将所述目标隐私数据集中的目标隐私数据代入所述近似计算表示,得到所述预设模型的预测值,基于所述目标隐私数据的真实值和所述预测值,得到所述预设模型的误差;基于所述目标隐私数据,对所述预设模型的参数进行迭代训练;当所述误差小于设定值或者所述迭代训练的次数达到设定次数时,确定所述预设模型训练完成。
7、根据本专利技术提供的一种农业科研模型训练方法,所述基于所述预设模型的目标函数和所述预设模型的模型类型,确定所述目标函数的近似计算表示,包括:当所述目标函数为多项式回归函数,所述预设模型为线性模型时,基于最小二乘法,确定最适合所述目标隐私数据的多项式系数,以确定所述近似计算表示;当所述目标函数为非线性回归函数,所述预设模型为神经网络模型时,基于泰勒展开,确定所述多项式系数,以确定所述近似计算表示;当所述预设模型为决策树函数,所述预设模型为随机森林模型时,基于切比雪夫多项式,确定所述近似计算表示。
8、根据本专利技术提供的一种农业科研模型训练方法,所述获取与农业研究需求对应的至少两个数据集,包括:基于所述农业研究需求,从至少一个数据库中,确定与所述农业研究需求关联的多个农业科研数据,基于每个所述数据库的所有所述农业科研数据,得到初始数据集,每个所述农业科研数据包括标识数据和隐私数据;对至少一个所述初始数据集进行数据清洗、数据转换、数据标准化、特征提取和数据选择,得到至少一个所述数据集。
9、第二方面,本专利技术还提供一种农业科研模型训练装置,包括:数据获取模块,用于获取与农业研究需求对应的至少两个数据集;加密模块,用于对每个所述数据集的隐私数据集进行加密,得到加密数据集,每个所述加密数据集包括标识数据集和加密后的隐私数据集;求交模块,用于基于所有所述标识数据集的交集,获取公共标识数据集,基于所述公共标识数据集,获取加密后的目标隐私数据集;训练模块,用于基于所述目标隐私数据集,对预设模型进行训练,对训练后的所述预设模型的模型参数进行解密,得到农业科研模型,所述农业科研模型用于解决所述农业研究需求。
10、第三方面,本专利技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述农业科研模型训练方法。
11、第四方面,本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述农业科研模型训练方法。
12、本专利技术提供的农业科研模型训练方法、装置、电子设备及存储介质,通过获取与农业研究需求对应的至少两个数据集;对每个所述数据集的隐私数据集进行加密,得到加密数据集,每个所述加密数据集包括标识数据集和加密后的隐私数据集;基于所有所述标识数据集的交集,获取公共标识数据集,基于所述公共标识数据集,获取加密后的目标隐私数据集;基于所述目标隐私数据集,对预设模型进行训练,对训练后的所述预设模型的模型参数进行解密,得到农业科研模型,所述农业科研模型用于解决所述农业研究需求。本专利技术根据标识数据集确定加密后的目标隐私数据集,实现了对不同来源的数据在加密状态下的有效对齐,有利于提高目标隐私数据集的一致性和完整性。根据加密后的目标隐私数据集对预设模型进行训练,得到农业科研模型,保护了隐私数据的安全。本专利技术根据公共标识数据集,获取对齐的目标隐私数据集,进而对预设模型进行训练,得到农业科研模型,在保护数据隐私的同时,提高了农业科研数据分析的实用性和安全性,有利于提高农业科研领域的模型训练的效率。
本文档来自技高网...【技术保护点】
1.一种农业科研模型训练方法,其特征在于,包括:
2.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述对每个所述数据集的隐私数据集进行加密,得到加密数据集,包括:
3.根据权利要求2所述的农业科研模型训练方法,其特征在于,所述对每个所述数据集进行哈希处理,得到至少两个哈希数据集之后,所述方法还包括:
4.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述公共标识数据集包括至少一个公共标识数据,所述基于所述公共标识数据集,获取加密后的目标隐私数据集,包括:
5.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述基于所述目标隐私数据集,对预设模型进行训练,包括:
6.根据权利要求5所述的农业科研模型训练方法,其特征在于,所述基于所述预设模型的目标函数和所述预设模型的模型类型,确定所述目标函数的近似计算表示,包括:
7.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述获取与农业研究需求对应的至少两个数据集,包括:
8.一种农业科研模型训练装置,其特征在于,包括:
>9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述农业科研模型训练方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述农业科研模型训练方法。
...【技术特征摘要】
1.一种农业科研模型训练方法,其特征在于,包括:
2.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述对每个所述数据集的隐私数据集进行加密,得到加密数据集,包括:
3.根据权利要求2所述的农业科研模型训练方法,其特征在于,所述对每个所述数据集进行哈希处理,得到至少两个哈希数据集之后,所述方法还包括:
4.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述公共标识数据集包括至少一个公共标识数据,所述基于所述公共标识数据集,获取加密后的目标隐私数据集,包括:
5.根据权利要求1所述的农业科研模型训练方法,其特征在于,所述基于所述目标隐私数据集,对预设模型进行训练,包括:
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员:谭雅蓉,刘新,王一罡,张金梦,于金莹,李靖伟,胡轶鹏,
申请(专利权)人:北京市农林科学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。