特征相关性计算方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种特征相关性计算方法、装置、设备及计算机可读存储介质，所述方法包括：按照随机数保护机制获取本次联邦学习的待用随机数组，其中，在多次联邦学习中按照随机数保护机制获取的随机数组的分布规律不同；对待计算相关性的第一特征数据进行归一化处理，并采用待用随机数组对处理结果进行加随机数操作得到加随机数特征数据；将加随机数特征数据发送给参与纵向联邦学习的第二设备，以供第二设备对待计算相关性的第二特征数据进行归一化处理后，根据处理结果和加随机数特征数据计算得到相关值。本发明专利技术实现了保障数据隐私性的基础上，无需进行额外的加密解密过程，极大程度地提高了计算特征相关性时的数据传输和计算效率。

Computing method, device, equipment and computer readable storage medium of feature correlation

【技术实现步骤摘要】
特征相关性计算方法、装置、设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种特征相关性计算方法、装置、设备及计算机可读存储介质。
技术介绍
随着机器学习的快速发展和广泛应用，特征工程在机器学习中的作用也越来越重要，特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得模型的性能得到提升。特征工程一般包括特征构建、特征提取、特征选择三个部分，特征相关性计算是其中特征选择部分的一个重要方法。通过计算特征之间的相关性来排除一些冗余的特征，保留对模型训练作用大的特征。例如要考察哪些特征对冰激凌的销量有影响，气温、季节、是否炎热、是否是夏天等这些特征之间相关性非常高，如果不进行相关性计算和特征选择，将这些特征均作为模型的训练数据，将会给模型增加噪声。目前在纵向联邦学习的应用场景下，参与联邦学习的各参与方拥有不同的数据特征，需要联合起来计算这些特征的相关性，再根据相关性进行特征选择。为了保证数据各方的数据隐私，各参与方一般不能直接传输原始数据。目前的方案是A方将数据加密后发送给B方，B方根据发送过来的数据计算相关性并返回。这种将数据进行常规加密传输的方式，会在极大程度上降低数据的传输和计算效率。
技术实现思路
本专利技术的主要目的在于提供一种特征相关性计算方法、装置、设备及计算机可读存储介质，旨在解决目标存在的特征相关性计算时的数据传输和计算效率低的技术问题。为实现上述目的，本专利技术提供一种特征相关性计算方法，应用于参与纵向联邦学习的第一设备，所述特征相关性计算方法包括：按照随机数保护机制获取本次联邦学习的待用随机数组，其中，在多次联邦学习中按照所述随机数保护机制获取的随机数组的分布规律不同；对待计算相关性的第一特征数据进行归一化处理，并采用所述待用随机数组对处理结果进行加随机数操作得到加随机数特征数据；将所述加随机数特征数据发送给参与纵向联邦学习的第二设备，以供所述第二设备对待计算相关性的第二特征数据进行归一化处理后，根据处理结果和所述加随机数特征数据计算得到所述第一特征数据和所述第二特征数据的相关值。可选地，所述按照随机数保护机制获得本次联邦学习的待用随机数组的步骤包括：从预先生成的分布规律不同的多组随机数组中随机选取一组作为本次联邦学习的待用随机数组。可选地，所述对待计算相关性的第一特征数据进行归一化处理的步骤包括：计算待计算相关性的第一特征数据中各个数据的均值和标准差；对所述第一特征数据中各个数据分别减去所述均值后除以所述标准差。可选地，所述采用所述待用随机数组对处理结果进行加随机数操作得到加随机数特征数据的步骤包括：对归一化处理后的所述第一特征数据中各个数据分别添加所述待用随机数组中不同的随机数，得到加随机数特征数据。可选地，所述将所述加随机数特征数据发送给参与纵向联邦学习的第二设备的步骤之后，还包括：接收所述第二设备发送的所述相关值；根据所述相关值对所述第一特征数据和所述第二特征数据进行特征选择。可选地，当所述第一特征数据存储于分布式集群的不同执行机中时，所述对待计算相关性的第一特征数据进行归一化处理的步骤包括：采用分布式计算方式对待计算相关性的第一特征数据进行归一化处理。可选地，所述按照随机数保护机制获取本次联邦学习的待用随机数组的步骤之前，还包括：采用本地样本数据集与所述第二设备进行样本对齐，获得对齐样本数据集；从对齐样本数据集中确定待计算相关性的所述第一特征数据。此外，为实现上述目的，本专利技术还提供一种特征相关性计算设备，所述特征相关性计算设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的特征相关性计算程序，所述特征相关性计算程序被所述处理器执行时实现如上所述的特征相关性计算方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有特征相关性计算程序，所述特征相关性计算程序被处理器执行时实现如上所述的特征相关性计算方法的步骤。本专利技术中，通过第一设备按照随机数保护机制获取本次联邦学习的待用随机数组，其中，在多次联邦学习中按照所述随机数保护机制获取的随机数组的分布规律不同；对待计算相关性的第一特征数据进行归一化处理，并采用待用随机数组对处理结果进行加随机数操作得到加随机数特征数据；将加随机数特征数据发送给参与纵向联邦学习的第二设备，以供第二设备对待计算相关性的第二特征数据进行归一化处理后，根据处理结果和加随机数特征数据计算得到所述第一特征数据和所述第二特征数据的相关值。由于，第一设备是将第一特征数据进行归一化处理并加上随机数后在发送给第二设备，使得第二设备无法通过加随机数特征数据推断出原始的第一特征数据，从而保证了第一设备的数据安全性。并且，由于第一设备是对第一特征数据进行归一化、加随机数操作，不是加密操作，使得第二设备可以直接根据第一设备发送的数据计算相关值，而无需进行额外的加密解密过程，也没有额外地增加传输负担，从而实现了保证数据安全的基础上，极大程度地提高了计算特征相关性时的数据传输和计算效率。并且，由于第一设备是采用随机数保护机制获取随机数组，使得多次联邦学习中所采用的随机数组的分布规律不同，从而使得第二设备无法通过多次联邦学习的随机数组破解出第一设备的随机数组分布规律，也就无法破解出第一设备的原始特征数据，从而避免了第一设备的隐私泄露给第二设备，进一步地提高了第一设备的数据安全性。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图；图2为本专利技术特征相关性计算方法第一实施例的流程示意图；图3为本专利技术实施例涉及的一种为A方和B方联合计算特征相关值的示意图；图4为本专利技术特征相关性计算装置较佳实施例的功能示意图模块图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种特征相关性计算设备，参照图1，图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图。需要说明的是，图1即可为特征相关性计算设备的硬件运行环境的结构示意图。本专利技术实施例特征相关性计算设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。如图1所示，该特征相关性计算设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-v本文档来自技高网...

【技术保护点】
1.一种特征相关性计算方法，其特征在于，应用于参与纵向联邦学习的第一设备，所述特征相关性计算方法包括：/n按照随机数保护机制获取本次联邦学习的待用随机数组，其中，在多次联邦学习中按照所述随机数保护机制获取的随机数组的分布规律不同；/n对待计算相关性的第一特征数据进行归一化处理，并采用所述待用随机数组对处理结果进行加随机数操作得到加随机数特征数据；/n将所述加随机数特征数据发送给参与纵向联邦学习的第二设备，以供所述第二设备对待计算相关性的第二特征数据进行归一化处理后，根据处理结果和所述加随机数特征数据计算得到所述第一特征数据和所述第二特征数据的相关值。/n

【技术特征摘要】
1.一种特征相关性计算方法，其特征在于，应用于参与纵向联邦学习的第一设备，所述特征相关性计算方法包括：
按照随机数保护机制获取本次联邦学习的待用随机数组，其中，在多次联邦学习中按照所述随机数保护机制获取的随机数组的分布规律不同；
对待计算相关性的第一特征数据进行归一化处理，并采用所述待用随机数组对处理结果进行加随机数操作得到加随机数特征数据；
将所述加随机数特征数据发送给参与纵向联邦学习的第二设备，以供所述第二设备对待计算相关性的第二特征数据进行归一化处理后，根据处理结果和所述加随机数特征数据计算得到所述第一特征数据和所述第二特征数据的相关值。


2.如权利要求1所述的特征相关性计算方法，其特征在于，所述按照随机数保护机制获得本次联邦学习的待用随机数组的步骤包括：
从预先生成的分布规律不同的多组随机数组中随机选取一组作为本次联邦学习的待用随机数组。


3.如权利要求1所述的特征相关性计算方法，其特征在于，所述对待计算相关性的第一特征数据进行归一化处理的步骤包括：
计算待计算相关性的第一特征数据中各个数据的均值和标准差；
对所述第一特征数据中各个数据分别减去所述均值后除以所述标准差。


4.如权利要求1所述的特征相关性计算方法，其特征在于，所述采用所述待用随机数组对处理结果进行加随机数操作得到加随机数特征数据的步骤包括：
对归一化处理后的所述第一特征数据中各个数据分别添加所述待用随机数组中不同的随机数，得到加随机数特征数据。


5.如权利要求1所述的特征相关性计算方法，其特征在于，所述将所述加随机数特征数据发送给参与纵向联邦学习的第二设备的步骤之后，还包括：
接收所述第二设备发送的所述相关值；
根据所述相关值对所述第一特征数据和所述第二特征数据进行特征选择。


6.如权利要求...

【专利技术属性】
技术研发人员：谭明超，范涛，魏文斌，马国强，郑会钿，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44