用于联邦学习的特征信息处理方法、装置以及存储介质制造方法及图纸

本公开提供了一种用于纵向联邦学习的特征信息处理方法、装置以及存储介质，涉及联邦学习技术领域，其中的方法包括：使用第一解码器、第二解码器分别对第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征；确定第一解码器梯度和第二解码器梯度，以及第一编码器梯度和第二编码器梯度；对第一解码器、第二解码器进行调整处理，并且对第一编码器、第二编码器进行调整处理；获取第一合并层生成的第二低维合并特征，作为降维输出特征。本公开的方法、装置以及存储介质，提出了基于自编码器的纵向联邦降维技术方案，解决了纵向联邦学习中特征冗余、数据噪声和维度过多的问题。数据噪声和维度过多的问题。数据噪声和维度过多的问题。

【技术实现步骤摘要】
用于联邦学习的特征信息处理方法、装置以及存储介质


[0001]本公开涉及联邦学习
，尤其涉及一种用于纵向联邦学习的特征信息处理方法、装置以及存储介质。

技术介绍

[0002]近年来，数据安全问题得到越来越多的关注，如何在保证数据安全的前提下使用多方数据成为安全研究的重点。联邦学习又名联邦机器学习，在保证原始数据本地化的前提下，训练统计机器学习模型。根据数据的分布特征可以将联邦学习分为三类：横向联邦学习、纵向联邦学习和联邦迁移学习。纵向联邦学习适用于多个数据集共享相同的样本空间，但特征空间不同的情况。因此，纵向联邦学习可以帮助拥有大量共同用户群体的不同行业机构进行统计建模，具有非常大的发展前景。但是，纵向联邦学习建模时存在以下问题：1)多方数据中会存在冗余特征和噪声数据，影响模型精度并降低计算效率；2)多方数据联合使用可能会带来“维度爆炸”的问题。

技术实现思路

[0003]有鉴于此，本专利技术要解决的一个技术问题是提供一种用于纵向联邦学习的特征信息处理方法、装置以及存储介质。
[0004]根据本公开的第一方面，提供一种用于纵向联邦学习的特征信息处理方法，其中，任务发起方系统包括第一自编码器；任务协助方系统包括第二自编码器；所述方法包括：获取所述第一自编码器的第一合并层生成的第一低维合并特征；使用所述第一自编码器的第一解码器、所述第二自编码器的第二解码器分别对所述第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征；根据所述第一重构特征、所述第二重构特征以及所述第一低维合并特征，分别确定所述第一解码器的第一解码器梯度和所述第二解码器的第二解码器梯度；确定所述第一合并层的第一低维合并特征偏差；根据所述第一低维合并特征偏差，确定所述第一自编码器的第一编码器的第一编码器梯度和所述第二自编码器的第二编码器的第二编码器梯度；根据所述第一解码器梯度、所述第二解码器梯度分别对所述第一解码器、所述第二解码器进行调整处理，并且根据所述第一编码器梯度、所述第二编码器梯度分别对所述第一编码器、所述第二编码器进行调整处理；获取所述第一合并层生成的第二低维合并特征，作为降维输出特征。
[0005]可选地，所述获取所述第一自编码器的第一合并层生成的第一低维合并特征包括：使用所述第一编码器对第一样本特征进行编码处理，获得第一低维特征；使用所述第二编码器对第二样本特征进行编码处理，获得第二低维特征；通过所述第一合并层对所述第一低维特征和所述第二低维特征进行合并处理，用以获得所述第一低维合并特征。
[0006]可选地，将第一预处理特征加上随机扰动特征，生成所述第一样本特征；将第二预处理特征加上所述随机扰动特征，生成所述第二样本特征。
[0007]可选地，所述使用所述第一自编码器的第一解码器、所述第二自编码器的第二解
码器分别对所述第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征包括：使用所述第一解码器并根据第一权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第一重构特征；使用所述第二解码器并根据第二权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第二重构特征。
[0008]可选地，所述分别确定所述第一解码器的第一解码器梯度和所述第二解码器的第二解码器梯度包括：根据所述第一低维合并特征、所述第一重构特征以及所述第一预处理特征，计算所述第一解码器梯度；根据所述第一低维合并特征、所述第二重构特征以及所述第二预处理特征，计算所述第二解码器梯度。
[0009]可选地，所述确定所述第一合并层的第一低维合并特征偏差包括：基于所述第一重构特征、所述第一预处理特征以及第一权重矩阵，计算第一偏差；基于所述第二重构特征、所述第二预处理特征以及第二权重矩阵，计算第二偏差；计算所述第一偏差与所述第二偏差的和值，用以获得所述第一低维合并特征偏差。
[0010]可选地，所述确定所述第一自编码器的第一编码器的第一编码器梯度和所述第二自编码器的第二编码器的第二编码器梯度包括：基于所述第一低维合并特征偏差、所述第一样本特征以及所述第一预处理特征，计算所述第一编码器梯度；基于所述第一低维合并特征偏差、所述第二样本特征以及所述第二预处理特征，计算所述第二编码器梯度。
[0011]可选地，所述获取所述第一合并层生成的第二低维合并特征包括：使用所述第一编码器对所述第三待处理特征进行编码处理，获得第三低维特征；使用所述第二编码器对所述第四待处理特征进行编码处理，获得第四低维特征；通过所述第一合并层对所述第三低维特征和所述第四低维特征进行合并处理，用以获取所述第二低维合并特征。
[0012]根据本公开的第二方面，提供一种用于纵向联邦学习的特征信息处理装置，其中，任务发起方系统包括第一自编码器；任务协助方系统包括第二自编码器；所述装置包括：合并处理模块，用于获取所述第一自编码器的第一合并层生成的第一低维合并特征；特征重构模块，用于使用所述第一自编码器的第一解码器、所述第二自编码器的第二解码器分别对所述第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征；第一梯度确定模块，用于根据所述第一重构特征、所述第二重构特征以及所述第一低维合并特征，分别确定所述第一解码器的第一解码器梯度和所述第二解码器的第二解码器梯度；偏差确定模块，用于确定所述第一合并层的第一低维合并特征偏差；第二梯度确定模块，用于根据所述第一低维合并特征偏差，确定所述第一自编码器的第一编码器的第一编码器梯度和所述第二自编码器的第二编码器的第二编码器梯度；调整处理模块，用于根据所述第一解码器梯度、所述第二解码器梯度分别对所述第一解码器、所述第二解码器进行调整处理，并且，根据所述第一编码器梯度、所述第二编码器梯度分别对所述第一编码器、所述第二编码器进行调整处理；降维输出模块，用于获取所述第一合并层生成的第二低维合并特征，作为降维输出特征。
[0013]可选地，所述合并处理模块，具体用于使用所述第一编码器对第一样本特征进行编码处理，获得第一低维特征；使用所述第二编码器对第二样本特征进行编码处理，获得第二低维特征；通过所述第一合并层对所述第一低维特征和所述第二低维特征进行合并处理，用以获得所述第一低维合并特征。
[0014]可选地，所述合并处理模块，还用于将第一预处理特征加上随机扰动特征，生成所
述第一样本特征；将第二预处理特征加上所述随机扰动特征，生成所述第二样本特征。
[0015]可选地，所述特征重构模块，具体用于使用所述第一解码器并根据第一权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第一重构特征；使用所述第二解码器并根据第二权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第二重构特征。
[0016]可选地，所述第一梯度确定模块，具体用于根据所述第一低维合并特征、所述第一重构特征以及所述第一预处理特征，计算所述第一解码器梯度；根据所述第一低维合并特征、所述第二重构特征以及所述第二预处理特征，计算所述第二解码器梯度。
[0017]可选地，所述偏差确定模块，具体用于基于所述第一重构特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于纵向联邦学习的特征信息处理方法，其中，任务发起方系统包括第一自编码器；任务协助方系统包括第二自编码器；所述方法包括：获取所述第一自编码器的第一合并层生成的第一低维合并特征；使用所述第一自编码器的第一解码器、所述第二自编码器的第二解码器分别对所述第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征；根据所述第一重构特征、所述第二重构特征以及所述第一低维合并特征，分别确定所述第一解码器的第一解码器梯度和所述第二解码器的第二解码器梯度；确定所述第一合并层的第一低维合并特征偏差；根据所述第一低维合并特征偏差，确定所述第一自编码器的第一编码器的第一编码器梯度和所述第二自编码器的第二编码器的第二编码器梯度；根据所述第一解码器梯度、所述第二解码器梯度分别对所述第一解码器、所述第二解码器进行调整处理，并且根据所述第一编码器梯度、所述第二编码器梯度分别对所述第一编码器、所述第二编码器进行调整处理；获取所述第一合并层生成的第二低维合并特征，作为降维输出特征。2.如权利要求1所述的方法，所述获取所述第一自编码器的第一合并层生成的第一低维合并特征包括：使用所述第一编码器对第一样本特征进行编码处理，获得第一低维特征；使用所述第二编码器对第二样本特征进行编码处理，获得第二低维特征；通过所述第一合并层对所述第一低维特征和所述第二低维特征进行合并处理，用以获得所述第一低维合并特征。3.如权利要求2所述的方法，还包括：将第一预处理特征加上随机扰动特征，生成所述第一样本特征；将第二预处理特征加上所述随机扰动特征，生成所述第二样本特征。4.如权利要求3所述的方法，所述使用所述第一自编码器的第一解码器、所述第二自编码器的第二解码器分别对所述第一低维合并特征进行重构处理，生成第一重构特征、第二重构特征包括：使用所述第一解码器并根据第一权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第一重构特征；使用所述第二解码器并根据第二权重矩阵，对所述第一低维合并特征进行重构处理，生成所述第二重构特征。5.如权利要求3所述的方法，所述分别确定所述第一解码器的第一解码器梯度和所述第二解码器的第二解码器梯度包括：根据所述第一低维合并特征、所述第一重构特征以及所述第一预处理特征，计算所述第一解码器梯度；根据所述第一低维合并特征、所述第二重构特征以及所述第二预处理特征，计算所述第二解码器梯度。6.如权利要求3所述的方法，所述确定所述第一合并层的第一低维合并特征偏差包括：基于所述第一重构特征、所述第一预处理特征以及第一权重矩阵，计算第一偏差；基于所述第二重构特征、所述第二预处理特征以及第二权重矩阵，计算第二偏差；
计算所述第一偏差与所述第二偏差的和值，用以获得所述第一低维合并特征偏差。7.如权利要求6所述的方法，所述确定所述第一自编码器的第一编码器的第一编码器梯度和所述第二自编码器的第二编码器的第二编码器梯度包括：基于所述第一低维合并特征偏差、所述第一样本特征以及所述第一预处理特征，计算所述第一编码器梯度；基于所述第一低维合并特征偏差、所述第二样本特征以及所述第二预处理特征，计算所述第二编码器梯度。8.如权利要求1至7任一项所述的方法，所述获取所述第一合并层生成的第二低维合并特征包括：使用所述第一编码器对所述第三待处理特征进行编码处理，获得第三低维特征；使用所述第二编码器对所述第四待处理特征进行编码处理，获得第四低维特征；通过所述第一合并层对所述第三低维特征和所述第四低维特征进行合并处理，用以获取所述第二低维合并特征。9.一种用于纵向联邦学习的特征信息处理装置，其中，任务发起方系统包括第一自编码器；任务协助方系统包括第二自编码器；所述装置...

【专利技术属性】
技术研发人员：李鑫超，杨诗友，章枝宪，王益斌，尹虹舒，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：