基于有向无环图DAG区块链的联邦学习方法技术

本发明专利技术提供一种基于有向无环图DAG区块链的联邦学习方法，该方法包括：在接收到管理设备发送的继续训练指令之后，获取当前DAG区块链；基于本地数据测试集和当前DAG区块链中节点内的模型参数，确定初始模型参数；基于本地数据训练集，对具有初始模型参数的预设模型进行训练，得到中间模型；基于中间模型的模型精度，对中间模型的模型参数进行压缩，得到当前目标模型参数；其中，当前目标模型参数用于更新当前DAG区块链得到新的DAG区块链；向管理设备发送当前目标模型参数。本发明专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法用于节省通信开销。省通信开销。省通信开销。

【技术实现步骤摘要】
基于有向无环图DAG区块链的联邦学习方法


[0001]本专利技术涉及通信
，尤其涉及一种基于有向无环图DAG区块链的联邦学习方法。

技术介绍

[0002]目前，随着人工智能(Artificial Intelligence，AI)和大数据(big data)技术的快速发展，由于隐私保护政策、数据监管政策和行业之间的竞争，在对模型进行训练时，各参与方不愿共享自己的数据，从而出现了数据孤岛的问题，严重阻碍了AI和大数据的发展。为了解决数据孤岛的问题，联邦学习(Federated Learning，FL)方法应运而生。
[0003]在相关技术中，联邦学习方法包括：边缘服务器构造基础模型，智能设备使用本地数据集对从边缘服务器获取的基础模型进行多轮本地训练，将训练后的模型上传至边缘服务器，边缘服务器对训练后的模型进行聚合，得到聚合模型，在聚合模型达到期望精度的情况下，停止模型训练。
[0004]在上述相关技术中，智能设备直接将训练后的模型上传至边缘服务器，需要耗费大量的通信开销。

技术实现思路

[0005]本专利技术提供一种基于有向无环图DAG区块链的联邦学习方法，用以解决现有技术中通信开销耗费较大的缺陷，实现节省通信开销的目的。
[0006]本专利技术提供一种基于有向无环图DAG区块链的联邦学习方法，应用于训练设备，所述方法包括：
[0007]在接收到管理设备发送的继续训练指令之后，获取当前DAG区块链；
[0008]基于本地数据测试集和所述当前DAG区块链中节点内的模型参数，确定初始模型参数；
[0009]基于所述本地数据训练集，对具有所述初始模型参数的预设模型进行训练，得到中间模型；
[0010]基于所述中间模型的模型精度，对所述中间模型的模型参数进行压缩，得到当前目标模型参数；其中，所述当前目标模型参数用于更新所述当前DAG区块链得到新的DAG区块链；
[0011]向所述管理设备发送所述当前目标模型参数。
[0012]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述基于本地数据测试集和所述当前DAG区块链中节点内的模型参数，确定初始模型参数，包括：
[0013]执行N次节点选择操作，在所述当前DAG区块链中确定N个目标节点；其中，N为大于或等于2的整数；
[0014]对所述N个目标节点内的模型参数进行平均聚合处理，得到所述初始模型参数；
[0015]所述节点选择操作包括：针对所述当前DAG区块链中的第i个节点，若所述第i个节
点不存在子节点，则将所述第i个节点确定为目标节点；否则基于压缩比计算模型、评分计算模型和所述本地数据测试集，在所述第i个节点的子节点中确定第i+1个节点；将所述第i个节点更新为所述第i+1个节点，重复该操作，直至得到目标节点；初始时，i等于0，第0个节点为在所述当前DAG区块链中随机选择的节点。
[0016]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述基于压缩比计算模型、评分计算模型和所述本地数据测试集，在所述第i个节点的子节点中确定第i+1个节点，包括：
[0017]针对第i个节点的各子节点，基于所述本地数据测试集和精度计算模型，确定所述子节点对应的模型精度；通过所述压缩比计算模型，对所述子节点内的模型聚类参数进行处理，得到所述子节点对应的压缩比；通过所述评分计算模型，对所述模型精度和所述压缩比进行处理，得到所述子节点对应的评分；
[0018]将所述各子节点中最大评分对应的子节点，确定为所述第i+1个节点。
[0019]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述压缩比计算模型为：
[0020][0021]其中，r表示所述子节点对应的压缩比，k表示所述子节点内的模型聚类参数，n表示所述子节点对应的模型参数总个数，b1表示所述模型参数的比特位数，log2(
·
)表示以2为底的对数运算。
[0022]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述评分计算模型为：
[0023]Score＝a2
·
Acc1
·
log2(r
·
b2)
[0024]其中，Score表示所述子节点对应的评分，Acc1表示所述子节点对应的模型精度，r表示所述子节点对应的压缩比，a2表示预设精度调节参数，b2表示预设压缩比调节参数。
[0025]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述基于所述中间模型的模型精度，对所述中间模型的模型参数进行压缩，得到当前目标模型参数，包括：
[0026]基于聚类参数生成模型，对所述中间模型的模型精度进行处理，得到所述中间模型对应的模型聚类参数；
[0027]通过K均值聚类算法，基于所述中间模型对应的模型聚类参数，对所述中间模型的模型参数进行压缩，得到所述当前目标模型参数。
[0028]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述基于所述中间模型的模型精度，对所述中间模型的模型参数进行压缩，得到当前目标模型参数，包括：
[0029]基于聚类参数生成模型，对所述中间模型的模型精度进行M次处理，得到所述中间模型对应的M个模型聚类参数；其中，M为大于或等于2的整数；
[0030]通过K均值聚类算法，分别基于所述M个模型聚类参数，对所述中间模型的模型参数进行压缩，得到所述M个模型聚类参数各自对应的压缩模型参数；确定M个压缩模型参数各自的KL散度值；
[0031]最小KL散度值对应的压缩模型参数确定为所述当前目标模型参数。
[0032]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述聚类参数生成模型为：
[0033]k＝round(((M
max
‑
M
min
)
·
Acc2)+M
min
)
[0034]其中，k表示所述中间模型对应的模型聚类参数，Acc2表示所述中间模型的模型精度，M
max
表示最大预设聚类参数，M
min
表示最小预设聚类参数，round(
·
)表示随机整数生成运算，所述随机整数生成运算用于随机生成位于0至(M
max
‑
M
min
)之间的整数。
[0035]根据本专利技术提供的一种基于有向无环图DAG区块链的联邦学习方法，所述向所述管理设备发送所述当前目标模型参数，包括：
[0036]获取历史目标模型参数的损失值；所述历史目标模型参数为所述训练设备最近一次向管理设备发送的目标模型参数；
[0037]基于本地数据测试集和损失计算模型，确定所述当前目标模型参数的损失值；
[0038]在所述当前目标模型参数的损失值小于或等于所述历史目标模型的损失值的情况下，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有向无环图DAG区块链的联邦学习方法，其特征在于，包括：在接收到管理设备发送的继续训练指令之后，获取当前DAG区块链；基于本地数据测试集和所述当前DAG区块链中节点内的模型参数，确定初始模型参数；基于所述本地数据训练集，对具有所述初始模型参数的预设模型进行训练，得到中间模型；基于所述中间模型的模型精度，对所述中间模型的模型参数进行压缩，得到当前目标模型参数；其中，所述当前目标模型参数用于更新所述当前DAG区块链得到新的DAG区块链；向所述管理设备发送所述当前目标模型参数。2.根据权利要求1所述的联邦学习方法，其特征在于，所述基于本地数据测试集和所述当前DAG区块链中节点内的模型参数，确定初始模型参数，包括：执行N次节点选择操作，在所述当前DAG区块链中确定N个目标节点；其中，N为大于或等于2的整数；对所述N个目标节点内的模型参数进行平均聚合处理，得到所述初始模型参数；所述节点选择操作包括：针对所述当前DAG区块链中的第i个节点，若所述第i个节点不存在子节点，则将所述第i个节点确定为目标节点；否则基于压缩比计算模型、评分计算模型和所述本地数据测试集，在所述第i个节点的子节点中确定第i+1个节点；将所述第i个节点更新为所述第i+1个节点，重复该操作，直至得到目标节点；初始时，i等于0，第0个节点为在所述当前DAG区块链中随机选择的节点。3.根据权利要求2所述的联邦学习方法，其特征在于，所述基于压缩比计算模型、评分计算模型和所述本地数据测试集，在所述第i个节点的子节点中确定第i+1个节点，包括：针对第i个节点的各子节点，基于所述本地数据测试集和精度计算模型，确定所述子节点对应的模型精度；通过所述压缩比计算模型，对所述子节点内的模型聚类参数进行处理，得到所述子节点对应的压缩比；通过所述评分计算模型，对所述模型精度和所述压缩比进行处理，得到所述子节点对应的评分；将所述各子节点中最大评分对应的子节点，确定为所述第i+1个节点。4.根据权利要求3所述的联邦学习方法，其特征在于，所述压缩比计算模型为：其中，r表示所述子节点对应的压缩比，k表示所述子节点内的模型聚类参数，n表示所述子节点对应的模型参数总个数，b1表示所述模型参数的比特位数，log2(
·
)表示以2为底的对数运算。5.根据权利要求3所述的联邦学习方法，其特征在于，所述评分计算模型为：Score＝a2
·
Acc1
·
log2(r
·
b2)其中，Score表示所述子节点对应的评分，Acc1表示所述子节点对应的模型精度，r表示所述子节点对应的压缩比，a2表示预设精度调节参数，b2表示...

【专利技术属性】
技术研发人员：杨超，李桐，王磊，徐思雅，刘劲松，邵苏杰，雷振江，孙峰，宋进良，刘扬，李婷婷，陈剑，任帅，耿洪碧，陈得丰，齐芫苑，杨智斌，杨舒钧，陈洁蔚，刘芮彤，
申请(专利权)人：北京邮电大学国网辽宁省电力有限公司国家电网有限公司，
类型：发明
国别省市：