基于贝叶斯联邦学习的数据处理方法、系统及电子设备技术方案

本发明专利技术公开了基于贝叶斯联邦学习的数据处理方法、系统及电子设备，应用于无线系统中的服务器，方法包括：在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以得到第一本地参数信息；接收终端设备发送的第一导频信号以及第一本地参数信息，并生成功率控制参数；向终端设备发送功率控制参数，以使终端设备对本地模型进行缩放操作，得到第二本地参数；接收第二本地参数，并根据功率控制参数对全局模型进行缩放操作，得到目标全局模型，向所有终端设备广播目标全局模型。本发明专利技术实施例中，在减小通信压力的同时，减小了无线传输中噪声的影响。了无线传输中噪声的影响。了无线传输中噪声的影响。

【技术实现步骤摘要】
基于贝叶斯联邦学习的数据处理方法、系统及电子设备


[0001]本专利技术属于通信
，尤其涉及一种基于贝叶斯联邦学习的数据处理方法、系统及电子设备。

技术介绍

[0002]随着移动设备(如智能手机和传感器)的广泛普及，移动互联网的数据流量正在以惊人的速度增长。这一巨大的移动数据规模以及最近人工智能（Artificial Intelligence，AI）技术的突破性发展促使研究人员致力于开发面向网络边缘的AI技术。并引领着机器学习的最新计算范式，即边缘学习。边缘学习旨在将模型训练和推理的计算任务从中心化的云服务器迁移到终端设备或服务器上，使得数据可以在本地进行处理。但是，联邦学习的训练过程以大量的通信开销为代价，终端设备需要与服务器进行多回合的模型交互以实现模型的迭代更新。为了缓解通信压力，联邦平均（FedAvg）算法被提出，其允许用户在本地进行多轮更新再与服务器进行模型参数交换。
[0003]然而，大多数现有的FedAvg算法都是为了实现频率派统计（Frequentist learning），其目标是通过随机梯度下降（Stochastic Gradient Descent,SGD）算法估计一个使经验损失最小化的最佳模型。这极大地增加了通信压力，并且在进行无线传输的过程中，由于在每个轮次都需要添加额外的噪声，从而给联邦模型带来影响，影响通信质量。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种基于贝叶斯联邦学习的数据处理方法、系统及电子设备，在减小通信压力的同时，减小了无线传输中噪声的影响。
[0005]第一方面，本专利技术提供一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的服务器，所述服务器通过非正交多址信道与多个终端设备进行通信，所述方法包括：在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；向所有所述终端设备广播所述目标全局模型。
[0006]根据本专利技术实施例提供的基于贝叶斯联邦学习的数据处理方法，至少有如下有益效果：在每个预设的训练轮次内，基于预设的抽取概率向所有终端设备发送通信信号，以使
终端设备根据通信信号对本地模型进行更新以得到第一本地参数信息，从而能够确定终端设备的多个配置信息，便于后续确定对应的功率参数，之后通过非正交多址信道接收终端设备发送的第一导频信号以及第一本地参数信息，并根据第一导频信号以及第一本地参数信息生成功率控制参数，再向终端设备发送功率控制参数，以使终端设备对本地模型进行缩放操作，得到第二本地参数，使终端设备发送的信号能够对齐，从而可以直接进行叠加求和，同时调整功率控制参数可以使得经过缩放的信道噪声能够不低于蒙特卡洛采样所需的高斯噪声，最后，接收终端设备发送的第二本地参数，并基于功率控制参数对全局模型进行缩放操作，得到目标全局模型，从而能够将在空中计算时信道引入的噪声被作为蒙特卡洛采样所需的高斯噪声，减小了无线传输中噪声的影响。
[0007]根据本专利技术的一些实施例，所述基于预设的抽取概率向所述终端设备发送通信信号，包括：基于所述抽取概率对预设的控制变量进行抽取，得到通信控制参数；当所述通信控制参数满足预设的传输条件，向所述终端设备发送所述通信信号。
[0008]根据本专利技术的一些实施例，所述根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，包括：对所述第一导频信号进行分析，确定所述非正交多址信道的信道状态信息以及信道噪声信息；对所有所述第一本地参数信息进行计算，得到本地模型范数；计算所述信道状态信息与所述本地模型范数的比值，并将所述信道噪声信息与所述比值进行比较，得到所述功率控制参数。
[0009]根据本专利技术的一些实施例，所述根据所述第二本地参数以及所述功率控制参数对所述全局模型进行处理，得到目标全局模型，包括：在所述终端设备发送的所述第二本地参数叠加的情况下，根据所述功率控制参数对所述全局模型进行缩放操作，得到目标全局模型。
[0010]第二方面，本专利技术提供一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的终端设备，所述终端设备通过非正交多址信道与服务器进行通信，所述方法包括：接收所述服务器基于预设的抽取概率发送的通信信号；根据所述通信信号对本地模型进行更新，得到第一本地参数信息；通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行缩放，得到目标全局模型；接收所述服务器发送的目标全局模型。
[0011]根据本专利技术的一些实施例，所述根据所述通信信号对本地模型进行更新，得到第一本地参数信息，包括：在每个预设的训练轮次内，从预设的本地数据集进行数据抽取，得到训练数据；
根据所述训练数据对本地模型进行本地更新，得到第一本地参数。
[0012]根据本专利技术的一些实施例，还包括：在确定所述服务器的通信控制参数满足预设的结束条件的情况下，启动下一个训练轮次的本地更新，其中，所述通信控制参数由所述服务器基于所述抽取概率对预设的控制变量进行抽取得到。
[0013]第三方面，本专利技术提供一种基于贝叶斯联邦学习的数据处理系统，包括服务器以及多个终端设备，所述服务器通过非正交多址信道与多个所述终端设备进行通信，所述系统包括：所述服务器在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；以及接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；向所有所述终端设备广播所述目标全局模型；所述终端设备用于接收所述服务器基于预设的抽取概率发送的通信信号；根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的服务器，所述服务器通过非正交多址信道与多个终端设备进行通信，其特征在于，所述方法包括：在每个预设的训练轮次内，基于预设的抽取概率向所有所述终端设备发送通信信号，以使所述终端设备根据所述通信信号对本地模型进行更新以得到第一本地参数信息；通过所述非正交多址信道接收所述终端设备发送的第一导频信号以及所述第一本地参数信息，并根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，其中，所述第一导频信号用于表征所述非正交多址信道的信道状态；向所述终端设备发送所述功率控制参数，以使所述终端设备根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；接收所述终端设备发送的所述第二本地参数，并根据所述第二本地参数以及所述功率控制参数对预设的全局模型进行缩放操作，得到目标全局模型；向所有所述终端设备广播所述目标全局模型。2.根据权利要求1所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，所述基于预设的抽取概率向所有所述终端设备发送通信信号，包括：基于所述抽取概率对预设的控制变量进行抽取，得到通信控制参数；当所述通信控制参数满足预设的传输条件，向所述终端设备发送所述通信信号。3.根据权利要求1所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，所述根据所述第一导频信号以及所述第一本地参数信息生成功率控制参数，包括：对所述第一导频信号进行分析，确定所述非正交多址信道的信道状态信息以及信道噪声信息；对所有所述第一本地参数信息进行计算，得到本地模型范数；计算所述信道状态信息与所述本地模型范数的比值，并将所述信道噪声信息与所述比值进行比较，得到所述功率控制参数。4.根据权利要求2所述的基于贝叶斯联邦学习的数据处理方法，其特征在于，根据所述第二本地参数以及所述功率控制参数对所述全局模型进行处理，得到目标全局模型，包括：在所述终端设备发送的所述第二本地参数叠加的情况下，根据所述功率控制参数对所述全局模型进行缩放操作，得到目标全局模型。5.一种基于贝叶斯联邦学习的数据处理方法，应用于无线系统中的终端设备，所述终端设备通过非正交多址信道与服务器进行通信，其特征在于，所述方法包括：接收所述服务器基于预设的抽取概率发送的通信信号；根据所述通信信号对本地模型进行更新，得到第一本地参数信息；通过所述非正交多址信道向所述服务器发送第一导频信号以及所述第一本地参数信息，以使所述服务器根据所述第一导频信号以及所述第一本地参数生成功率控制参数；接收所述服务器发送的所述功率控制参数，并根据所述功率控制参数对所述本地模型进行缩放操作，得到第二本地参数；向所述服务器发送所述第二本地参数，以使所述服务器根据所述功率控制参数以及所述第二本地参数对预设的全局模型进行...

【专利技术属性】
技术研发人员：张博宁，刘冬竹，朱光旭，杨凯，张纵辉，史清江，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：