神经网络训练方法、数据处理方法、装置和存储介质制造方法及图纸

本申请涉及一种神经网络训练方法、数据处理方法、装置和存储介质。该神经网络训练方法包括：服务器向一个或多个终端设备发送对应的第一张量核集合，终端设备获取第一张量核集合，根据第一张量核集合确定第一神经网络模型，根据本地数据和第一神经网络模型确定第一目标函数，根据第一目标函数、第一神经网络模型和第一张量核集合确定第二目标函数，根据第二目标函数得到训练好的第一张量核集合，将其发送给服务器，服务器获取各终端设备发送的训练好的第一张量核集合进行聚合，确定满足预定收敛条件的张量核集合，以确定第二神经网络模型。由此，可以节约服务器和终端设备间的通信成本，得到性能更优的神经网络模型。得到性能更优的神经网络模型。得到性能更优的神经网络模型。

【技术实现步骤摘要】
神经网络训练方法、数据处理方法、装置和存储介质


[0001]本申请涉及人工智能
，尤其涉及一种基于联邦学习的神经网络训练方法、数据处理方法、装置和存储介质。

技术介绍

[0002]近年来，神经网络在计算机视觉领域(如，目标检测、图片分类、语义分割等应用场景)中被广泛应用，而优质数据对于神经网络的训练具有不可替代的重要作用，因此不同厂商对于数据的保护愈加重视，从而容易形成数据孤岛问题，即优质数据在不同厂商之间不进行流通。基于此，联邦学习(federated learning，FL)应运而生。联邦学习又称为联邦机器学习、联合学习、联盟学习等，其能有效帮助多个客户端设备在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。也就是说联邦学习能够在不同客户端之间不共享数据的前提下，利用各个客户端上各自的数据共同训练神经网络，保护用户数据隐私的同时提高神经网络的性能。
[0003]业界目前已有多种基于联邦学习的神经网络训练方法，例如，一种联邦学习方法称为联邦平均(federated averaging，FedAvg)，FedAvg结构上一般包括一个服务器(server)和一些客户端(client)，其技术流程是由服务器下发神经网络模型到各客户端，各客户端分别对模型进行训练，后服务器接收各客户端上训练好的模型进行聚合，并循环上述过程进行迭代直至得到最终的模型。上述方法适用于各客户端的神经网络维度相同的情况，若各客户端上训练好的神经网络的维度不同，也只能在服务器中进行生硬的叠加后聚合，无法更好的融合各神经网络的特征，由此得到的神经网络性能不佳。因此，亟需一种神经网络训练方法使得得到的神经网络模型性能更佳。

技术实现思路

[0004]有鉴于此，提出了一种基于联邦学习的神经网络训练方法、数据处理方法、装置和存储介质。
[0005]第一方面，本申请的实施例提供了一种基于联邦学习的神经网络训练方法。该方法用于终端设备，该方法包括：从服务器获取第一张量核集合，所述第一张量核集合包括各张量的分解结果，所述张量包括第一神经网络模型的参数；根据所述第一张量核集合确定所述第一神经网络模型；根据本地数据和所述第一神经网络模型，确定所述第一神经网络模型对应的第一目标函数；根据所述第一目标函数、所述第一神经网络模型和所述第一张量核集合，确定第二目标函数；根据所述第二目标函数，对所述第一张量核集合进行训练，得到训练好的第一张量核集合；将所述训练好的第一张量核集合发送给所述服务器，其中，所述训练好的第一张量核集合用于所述服务器与从其他终端设备上获取的训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，根据所述满足预定收敛条件的张量核集合，确定第二神经网络模型。
[0006]根据本申请实施例，由于服务器与各终端设备交互的数据可以是张量核集合，该
张量核集合可以包括各张量的分解结果，该张量可以包括神经网络模型的参数，从而减少了交互过程中的通信量，各终端设备可以利用根据本地数据、神经网络模型、服务器下发的张量核集合确定的目标函数对张量核集合进行训练，各终端设备可以由此得到训练好的张量核集合，并将训练好的张量核集合发送给服务器，由服务器进行张量核的聚合。由此，即便各终端设备上模型参数的维度不同，参数对应的张量分解后得到的张量核仍能够相互融合，因此可以使得服务器更好的融合不同维度的模型的特征，以确定满足预定收敛条件的张量核集合，从而在服务器上确定全局的神经网络模型，且得到的该模型的性能更优。
[0007]根据第一方面，在所述基于联邦学习的神经网络训练方法的第一种可能的实现方式中，该方法还包括：根据所述第一目标函数或所述第二目标函数，对所述第一神经网络模型进行训练，得到训练好的第一神经网络模型。
[0008]由此，可以实现对第一神经网络模型的训练，各终端设备上可以得到更加个性化的神经网络模型。
[0009]根据第一方面或第一方面的第一种可能的实现方式，在所述基于联邦学习的神经网络训练方法的第二种可能的实现方式中，服务器与从其他终端设备上获取的训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，还包括：在所述服务器判断聚合后的张量核集合不满足预定收敛条件的情况下，由所述服务器根据所述聚合后的张量核集合确定新的第一张量核集合；从所述服务器获取所述新的第一张量核集合，根据所述新的第一张量核集合或所述训练好的第一神经网络模型确定新的第一神经网络模型，重复执行所述根据本地数据和所述第一神经网络模型，确定所述第一神经网络模型对应的第一目标函数及之后的步骤，直至满足所述预定收敛条件，得到满足预定收敛条件的张量核集合。
[0010]由此，可以通过服务器与终端设备之间的迭代过程，得到性能更优的神经网络模型。
[0011]根据第一方面或第一方面的第一种或第二种可能的实现方式，在所述基于联邦学习的神经网络训练方法的第三种可能的实现方式中，该聚合包括根据预定权重对各终端设备上训练好的第一张量核集合进行聚合。
[0012]根据本申请实施例，通过根据预定权重对各终端设备上训练好的第一张量核集合进行聚合，可以使得服务器可以自适应的调整聚合张量核的个数，使得训练的过程更加灵活。
[0013]根据第一方面或第一方面的第一种或第二种或第三种可能的实现方式，在所述基于联邦学习的神经网络训练方法的第四种可能的实现方式中，该第一张量核集合与所述终端设备上预设的神经网络维度相对应。
[0014]由此，即便模型参数的维度不同，参数对应的张量分解后得到的张量核仍能够相互融合，服务器可以更好的融合不同维度的模型的特征，以确定满足预定收敛条件的第一张量核集合，使得最终确定的模型性能更优。
[0015]根据第一方面或第一方面的第一种或第二种或第三种或第四种可能的实现方式，在所述基于联邦学习的神经网络训练方法的第五种可能的实现方式中，将所述训练好的第一张量核集合发送给所述服务器，包括：根据上传比例，在所述训练好的第一张量核集合中确定第二张量核集合；将所述第二张量核集合发送给所述服务器。
[0016]根据本申请实施例，通过根据上传比例确定第二张量核集合，可以根据需要调整上传的张量核的数量，节约了通信成本。且由此各终端设备可以保留个性化部分的张量核不上传，使得终端设备本地的神经网络模型可以具有更优的个性化能力。
[0017]根据第一方面的第五种可能的实现方式，在所述基于联邦学习的神经网络训练方法的第六种可能的实现方式中，该方法还包括：获取所述服务器发送的上传比例，其中所述上传比例与所述训练好的第一张量核集合的准确度相关。
[0018]根据本申请实施例，由于上传比例与训练好的第一张量核集合的准确度相关，使得上传的张量核集合更加精简，可以在节约通信成本的基础上，使服务器聚合得到更优的张量核集合以进行训练，从而得到性能更优的神经网络模型。
[0019]根据第一方面或第一方面的第一种或第二种或第三种或第四种或第五种或第六种可能的实现方式，在所述基于联邦学习的神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的神经网络训练方法，其特征在于，所述方法用于终端设备，所述方法包括：从服务器获取第一张量核集合，所述第一张量核集合包括各张量的分解结果，所述张量包括第一神经网络模型的参数；根据所述第一张量核集合确定所述第一神经网络模型；根据本地数据和所述第一神经网络模型，确定所述第一神经网络模型对应的第一目标函数；根据所述第一目标函数、所述第一神经网络模型和所述第一张量核集合，确定第二目标函数；根据所述第二目标函数，对所述第一张量核集合进行训练，得到训练好的第一张量核集合；将所述训练好的第一张量核集合发送给所述服务器，其中，所述训练好的第一张量核集合用于所述服务器与从其他终端设备上获取的训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，根据所述满足预定收敛条件的张量核集合，确定第二神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第一目标函数或所述第二目标函数，对所述第一神经网络模型进行训练，得到训练好的第一神经网络模型。3.根据权利要求1或2所述的方法，其特征在于，所述服务器与从其他终端设备上获取的训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，还包括：在所述服务器判断聚合后的张量核集合不满足预定收敛条件的情况下，由所述服务器根据所述聚合后的张量核集合确定新的第一张量核集合；从所述服务器获取所述新的第一张量核集合，根据所述新的第一张量核集合或所述训练好的第一神经网络模型确定新的第一神经网络模型，重复执行所述根据本地数据和所述第一神经网络模型，确定所述第一神经网络模型对应的第一目标函数及之后的步骤，直至满足所述预定收敛条件，得到满足预定收敛条件的张量核集合。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述聚合包括根据预定权重对各终端设备上训练好的第一张量核集合进行聚合。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述第一张量核集合与所述终端设备上预设的神经网络维度相对应。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述将所述训练好的第一张量核集合发送给所述服务器，包括：根据上传比例，在所述训练好的第一张量核集合中确定第二张量核集合；将所述第二张量核集合发送给所述服务器。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：获取所述服务器发送的上传比例，其中所述上传比例与所述训练好的第一张量核集合的准确度相关。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述分解后的各张量为以下任一种类型的张量：CP分解后的张量、Tucker分解后的张量、张量链TT分解后的张量、张量环TR
分解后的张量。9.一种基于联邦学习的神经网络训练方法，其特征在于，所述方法用于服务器，所述方法包括：向一个或多个终端设备发送与各所述终端设备对应的第一张量核集合，所述第一张量核集合包括各张量的分解结果，所述张量包括第一神经网络模型的参数；获取各终端设备发送的训练好的第一张量核集合，其中，所述训练好的第一张量核集合由所述终端设备根据第二目标函数对所述第一张量核集合进行训练得到，所述第二目标函数根据所述第一神经网络模型对应的第一目标函数、所述第一神经网络模型和所述第一张量核集合确定，所述第一目标函数根据终端设备的本地数据和所述第一神经网络模型确定，所述第一神经网络模型根据所述第一张量核集合确定；对各训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合；根据所述满足预定收敛条件的张量核集合，确定第二神经网络模型。10.根据权利要求9所述的方法，其特征在于，所述对各训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，包括：判断聚合后的张量核集合是否满足所述预定收敛条件；在所述聚合后的张量核集合不满足预定收敛条件的情况下，根据所述聚合后的张量核集合确定新的第一张量核集合，重复执行所述向一个或多个终端设备发送与各所述终端设备对应的第一张量核集合及之后的步骤，直至聚合后的张量核集合满足所述预定收敛条件，得到满足预定收敛条件的张量核集合。11.根据权利要求9或10所述的方法，其特征在于，所述对各训练好的第一张量核集合进行聚合，得到满足预定收敛条件的张量核集合，包括：根据预定权重对各终端设备上训...

【专利技术属性】
技术研发人员：李银川，邵云峰，胡红兵，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：