获取人工智能模型的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种获取人工智能模型的方法、装置、设备及存储介质，以客户端执行该方法为例，客户端接收服务端发送的第一人工智能AI模型，第一AI模型包括多个神经元；客户端在多个神经元中确定参与本轮训练的目标神经元，本轮训练为非首轮训练，目标神经元的数量小于多个神经元的总数量；客户端基于本地数据对目标神经元进行训练；客户端向服务端返回目标神经元对应的参数数据，目标神经元对应的参数数据用于服务端获取收敛的目标AI模型。由于无需对模型中的所有神经元进行训练，而是按照活跃条件来训练目标神经元，从而能够降低功耗，加快训练速度。又由于客户端向服务端仅传输训练的神经元对应的参数，因而可节省通信带宽。因而可节省通信带宽。因而可节省通信带宽。

【技术实现步骤摘要】
获取人工智能模型的方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及获取人工智能模型的方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的发展，各种人工智能(artificial intelligence，AI)模型越来越多，获取人工智能模型的方式也越来越多。通过联合学习(federated learning，FL)的方式获取人工智能模型便是其中的一种。
[0003]联合学习是一种新兴的人工智能基础技术，原本用于解决安卓手机终端用户在本地更新模型的问题，目标是保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。目前，联合学习被拓展为在数据不共享的情况下共同构建AI模型，提升AI模型效果。

技术实现思路

[0004]本申请实施例提供了一种获取人工智能模型的方法、装置、设备及存储介质，以解决相关技术提供的问题，技术方案如下：
[0005]第一方面，提供了一种获取人工智能模型的方法，以客户端侧执行该方法为例，该方法包括：客户端接收服务端发送的第一人工智能AI模型，第一AI模型包括多个神经元；客户端在多个神经元中确定参与本轮训练的目标神经元，本轮训练为非首轮训练，目标神经元的数量小于多个神经元的总数量；客户端基于本地数据对目标神经元进行训练；客户端向服务端返回目标神经元对应的参数数据，目标神经元对应的参数数据用于服务端获取收敛的目标AI模型。
[0006]由于本申请实施例提供的方法并不需要对模型中的所有神经元均进行训练，而是按照活跃条件来选择部分神经元进行训练，从而能够降低功耗，加快训练速度。此外，又由于客户端向服务端仅传输训练的神经元对应的参数，因而能够节省通信带宽。
[0007]在示例性实施例中，目标神经元为活跃度满足条件的神经元。示例性地，目标神经元的活跃度大于活跃度阈值。
[0008]在示例性实施例中，多个神经元中的各个神经元具有对应的冷活标志位，冷活标志位的值为第一值时，用于指示神经元参与本轮训练；所述在所述多个神经元中确定参与本轮训练的目标神经元，包括：将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元。
[0009]通过冷活标志位来指示活跃条件，从而通过该冷活标志位即可直接确定目标神经元，使得确定目标神经元的速度较快，进一步节省了训练时间，加快了训练速度。
[0010]在示例性实施例中，多个神经元中的各个神经元具有对应的冷冻期，所述冷冻期用于指示神经元不参与训练的周期；
[0011]任一神经元对应的冷活标志位的值，基于所述任一神经元对应的冷冻期确定。
[0012]在示例性实施例中，所述将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元之前，还包括：对于所述多个神经元中的任一神经元，获取所述任一神经元在上轮训练的活跃度，所述活跃度用于指示神经元被本地数据影响的程度；
[0013]根据所述任一神经元在上轮训练的活跃度更新所述任一神经元的冷冻期，根据所述任一神经元的冷冻期更新所述任一神经元的冷活标志位的值。
[0014]在示例性实施例中，所述多个神经元中的各个神经元还具有对应的冷冻期计数器，所述冷冻期计数器用于指示所述冷冻期是否结束；
[0015]所述获取所述任一神经元在上轮训练的活跃度，包括：响应于所述任一神经元的冷冻期计数器的值指示所述任一神经元的冷冻期结束，获取所述任一神经元在上轮训练的活跃度。
[0016]在示例性实施例中，所述在所述多个神经元中确定参与本轮训练的目标神经元，包括：
[0017]对于所述多个神经元中的任一神经元，获取所述任一神经元在上轮训练的活跃度，所述活跃度用于指示神经元被本地数据影响的程度；
[0018]响应于所述任一神经元在上轮训练的活跃度大于活跃度阈值，将所述任一神经元确定为参与本轮训练的目标神经元。
[0019]在示例性实施例中，所述获取所述任一神经元在上轮训练的活跃度，包括：
[0020]获取所述任一神经元在上轮训练前得到的参数的第一平均值，以及所述任一神经元在上轮训练后得到的参数的第二平均值；
[0021]获取所述第一平均值及所述第二平均值之间的差值；
[0022]根据所述差值的绝对值与所述第一平均值的绝对值确定所述任一神经元在上轮训练的活跃度。
[0023]在示例性实施例中，所述接收所述服务端发送的第一人工智能AI模型之前，还包括：
[0024]接收所述服务端发送的第一人工智能AI模型，将所述多个神经元中的全部神经元确定为目标神经元，基于本地数据对所述目标神经元进行训练。
[0025]在示例性实施例中，所述向所述服务端返回所述目标神经元对应的参数数据，还包括：
[0026]向所述服务器发送各个神经元的冷活标志位，或者，向所述服务器发送值发生变化的冷活标志位。
[0027]在示例性实施例中，所述向所述服务端返回所述目标神经元对应的参数数据，包括：仅向所述服务端返回所述目标神经元对应的参数数据。
[0028]提供了一种用于获取人工智能模型的方法，所述方法包括：
[0029]服务端获取待训练的第一人工智能AI模型，所述第一AI模型包括多个神经元；
[0030]所述服务端向多个客户端发送所述第一AI模型；
[0031]所述服务端接收所述多个客户端中的各个客户端返回的目标神经元对应的参数数据，任一客户端返回的目标神经元对应的参数数据由所述任一客户端对所述第一AI模型中的目标神经元进行训练得到，所述目标神经元的数量小于所述多个神经元的总数量；
[0032]所述服务端根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各
个客户端对应的第二AI模型，根据所述各个客户端对应的第二AI模型获取收敛的目标AI模型。
[0033]在示例性实施例中，所述根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各个客户端对应的第二AI模型，包括：
[0034]对于任一客户端，根据所述任一客户端返回的目标神经元对应的参数数据，更新所述第一AI模型中的所述目标神经元对应的参数，得到所述任一客户端对应的第二AI模型。
[0035]在示例性实施例中，所述根据所述各个客户端对应的第二AI模型获取收敛的目标AI模型，包括：
[0036]对所述各个客户端对应的第二AI模型进行联合平均，得到第三AI模型；
[0037]响应于所述第三AI模型收敛，将所述第三AI模型作为目标AI模型；
[0038]响应于所述第三AI模型未收敛，向所述多个客户端发送所述第三AI模型，采用获取所述第三AI模型的方式继续获取新的AI模型，依此循环，直至得到收敛的目标AI模型。
[0039]在示例性实施例中，所述根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各个客户端对应的第二AI模型之前，还包括：
[0040]接收所述多个客户端返回的各个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于获取人工智能模型的方法，其特征在于，所述方法包括：客户端接收所述服务端发送的第一人工智能AI模型，所述第一AI模型包括多个神经元；所述客户端在所述多个神经元中确定参与本轮训练的目标神经元，本轮训练为非首轮训练，所述目标神经元的数量小于所述多个神经元的总数量；所述客户端基于本地数据对所述目标神经元进行训练；所述客户端向所述服务端返回所述目标神经元对应的参数数据，所述目标神经元对应的参数数据用于所述服务端获取收敛的目标AI模型。2.根据权利要求1所述的方法，其特征在于，所述多个神经元中的各个神经元具有对应的冷活标志位，冷活标志位的值为第一值时，用于指示神经元参与本轮训练；所述在所述多个神经元中确定参与本轮训练的目标神经元，包括：将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元。3.根据权利要求2所述的方法，其特征在于，所述多个神经元中的各个神经元具有对应的冷冻期，所述冷冻期用于指示神经元不参与训练的周期；任一神经元对应的冷活标志位的值，基于所述任一神经元对应的冷冻期确定。4.根据权利要求3所述的方法，其特征在于，所述将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元之前，还包括：对于所述多个神经元中的任一神经元，获取所述任一神经元在上轮训练的活跃度，所述活跃度用于指示神经元被本地数据影响的程度；根据所述任一神经元在上轮训练的活跃度更新所述任一神经元的冷冻期，根据所述任一神经元的冷冻期更新所述任一神经元的冷活标志位的值。5.根据权利要求4所述的方法，其特征在于，所述多个神经元中的各个神经元还具有对应的冷冻期计数器，所述冷冻期计数器用于指示所述冷冻期是否结束；所述获取所述任一神经元在上轮训练的活跃度，包括：响应于所述任一神经元的冷冻期计数器的值指示所述任一神经元的冷冻期结束，获取所述任一神经元在上轮训练的活跃度。6.根据权利要求1所述的方法，其特征在于，所述在所述多个神经元中确定参与本轮训练的目标神经元，包括：对于所述多个神经元中的任一神经元，获取所述任一神经元在上轮训练的活跃度，所述活跃度用于指示神经元被本地数据影响的程度；响应于所述任一神经元在上轮训练的活跃度大于活跃度阈值，将所述任一神经元确定为参与本轮训练的目标神经元。7.根据权利要求4-6任一所述的方法，其特征在于，所述获取所述任一神经元在上轮训练的活跃度，包括：获取所述任一神经元在上轮训练前得到的参数的第一平均值，以及所述任一神经元在上轮训练后得到的参数的第二平均值；获取所述第一平均值及所述第二平均值之间的差值；根据所述差值的绝对值与所述第一平均值的绝对值确定所述任一神经元在上轮训练的活跃度。
8.根据权利要求1所述的方法，其特征在于，所述接收所述服务端发送的第一人工智能AI模型之前，还包括：接收所述服务端发送的第一人工智能AI模型，将所述多个神经元中的全部神经元确定为目标神经元，基于本地数据对所述目标神经元进行训练。9.根据权利要求2-5任一所述的方法，其特征在于，所述向所述服务端返回所述目标神经元对应的参数数据，还包括：向所述服务器发送各个神经元的冷活标志位，或者，向所述服务器发送值发生变化的冷活标志位。10.根据权利要求1-9任一所述的方法，其特征在于，所述向所述服务端返回所述目标神经元对应的参数数据，包括：仅向所述服务端返回所述目标神经元对应的参数数据。11.一种用于获取人工智能模型的方法，其特征在于，所述方法包括：服务端获取待训练的第一人工智能AI模型，所述第一AI模型包括多个神经元；所述服务端向多个客户端发送所述第一AI模型；所述服务端接收所述多个客户端中的各个客户端返回的目标神经元对应的参数数据，任一客户端返回的目标神经元对应的参数数据由所述任一客户端对所述第一AI模型中的目标神经元进行训练得到，所述目标神经元的数量小于所述多个神经元的总数量；所述服务端根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各个客户端对应的第二AI模型，根据所述各个客户端对应的第二AI模型获取收敛的目标AI模型。12.根据权利要求11所述的方法，其特征在于，所述根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各个客户端对应的第二AI模型，包括：对于任一客户端，根据所述任一客户端返回的目标神经元对应的参数数据，更新所述第一AI模型中的所述目标神经元对应的参数，得到所述任一客户端对应的第二AI模型。13.根据权利要求11或12所述的方法，其特征在于，所述根据所述各个客户端对应的第二AI模型获取收敛的目标AI模型，包括：对所述各个客户端对应的第二AI模型进行联合平均，得到第三AI模型；响应于所述第三AI模型收敛，将所述第三AI模型作为目标AI模型；响应于所述第三AI模型未收敛，向所述多个客户端发送所述第三AI模型，采用获取所述第三AI模型的方式继续获取新的AI模型，依此循环，直至得到收敛的目标AI模型。14.根据权利要求10-13任一所述的方法，其特征在于，所述根据所述各个客户端返回的目标神经元对应的参数数据，还原所述各个客户端对应的第二AI模型之前，还包括：接收所述多个客户端返回的各个神经元的冷活标志位或者值发生变化的冷活标志位；通过所述各个神经元的冷活标志位或者值发生变化的冷活标志位确定所述多个神经元中的目标神经元。15.一种用于获取人工智能模型的装置，其特征在于，所述装置包括：通信单元，用于接收所述服务端发送的第一人工智能AI模型，所述第一AI模型包括多个神经元；处理单元，用于在所述多个神经元中确定参与本轮训练的目标神...

【专利技术属性】
技术研发人员：司晓云，胡新宇，薛莉，张亮，尘福兴，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：