【技术实现步骤摘要】
本公开涉及人工智能领域，尤其涉及一种模型处理方法、装置、设备、介质及产品。
技术介绍
1、分布式学习是一种机器学习的方法，它涉及将学习任务分散到多个物理或逻辑上分离的计算单元上。这种方法可以处理大型数据集，提高计算效率，并且增强系统的可扩展性和容错性，在分布式学习阶段，可以利用多个计算节点执行机器学习任务，将最终的学习结果发送到中央服务器进行聚合。然而，现有的分布式学习中数据传输量大，在每一轮迭代中，边缘节点需要上传其本地训练后的模型更新到中央服务器参与全局模型的确定，而这些本地训练的模型更新往往参数众多，导致数据传输量巨大。
2、现有技术中为降低数据传输量，通常采用稀疏化(sparsity)和量化(quantization)等压缩技术减少模型更新中的信息量来降低传输成本，然而这些技术对于本地模型的压缩方法通常是固定的，这使得在本地模型发生变更时，不能动态调整上述压缩方法，从而导致确定的新的全局模型可能存在误差，同时对本地模型的压缩没有达到极致，存在一定的资源浪费。
技术实现思路
1、本公开提供一种模型处理方法、装置、设备、介质及产品，以解决相关技术中的问题，是实现对本地模型的动态压缩，提高了确定全局模型时的准确度，同时能够减少资源浪费。
2、本公开的第一方面实施例提出了一种模型处理方法，方法方法应用于分布式系统的中心服务器，包括：获取参考边缘设备的第一模型的第一模型参数，第一模型为参考边缘设备的本地未压缩模型；基于第一模型参数，利用自编码器的第一编码模块，
3、在本公开的一些实施例中，利用自编码器的第一解码模块，确定第一编码模型的第一解码模型包括：利用第一解码模块，对第一编码模型进行解码，以获取第一解码模型；或，以第一模型参数为参考，利用第一解码模块，对第一编码模型进行解码，以获取第一解码模型。
4、在本公开的一些实施例中，基于第一模型和第一解码模型，对自编码器进行训练，以获取第一预训练自编码器包括：基于第一编码模型的第二模型参数和第一解码模型的第三模型参数，对自编码器进行迭代训练；当迭代训练次数达到次数阈值和/或基于迭代训练所得目标函数描述的第三模型参数与第二模型参数之间的残差值达到最小阈值时，将训练所得的自编码器确定为第二预训练自编码器；基于第二预训练自编码器和第一模型参数，确定模型压缩率；基于模型压缩率，对第二预训练自编码器进行调整，以获取第一预训练模型。
5、在本公开的一些实施例中，基于第一编码器的第二模型参数和第一解码器的第三模型参数，对自编码器进行迭代训练包括：利用目标函数计算第二模型参数与第三模型参数之间的残差值；基于残差值，利用反向传播算法，对自编码器进行参数更新，以实现对自编码器的迭代训练。
6、在本公开的一些实施例中，利用第一预训练自编码器，确定分布式系统的第一全局模型包括：将第一预训练自编码器的第二编码模块发送至第一边缘设备；接收边缘设备发送的第二编码模型，第二编码模型由第一边缘设备利用第二编码模块对第一边缘设备的本地模型编码获得；利用第一预训练模型的第二解码模块对第二编码模型解码，以获取第二解码模型；基于第二解码模型，确定第一全局模型。
7、在本公开的一些实施例中，方法还包括：将第一全局模型不压缩的发送至第一边缘设备；或，利用编码模块对第一全局模型进行压缩，并将第二解码模块和压缩后的第一全局模型发送至边缘设备，以使边缘设备获取第一全局模型。
8、本公开的第二方面实施例提出了一种模型处理装置，该装置包括：获取单元，用于获取参考边缘设备的第一模型的第一模型参数，第一模型为参考边缘设备的本地未压缩模型；第一确定单元，用于基于第一模型参数，利用自编码器的第一编码模块，确定第一模型的第一编码模型；第二确定单元，用于基于第一编码模型，利用自编码器的第一解码模块，确定第一编码模型的第一解码模型；训练单元，用于基于第一模型和第一解码模型，对自编码器进行训练，以获取第一预训练自编码器；第三确定单元，用于利用第一预训练自编码器，确定分布式系统的第一全局模型。
9、本公开的第三方面实施例提出了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，处理器用于运行计算机程序时，执行本公开第一方面实施例中描述的方法。
10、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。
11、本公开的第五方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。
12、综上，根据本公开提出的一种模型处理方法，该方法包括：获取参考边缘设备的第一模型的第一模型参数，第一模型为参考边缘设备的本地未压缩模型；基于第一模型参数，利用自编码器的第一编码模块，确定第一模型的第一编码模型；基于第一编码模型，利用自编码器的第一解码模块，确定第一编码模型的第一解码模型；基于第一模型和第一解码模型，对自编码器进行训练，以获取第一预训练自编码器；利用第一预训练自编码器，确定分布式系统的第一全局模型。本公开的方法通过利用本地模型训练用于模型压缩传输的自编码器，使得在利用自编码器对本地模型进行压缩时能够实现对本地模型的动态压缩，从而在利用编码器对本地模型进行压缩传输，以确定分布式系统的全局模型时，能够提高全局模型的准确度。
13、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种模型处理方法，其特征在于，所述方法应用于分布式系统的中心服务器，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一编码模型，利用所述自编码器的第一解码模块，确定所述第一编码模型的第一解码模型包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一模型和所述第一解码模型，对所述自编码器进行训练，以获取第一预训练自编码器包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一编码器的第二模型参数和所述第一解码器的第三模型参数，对自编码器进行迭代训练包括：
5.根据权利要求1所述的方法，其特征在于，所述利用所述第一预训练自编码器，确定所述分布式系统的第一全局模型包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.一种模型处理装置，其特征在于，所述装置包括：
8.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种模型处理方法，其特征在于，所述方法应用于分布式系统的中心服务器，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一编码模型，利用所述自编码器的第一解码模块，确定所述第一编码模型的第一解码模型包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一模型和所述第一解码模型，对所述自编码器进行训练，以获取第一预训练自编码器包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一编码器的第二模型参数和所述第一解码器的第三模型参数，对自编码器进行迭代训练包括：
5.根据权利要求1所述的方法，其特征在于，所述利...
【专利技术属性】
技术研发人员：吴凤辉，王成，李海聪，
申请(专利权)人：中国移动通信集团四川有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。