一种模型部署方法、装置、推理系统制造方法及图纸

本发明专利技术实施例提供了一种模型部署方法、装置、推理系统。其中，该方法包括：获取云端设备发送的第一训练格式数据和第一中间格式数据，训练格式数据和第一中间格式数据的格式不同，且用于表示云端设备训练得到的第一模型；根据第一训练格式数据，对第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；根据第二训练格式数据，将第一中间格式数据中的第一参数子数据更改为用于表示第二模型的模型参数的第二参数子数据，得到用于表示第二模型的第二中间格式数据，其中，第一参数子数据用于表示第一模型的模型参数；根据第二中间格式数据部署第二模型。可以提高模型部署效率。效率。效率。

【技术实现步骤摘要】
一种模型部署方法、装置、推理系统


[0001]本专利技术涉及人工智能
，特别是涉及一种模型部署方法、装置、推理系统。

技术介绍

[0002]受限制于各种条件，如终端设备的实际需求，不同的边缘侧设备需要部署的模型的数据格式往往不同。
[0003]因此，边缘侧设备在训练模型后，在不同的边缘侧部署时，往往需要模型转换。而模型转换占用的系统资源较多，而边缘侧设备的性能往往较低，导致模型转换效率较低，进而影响模型在边缘侧设备上的部署效率。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种模型部署方法、装置、推理系统以及电子设备，以实现提高模型在边缘侧设备上的部署效率。具体技术方案如下：
[0005]在本专利技术实施例的第一方面，提供了一种模型部署方法，所述方法应用于边缘侧设备，所述方法包括：
[0006]获取云端设备发送的第一训练格式数据和第一中间格式数据，所述训练格式数据和所述第一中间格式数据的格式不同，且用于表示所述云端设备训练得到的第一模型；
[0007]根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；
[0008]根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据，其中，所述第一参数子数据用于表示所述第一模型的模型参数；
[0009]根据所述第二中间格式数据部署所述第二模型。<br/>[0010]在一种可能的实施例中，所述根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据，包括：
[0011]根据训练格式数据与中间格式数据中参数子数据间的映射关系，对所述第二训练格式数据中的第三参数子数据进行映射，得到第二参数子数据；
[0012]将所述第一中间格式数据中的第一参数子数据替换为所述第二参数子数据，得到第二中间格式数据。
[0013]在一种可能的实施例中，所述方法还包括：
[0014]解析目标训练格式数据和所述第一中间格式数据，确定训练格式数据与中间格式数据中参数子数据间的映射关系，其中，所述目标训练格式数据为所述第一训练格式数据和/或所述第二训练格式数据。
[0015]在一种可能的实施例中，所述根据所述第二中间格式数据部署所述第二模型，包括：
[0016]将所述第二中间格式数据转换为用于表示所述第二模型的部署格式数据，所述部署格式数据能够被连接于所述边缘侧设备的终端设备识别；
[0017]部署所述部署格式数据。
[0018]在本专利技术实施例的第二方面，提供了一种模型部署方法，所述方法应用于云端设备，所述方法包括：
[0019]训练得到用于表示第一模型的第三训练格式数据；
[0020]对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一中间格式数据；
[0021]基于所述第三训练格式数据，向边缘侧设备发送用于表示所述第一模型的第一训练格式数据和所述第一中间格式数据，以使得所述边缘侧设备根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；并根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据；并根据所述第二中间格式数据部署所述第二模型，其中，所述第一参数子数据用于表示所述第一模型的模型参数。
[0022]在一种可能的实施例中，所述向边缘侧设备发送所述第一训练格式数据和所述第一中间格式数据，包括：
[0023]若边缘侧设备参与模型训练，则向所述边缘侧设备发送所述第一训练格式数据和所述第一中间格式数据；
[0024]所述方法还包括：
[0025]若边缘侧设备不参与模型训练，则向所述边缘侧设备发送所述第一中间格式数据，以使得所述边缘侧设备根据所述第一中间格式数据部署所述第一模型。
[0026]在一种可能的实施例中，所述第三训练格式数据与所述第一训练格式数据的格式不同，所述基于所述第三训练格式数据，向边缘侧设备发送用于表示所述第一模型的第一训练格式数据，包括：
[0027]对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一训练格式数据；
[0028]向边缘侧设备发送所述第一训练格式数据。
[0029]在本专利技术实施例的第三方面，提供了一种模型部署装置，所述装置应用于边缘侧设备，所述装置包括：
[0030]数据获取模块，用于获取云端设备发送的第一训练格式数据和第一中间格式数据，所述训练格式数据和所述第一中间格式数据的格式不同，且用于表示所述云端设备训练得到的第一模型；
[0031]第一训练模块，用于根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；
[0032]参数替换模块，用于根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据，其中，所述第一参数子数据用于表示所述第一模型的模型参数；
[0033]模型部署模块，用于根据所述第二中间格式数据部署所述第二模型。
[0034]在本专利技术实施例的第四方面，提供了一种模型部署装置，所述装置应用于云端设备，所述装置包括：
[0035]第二训练模块，用于训练得到用于表示第一模型的第三训练格式数据；
[0036]模型转换模块，用于对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一中间格式数据；
[0037]数据发送模块，用于基于所述第三训练格式数据，向边缘侧设备发送用于表示所述第一模型的第一训练格式数据和所述第一中间格式数据，以使得所述边缘侧设备根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；并根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据；并根据所述第二中间格式数据部署所述第二模型，其中，所述第一参数子数据用于表示所述第一模型的模型参数。
[0038]在本专利技术实施例的第五方面，提供了一种推理系统，所述推理系统包括边缘侧设备和云端设备；
[0039]所述云端设备，用于训练得到用于表示第一模型的第三训练格式数据；对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一中间格式数据；基于所述第三训练格式数据，向所述边缘侧设备发送用于表示所述第一模型的第一训练格式数据和所述第一中间格式数据；
[0040]所述边缘侧设备，用于获取所述云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型部署方法，其特征在于，所述方法应用于边缘侧设备，所述方法包括：获取云端设备发送的第一训练格式数据和第一中间格式数据，所述训练格式数据和所述第一中间格式数据的格式不同，且用于表示所述云端设备训练得到的第一模型；根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据，其中，所述第一参数子数据用于表示所述第一模型的模型参数；根据所述第二中间格式数据部署所述第二模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据，包括：根据训练格式数据与中间格式数据中参数子数据间的映射关系，对所述第二训练格式数据中的第三参数子数据进行映射，得到第二参数子数据；将所述第一中间格式数据中的第一参数子数据替换为所述第二参数子数据，得到第二中间格式数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：解析目标训练格式数据和所述第一中间格式数据，确定训练格式数据与中间格式数据中参数子数据间的映射关系，其中，所述目标训练格式数据为所述第一训练格式数据和/或所述第二训练格式数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二中间格式数据部署所述第二模型，包括：将所述第二中间格式数据转换为用于表示所述第二模型的部署格式数据，所述部署格式数据能够被连接于所述边缘侧设备的终端设备识别；部署所述部署格式数据。5.一种模型部署方法，其特征在于，所述方法应用于云端设备，所述方法包括：训练得到用于表示第一模型的第三训练格式数据；对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一中间格式数据；基于所述第三训练格式数据，向边缘侧设备发送用于表示所述第一模型的第一训练格式数据和所述第一中间格式数据，以使得所述边缘侧设备根据所述第一训练格式数据，对所述第一模型的模型参数进行训练，得到用于表示第二模型的第二训练格式数据；并根据所述第二训练格式数据，将所述第一中间格式数据中的第一参数子数据更改为用于表示所述第二模型的模型参数的第二参数子数据，得到用于表示所述第二模型的第二中间格式数据；并根据所述第二中间格式数据部署所述第二模型，其中，所述第一参数子数据用于表示所述第一模型的模型参数。6.根据权利要求5所述的方法，其特征在于，所述向边缘侧设备发送所述第一训练格式数据和所述第一中间格式数据，包括：若边缘侧设备参与模型训练，则向所述边缘侧设备发送所述第一训练格式数据和所述
第一中间格式数据；所述方法还包括：若边缘侧设备不参与模型训练，则向所述边缘侧设备发送所述第一中间格式数据，以使得所述边缘侧设备根据所述第一中间格式数据部署所述第一模型。7.根据权利要求5所述的方法，其特征在于，所述第三训练格式数据与所述第一训练格式数据的格式不同，所述基于所述第三训练格式数据，向边缘侧设备发送用于表示所述第一模型的第一训练格式数据，包括：对所述第三训练格式数据进行模型转换，得到用于表示所述第一模型的第一训练格式数据；向边缘侧设备发送所述第一训练格式数据。8.一种模型部署装置，其...

【专利技术属性】
技术研发人员：朱文姣，姚沛，郑星，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：