模型转换方法、装置、电子设备和可读存储介质制造方法及图纸

本申请提出了一种模型转换方法、装置、电子设备和可读存储介质，其中，模型转换方法，包括：查找第一模型中的目标卷积算子；基于目标卷积算子的算子结构为预设结构，构建目标算子组，目标算子组的输出结果与目标卷积算子的输出结果相匹配；将第一模型中的目标卷积算子，替换为目标算子组，生成目标模型。生成目标模型。生成目标模型。

【技术实现步骤摘要】
模型转换方法、装置、电子设备和可读存储介质


[0001]本申请属于模型处理
，具体而言，涉及一种模型转换方法、装置、电子设备和可读存储介质。

技术介绍

[0002]通用推理框架对模型进行计算图优化的主要目的是加速前向推理，现有的计算图优化方案中加速推理是通过减少计算节点数量来实现的，减少计算节点数量的方法主要有算子融合和无用节点去除。
[0003]相关技术中，训练得到的模型中存在部分卷积节点使用不合理的情况，导致整个模型的推理速度较慢，通过算子融合和无用节点去除无法解决该问题。

技术实现思路

[0004]本申请旨在解决现有技术或相关技术中存在的技术问题之一。
[0005]为此，本申请的第一方面提出了一种模型转换方法。
[0006]本申请的第二方面提出了一种模型转换装置。
[0007]本申请的第三方面提出了一种模型转换装置。
[0008]本申请的第四方面提出了一种计算机程序产品。
[0009]本申请的第五方面提出了一种可读存储介质。
[0010]本申请的第六方面提出了一种电子设备。
[0011]有鉴于此，根据本申请的第一方面提出一种模型转换方法，包括：查找第一模型中的目标卷积算子；基于目标卷积算子的算子结构为预设结构，构建目标算子组，目标算子组的输出结果与目标卷积算子的输出结果相匹配；将第一模型中的目标卷积算子，替换为目标算子组，生成目标模型。
[0012]根据本申请第二方面提出了一种模型转换装置，包括：查找模块，用于查找第一模型中的目标卷积算子；构建模块，用于基于目标卷积算子的算子结构为预设结构，构建目标算子组，目标算子组的输出结果与目标卷积算子的输出结果相匹配；生成模块，用于将第一模型中的目标卷积算子，替换为目标算子组，生成目标模型。
[0013]根据本申请第三方面提出了一种模型转换装置，包括：存储器，存储器中存储有程序或指令；处理器，处理器执行存储在存储器中的程序或指令以实现如第一方面中任一技术方案中的模型转换方法的步骤，因而具有上述第一方面中任一技术方案中的模型转换方法的全部有益技术效果，在此不再做过多赘述。
[0014]根据本申请第四方面提出了一种计算机程序产品，计算机程序产品被处理器执行时实现如第一方面中任一技术方案中的模型转换方法的步骤，因而具有上述第一方面中任一技术方案中的模型转换方法的全部有益技术效果，在此不再做过多赘述。
[0015]根据本申请第五方面提出了一种可读存储介质，可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如上述第一方面中任一技术方案中的模型转换方法的
步骤。因而具有上述第一方面中任一技术方案中的模型转换方法的全部有益技术效果，在此不再做过多赘述。
[0016]根据本申请第六方面提出了一种电子设备，包括：如上述第二方面或第三方面中限定的模型转换装置，和/或上述第四方面中限定的计算机程序产品，和/或上述第五方面中限定的可读存储介质，因而具有上述第二方面或第三方面中限定的模型转换装置，和/或上述第四方面中限定的计算机程序产品，和/或上述第五方面中限定的可读存储介质的全部有益技术效果，在此不再做过多赘述。
[0017]本申请的技术方案中，通过检测模型中的目标卷积算子，并基于目标卷积的算子结构判断该目标卷积算子是否需要被替换。在确定目标卷积算子需要被替换对模型进行优化的情况下，则构建与目标卷积算子相匹配的目标算子组，并将第一模型中的目标卷积算子替换为该目标算子组，实现了自动对模型中可被替换优化的目标卷积算子进行检测，并替换该目标卷积算子的效果，提高了模型的整体推理速度，使替换优化后的模型能够在低资源的边端设备上快速稳定运行。
[0018]本申请的附加方面和优点将在下面的描述部分中变得明显，或通过本申请的实践了解到。
附图说明
[0019]本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0020]图1示出了本申请的一些实施例中提供的模型转换方法的示意流程图之一；
[0021]图2示出了本申请的一些实施例中提供的模型转换方法的示意流程图之二；
[0022]图3示出了本申请的一些实施例中提供的模型转换方法的示意流程图之三；
[0023]图4示出了本申请的一些实施例中提供的目标卷积算子和目标算子组的示意图；
[0024]图5示出了本申请的一些实施例中提供的模型转换方法的示意流程图之四；
[0025]图6示出了本申请的一些实施例中提供的模型转换方法的示意流程图之五；
[0026]图7示出了本申请的一些实施例中提供的模型转换装置的结构框图；
[0027]图8示出了本申请的一些实施例提供的模型转换装置的结构框图；
[0028]图9示出了本申请的一些实施例提供的电子设备的结构框图。
具体实施方式
[0029]为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本实施例及实施例中的特征可以相互组合。
[0030]在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
[0031]下面参照图1至图9描述根据本申请一些实施例的模型转换方法、装置、可读存储介质和电子设备。
[0032]根据本申请的一个实施例中，如图1所示，提出了一种模型转换方法，包括：
[0033]步骤102，查找第一模型中的目标卷积算子；
[0034]步骤104，基于目标卷积算子的算子结构为预设结构，构建目标算子组；
[0035]其中，目标算子组的输出结果与目标卷积算子的输出结果相匹配；
[0036]步骤106，将第一模型中的目标卷积算子，替换为目标算子组，生成目标模型。
[0037]本申请提供的模型转换方法用于对第一模型中的预设结构的目标卷积算子进行转换处理，预设结构的目标卷积算子为推理速度较慢的卷积算子，目标算子组为构建得到的与目标卷积算子相匹配，且推理速度较快的算子组结构，通过该目标算子组替换第一模型中推理速度较慢的目标卷积算子，从而提高第一模型的推理速度。
[0038]其中，第一模型为神经网络模型，该神经网络模型可以为语音识别模型或目标检测模型等。
[0039]在该实施例中，在第一模型中查找到目标卷积算子之后，对查找到的目标卷积算子是否为预设结构进行检测，在检测到目标卷积算子为预设结构的情况下，则能够确定该目标卷积算子为推理速度较慢的卷积算子，故需要构建相应的目标算子组替换该目标卷积算子。
[0040]目标算子组为基于目标卷积算子所构建的算子组，该目标算子组的输入和输出与目标卷积算子的输入和输出相匹配，通过该目标算子组替换目标卷积算子之后，第一模型的推理结果不会发生改变，且目标算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型转换方法，其特征在于，包括：查找第一模型中的目标卷积算子；基于所述目标卷积算子的算子结构为预设结构，构建目标算子组，所述目标算子组的输出结果与所述目标卷积算子的输出结果相匹配；将所述第一模型中的目标卷积算子，替换为所述目标算子组，生成目标模型。2.根据权利要求1所述的模型转换方法，其特征在于，所述基于所述目标卷积算子的算子结构为预设结构，构建目标算子组之前，还包括：读取所述目标卷积算子的卷积核的尺寸信息；在所述尺寸信息满足预设条件，且所述目标卷积算子的输入通道的数量为预设数量，确定所述目标卷积算子的所述卷积为预设结构。3.根据权利要求2所述的模型转换方法，其特征在于，所述尺寸信息包括数据宽度和数据高度；所述尺寸信息满足预设条件包括：所述数据宽度为1，且所述数据高度为n，n为所述目标卷积算子的输入数据的高度；或所述数据宽度为m，且所述数据高度为1，m为所述目标卷积算子的输入数据的宽度。4.根据权利要求1至3中任一项所述的模型转换方法，其特征在于，所述基于所述目标卷积算子的算子结构为预设结构，构建目标算子组，包括：获取所述目标卷积算子的数据计算信息，以及数据维度信息，所述数据维度信息为所述目标卷积算子输入数据和输出数据的维度信息；根据所述数据计算信息，构建目标等效算子；根据所述数据维度信息，构建重塑算子；根据所述重塑算子和所述目标等效算子，构建所述目标算子组。5.根据权利要求4所述的模型转换方法，其特征在于，所述根据所述数据计算信息，构建目标等效算子，包括：获取全连接算子；将所述数据计算信息，配置到所述全连接算子中，得到所述目标等效算子；其中，所述数据计算信息包括乘离率信息和权重信息。6.根据权利要求4所述的模型转换方法，其特征在于，所述重塑算子包括：输入重塑算子和输出重塑算子，所述数据维度信息包括数据输入维度和数据输出维度；所述根据所述数据维度信息，构建重塑算子，包括：根据所述数据输入维度，配置所述输入重塑算子；根据所述数据输出维度，配置所述输出重塑算子。7.根据权利要求6所述的模型转换方法，其特征在于，所述根据所述重塑算子和所述目标等效算子，构建所述目标算...

【专利技术属性】
技术研发人员：唐剑，夏立超，丁维浩，赵东宇，张法朝，奉飞飞，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：