本发明专利技术涉及深度学习技术领域，公开了一种基于张量数据计算推理的编译器优化方法、装置及设备，所述方法包括：根据待优化编译器的设计结构信息得到目标中间转换层和目标中间转换层执行操作；根据目标中间转换层设定目标调参学习参数；根据目标中间转换层执行操作确定待优化编译器对象；通过目标自动调参策略根据目标调参学习参数对待优化编译器对象进行调参优化；通过上述方式，根据目标中间转换层设定目标调参学习参数，以及根据目标中间转换层执行操作确定待优化编译器对象，然后通过标自动调参策略以目标调参学习参数角度对待优化编译器对象进行调参优化，从而能够得到与指定输入模型相契合的编译器，进而有效提高张量数据推理的效率。据推理的效率。据推理的效率。
【技术实现步骤摘要】
基于张量数据计算推理的编译器优化方法、装置及设备
[0001]本专利技术涉及深度学习
，尤其涉及基于张量数据计算推理的编译器优化方法、装置及设备。
技术介绍
[0002]随着人工智能的不断发展，使得深度学习技术在各行各样受到了广泛应用，而深度学习的应用就离不开推理框架，例如，TensorFlow、PyTorch以及TNN等框架，但是不同的推理框架的功能不同，例如，TensorFlow和PyTorch是平台级框架，可用于训练和推理，而TNN框架只能用于推理，无论是哪种功能的框架，在其背后均适配了一些相关加速设备，为了便于对张量数据的推理，引入了编译器的概念，即通过编译器对开发者开发的模型进行一系列操作，但是编译器针对不同的模型的操作方式不同，如果不及时优化编译器，会造成编译器与指定输入的模型不契合，造成张量数据推理的效率较低。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本专利技术的主要目的在于提供一种基于张量数据计算推理的编译器优化方法、装置及设备，旨在解决现有技术无法得到与指定输入模型相契合的编译器，造成张量数据推理的效率较低的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于张量数据计算推理的编译器优化方法，所述基于张量数据计算推理的编译器优化方法包括以下步骤：
[0006]获取待优化编译器的设计结构信息，根据所述设计结构信息得到目标中间转换层和目标中间转换层执行操作；
[0007]根据所述目标中间转换层设定目标调参学习参数；
[0008]根据所述目标中间转换层执行操作确定待优化编译器对象；
[0009]通过目标自动调参策略根据所述目标调参学习参数对所述待优化编译器对象进行调参优化。
[0010]可选地，所述获取待优化编译器的设计结构信息，根据所述设计结构信息得到目标中间转换层和目标中间转换层执行操作，包括：
[0011]获取待优化编译器的设计结构信息，根据所述设计结构信息得到对应的分层集合；
[0012]根据分层特性在所述分层集合中选取目标中间转换层；
[0013]根据所述目标中间转换层获取由目标统一格式中间表示元生成目标自解码的流程；
[0014]根据所述由目标统一格式中间表示元生成目标自解码的流程得到目标中间转换层执行操作。
[0015]可选地，所述目标调参学习参数至少包括调参学习类型、目标学习对象以及目标调参次数；
[0016]所述根据所述目标中间转换层设定目标调参学习参数，包括：
[0017]获取生成目标自解码的数据交换次数和数据分解性能；
[0018]根据所述数据交换次数和所述数据分解性能设定调参学习类型和目标学习对象；
[0019]根据所述目标中间转换层得到参数设定的目标范围，并根据所述目标范围得到参数设定最大值和参数设定最小值；
[0020]根据所述参数设定最大值和所述参数设定最小值设定目标调参次数。
[0021]可选地，所述根据所述目标中间转换层执行操作确定待优化编译器对象，包括：
[0022]根据所述中间转换层执行操作得到目标中间转换层的执行节点；
[0023]获取设置在所述目标中间转换层的各层的数据优化策略；
[0024]根据所述执行节点和所述各层的数据优化策略确定各层所需执行的目标操作；
[0025]根据所述各层所需执行的目标操作得到待优化编译器对象。
[0026]可选地，所述根据所述各层所需执行的目标操作得到待优化编译器对象，包括：
[0027]根据所述各层所需执行的目标操作获取指定输入模型的计算图；
[0028]根据所述指定输入模型的计算图得到各个操作的内存加载数据；
[0029]根据所述内存加载数据得到多层操作交互数据；
[0030]将所述多层操作交互数据的多层操作作为待优化编译器对象。
[0031]可选地，所述根据所述各层所需执行的目标操作得到待优化编译器对象，包括：
[0032]根据所述各层所需执行的目标操作获取待处理统一格式中间表示元；
[0033]根据所述待处理统一格式中间表示元构建目标特征矩阵；
[0034]根据所述目标特征矩阵得到矩阵计算时长和矩阵计算占用资源；
[0035]在所述矩阵计算时长大于预设时长阈值和/或所述矩阵计算占用资源大于预设存储资源阈值时，将所述矩阵计算时长和所述矩阵计算占用资源作为待优化编译器对象。
[0036]可选地，所述通过目标自动调参策略根据所述目标调参学习参数对所述待优化编译器对象进行调参优化，包括：
[0037]根据所述待优化编译器对象设定对应的初始优化策略；
[0038]根据所述目标调参学习参数对所述初始优化策略进行调整；
[0039]根据调整后的初始优化策略得到参数优化范围；
[0040]通过所述目标自动化调参策略在所述参数优化范围对所述待优化编译器对象进行调参优化，得到与指定输入模型相契合的编译器。
[0041]此外，为实现上述目的，本专利技术还提出一种基于张量数据计算推理的编译器优化装置，所述基于张量数据计算推理的编译器优化装置包括：
[0042]获取模块，用于获取待优化编译器的设计结构信息，根据所述设计结构信息得到目标中间转换层和目标中间转换层执行操作；
[0043]设定模块，用于根据所述目标中间转换层设定目标调参学习参数；
[0044]确定模块，用于根据所述目标中间转换层执行操作确定待优化编译器对象；
[0045]优化模块，用于通过目标自动调参策略根据所述目标调参学习参数对所述待优化编译器对象进行调参优化。
Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0057]本领域技术人员可以理解，图1中示出的结构并不构成对基于张量数据计算推理的编译器优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0058]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于张量数据计算推理的编译器优化程序。
[0059]在图1所示的基于张量数据计算推理的编译器优化设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本专利技术基于张量数据计算推理的编译器优化设备中的处理器1001、存储器1005可以设置在基于张量数据计算推理的编译器优化设备中，所述基于张量数据计算推理的编译器优化设备通过处理器1001调用存储器1005中存储的基于张量数据计算推理的编译器优化程序，并执行本专利技术实施例提供的基于张量数据计算推理的编译器优化方法。
[0060]基于上述硬件结构，提出本专利技术基于张量数据计算推理的编译器优化方法实施例。
[0061]参本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于张量数据计算推理的编译器优化方法，其特征在于，所述基于张量数据计算推理的编译器优化方法包括以下步骤：获取待优化编译器的设计结构信息，根据所述设计结构信息得到目标中间转换层和目标中间转换层执行操作；根据所述目标中间转换层设定目标调参学习参数；根据所述目标中间转换层执行操作确定待优化编译器对象；通过目标自动调参策略根据所述目标调参学习参数对所述待优化编译器对象进行调参优化。2.如权利要求1所述的基于张量数据计算推理的编译器优化方法，其特征在于，所述获取待优化编译器的设计结构信息，根据所述设计结构信息得到目标中间转换层和目标中间转换层执行操作，包括：获取待优化编译器的设计结构信息，根据所述设计结构信息得到对应的分层集合；根据分层特性在所述分层集合中选取目标中间转换层；根据所述目标中间转换层获取由目标统一格式中间表示元生成目标自解码的流程；根据所述由目标统一格式中间表示元生成目标自解码的流程得到目标中间转换层执行操作。3.如权利要求1所述的基于张量数据计算推理的编译器优化方法，其特征在于，所述目标调参学习参数至少包括调参学习类型、目标学习对象以及目标调参次数；所述根据所述目标中间转换层设定目标调参学习参数，包括：获取生成目标自解码的数据交换次数和数据分解性能；根据所述数据交换次数和所述数据分解性能设定调参学习类型和目标学习对象；根据所述中间转换层得到参数设定的目标范围，并根据所述目标范围得到参数设定最大值和参数设定最小值；根据所述参数设定最大值和所述参数设定最小值设定目标调参次数。4.如权利要求1所述的基于张量数据计算推理的编译器优化方法，其特征在于，所述根据所述目标中间转换层执行操作确定待优化编译器对象，包括：根据所述中间转换层执行操作得到目标中间层的执行节点；获取设置在所述目标中间层的各层的数据优化策略；根据所述执行节点和所述各层的数据优化策略确定各层所需执行的目标操作；根据所述各层所需执行的目标操作得到待优化编译器对象。5.如权利要求4所述的基于张量数据计算推理的编译器优化方法，其特征在于，所述根据所述各层所需执行的目标操作得到待优化编译器对象，包括：根据所述各层所需执行的目标操作获取指定输入模型的计算图；根据所述指定输入模型的计算图得到各个操作的内存加载数据；根据所述内存加载数据得到多层操作交...
【专利技术属性】
技术研发人员：姜汉，王臣汉，潘相瑜，吕天蕾，王岩鑫，
申请(专利权)人：贝式计算天津信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。