一种神经网络模型的计算方法、计算机设备和存储介质技术

本发明专利技术公开了一种神经网络模型的计算方法、计算机设备和存储介质。该方法应用于计算系统，计算系统包括能够相互通信的主机设备和异构设备，主机设备上存储有神经网络模型；包括如下步骤：监测所述神经网络模型与所述异构设备进行异构计算中指令转换的第一数据，从所述第一数据中确定出不会被再次使用的数据作为第二数据；删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令。本发明专利技术能够及时清理主机内存，有效提升算法应用的运行效率，能够支持更多个算法模型的同时运行。多个算法模型的同时运行。多个算法模型的同时运行。

【技术实现步骤摘要】
一种神经网络模型的计算方法、计算机设备和存储介质


[0001]本专利技术涉及神经网络
，尤其涉及一种神经网络模型的计算方法、计算机设备和存储介质。

技术介绍

[0002]卷积神经网络的算法复杂度及计算量在传统的CPU指令集上计算时间过长，难以满足实际场景需求，阻碍了卷积神经网络在日常应用中的部署。为了解决此问题，可以通过设置与主机设备相互通信的异构设备与主机设备进行异构计算以提升神经网络的处理效率。
[0003]进行异构计算时，需要将传统的算子计算描述为异构设备能够识别的数据流计算指令，同时也需要将至少部分神经网络的参数数据转化为有利于异构设备加速读取的格式。上述的转换过程会涉及到大量的数据复制，这些复制的数据以及数据流计算指令会一直存在于主机设备的内存中。
[0004]进一步地，在实际人工智能应用中，通常需要加载多个神经网络模型来协同完成一个实际的算法任务，例如安全生产监控领域中，需要安全帽识别、工服识别、烟雾报警识别等功能，同时加载多个神经网络模型并进行异构计算，将会有大量的数据和指令存在主机设备的内存中，这会迅速消耗主机设备的内存，导致算法应用的运行效率下降。

技术实现思路

[0005]基于此，有必要针对主机内存被快速消耗，算法运行效率低的问题，提出了一种神经网络模型的计算方法、计算机设备和存储介质，能够及时清理主机内存，从而能够支持更多个算法模型的同时运行，有效提升算法应用的运行效率。
[0006]一种神经网络模型的计算方法，应用于计算系统，所述计算系统包括能够相互通信的主机设备和异构设备，所述主机设备上存储有神经网络模型；
[0007]所述神经网络模型的计算方法包括如下步骤：
[0008]监测所述神经网络模型与所述异构设备进行异构计算中指令转换的第一数据，从所述第一数据中确定出不会被再次使用的数据作为第二数据；
[0009]删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令。
[0010]一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述方法的步骤。
[0011]一种智能设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述方法的步骤。
[0012]采用本专利技术实施例，具有如下有益效果：
[0013]本专利技术通过及时清理异构计算中指令转换产生的冗余数据，以降低算法任务的内存占用和运行效率，从而在同一个计算系统中支持加载更多的算法模型。
[0014]进一步地，当主机设备和异构设备针对一个神经网络模型要进行异构计算时，获取该神经网络模型待部署至异构设备上的原始数据和用于将原始数据部署至异构设备上的配置指令，将配置指令和原始数据传输至异构设备上，根据配置指令将原始数据部署至异构设备上之后，根据原始数据和配置指令的传输状态删除主机设备上的配置指令和原始数据，从而能够及时删除主机设备内存中不再被需要的配置指令和原始数据，清理出内存的空间。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]其中：
[0017]图1是本专利技术提供的神经网络模型的计算方法的第一实施例的流程示意图；
[0018]图2是本专利技术提供的神经网络模型的计算方法的应用场景示意图；
[0019]图3是本专利技术提供的神经网络模型的计算方法的第二实施例的流程示意图；
[0020]图4是本专利技术提供的神经网络模型的计算方法的第三实施例的流程示意图；
[0021]图5是本专利技术提供的智能设备的一实施例的结构示意图；
[0022]图6是本专利技术提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]进行异构计算时，需要将传统的算子计算描述为异构设备能够识别的数据流计算指令，根据需要部署在异构设备上的模型参数生成DMA寄存器配置指令，DMA寄存器配置指令用于配置异构设备的寄存器，指示模型参数的存储位置。一旦完成异构设备的寄存器的配置，这些传统的算子、数据流计算指令、DMA寄存器配置指令以及模型参数在后续的推理过程中并不会被再次使用，如果不及时删除就会一直占用主机设备的内存空间，主机设备的内存空间是有限的，当多个神经网络模型同时进行运算时，主机设备可能会由于内存空间被大量占用而出现内存空间不足和运行效率较低的情况，这将严重影响用户使用体验。
[0025]为解决这个问题，在本专利技术中将在推理过程中并不会被再次使用传统的算子、数据流计算指令、DMA寄存器配置指令以及模型参数及时删除，清理出内存的空间，以降低算法任务的内存占用和运行效率，在同一个计算系统中支持加载更多的算法模型。
[0026]请结合参阅图1和图2，图1是本专利技术提供的神经网络模型的计算方法的第一实施例的流程示意图。图2是本专利技术提供的神经网络模型的计算方法的应用场景示意图。本专利技术提供的神经网络模型的计算方法应用于计算系统100，计算系统100包括能够相互通信的主机设备101和异构设备102，在本实施场景中，异构设备102为CAISA设备。主机设备101上存
储有神经网络模型，具体的说，是主机设备101从原始模型文件加载运行所需的数据到主机设备101的内存中。
[0027]本专利技术提供的神经网络模型的计算方法包括如下步骤：
[0028]S101：监测神经网络模型与异构设备进行异构计算中指令转换的第一数据，从第一数据中确定出不会被再次使用的数据作为第二数据。
[0029]在一个具体的实施场景中，主机设备与异构设备进行异构计算时，需要将神经网络模型的原始数据传输至异构设备中，由异构设备根据原始数据完成推理运算，主机设备则根据神经网络的另一部分数据进行同步运算，这样能够有效提升运算的效率。
[0030]在一个实施场景中，第一数据包括神经网络模型需要待部署至异构设备上的原始数据和用于将原始数据部署至异构设备上的配置指令。原始数据包括神经网络的算子和模型参数，这些需要传输至异构设备中的原始数据在传输之前需要进行指令转换，例如，算子需要描述为异构设备能够识别的数据流计算指令，才能被异构设备所使用，部分模型参数也需要通过顺序调换的处理，转化为有利于异构设备加速读取的格式。模型参数需要使用配置指令，例如DMA寄存器配置指令，存储于异构设备的寄存器中。...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的计算方法，其特征在于，应用于计算系统，所述计算系统包括通信连接的主机设备和异构设备，所述主机设备上存储有神经网络模型；所述神经网络模型的计算方法包括：监测所述神经网络模型与所述异构设备进行异构计算中指令转换的第一数据，从所述第一数据中确定出不会被再次使用的数据作为第二数据；删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令。2.根据权利要求1所述的神经网络模型的计算方法，其特征在于，从所述第一数据中确定出不会被再次使用的数据作为第二数据，包括如下步骤：获取所述神经网络模型待部署至所述异构设备上的原始数据和用于将所述原始数据部署至所述异构设备上的配置指令；将所述配置指令和所述原始数据传输并部署至所述异构设备上，以使得所述异构设备根据所述配置指令获取所述原始数据，并根据所述原始数据进行推理运算；接收所述异构设备的反馈信息，所述反馈信息是所述异构设备接收到所述原始数据和所述配置指令后生成的，基于所述反馈信息从所述第一数据中确定出不会被再次使用的数据作为第二数据。3.根据权利要求2所述的神经网络模型的计算方法，其特征在于，删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令，包括：当所述反馈信息显示所述异构设备接收到的所述神经网络模型的所有所述配置指令和/或所述原始数据完整时，删除所述神经网络的所有所述配置指令和所述原始数据。4.根据权利要求2所述的神经网络模型的计算方法，其特征在于，删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令，包括：获取当前接收到的反馈信息对应的已被所述异构设备接收的所述原始数据和所述配置指令，删除所述当前接收到的反馈信息对应的已被所述异构设备接收的所述原始数据和所述配置指令。5.根据权利要求2所述的神经网络模型的计算方法，其特征在于，删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备上的配置指令，...

【专利技术属性】
技术研发人员：黄雪辉，熊超，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：