System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 指令流的确定方法、算法执行方法、NPU和电子设备技术_技高网

指令流的确定方法、算法执行方法、NPU和电子设备技术

技术编号:41624808 阅读:5 留言:0更新日期:2024-06-13 02:24
本发明专利技术涉及人工智能技术领域,公开了一种指令流的确定方法、算法执行方法、NPU和电子设备。该方法包括:确定待执行的算法所包括的全部子操作中的目标子操作;其中,目标子操作对应的控制寄存器的参数需要进行实时配置;确定初始的嵌入式神经网络处理器NPU指令流中与各目标子操作分别对应的指令单元;在各指令单元中插入预设指令,形成新的NPU指令流;其中,预设指令用于供NPU根据预设指令读取参数并根据参数配置目标子操作对应的控制寄存器。能够取消NPU执行算法时,由于需要实时配置参数所需的CPU打补丁的过程,减少NPU执行算法时对CPU的依赖,同时避免NPU的运行对CPU带来负担。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其是涉及一种指令流的确定方法、算法执行方法、npu和电子设备。


技术介绍

1、npu指的是嵌入式神经网络处理器(neural-network processing unit),其采用“数据驱动并行计算”的架构,特别擅长处理视频、图像类的海量多媒体数据。npu以其小型化、低功耗以及低成本等显著优势,在人工智能技术的落地应用研究中起着重要作用。

2、npu执行的算法任务一般会被拆分为多个简单的job(也称“子操作”),这些job由npu内部的执行单元(excute unit,简称“eu”)执行,每个job均对应有执行单元内部的控制寄存器。在全部job之中,有些job所对应的控制寄存器的配置参数是需要实时配置的。为了使这些job正常执行,相关技术中,中央处理器实时地执行打补丁任务,来对这些job所对应的控制寄存器的参数进行实时配置。

3、可见,npu的正常运行依赖于cpu,这使得npu的运行受到cpu负载的影响。同时,实时地配置job执行所需的参数会为cpu带来大量额外的工作,大大增加了cpu的负担。


技术实现思路

1、本专利技术实施方式的目的在于提供一种指令流的确定方法、算法执行方法、npu和电子设备,用以减少npu执行算法时对cpu的依赖,同时避免npu的运行对cpu带来负担。

2、为了实现上述目的,本专利技术的实施方式提供了一种指令流的确定方法,包括:确定待执行的算法所包括的全部子操作中的目标子操作;其中,所述目标子操作对应的控制寄存器的参数需要进行实时配置;确定初始的嵌入式神经网络处理器npu指令流中与各所述目标子操作分别对应的指令单元;在各所述指令单元中插入预设指令,形成新的npu指令流;其中,所述预设指令用于供npu根据所述预设指令读取参数并根据所述参数配置所述目标子操作对应的所述控制寄存器。

3、为了实现上述目的,本专利技术的实施方式还提供了一种算法的执行方法,应用于npu,包括:根据指令单元中的预设指令读取参数;其中,所述指令单元为npu指令流中与目标子操作对应的指令单元;所述目标子操作为待执行的算法所包括的全部子操作中,对应的控制寄存器的参数需要进行实时配置的子操作;根据所述参数配置目标子操作对应的控制寄存器。

4、为了实现上述目的,本专利技术的实施方式还提供了一种npu,包括:译码器;所述译码器包括:预设译码模块和预设寄存器;其中,所述预设译码模块用于根据指令单元中的预设指令读取参数;其中,所述指令单元为npu指令流中与目标子操作对应的指令单元;所述目标子操作为待执行的算法所包括的全部子操作中,对应的控制寄存器的参数需要进行实时配置的子操作;所述读取的参数被存储在所述预设寄存器中。

5、为了实现上述目的,本专利技术的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的指令流的确定方法或算法的执行方法。

6、为了实现上述目的,本专利技术的实施方式还提供了一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时实现上述的指令流的确定方法或算法的执行方法。

7、在本专利技术的实施方式中,首先确定待执行的算法所包括的全部子操作中的目标子操作,即确定需要对其对应的控制寄存器的参数进行实时配置的子操作。进而确定初始的嵌入式神经网络处理器npu指令流中与各所述目标子操作分别对应的指令单元,进而在各所述指令单元中插入预设指令,形成新的npu指令流。通过本专利技术提供的方法形成的npu指令流,使得npu在根据npu指令流执行算法的过程中,能够自动读取参数并根据所述参数配置所述目标子操作对应的控制寄存器。而相关技术中,需要实时配置的参数是由中央处理器cpu查找需要进行参数配置的控制寄存器并进行相应的参数配置。相比上述技术方案,本专利技术提供的指令流的确定方法不再需要cpu进行上述步骤,能够减少npu运行过程中对cpu的依赖,使得npu的运行不再受cpu负载的影响,同时能够降低npu的运行为cpu增加的负担。

8、另外,预设指令包括所述参数的位置、所述参数的长度、所述控制寄存器的位置。参数的位置用于供npu确定在何位置读取参数;参数的长度供npu确定读取何长度的数据;控制寄存器的位置用于供所述npu确定将读取的所述参数存放至何位置。

9、另外,预设指令包括第一预设指令和第二预设指令;所述第一预设指令用于供所述npu在所述参数的位置读取所述长度的数据并存储到npu内置的预设寄存器中;所述第二预设指令用于供所述npu在所述预设寄存器读取所述参数并根据所述参数配置所述控制寄存器。将读取的参数首先存放到一个中间的预设寄存器中,从而无需连续进行参数的读取和存放,能够避免为npu的运行增加负担。

10、另外,在各所述指令单元中插入预设指令,包括:在所述目标子操作对应的控制寄存器的数目超过预设门限时,在所述指令单元中插入若干组预设指令;其中,每组所述预设指令包括所述第一预设指令和所述第二预设指令,每组所述预设指令用于供所述npu根据所述预设指令读取所述参数中的部分参数并根据所述部分参数配置所述目标子操作对应的所述控制寄存器。预设寄存器的容量是有限的,而在目标子操作对应的控制寄存器的数目超过预设门限时,相应地,需要配置的参数的数目也会很多,预设寄存器的容量可能不足以存放目标子操作所需配置的全部参数。因此在该目标子操作对应的指令单元中多插入几组预设指令,能够使得npu相应地进行多次读取数据并配置参数的步骤,使得npu通过多次读取和配置的步骤完成该目标子操作的参数配置。

11、另外,在所述确定待执行的算法所包括的全部子操作中的目标子操作之前,还包括:将所述待执行的算法拆分为若干子操作;确定全部所述子操作中各子操作的前后关系以及依赖关系;根据全部所述子操作、所述前后关系和所述依赖关系确定所述初始的npu指令流。将复杂度较高的算法拆分为子操作进而使得多个子操作依次执行,能够在执行完成原本的算法的同时提高执行的成功率。

12、另外,所述根据所述预设指令读取参数,通过所述npu内置的预设译码模块实现。在npu中内置预设译码模块使得npu能够自动根据预设指令读取参数,从而能够确保目标子操作的顺利执行。

本文档来自技高网...

【技术保护点】

1.一种指令流的确定方法,其特征在于,包括:

2.根据权利要求1所述的指令流的确定方法,其特征在于,所述预设指令包括所述参数的位置、所述参数的长度、所述控制寄存器的位置。

3.根据权利要求2所述的指令流的确定方法,其特征在于,所述预设指令包括第一预设指令和第二预设指令;

4.根据权利要求3所述的指令流的确定方法,其特征在于,所述在各所述指令单元中插入预设指令,包括:

5.根据权利要求1至4中任一项所述的指令流的确定方法,其特征在于,在所述确定待执行的算法所包括的全部子操作中的目标子操作之前,还包括:

6.根据权利要求5所述的指令流的确定方法,其特征在于,所述根据所述预设指令读取参数,通过所述NPU内置的预设译码模块实现。

7.一种算法的执行方法,其特征在于,应用于NPU,包括:

8.根据权利要求7所述的算法的执行方法,其特征在于,所述根据指令单元中的预设指令读取参数,通过所述NPU内置的预设译码模块实现。

9.一种NPU,其特征在于,包括:译码器;所述译码器包括:预设译码模块和预设寄存器;

10.根据权利要求9所述的NPU,其特征在于,还包括:寄存器配置模块;

11.一种电子设备,其特征在于,包括:

12.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的指令流的确定方法,或权利要求7或8所述的算法的执行方法。

...

【技术特征摘要】

1.一种指令流的确定方法,其特征在于,包括:

2.根据权利要求1所述的指令流的确定方法,其特征在于,所述预设指令包括所述参数的位置、所述参数的长度、所述控制寄存器的位置。

3.根据权利要求2所述的指令流的确定方法,其特征在于,所述预设指令包括第一预设指令和第二预设指令;

4.根据权利要求3所述的指令流的确定方法,其特征在于,所述在各所述指令单元中插入预设指令,包括:

5.根据权利要求1至4中任一项所述的指令流的确定方法,其特征在于,在所述确定待执行的算法所包括的全部子操作中的目标子操作之前,还包括:

6.根据权利要求5所述的指令流的确定方法,其特征在于,所述根据所述预设指令读取参数,通过所述npu...

【专利技术属性】
技术研发人员:严寒王健飞曲哲
申请(专利权)人:爱芯元智半导体股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1