【技术实现步骤摘要】
基于芯片多级存储的数据预取方法、装置、设备及介质
[0001]本专利技术涉及数据传输
，尤其涉及基于芯片多级存储的数据预取方法、装置、设备及介质。
技术介绍
[0002]现有的人工智能芯片通常采用多层级高速缓存的设计方式。其中，越靠近芯片的高速缓存，如一级缓存，其存取速度越快，但成本也越高。同理，越远离芯片的高速缓存，如三级缓存，其成本越低，但存取速度也越慢。因此，为了平衡人工智能芯片的成本与性能，越是内层的高速缓存其容量也会相对较小。
[0003]现有技术中，当内核计算单元进行运算时，需要将数据从三级缓存复制到二级缓存，再从二级缓存复制到一级缓存，最后寄存器读取一级缓存中的数据进行计算。
[0004]但是，由于自顶向下的访问方式中访问速度逐渐降低，所以从三级缓存到二级缓存的数据复制操作会消耗大量的时间，并且，由于集成于人工智能芯片中的深度学习网络的计算操作非常多，每个计算操作的数据量也会非常大，造成了对内存的频繁访问以及较多的占用，所以使得人工智能芯片的运算性能降低。因此，如何提高人工智能芯片的数据存取效率，保障人工智能芯片的运算性能，是目前亟待解决的问题。
技术实现思路
[0005]本专利技术提供了一种基于芯片多级存储的数据预取方法、装置、设备及介质，可以解决多级缓存的人工智能芯片的数据存取效率较低的问题。
[0006]根据本专利技术的一方面，提供了一种基于芯片多级存储的数据预取方法，该方法应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，该方法包括：>[0007]获取初始深度学习网络模型中的目标计算操作，以及目标计算操作对应的目标预取数据；
[0008]依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型；
[0009]依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型；
[0010]触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。
[0011]根据本专利技术的另一方面，提供了一种基于芯片多级存储的数据预取装置，该装置应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，该装置包括：
[0012]数据获取模块，用于获取初始深度学习网络模型中的目标计算操作，以及目标计算操作对应的目标预取数据；
[0013]基础模型构建模块，用于依据目标预取数据的数据空间和预取时长，以及目标计
算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型；
[0014]目标模型构建模块，用于依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型；
[0015]数据预取模块，用于触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。
[0016]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0017]至少一个处理器；以及
[0018]与所述至少一个处理器通信连接的存储器；其中，
[0019]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的基于芯片多级存储的数据预取方法。
[0020]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的基于芯片多级存储的数据预取方法。
[0021]本专利技术实施例的技术方案，通过依据初始深度学习网络模型中目标计算操作对应的目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型，进而，依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型，最后，触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放，解决了多级缓存的人工智能芯片的数据存取效率较低的问题，提高了人工智能芯片的数据存取效率，保障了人工智能芯片的运算性能。
[0022]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是根据本专利技术实施例一提供的一种基于芯片多级存储的数据预取方法的流程图；
[0025]图2是根据本专利技术实施例二提供的一种基于芯片多级存储的数据预取方法的流程图；
[0026]图3是根据本专利技术实施例二提供的一种可选的目标深度学习网络模型构建过程的流程图；
[0027]图4是根据本专利技术实施例三提供的一种基于芯片多级存储的数据预取装置的结构
示意图；
[0028]图5是实现本专利技术实施例的基于芯片多级存储的数据预取方法的电子设备的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目标”、“初始”、“基础”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031]实施例一
[0032]图1为本专利技术实施例一提供的一种基于芯片多级存储的数据预取方法的流程图，本实施例可适用于集成深度学习网络模型的具有多级缓存的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于芯片多级存储的数据预取方法，其特征在于，所述方法应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，所述方法包括：获取初始深度学习网络模型中的目标计算操作，以及目标计算操作对应的目标预取数据；依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型；依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型；触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。2.根据权利要求1所述的方法，其特征在于，所述获取初始深度学习网络模型中的目标计算操作，包括：依据拓扑结构遍历初始深度学习网络模型，按照初始深度学习网络模型中各个计算操作的计算顺序，确定当前计算操作；将次序排列于当前计算操作的计算操作确定为目标计算操作。3.根据权利要求1所述的方法，其特征在于，所述依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，包括：依据目标计算操作在初始深度学习网络模型中的目标位置确定当前计算操作的当前位置，并将所述当前位置的前置位作为目标预取数据的初始插入点；若目标预取数据的数据空间符合高速缓存剩余内存要求，且目标预取数据预取至高速缓存的预取时长符合初始插入点的剩余执行时间要求，则将所述初始插入点确定为目标预取插入点。4.根据权利要求1所述的方法，其特征在于，所述依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，包括：若目标计算操作为目标预取数据的唯一预取对象，和/或目标计算操作为目标预取数据的末位预取对象，将所述目标计算操作的后置位确定为目标预取数据对应的目标释放插入点。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：若目标预取数据的数据空间未符合高速缓存剩余内存要求，则释放高速缓存中符合预设释放规则的数据，直至目标预取数据的数据空间符合高速缓存剩余内存要求。6.根据权利要求3所述的方法，...
【专利技术属性】
技术研发人员：张殿臣，苏刚，田野，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。