【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于多层任务处理的大模型实现方法、装置及电子设备。
技术介绍
1、在人工智能
中，大模型通常为具有数百万甚至数十亿参数的模型，并且大模型因具有捕捉和学习数据中复杂模式和关系等优势，可以对多种任务进行处理且取得较好结果。但由于大模型的多层结构中每层包含的信息量不同，每层在任务处理阶段对算力、带宽和内存的要求也不同，因此，如何在保证模型处理效果的同时减少计算开销且提高推理速度就显得尤为重要。
2、相关技术中，对于每层主要包括注意力（attention）机制和前馈神经网络（feedforward neural network，ffn）的大模型而言，通过对不同层携带的不同信息量进行不同程度的稀疏，再使用计算芯片对进入每个信息量稀疏后的层中的任务进行处理。
3、然而，由于大模型经过多层稀疏后不同层的信息量之间存在差异，且进入每个稀疏后的层中的任务均是在同一种性能的计算芯片处理，因此会造成计算资源的浪费，降低了计算效率。
技术实现思路
1、本专利技术提供一种基于多层任务处理的大模型实现方法、装置及电子设备，用以解决现有大模型中每层的任务均由同一种处理性能的计算芯片处理所导致的计算资源浪费和计算效率降低的缺陷，结合pp方式的实现构思，根据大模型中不同层具有的不同计算需求或任务处理需求，将大模型中进入不同层的目标任务分发给不同性能参数的目标计算芯片进行处理，实现了基于多层任务处理的大模型实现目的，不仅可以减少资源浪费，降低成本，同时
2、本专利技术提供一种基于多层任务处理的大模型实现方法，包括如下步骤。
3、基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片；将所述当前层中的所述目标任务分发给所述目标计算芯片进行对应处理。
4、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，包括：在所述任务处理需求包括所述当前层的目标稀疏度的情况下，基于预先针对所述大模型中所有层设置的稀疏度-性能参数之间的映射关系以及所述目标稀疏度，从所述多个不同性能参数的计算芯片中确定处理所述当前层中所述目标任务的所述目标计算芯片。
5、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：在所述任务处理需求包括所述当前层的目标量化参数的情况下，基于预先针对所述大模型中所有层设置的量化参数-性能参数之间的映射关系以及所述目标量化参数，从所述多个不同性能参数的计算芯片中确定处理所述当前层中所述目标任务的所述目标计算芯片。
6、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：在所述多个不同性能参数中不存在与所述当前层的目标稀疏度或所述当前层的目标量化参数匹配的目标性能参数的情况下，基于所述目标性能参数，对用于搭建计算芯片异构框架的性能参数比例关系进行更新；基于更新后的性能参数比例关系对所述多个不同性能参数的计算芯片进行更新，并基于更新结果确定处理所述当前层中所述目标任务的所述目标计算芯片。
7、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述多个不同性能参数的计算芯片的确定过程包括：确定用于搭建计算芯片异构框架的性能参数比例关系；将满足所述性能参数比例关系的所有计算芯片确定为所述多个不同性能参数的计算芯片。
8、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述确定用于搭建计算芯片异构框架的性能参数比例关系，包括：基于所述大模型经过多层稀疏后不同层之间的稀疏度比例关系，确定与所述稀疏度比例关系匹配的所述性能参数比例关系；或者，基于所述大模型经过多层量化后不同层之间的量化参数比例关系，确定与所述量化参数比例关系匹配的所述性能参数比例关系。
9、根据本专利技术提供的一种基于多层任务处理的大模型实现方法，所述方法还包括：将所述当前层输出的任务处理结果传递至所述当前层的下一层，并基于所述当前层接收到的新任务重新确定任务处理需求，以及将所述新任务作为新的目标任务，返回执行所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片的步骤；直至满足任务处理停止条件；其中，所述当前层和所述下一层的任务处理时间一致，所述任务处理时间为所述目标计算芯片充分利用自身的算力和带宽处理对应所述目标任务的时间，所述新任务为所述当前层的上一层对应的任务处理结果或者初始进入所述大模型的待处理任务。
10、本专利技术还提供一种基于多层任务处理的大模型实现装置，包括如下芯片确定单元和模型实现单元。
11、芯片确定单元，用于基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片。
12、模型实现单元，用于将所述当前层中的所述目标任务分发给所述目标计算芯片进行对应处理。
13、本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于多层任务处理的大模型实现方法。
14、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多层任务处理的大模型实现方法。
15、本专利技术提供的基于多层任务处理的大模型实现方法、装置及电子设备，其中基于多层任务处理的大模型实现方法，对于进入大模型中当前层的目标任务，首先基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理当前层中目标任务的目标计算芯片，再将当前层中的目标任务分发给目标计算芯片进行对应处理。这样，结合pp方式的实现构思，根据大模型中不同层具有的不同计算需求或任务处理需求，将大模型中进入不同层的目标任务分发给不同性能参数的目标计算芯片进行处理，实现了基于多层任务处理的大模型实现目的，不仅可以减少资源浪费，降低成本，同时还可以加快模型推理速度。
本文档来自技高网...【技术保护点】
1.一种基于多层任务处理的大模型实现方法，其特征在于，包括：
2.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，包括：
3.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：
4.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：
5.根据权利要求1至4任一项所述的基于多层任务处理的大模型实现方法，其特征在于，所述多个不同性能参数的计算芯片的确定过程包括：
6.根据权利要求5所述的基于多层任务处理的大模型实现方法，其特征在于，所述确定用于搭建计算芯片异构框架的性能参数比例关系，包括：
7.根据权利要求1至4任一项所述的
8.一种基于多层任务处理的大模型实现装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于多层任务处理的大模型实现方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于多层任务处理的大模型实现方法。
...【技术特征摘要】
1.一种基于多层任务处理的大模型实现方法，其特征在于，包括：
2.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，包括：
3.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：
4.根据权利要求1所述的基于多层任务处理的大模型实现方法，其特征在于，所述基于大模型中当前层的任务处理需求和多个不同性能参数的计算芯片，确定处理所述当前层中目标任务的目标计算芯片，还包括：
5.根据权利要求1至4任一项所述的基于多层任务处理的大模型实现方法，其特征在于，所...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。