【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种混合专家模型的存储优化方法、装置、设备、介质及产品。
技术介绍
1、稀疏数据的表示与编排优化技术是一种能在模型训练、推理与微调过程中，有效优化计算、带宽与存储资源开销的技术方案。
2、现有技术中，混合专家模型在进行模型计算时，主要涉及将需要计算的稀疏权重数据与输入的稀疏中间激活数据通过指定的稀疏表示格式进行数据的稀疏压缩，并将其在内存中编排为指定存储格式以便于后续计算。
3、专利技术人在实现本专利技术的过程中，稀疏中间激活数据与稀疏权重数据之间的计算属于双稀疏计算，而目前主流的稀疏压缩与编排优化技术在面对混合专家模型的计算过程中，缺失对于其中双稀疏特征的高效表示，因此直接使用现有的稀疏压缩与编排优化方案并不能充分优化混合专家模型的计算过程。
技术实现思路
1、本专利技术实施例提供了一种混合专家模型的存储优化方法、装置、设备、介质及产品，创造性的提出了一种对混合专家模型中稀疏化的模型权重矩阵的高效数据压缩方式，以有效优化混合专家模型的存储资源开销。
2、根据本专利技术实施例的一方面，提供了一种混合专家模型的存储优化方法，包括：
3、将目标混合专家模型加载至计算芯片中，并获取目标混合专家模型中的各项稀疏化的模型权重矩阵；
4、其中，稀疏化的模型权重矩阵包含多个设定尺寸的压缩单元，每个压缩单元包含至少一个有效行和至少一个稀疏行，每个有效行包含至少一个结构化稀疏计算存储单元；各结构化稀疏计算存储
5、生成与每个模型权重矩阵分别对应的压缩矩阵集合；
6、其中，压缩矩阵集合中包含用于存储模型权重矩阵中非0数据的压缩数据矩阵、用于存储模型权重矩阵中有效行在所属压缩单元中位置的索引矩阵，和用于存储非0数据在所属结构化稀疏计算存储单元中位置的元数据矩阵；
7、将目标混合专家模型中各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集合，以实现对目标混合专家模型的存储优化。
8、根据本专利技术实施例的另一方面，还提供了一种混合专家模型的存储优化装置，包括：
9、模型权重矩阵获取模块，用于将目标混合专家模型加载至计算芯片中，并获取目标混合专家模型中的各项稀疏化的模型权重矩阵；
10、其中，稀疏化的模型权重矩阵包含多个设定尺寸的压缩单元，每个压缩单元包含至少一个有效行和至少一个稀疏行，每个有效行包含至少一个结构化稀疏计算存储单元；各结构化稀疏计算存储单元均处于相同稀疏模式；
11、压缩矩阵集合生成模块，用于生成与每个模型权重矩阵分别对应的压缩矩阵集合；
12、其中，压缩矩阵集合中包含用于存储模型权重矩阵中非0数据的压缩数据矩阵、用于存储模型权重矩阵中有效行在所属压缩单元中位置的索引矩阵，和用于存储非0数据在所属结构化稀疏计算存储单元中位置的元数据矩阵；
13、存储优化模块，用于将目标混合专家模型中各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集合，以实现对目标混合专家模型的存储优化。
14、根据本专利技术实施例的另一方面，提供了一种电子设备，所述电子设备包括：
15、至少一个计算芯片；以及
16、与所述至少一个计算芯片通信连接的存储器；其中，
17、所述存储器存储有可被所述至少一个计算芯片执行的计算机程序，所述计算机程序被所述至少一个计算芯片执行，以使所述至少一个计算芯片能够执行本专利技术任一实施例所述的混合专家模型的存储优化方法。
18、根据本专利技术实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算芯片执行时实现本专利技术任一实施例所述的混合专家模型的存储优化方法。
19、根据本专利技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被计算芯片执行时实现如本专利技术任一实施例所述的混合专家模型的存储优化方法的步骤。
20、本专利技术实施例的技术方案，通过将目标混合专家模型中的各项特定格式的稀疏化的模型权重矩阵,分别转换为用于存储模型权重矩阵中非0数据的压缩数据矩阵、用于存储模型权重矩阵中有效行在所属压缩单元中位置的索引矩阵，和用于存储非0数据在所属结构化稀疏计算存储单元中位置的元数据矩阵后，在用于实施混合专家模型计算的计算芯片中进行优化存储，可以有效降低计算芯片的存储资源开销，此外，在使用上述数据压缩形式的模型权重矩阵进行模型计算时，可以充分利用计算芯片中的稀疏计算硬件，在有效提高计算效率的同时，降低了带宽开销。
21、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种混合专家模型的存储优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，稀疏化的模型权重矩阵中具体包含多个M*V尺寸的压缩单元；
3.根据权利要求2所述的方法，其特征在于，生成与每个模型权重矩阵分别对应的压缩矩阵集合，包括：
4.根据权利要求3所述的方法，其特征在于，根据各压缩单元在当前模型权重矩阵中的位置，和各有效行在所属压缩单元中位置，对第二矩阵进行填充处理，得到与当前模型权重矩阵对应的索引矩阵，包括：
5.根据权利要求3所述的方法，其特征在于，根据各结构化稀疏计算存储单元在当前模型权重矩阵中的位置，和各非0数据在所属结构化稀疏计算存储单元中的位置，对第三矩阵进行填充处理，得到与当前模型权重矩阵对应的元数据矩阵，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在将目标混合专家模型中的各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集合之后，还包括：
7.根据权利要求6所述的方法，其特征在于，在将目标混合专家模型中的各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集
8.根据权利要求7所述的方法，其特征在于，在调用计算芯片上的各稀疏计算单元，基于存储优化后的目标混合专家模型实施匹配的稀疏计算之前，还包括：
9.一种混合专家模型的存储优化装置，其特征在于，包括：
10.一种电子设备，其特征在于，所述电子设备包括：
11.根据权利要求10所述的电子设备，其特征在于，所述计算芯片还包括：多个稀疏计算单元；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算芯片执行时实现权利要求1-8中任一项所述的混合专家模型的存储优化方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被计算芯片执行时实现根据权利要求1-8中任一项所述的混合专家模型的存储优化方法。
...【技术特征摘要】
1.一种混合专家模型的存储优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，稀疏化的模型权重矩阵中具体包含多个m*v尺寸的压缩单元；
3.根据权利要求2所述的方法，其特征在于，生成与每个模型权重矩阵分别对应的压缩矩阵集合，包括：
4.根据权利要求3所述的方法，其特征在于，根据各压缩单元在当前模型权重矩阵中的位置，和各有效行在所属压缩单元中位置，对第二矩阵进行填充处理，得到与当前模型权重矩阵对应的索引矩阵，包括：
5.根据权利要求3所述的方法，其特征在于，根据各结构化稀疏计算存储单元在当前模型权重矩阵中的位置，和各非0数据在所属结构化稀疏计算存储单元中的位置，对第三矩阵进行填充处理，得到与当前模型权重矩阵对应的元数据矩阵，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在将目标混合专家模型中的各项稀疏化的模型权重矩阵，分别存储为匹配的压缩矩阵集合之后，还包括：
7.根据权...
【专利技术属性】
技术研发人员：姚建国，吴晨鹏，顾琦琪，石恒，张亚林，
申请(专利权)人：上海燧原科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。