【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种基于混合专家的模型推理方法和装置。
技术介绍
1、在人工智能
，大模型是指具有庞大参数规模和复杂模型结构的机器学习模型。大模型能够捕捉和学习数据中的复杂模式和关系，可以在多种任务上表现出色，如语言翻译、图像识别、自然语言理解和生成等。
2、混合专家架构是一种特殊的大模型架构，它旨在通过将大型模型分解为多个较小的子模型(即专家)来提高效率和灵活性。虽然采用混合专家架构的大模型可以在一定程度上减少计算资源的消耗，但是输入向量和专家信息并没有被充分利用，使得大模型的推理效果差。
3、因此，如何提高大模型的推理效果成为业界亟待解决的技术问题。
技术实现思路
1、本申请提供一种基于混合专家的模型推理方法和装置，用于解决如何提高大模型的推理效果的技术问题。
2、本申请提供一种基于混合专家的模型推理方法，包括：
3、将特征向量输入注意力混合专家模块，由所述注意力混合专家模块将所述特征向量分解为多个特征子向量，并基于各个特征子向量确定对应的查询向量投影矩阵进行注意力计算，得到各个注意力头输出的第一向量；
4、将所述第一向量输入神经网络混合专家模块，得到各个神经网络输出的第二向量；
5、基于所述第二向量，确定所述特征向量对应的模型推理结果。
6、在一些实施例中，所述注意力混合专家模块用于：
7、基于所述特征向量，确定所述注意力混合专家模块中各个注意力头对应的键向量和值
8、对各个特征子向量进行第一专家路由选择，确定各个特征子向量对应的查询向量投影矩阵；基于各个特征子向量对应的查询向量投影矩阵，以及各个注意力头对应的键向量和值向量，确定各个注意力头输出的第一向量。
9、在一些实施例中，所述神经网络混合专家模块用于：
10、对各个注意力头输出的第一向量进行第二专家路由选择，确定各个第一向量对应的神经网络；将所述第一向量输入对应的神经网络，得到各个神经网络输出的第二向量。
11、在一些实施例中，所述神经网络为前馈神经网络。
12、在一些实施例中，所述前馈神经网络包括多个全连接层；所述全连接层中的权重尺寸是基于所述特征子向量的维度大小确定的。
13、在一些实施例中，所述基于所述第二向量，确定所述特征向量对应的模型推理结果，包括：
14、对各个神经网络输出的第二向量进行维度融合，得到第三向量；
15、将所述第三向量确定为所述特征向量对应的模型推理结果。
16、本申请提供一种基于混合专家的模型推理装置，包括：
17、第一混合专家单元，用于将特征向量输入注意力混合专家模块，由所述注意力混合专家模块将所述特征向量分解为多个特征子向量，并基于各个特征子向量确定对应的查询向量投影矩阵进行注意力计算，得到各个注意力头输出的第一向量；
18、第二混合专家单元，用于将所述第一向量输入神经网络混合专家模块，得到各个神经网络输出的第二向量；
19、结果输出单元，用于基于所述第二向量，确定所述特征向量对应的模型推理结果。
20、本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于混合专家的模型推理方法。
21、本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于混合专家的模型推理方法。
22、本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于混合专家的模型推理方法。
23、本申请提供的基于混合专家的模型推理方法，将特征向量输入注意力混合专家模块，由注意力混合专家模块将特征向量分解为多个特征子向量，并基于各个特征子向量确定对应的查询向量投影矩阵进行注意力计算，得到各个注意力头输出的第一向量；将第一向量输入神经网络混合专家模块，得到各个神经网络输出的第二向量；基于第二向量，确定特征向量对应的模型推理结果；一方面在大模型架构中采用了注意力混合专家和神经网络混合专家相结合，另一方面将特征向量分解为更小细粒度的特征子单元，通过特征分解和混合专家相结合的方式，丰富了特征子单元和专家之间的组合，充分利用了输入的特征向量中的信息和各个专家中的信息，避免了信息冗余和缺失，提高了大模型推理结果的准确性，提高了整个大模型的推理效果和模型性能。
本文档来自技高网...【技术保护点】
1.一种基于混合专家的模型推理方法，其特征在于，包括：
2.根据权利要求1所述的基于混合专家的模型推理方法，其特征在于，所述注意力混合专家模块用于：
3.根据权利要求1所述的基于混合专家的模型推理方法，其特征在于，所述神经网络混合专家模块用于：
4.根据权利要求3所述的基于混合专家的模型推理方法，其特征在于，所述神经网络为前馈神经网络。
5.根据权利要求4所述的基于混合专家的模型推理方法，其特征在于，所述前馈神经网络包括多个全连接层；所述全连接层中的权重尺寸是基于所述特征子向量的维度大小确定的。
6.根据权利要求1至5任一项所述的基于混合专家的模型推理方法，其特征在于，所述基于所述第二向量，确定所述特征向量对应的模型推理结果，包括：
7.一种基于混合专家的模型推理装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于混合专家的模型推理方法。
9.
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于混合专家的模型推理方法。
...【技术特征摘要】
1.一种基于混合专家的模型推理方法，其特征在于，包括：
2.根据权利要求1所述的基于混合专家的模型推理方法，其特征在于，所述注意力混合专家模块用于：
3.根据权利要求1所述的基于混合专家的模型推理方法，其特征在于，所述神经网络混合专家模块用于：
4.根据权利要求3所述的基于混合专家的模型推理方法，其特征在于，所述神经网络为前馈神经网络。
5.根据权利要求4所述的基于混合专家的模型推理方法，其特征在于，所述前馈神经网络包括多个全连接层；所述全连接层中的权重尺寸是基于所述特征子向量的维度大小确定的。
6.根据权利要求1至5任一项所述的基于混合专家的模型推理方法，其特征在于，所述基于所述第二...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。