本申请提供了一种模型训练方法、装置、计算机设备及存储介质，属于计算机技术领域。所述方法包括：获取多个训练样本和处理模型，所述处理模型包括门控网络和多个专家网络；通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量；基于所述多个专家网络的样本数量和参考数量，确定训练损失；基于所述训练损失，对所述处理模型进行训练。上述技术方案使得各个专家网络所处理的训练样本的数量尽可能相同，不仅可以提高专家网络的利用率，还能避免某些专家网络因所要处理的样本过多而降低处理模型的处理效率。
【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种模型训练方法、装置、计算机设备及存储介质。
技术介绍
1、随着计算机技术的发展，网络模型的种类越类越多。混合专家模型(mixture ofexperts，moe)是一种比较典型的网络模型。在混合专家模型中，每个输入都会被混合专家模型中的门控网络，分配到最适合处理该输入的专家网络中来进行处理。但是这种分配方式使得一些专家网络需要处理大量的输入，而另一些专家则处于空闲状态，无法充分利用混合专家网络，降低了混合专家网络的处理效率。
技术实现思路
1、本申请实施例提供了一种模型训练方法、装置、计算机设备及存储介质，使得各个专家网络所处理的训练样本的数量尽可能相同，不仅可以提高专家网络的利用率，还能避免某些专家网络因所要处理的样本过多而降低处理模型的处理效率。所述技术方案如下：
2、一方面，提供了一种模型训练方法，所述方法包括：
3、获取多个训练样本和处理模型，所述处理模型包括门控网络和多个专家网络；
4、通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，每个专家网络的任务用于表示所述专家网络能够处理的训练样本的类型；
5、基于所述多个专家网络的样本数量和参考数量，确定训练损失，所述参考数量为平均分配所述多个训练样本时每个专家网络分配到的训练样本的数量，所述训练损失用于所述多个专家网络的样本数量和参考数量之间的差距；
6、基于所述训练损失，对所述处理模型进行训练。
7、另一方面，提供了一种模型训练装置，所述装置包括：
8、获取模块，用于获取多个训练样本和处理模型，所述处理模型包括门控网络和多个专家网络；
9、处理模块，用于通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，每个专家网络的任务用于表示所述专家网络能够处理的训练样本的类型；
10、第一确定模块，用于基于所述多个专家网络的样本数量和参考数量，确定训练损失，所述参考数量为平均分配所述多个训练样本时每个专家网络分配到的训练样本的数量，所述训练损失用于所述多个专家网络的样本数量和参考数量之间的差距；
11、训练模块，用于基于所述训练损失，对所述处理模型进行训练。
12、在一些实施例中，所述处理模块，包括：
13、第一确定单元，用于对于所述多个训练样本中的任一训练样本，通过所述处理模型中的门控网络，对所述训练样本和所述多个专家网络的任务进行处理，确定所述训练样本的匹配结果，所述匹配结果包括所述训练样本与所述多个专家网络的匹配度；
14、第二确定单元，用于基于所述多个训练样本的匹配结果，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量。
15、在一些实施例中，所述第一确定单元，用于对于所述多个训练样本中的任一训练样本，通过所述处理模型中的门控网络，对所述训练样本进行特征提取，得到所述训练样本的样本特征，所述样本特征用于表示所述训练样本的类型；对于所述多个专家网络中的任一专家网络，通过所述处理模型中的门控网络，对所述专家网络的任务进行特征提取，得到所述专家网络的任务特征；通过所述处理模型中的门控网络，确定所述样本特征与各个专家网络的任务特征之间的相似度，得到所述训练样本的匹配结果。
16、在一些实施例中，所述处理模块，包括：
17、处理单元，用于对于所述处理模型中的任一专家网络，通过所述处理模型中的门控网络，对所述专家网络的任务和所述多个训练样本进行处理，得到所述专家网络的匹配结果，所述匹配结果包括所述专家网络与所述多个训练样本的匹配度；
18、第三确定单元，用于基于所述专家网络的匹配结果，确定所述专家网络所要处理的训练样本的样本数量。
19、在一些实施例中，所述第三确定单元，用于按照由高到低的顺序，对所述专家网络的匹配结果中的多个匹配度进行排序；选择匹配度达到参考度的训练样本，作为所述专家网络所要处理的训练文本，得到所述专家网络所要处理的训练样本的样本数量。
20、在一些实施例中，每个专家网络所要处理的训练样本的样本数量不超过所述专家网络的样本容量，所述样本容量用于表示所述专家网络所能处理的训练样本的最大数量，所述样本容量基于所述专家网络的性能确定，所述专家网络的性能包括所述专家网络处理训练样本的效率和准确率中的至少一种信息。
21、在一些实施例中，所述装置还包括：
22、第二确定模块，用于对于所述多个训练样本中的任一训练样本，在将所述训练样本分配给任一专家网络进行处理之前，基于所述训练样本和将要处理所述训练样本的专家网络，确定所述训练样本的贡献度，所述贡献度用于表示将所述训练样本分配给所述专家网络进行处理对模型训练的贡献程度；
23、所述训练模块，用于基于所述训练损失和所述多个训练样本的贡献度，对所述处理模型进行训练。
24、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的模型训练方法。
25、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中模型训练方法。
26、另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各个方面或者各个方面的各种可选实现方式中提供的模型训练方法。
27、本申请实施例提供了一种模型训练方法，针对于包含多个专家网络的处理网络，在对该类型的处理模型进行训练的过程中，可以根据多个训练样本和各个专家网络的任务，确定各个专家网络所要处理的训练样本的样本数量，也即是，将多个训练样本按照专家网络所能处理的样本类型分配给对应的专家网络来进行训练，使得每个专家模型都能准确学习到各个样本类型的知识，从而更准确地处理对应类型的样本；并且通过确定多个专家网络的样本数量和参考数量确定训练损失，使得尽可能地为每个专家网络平均分配训练样本，也即是使得各个专家网络所处理的训练样本的数量相同，不仅可以提高专家网络的利用率，还能避免某些专家网络因所要处理的样本过多而降低处理模型的处理效率，也能够使得各个专家网络能学习到多个样本类型的知识，提升专家网络的泛化能力，从而基于多个样本类型的知识更准确地处理样本，利于提高处理模型的准确率。
本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，包括：
3.根据权利要求2所述的方法，其特征在于，所述对于所述多个训练样本中的任一训练样本，通过所述处理模型中的门控网络，对所述训练样本和所述多个专家网络的任务进行处理，确定所述训练样本的匹配结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述专家网络的匹配结果，确定所述专家网络所要处理的训练样本的样本数量，包括：
6.根据权利要求1所述的方法，其特征在于，每个专家网络所要处理的训练样本的样本数量不超过所述专家网络的样本容量，所述样本容量用于表示所述专家网络所能处理的训练样本的最大数量，所述样本容量基于所述专家网络的性能确定，所述专家网络的性能包括所述专家网络处理训练样本的效率和准确率中的至少一种信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.一种模型训练装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至7任一项权利要求所述的模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段计算机程序，所述至少一段计算机程序用于执行权利要求1至7任一项权利要求所述的模型训练方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项权利要求所述的模型训练方法。
...
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，包括：
3.根据权利要求2所述的方法，其特征在于，所述对于所述多个训练样本中的任一训练样本，通过所述处理模型中的门控网络，对所述训练样本和所述多个专家网络的任务进行处理，确定所述训练样本的匹配结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述处理模型中的门控网络，对所述多个训练样本和所述多个专家网络的任务进行处理，确定所述处理模型中各个专家网络所要处理的训练样本的样本数量，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述专家网络的匹配结果，确定所述专家网络所要处理的训练样本的样本数量，包括：
6.根据权利要求1所述的方法，其特征在于，每个专家网络所要处理的训练样本...
【专利技术属性】
技术研发人员：陈孝良，涂贤玲，常乐，黄赟贺，
申请(专利权)人：北京声智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。