模型训练方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了模型训练方法、装置、电子设备和存储介质，涉及深度学习技术领域。具体方案为：通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且应用场景广泛。

【技术实现步骤摘要】
模型训练方法、装置、电子设备和存储介质
本申请涉及计算机
，具体涉及深度学习
，尤其涉及一种模型训练方法、装置、电子设备和存储介质。
技术介绍
随着科技的发展，模型训练越来越重要，因为它可以为复杂问题提供解决方案。在相对于传统人工程序设计，这些解决方案更快、更准确、更具可扩展性。在进行模型训练时，需要利用大量的训练数据，训练得到想要的模型。对一个非成熟产品来说，短时间内标注大量的训练数据用于模型训练是较难办到的。可见，如何利用现有的数据对非成熟产品进行模型训练是非常重要的。
技术实现思路
本申请提供一种模型训练方法、装置、电子设备和存储介质，以实现利用两个训练样本库中的样本进行混合训练，解决非成熟产品训练数据量少的问题。根据第一方面，提供了一种模型训练方法，包括：获取第一训练样本库和第二训练样本库；根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；根据所述预测分布和标注分布判断是否满足训练要求；如果满足所述训练要求，则结束训练；以及如果未满足所述训练要求，则通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。本申请实施例的模型训练方法，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。根据第二方面，提供了一种模型训练装置，包括：第一获取模块，用于获取第一训练样本库和第二训练样本库；生成模块，用于根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；第二获取模块，用于获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；训练模块，用于通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；判断模块，用于根据所述预测分布和标注分布判断是否满足训练要求；如果满足所述训练要求，则结束训练；以及所述训练模块，用于当未满足所述训练要求时，通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。本申请实施例的模型训练装置，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，如对非成熟语音产品，可以通过两种不同训练样本库中的语音数据对模型进行混合训练，又如对非成熟图像产品，通过两种不同训练样本库中的图像数据对模型进行混合训练等，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的模型训练方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的模型训练方法。根据本申请的实施例，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅解决了非成熟产品训练数据量少的问题，获得满足训练要求的模型，而且该训练方法应用场景广泛，可应用于大量的产品。上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例提供的一种模型训练方法的流程示意图；图2为本申请实施例提供的另一种模型训练方法的流程示意图；图3为本申请实施例提供的另一种模型训练方法的流程示意图；图4为本申请实施例提供的一种模型训练装置的结构示意图；图5为根据本申请实施例的模型训练方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。下面参考附图描述本申请实施例的模型训练方法、装置、电子设备和存储介质。对一个非成熟产品来说，短时间内产生的数据比较少，因此短时间内标注大量的训练数据用于模型训练是较难办到的。比如，对于一个非成熟的语音产品来说，音频数据比较少，短时间内标注大量的音频数据用于模型训练是比较难的。本申请实施例的模型训练方法，通过获取第一训练样本库和第二训练样本库，根据第一训练样本库和第二训练样本库分别生成第一至第N训练样本集合，利用第一至第N训练样本集合对模型进行训练，根据标注分布和模型生成的预测分布判断是否满足训练条件。由此，通过利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，不仅获得满足训练要求的模型，而且还解决了非成熟产品训练数据量少的问题。图1为本申请实施例提供的一种模型训练方法的流程示意图。本申请实施例的模型训练方法，可由本申请实施例提供的模型训练装置执行，该装置可配置于电子设备中，以利用从两个不同的训练样本库获得训练样本集合，对模型进行混合训练，解决非成熟产品训练数据量少的问题。如图1所示，该模型训练方法包括：步骤101，获取第一训练样本库和第二训练样本库。本实施例中，第一训练样本库与第一训练样本库是两个不同的训练样本库。比如，第一训练样本库中的训练样本为有标注的训练样本，第一训练样本库中的训练样本为无标注的训练样本。又如，第一训练样本库包括数量比较少的某非成熟产品的有标注训练样本，第二训练样本库包括其他同类型成熟产品的有标注训练样本。以非成熟的语音产品为例，在训练声学模型时，可以将该非成熟语音产品的经过标注的音频数据作为第一本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：/n获取第一训练样本库和第二训练样本库；/n根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；/n获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；/n通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；/n根据所述预测分布和标注分布判断是否满足训练要求；/n如果满足所述训练要求，则结束训练；以及/n如果未满足所述训练要求，则通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。/n

【技术特征摘要】
1.一种模型训练方法，包括：
获取第一训练样本库和第二训练样本库；
根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；
获取所述第一至第N训练样本集合之中的第i训练样本集合，其中，i为小于或等于N的正整数；
通过所述第i训练样本集合对所述待训练模型进行训练，以生成预测分布；
根据所述预测分布和标注分布判断是否满足训练要求；
如果满足所述训练要求，则结束训练；以及
如果未满足所述训练要求，则通过第i+1训练样本集合继续对所述待训练模型继续训练，直至满足所述训练要求。


2.如权利要求1所述的模型训练方法，其中，所述根据所述预测分布和所述标注分布判断是否满足训练要求，包括：
根据所述预测分布和所述标注分布计算交叉熵；以及
根据所述交叉熵判断是否满足训练要求。


3.如权利要求2所述的模型训练方法，通过以下公式计算所述交叉熵：
o＝-∑xp(x)log(q(x))，
其中，o为所述交叉熵，x为所述第i训练样本集合，p(x)为所述标注分布，q(x)表示预测分布。


4.如权利要求2所述的模型训练方法，其中，所述根据所述交叉熵判断是否满足训练要求，包括：
获取第i-1训练样本集合的第i-1交叉熵；
获取所述第i训练样本集合的第i交叉熵和所述第i-1交叉熵之间的差值；以及
如果所述差值小于预设阈值，则判断满足所述训练要求。


5.如权利要求1所述的模型训练方法，其中，所述根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，包括：
从所述第一训练样本库提取第一候选样本集合；
从所述第二训练样本库提取第二候选样本集合；
计算所述第二候选样本集合之中每个候选样本的置信度；
根据所述第二候选样本集合之中每个候选样本的置信度对所述第二候选样本集合之中的候选样本进行筛选；
根据所述第一候选样本集合和筛选之后的所述第二候选样本集合生成所述第一训练样本集合；以及
重复上述步骤，直至生成所述第N训练样本集合。


6.如权利要求1所述的模型训练方法，其中，所述第二训练样本库的样本量大于所述第一训练样本库的样本量。


7.如权利要求1所述的模型训练方法，其中，所述第二训练样本库为无标注样本库，所述第一训练样本库为有标注样本库。


8.如权利要求1所述的模型训练方法，所述第一至第N训练样本集合之中的样本数量依次降低。


9.如权利要求1所述的模型训练方法，其中，所述第二训练样本库通过以下步骤生成：
通过网络爬虫获取多个多媒体资料；
根据关键字列表对所述多个多媒体资料进行筛选；以及
将筛选之后的多媒体资料添加至所述第二训练样本库。


10.一种模型训练装置，包括：
第一获取模块，用于获取第一训练样本库和第二训练样本库；
生成模块，用于根据所述第一训练样本库和所述第二训练样本库分别生成第一至第N训练样本集合，其中，N为大于1的正整数；
第...

【专利技术属性】
技术研发人员：张辽，付晓寅，蒋正翔，梁鸣心，张奇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11