内容理解模型的训练方法、内容理解方法以及相关装置制造方法及图纸

本公开提供了一种内容理解模型的训练方法、内容理解方法以及相关装置，涉及人工智能技术领域，尤其涉及深度学习、知识图谱、知识获取与知识挖掘等技术领域。具体实现方案为：利用样本参考信息来生成样本数据，能够实现自动化地生成样本数据，能够极大地提升数据生成的效率，并采用样本数据来驱动内容理解模型的迭代优化，同时，利用内容理解模型所输出的内容理解结果，来反向指导数据生成的过程，提升了样本数据的质量，进一步地，质量更优的样本数据又可以作为内容理解模型新的输入，来优化内容理解模型的迭代过程，能够获得内容理解能力更优的模型，如此，数据生成过程和内容理解过程形成了优化闭环，能够实现数据生成和内容理解的双重优化。解的双重优化。解的双重优化。

【技术实现步骤摘要】
内容理解模型的训练方法、内容理解方法以及相关装置


[0001]本公开涉及人工智能
，尤其涉及深度学习、知识图谱、知识获取与知识挖掘等
，具体涉及一种内容理解模型的训练方法、内容理解方法以及相关装置。

技术介绍

[0002]随着人工智能技术的快速发展进步，人们的生活也受益于人工智能产生了巨大改变，越来越多的行业(如医疗、电力、物流等)开始应用人工智能技术。其中，数据作为人工智能技术中最关键的要素，对数据进行内容理解也显得十分重要，以便人工智能技术能够更好地服务于人们的生活及各行各业。

技术实现思路

[0003]本公开提供了一种内容理解模型的训练方法、内容理解方法以及相关装置。
[0004]根据本公开的一方面，提供了一种内容理解模型的训练方法，该方法包括：
[0005]对初始模型进行迭代训练，以获得内容理解模型，该内容理解模型用于对数据资源进行内容识别以获得该数据资源的内容理解结果；
[0006]其中，任一次迭代训练包括如下过程：
[0007]根据样本参考信息生成样本数据；其中，响应于该任一次迭代训练为第一次迭代训练，该样本参考信息包括预设数据资源，响应于该任一次迭代训练为第一次之后的迭代训练，该样本参考信息包括该预设数据资源以及上一次迭代训练输出的内容理解结果；
[0008]将该样本数据输入上一次迭代训练后得到的内容理解模型中，以完成对模型的本次训练。
[0009]根据本公开的另一方面，提供了一种内容理解方法，该方法包括：
[0010]获取待进行内容识别的数据资源；
[0011]将该数据资源输入内容理解模型，通过该内容理解模型对该数据资源进行内容识别，以获得该数据资源的内容理解结果；
[0012]其中，该内容理解模型是采用样本数据对初始模型进行迭代训练得到的；该样本数据根据样本参考信息生成，响应于第一次迭代训练，该样本参考信息包括预设数据资源，响应于第一次之后的迭代训练，该样本参考信息包括该预设数据资源以及上一次迭代训练输出的内容理解结果。
[0013]根据本公开的另一方面，提供了一种内容理解模型的训练装置，该装置包括：
[0014]训练模块，用于对初始模型进行迭代训练，以获得内容理解模型，该内容理解模型用于对数据资源进行内容识别以获得该数据资源的内容理解结果；
[0015]其中，任一次迭代训练过程中，该训练模块，包括：
[0016]生成子模块，用于根据样本参考信息生成样本数据；其中，响应于该任一次迭代训练为第一次迭代训练，该样本参考信息包括预设数据资源，响应于该任一次迭代训练为第一次之后的迭代训练，该样本参考信息包括该预设数据资源以及上一次迭代训练输出的内
容理解结果；
[0017]输入子模块，用于将该样本数据输入上一次迭代训练后得到的内容理解模型中，以完成对模型的本次训练。
[0018]根据本公开的另一方面，提供了一种内容理解装置，该装置包括：
[0019]获取模块，用于获取待进行内容识别的数据资源；
[0020]识别模块，用于将该数据资源输入内容理解模型，通过该内容理解模型对该数据资源进行内容识别，以获得该数据资源的内容理解结果；
[0021]其中，该内容理解模型是采用样本数据对初始模型进行迭代训练得到的；该样本数据根据样本参考信息生成，响应于第一次迭代训练，该样本参考信息包括预设数据资源，响应于第一次之后的迭代训练，该样本参考信息包括该预设数据资源以及上一次迭代训练输出的内容理解结果。
[0022]根据本公开的另一方面，提供了一种电子设备，包括：
[0023]至少一个处理器；以及
[0024]与该至少一个处理器通信连接的存储器；其中，
[0025]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的内容理解模型的训练方法或内容理解方法。
[0026]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的内容理解模型的训练方法或内容理解方法。
[0027]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所提供的内容理解模型的训练方法或内容理解方法。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是本公开实施例示出的一种内容理解模型的训练方法的实施环境示意图；
[0031]图2是本公开实施例示出的一种内容理解模型的训练方法的流程示意图；
[0032]图3是本公开实施例示出的一种内容理解方法的流程示意图；
[0033]图4是本公开实施例示出的一种内容理解模型的训练方法的流程示意图；
[0034]图5是本公开实施例示出的一种基础样本数据的示意图；
[0035]图6是本公开实施例示出的一种数据模型的示意图；
[0036]图7是本公开实施例示出的一种基础内容理解模型的结构示意图；
[0037]图8是本公开实施例示出的一种模型迭代优化的示意图；
[0038]图9是本公开实施例示出的一种数据生成与内容理解的闭环示意图；
[0039]图10是本公开实施例示出的一种内容理解模型的训练装置的结构框图；
[0040]图11是本公开实施例示出的一种内容理解装置的结构框图；
[0041]图12是用来实现本公开实施例的内容理解模型的训练方法或内容理解方法的电
子设备的框图。
具体实施方式
[0042]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0043]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0044]首先，针对本公开实施例涉及的应用场景进行描述，本公开实施例提供的内容理解模型的训练方法可应用于数据生产场景或者模型训练场景中。
[0045]相关技术中，通常是利用人工标注的方式来生产数据，并基于人工标注的数据，来针对性地构建相应的内容理解模型，从而达到数据知识抽取的目的。然而，人工标注数据比较耗时耗力，导致数据标注成本较高，数据生产的效率较低，且人工标注数据所得到的数据类型有限，在构建相应的内容理解模型时难以提升内容理解模型的能力。
[0046本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容理解模型的训练方法，包括：对初始模型进行迭代训练，以获得内容理解模型，所述内容理解模型用于对数据资源进行内容识别以获得所述数据资源的内容理解结果；其中，任一次迭代训练包括如下过程：根据样本参考信息生成样本数据；其中，响应于所述任一次迭代训练为第一次迭代训练，所述样本参考信息包括预设数据资源，响应于所述任一次迭代训练为第一次之后的迭代训练，所述样本参考信息包括所述预设数据资源以及上一次迭代训练输出的内容理解结果；将所述样本数据输入上一次迭代训练后得到的内容理解模型中，以完成对模型的本次训练。2.根据权利要求1所述的方法，其中，所述样本数据包括基础样本数据、噪声数据及困难样本数据中至少一项；其中，所述基础样本数据通过对所述样本参考信息进行样本构建处理得到；所述噪声数据通过对所述基础样本数据进行数据增强处理得到；所述困难样本数据通过对所述基础样本数据进行困难样本挖掘处理得到。3.根据权利要求2所述的方法，其中，所述基础样本数据包括样本实体数据、样本分面数据、样本标签数据、样本三元组以及样本键值对；其中，所述样本实体数据用于表征数据对象的实体；所述样本分面数据用于从不同维度来表征所述数据对象；所述样本标签数据用于表征所述数据对象的实体特征；所述样本三元组用于以三元组的形式来表示所述数据对象；所述样本键值对用于以键值对的形式来表示所述数据对象。4.根据权利要求3所述的方法，其中，所述样本实体数据通过对所述样本参考信息进行实体识别处理、词法分析处理及术语挖掘处理中的至少一项处理得到；所述样本三元组根据所述样本实体数据所关联的实体信息生成；所述样本键值对根据所述样本实体数据所关联的实体信息生成；所述样本标签数据根据所述样本参考信息中的摘要信息生成；所述样本分面数据通过由所述样本参考信息所生成的检索词进行检索得到。5.根据权利要求2所述的方法，其中，所述困难样本挖掘处理的过程，包括：将所述基础样本数据输入困难样本挖掘模型，通过所述困难样本挖掘模型对所述基础样本数据进行困难样本挖掘处理，得到所述困难样本数据，所述困难样本挖掘模型提供有困难样本挖掘的功能。6.根据权利要求1所述的方法，其中，所述将所述样本数据输入上一次迭代训练后得到的内容理解模型中，以完成对模型的本次训练，包括：将所述样本数据输入上一次迭代训练后得到的内容理解模型中，以获得本次迭代训练输出的内容理解结果；根据本次迭代训练输出的内容理解结果以及所述样本数据中的样本信息，调整所述内容理解模型的模型参数，所述样本信息用于指示所述样本数据的内容信息。7.根据权利要求1至6任一项所述的方法，其中，所述内容理解模型包括基础内容理解模型、通用内容理解模型与行业内容理解模型中至少一项；其中，所述基础内容理解模型采用多任务统一训练的方式训练得到；所述通用内容理
解模型根据通用数据资源对所述基础内容理解模型进行训练得到；所述行业内容理解模型根据行业数据资源对所述基础内容理解模型进行训练得到。8.根据权利要求1至7任一项所述的方法，还包括：在满足预设条件的情况下，停止所述迭代训练；其中，所述预设条件包括下述条件中的至少一项：所生成的样本数据的数据量大于或等于预设数据量；所生成的样本数据的样本均衡度大于或等于预设均衡度，所述样本均衡度用于衡量样本分布的均衡程度；迭代次数大于或等于预设次数；所述内容理解模型的损失值小于预设阈值。9.一种内容理解方法，包括：获取待进行内容识别的数据资源；将所述数据资源输入内容理解模型，通过所述内容理解模型对所述数据资源进行内容识别，以获得所述数据资源的内容理解结果；其中，所述内容理解模型是采用样本数据对初始模型进行迭代训练得到的；所述样本数据根据样本参考信息生成，响应于第一次迭代训练，所述样本参考信息包括预设数据资源，响应于第一次之后的迭代训练，所述样本参考信息包括所述预设数据资源以及上一次迭代训练输出的内容理解结果。10.一种内容理解模型的训练装置，包括：训练模块，用于对初始模型进行迭代训练，以获得内容理解模型，所述内容...

【专利技术属性】
技术研发人员：王建华，杨宝山，贾桐，冯知凡，崔骁鹏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：