【技术实现步骤摘要】
本说明书涉及语言处理，尤其涉及一种模型训练的方法、实体识别的方法、装置及电子设备。
技术介绍
1、在现阶段的自然语言处理领域中，实体识别技术应用范围极其广泛，在诸如新闻报道、法律文献、医学记录等多种类型的应用场景中都有着极高的实用价值，并且在人工智能领域中，实体识别技术在理解和处理人类自然语言方面也有着较高程度的支持和帮助。
2、目前，实体识别技术的主要实现手段大多通过预先经过训练的实体识别模型来对文本数据进行实体识别，而现阶段在针对实体识别模型的训练过程中大多通过人为标注而构成的数据集来训练模型。但利用人为标注的数据集对模型进行训练时，虽然最终可以获得具有精准实体识别能力的数学模型，但构建大量人为标注的数据集所消耗的时间成本和人力成本都较为高昂，严重影响模型训练效率。
3、所以，为了解决标注成本的问题，目前又出现利用通过预设实体库进行的标注所得的数据集对模型进行训练的方式，虽然通过此种方式自动构建数据集所需的成本较低，但是通过这种方式所得到的标注数据在数量级上却较为庞大，从而导致模型训练的效率也因此受到一定程度的影响。
4、因此，如何能够高效率地训练实体识别模型，以对文本数据中的实体文本进行精准识别，则是一个亟待解决的技术问题。
技术实现思路
1、本说明书提供一种模型训练的方法、实体识别的方法、装置及电子设备，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种模型训练的方法，包括
4、获取第一文本数据和第一文本数据对应的第一标注数据，以及第二文本数据和第二文本数据对应的第二标注数据，所述第一标注数据是预先通过人为对所述第一文本数据中的实体进行标注后得到的，所述第二标注数据是通过预设的实体文本库对所述第二文本数据中的实体进行标注后得到的；
5、将所述第一文本数据输入到原始实体识别模型中，以使所述原始实体识别模型对所述第一文本数据进行实体识别，得到第一识别结果；
6、根据以最小化所述第一识别结果与所述第一标注数据之间的偏差为优化目标对所述原始实体识别模型进行训练时所述原始实体识别模型中各模型参数的变化幅度，确定每个模型参数对应的重要程度值，针对每个模型参数，该模型参数对应的重要程度值用于反映该模型参数对于所述原始实体识别模型输出识别结果的影响程度的大小；
7、根据每个模型参数对应的重要程度值，对所述各模型参数中的至少部分模型参数所对应的学习率进行调整；
8、将所述第二文本数据输入到所述原始实体识别模型中，以使得所述原始实体识别模型对所述第二文本数据进行实体识别，得到第二识别结果；
9、以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，按照针对所述至少部分模型参数所调整的学习率，对所述原始实体识别模型进行训练。
10、可选的，根据以最小化所述第一识别结果与所述第一标注数据之间的偏差为优化目标对所述实体识别模型进行训练时所述实体识别模型中各模型参数的变化幅度，确定每个模型参数对应的重要程度值，具体包括：
11、针对每轮训练，确定在该轮训练中所要训练的中间模型，所述中间模型是所述原始实体识别模型通过在该轮训练之前的各轮训练后得到的；
12、针对所述中间模型中包含的每个模型参数，确定以最小化所述中间模型针对所述第一文本数据所输出的第一识别结果与所述第一标注数据之间的偏差为优化目标对中间模型进行训练时该模型参数在该轮训练的变化幅度；
13、针对所述原始实体识别模型中包含的每个模型参数，根据该模型参数在每轮训练的变化幅度，确定出该模型参数在各轮训练中的平均变化幅度，并根据该模型参数在所述原始实体识别模型中的初始参数值以及该模型参数在各轮训练中的平均变化幅度，确定该模型参数对应的重要程度值。
14、可选的，根据每个模型参数的重要程度值，对所述原始实体识别模型中的至少部分模型参数对应的学习率进行调整，具体包括：
15、根据每个模型参数对应的重要程度值，将所述各模型参数按照重要程度值由大到小的顺序进行排序，得到所述各模型参数对应的重要程度排序结果；
16、根据所述重要程度排序结果，从所述各模型参数中筛选出部分参数；
17、将所述部分参数对应的学习率进行调整。
18、可选的，根据所述重要程度排序结果，从所述各模型参数中筛选出部分参数，具体包括：
19、从所述各模型参数中筛选出在所述重要程度排序结果中低于设定排位的模型参数；
20、将所述部分参数对应的学习率进行调整，具体包括：
21、降低筛选出的模型参数对应的学习率。
22、可选的，以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，按照针对所述至少部分模型参数所调整的学习率，对所述原始实体识别模型进行训练，具体包括：
23、以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，按照针对所述至少部分模型参数所调整的学习率，对所述原始实体识别模型进行训练，以得到更新后实体识别模型；
24、对所述更新后实体识别模型中至少部分模型参数被调整的学习率进行还原，以得到还原后实体识别模型；
25、将所述第一文本数据输入到所述还原后实体识别模型中，以使所述还原后实体识别模型对所述第一文本数据进行实体识别，得到第三识别结果；
26、以最小化所述第三识别结果与所述第一标注数据之间的偏差为优化目标，对所述还原后实体识别模型进行训练，得到训练后的实体识别模型。
27、本说明书提供了一种实体识别的方法，包括：
28、获取文本数据；
29、将所述文本数据输入到实体识别模型中，以使得所实体识别模型针对所述文本数据进行实体识别，得到所述文本数据对应的识别结果，所述实体识别模型是通过如上述模型训练的方法训练得到的；
30、根据所述识别结果，执行目标任务。
31、本说明书提供了一种模型训练的装置，包括：
32、获取模块，用于获取第一文本数据和第一文本数据对应的第一标注数据，以及第二文本数据和第二文本数据对应的第二标注数据，所述第一标注数据是预先通过人为对所述第一文本数据中的实体进行标注后得到的，所述第二标注数据是通过预设的实体文本库对所述第二文本数据中的实体进行标注后得到的；
33、第一识别模块，用于将所述第一文本数据输入到原始实体识别模型中，以使所述原始实体识别模型对所述第一文本数据进行实体识别，得到第一识别结果；
34、第一训练模块，用于根据以最小化所述第一识别结果与所述第一标注数据之间的偏差为优化目标对所述原始实体识别模型进行训练时所述原始实体识别模型中各模型参数的变化幅度，确定每个模型参数对应的重要程度值，针对每个模型参数，该模型参数对应的重要程度值用于反映该模型参数对于所述原始实体识别模型输出识别结果的本文档来自技高网...
【技术保护点】
1.一种模型训练的方法，包括：
2.如权利要求1所述的方法，根据以最小化所述第一识别结果与所述第一标注数据之间的偏差为优化目标对所述实体识别模型进行训练时所述实体识别模型中各模型参数的变化幅度，确定每个模型参数对应的重要程度值，具体包括：
3.如权利要求1所述的方法，根据每个模型参数的重要程度值，对所述原始实体识别模型中的至少部分模型参数对应的学习率进行调整，具体包括：
4.如权利要求3所述的方法，根据所述重要程度排序结果，从所述各模型参数中筛选出部分参数，具体包括：
5.如权利要求1所述的方法，以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，按照针对所述至少部分模型参数所调整的学习率，对所述原始实体识别模型进行训练，具体包括：
6.一种实体识别的方法，包括：
7.一种模型训练的装置，包括：
8.如权利要求7所述的装置，所述第一训练模块具体用于，针对每轮训练，确定在该轮训练中所要训练的中间模型，所述中间模型是所述原始实体识别模型通过在该轮训练之前的各轮训练后得到的；针对所述中间模型
9.如权利要求7所述的装置，所述调整模块具体用于，根据每个模型参数对应的重要程度值，将所述各模型参数按照重要程度值由大到小的顺序进行排序，得到所述各模型参数对应的重要程度排序结果；根据所述重要程度排序结果，从所述各模型参数中筛选出部分参数；将所述部分参数对应的学习率进行调整。
10.如权利要求9所述的装置，所述调整模块具体用于，从所述各模型参数中筛选出在所述重要程度排序结果中低于设定排位的模型参数；
11.如权利要求7所述的装置，所述第二训练模块具体用于，以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，对所述调整后实体识别模型进行训练，得到更新后实体识别模型；对所述更新后实体识别模型中各模型参数被调整的学习率进行还原，以得到还原后实体识别模型；将所述第一文本数据输入到所述还原后实体识别模型中，以使所述还原后实体识别模型对所述第一文本数据进行实体识别，得到第三识别结果；以最小化所述第三识别结果与所述第一标注数据之间的偏差为优化目标，对所述还原后实体识别模型进行训练，得到训练后的实体识别模型。
12.一种实体识别的装置，包括：
13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～5任一项所述的方法。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～5任一项所述的方法。
...【技术特征摘要】
1.一种模型训练的方法，包括：
2.如权利要求1所述的方法，根据以最小化所述第一识别结果与所述第一标注数据之间的偏差为优化目标对所述实体识别模型进行训练时所述实体识别模型中各模型参数的变化幅度，确定每个模型参数对应的重要程度值，具体包括：
3.如权利要求1所述的方法，根据每个模型参数的重要程度值，对所述原始实体识别模型中的至少部分模型参数对应的学习率进行调整，具体包括：
4.如权利要求3所述的方法，根据所述重要程度排序结果，从所述各模型参数中筛选出部分参数，具体包括：
5.如权利要求1所述的方法，以最小化所述第二识别结果与所述第二标注数据之间的偏差为优化目标，按照针对所述至少部分模型参数所调整的学习率，对所述原始实体识别模型进行训练，具体包括：
6.一种实体识别的方法，包括：
7.一种模型训练的装置，包括：
8.如权利要求7所述的装置，所述第一训练模块具体用于，针对每轮训练，确定在该轮训练中所要训练的中间模型，所述中间模型是所述原始实体识别模型通过在该轮训练之前的各轮训练后得到的；针对所述中间模型中包含的每个模型参数，确定以最小化所述中间模型针对所述第一文本数据所输出的第一识别结果与所述第一标注数据之间的偏差为优化目标对中间模型进行训练时该模型参数在该轮训练的变化幅度；针对所述原始实体识别模型中包含的每个模型参数，根据该模型参数在每轮训练的变化幅度，确定出该模型参数在各轮训练中的平均变化幅度，并根据该模型参数在所述原始实体识别模型中的初始参数值以及该模型参数在各...
【专利技术属性】
技术研发人员：马志远，都金涛，孟昌华，周欣欣，嵇佳颖，李肖潞，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。