一种文本纠错方法及装置、设备、存储介质制造方法及图纸

本申请实施例公开了一种文本纠错方法，所述方法包括：获取待纠错文本；将所述待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果。另外，本申请实施例还公开了一种文本纠错装置、设备及存储介质。储介质。储介质。

【技术实现步骤摘要】
一种文本纠错方法及装置、设备、存储介质


[0001]本申请实施例涉及自然语言处理领域，涉及但不限于一种文本纠错方法及装置、设备、存储介质。

技术介绍

[0002]目前，文本纠错方法包括以下三种：利用词典的文本纠错、基于编辑距离的文本纠错和基于深度学习模型的文本纠错。其中，利用深度学习模型的文本纠错方法能够可以避免人工提取特征，减少人工参与，准确度也较基于词典或编辑距离的文本纠错方法要高。
[0003]利用深度学习模型的文本纠错方法中使用的深度学习模型包括：循环神经网络(Recurrent Neural Network,RNN)+条件随机场模型(Conditional Random Field，CRF)、基于转换的双向语言模型(Bidirectional Encoder Representations from Transformers，BERT)+CRF等，是利用RNN或BERT提取输入文本的特征，利用CRF输出错别字标签即进行错误识别，再利用分类器改正错别字即错别字纠正。这些深度学习模型在建模过程即训练过程中，也是利用RNN或BERT提取输入文本的特征，利用CRF输出错别字标签即进行错误识别，再利用分类器改正错别字即错别字纠正，根据纠正结果对模型进行监督，因此，整体纠错准确率会比较低。

技术实现思路

[0004]有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种文本纠错方法及装置、设备、存储介质，能够提高纠错准确率。
[0005]本申请实施例的技术方案是这样实现的：<br/>[0006]第一方面，本申请实施例提供一种文本纠错方法，所述方法包括：
[0007]获取待纠错文本；
[0008]将所述待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果。
[0009]第二方面，本申请实施例提供一种文本纠错装置，所述装置包括：
[0010]接收单元，用于获取待纠错文本；
[0011]纠错单元，用于将所述待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果。
[0012]第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储
器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本纠错方法中的步骤。
[0013]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述文本纠错方法中的步骤。
[0014]本申请实施例中，提供了一种文本纠错方法，获取待纠错文本；将待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果；从而将文本纠错任务拆分为错别字识别和错别字纠正两个任务，通过两个任务的执行结果共同对文本纠错模型进行训练，使得文本纠错模型的训练结果受两个任务的结果的监督，使得两个任务相互影响，提高纠错结果的准确性。
附图说明
[0015]图1为本申请实施例信息处理系统的可选地结构示意图；
[0016]图2为本申请实施例信息处理系统的可选地结构示意图；
[0017]图3为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0018]图4为本申请实施例提供的文本纠错模型的可选地结构示意图；
[0019]图5为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0020]图6为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0021]图7为本申请实施例提供的特征提取模块的可选地结构示意图；
[0022]图8为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0023]图9为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0024]图10为本申请实施例提供的文本纠错方法的可选地流程示意图；
[0025]图11为本申请实施例提供的文本纠错装置的一种可选的结构示意图；
[0026]图12为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
[0027]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0028]本申请实施例可提供为文本纠错方法及装置、设备和存储介质。实际应用中，文本纠错方法可由文本纠错装置实现，文本纠错装置中的各功能实体可以由计算机设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
[0029]本申请实施例的文本纠错方法可应用于图1所示的信息处理系统，信息处理系统中的文本纠错设备能够对待纠错文本进行处理，得到第一输出和第二输出，所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；
[0030]在一示例中，如图1所示，该信息处理系统包括客户端10和服务端20；其中，客户端
10中安装有能够接收用户输入操作的输入应用程序APP或提供输入页面的浏览器，用户可通过输入应用程序APP或输入页面接收用户输入的待纠错文本。服务端20为客户端10的服务，服务端20中包括有文本纠错模型，服务端20能够接收待纠错文本，并基于文本纠错模型201对待纠错文本进行纠错。客户端10和服务端20之间通过网络30进行交互。
[0031]服务端20可实施为实现文本纠错方法的文本纠错设备。服务端20获取待纠错文本；将待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果，将所述第一输出和所述第二输出推送至客户端10。客户端10中可通过显示器呈现待纠错文本、第一输出和第二输出给本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本纠错方法，其特征在于，所述方法包括：获取待纠错文本；将所述待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出；所述第一输出表征所述待纠错文本的错误识别结果；所述第二输出表征所述待纠错文本的纠错结果；其中，所述文本纠错模型的参数基于训练数据对应的第一预测结果和第二预测结果得到，所述第一预测结果表征所述训练数据的错误识别结果；所述第二预测结果表征所述训练数据的纠错结果。2.根据权利要求1所述的方法，其特征在于，所述文本纠错模型包括：特征提取模块、识别模块和纠错模块；所述将所述待纠错文本输入文本纠错模型，得到所述文本纠错模型输出的第一输出和第二输出，包括：将所述待纠错文本输入所述特征提取模块，得到所述特征提取模块输出的特征序列；将所述特征序列输入所述识别模块，得到所述识别模块输出的所述第一输出；将所述第一输出输入所述纠错模块，得到所述纠错模块输出的所述第二输出。3.根据权利要求2所述的方法，其特征在于，所述特征提取模块包括：特征向量层和至少一个转换层；所述将所述待纠错文本输入所述特征提取模块，得到所述特征提取模块输出的特征序列，包括：将所述待纠错文本输入所述特征向量层，得到所述特征向量层输出的文本向量序列；将所述文本向量序列输入所述至少一个转换层，得到所述至少一个转换层中每一转换层输出的编码序列；根据所述每一转换层对应的权重对相应的编码序列进行加权求和，得到所述特征序列。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述训练数据输入所述文本纠错模型，得到所述文本纠错模型输出的所述第一预测结果和所述第二预测结果；基于所述第一预测结果、所述第二预测结果和所述训练文本对应的标签集，确定所述文本纠错模型的第一损失；所述标签集中的标签表征所述训练数据中对应字符是否为错别字；当所述第一损失不满足停止训练条件时，根据所述第一损失对所述文本纠错模型的参数进行调整，并将所述训练数据输入参数调整后的文本纠错模型，以得到新的第一损失，直到所述文本纠错模型的第一损失满足停止训练条件。5.根据权利要求4所述的方法，其特征在于，所述文本纠错模型包括：特征提取模块、识别模块和纠错模块；所述将所述训练数据输入所述文本纠错模型，得到所述文本纠错模型输出的所述第一预测结果和所述第二预测结果，包括：将所述训练数据输入所述特征提取模块，得到所述特征提取模块输出的训练特征序列；将所述训练特征序列分别输入所述识别模块和所述纠错模块，得到所述识别模块输出的所述第一预测结果，和所述纠错模块输出的...

【专利技术属性】
技术研发人员：袁鹏，李浩然，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：