【技术实现步骤摘要】
技术介绍
1、中文语法纠错是自然语言处理中的重要课题，其核心目标在于侦测并修正中文文本内的语法不规范之处。这类不规范可能涉及词语顺序的错误、词性搭配不当或句子构造的问题，这些错误会显著影响文本的明确性和可读性。因此，对于中文语法校正技术的需求正逐步上升。
2、在追求提升中文语法纠错的精确度与效率方面，构建高效的纠错模型显得极为重要。这些模型能够自动化地检测并修复文本中的语法问题。同时，鉴于中文文本在众多领域及不同应用场景中的普及，纠错模型也必须能够适应各种专业背景和使用情境，以迎合不同用户和场景的具体需求。
3、中文语法错误的识别涉及自动判断自然语言句子中的不准确之处，例如成分的遗漏或多余、不适当的语序等。这一任务通常包括确认错误的有无、分类以及精确定位。恰当利用语法检测技术可以显著增强纠错的效果。
4、综上所述，可以看出中文语法纠错技术对于提高文本的整体质量、优化用户体验以及满足多样化应用的要求具有不可替代的作用。语法检测技术，作为达到这一目标的核心，不仅确保了文本的准确性与专业性，也减少了误解和交流的障碍。此外，它还能助力非母语者提升写作技能，促进语言教育。在自然语言处理的领域中，它同样提升了机器翻译、语音识别等技术的准确性。展望未来，随着技术的不断演进，语法检测技术将持续引领中文语法纠错领域的创新发展。
技术实现思路
1、本专利技术提供了一种基于检测和拼音联合增强的中文语法纠错方法，以解决中文语法纠错精确率较低的问题，本专利技术在mucg
2、本专利技术的技术方案是：一种基于检测和拼音联合增强的中文语法纠错方法，所述方法的具体步骤如下：
3、step1、选取预训练模型bart作为基础模型架构，该模型适合本任务的需求。在选取后，对基础模型进行效果测试。为了确保模型的性能，我们特别采用中文语法纠错数据集作为训练集、验证集和测试集，以全面评估模型的准确性和鲁棒性；
4、step2、综合搜集并整理所有的中文拼音，构建一个全面包含所有拼音信息的中文拼音字典。该字典的构建旨在为后续模型提供准确的拼音数据支持。；
5、step3、对基础模型框架进行优化整理，在此基础上新增一个拼音编码模块。该模块的设计目的是使模型能够有效学习并理解拼音信息，从而提高模型的整体性能；
6、step4、在拼音编码模块之后，引入交叉注意力机制，该机制负责融合拼音信息与文本信息。同时，为了提升信息处理的纯净度，本专利技术增加了自适应门控机制，用于过滤掉融合后文本信息中可能存在的有害信息；
7、step5、对整合了拼音编码和自适应门控机制的模型进行综合训练和优化。通过在文本编码端添加检测层联合优化与调整模型参数，以达到最佳的性能指标。
8、作为本专利技术的进一步方案，所述step1的具体步骤如下：
9、step1.1、首先获取开源且预先训练好的中文bart-large模型，该模型采用编码端到解码端的架构设计，适用于中文文本的处理；
10、step1.2、接着，收集并获取开放访问的数据集，包括lang8数据集、hsk数据集和nlpcc2018数据集，这些数据集将用于训练和评估模型；
11、step1.3、对lang8数据集和hsk数据集进行预处理，移除数据集中的重复数据以及含有过多噪声的数据，以保证数据质量。此外，将hsk数据集重复五次融入lang8数据集中，以此构建最终的训练语料库，增强训练数据的多样性和模型的泛化能力。
12、step1.4、以bart架构为基础模型，对其进行在mucgec数据集上进行初步测试，以获取模型的基准性能结果。
13、作为本专利技术的进一步方案，所述step2包括如下：
14、step2.1、从互联网上广泛搜集所有可能存在的中文拼音表示，构建一个基础的拼音字典vp1。该字典包含所有可能的拼音，为后续处理提供全面的拼音数据支持；
15、step2.2、利用公开的拼音转换工具pypinyin，将训练集中的所有中文字符转换为对应的拼音表示p。通过对训练语料中的拼音表示进行去重处理，并与步骤2.1中构建的基础拼音字典pv1合并，最终得到一个包含所有拼音的完整字典pv。
16、step2.3、对最终构建的拼音字典pv中的所有拼音表示进行排序。根据拼音的相似性，将相近的拼音放置在字典中的邻近位置，以增强模型对相似拼音的学习和区分能力。
17、作为本专利技术的进一步方案，所述step3的具体步骤如下：
18、step3.1、对于输入句子x，首先实验原始bart字典进行分词，随后通过pypinyin将输入句子中的每一个字符xi转化成相应拼音id表示pi；
19、step3.2、在基础模型上增加拼音嵌入层，利用拼音嵌入层将稀疏的拼音id表示pi映射为稠密的拼音向量表示
20、step3.3、将上一步得到的稠密拼音向量作为私有的长短时记忆网络的输入，经过私有长短时记忆网络编码获取拼音上下文相关字表示
21、作为本专利技术的进一步方案，所述step4的具体步骤如下：
22、step4.1、当获取step3.3的拼音上下文相关字表示后，通过将基础模型中的文本编码端的输出与拼音上下文相关字表示作为多头注意力机制的输入，通过融合拼音信息与文本信息，并获取带有大量拼音信息的文本表示
23、step4.2、将上一步得到的带有大量拼音信息的文本表示通过自适应门控，过滤其中存在的有害信息，得到最终的带有拼音信息的文本表示hi。通过使用最终的文本信息表示hi作为解码端输入，提升语法纠错模型对拼音信息利用能力。
24、作为本专利技术的进一步方案，所述step5的具体步骤如下：
25、step5.1、将基础模型中的文本编码端的输出经过正则化与线性变化，减少模型过拟合率，得到离散文本表示
26、step5.2、离散文本表示作为私有的双向长短时记忆网络的输入，通过私有的双向长短时记忆网络捕获文本信息之间可能存在的错误信息，并得到带有检测信息的向量表示
27、step5.3、带有错误信息的向量表示经过分类层后，将稠密的向量表示映射成稀疏的检测信息
28、step5.4、尝试使用条件随机场对检测信息建模，通过条件随机场计算负对数似然函数优化文本编码端。
29、本专利技术的有益效果是：
30、1、本专利技术首先利用原始一种预训练语言模型bart模型构建了一个端到端的语法纠错基础模型，该模型能够利用bart模型强大的语言表征能力来提升纠错性能。
31、2、在bart模型的编码阶段结束后，增加了一个错误检测层，此检测层旨在通过精确地识别错误来减轻模型过度校正的问题。同时本专利技术使用私有拼音编码器来学习字符的拼音信息表示，并将这一表示与文本信息表示通过交叉注意力机制相结合，进本文档来自技高网...
【技术保护点】
1.一种基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述方法的具体步骤包括如下：
2.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述Step1的具体步骤包括如下：
3.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述Step2的具体步骤包括如下：
4.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述Step3的具体步骤如下：
5.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述Step4的具体步骤如下：
6.根据权利要求4基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述Step5的具体步骤包括如下：
【技术特征摘要】
1.一种基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述方法的具体步骤包括如下：
2.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述step1的具体步骤包括如下：
3.根据权利要求1基于检测和拼音联合增强的中文语法纠错方法，其特征在于：所述step2的具体步骤包括如下：
【专利技术属性】
技术研发人员：李英，朱世昌，余正涛，高盛祥，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。