【技术实现步骤摘要】
本专利技术涉及自然语言处理，具体为一种预训练语言模型的训练方法及装置。
技术介绍
1、在自然语言处理nlp
，通过bert、roberta等预训练语言模型与对比学习结合，能够有效提升nlp的下游任务的效果，尤其是在文本分配任务上，效果提升更加明显。其中，对比学习的主要任务是根据样本的相似或者不相似的关系构造正样本和负样本，通过学习让正样本的语义表示接近，让负样本的语义表示远离，以强化样本的语义表示在下游任务中的作用。
2、专利号202210287236.2，公开了一种预训练语言模型的训练方法及装置。包括：从wordnet词表中获取样本分词的关系词，其中，样本分词在wordnet词表中包含至少一种关系，关系词与样本分词具有第一关系，第一关系是从至少一种关系中选取的；从关系词中随机选取n个正样例词；以及，从关系词以外的词中选取k个负样例词；获取样本分词、每个正样例词和每个负样例词对应的句子；对获取到的句子进行局部遮罩mask处理；对遮罩处理后的各个句子两两拼接，并使用拼接后的句子训练预训练语言模型。本专利技术实施例的技术方案，能够使预训练语言模型捕捉到更丰富语义空间的词语或句子级别的表示，从而提高了下游任务的使用效果。
3、但是在使用中，存在其以下缺陷：
4、(1)虽然能够使预训练语言模型捕捉到更丰富语义空间的词语或句子级别的表示，从而提高了下游任务的使用效果，但是，在进行词语和句子级别的表示时，不能自动根据语言当时的情景进行表示，导致词语和句子级别的表示存在错误，而且，在进行语言的提取时，
技术实现思路
1、本专利技术的目的在于提供一种预训练语言模型的训练方法及装置，解决了
技术介绍
中所提出在进行词语和句子级别的表示时，不能自动根据语言当时的情景进行表示，导致词语和句子级别的表示存在错误，而且，在进行语言的提取时，存在多种类似的表达方式，现有的语言模型只会提取其中一种表达方式，导致表达的方式没有优化到最佳的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种预训练语言模型的训练方法，包括以下步骤：
3、步骤一：先将语言数据输入到控制终端中，在语言数据输入到控制终端中后，能够利用语言数据录入模块将语言数据录入到语言数据库中，经过语言分配模块，能够将不同的语言数据进行识别，并且利用语言分配模块预先设置不同语境数据框架，将不同的语言数据分配至不同的语境数据框架中，在进行语言数据的提取时，利用情景判断模块能够对当前语言的情景进行判断，并且提取出符合对应语境的语言数据；
4、步骤二：在提取符合对应语境的语言数据时，能够经过关键字识别模块，对语言数据中的关键字进行识别标注，在标注完成后，当下次遇到相同语境的文字，能够根据标注的位置利用关键字提取模块直接进行提取；
5、步骤三：同时还设置有关键字串联模块，在关键字提取模块对标注的位置进行提取后，能够利用关键字串联模块将与关键字相似的语言数据进行串联调取，控制终端能够从串联的关键字数据中，选择出最优的关键字数据；
6、步骤四：在选择出最优的关键字数据后，能够将最优的关键字数据生成可视化图表，经过可视化图表能够以图片的方式，储存在控制终端内，当用户反馈出现错误的语言数据时，会将错误的语言数据输入到错误语言信息储存模组内，当用户没有反馈出现错误的语言数据时，会将正确的语言数据输入到正确语言信息储存模组内；
7、步骤五：经过错误语言数据和正确语言数据的不断增加，能够利用错误语言数据和正确语言数据建立预选语言模型，经过预选语言模型数据的不端补充，能够在用户输入语言时，直接经过预选语言模型直接调出与输入语言相匹配的语言，并且将预选语言模型与大数据语言模型进行接入，能够将大数据语言数据与预选语言数据进行比对，在进行语言数据的调出时，能够实现比对后再调出语言数据，增加了语言数据调出的准确性。
8、作为本专利技术技术方案的一可选方案，一种预训练语言模型的训练装置，包括：控制终端
9、所述控制终端的输出端与语言数据录入模块的输入端连接，所述语言数据录入模块的输出输入端分别与语言分配模块、语言识别模块和情景判断模块的输出输入端连接。
10、作为本专利技术技术方案的一可选方案，所述语言分配模块、语言识别模块和情景判断模块的输出端与关键字识别模块的输入端连接。
11、作为本专利技术技术方案的一可选方案，所述关键字识别模块的输出端与关键字提取模块的输入端连接。
12、作为本专利技术技术方案的一可选方案，所述关键字提取模块的输出端与关键字串联模块的输入端连接。
13、作为本专利技术技术方案的一可选方案，所述关键字串联模块将数据串联后，将串联的数据生成可视化图表。
14、作为本专利技术技术方案的一可选方案，所述可视化图表的数据根据正确语言数据和错误语言数据进行分类，将数据分储存进入到错误语言数据和正确语言数据内。
15、作为本专利技术技术方案的一可选方案，利用所述错误语言信息模组和正确语言信息模组内的错误语言数据和正确语言数据建立预选语言模型，所述预选语言模型的输出端与控制终端的输入端连接。
16、作为本专利技术技术方案的一可选方案，所述预选语言模型的输出输入端与大数据语言模型的输出输入端连接。
17、与现有技术相比，本专利技术的有益效果如下：
18、1.本专利技术通过语言分配模块、语言识别模块和情景判断模块的结合，不仅可以利用语言分配模块，将不同的语言数据进行识别，而且利用语言分配模块预先设置不同语境数据框架，将不同的语言数据分配至不同的语境数据框架中，在进行语言数据的提取时，利用情景判断模块能够对当前语言的情景进行判断，并且提取出符合对应语境的语言数据，从而增加了语境判断的功能，解决了在进行词语和句子级别的表示时，不能自动根据语言当时的情景进行表示，导致词语和句子级别的表示存在错误的技术问题。
19、2.本专利技术通过关键字识别模块、关键字提取模块和关键字串联模块的结合，在提取符合对应语境的语言数据时，能够经过关键字识别模块，对语言数据中的关键字进行识别标注，在标注完成后，当下次遇到相同语境的文字，能够根据标注的位置利用关键字提取模块直接进行提取，从而提升了提取的速度，而且，由于设置有关键字串联模块，在关键字提取模块对标注的位置进行提取后，能够利用关键字串联模块将与关键字相似的语言数据进行串联调取，控制终端能够从串联的关键字数据中，选择出最优的关键字数据，实现了对相似表达句的优化，解决了在进行语言的提取时，存在多种类似的表达方式，现有的语言模型只会提取其中一种表达方式，导致表达的方式没有优化到最佳的技术问题。
20、3.本专利技术通过语言正确信息储存模组和语言错误信息储存模具，可以将当用户反馈出现错误的语言数据时，会将错误的语言数据输入到错误语言信息储存本文档来自技高网...
【技术保护点】
1.一种预训练语言模型的训练方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：包括：控制终端
3.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述语言分配模块、语言识别模块和情景判断模块的输出端与关键字识别模块的输入端连接。
4.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述关键字识别模块的输出端与关键字提取模块的输入端连接。
5.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述关键字提取模块的输出端与关键字串联模块的输入端连接。
6.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述关键字串联模块将数据串联后，将串联的数据生成可视化图表。
7.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述可视化图表的数据根据正确语言数据和错误语言数据进行分类，将数据分储存进入到错误语言信息模组和正确语言信息模组内。
8.根据权利要求1所述的一种预训练语言模型的训练装置，其
9.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述预选语言模型的输出输入端与大数据语言模型的输出输入端连接。
...【技术特征摘要】
1.一种预训练语言模型的训练方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：包括：控制终端
3.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述语言分配模块、语言识别模块和情景判断模块的输出端与关键字识别模块的输入端连接。
4.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述关键字识别模块的输出端与关键字提取模块的输入端连接。
5.根据权利要求1所述的一种预训练语言模型的训练装置，其特征在于：所述关键字提取模块的输出端与关键字串联模块的输入端连接。
6.根据权利要求1所述的一种预训练语言模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。