【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种文本提取方法、装置、计算机设备及存储介质。
技术介绍
1、随着互联网的飞速进步和全球金融、商业的高速发展，商业信息文本呈现爆炸式增长，针对于不同的商业信息文本需要提取出其中的重要内容，然后将这些重要内容呈现给投资者。
2、由于商业信息文本涉及到的语言种类日益增多，需要构建出支持多语言的实体识别方案。相关技术中，通过商业信息对应的文本进行预处理，然后再将处理后的文本输入到传统的文本识别模型中进行内容提取，最后输出相应的内容提取结果。但是，在商业信息文本是多语言的情况下，传统的文本识别模型存在文本处理效率低，且还会出现对商业信息文本中的内容提取错误的情况。
技术实现思路
1、本申请实施例提出一种文本提取方法、装置、计算机设备及存储介质，可以提高对多语言文本内容提取的效率和准确性。
2、为实现上述目的，本申请实施例的第一方面提出了一种文本提取方法，所述方法包括：
3、获取多语言的原始文本，并通过多语言通用的预设编码规则对所述原始文本进行编码，得到编码文本；
4、对所述编码文本进行划分处理，得到多个子编码文本；
5、对每个子编码文本进行特征编码，生成所述每个子编码文本对应的文本特征；
6、将每个文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本，所述训练后的多语言文本识别模型基于所述预设编码规则下的多语言训练文本训练得到；
7、确定每个识别文本对应的文本
8、为实现上述目的，本申请实施例的第二方面提出了一种文本提取装置，所述装置包括：
9、获取模块，用于获取多语言的原始文本，并通过多语言通用的预设编码规则对所述原始文本进行编码，得到编码文本；
10、划分模块，用于对所述编码文本进行划分处理，得到多个子编码文本；
11、编码模块，用于对每个子编码文本进行特征编码，生成所述每个子编码文本对应的文本特征；
12、识别模块，用于将每个文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本，所述训练后的多语言文本识别模型基于所述预设编码规则下的多语言训练文本训练得到；
13、提取模块，用于确定每个识别文本对应的文本类别，并根据所述文本类别在所述每个识别文本中提取出目标文本。
14、在一些实施方式中，划分模块，用于在所述编码文本中确定出特定字符对应的特定编码字符；
15、根据所述特定编码字符对所述编码文本进行划分处理，得到多个子编码文本。
16、在一些实施方式中，识别模块包括位置编码子模块和识别子模块；
17、位置编码子模块，用于为每个文本特征确定出相应的位置编码，并将所述每个文本特征和所述每个文本特征对应的位置编码相结合生成所述每个文本特征对应的目标文本特征；
18、识别子模块，用于将每个目标文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本。
19、在一些实施方式中，位置编码子模块，用于确定每个文本特征对应的子编码文本在所述编码文本中的排列顺序；
20、根据所述排列顺序对所述每个文本特征进行正向编码，得到第一位置编码；
21、根据所述排列顺序对所述每个文本特征进行逆向编码，得到第二位置编码；
22、将所述每个文本特征、所述每个文本特征对应的第一位置编码和第二位置编码相结合生成所述每个文本特征对应的目标文本特征。
23、在一些实施方式中，所述训练后的多语言文本识别模型包括训练后的编码模型和训练后的解码模型，所述训练后的编码模型包括多个训练后的子编码模型，所述训练后的解码模型包括多个训练后的子解码模型，所述子编码模型的数量大于所述子解码模型的数量；
24、识别子模块，用于将每个目标文本特征输入到所述训练后的编码模型中，输出所述每个目标文本特征对应的注意力特征；
25、将所述每个目标文本特征对应的注意力特征输入到所述训练后的解码模型中，输出所述目标文本特征对应的识别文本。
26、在一些实施方式中，识别子模块，用于将所述每个目标文本特征输入到第一个所述子编码模型中，得到第一个所述子编码模型输出的子注意力特征；
27、将第一个所述子编码模型输出的子注意力特征输入到后一个所述子编码模型中，得到后一个所述子编码模型输出的子注意力特征；
28、重复将前一个所述子编码模型输出的子注意力特征输入到后一个所述子编码模型中，直至最后一个所述子编码模型输出所述每个目标文本特征对应的注意力特征。
29、在一些实施方式中，识别子模块，用于获取任务文本以及所述任务文本对应的任务文本特征；
30、将所述任务文本特征和所述每个注意力特征输入到所述训练后的解码模型中，输出所述目标文本特征对应的识别文本。
31、为实现上述目的，本申请实施例的第三方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的文本提取方法。
32、为实现上述目的，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的文本提取方法。
33、本申请提出的文本提取方法、装置、计算机设备及存储介质，通过获取多语言的原始文本，并通过多语言通用的预设编码规则对原始文本进行编码，得到编码文本；对编码文本进行划分处理，得到多个子编码文本；对每个子编码文本进行特征编码，生成每个子编码文本对应的文本特征；将每个文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本，训练后的多语言文本识别模型基于预设编码规则下的多语言训练文本训练得到；确定每个识别文本对应的文本类别，并根据文本类别在每个识别文本中提取出目标文本。以此，将多语言的原始文本通过多语言通用的预设编码规则进行编码得到编码文本，然后将编码文本划分为多个子编码文本，由于编码文本是基于预设编码规则生成的，所以子编码文本具备统一性，再生成每个子编码文本的文本特征，最后输入到训练后的多语言识别模型中进行识别，从而输出多个识别文本，相对于相关技术中通过传统的文本识别模型直接来提取多语言文本中的文本内容，本申请中采用预设编码规则来统一多语言，并且减少了对多语言文本进行文本筛选、文本过滤等步骤，这样有利于提高训练后的多语言文本识别模型对多语言文本内容提取的效率和准确性，之后确定每个识别文本对应的文本类别，并根据文本类别在每个识别文本中提取出目标文本，这样根据识别文本的文本类别来进一步提取目标文本，能够进一步提高对多语言文本内容提取的效率和准确性。
本文档来自技高网...【技术保护点】
1.一种文本提取方法，其特征在于，包括：
2.根据权利要求1所述的文本提取方法，其特征在于，所述对所述编码文本进行划分处理，得到多个子编码文本，包括：
3.根据权利要求1所述的文本提取方法，其特征在于，所述将每个文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本，包括：
4.根据权利要求3所述的文本提取方法，其特征在于，所述为每个文本特征确定出相应的位置编码，包括：
5.根据权利要求3所述的文本提取方法，其特征在于，所述训练后的多语言文本识别模型包括训练后的编码模型和训练后的解码模型，所述训练后的编码模型包括多个训练后的子编码模型，所述训练后的解码模型包括多个训练后的子解码模型，所述子编码模型的数量大于所述子解码模型的数量；
6.根据权利要求5所述的文本提取方法，其特征在于，所述将每个目标文本特征输入到所述训练后的编码模型中，输出所述每个目标文本特征对应的注意力特征，包括：
7.根据权利要求5所述的文本提取方法，其特征在于，所述将所述每个目标文本特征对应的注意力特征输入到所述训练后的解码
8.一种文本提取装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的文本提取方法。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的文本提取方法。
...【技术特征摘要】
1.一种文本提取方法，其特征在于，包括：
2.根据权利要求1所述的文本提取方法，其特征在于，所述对所述编码文本进行划分处理，得到多个子编码文本，包括：
3.根据权利要求1所述的文本提取方法，其特征在于，所述将每个文本特征输入到训练后的多语言文本识别模型中进行文本识别，输出多个识别文本，包括：
4.根据权利要求3所述的文本提取方法，其特征在于，所述为每个文本特征确定出相应的位置编码，包括：
5.根据权利要求3所述的文本提取方法，其特征在于，所述训练后的多语言文本识别模型包括训练后的编码模型和训练后的解码模型，所述训练后的编码模型包括多个训练后的子编码模型，所述训练后的解码模型包括多个训练后的子解码模型，所述子编码模型的数量大于所述子解码模型的数量；
6.根据权利要求...
【专利技术属性】
技术研发人员：李俊杰，刘智恒，陈闽川，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。