【技术实现步骤摘要】
本专利技术涉及神经网络、深度学习技术在人类自然语言阅读理解领域的应用，尤其涉及了一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法。
技术介绍
1、自然语言作为人类表达交流的重要工具，训练机器理解自然语言、执行自然语言处理任务，是人工智能技术发展的长期目标。尤其是随着深度学习技术研究的不断深入，在信息检索、机器翻译与语言识别领域，自然语言处理技术已经为用户带来了巨大的便利。
2、技术的发展催生出人类对于人工智能系统更高的要求。从机器阅读理解的研究角度看，随着transformer以及一系列预训练语言模型的诞生，机器模型对文本的理解和生成能力得到了显著的提升。但是面对一些需要推理能力的问题时，目前的神经网络模型的表现并不尽如人意，甚至会闹出“人工智障”的笑话。研究人员提出了包含常识推理、数学推理、逻辑推理在内的多种推理问答数据集来对模型的推理能力进行考察。这其中，逻辑推理数据集的问题形式最为复杂，也相对最接近用户的使用习惯，对于研究推理问答技术十分具有参考意义。
3、本专利技术基于自然语言处理的神经网络方法，通过设计问题引导的嵌入表示增强方法，增强神经网络模型对于自然语言文本的嵌入表示能力，再对题干以及选项的语义单元进行逻辑划分，来实现进一步的信息更新，从而实现一种有效的、新颖的多项选择式逻辑推理问题解决方法。
4、随着人工智能技术的发展，神经网络模型的逻辑推理能力显得越来越重要。针对于此类问题，目前主流的研究思路主要有：1.改进模型的阅读理解能力。2.建模待解决样例的关系图结构，并通过神经网络按
5、但是以上方法都存在对逻辑推理问题本身关注度不足的问题，大多数方法都是对文本进行生硬的分块，忽略了在此类逻辑推理数据集中，“问题”有不同的类型,对于人类解决问题来说，这对于理解语义有至关重要的影响。同时，部分建模方法缺乏建模长距离语义单元关系的能力。
技术实现思路
1、本专利技术基于神经网络，针对以上缺点提出了一种面向逻辑推理问题的人类解题思维驱动的嵌入增强方法，其旨在解决现有技术中对问题设问方式关注度不足的问题，以及文本语义单元建模过程中存在逻辑表现能力不足与关联能力不足的技术问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，包括以下步骤：
3、步骤1、对待解决样例进行数据清洗，保证输入问题的本身的正确性，再根据选项的个数，将题干、问题与选项拼接起来，完成输入数据的数据格式化，并记录样例中各个字符所属于的句子成分；
4、步骤2、利用预训练语言模型对输入的自然语言文本序列进行向量化表达，获得各个字符的初始嵌入表示，再根据所标注的位置信息获取问题部分所对应的字符序列的嵌入表示，使用问题部分的嵌入表示，使用自注意力神经网络结构编码出逻辑语义过滤向量，然后使用逻辑语义过滤向量，对题干、选项部分的嵌入表示进行逻辑增强表示。
5、步骤3、对输入的自然语言文本序列进行逻辑语义单元的划分，建立起输入文本中的各个语义单元之间的关系图结构；将一个语义单元内的各个字符按照不同的权重，计算出整体语义单元的嵌入表示；基于输入文本序列语义单元的图结构实现语义单元之间的信息交互。
6、步骤4、计算选项的正确概率，基于上一步骤所得到的更新过后的文本序列的嵌入表示，使用全连接神经网络层来计算选项的正确概率。最终给出输入问题样例的答案判断。
7、优选的，所述的步骤1包括如下步骤：
8、步骤1.1、对输入样例的题干、问题、选项分别进行语法检查，并使用生成式大规模语言模型进行语义检查；
9、步骤1.2、根据输入样例的选项个数，将题干、问题复制若干次，分别与每一个选项进行拼接，构成输入神经网络模型的文本序列。
10、步骤1.3、将文本序列形式的数据进行格式化处理，记录于结构数组当中，例如对文本序列中的字符进行位置标记，具体为记录属于题干、问题、选项部分的字符分别有哪些，并记录于各自的标记数组中。
11、优选的，所述的步骤2包括如下步骤：
12、步骤2.1、设置预训练语言模型的参数，对输入的文本序列进行向量化表达，得到文本序列所对应的初始化嵌入表示；
13、步骤2.2、根据位置标记数组抽取出问题部分的文本序列所包含字符的嵌入表示；
14、步骤2.3、基于自注意力机制构建序列编码神经网络，对问题序列进行特征编码，基于问题生成对于题干信息的过滤向量；
15、步骤2.4、再构建相同结构的序列编码神经网络，对问题序列进行特征编码，基于问题生成对于选项信息的过滤向量；
16、步骤2.5、使用逻辑信息过滤向量与题干或是选项序列中的字符嵌入表示进行计算，得到更新嵌入；
17、步骤2.6、使用残差神经网络，将初始嵌入表示与更新嵌入表示按照学习的权重加合在一起。
18、优选的，所述的步骤3，包括如下步骤，
19、步骤3.1、按照规则对输入样例的文本序列进行语义单元划分，并记录语义单元之间的关联关系；
20、步骤3.2、根据语义单元之间的关系，建立其反映文本序列中各语义单元的逻辑关系图；
21、步骤3.3、根据语义单元中所包含的字符的嵌入表示计算每一个语义单元的嵌入表示。
22、步骤3.4、根据题干、选项所包含的字符的嵌入表示计算得到题干、选项的整体嵌入表示。
23、步骤3.5、根据语义单元的逻辑关系图，进行语义单元之间的信息交互；并进行题干、选项之前的语义单元的信息交互；完成语义单元的嵌入更新。
24、步骤3.6、基于字符与语义单元的对应关系，使用步骤2中获取的问题增强的字符嵌入表示以及步骤3中获取的语义单元嵌入表示来进一步更新文本序列中字符的嵌入表示。
25、优选的，所述的步骤4，包括如下步骤：
26、步骤4.1、使用线性神经网络，基于文本序列的字符的嵌入表示，计算出文本序列中各字符的权重向量；
27、步骤4.2、根据位置信息所记录的题干、选项部分各自的位置信息，将权重向量中对应部分的权重提取出来，并进行归一化处理，得到题干信息提取权重向量、选项信息提取权重向量。
28、步骤4.3、根据各自的权重向量，对文本序列中对应位置的字符的嵌入表示进行池化，并将池化后的向量拼接，得到评估特征向量。
29、步骤4.4、依次设置设置随机丢弃层、线性神经网络层、正则化层、激活函数层、线性神经网络层，整合评估特征向量信息，并给出计算结果。
30、步骤4.4、根据四个选项的各自的评估特征向量的计算结果，进行softmax归一化处理，得到最终的选项正确概率。
31、与现有技术相比，本专利技术的有益效果是：
32、针对于目前主流研究方法普遍存在的缺乏本文档来自技高网...
【技术保护点】
1.一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：所述的步骤1包括如下步骤：
3.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：所述的步骤2包括如下步骤：
4.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：所述的步骤3，包括如下步骤：
5.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：所述的步骤4，包括如下步骤：
【技术特征摘要】
1.一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，其特征在于：所述的步骤1包括如下步骤：
3.根据权利要求1所述的一种面向逻辑推理问题的拟人思维驱动的嵌入增强方法，...
【专利技术属性】
技术研发人员：秦科，罗光春，何中海，汪思敏，董谦，秦川，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。