面向高考咨询基于多视角注意力的智能语义匹配方法与装置制造方法及图纸

本发明专利技术公开了一种面向高考咨询基于多视角注意力的智能语义匹配方法与装置，属于人工智能、自然语言处理技术领域。本发明专利技术要解决的技术问题为判断句子对蕴含的语义意图是否一致，采用的技术方案为：通过构建并训练由多粒度嵌入模块、多视角语义匹配模块、特征比对模块及标签预测模块所构成的语义匹配模型，捕获句子对在同一粒度上的语义对齐信息，通过自注意力机制获取句子中重要的语义成分，并进行句子间互注意力操作，得到句子级别的语义对齐表示，同时对两个句子进行相似性衡量，以判断句子对所蕴含的语义意图是否一致。该装置包括句子对语义匹配知识库构建单元、训练数据集生成单元、句子对语义匹配模型构建单元及句子对语义匹配模型训练单元。义匹配模型训练单元。义匹配模型训练单元。

【技术实现步骤摘要】
面向高考咨询基于多视角注意力的智能语义匹配方法与装置


[0001]本专利技术涉及人工智能、自然语言处理
，具体涉及一种面向高考咨询基于多视角注意力的智能语义匹配方法与装置。

技术介绍

[0002]句子对语义匹配任务旨在衡量两个句子所蕴含的语义意图是否一致，是许多自然语言处理任务的重要基础。随着高考招生政策的不断调整，高考志愿填报咨询的需求不断增长。高考咨询服务正以科技形态出现在人们的生活中，以大数据、云计算以及人工智能为代表的高新科技，将从根本上改变传统高考咨询的运作方式。对于高考咨询服务，句子对语义匹配就是一项至关重要的工作。句子对语义匹配可用以衡量用户咨询的问题和高考咨询服务后台数据库中所包含标准问题的语义是否一致，从而选择标准问题的答案答复用户的咨询。句子对语义匹配任务是一项基础性且极具挑战性的工作，该工作所面临的许多问题目前还没有完善的解决方案，即使是针对特定领域的句子对语义匹配工作也有许多亟待解决的问题。
[0003]目前句子对语义匹配任务的解决方案大致可以分为两类，一类是基于表示的方法，该类方法通过对两个句子分别进行编码来获得两个句子各自的语义特征表示，随后通过相似度函数衡量两个句子的语义相似性；另一类方法是基于交互的方法，这类方法首先对两个句子进行编码操作，随后通过注意力机制来实现两个句子之间的特征交互操作，最后将两个句子的特征表示传入相似度函数进行计算。在句子对语义匹配任务中，基于表示的方法有实现方式简单高效且训练速度快的优点，但是缺乏一个句子对另外一个句子的语义特征感知，从而使得提取到的语义特征较为单一。相较于基于表示的语义匹配方法，基于交互的句子对语义匹配方法，在获得自身语义特征的同时，还可以从自身语义特征出发去感知另外一个句子的语义特征，从而可以得到更加全面丰富的语义特征表示。具体到中文的句子对语义匹配任务，不少工作考虑了中文中单个字可以表达一定语义的特点，故而有些工作考虑将字词粒度分别进行编码以提取不同粒度的语义信息，同时进行一些交互操作，但是许多工作所进行的交互大多停留在字词级别或句子级别，缺乏多级别的交互，且忽视了字词粒度交互之后进行自注意力机制以提取重要的语义特征，同时也忽略了将得到的关键语义特征进行编码以感知上下文语义信息。
[0004]针对现有的句子对语义匹配方法存在的不足，本专利技术提出了一种面向高考咨询基于多视角注意力的智能语义匹配方法与装置。该方法首先对句子进行多粒度嵌入处理，捕获更加全面细致的语义特征信息；实现一种多视角语义匹配模块，对句子的字词粒度进行编码，随后通过对两个句子的同一粒度进行互注意力机制以提取字词粒度的语义对齐表示，且对句子的不同粒度进行自注意力机制以提取句子中所包含的重要语义特征，并对提取到的语义特征进行进一步的编码操作以感知上下文语义信息，随后进行句子对的互注意力机制，从而可以提取到高层次的语义对齐信息；实现一种特征比对模块，对比两个句子的语义特征的相似性并进行一维最大池化操作；实现标签预测模块，以达到判断句子对所蕴
含的语义成分是否一致的目的。

技术实现思路

[0005]本专利技术的技术任务是提供面向高考咨询基于多视角注意力的智能语义匹配方法与装置，通过捕获多粒度级别的交互信息和重要的语义特征，以达到判断句子对所蕴含的语义意图是否一致的目的。
[0006]本专利技术的技术任务是按以下方式实现的，面向高考咨询基于多视角注意力的智能语义匹配方法，该方法通过构建并训练由多粒度嵌入模块、多视角语义匹配模块、特征比对模块及标签预测模块所构成的语义匹配模型，捕获句子对在同一粒度上的语义对齐信息，通过自注意力机制获取句子中重要的语义成分，并进行句子间互注意力操作，得到句子级别的语义对齐表示，同时对两个句子进行相似性衡量，以判断句子对所蕴含的语义意图是否一致；具体如下：
[0007]多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的字词嵌入表示；
[0008]多视角语义匹配模块对句子的字词嵌入表示依次进行互注意力与自注意力操作以及句子级别的互注意力操作，得到句子级别的高层次语义对齐表示；
[0009]特征比对模块对句子级别的高层次语义对齐表示进行比较并进行一维最大池化操作，得到句子对的语义匹配向量；
[0010]标签预测模块将句子对的语义匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配值与预设的阈值进行比较，根据比较结果，判定句子对的语义意图是否一致。
[0011]作为优选，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；
[0012]其中，构建字词映射转换表：映射规则为以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成本专利技术所需的字词映射转换表；其中，字词表根据句子对语义匹配断字处理知识库和分词处理知识库来构建，该知识库通过对句子对语义匹配知识库的原始数据文本进行断字预处理和分词预处理操作而得；其后，再使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；
[0013]构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、 sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_char sentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词都按照字词映射转换表转化为相应的数字标识；
[0014]构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；针对输入句子sentence1_char、sentence2_char、sentence1_word和sentence2_word得到其相应句子向量 sentence1_char_embed、sentence2_char_embed、sentence1_word_embed和 sentence2_word_embed；句子对语义匹配知识库中每一个句子都可以通过字词向量映射的方式，将句子信息转化为向量形式。
[0015]更优地，所述多视角语义匹配模块的构建过程具体如下：
[0016]字词粒度语义特征表示的提取：首先使用BiLSTM编码器对两个句子的字嵌入表示和词嵌入表示进行编码，得到两句子的字粒度语义特征表示和词粒度语义特征表示；对于句子1，公式如下：
[0017][0018][0019]其中，L为句子的长度，和分别表示句子1在第i个位置处的字嵌入表示和字粒度语义特征表示，和分别表示句子1在第m个位置处的词嵌入表示和词粒度语义特征表示；对于句子2，公式如下：
[0020][0021][0022]其中公式(3)和(4)的符号含义与公式(1)和(2)大致相同，区别在于，Q表示句子2，j表示句子2在字粒度下的第j个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高考咨询基于多视角注意力的智能语义匹配方法，其特征在于，该方法通过构建并训练由多粒度嵌入模块、多视角语义匹配模块、特征比对模块及标签预测模块所构成的语义匹配模型，捕获句子对在同一粒度上的语义对齐信息，通过自注意力机制获取句子中重要的语义成分，并进行句子间互注意力操作，得到句子级别的语义对齐表示，同时对两个句子进行相似性衡量，以判断句子对所蕴含的语义意图是否一致；具体如下：多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的字词嵌入表示；多视角语义匹配模块对句子的字词嵌入表示依次进行互注意力与自注意力操作以及句子级别的互注意力操作，得到句子级别的高层次语义对齐表示；特征比对模块对句子级别的高层次语义对齐表示进行比较并进行一维最大池化操作，得到句子对的语义匹配向量；标签预测模块将句子对的语义匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配值与预设的阈值进行比较，根据比较结果，判定句子对的语义意图是否一致。2.根据权利要求1所述的面向高考咨询基于多视角注意力的智能语义匹配方法，其特征在于，所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层；其中，构建字词映射转换表：映射规则为以数字1为起始，随后按照每个字或词被录入字词表的顺序依次递增排序，从而形成字词映射转换表；其后，再使用Word2Vec训练字词向量模型，得到各字词的字词向量矩阵；构建输入模块：输入层包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_charsentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词都按照字词映射转换表转化为相应的数字标识；构建字词向量映射层：加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数；针对输入句子sentence1_char、sentence2_char、sentence1_word和sentence2_word得到其相应句子向量sentence1_char_embed、sentence2_char_embed、sentence1_word_embed和sentence2_word_embed。3.根据权利要求1所述的面向高考咨询基于多视角注意力的智能语义匹配方法，其特征在于，所述多视角语义匹配模块的构建过程具体如下：字词粒度语义特征表示的提取：首先使用BiLSTM编码器对两个句子的字嵌入表示和词嵌入表示进行编码，得到两句子的字粒度语义特征表示和词粒度语义特征表示；对于句子1，公式如下：公式如下：其中，L为句子的长度，P
ic
和分别表示句子1在第i个位置处的字嵌入表示和字粒度语义特征表示，和分别表示句子1在第m个位置处的词嵌入表示和词粒度语义特征表示；
对于句子2，公式如下：公式如下：其中公式(3)和(4)的符号含义与公式(1)和(2)大致相同，区别在于，Q表示句子2，j表示句子2在字粒度下的第j个位置，n表示句子2在词粒度下的第n个位置，其余表示可以类比表示；句子对同一粒度的互注意力操作：对得到的两个句子的字粒度语义特征表示和词粒度语义特征表示进行同一粒度的互注意力操作，即在字粒度下进行句子1和句子2的互注意力操作，得到字粒度级别的句子1与句子2的对齐表示，在词粒度下进行句子1和句子2的互注意力操作，得到词粒度级别的句子1与句子2的对齐表示；对于字粒度级别的句子对的互注意力机制，公式如下：公式如下：公式如下：其中，tanh为激活函数，exp为指数函数，s1
ij
为在字粒度级别下句子1的第i个位置和句子2第j个位置的相似度权重，W
c1
和W
c2
为可训练的权重参数，和的含义与公式(1)、(3)一致，为句子1在字粒度级别下第i个位置处的字粒度语义对齐表示，是根据相似度权重对句子2中每个字的字粒度语义特征表示加权求和得到的，同理表示句子2在字粒度级别下第j个位置处的字粒度语义对齐表示；对于词粒度级别的互注意力机制，公式如下：公式如下：公式如下：其中各符号含义可以类比公式(5)
‑
(7)，此处只是将用于代表字的上标或下标c改为用于代表词的上标或下标w，和分别表示在词粒度级别下句子1在第m个位置处的词粒度语义特征表示和词粒度语义对齐表示，和分别表示在词粒度级别下句子2在第n个位置处的词粒度语义特征表示和词粒度语义对齐表示；句子字词粒度的自注意力操作：对进行互注意力机制操作后得到的句子对的字词粒度语义对齐表示进行自注意力操作，即对句子1的字粒度和词粒度分别进行自注意力操作，得到句子1在字粒度级别下的重要语义特征与词粒度级别下的重要语义特征，可以以此类推
句子2的相关处理；对于句子1的字粒度和词粒度下的自注意力机制操作以及重要特征的提取，公式如下：公式如下：公式如下：公式如下：其中，C
p1
和C
p2
表示句子1在字粒度级别下可训练的权重参数，W
p1
和W
p2
表示句子1在词粒度级别下可训练的权重参数，和分别表示句子1在字粒度和词粒度级别下的语义对齐表示的集合，分别由公式(6)中的和公式(9)中的组成，p
c'
和p
w'
分别表示句子1在字粒度和词粒度级别下的注意力矩阵，和分别表示句子1在字粒度和词粒度级别下所包含的重要语义特征，该重要语义特征的个数是一个超参数；同理可提取出句子2在字词粒度下所包含的重要语义特征，公式如下：公式如下：公式如下：公式如下：其中，C
q1
和C
q2
表示句子2在字粒度级别下可训练的权重参数，W
q1
和W
q2
表示句子2在词粒度级...

【专利技术属性】
技术研发人员：鹿文鹏，左有慧，赵鹏宇，于瑞，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：