【技术实现步骤摘要】
本专利技术涉及慢性病智能问答领域，具体涉及一种基于局部特征与上下文特征的意图识别方法和装置。
技术介绍
1、意图识别是自然语言处理领域中的一个重要任务，旨在通过分析获取用户的意图或目的，在问答系统等人机交互领域中不可或缺。在用户意图识别阶段，如何解析问题语义、分析语义环境以及获取用户意图，常用的方法是将意图识别任务视为问题的分类任务。系统可以根据问题的语义特征和上下文来准确地判断用户的意图，并做出相应的响应或处理。这种方法能够帮助系统更好地理解用户需求，提高交互的效率和质量。
2、传统的意图识别方法包括规则模版方法以及基于统计的方法。基于规则模版的意图识别方法需要专家手工编写规则模版，人工编写工作量大且易冲突，同时规则模版覆盖面小并且不具备通用性；基于统计的方法使用意图词典计算词频，虽然覆盖面有了一定的提升，但是容易误识别，与规则模版方法相比，基于统计的方法在覆盖面上有了一定的提升，因为它能够处理更多的场景和语境。目前，基于深度学习的方法逐渐成为研究热点，但仍然存在一些局限。有些方法过度依赖局部特征而忽略了全局上下文特征，而另一些方法则更注重全局特征而忽略了局部细节。提高用户意图识别准确性的关键在于如何有效地提取深层局部特征和上下文特征，并将它们结合起来使用。
技术实现思路
1、本专利技术要克服上述的不足之处，提出一种基于多层次特征融合策略的文本特征提取框架。其综合了全词掩码技术的roberta-wwm预训练方法、textcnn、bigru、textrcnn和注意力机制
2、本专利技术通过以下技术方案达到上述目的：
3、本专利技术的第一个方面涉及一种基于局部特征和上下文特征的慢病问答意图识别方法，包括如下步骤：
4、(1)通过roberta-wwm预训练模型将文本转化为向量表示t＝{t1、t2、···、tn}；
5、(2)构建意图识别模型tbgma-tr，包括按序排列的textcnn模型、bigru模型、多头注意力机制以及textrcnn模型；
6、(3)将步骤(1)获取的向量t输入textcnn网络模型中，经过卷积、池化和拼接得到输出向量其中代表不同卷积核提取的特征向量；
7、(4)将向量c输入到bigru网络模型提取更深层次的语义特征，并通过多头注意力机制进一步学习，输出关键局部特征向量mhead(h)；
8、(5)将步骤(1)中的向量表示t输入textrcnn模型中以获取全面的上下文特征信息，输出上下文特征向量r；
9、(6)将关键局部特征mhead(h)和上下文特征r拼接作为最终特征向量mhr，降维后使用softmax函数对其进行意图分类。
10、作为优选，所述步骤(3)具体如下：
11、(3.1)将向量表示t转化成维度为d的矩阵x：
12、
13、其中n为文本长度，d为词向量的维度，xi,j表示第i个词在j维度上的值，送入cnn进一步处理；
14、(3.2)在卷积层中对文本提取局部特征。使用大小为h×d的卷积核对输入矩阵进行卷积操作，其中h为卷积核的高度，d为词向量ti的维度，卷积核向下移动固定步长对其覆盖矩阵区域进行卷积操作，直至移动到矩阵最底端，每移动一次进行一次计算，最终得到一组特征向量c＝{c1、c2、···、cn}，n表示n个不同大小的卷积核，卷积操作可表示为：
15、ci＝f(w·xi:i+h-1+b) (2)
16、其中，f(·)表示激活函数，xi:i+h-1表示矩阵x的第i行到第i+h-1行，b为偏置项；
17、(3.3)对特征向量c的每个特征映射ci通过最大池化进行降维，得到池化后的特征向量其中为特征映射ci的最大值。拼接后得到经textcnn处理后最终输出的特征向量
18、作为优选，所述步骤(4)经bigru网络和多头注意力机制学习得到关键局部特征的实现方法如下：
19、(4.1)对于textcnn输出的特征向量bigru网络模型的计算可以表示为：
20、
21、其中，和分别表示t时刻前向和后向的隐藏状态，表示输入向量的第t个元素，ht为t时刻最终隐藏状态，和分别为权重，bt为偏置，则bigru最终输出为h＝[h1、h2、···、hn]；
22、(4.2)将bigru的输出h作为多头注意力机制的输入，设有n个注意力头，对于每个注意力头headi，通过线性变换将h映射为查询(q)、键(k)、值(v)矩阵：
23、qi＝hwiq (6)
24、ki＝hwik (7)
25、vi＝hwxv (8)
26、其中，wq、wk和wv分别代表学习到的权重矩阵；
27、(4.3)通过缩放点积，每个注意力头的输出计算公式如下：
28、
29、其中，dk为q和k的维度；
30、(4.4)通过将n个注意力头的输出拼接在一起，得到最终输出：
31、mhead(h)＝concat(head1,head2,···,headn)wo (10)
32、其中，wo为权重矩阵，concat表示拼接操作。
33、作为优选，步骤(5)所述将步骤(1)中的向量表示t输入textrcnn模型中以获取全面的上下文特征信息具体包括：
34、(5.1)对于每一个单词ti和对应词向量ti，经双向rnn提取特征后输出如下：
35、cl(ti)＝f(wlcl(ti-1)+wslti-1) (11)
36、cr(ti)＝f(wlcr(ti+1)+wsrti+1) (12)
37、其中，l和r分别表示该单词的左右两侧；
38、(5.2)将双向rnn的输出和该单词对应词向量拼接形成新的词向量表示：
39、xi＝[cl(ti),ti,cr(ti)] (13)
40、(5.3)使用tanh激活函数并通过最大池化获得句子的上下文特征：
41、
42、其中，表示潜在语义向量。
43、作为优选，所述步骤(6)将关键局部特征mhead(h)和上下文特征r拼接形成最终特征向量mhr，降维后使用softmax函数对其进行意图分类具体包括以下步骤：
44、(6.1)向量拼接：
45、mhr＝[mhead(h),r] (16)
46、其中，mhr为最终特征向量；
47、(6.2)分类计算公式可以表示为：
48、s＝softmax(w1·mhr+b1) (17)
49、其中s为最终分类结果，w1和b1为权重和偏置。
50、本专利技术的第二个方面涉及一种基于局部特征与上下文特征的慢病问答意图识别装本文档来自技高网...
【技术保护点】
1.一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(3)具体如下：
3.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(4)经BiGRU网络和多头注意力机制学习得到关键局部特征的实现方法如下：
4.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(5)具体包括：
5.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(6)具体包括以下步骤：
6.一种基于局部特征与上下文特征的慢病问答意图识别装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5中任一项所述的一种基于局部特征与上下文特征的慢病问答意图识别方法。
7.一种计算机可读存储介质，其特征在于，其上存储有程序，
...【技术特征摘要】
1.一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(3)具体如下：
3.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(4)经bigru网络和多头注意力机制学习得到关键局部特征的实现方法如下：
4.根据权利要求1所述的一种基于局部特征与上下文特征的慢病问答意图识别方法，其特征在于：所述步骤(5)具体包括：
5.根据权利要求1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。