【技术实现步骤摘要】
本专利技术涉及多模态中文反讽识别，特别是一种残差式融合语言特征的多模态中文反讽识别方法。
技术介绍
1、目前，针对准确识别多模态评论反讽情感的目的，现有技术一般是融合文本、表情符号和图片情感特征，在bilstm，emoji2vec和fcnn模型的基础上构建旅游评论反讽识别模型，在对3种特征进行向量化表示之后，分别进行双模和3模特征向量融合，最终采用sigmoid和softmax分类器对融合向量进行分类，输出旅游评论反讽结果。根据上述设计路线，多模态融合的旅游评论反讽识别模型可分为输入层、特征表示层、特征融合层、反讽识别层，但是，在特征融合层仅采用了模态特征的简单加权，未考虑模态间的信息交互。
2、通过对现有的多模态中文反讽识别研究发现，模型的整体设计大多集中在深度学习模型的训练上，以模态间信息融合与交互、捕捉“模态间矛盾”为重点设计相关模型，而忽略了反讽语句本身显式的语言特征。
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的不足，提供一种能够改善现有方法的局限性，提高反讽识别的准确性的残差式融合语言特征的多模态中文反讽识别方法。
2、本专利技术所要解决的技术问题是通过以下的技术方案来实现的。本专利技术是一种残差式融合语言特征的多模态中文反讽识别方法，该方法步骤如下：
3、(1)利用卡方统计方法对自构建的图文多模态中文反讽识别数据集提取具有反讽与非反讽含义的词语，构建出语言特征体系；
4、(2)使用textcnn模型提取
5、(3)使用resnet34模型提取图像特征；
6、(4)引入交叉注意力机制，建立图文特征之间的关联；
7、(5)特征融合，得到分类结果。
8、本专利技术所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的残差式融合语言特征的多模态中文反讽识别方法，步骤(2)的具体操作为：
9、利用word2vec模型在海量文本中学习突发事件网民评论语义信息得到文本向量化表示，作为文本模型的输入；
10、突发事件多模态反讽识别数据集中的网民文本评论集x＝{x1,x2,…,xi,…,xn}，xi表示一条文本评论，通过分词得到的每条评论xi＝(xi1,…,xii,…,xik)，xik表示第i条文本评论的第k个单词，每个通过word2vec训练好的单词表示第k个单词的m维词向量；
11、textcnn模型的输入是一个n×d矩阵x，其中每行表示一段文本中的一个词的d维词向量表示；
12、对该矩阵卷积操作，通过在矩阵上进行滑动窗口计算，得到特征图矩阵c，一次的卷积计算如下：
13、ci＝f(w×xi：i+h-1+b)
14、其中，xi：i+h-1表示矩阵x的第i行到第i+h-1列，w是卷积核，其大小为h×d，b是偏置向量，f是激活函数；
15、对得到的每个特征图c，通过最大池化操作得到池化向量t：
16、t＝max(c)
17、将所有的池化向量t连接形成一个长向量t，然后通过一个全连接层进行分类，或用于后续的应用；
18、以同样的方式获得语言特征向量l，以便后续使用。
19、本专利技术所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的残差式融合语言特征的多模态中文反讽识别方法，步骤(3)的具体操作为：
20、突发事件多模态反讽识别数据集中的网民文本评论对应的图片集p＝{p1,p2,…,pi,…,pn}，p中每张图片pi的初始大小为224×224×3，图片经若干卷积层至最后一层卷积层(conv 5)后，图片大小变为7×7×512，再经过平均池化层(avg pool)后，输出大小变为1×1×512，得到池化后的图像特征i，将图片特征i输入至全连接层中得到图像特征i：
21、i＝linear(i)
22、其中，linear()表示全连接层。
23、本专利技术所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的残差式融合语言特征的多模态中文反讽识别方法，步骤(4)的具体操作为：
24、将上文得到的文本特征t和图像特征i通过交叉注意力机制学习到模态间的交互信息并建立起它们之间的联系，利用残差连接的方式将交叉注意力机制应用于模态融合过程，设计一个特征融合模块：
25、将文本特征作为查询q，图像特征作为键k和值v，通过应用注意力机制的计算方式，得到文本层面的注意力特征，计算公式如下所示：
26、
27、其中，wq，wk，wv是模型训练过程中可学习的参数矩阵，引入dk的目的是平衡不同维度对相似度计算的影响；
28、将多个头的输出连接起来，得到总的文本层面注意力特征，在本文中，设置n_heads＝0，接着，通过使用残差连接的方式将原始的文本特征t和经过交叉注意力得到的文本层面注意力特征att(t,i)连接起来：
29、attt＝att(t,i)+t
30、至此，得到经过文本层注意力特征后的总输出attt；
31、同样地，将图像特征作为查询q，文本特征作为键k和值v，计算方法与计算文本层注意力分数相同，通过图像引导文本信息的方式，计算图像层面的注意力分数，得到经过图像层注意力特征后的总输出atti；
32、将得到的文本层注意力特征attt和图像层注意力特征atti连接起来，形成图文模态交叉注意力融合模块的图文输出attti：
33、attti＝cat(attt,atti)
34、通过简单连接的方式将获取到的语言特征l和图文输出attti连接起来得到模态融合的最终特征表示atttil：
35、atttil＝cat(l,attti)。
36、本专利技术所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的残差式融合语言特征的多模态中文反讽识别方法，该方法的测试方法为：
37、(1)使用基于微博平台上构建的图文多模态中文反讽识别数据集进行效果测试；
38、(2)将文本和图片分别送进卷积神经网络进行前向传播，前向传播过程中会经过卷积层进行特征提取，之后经过归化层进行数据映射，最后通过激活函数来进行非线性映射，分别得到文本和图片的特征，对得到的文本和图片的特征进行交叉注意力的处理与残差式连接之后得到总的反讽识别特征；
39、(3)获取得到的反讽识别特征与标签计算损失；
40、(4)得到损失函数后进行反向梯度计算；
41、(5)结合学习率进行反向权重更新，学习率一开始按照国际化区域标准设置，随着训次数的迭代，学习率不断下降，每当权重更新后，代表一次训练结束；
42、(6)重复以上操作，继续输入合成数据训练网络，直到loss值趋于平稳，网络收敛；
43、(7)本文档来自技高网...
【技术保护点】
1.一种残差式融合语言特征的多模态中文反讽识别方法，其特征在于：该方法步骤如下：
2.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别方法，其特征在于：步骤(2)的具体操作为：
3.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别方法，其特征在于：步骤(3)的具体操作为：
4.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别方法，其特征在于：步骤(4)的具体操作为：
5.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别方法，其特征在于：该方法的测试方法为：
【技术特征摘要】
1.一种残差式融合语言特征的多模态中文反讽识别方法，其特征在于：该方法步骤如下：
2.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别方法，其特征在于：步骤(2)的具体操作为：
3.根据权利要求1所述的残差式融合语言特征的多模态中文反讽识别...
【专利技术属性】
技术研发人员：胡文彬，陈龙，韩天乐，蔡天翔，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。