一种基于混合平铺卷积神经网络的文本情感分类系统技术方案

本申请涉及自然语言处理领域，特别涉及一种基于混合平铺卷积神经网络的文本情感分类系统，包括如下模块：数据输入模块、卷积层模块和最大池化层模块，所述数据输入模块用于获取文本数据集；所述卷积层模块用于对所述文本数据集中的单词进行卷积操作；所述最大池化层模块用于将所述卷积操作后的数据进行最大池化操作；本发明专利技术通过提出混合平铺卷积神经网络的新结构，相比于TCNN拥有灵活的滤波结构，能提高自然语言分类处理的效率。高自然语言分类处理的效率。高自然语言分类处理的效率。

【技术实现步骤摘要】
一种基于混合平铺卷积神经网络的文本情感分类系统


[0001]本申请涉及自然语言处理领域，特别涉及一种基于混合平铺卷积神经网络的文本情感分类系统。

技术介绍

[0002]目前平铺卷积神经网络TCNN一般仅用于学习不变性的计算机视觉，其适用性受到限制的原因就在于它具有多元不变性学习者的性质。TCNN的结构并不适用于自然语言处理，其主要原因是不具备灵活的滤波结构，需要对滤波结构加以改进。
[0003]TCNN平铺卷积神经网络是一种改进CNN卷积神经网络，被提议用于图像处理，以捕捉广泛的图像不变性,但是在NLP(自然语言处理)领域应用性较差,不能满足情感分类的性能需要。

技术实现思路

[0004]基于此，本专利技术通过调整模型以满足自然语言处理NLP中情感分类的要求，将特征映射的每个滤波器设置为只覆盖一组n
‑
gram而不是像纯CNN模型那样覆盖所有n
‑
gram。按照每个特征映射的精确滤波结构，最相关特征的提取更有效，而且并不依赖于权值的初始值。
[0005]本申请公开了以下技术方案：
[0006]本申请公开的一种基于混合平铺卷积神经网络的文本情感分类系统，包括如下模块：数据输入模块、卷积层模块和最大池化层模块，
[0007]所述数据输入模块用于获取文本数据集；
[0008]所述卷积层模块用于对所述文本数据集中的单词进行卷积操作；
[0009]所述最大池化层模块用于将所述卷积操作后的数据进行最大池化操作。
[0010]进一步，数据输入模块中，具体包括如下模块：
[0011]所述数据输入模块中，通过构建单词嵌入捕捉单词上下文以及捕捉单词的句法和语义相似性：强和弱这样的单词具有相似的单词嵌入，可以被分配到同一个聚类中。
[0012]进一步，卷积层模块中，具体包括如下模块：
[0013]所述卷积层模块中，通过聚类模型，将单词向量分组到k个聚类中，利用高斯分布的EM算法给出了聚类解，EM算法有两个步骤，反复应用，直到发现收敛性：首先，计算一个单词属于一个聚类的概率，知道集群中的单词遵循正态分布即期望步骤；其次，根据之前计算的概率即最大化步骤更新集群均值；
[0014]对于每个聚类，通过算法描述工具PAD对句子外部的聚类词进行编码，并保持与之相关的词不变，根据字典单词索引生成的序列，对于PAD单词取0，否则取大于0的值，从而定义k个输入，并使用所述k个输入来提供k个同时存在的卷积层。
[0015]进一步，最大池化层模块中，具体包括如下模块：
[0016]所述最大池化层模块中，对于每个卷积层，修改输入，在每个索引不同于0的单词
的左侧和右侧，添加n
‑
1个相邻单词，添加的单词可以在同一组中，也可以不在同一组中。
[0017]本申请具有如下有益效果：
[0018]本方案鉴于TCNN在NLP领域的主要缺点是其不灵活的滤波结构，提出了一种新的结构，称为混合平铺卷积神经网络(HTCNN)，它只对出现在类似上下文中的单词及其相邻的单词(防止某些n
‑
grams丢失的必要步骤)应用滤波器。其中n
‑
gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是n的字节片段序列。本方案相比于TCNN拥有灵活的滤波结构，能提高自然语言分类处理的效率。
附图说明
[0019]以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理解为对本申请的保护范围的限制。
[0020]图1是本申请公开的HTCNN原理图；
[0021]图2是本申请公开的TCNN原理图。
具体实施方式
[0022]为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图1
‑
2，对本申请实施例中的技术方案进行更加详细的描述。
[0023]本申请公开的一种基于混合平铺卷积神经网络的文本情感分类系统，如图1所示，包括以下模块：数据输入模块、卷积层模块和最大池化层模块，
[0024]所述数据输入模块用于获取文本数据集；
[0025]所述卷积层模块用于对所述文本数据集中的单词进行卷积操作；
[0026]所述最大池化层模块用于将所述卷积操作后的数据进行最大池化操作。
[0027]TCNN的原理：如图2所示，TCNN是一种改进的CNN，它被提出用于图像处理，以捕获广泛的图像不变性。传统上，由于卷积操作，CNN架构已经学习了平移不变性，但TCNN继续前进，处理更复杂的情况，如视点/旋转和大小不变性。TCNN模型自开发以来，主要用于计算机视觉任务，如图像分类，物体和情感识别。
[0028]TCNN应用受限的原因是多元学习者的不变性。在本方案中，调整模型以满足NLP的要求，将特征映射的每个滤波器设置为只覆盖一组n
‑
gram(而不是像纯CNN模型那样覆盖所有n
‑
gram)。按照每个特征映射的精确滤波结构，最相关特征的提取更有效，并且不依赖于权值的初始值。
[0029]TCNN的缺陷：由于TCNN的缺点是滤波器在输入端滑动时结构不灵活，需要有k个重复的滤波器，不能改变顺序。意识到具有语义相似性的单词很可能出现在类似的上下文中，一个合理的过滤图可以是对所有这些单词应用相同的过滤，而对其余的单词应用其他筛选。例如，在像数码相机的镜头有一个强/弱光学变焦的一个句子中，在强和弱的单词上使用相同的滤波器和在其他单词上使用不同的滤波器可能是有用的。
[0030]所述模块数据输入模块中，由于构建单词嵌入不仅是为了捕捉单词上下文，而且是为了捕捉它们的句法和语义相似性，像强和弱这样的单词具有相似的单词嵌入，可以被分配到同一个聚类中。
[0031]所述模块卷积层模块中，利用合适的聚类模型，可以将单词向量分组到k个聚类中。在本方案中，利用高斯分布的EM算法给出了聚类解。之所以选择高斯混合模型，是因为高斯混合模型支持混合隶属度，并且对聚类协方差具有很强的鲁棒性和灵活性。EM算法有两个步骤，反复应用，直到发现收敛性。首先，我们计算一个单词属于一个聚类的概率，知道集群中的单词遵循正态分布(期望步骤)。其次，根据之前计算的概率(最大化步骤)更新集群均值。
[0032]对于每个聚类，我们用PAD(算法描述工具)对句子外部的聚类词进行编码，并保持与之相关的词不变。根据字典单词索引生成的序列，对于PAD单词取0，否则取大于0的值。通过这种方式，我们定义了k个输入(每个群一个)，并使用它们来提供k个同时存在的卷积层。步长值约束不再被使用，因为同时的层已经对不同的词进行卷积。
[0033]所述模块最大池化层模块中，最后描述的神经网络的问题是将一些词索引替换为0(与给定的卷积层相关联的簇以外的词)所造成的n
‑
gram概念丢失。这个观点是由一个假设来支持的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合平铺卷积神经网络的文本情感分类系统，其特征在于，包括：数据输入模块、卷积层模块和最大池化层模块，所述数据输入模块用于获取文本数据集；所述卷积层模块用于对所述文本数据集中的单词进行卷积操作；所述最大池化层模块用于将所述卷积操作后的数据进行最大池化操作。2.如权利要求1所述的一种基于混合平铺卷积神经网络的文本情感分类系统，其特征在于，所述数据输入模块中，通过构建单词嵌入捕捉单词上下文以及捕捉单词的句法和语义相似性。3.如权利要求1所述的一种基于混合平铺卷积神经网络的文本情感分类系统，其特征在于，所述卷积层模块中，通过聚类模型，将单词向量分组到k个聚类中，利用高斯分布的EM算法给出了聚类解，EM算法有两个步骤，反复应用，直到发现收敛性：首先，计算一个单词属于一个聚类的概率，知道集群中的单词遵循正态...

【专利技术属性】
技术研发人员：潘晓光，潘哲，焦璐璐，令狐彬，宋晓晨，
申请(专利权)人：山西三友和智慧信息技术股份有限公司，
类型：发明
国别省市：