本发明专利技术提供一种基于多模态分层融合网络的细粒度化论文分类方法及装置，该分类方法包括：获取待分类论文的原始数据，并从获取到的原始数据中提取所述待分类论文的标题、摘要及图像，对提取到的所述标题、摘要以及图像进行数据预处理；其中，数据预处理包括数据增广；将提取到的标题输入至第一预训练模型以进行特征提取，并生成标题文本向量，将标题文本向量嵌入至图像，生成第一融合图像；将生成的第一融合图像输入至第二预训练模型进行特征提取，生成第一融合向量；将提取到的摘要输入至第三预训练模型以进行特征提取，生成摘要文本向量，将摘要文本向量与第一融合向量进行向量融合，得到融合特征向量；基于融合特征向量对待分类论文进行分类。分类论文进行分类。分类论文进行分类。
【技术实现步骤摘要】
基于多模态分层融合网络的细粒度化论文分类方法及装置
[0001]本专利技术涉及论文分类
，尤其涉及一种基于多模态分层融合网络的细粒度化论文分类方法及装置。
技术介绍
[0002]模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介。例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播，多模态学习已逐渐发展为多媒体内容分析与理解的主要手段，国内外研究者也逐步在多模态学习领域取得了显著的研究成果。
[0003]多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出，是多模态领域的一个基本问题。多模态信息的融合能获得更全面的特征，提高模型鲁棒性，并且保证模型在某些模态缺失时仍能有效工作。图1为现有技术的多模态融合网络结构图，该多模态融合技术为由Emilie等人提出的多模态晚期融合网络，此团队根据多模态信息，构建了晚期融合投票法分类模型，即将各模态信息分别输入进网络，分别进行预处理与提取特征，并最后进行融合投票。该多模态融合网络虽然进行了多模态信息融合的尝试，但该融合方式在前期先将各模态数据分别进行预处理与特征提取，仅在最后进行简单融合并采用投票法，该方法并没有将各种模态的信息互补性进行最大化利用，导致最终的分类性能提升有限，因而无法保证小样本论文的分类准确性及效率。因此，如何提高小样本细粒度化论文的分类准确率及效率是亟待解决的技术问题。
技术实现思路
[0004]有鉴于此，本专利技术提供了一种基于多模态分层融合网络的细粒度化论文分类方法及装置，以解决现有技术中存在的一个或多个问题。
[0005]根据本专利技术的一个方面，本专利技术公开了一种基于多模态分层融合网络的小样本细粒度化论文分类方法，所述方法包括：获取待分类论文的原始数据，并从获取到的所述原始数据中提取所述待分类论文的标题、摘要及图像，对提取到的所述标题、摘要以及图像进行数据预处理；其中，所述数据预处理包括数据增广；将提取到的所述标题输入至第一预训练模型以进行特征提取，并生成标题文本向量，将所述标题文本向量嵌入至所述图像，以生成第一融合图像；将生成的第一融合图像输入至第二预训练模型进行特征提取，以生成第一融合向量；将提取到的所述摘要输入至第三预训练模型以进行特征提取，以生成摘要文本向量，将所述摘要文本向量与所述第一融合向量进行向量融合，得到所述待分类论文的融合特征向量；基于所述融合特征向量对所述待分类论文进行分类。
[0006]在本专利技术的一些实施例中，所述第一预训练模型为TextCNN模型，所述第二预训练模型为MobileNetV2模型，所述第三预训练模型为Albert模型。
[0007]在本专利技术的一些实施例中，所述方法还包括：生成训练样本集，所述训练样本集中包括多个样本，各样本包括论文标题、论文摘要以及论文图像；基于所述训练样本集中的多个样本分别所述第一预训练模型、第二预训练模型以及第三预训练模型进行训练及微调。
[0008]在本专利技术的一些实施例中，对提取到的数据进行数据增广，包括：对提取到的所述摘要进行句子级的随机采样作为新论文摘要；将随机采样得到的新论文摘要与提取到的所述图像进行对齐。
[0009]在本专利技术的一些实施例中，生成训练样本集，包括：基于提取到的所述标题、摘要以及图像得到第一样本；基于新论文摘要、与所述新论文摘要对齐的图像以及提取到的所述标题得到第二样本。
[0010]在本专利技术的一些实施例中，将所述摘要文本向量与所述第一融合向量进行向量融合，包括：将所述第一融合向量进行矩阵转置运算，得到第一转置矩阵；将所述第一转置矩阵与所述摘要文本向量相乘，得到所述待分类论文的融合特征向量矩阵；对所述融合特征向量矩阵进行卷积处理及池化处理。
[0011]在本专利技术的一些实施例中，对所述融合特征向量矩阵进行卷积处理及池化处理，包括：将所述融合特征向量矩阵输入至3*3二维卷积网络中以进行二维卷积处理，并得到卷积结果；将所述卷积结果输入至池化层进行池化处理。
[0012]在本专利技术的一些实施例中，所述数据预处理还包括：基于JIEBA框架进行中文分词；基于NLTK框架进行英文分词。
[0013]根据本专利技术另一方面，还公开了一种基于多模态分层融合网络的小样本细粒度化论文分类系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
[0014]根据本专利技术又一方面，还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。
[0015]本专利技术所公开的基于多模态分层融合网络的小样本细粒度化论文分类方法及装置，先将论文的标题与论文图像进行第一层融合，然后再将第一融合图像与论文摘要进行第二层融合以得到融合特征向量，该分类方法采用的多模态融合方式将各种模态的信息互补性进行最大化利用，在早期研究各模态信息表征与提取多模态信息通用特征，从而提高了小样本论文的分类准确性及效率。
[0016]另外，该论文分类方法及系统在数据处理方面，通过引入多种模态数据得到信息与特征的补充，并对原有文本进行随机采样和图片进行匹配对齐，从而进行数据扩充与增广，从而增加了训练时模型的泛化性能。
[0017]本专利技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本专利技术的实践而获知。本专利技术的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
[0018]本领域技术人员将会理解的是，能够用本专利技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本专利技术能够实现的上述和其他目的。
附图说明
[0019]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。附图中的部件不是成比例绘制的，而只是为了示出本专利技术的原理。为了便于示出和描述本专利技术的一些部分，附图中对应部分可能被放大，即，相对于依据本专利技术实际制造的示例性装置中的其它部件可能变得更大。在附图中：图1为现有技术多模态晚期融合网络的结构示意图。
[0020]图2为本专利技术一实施例的基于多模态分层融合网络的小样本细粒度化论文分类方法的流程示意图。
[0021]图3为本专利技术一实施例的多模态分层融合网络模型结构示意图。
[0022]图4为本专利技术一实施例的基于多模态分层融合网络的小样本细粒度化论文分类系统的界面示意图。
具体实施方式
[0023]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0024]在此，需要说明的是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的结构和/或处理步骤，而省略了与本专利技术关本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态分层融合网络的小样本细粒度化论文分类方法，其特征在于，所述方法包括：获取待分类论文的原始数据，并从获取到的所述原始数据中提取所述待分类论文的标题、摘要及图像，对提取到的所述标题、摘要以及图像进行数据预处理；其中，所述数据预处理包括数据增广；将提取到的所述标题输入至第一预训练模型以进行特征提取，并生成标题文本向量，将所述标题文本向量嵌入至所述图像，以生成第一融合图像；将生成的第一融合图像输入至第二预训练模型进行特征提取，以生成第一融合向量；将提取到的所述摘要输入至第三预训练模型以进行特征提取，以生成摘要文本向量，将所述摘要文本向量与所述第一融合向量进行向量融合，得到所述待分类论文的融合特征向量；基于所述融合特征向量对所述待分类论文进行分类。2.根据权利要求1所述的基于多模态分层融合网络的小样本细粒度化论文分类方法，其特征在于，所述第一预训练模型为TextCNN模型，所述第二预训练模型为MobileNetV2模型，所述第三预训练模型为Albert模型。3.根据权利要求1所述的基于多模态分层融合网络的小样本细粒度化论文分类方法，其特征在于，所述方法还包括：生成训练样本集，所述训练样本集中包括多个样本，各样本包括论文标题、论文摘要以及论文图像；基于所述训练样本集中的多个样本分别所述第一预训练模型、第二预训练模型以及第三预训练模型进行训练及微调。4.根据权利要求3所述的基于多模态分层融合网络的小样本细粒度化论文分类方法，其特征在于，对提取到的数据进行数据增广，包括：对提取到的所述摘要进行句子级的随机采样作为新论文摘要；将随机采样得到的新论文摘要与提取到的所述图像进行对齐。5.根据权...
【专利技术属性】
技术研发人员：胡宗海，岳潭，覃杰栋，史绪钊，范子娇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。