【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种基于多模态信息融合的电子档案图像多级分类方法及设备。
技术介绍
1、当前社会已经全面进入数字化时代，档案管理逐渐从传统的纸质文件管理转变为电子文件管理。然而，在电子档案归档过程中，由于电子档案数量巨大，人工分类难度大，耗时长，严重影响电子档案的归档效率。
2、针对电子档案分类问题，目前的处理方式主要包括使用规则机进行分类或仅采用单一模态(仅考虑视觉特征或仅依赖文本信息)进行分类。然而，这些传统方法缺乏可伸缩性和通用性，难以适应不断增长和多样化的电子档案需求。
3、也就是说，在电子档案分类问题上，现有相关技术通常只能给出单一类别的分类结果，无法实现多级别的分类且分类的细化程度不高。
技术实现思路
1、为了解决现有技术中所存在的上述问题，本专利技术提供了一种基于多模态信息融合的电子档案图像多级分类方法及设备。
2、本专利技术要解决的技术问题通过以下技术方案实现：
3、本专利技术提供一种基于多模态信息融合的电子档案图像多级分类方法，包括：
4、获取待分类电子档案图像；
5、分别计算所述待分类电子档案图像的文本信息熵和图像信息熵；
6、采用训练好的文本分类模型、训练好的图像分类模型和训练好的多模态信息融合分类模型，分别对所述待分类电子档案图像分类，分别得到文本分类结果集、图像分类结果集和融合分类结果集；其中，所述训练好的文本分类模型、所述训练好的图像分类模型和所述训练好的
7、根据所述文本信息熵、所述图像信息熵、所述文本分类结果集、所述图像分类结果集和所述融合分类结果集，确定所述待分类电子档案图像的预测类别；
8、根据所述多级类别知识图谱本体和所述预测类别，确定所述待分类电子档案图像的多级分类结果。
9、在一些实施例中，所述根据所述多级类别知识图谱本体和所述预测类别，确定所述待分类电子档案图像的多级分类结果，包括：
10、从所述多级类别知识图谱本体中，寻找所述预测类别所在的叶子节点；
11、将从所述多级类别知识图谱本体的根节点至所述叶子节点所经过的所有节点构成的序列，作为所述待分类电子档案图像的多级分类结果。
12、在一些实施例中，所述根据所述文本信息熵、所述图像信息熵、所述文本分类结果集、所述图像分类结果集和所述融合分类结果集，确定所述待分类电子档案图像的预测类别，包括：
13、将所述文本信息熵和所述图像信息熵调整为同一量级；
14、根据属于同一量级的文本信息熵和图像信息熵，计算第一融合系数、第二融合系数和第三融合系数；
15、采用所述第一融合系数、所述第二融合系数和所述第三融合系数，将所述文本分类结果集、所述图像分类结果集和所述融合分类结果集进行融合，得到预测结果分类集；
16、将所述预测结果分类集中，最大的概率对应的类别，作为所述待分类电子档案图像的预测类别。
17、在一些实施例中，所述文本分类结果集包括：n个不同类别和所述n个不同类别中每个类别的第一概率；所述图像分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第二概率；所述融合分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第三概率；
18、所述采用所述第一融合系数、所述第二融合系数和所述第三融合系数，将所述文本分类结果集、所述图像分类结果集和所述融合分类结果集进行融合，得到预测结果分类集，包括：
19、计算第i个类别的第一概率与所述第二融合系数之间的乘积，得到第一乘积值；i＝1,2,...,n，n为大于或等于2的整数；
20、计算所述第i个类别的第二概率与所述第三融合系数之间的乘积，得到第二乘积值；
21、计算所述第i个类别的第三概率与所述第一融合系数之间的乘积，得到第三乘积值；
22、将所述第一乘积值、所述第二乘积值和所述第三乘积值之和，作为所述第i个类别的第四概率；
23、将所述n个不同类别和所述n个不同类别中每个类别的第四概率构成的集合，作为所述预测结果分类集。
24、在一些实施例中，所述根据属于同一量级的文本信息熵和图像信息熵，计算第一融合系数、第二融合系数和第三融合系数，包括：
25、将属于同一量级的文本信息熵和图像信息熵之差的绝对值的倒数，作为所述第一融合系数；
26、根据属于同一量级的文本信息熵和图像信息熵之和，以及所述第一融合系数、所述文本信息熵，计算所述第二融合系数；
27、根据属于同一量级的文本信息熵和图像信息熵之和，以及所述第一融合系数、所述图像信息熵，计算所述第三融合系数。
28、在一些实施例中，所述不同的训练集包括：文本特征训练集、图像特征训练集和多模态信息融合特征训练集；
29、在所述采用训练好的文本分类模型、训练好的图像分类模型和训练好的多模态信息融合分类模型，分别对所述待分类电子档案图像分类，分别得到文本分类结果集、图像分类结果集和融合分类结果集之前，包括：
30、构建所述预设领域的电子档案的多级类别知识图谱本体；
31、获取属于所述预设领域的多个具有真实类别的电子档案图像；
32、根据所述多个具有真实类别的电子档案图像和所述多级类别知识图谱本体，分别构建所述文本特征训练集、所述图像特征训练集和所述多模态信息融合特征训练集；
33、采用所述文本特征训练集对初始文本分类模型进行训练，得到所述训练好的文本分类模型；
34、采用所述图像特征训练集对初始图像分类模型进行训练，得到所述训练好的图像分类模型；
35、采用所述多模态信息融合特征训练集对初始多模态信息融合分类模型进行训练，得到所述训练好的多模态信息融合分类模型。
36、在一些实施例中，所述根据所述多个具有真实类别的电子档案图像和所述多级类别知识图谱本体，分别构建所述文本特征训练集、所述图像特征训练集和所述多模态信息融合特征训练集，包括：
37、对所述多个具有真实类别的电子档案图像进行预处理，对应得到多个预处理电子档案图像；
38、根据每个预处理电子档案图像的真实类别，将该预处理电子档案图像的标签标注为所述多级类别知识图谱本体中的一个叶子节点；
39、将带有标签的所述多个预处理电子档案图像中的部分预处理电子档案图像，作为原始训练集；
40、提取所述原始训练集中各个电子档案图像的文本特征，根据提取的文本特征和所述各个电子档案图像的标签，构建得到所述文本特征训练集；
41、提取所述原始训练集中各个电子档案图像的图像特征，根据提取的图像特征和所述各个电子档案图像的标签，构建得到所述图像特征训练集；
【技术保护点】
1.一种基于多模态信息融合的电子档案图像多级分类方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据所述多级类别知识图谱本体和所述预测类别，确定所述待分类电子档案图像的多级分类结果，包括：
3.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据所述文本信息熵、所述图像信息熵、所述文本分类结果集、所述图像分类结果集和所述融合分类结果集，确定所述待分类电子档案图像的预测类别，包括：
4.根据权利要求3所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述文本分类结果集包括：n个不同类别和所述n个不同类别中每个类别的第一概率；所述图像分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第二概率；所述融合分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第三概率；
5.根据权利要求3所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据属于同一量级的文本信息熵和图像信息熵，计算第一融合系数
6.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述不同的训练集包括：文本特征训练集、图像特征训练集和多模态信息融合特征训练集；
7.根据权利要求6所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据所述多个具有真实类别的电子档案图像和所述多级类别知识图谱本体，分别构建所述文本特征训练集、所述图像特征训练集和所述多模态信息融合特征训练集，包括：
8.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，计算所述待分类电子档案图像的文本信息熵的方法，包括：
9.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，计算所述待分类电子档案图像的图像信息熵的方法，包括：
10.一种基于多模态信息融合的电子档案图像多级分类设备，包括：包括处理器、通信接口、存储器和通信总线，其特征在于，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
...【技术特征摘要】
1.一种基于多模态信息融合的电子档案图像多级分类方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据所述多级类别知识图谱本体和所述预测类别，确定所述待分类电子档案图像的多级分类结果，包括：
3.根据权利要求1所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据所述文本信息熵、所述图像信息熵、所述文本分类结果集、所述图像分类结果集和所述融合分类结果集，确定所述待分类电子档案图像的预测类别，包括：
4.根据权利要求3所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述文本分类结果集包括：n个不同类别和所述n个不同类别中每个类别的第一概率；所述图像分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第二概率；所述融合分类结果集包括：所述n个不同类别和所述n个不同类别中每个类别的第三概率；
5.根据权利要求3所述的基于多模态信息融合的电子档案图像多级分类方法，其特征在于，所述根据属于同一量级的文本信息熵和图像信息熵...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。