一种基于频繁项集的图像多标签分类方法技术

本发明专利技术公开了一种基于频繁项集的图像多标签分类方法，包括如下步骤：(1)在图像数据集中，使用频繁项集挖掘算法挖掘出数据集的频繁项集；(2)利用挖掘出的频繁项集构建树形结构的图像多标签分类网络；(3)将特征提取网络和图像多标签分类网络结合得到总分类网络，其中，特征提取网络输出的特征向量作为图像多标签分类网络的输入；(4)训练总分类网络模型直至模型收敛；(5)将待分类的图像输入训练好的总分类网络模型中，得到多标签的分类结果。本发明专利技术通过频繁项集挖掘算法生成的频繁项集自动生成更为合理的图像多标签分类网络，可以提供更高的图像多标签分类精度。供更高的图像多标签分类精度。供更高的图像多标签分类精度。

【技术实现步骤摘要】
一种基于频繁项集的图像多标签分类方法


[0001]本专利技术属于图像分类领域，尤其是涉及一种基于频繁项集的图像多标签分类方法。

技术介绍

[0002]图像分类任务是计算机视觉领域中最基础也是最为重要的任务之一。图像分类任务在现实生活中无处不在，例如在医疗领域，我们需要根据CT图片判断是否存在患某些病的风险。对于一张人物图像，我们可以把它分类为男人或是女人。而在很多情况下，一个样本的分类是具有多样性的，例如一张人物图片可以同时是男人和教师。
[0003]目前多标签分类任务大多数都采用了深度学习模型，例如Jiawei Zhao等人于2021年International Conference on Computer Vision提出的《Transformer
‑
based Dual Relation Graph for Multi
‑
label Image Recognition》，该工作基于深度学习模型中的Transformer做出优化工作，从而进行图片多标签分类。
[0004]如公开号为CN114004992A的中国专利文献公开了多标签分类模型的训练方法、图像的多标签分类方法，多标签分类模型的训练方法通过对抽样图片进行多粒度分割，并将各个粒度的分割图片进行组合、拼接，得到多粒度的拼接图片序列，而后将多粒度的拼接图片序列输入至Transformer模型中，完成对模型的训练。
[0005]公开号为CN115546530A的中国专利文献公开了一种图像多标签分类方法，包括：通过联邦学习的方式训练用于图像多标签分类的嵌入模型，其中，在训练过程中，由服务器使用带有标签关系的散度正则函数优化类别嵌入矩阵，类别嵌入矩阵为嵌入模型的一种参数，利用训练后的嵌入模型进行图像多标签分类。
[0006]然而，不同有数据集有不同的特征，目前深度学习模型中进行实际多标签分类任务的大部分网络结构为手工确认，不能根据数据集多标签之间的共现信息自动生成网络结构，因此数据集标签之间的共现信息实际上没有被充分利用。同时现有的模型对于多标签分类任务仍然是通过多任务的形式进行的，也就是标签间一直共享大部分神经网络层，这将导致分类准确率的下降。

技术实现思路

[0007]本专利技术提供了一种基于频繁项集的图像多标签分类方法，通过频繁项集挖掘算法生成的共现信息自动生成更为合理的图像多标签分类网络，可以提供更高的图像多标签分类精度。
[0008]一种基于频繁项集的图像多标签分类方法，包括如下步骤：
[0009](1)在图像数据集中，使用频繁项集挖掘算法挖掘出数据集的频繁项集；
[0010](2)利用挖掘出的频繁项集构建树形结构的图像多标签分类网络；
[0011](3)将特征提取网络和图像多标签分类网络结合得到总分类网络，其中，特征提取网络输出的特征向量作为图像多标签分类网络的输入；
[0012](4)训练总分类网络模型直至模型收敛；
[0013](5)将待分类的图像输入训练好的总分类网络模型中，得到多标签的分类结果。
[0014]进一步地，步骤(1)中，使用的频繁项集挖掘算法为Apriori。
[0015]步骤(2)的具体过程如下：
[0016](2
‑
1)对于频繁项集集合L，按照其中每个项集在数据集中的频率sup进行从大到小排序，排序后sup越高的项集I排在越前面；
[0017](2
‑
2)定义N为分类总数，N也和项集大小为1的项集总数相等；
[0018]首先在一个空图中生成N个节点，每个节点都维护了大小为1的项集，该项集中只有一个项，对应于不同的分类标签，此时这N个节点的父节点都是空；同时设k等于1，L
k
为频繁项集集合L中sup第k大的频繁项集；
[0019](2
‑
3)将L
k
中所有项在图中对应点所在树的根节点取出，放入集合R中，设集合R中所有节点中的项集的并集为S；若集合R中所有节点维护的项集组成的并集S中的所有项都在此时遍历的频繁项出现过，也就是S∈L
k
时，生成一个新的节点，将该节点的项集信息定义为L
k
，将R中所有节点的父节点设置为该新生成节点，将该新生成节点的父节点设置为空；
[0020](2
‑
4)将k加1，若此时存在L
k
，重复步骤(2
‑
3)；
[0021](2
‑
5)遍历结束后，若所有节点没有构成一棵树，则生成一个新节点，该新节点的项集为所有项的集合，设图中所有树的根节点集合为R，将R中所有节点的父节点设置为该新节点，最终形成一个树形结构的图像多标签分类网络；
[0022](2
‑
6)在图像多标签分类网络中填充神经网络层，保证树形结构中的每个叶子节点可以生成一个样本属于该叶子节点的项的概率。
[0023]步骤(2
‑
6)中，在图像多标签分类网络中填充神经网络层具体为：
[0024]在非叶子节点使用5层的Block结构，每一层Block结构的FC均为输入长度为V、输出长度为V的全连接神经网络层；在叶子节点使用一个输入长度为V、输出长度为1的全连接神经网络层和一个Sigmod激活函数用来输出属于该标签的概率；
[0025]对于所有概率大于0.5的叶子节点，获取其项对应的标签，所有标签作为该样本的分类。
[0026]步骤(3)中，设图片数据集的图片长为H，宽为W，通道数为C；使用1层输入长度为H*W*C、输出长度为V的全连接神经网络层再加上5层Block结构作为特征提取网络，其中，5层Block结构中的所有FC均为输入长度为V、输出长度为V的全连接神经网络层。
[0027]步骤(4)中，将维度为(C,H,W)的图片展平成长度H*W*C的一维向量送入网络训练，训练过程中，将损失函数定义为交叉熵和正则化Loss的和。
[0028]与现有技术相比，本专利技术具有以下有益效果：
[0029]1、本专利技术按照频繁项集的sup从大到小构造的图像多标签分类网络，最后生成的网络是一个树形结构。对于整个树结构来说，sup越大，越先创建新节点进行连接，那么其在树结构中的深度也就越深，深度越深也就意味着有更多的参数对其进行分类，那么分类的准确性也就越高。
[0030]2、本专利技术充分利用了数据集中标签之间的共现信息动态构造合理的图像多标签分类网络，针对不同数据集，能够自动生成图像多标签分类网络，填补了过往技术多标签分
类网络较为固定且大多数为手工确定，没有充分利用到数据集间多标签的共现信息的缺点；同时由于构造的图像多标签分类网络是树形结构，不同标签的预测在树上走的路径不同，也就意味着不同的标签经过的神经网络层总有不同的部分，这和大多数工作使用多任务的分类方式截然不同，同时图像多标签分类网络的结构符合标签出现越频繁，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于频繁项集的图像多标签分类方法，其特征在于，包括如下步骤：(1)在图像数据集中，使用频繁项集挖掘算法挖掘出数据集的频繁项集；(2)利用挖掘出的频繁项集构建树形结构的图像多标签分类网络；(3)将特征提取网络和图像多标签分类网络结合得到总分类网络，其中，特征提取网络输出的特征向量作为图像多标签分类网络的输入；(4)训练总分类网络模型直至模型收敛；(5)将待分类的图像输入训练好的总分类网络模型中，得到多标签的分类结果。2.根据权利要求1所述的基于频繁项集的图像多标签分类方法，其特征在于，步骤(1)中，使用的频繁项集挖掘算法为Apriori。3.根据权利要求1所述的基于频繁项集的图像多标签分类方法，其特征在于，步骤(2)的具体过程如下：(2
‑
1)对于频繁项集集合L，按照其中每个项集在数据集中的频率sup进行从大到小排序，排序后sup越高的项集I排在越前面；(2
‑
2)定义N为分类总数，N和项集大小为1的项集总数相等；首先在一个空图中生成N个节点，每个节点都维护了大小为1的项集，该项集中只有一个项，对应于不同的分类标签，此时这N个节点的父节点都是空；同时设k等于1，L
k
为频繁项集集合L中sup第k大的频繁项集；(2
‑
3)将L
k
中所有项在图中对应点所在树的根节点取出，放入集合R中，设集合R中所有节点中的项集的并集为S；若集合R中所有节点维护的项集组成的并集S中的所有项都在此时遍历的频繁项出现过，也就是S∈L
k
时，生成一个新的节点，将该节点的项集信息定义为L
k
，将R中所有节点的父节点设置为该新生成节点，将该新生成节点的父节点设置为空；(...

【专利技术属性】
技术研发人员：谭睿翔，胡津铭，武伯熹，王闻箫，林彬彬，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：