【技术实现步骤摘要】
本专利技术涉及增量任务的图像分类领域。
技术介绍
1、类增量图像分类问题是一种机器学习问题，旨在解决模型在不断接收到新类别数据时，仍能有效分类所有已知类别的问题。在该问题中，训练和测试数据被有序的分成若干“增量任务”，模型在每个任务上依次进行学习。每个任务包含若干类别的训练图像，且任意两个任务的训练图像的类别空间无重叠。当模型在任务t上进行训练时，无法使用任务1至任务t-1的训练数据。当模型在任务t上进行训练完毕后，希望模型对任务1至任务t包含的所有类别的图像都具有分类能力。
2、现有技术中在类增量图像分类问题的每个任务中，训练数据为大量带标签的图像。具体见申请号202311772256.x，主题名称为“基于提示词微调和特征重放的小样本类增量图像分类方法”，为了减少每个任务训练数据的标注成本，主动-类增量图像分类问题被提出。在该问题中，每个任务的训练图像是初始状态是无标签的。旨在通过模型来筛选出最有价值的训练图像，并反馈给人类进行标注。然后，模型使用人类标注后的图像进行训练。
3、而现有面向无标签图像集合在类增量图像分类模型进行样本筛选时，主流的主动学习方法(entropy，coreset等)应用到基于深度学习模型和视觉提示词微调所构成的类增量图像分类模型时，会导致类增量图像分类模型所选出的样本呈现严重的类别不平衡现象，类增量图像分类模型具体可为l2p模型或dualpromp模型。进而，用这些类别不平衡的样本来训练分类模型会损害模型性能，以上问题亟需解决。
技术实现思路
1、本专利技术目的是为了解决现有面向无标签图像集合在基于主动学习的类增量图像分类模型进行样本选择时呈现严重的类别不平衡现象的问题；本专利技术提供了一种实现类别平衡采样的主动-类增量图像分类方法及装置。
2、实现类别平衡采样的主动-类增量图像分类方法，该方法包括如下步骤：
3、s1、获取所有任务的无标签训练集，每个任务所对应的无标签训练集中包括多种类别的无标签图像，每个图像作为一个样本，各任务间图像类别不重叠；
4、s2、类增量图像分类模型加载给定的模型参数并锁定，t的初始值为1，此时当前第t个任务下随机初始化类增量图像分类模型的提示词参数；
5、类增量图像分类模型由深度学习模型和视觉提示词微调单元构成，且模型参数用于约束深度学习模型，提示词参数用于约束视觉提示词微调单元；
6、s3、利用深度学习模型提取当前任务所对应的无标签训练集中各样本的视觉特征，得到特征集；
7、s4、利用聚类算法将特征集中的样本聚成若干个簇，从每个簇中采用改进贪心采样算法进行有价值样本选取，直至遍历所有簇，改进贪心采样算法选取原则为：确定各簇中选取样本数量kc，且保证所选取出的kc个样本服从的高斯分布与其该kc个样本所在簇内所有样本服从的高斯分布间的kl散度最小；其中，所选取出的kc个样本均作为有价值样本；kc为第c个簇内选取出的样本数；
8、s5、判断当前第t个任务所对应的选取出的有价值样本总数是否超出预设样本总数b，结果为是，随机保留b个有价值样本，并将该b个有价值样本进行类别标注后，继续锁定给定的模型参数，利用标注后样本对类增量图像分类模型中的视觉提示词微调单元进行训练，从而确定类增量图像分类模型的提示词参数，执行步骤s6；结果为否，将选取出的所有有价值样本进行类别标注后，继续锁定给定的模型参数，利用标注后样本对类增量图像分类模型中的视觉提示词微调单元进行训练，从而确定类增量图像分类模型的提示词参数，执行步骤s6；
9、s6、令t＝t+1，判断t是否为最后一个任务，结果为是，完成对类增量图像分类模型的训练，执行步骤s7，结果为否，则用上一任务的类增量图像分类模型的提示词参数来初始化当前任务的提示词参数，执行步骤s3；
10、s7、利用训练后的类增量图像分类模型对待分类的图像进行分类。
11、优选的是，步骤s4中确定各簇中选取样本数量kc的实现方式为：
12、
13、其中，mc为第c个簇gc中包含的样本总数，nt为第t个任务所对应的无标签训练集中样本总数，为向上取整操作。
14、优选的是，步骤s4中选取kc个样本的实现方式为：
15、步骤s41、假设第c个簇gc中所有样本服从高斯分布
16、其中，μc为簇gc的均值向量，为维度d×1的实数空间，为高斯分布的协方差对角阵的对角线元素向量；
17、i为簇gc中第i个样本所对应的特征向量，d为整数，mc为簇gc中包含的样本总数；
18、步骤s42、从簇gc中选取出第一个样本的实现方式为：
19、
20、其中，为簇gc所对应的有价值样本的集合，的初始状态为空集，fselected1为中第一个样本；∪表示取并集；
21、步骤s43、从簇gc中选取出第m个样本后，并将该样本添加至中，直至中有样本数量达到kc；m＝2,3……kc；
22、选取出第m个样本的实现方式为：
23、
24、其中，fj为差集中的第j个样本的特征向量；
25、为所构成集合中所有样本所服从的高斯分布；
26、dkl(·|·)表示计算两个分布和间的kl散度，fselectedm为中第m个样本。
27、优选的是，步骤s41中，
28、
29、其中，为高斯分布的协方差对角阵的对角线上的第d行第d列元素，fid和μcd分别为fi和μc中的第d行元素。
30、优选的是，
31、
32、其中，
33、为高斯分布的均值向量，为高斯分布的协方差对角阵的对角线元素向量；
34、为高斯分布的协方差对角阵的对角线上的第d行第d列元素，为高斯分布的协方差对角阵的对角线上的第d行第d列元素，为高斯分布的均值向量的第d行元素，μcd为高斯分布的均值向量的第d行元素。
35、优选的是，聚类算法采用k-means算法实现。
36、优选的是，类增量图像分类模型为l2p模型或dualprompt模型。
37、优选的是，深度学习模型为基于注意力机制的深度学习模型。
38、优选的是，给定的模型参数为对深度学习模型训练过的参数。
39、实现类别平衡采样的主动-类增量图像分类装置，包括存储设备、处理器、以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现所述实现类别平衡采样的主动-类增量图像分类方法。
40、本专利技术带来的有益效果是：
41、在给定任务中，首先使用在给定模型参数下的深度学习模型为每个无标签样本提取特征。其次，使用聚类算法对这些特征聚类为若干簇，每个簇内包括多个样本的特征向量。对于每个簇，分别采用本专利技术所设计的改进贪心采样算法来选出一批样本。该改进贪心采样算法通过计算所本文档来自技高网...
【技术保护点】
1.实现类别平衡采样的主动-类增量图像分类方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤S4中确定各簇中选取样本数量Kc的实现方式为：
3.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤S4中选取Kc个样本的实现方式为：
4.根据权利要求3所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤S41中，
5.根据权利要求3所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，
6.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，聚类算法采用K-means算法实现。
7.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，类增量图像分类模型为L2P模型或DualPrompt模型。
8.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，深度学习模型为基于注意力机制的深度学习模型。
9
10.实现类别平衡采样的主动-类增量图像分类装置，包括存储设备、处理器、以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至9任一所述实现类别平衡采样的主动-类增量图像分类方法。
...【技术特征摘要】
1.实现类别平衡采样的主动-类增量图像分类方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤s4中确定各簇中选取样本数量kc的实现方式为：
3.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤s4中选取kc个样本的实现方式为：
4.根据权利要求3所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，步骤s41中，
5.根据权利要求3所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，
6.根据权利要求1所述的实现类别平衡采样的主动-类增量图像分类方法，其特征在于，聚类算法采用k-means算法实现。...
【专利技术属性】
技术研发人员：左旺孟，黄梓桐，李沅泽，董伯文，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。