【技术实现步骤摘要】
本专利技术涉及图像检测领域，具体地，涉及一种用于无监督可见-红外行人重识别的标签关联方法。
技术介绍
1、由于在智能监控系统中的实际应用，可见-红外行人重识别引起了越来越多的关注。可见-红外行人重识别技术是指利用可见光和红外光双模态数据进行行人识别的技术。在可见光影像中，行人的外貌特征、衣着颜色等信息更加清晰可见，而在红外影像中，由于其穿透力强，可以穿透一些遮挡物，如雾、烟尘等，因此即使在恶劣的光照条件下也可以获取到较为清晰的图像。因此，可见-红外行人重识别技术是在给定一张来自红外/可见模态下的图像时，从一组可见/红外图库图像中检索相同的人物。然而，这些方法都需要具有模态共享的标注的数据集作为网络训练的依据，而由于可见光图像与红外图像间巨大的模态差异，导致可见-红外行人重识别技术在实际应用中耗时较多且识别过程复杂。
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术提供了一种用于无监督可见-红外行人重识别的标签关联方法。
2、根据本专利技术实施例的第一方面，提供一种用于无监督可见-红外行人重识别的标签关联方法，所述方法包括：
3、获取图像数据集；其中，所述图像数据集中包含可见光模态的行人图像和红外光模态的行人图像；
4、根据所述图像数据集，获取所述可见光模态的行人图像对应的第一特征和所述红外光模态的行人图像对应的第二特征；
5、根据所述第一特征和所述第二特征构建亲和矩阵，以表征同质亲和力和异质亲和力；其中，所述同质亲和力表
6、根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的第二最优软伪标签；
7、将所述第一最优软伪标签和所述第二最优软伪标签作为监督信号以应用于无监督可见-红外行人重识别中。
8、可选地，在所述根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的第二最优软伪标签之前，所述方法还包括：
9、根据所述第一特征和所述图像数据集得到聚类中心；
10、根据所述聚类中心获取第一存储库；其中，所述第一存储库中包含多个所述第一特征以及多个所述第一特征对应的伪标签；
11、根据所述第一存储库和所述第一特征获取第一初始粗标签；
12、利用所述第一存储库为所述第二特征分配标签，作为第二初始粗标签。
13、可选地，所述第一初始粗标签获取方式如下：
14、
15、其中，表示所述第一初始粗标签，表示特征fv从所述第一存储库输出的预测概率分布，k表示特征的数量，τ为温度系数；
16、所述第二初始粗标签获取方式如下：
17、
18、其中，otla为最优传输标签分配算法，表示将所述第一存储库中的伪标签分配给第二特征fr，以作为第二初始粗标签
19、可选地，所述根据所述第一特征和所述第二特征构建亲和矩阵，包括：
20、根据所述第一特征和所述第二特征，利用杰卡德相似度构建所述同质亲和力；
21、根据所述第一特征和所述第二特征，利用最优传输模型构建所述第一特征和所述第二特征之间的传输成本；
22、根据所述传输成本得到所述异质亲和力；
23、根据所述同质亲和力和所述异质亲和力得到所述亲和矩阵。
24、可选地，所述同质亲和力根据如下公式得到：
25、
26、其中，sho(e)为sho(v)或sho(r)，表示所述可见光模态内的同质亲和力或所述红外光模态内的同质亲和力，即同一模态内和之间的亲和关系，表示的κ-互最近邻，表示的κ-互最近邻，sho(v)为所述可见光模态的图像内的亲和关系，sho(r)为所述红外光模态的图像内的亲和关系，和为同一模态中的两个不同的特征。
27、可选地，所述异质亲和力根据如下公式得到：
28、
29、
30、其中，she表示所述不同模态的图像之间的传输计划，che为根据所述不同模态的特征之间的欧氏距离构建的成本矩阵，<a,b>表示矩阵a和矩阵b的frobenius点积，λ为超参数，根据上述公式得到的最优传输计划she*作为所述异质亲和力，fiv表示所述可见模态的第i个特征，表示所述红外光模态的第j个特征。
31、可选地，所述根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的第二最优软伪标签，包括：
32、根据所述图像数据集中的图像特征的伪标签两两之间的欧氏距离以及所述亲和矩阵，得到同质不一致性和异质不一致性；
33、根据所述图像特征的标签、所述第一初始粗标签和所述第二初始粗标签，得到自不一致性；
34、根据所述同质不一致性、所述异质不一致性和所述自不一致性得到所述第一最优软伪标签和所述第二最优软伪标签。
35、可选地，所述同质不一致性可以根据如下公式得到：
36、
37、其中，表示所述可见模态或所述红外光模态的同质不一致性，表示在所述可见光模态下或所述红外光模态下对应的特征的伪标签，表示在所述可见光模态下的特征的伪标签，表示在所述红外光模态下的特征的伪标签，ne表示模态e在所述图像数据集中对应的图像数量，表示所述可见模态或所述红外光模态的第i′个特征和第j′个特征之间的同质亲和力，表示所述可见模态或所述红外光模态的第i′个特征对应的伪标签，表示所述可见模态或所述红外光模态的第j′个特征对应的伪标签；
38、所述异质不一致性可以进行类似地表示：
39、
40、
41、其中，表示可见模态的异质不一致性，nv表示可见模态v在所述图像数据集中对应的图像数量，nr表示红外光模态r在所述图像数据集中对应的图像数量，表示所述可见模态到所述红外光模态的亲和矩阵，表示所述可见模态的第i″个特征对应的伪标签，表示所述红外光模态的第j″个特征对应的伪标签；表示所述红外光模态的异质不一致性，表示所述红外光模态到所述可见模态的亲和矩阵，表示所述红外光模态的第i″′个特征对应的伪标签；表示所述可见模态的第j″′个特征对应的伪标签；
42、所述自不一致性可以进行类似地表示：
43、
44、其中，表示所述可见模态或所述红外光模态的第i1个特征对应的伪标签，表示所述可见模态或所述红外光模态的第i1个特征的初始粗标签，ne表示模态e在所述图像数据集中对应的图像数量。
45、可选地，所述方法还包括：
46、构建第二存储库和第三存储库；其中，所述第二存储库中包含多个所述第一特征以及多个所述第一特征对应的伪标签，多个所述第二特征以及多个所述第二特征对应的在可见光空间下的伪标签，所述第三存储库存储多个所述第二特征以及多个所述第二特征对应的在可见光空间下的伪标签以及多个所述第二特征本文档来自技高网...
【技术保护点】
1.一种用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述方法包括：
2.根据权利要求1所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，在所述根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的第二最优软伪标签之前，所述方法还包括：
3.根据权利要求2所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述第一初始粗标签获取方式如下：
4.根据权利要求1所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述根据所述第一特征和所述第二特征构建亲和矩阵，包括：
5.根据权利要求4所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述同质亲和力根据如下公式得到：
6.根据权利要求5所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述异质亲和力根据如下公式得到：
7.根据权利要求3所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的
8.根据权利要求7所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述同质不一致性可以根据如下公式得到：
9.根据权利要求1所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述方法还包括：
10.根据权利要求9所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述第一对比损失根据如下公式得到：
...【技术特征摘要】
1.一种用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述方法包括：
2.根据权利要求1所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，在所述根据所述亲和矩阵得到可见光模态对应的第一最优软伪标签和红外光模态对应的第二最优软伪标签之前，所述方法还包括：
3.根据权利要求2所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述第一初始粗标签获取方式如下：
4.根据权利要求1所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述根据所述第一特征和所述第二特征构建亲和矩阵，包括：
5.根据权利要求4所述的用于无监督可见-红外行人重识别的标签关联方法，其特征在于，所述同质亲和力根据如下公式得到：<...
【专利技术属性】
技术研发人员：程德，何凌峰，王楠楠，辛经纬，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。