【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体是一种基于动态队列深度聚类的完全无监督行李重识别方法。
技术介绍
1、随着国内经济的加速发展和人民生活水平的不断提高，越来越多的人选择乘坐飞机作为出行方式。在乘机过程中，通常的情况是一位旅客会携带多件行李，这就导致了国内机场需要处理的行李数量远大于旅客数量。面对如此庞大的行李数量，国内机场仅依靠人工分拣行李已难以满足人们的出行需求。在此情况下，对于机场而言，自动化行李分拣系统在运送乘客过程中的重要性愈发凸显。目前，主流机场行李自动化分拣系统采用射频识别技术(radio frequency identification，rfid)的形式对行李进行分拣。
2、射频识别技术，利用唯一的电磁标签和电磁读写器进行行李识别和数据传输。通过该图可见，行李分拣过程被划分为两个主要阶段：值机环节和传送带跟踪环节。在值机环节中，机场工作人员会给行李贴上含有唯一识别码的电磁标签，以便后续跟踪和识别工作的进行。在随后的传送带跟踪环节，专门的电磁读写设备负责对行李的识别与跟踪。具体而言，当行李在值机台经过贴标并进入传送带后，它会沿着传送带快速移动，经过多个电磁读写设备节点。在此过程中，每个节点能够识别过往行李附带的电磁标签，并将电磁标签穿越的节点信息整合，形成行李的运动轨迹，例如通过节点#1、节点#3、节点#4等。
3、尽管射频识别技术在行李跟踪识别方面得到了广泛应用，但它依然存在一些固有的限制。例如，设备成本高、行李跟踪效果受读写器数量限制、电磁干扰可能导致识别失败等问题。这些问题限制了自动化行
4、计算机视觉的行李跟踪系统通过对拍摄画面中的行李进行识别、跟踪和重识别，实现了整个跨摄像头的行李跟踪流程。具体来说，这个过程首先涉及到从摄像头拍摄的画面中识别出哪些物体是行李。接下来，系统会实时监控这些行李的移动轨迹，完成单摄像头跟踪任务。而关键的最后一步，系统需确认这些行李的确切身份，实现不同摄像头捕捉的行李轨迹之间的匹配，以构建出行李的完整路径。在跨摄像头跟踪的过程中，行李重识别技术起到与电磁标签类似的作用，通过分析摄像头画面中行李的特征来辨别行李身份，这是完成跨摄像头行李轨迹匹配和构建完整行李路径的核心环节。
5、得益于近年来神经网络技术的迅速发展，单一摄像头范围内的行李识别与跟踪已经展现出优异的性能。然而，在进行跨摄像头行李身份匹配的重识别技术方面，目前的解决方案仍未完全满足实际应用需求，因此本文重点探讨行李重识别的方法。
6、在行李分拣流水线的特定场景下，物体重识别技术面临着新的挑战，这些挑战主要源于重识别的精确度高度依赖摄像头捕捉到的图像质量以及行李在不同情景下的外观特征是否保持一致。而行李重识别任务的操作环境，与常见的行人或车辆重识别场景相比更加复杂，而复杂的环境条件经常导致同一件行李的外观特征发生变化。
7、在行李分拣流水环境中，摄像头安装在传送带的多个关键位置，这些位置附近常有其他辅助分拣设备。
8、以下简要说明辅助分拣设备如何导致行李外观与姿态的变化：
9、(1)信号指示灯
10、行李分拣流水线上存在多个定时闪烁的信号指示灯，光源的明暗快速交替导致一些金属漆面行李的外观颜色也随之迅速变化。
11、(2)传送带
12、行李分拣流水线的传送带既有高低起伏又存在许多弯道，行李在前进过程中时常发生反转，行李在反转前后的姿态往往有较大差异。
13、(3)机械摆臂
14、行李分拣流水线使用机械摆臂进行分流，机械摆臂改变行李传送航道时也会改变行李的姿态。
15、(4)围栏
16、行李分拣流水线上的围栏会对摄像头视野中的行李进行遮挡。
17、综上，由于同一件行李在不同的摄像头视野下可能会呈现出显著不同的表面颜色和行进姿态，加之摄像头拍摄的画面有时可能无法完全覆盖目标行李。因此，在这种复杂且多变的环境中，行李重识别任务面临着精确辨别大量目标身份的挑战。
18、此外，在日客流量达到约10万人的机场场景中，分拣流水线每天从不同角度拍摄的行李视频为行李重识别模型训练提供了丰富的数据资源。然而，这些数据庞大的规模和复杂性使得依靠传统人工标注的方法变得不可行。因此，完全无监督训练算法成为使用大规模数据集训练行李重识别模型的更佳选择。然而，大多数现有的完全无监督重识别训练算法主要在小规模数据集上进行训练和测试。在数据量较小的环境下，这些算法需要耗费大量显存资源以进行数据的对比和聚类。这种做法在处理大规模数据集时，使得模型训练变得更加困难。因此，行李重识别的无监督训练面临的另一个挑战是如何在显存资源有限的情况下处理大规模数据集的训练。
19、另外，本论文依托于由中国民航局第二研究所牵头的《航空物流多源数据融合与协同关键技术开发》校级项目。综上所述，深入研究和开发行李重识别模型，不仅是一个重要的科研课题，同时也具有巨大的经济意义。
技术实现思路
1、本专利技术的目的在于针对现有完全无监督重识别模型在训练时显存需求过高，导致模型难以在大规模无标签行李数据集上训练的问题，提出了一种基于动态队列深度聚类的完全无监督行李重识别模型dynqueuevit。该模型在降低训练对显存需求的同时，也提升了模型的重识别性能。
2、本专利技术的目的是这样达到的：
3、提出一种基于动态队列深度聚类的完全无监督行李重识别模型，dynqueuevit。该模型旨在充分利用行李分拣流水线产生的大量无标签数据，在显卡资源有限的情况下，提高行李重识别的准确率。
4、具体方式如下：
5、1、一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述方法包括以下步骤：
6、步骤1、构建行李数据集，创建了无身份标签的行李数据集lreid-50tohsouand。这些视频由五个摄像头录制，覆盖分拣流水线的各个位置，总时长148小时，包含超过10万个不同身份的行李。数据集制作使用yolov5工具。yolov5用于目标检测，将检测结果裁剪后构建数据集。lreid-50tohsouand包含5000个不同身份的行李，共50000张图片，每件行李平均10张不同角度的照片。
7、步骤2、构建本地行李分拣流水线视频采集环境，包含行李分拣流水线多个视域不交叉摄像头、视频流传输服务器；
8、步骤3、构建本地行李值机视频采集环境，包含行李值机台拍摄摄像头、视频流传输服务器；
9、步骤4、得到行李值机图像与行李在流水分拣线上不同视域下拍摄视频；
10、步骤5、部署本地行李重识别特征计算dynqueuevit模本文档来自技高网...
【技术保护点】
1.一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤1中无身份标签的行李数据集LReID-50tohsouand创建过程；制作步骤包括：用LabelMe和视频制作小批检测数据集，初始化并微调YOLOv5网络，生成标注有行李边界框的视频，每4帧提取一张图片，裁剪边界框生成备用数据集，最后人工筛选排除重复图片，并完成无标签数据集的人工标注。
3.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型，使用特征提取网络将输入模型的行李图像分解为全局特征fg、局部特征fl和权重参考对比特征fdata。
4.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型为输入图像的全局特征fg和局部特征fl各自建立了先进先出的动态队列；同时，为了更全面地捕获图像信息，还引入了一
5.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型在更新动态队列时引入了视频序列的时间约束；具体而言，在实际的行李分拣流水线环境中，多个摄像头会同时对行李进行拍摄，同一件行李在同一时间段内很可能被不同的摄像头捕捉；因此，利用LRe-ID50thsouand数据集中每张图像附带的拍摄时间戳，将同一时间段内由不同摄像头拍摄的图像归入同一个训练批次，再将该训练批次图像送入DynQueueViT行李重识别模型中进行训练。
6.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型使用正负样本匹配算法在动态队列中找到所有属于同一身份的行李图像，并将它们标识为正样本集合；对应地，正样本集合中的所有图像特征融合后得到的混合特征，将作为锚点样本的特征表示；
7.根据权利要求书1中所述的基于局部数据增强的ViT行李重识别方法，其特征在于，所述步骤5中LocEnViT模型，模型通过融合正样本集中所有图像的全局和局部特征，创造了综合的全局特征fimg和局部特征fiml：
8.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型，使用混合特征对比损失Lm和数据增强对比损失Ldata对模型进行训练；总体损失函数Ltotal可以表示为：
9.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中DynQueueViT模型，在判断两张行李图像是否属于同一身份时，LocEnViT行李重识别模型进行余弦距离计算：
...【技术特征摘要】
1.一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤1中无身份标签的行李数据集lreid-50tohsouand创建过程；制作步骤包括：用labelme和视频制作小批检测数据集，初始化并微调yolov5网络，生成标注有行李边界框的视频，每4帧提取一张图片，裁剪边界框生成备用数据集，最后人工筛选排除重复图片，并完成无标签数据集的人工标注。
3.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中dynqueuevit模型，使用特征提取网络将输入模型的行李图像分解为全局特征fg、局部特征fl和权重参考对比特征fdata。
4.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中dynqueuevit模型为输入图像的全局特征fg和局部特征fl各自建立了先进先出的动态队列；同时，为了更全面地捕获图像信息，还引入了一个存储混合特征的动态队列；在评估样本对属于正样本对还是负样本对时，dynqueuevit行李重识别模型主要依赖于全局和局部特征队列，在定义对比损失来训练特征提取网络时，dynqueuevit行李重识别模型选择使用混合特征。
5.根据权利要求书1中所述的基一种基于动态队列深度聚类的完全无监督行李重识别方法，其特征在于，所述步骤5中dynqueuevit模型在更新动态队列时...
【专利技术属性】
技术研发人员：陈良银，罗坤，刘高源，罗张伟，易笑澜，李佳壕，张国彬，孙杨，罗富玮，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。