【技术实现步骤摘要】
本专利技术涉及目标跟踪领域，尤其涉及一种基于深度学习的多目标检测跟踪系统及其方法。
技术介绍
1、基于深度学习的多目标检测跟踪系统在agv小车的应用中，可以极大地提升小车在复杂环境中的自主导航和搬运能力，基于深度学习的多目标检测跟踪系统是一个复杂且高效的计算机视觉系统，它结合了深度学习和目标检测跟踪算法，以实现对多个目标在连续视频帧中的准确检测和跟踪，以下是关于该系统的一些核心概念和基本原理，首先，目标检测是该系统的关键步骤之一。通过使用深度学习目标检测算法，系统能够在每一帧图像中检测出所有感兴趣的目标，并获取它们的位置信息，这些算法通过卷积神经网络来提取图像特征，进而识别出目标物体的位置和形状，其次，特征提取是另一个重要环节。对于每个检测到的目标，系统会提取其视觉特征（如颜色、纹理、形状等）或运动特征（如速度、加速度等）。这些特征在后续的跟踪过程中起到关键作用，有助于匹配和识别连续帧中的相同目标。
2、在现有的多目标检测跟踪系统中，尤其是在涉及多个agv小车交互运行的环境中，确实会频繁出现相互遮挡的问题，这会导致目标检测难度增大，尤其是被遮挡的目标其置信度分数会显著降低，从而再次采用传统仅依赖高置信度检测框的跟踪算法时，容易忽略这些低置信度检测物的目标，进而造成目标轨迹的中断甚至丢失，进而影响跟踪的稳定性和准确性。
3、因此，有必要提供一种新的基于深度学习的多目标检测跟踪系统及其方法解决上述技术问题。
技术实现思路
1、为解决上述技术问题，本专利技术提供一
2、本专利技术提供的基于深度学习的多目标检测跟踪系统及其方法，包括：
3、一种基于深度学习的多目标检测跟踪系统，包括：
4、采集模块：该模块用于对 agv小车进行摄像，并采集图像信息；
5、检测模块：利用深度学习模型对采集的图像信息中的目标进行检测，对多个agv小车进行外观特征提取；
6、跟踪模块：采集检测模块中agv小车的外观特征，使用卡尔曼滤波算法，预测多个agv小车的上一时刻轨迹在新时刻的运动轨迹，最后采用处理单元进行关联计算，完成多目标追踪；
7、输出模块：系统采集跟踪模块中的多目标跟踪结果，并输出显示跟踪结果。
8、进一步的，其中数据关联方式为byte数据关联方式，其具体使用流程如下：
9、s01:首先将每个检测框分成高分框和低分框两类，并进行两次匹配；
10、s02:第一次使用高分框和之前的跟踪轨迹进行匹配，第二次匹配则是利用低分框和第一次匹配中未与高分框匹配上的跟踪轨迹进行匹配。
11、进一步的，所述检测模块中对多个agv小车进行外观特征提取的具体步骤如下：
12、s001：接收由采集模块采集的图像信息，对采集的图像进行标注，标记出agv小车的位置和边界框，构成数据集，用于训练yolo模型；
13、s002：使用标注好的数据集训练选定的yolo模型，通过调整模型参数和优化器设置，使模型能够准确识别agv小车；
14、s003：将待检测的图像输入到训练好的模型中，模型会输出agv小车在图像中的位置和置信度，通过非极大值抑制方法去除重叠的边界框，得到最终的检测结果；
15、s004：在目标检测的基础上，可以使用预训练的卷积神经网络作为特征提取器，提取agv小车的外观特征。
16、进一步的，其中，所述采集模块中进行采集图像的设备为摄像头。
17、进一步的，所述输出模块中输出的跟踪结果为图片形式。
18、进一步的，所述处理单元中进行关联计算，完成多目标追踪的步骤如下：
19、s1：将agv小车行驶的时间段分为t-1时刻轨迹集合划分为追踪轨迹、未确认轨迹、丢失轨迹，追踪轨迹与丢失轨迹经过卡尔曼滤波预测，得到在t时刻轨迹预测位置；
20、s2：高置信度物体匹配，基于byte数据关联方式，将在t时刻agv小车预测位置信息与高分检测物进行高置信度物体匹配；
21、s3：对于高置信度物体匹配失败的轨迹，与低置信度检测物进行匹配，其中匹配失败轨迹与低分检测物进行低置信度物体匹配；
22、s4：历史位置匹配，对于前两次匹配都失败的轨迹，与检测物进行历史位置的匹配，该历史位置即为agv小车的t-1时间段的位置；
23、s5：未确认轨迹匹配，对于历史位置匹配也失败的检测物中的高置信度物体，与未确认轨迹进行匹配；
24、s6：根据上述四个成功匹配的轨迹的结果，系统更新agv小车在t时刻的轨迹集合，成功匹配的轨迹将根据最新的位置和状态信息进行更新；未成功匹配的轨迹被标记为丢失或从当前追踪集中剔除；同时，新检测到的、尚未关联的物体会被加入到未确认轨迹集合中。
25、进一步的，其中s2以及s3中两次匹配使用高置信度物体匹配以及低置信度检测物进行匹配的匹配方式采用了biou运动相似度度量，biou运动相似度度量通过强调边界匹配，能够更准确地捕捉运动目标的轮廓变化，从而提高运动目标检测和跟踪的精度。
26、基于深度学习的多目标检测的方法，应用于上述的基于深度学习的多目标检测跟踪系统，包括如下步骤：
27、s0001：首先通过采集模块对于agv小车进行摄像，并采集agv小车图像信息；
28、s0002：接收由采集模块采集的图像信息，对采集的图像进行标注，标记出agv小车的位置和边界框，构成数据集，用于训练yolo模型，使用标注好的数据集训练选定的yolo模型，通过调整模型参数和优化器设置，使模型能够准确识别agv小车，将待检测的图像输入到训练好的模型中，模型会输出agv小车在图像中的位置和置信度，通过非极大值抑制方法去除重叠的边界框，得到最终的检测结果，在目标检测的基础上，可以使用预训练的卷积神经网络作为特征提取器，提取agv小车的外观特征；
29、s0003：随后在跟踪模块中通过接收agv小车的外观特征数据，使用卡尔曼滤波算法，预测多个agv小车的上一时刻轨迹在新时刻的运动轨迹，最后使用四阶段匹配算法进行关联计算，完成多目标追踪；
30、s0004：通过输出模块显示跟踪结果，该跟踪结果呈现形式为图片形式。
31、与相关技术相比较，本专利技术提供的基于深度学习的多目标检测跟踪系统及其方法具有如下有益效果：
32、本专利技术通过使用卡尔曼滤波算法，预测多个agv小车的上一时刻轨迹在新时刻的运动轨迹，最后使用四阶段匹配算法进行关联计算，完成多目标追踪，在具体使用的时候，将agv小车行驶的时间段分为t-1时刻轨迹集合划分为追踪轨迹、未确认轨迹、丢失轨迹，对于高置信度物体匹配失败的轨迹，与低置信度检测物进行匹配，其中匹配失败轨迹与低分检测物进行低置信度物体匹配，对于前两次匹配都失败的轨迹，与检测物进行历史位置的匹配，对于历史位置匹配也失败的检测物中的高置信度物体，与未确认轨迹本文档来自技高网...
【技术保护点】
1.一种基于深度学习的多目标检测跟踪系统，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述处理单元中进行关联计算，完成多目标追踪的步骤如下：
3.根据权利要求2所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述检测模块中对多个AGV小车进行外观特征提取的具体步骤如下：
4.根据权利要求3所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述采集模块中进行采集图像的设备为摄像头。
5.根据权利要求4所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述输出模块中输出的跟踪结果为图片形式。
6.根据权利要求5所述的基于深度学习的多目标检测跟踪系统，其特征在于，其中S2以及S3中两次匹配使用高置信度物体匹配以及低置信度检测物进行匹配的匹配方式采用了运动相似度度量算法。
7.基于深度学习的多目标检测的方法，应用于如权1-权6中的任意一条基于深度学习的多目标检测跟踪系统，其特征在于，包括如下步骤：
8.基于深度学习的多目标检测的方法，其特征在于，S00
...【技术特征摘要】
1.一种基于深度学习的多目标检测跟踪系统，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述处理单元中进行关联计算，完成多目标追踪的步骤如下：
3.根据权利要求2所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述检测模块中对多个agv小车进行外观特征提取的具体步骤如下：
4.根据权利要求3所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述采集模块中进行采集图像的设备为摄像头。
5.根据权利要求4所述的基于深度学习的多目标检测跟踪系统，其特征在于，所述输出...
【专利技术属性】
技术研发人员：胡海强，肖锋，王子奇，王珍，韩玮，吴梦颖，郑雪阳，
申请(专利权)人：中建材智能自动化研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。