装箱过程中物品跟踪方法技术

本发明专利技术公开了一种装箱过程中物品跟踪方法，获取装箱过程中传送带上的目标物品的视频数据，采集视频数据中的目标物品图像信息，通过目标检测和目标跟踪系统跟踪目标物品位置和轨迹信息；采集装箱过程中传送带上的目标物品移动过程中的

【技术实现步骤摘要】
装箱过程中物品跟踪方法


[0001]本专利技术属于物品跟踪
，具体涉及一种装箱过程中物品跟踪方法
。

技术介绍

[0002]在各种制造和物流行业中，准确地跟踪和记录装箱过程中的物品的轨迹是必不可少的
。
现有物品跟踪基本都是通过计算机视觉跟踪实现的
。
[0003]申请号为
2023104243675
的中国专利公开了一种基于改进
YOLOv5
和
DeepSORT
的目标检测及追踪的方法及系统，所述方法包括获取待检测目标图像并进行预处理，将处理后的图片按
6:2:2
的比例划分预处理图像集，得到训练集
、
验证集和测试集；通过改进
YOLOv5
构建目标检测模型；通过训练好的目标检测模型对当前帧进行目标车辆检测，获得当前帧骑电动车人员佩戴头盔情况及位置信息
。
[0004]上述专利方案在对目标跟踪过程中，就是通过
YOLOv5
和
DeepSORT
技术来实现跟踪目的
。YOLOv5
用于目标检测，即识别图像或视频中的物品，而
DeepSORT
用于目标跟踪，即跟踪这些物品的运动轨迹
。
通过这两种技术结合使用，以实现更全面的视觉任务
。
但是上述技术在跟踪时会存在一定的缺陷，如果出现长时间遮挡以及相近似的物品混淆后，会将其他物品作为原先的目标物品，错误输出目标物品的轨迹，由于无法准确验证两个不同帧数下的目标物品是否是同一物品造成其可靠性不足
。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种装箱过程中物品跟踪方法，包括以下步骤：
S1、
物品检测跟踪获取装箱过程中传送带上的目标物品的视频数据，采集视频数据中的目标物品图像信息数据，通过目标检测和目标跟踪系统跟踪目标物品位置和轨迹信息；
S2、
采集验证数据采集装箱过程中传送带上的目标物品移动过程中的
RFID
标签信息数据以及重量信息数据；
S3、
数据结合验证将目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据集成到数据库中相关联，判断前后两个不同帧数下的目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据各自是否匹配，根据三种结果来判定最终匹配结果，如果匹配结果均一致则执行步骤
S4
；否则执行步骤
S5
；
S4、
输出轨迹更新当前目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息和物品轨迹，并进行输出；
S5、
创建新跟踪存储该目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息，将该目标物品作
为新的目标物品进行跟踪
。
[0006]较佳的，所述步骤
S1
中的目标跟踪系统为
DeepSort
，所述步骤
S3
中判断前后两个不同帧数下的目标物品的图像信息数据是否匹配时，匹配方法包括
IOU
匹配和特征匹配
。
[0007]较佳的，所述步骤
S2
中重量信息数据是通过安装在传送带下方的若干称重传感器进行采集的，通过目标物品的图像信息数据判断目标物品在传送带上的坐标，通过坐标锁定对应的称重传感器，获取目标物品的重量信息
。
[0008]较佳的，所述步骤
S2
中目标物品的
RFID
标签信息数据是通过若干均匀安装在传送带周围的
RFID
识别器读取的，结合目标物品的图像信息数据锁定目标物品的位置，通过相应位置的
RFID
识别器读取
。
[0009]较佳的，所述步骤
S1
以及步骤
S2
中采集目标物品的图像信息数据
、RFID
标签信息数据以及重量信息数据时都会采集对应数据的时间戳，所述步骤
S3
中在判断前后两个不同帧数下的目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据各自是否匹配之前，需要判断重量信息数据
、RFID
标签信息数据自身所采集的时间戳是否与图像信息数据中对应的时间戳是否相同，如果相同则判定时间戳匹配，执行数据匹配判断，如果不同则寻找目标物品对应时间戳下对应的数据
。
[0010]较佳的，在判断重量信息数据
、RFID
标签信息数据自身所采集的时间戳是否与图像信息数据中对应的时间戳是否相同时，如果重量信息数据
、RFID
标签信息数据对应的时间戳与图像信息数据对应的时间戳差别不超过阈值，则依旧判定时间戳匹配
。
[0011]较佳的，还包括步骤
S6
，视频回溯，通过摄像头对传送带的上方进行全天监控，监控视频中也包含有时间戳，当前后两个不同帧数下的目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据最终的匹配结果为否时，通过视频回溯观察目标物品在相应时间段的状况
。
[0012]较佳的，还包括步骤
S7
，声音判别，通过设置在传送带周围的声音传感器收集传送带周围的声音数据，通过声音事件模型对于声音数据进行识别，判断是否存在物品掉落，如果是，则发出警报；如果否，则继续收集声音数据
。
[0013]较佳的，所述步骤
S7
中如果判断相应的声音数据为物品掉落的声音，则声音模型至少还要再对相应的声音数据进行两次识别，根据多述识别结果作为最终判定结果
。
[0014]本专利技术的优点为：本专利技术采用多种数据相结合的方式，在通过计算机视觉技术对目标物品跟踪时，对目标物品前后多种数据进行判定，根据最终结果来判定两个不同帧数下的目标物品是否是同一物品，从而判定计算机视觉技术在跟踪时是否存在跟踪丢失的情况，能更准确的输出目标物品的轨迹，提升计算机视觉跟踪的可靠性
。
[0015]在对目标物品前后的数据进行对比匹配时，通过采集各数据对应的时间戳，通过时间戳来保证数据采集的一致性，用以提升采集数据的准确性，以进一步保证计算机视觉跟踪的可靠性
。
[0016]对装箱的物品移动全过程进行视频监控，并实时采集重要事件的时间标记并编码于视频中，使视频回看可以精准定位，当对目标物品跟踪丢失时，可以及时观看相对应的时间段的视频信息，便于发现原因
。
[0017]设置有声音传感器，可以对物品是否发生掉落进行及时监测，当目标物品跟踪丢
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种装箱过程中物品跟踪方法，其特征在于：包括以下步骤；
S1、
物品检测跟踪获取装箱过程中传送带上的目标物品的视频数据，采集视频数据中的目标物品图像信息数据，通过目标检测和目标跟踪系统跟踪目标物品位置和轨迹信息；
S2、
采集验证数据采集装箱过程中传送带上的目标物品移动过程中的
RFID
标签信息数据以及重量信息数据；
S3、
数据结合验证将目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据集成到数据库中相关联，判断前后两个不同帧数下的目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息数据各自是否匹配，根据三种结果来判定最终匹配结果，如果匹配结果均一致则执行步骤
S4
；否则执行步骤
S5
；
S4、
输出轨迹更新当前目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息和物品轨迹，并进行输出；
S5、
创建新跟踪存储该目标物品的图像信息数据
、
重量信息数据
、RFID
标签信息，将该目标物品作为新的目标物品进行跟踪
。2.
根据权利要求1所述的装箱过程中物品跟踪方法，其特征在于：所述步骤
S1
中的目标跟踪系统为
DeepSort
，所述步骤
S3
中判断前后两个不同帧数下的目标物品的图像信息数据是否匹配时，匹配方法包括
IOU
匹配和特征匹配
。3.
根据权利要求2所述的装箱过程中物品跟踪方法，其特征在于：所述步骤
S2
中重量信息数据是通过安装在传送带下方的若干称重传感器进行采集的，通过目标物品的图像信息数据判断目标物品在传送带上的坐标，通过坐标锁定对应的称重传感器，获取目标物品的重量信息
。4.
根据权利要求3所述的装箱过程中物品跟踪方法，其特征在于：所述步骤
S2
中目标物品的
RFID
标签信息数据是通过若干均匀安装在传送带周围的
RFID
识别器读取...

【专利技术属性】
技术研发人员：李国瑞，陈彦，王艳超，李仲卿，傅博，
申请(专利权)人：上海英内物联网科技股份有限公司，
类型：发明
国别省市：