【技术实现步骤摘要】
本专利技术属于物流分拣，具体涉及一种基于视觉的货物分拣错误识别系统及方法。
技术介绍
1、快递分拣过程中会出现快递被错分到其他格口，导致快递送错目的地；物流分拣准确率是快递物流运输的重点考核指标，常规分拣模式采用快递货物扫码和分拣线小车绑定的方式来进行快件分拣，在上包台位置获取快递的条码信息，条码信息与plc控制的快递小车一对一绑定，分拣线小车到达指定位置后，小车转动使货物滑落到指定格口，如果存在错分件，无法发现，只有分派到目的地之后才能发现快递货物被错分。
2、利用图像识别算法有助于进行落格监测。但是，图像识别算法所需的算力较大；并且货物分拣特别是快递物流分拣的分拣机格口数量众多；常规服务器难以同时对所有格口进行实时图像识别，从而大幅提高了货物分拣错误识别的成本。
3、此外，在目标检测任务中，一个目标可能会被多个检测框检测到，这些检测框可能会有不同的位置和大小，但实质上表示的是同一个目标。现有技术中多通过非极大值抑制算法nms来解决这一问题。nms的主要目的是去除多余的检测框，只保留置信度最高的那一个检测框，从而得到最终的目标检测结果。但是，在传统的nms算法中，当两个检测框之间的重叠度（iou）高于一定阈值时，会将其中一个检测框剔除，以减少重复检测的情况。这种方法在处理物体密集排列或遮挡等复杂场景时容易漏检。
4、而货物分拣中，若因货物滚动等原因出现多个货物处于同一分拣小车上时，落格的多个货物在格口中可能会存在相互靠近甚至部分重叠的情况；此时，使用非极大值抑制算法nms就容易将多个货物识别
技术实现思路
1、本专利技术的目的在于提供一种基于视觉的货物分拣错误识别系统及方法。
2、第一方面，本专利技术提供一种基于视觉的货物分拣错误识别系统，其包括错分判断模块和图像采集模块；所述的图像采集模块用于采集每个分拣格口的图像；所述的错分判断模块与图像采集模块通信；所述的错分判断模块用于对格口图像进行识别，判断格口图像中是否存在货物，并框选出每个货物的位置。
3、分拣过程中，当一个货物到达并送入目标格口时，分拣机系统服务器均生成货物落格报文，并将货物落格报文发送至错分判断模块；货物落格报文包括货物的目标格口编号和落格时刻；接收到货物落格报文的错分判断模块提取货物的目标格口在落格时刻的格口时序图像组；格口时序图像组包括落格时刻后采集的多张格口图像；最先采集的格口图像在落格时刻的出包时长后采集；通过视觉识别算法判断格口图像中是否存在货物，并根据各格口图像种的货物是否移动判断包裹是否正常落格。
4、作为优选，所述的图像采集模块是识别出的落包类型共有五种，分别为正常落格、挂包、满料堵包、错分和飘格。
5、若格口时序图像组中的各格口图像中均检测到一个货物，且各格口图像中的货物位置存在移动，则判断货物正常落格。
6、若多张格口图像中均检测到一个货物，且多张格口图像中的货物位置无移动，则判断货物边界与格口下沿是否相接；若货物边界与格口下沿不相接，则判断货物挂包；否则判断货物满料堵包。
7、若任意一张格口时序图像组中的各格口图像中检测到多个货物，则判断目标格口出现货物错分。
8、若格口时序图像组中的各格口图像中均未检测到货物，则调取目标格口相邻两个格口在落格时刻的格口时序图像组，并进行货物识别；若相邻格口检测到货物，且相邻格口在落格时刻无对应的货物落格报文，判断货物飘格；否则，则判断货物错分。
9、作为优选，还包括警报模块；所述的警报模块包括格口报警灯；每个分拣格口处均安装有一个格口报警灯；当分拣格口出现挂包、满料堵包、飘格中的任意一种时，对应的格口报警灯亮起。
10、作为优选，还包括显示模块；所述的显示模块用于显示检测到的识别系统的分拣错误情况；当检测到挂包或满料堵包时，显示模块显示对应格口的实时视频。
11、作为优选，所述的错分判断模块与分拣机系统服务器通信，并通过网络时间协议进行时间同步。
12、作为优选，所述图像采集模块包括多个相机；每个相机能够拍摄到自身对应的一个或多个分拣格口的图像。
13、第二方面，本专利技术提供一种基于视觉的货物分拣错误识别方法，其包括以下步骤：
14、步骤一、持续采集分拣机所有格口图像。
15、步骤二、每当一个货物落格时，提取货物的目标格口在落格时刻对应的格口时序图像组；格口时序图像组包括落格时刻后采集的多张目标格口的格口图像；多张格口图像中最先采集的格口图像在落格时刻的出包时长后采集；出包时长为货物从分拣小车进入分拣格口所需的时间。
16、步骤三、根据步骤二采集的格口时序图像组，进行落格类型判断。
17、3-1.将格口时序图像组中的多张格口图像分别进行货物识别，判断多张格口图像中是否存在货物、货物数量和货物位置。
18、3-2.落格类型判断；落格类型包括正常落格、挂包、满料堵包、错分、飘格。
19、若格口时序图像组中的各格口图像中均检测到一个货物，且各格口图像中的货物位置存在移动，则判断货物正常落格。
20、若多张格口图像中均检测到一个货物，且多张格口图像中的货物位置无移动，则判断货物边界与格口下沿是否相接；若货物边界与格口下沿不相接，则判断货物挂包；否则判断货物满料堵包。
21、若任意一张格口时序图像组中的各格口图像中检测到多个货物，则判断目标格口出现货物错分。
22、若格口时序图像组中的各格口图像中均未检测到货物，则调取目标格口相邻两个格口在落格时刻的格口时序图像组，并进行货物识别；若相邻格口检测到货物，且相邻格口在落格时刻无对应的货物落格报文，判断货物飘格；否则，则判断货物错分。
23、当检测到挂包时，挂包格口对应的报警灯亮起，使用显示模块显示挂包格口拍摄的实时视频；当检测到时满料堵包时，满料堵包格口对应的报警灯亮起，使用显示模块显示满料堵包格口拍摄的实时视频；当检测到错分时，记录错分货物的信息；当检测到飘格时，飘格格口对应的报警灯亮起。
24、作为优选，对格口图像进行货物识别的具体过程如下：
25、步骤（1）：使用深度学习目标检测算法对格口图像进行目标检测，形成多个候选检测框；每个候选检测框均对应一个置信度；将所有候选检测框均加入候选检测框集合。
26、步骤（2）：选择候选检测框集合中置信度最高的候选检测框作为基准框，其余候选检测框作为优化框；计算所有优化框与基准框之间的交并比。
27、步骤（3）：更新置信度；更新所有交并比大于或等于交并阈值的优化框的置信度。
28、更新后的置信度的表达式如下：
29、
30、其中，为更新前的置信度； iou为检测框与基准框的交并比；为高斯函数的标准差参数。
31、步骤（4）：将基准框作为一个最终的货本文档来自技高网...
【技术保护点】
1.一种基于视觉的货物分拣错误识别系统，包括错分判断模块（1）和图像采集模块（2）；其特征在于：所述的图像采集模块（2）用于采集每个分拣格口的图像；所述的错分判断模块（1）与图像采集模块（2）通信；所述的错分判断模块（1）用于对格口图像进行识别，判断格口图像中是否存在货物，并框选出每个货物的位置；
2.根据权利要求1所述的一种基于视觉的货物分拣错误识别系统，其特征在于：所述的图像采集模块（2）是识别出的落包类型共有五种，分别为正常落格、挂包、满料堵包、错分和飘格；
3.根据权利要求2所述的一种基于视觉的货物分拣错误识别系统，其特征在于：还包括警报模块；所述的警报模块包括格口报警灯；每个分拣格口处均安装有一个格口报警灯；当分拣格口出现挂包、满料堵包、飘格中的任意一种时，对应的格口报警灯亮起。
4.根据权利要求2所述的一种基于视觉的货物分拣错误识别系统，其特征在于：还包括显示模块（4）；所述的显示模块（4）用于显示检测到的识别系统的分拣错误情况；当检测到挂包或满料堵包时，显示模块（4）显示对应格口的实时视频。
5.根据权利要求1所述的一
6.一种基于视觉的货物分拣错误识别方法，其特征在于：包括以下步骤：
7.根据权利要求6所述的一种基于视觉的货物分拣错误识别方法，其特征在于：对格口图像进行货物识别的具体过程如下：
8.根据权利要求7所述的一种基于视觉的货物分拣错误识别方法，其特征在于：所述的交并阈值的取值为0.1～0.7；置信度阈值的取值为0.1～0.8。
9.根据权利要求6所述的一种基于视觉的货物分拣错误识别方法，其特征在于：所述的出包时长为100ms～800ms；所述的格口时序图像组中相邻两张格口图像的采样时间相差40ms～250ms。
10.根据权利要求6所述的一种基于视觉的货物分拣错误识别方法，其特征在于：多张格口图像中的货物位置存在移动的判断标准为：任意两张相邻的格口图像中货物检测框中心点之间的偏移量大于预设像素数量。
...【技术特征摘要】
1.一种基于视觉的货物分拣错误识别系统，包括错分判断模块（1）和图像采集模块（2）；其特征在于：所述的图像采集模块（2）用于采集每个分拣格口的图像；所述的错分判断模块（1）与图像采集模块（2）通信；所述的错分判断模块（1）用于对格口图像进行识别，判断格口图像中是否存在货物，并框选出每个货物的位置；
2.根据权利要求1所述的一种基于视觉的货物分拣错误识别系统，其特征在于：所述的图像采集模块（2）是识别出的落包类型共有五种，分别为正常落格、挂包、满料堵包、错分和飘格；
3.根据权利要求2所述的一种基于视觉的货物分拣错误识别系统，其特征在于：还包括警报模块；所述的警报模块包括格口报警灯；每个分拣格口处均安装有一个格口报警灯；当分拣格口出现挂包、满料堵包、飘格中的任意一种时，对应的格口报警灯亮起。
4.根据权利要求2所述的一种基于视觉的货物分拣错误识别系统，其特征在于：还包括显示模块（4）；所述的显示模块（4）用于显示检测到的识别系统的分拣错误情况；当检测到挂包或满料堵包时，显示模块（4）显示对应格口的实...
【专利技术属性】
技术研发人员：徐美金，彭策，王志宇，刘丽珺，
申请(专利权)人：杭州康奋威科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。