一种物品取放事件检测方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种物品取放事件检测方法、装置及设备，方法包括：针对货架进行视频采集，通过对视频图像进行分析，确定货架上的物品取放事件；可见，本方案不依赖于重力传感器的精度，对于一些重力传感器不易感知的物品，采用本方案仍能够准确检测这些物品的取放事件，本方案提高了检测的准确性。

【技术实现步骤摘要】
一种物品取放事件检测方法、装置及设备
本专利技术涉及零售
，特别是涉及一种物品取放事件检测方法、装置及设备。
技术介绍
传统的零售行业中，一般需要配备专门的销售人员和收款人员，人力成本较高。随着技术的发展，出现了一些无人超市、无人商场等不需要配备销售人员和收款人员的购物场所。这些购物场所中，需要检测货架上的物品取放事件，也就是检测货架上的物品是否被顾客取走或者放回。检测方案一般包括：在货架上安装重力传感器，基于重力传感器采集的重力数值，判断顾客是否取走或者放回了该货架上的物品。但是重力传感器的精度有限，导致上述检测方案的准确性较差。比如，顾客取走或者放回一些重力较小的物品，重力传感器采集的重力数值没有变化，也就不能检测出货架上的物品取放事件。
技术实现思路
本专利技术实施例的目的在于提供一种物品取放事件检测方法、装置及设备，以提高检测的准确性。为达到上述目的，本专利技术实施例提供了一种物品取放事件检测方法，包括：获取针对货架采集的视频图像；通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。可选的，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：检测所述视频图像中的人员手部；判断所述人员手部是否进入货架区域；如果是，通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。可选的，所述货架包括多个货格，每个货格中放置同一种物品；所述判断所述人员手部是否进入货架区域，包括：判断所述人员手部是否进入货格对应的预设搜索区域；所述通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻，包括：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；所述基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件，包括：若所述第一数量与所述第二数量不相等，则确定所述人员手部进入的搜索区域对应的货格，作为目标货格，并确定所述目标货格中的物品取放事件。可选的，所述获取针对货架采集的视频图像，包括：获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；所述检测所述视频图像中的人员手部，包括：在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格，包括：基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。可选的，所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格之后，还包括：确定所述目标货格上放置物品的类别，作为目标类别；所述确定所述目标货格中的物品取放事件，包括：计算所述第二数量与所述第一数量的差值；若所述差值大于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被取走；若所述差值小于0，则确定所述目标货格中的物品取放事件为：所述差值个所述目标类别的物品被放回。可选的，所述方法还包括：基于所述目标货格中的物品取放事件，更新所述目标类别的物品对应的库存记录。可选的，所述方法还包括：基于所述目标货格中的物品取放事件，更新所述人员的购物信息。可选的，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：检测所述视频图像中的人员手部；判断所述人员手部是否进入货架区域；如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。为达到上述目的，本专利技术实施例还提供了一种物品取放事件检测装置，包括：获取模块，用于获取针对货架采集的视频图像；第一确定模块，用于通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；第二确定模块，用于基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。可选的，所述第一确定模块，包括：第一检测子模块，用于检测所述视频图像中的人员手部；判断子模块，用于判断所述人员手部是否进入货架区域；如果是，触发第一确定子模块；第一确定子模块，用于通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；第二确定子模块，用于在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；第二检测子模块，用于在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。可选的，所述货架包括多个货格，每个货格中放置同一种物品；所述判断子模块，具体用于：判断所述人员手部是否进入货格对应的预设搜索区域；所述第一确定子模块，具体用于：通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；所述第二确定模块，包括：第二确定子模块，用于在所述第一数量与所述第二数量不相等的情况下，确定所述人员手部进入的搜索区域对应的货格，作为目标货格；第三确定子模块，用于确定所述目标货格中的物品取放事件。本文档来自技高网...

【技术保护点】
1.一种物品取放事件检测方法，其特征在于，包括：/n获取针对货架采集的视频图像；/n通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；/n基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。/n

【技术特征摘要】
1.一种物品取放事件检测方法，其特征在于，包括：
获取针对货架采集的视频图像；
通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量；
基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件。


2.根据权利要求1所述的方法，其特征在于，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻；
在所获取的视频图像中，确定所述第一时刻采集的图像，作为第一视频图像，以及确定所述第二时刻采集的图像，作为第二视频图像；
在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量；在所述第二视频图像中，检测所述人员手部持有物品的数量，作为第二数量。


3.根据权利要求2所述的方法，其特征在于，所述货架包括多个货格，每个货格中放置同一种物品；
所述判断所述人员手部是否进入货架区域，包括：
判断所述人员手部是否进入货格对应的预设搜索区域；
所述通过对所述人员手部进行跟踪，确定所述人员手部进入所述货架区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货架区域的时刻，作为第二时刻，包括：
通过对所述人员手部进行跟踪，确定所述人员手部进入货格对应的预设搜索区域的时刻，作为第一时刻，以及确定所述人员手部离开所述货格对应的预设搜索区域的时刻，作为第二时刻；
所述基于所述第一数量与所述第二数量的对比结果，确定所述货架上的物品取放事件，包括：
若所述第一数量与所述第二数量不相等，则确定所述人员手部进入的搜索区域对应的货格，作为目标货格，并确定所述目标货格中的物品取放事件。


4.根据权利要求3所述的方法，其特征在于，所述获取针对货架采集的视频图像，包括：
获取设置于货架上方的相机针对所述货架采集的二维图像和深度图像；
所述检测所述视频图像中的人员手部，包括：
在所述二维图像中检测人员手部，并基于所述二维图像与所述深度图像之间的映射关系，得到所述人员手部的三维坐标；
所述确定所述人员手部进入的搜索区域对应的货格，作为目标货格，包括：
基于所述人员手部的三维坐标、以及预先标定得到的各货格对应的预设搜索区域的三维坐标，确定所述人员手部进入的搜索区域对应的货格，作为目标货格。


5.根据权利要求1所述的方法，其特征在于，所述通过检测并跟踪所述视频图像中的人员手部，确定所述人员手部靠近所述货架时手持物品的数量，作为第一数量，以及确定所述人员手部离开所述货架时手持物品的数量，作为第二数量，包括：
检测所述视频图像中的人员手部；
判断所述人员手部是否进入货架区域；
如果是，在第一视频图像中，检测所述人员手部持有物品的数量，作为第一数量，所述第一视频图像为：所述人员手部进入所述货架区域时的视频图像；
通过对所述人员手部进行跟踪，确定所述人员手部离开所述货架区域时的视频图像，作为第二视频图像；
在所述第二视频图像中，检测...

【专利技术属性】
技术研发人员：张天琦，邹明杰，程浩，吴昌建，陈鹏，张玉全，戴华东，龚晖，张迪，朱皓，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33