智能货柜以及物品识别方法技术

本说明书提供的智能货柜以及物品识别方法，将基于视觉的物品识别方法和基于重力感应的物品识别方法相结合，将存储区域划分为第一区域、第二区域和第三区域，并在第二区域上方设置摄像头，采集第二区域的视频数据以及取货口处的视频数据。计算装置可以根据取货口处的视频数据，计算出用户在拿取或存入目标物品时手臂穿过取货口时的取货位置，从而判断出用户是从哪个区域(即目标区域)拿取或存入的目标物品，从而使用与目标区域相匹配的算法来对目标物品进行识别。当目标物品处于第二区域时，计算装置可以基于视觉技术对目标物品进行识别，当目标物品处于第一区域或第三区域时，计算装置可以基于重力感应技术对目标物品进行识别。识别。识别。

【技术实现步骤摘要】
智能货柜以及物品识别方法


[0001]本说明书涉及无人零售领域，尤其涉及一种智能货柜以及物品识别方法。

技术介绍

[0002]现有技术中，无人智能货柜主要包括基于计算机视觉技术的智能货柜和基于重力感应技术的智能货柜。基于计算机视觉技术的智能货柜，货柜内部层板中央安装有可以拍照的广角摄像头，可以通过对柜内开门前后商品的个数和种类进行识别，来判断用户拿走的商品，并进行结算。基于计算机视觉技术的智能货柜对货柜内的物品摆放要求较高，边缘的商品容易被遮挡，计算机无法识别由于遮挡导致的看不到的商品。同时，同类物品不允许叠放，导致货柜容量限制。基于重力感应技术的智能货柜通过重力传感器测量的重力变化对柜内商品的变化进行测量。基于重力感应技术的智能货柜能够的到的信息内容较简单，对于一些用户的复杂操作，例如更换商品货道、同重不同价商品替换等无法进行准确识别。
[0003]因此，需要提供一种容量更高、能够对物品进行准确识别的智能货柜以及物品识别方法。

技术实现思路

[0004]本说明书提供一种容量更高、能够对物品进行准确识别的智能货柜以及物品识别方法。
[0005]第一方面，本说明书提供一种智能货柜，包括承载装置以及物品识别系统，所述承载装置用于承载多个品类的物品，包括存储区域，所述存储区域包括第一区域、第二区域以及第三区域，所述第一区域和所述第三区域分别位于所述第二区域的两侧；所述物品识别系统包括视觉传感器、多个压力传感器以及计算装置，所述视觉传感器安装在所述第二区域的正上方，运行时采集所述第二区域的视频数据；所述多个压力传感器分布在所述承载装置的预定位置，运行时采集所述承载装置承载的压力数据；所述计算装置，与所述多个压力传感器以及所述视觉传感器通信连接，根据目标装置拿取的目标物品在所述存储区域中所处的目标区域，使用与所述目标区域对应的目标模式对所述目标物品进行识别，所述物品包括所述目标物品，所述目标模式包括第一模式和第二模式，所述第一模式与所述第一区域和所述第三区域对应，至少基于所述压力数据对所述目标物品进行识别，所述第二模式与所述第二区域对应，基于所述视频数据对所述目标物品进行识别。
[0006]在一些实施例中，所述承载装置还包括取货口，目标装置穿过所述取货口从所述存储区域中目标所述目标物品；以及所述视频数据还包括所述取货口的视频数据。
[0007]在一些实施例中，所述对所述目标物品进行识别，包括：基于所述视频数据确定所述目标区域，所述目标区域包括所述第一区域、所述第二区域以及所述第三区域中的一个；以及基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，所述识别结果包括所述目标物品的品类和数量。
[0008]在一些实施例中，所述基于所述视频数据确定所述目标区域，包括：基于所述压力
数据的变化，将所述压力数据划分为N个目标压力数据，所述N个目标压力数据对应N个子时间段，每个所述子时间段包括所述压力数据从开始变化到结束变化的时间，所述N为正整数；从所述视频数据中获取所述N个子时间段对应的N个目标视频数据；以及对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装置经过所述取货口时的图像进行差分，确定所述目标装置穿过所述取货口时的取货位置，确定所述当前子时间段对应的所述目标区域为所述取货位置对应的区域。
[0009]在一些实施例中，所述基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，包括：对每个所述子时间段进行物品识别，确定所述N个子时间段对应的N个子识别结果，每个所述子识别结果包括其对应的子时间段内的所述目标物品的品类和数量，所述确定所述N个子时间段对应的N个子识别结果，包括对每个所述子时间段执行：基于所述第一模式，对所述第一区域或所述第三区域中的第一目标物品进行识别，获取所述当前子时间段内位于所述第一区域或所述第三区域的所述第一目标物品的品类和数量，所述目标物品包括所述第一目标物品；或者基于所述第二模式，对所述第二区域中的第二目标物品进行识别，获取所述当前子时间段内位于所述第二区域的所述第二目标物品的品类和数量，所述目标物品包括所述第二目标物品；以及将所述N个子识别结果进行融合，确定所述识别结果。
[0010]在一些实施例中，所述计算装置中预先存储有所述每个品类的物品对应的陈列位置，所述第一模式包括以下情况中的至少一种：基于所述取货位置，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；基于所述目标压力数据的变化，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；以及基于所述目标视频数据，确定所述目标装置拿取所述第一目标物品经过所述取货口时的图像，并对所述图像进行识别，确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量。
[0011]在一些实施例中，所述第二模式包括对所述目标视频数据的第一帧图像和最后一帧图像进行图像识别，基于图像识别结果确定所述第二目标物品的品类和数量。
[0012]在一些实施例中，所述第一区域、所述第二区域以及所述第三区域之间通过隔板间隔开，所述隔板靠近所述取货口的一端包括缺口，以使所述视觉传感器可以采集到所述取货口处的视频数据。
[0013]在一些实施例中，所述第一区域和所述第三区域中同品类的物品能够叠放。
[0014]第二方面，本说明书还提供一种物品识别方法，用于本说明书第一方面所述的智能货柜，包括通过所述计算装置执行：获取所述压力数据和所述视频数据；以及对所述目标装置拿取的所述目标物品进行识别，包括：基于所述视频数据确定所述目标物品所在的所述目标区域，所述目标区域包括所述第一区域、所述第二区域以及所述第三区域中的一个；以及基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，所述目标模式包括第一模式和第二模式，所述第一模式与所述第一区域和所述第三区域对应，至少基于所述压力数据对所述目标物品进行识别，所述第二模式与所述第二区域对应，基于所述视频数据对所述目标物品进行识别，所述物品包括所述目标物品，所述识别结果
包括所述目标物品的品类和数量。
[0015]在一些实施例中，所述承载装置还包括取货口，目标装置穿过所述取货口从所述存储区域中目标所述目标物品；以及所述视频数据还包括所述取货口的视频数据。
[0016]在一些实施例中，所述基于所述视频数据确定所述目标区域，包括：基于所述压力数据的变化，将所述压力数据划分为N个目标压力数据，所述N个目标压力数据对应N个子时间段，每个所述子时间段包括所述压力数据从开始变化到结束变化的时间，所述N为正整数；从所述视频数据中获取所述N个子时间段对应的N个目标视频数据；以及对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能货柜，包括：承载装置，用于承载多个品类的物品，包括：存储区域，包括第一区域、第二区域以及第三区域，所述第一区域和所述第三区域分别位于所述第二区域的两侧；以及物品识别系统，包括：视觉传感器，安装在所述第二区域的正上方，运行时采集所述第二区域的视频数据；多个压力传感器，分布在所述承载装置的预定位置，运行时采集所述承载装置承载的压力数据；以及计算装置，与所述多个压力传感器以及所述视觉传感器通信连接，根据目标装置拿取的目标物品在所述存储区域中所处的目标区域，使用与所述目标区域对应的目标模式对所述目标物品进行识别，所述物品包括所述目标物品，所述目标模式包括第一模式和第二模式，所述第一模式与所述第一区域和所述第三区域对应，至少基于所述压力数据对所述目标物品进行识别，所述第二模式与所述第二区域对应，基于所述视频数据对所述目标物品进行识别。2.如权利要求1所述的智能货柜，其中，所述承载装置还包括取货口，目标装置穿过所述取货口从所述存储区域中目标所述目标物品；以及所述视频数据还包括所述取货口的视频数据。3.如权利要求2所述的智能货柜，其中，所述对所述目标物品进行识别，包括：基于所述视频数据确定所述目标区域，所述目标区域包括所述第一区域、所述第二区域以及所述第三区域中的一个；以及基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，所述识别结果包括所述目标物品的品类和数量。4.如权利要求3所述的智能货柜，其中，所述基于所述视频数据确定所述目标区域，包括：基于所述压力数据的变化，将所述压力数据划分为N个目标压力数据，所述N个目标压力数据对应N个子时间段，每个所述子时间段包括所述压力数据从开始变化到结束变化的时间，所述N为正整数；从所述视频数据中获取所述N个子时间段对应的N个目标视频数据；以及对每个所述子时间段执行：对当前子时间段对应的所述目标视频数据与没有所述目标装置经过所述取货口时的图像进行差分，确定所述目标装置穿过所述取货口时的取货位置，确定所述当前子时间段对应的所述目标区域为所述取货位置对应的区域。5.如权利要求4所述的智能货柜，其中，所述基于与所述目标区域对应的所述目标模式对所述目标物品进行识别，获取识别结果，包括：对每个所述子时间段进行物品识别，确定所述N个子时间段对应的N个子识别结果，每个所述子识别结果包括其对应的子时间段内的所述目标物品的品类和数量，所述确定所述N个子时间段对应的N个子识别结果，包括对每个所述子时间段执行：基于所述第一模式，对所述第一区域或所述第三区域中的第一目标物品进行识别，获取所述当前子时间段内位于所述第一区域或所述第三区域的所述第一目标物品的品类和
数量，所述目标物品包括所述第一目标物品；或者基于所述第二模式，对所述第二区域中的第二目标物品进行识别，获取所述当前子时间段内位于所述第二区域的所述第二目标物品的品类和数量，所述目标物品包括所述第二目标物品；以及将所述N个子识别结果进行融合，确定所述识别结果。6.如权利要求5所述的智能货柜，其中，所述计算装置中预先存储有所述每个品类的物品对应的陈列位置，所述第一模式包括以下情况中的至少一种：基于所述取货位置，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；基于所述目标压力数据的变化，确定所述第一目标物品所在的位置，从而确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量；以及基于所述目标视频数据，确定所述目标装置拿取所述第一目标物品经过所述取货口时的图像，并对所述图像进行识别，确定所述第一目标物品的品类，基于所述目标压力数据的变化以及所述第一目标物品的品类，确定所述第一目标物品的数量。7.如权利要求5所述的智能货柜，其中，所述第二模式包括：对所述目标视频数据的第一帧图像和最后一帧图像进行图像识别，基于图像识...

【专利技术属性】
技术研发人员：王梦雄，董至恺，赵雄心，周大江，常子敬，宋启恒，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：