基于多层次商品检测的订单生成方法、装置及智能售货机制造方法及图纸

本发明专利技术属于图像处理技术领域，解决了现有技术智能售货机存在检测准确率低，所导致异常订单产生的技术问题，提供了一种基于多层次商品检测的订单生成方法、装置及智能售货机，获取用户通过智能售货机购物的目标视频以及商品区货架的重量变化信息，将目标视频的各帧图像根据重量变化信息分为首帧图像和对应的非首帧图像；然后给各帧图像中的各目标添加基础置信度，同时利用目标检测模型对目标视频的各帧图像进行检测，根据各目标的检测结果结合对应的基础置信度，得到各目标商品对应的订单信息；利用首帧图像与非首诊图像存在成像距离差异来设置对应的基础置信度，可以提高距离近、特征多的图像来引导目标检测结果，从而提高检出准确性。出准确性。出准确性。

Order generation method, device and intelligent vending machine based on multi-level commodity detection

【技术实现步骤摘要】
基于多层次商品检测的订单生成方法、装置及智能售货机
[0001]本申请是2021年11月09日提交、专利技术名称为“基于商品区重量变化对视频分段处理的智能生成订单方法”申请号为202111318652.6的专利技术专利申请的分案申请。


[0002]本专利技术涉及图像分析
，尤其涉及一种基于多层次商品检测的订单生成方法、装置及智能售货机。

技术介绍

[0003]随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。
[0004]然而，现有智能售货机包括全开门智能售货机，全开门智能售货机用户可以在智能售货机柜门打开时，在一次购物中可以进行多次拿放操作，同时可以一次选择多件商品后再进行统一结算，该智能售货机极大方便了用户的购物需求，但是这类智能售货机因为主要依赖购物视频进行商品订单结算，当用户在拿放商品时，商品部分特征会被遮挡，因此容易产生误检，生成异常订单的问题，为了消除商品因遮挡导致误检问题，通常会从多个角度采集购物视频，然后通过对各视频的各帧图像进行检测，对比各视频的检出结果来确定最终的商品订单，因为需要对过个视频进行检测，这需要处理器具有多线程处理数据能力，这需要较大的算力和成本，或采用单线程处理需要排队等待，处理效率低，影响用户体验。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供了一种基于多层次商品检测的订单生成方法、装置及智能售货机，用以解决现有的智能售货机存在检测准确率低，所导致异常订单产生的技术问题。
[0006]本专利技术采用的技术方案是：
[0007]本专利技术提供了一种基于多层次商品检测的订单生成方法，所述方法包括：
[0008]获取用户通过智能售货机进行购物的目标视频和商品区域的重量变化信息；
[0009]根据所述重量变化信息，将所述目标视频的各帧图像按采集时刻分为多个首帧图像和所述首帧图像以外的多个非首帧图像；
[0010]根据所述首帧图像和所述非首帧图像，对所述目标视频的各帧图像的各目标添加基础置信度；
[0011]根据各商品的所述基础置信度结合所述目标视频的各帧图像输入目标检测网络的检测结果，得到与各目标商品对应的订单信息。
[0012]优选地，所述根据所述重量变化信息，将所述目标视频的各帧图像按采集时刻分为多个首帧图像和所述首帧图像以外的多个非首帧图像包括：
[0013]根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个目标子视频；
[0014]将各所述目标子视频的各帧图像按采集时刻分为所述首帧图像和所述非首帧图像。
[0015]优选地，所述根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个目标子视频包括：
[0016]根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个第一视频；
[0017]根据所述重量变化信息的增减信息，将各所述第一视频分为商品上架和商品下架对应的各所述目标子视频。
[0018]优选地，所述根据所述首帧图像和所述非首帧图像，对所述目标视频的各帧图像的各目标添加基础置信度包括：
[0019]根据所述首帧图像的图像信息，确定所述首帧图像中各商品所属商品区域的定位信息；
[0020]根据所述定位信息，对所述目标视频的各帧图像中的各目标添加基础置信度。
[0021]优选地，所述获取用户通过智能售货机进行购物的目标视频和商品区域的重量变化信息包括：
[0022]获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区和智能售货机当前状态的状态视频；
[0023]对所述状态视频的各帧图像进行分析，得到所述智能售货机柜门的状态信息，其中，所述状态信息包括开启状态和关闭状态；
[0024]根据所述开启状态控制各摄像头采集对应商品区的视频数据，根据所述关闭状态控制各摄像头停止采集对应商品区的视频数据，得到各基础视频；
[0025]对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到所述目标视频；
[0026]其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
[0027]优选地，所述根据各商品的所述基础置信度结合所述目标视频的各帧图像输入目标检测网络的检测结果，得到与各目标商品对应的订单信息包括：
[0028]利用所述目标检测网络对所述目标视频的各帧图像进行目标检测，得到各商品的基础商品信息；
[0029]根据各商品的所述基础商品信息的置信度结合各商品的所述基础置信度，得到包含各商品的目标置信度的各所述商品信息；
[0030]根据各所述商品信息的商品位置信息对各所述商品进行去重，得到各目标商品；
[0031]根据各所述目标商品的商品信息，输出与各所述目标商品对应的订单信息。
[0032]优选地，所述根据各所述商品信息的商品位置信息对各所述商品进行去重，得到各目标商品包括：
[0033]将所述目标视频的各帧图像以各视角的图像区域分别进行分区，得到与各视角的图像对应的各图像子区域；
[0034]根据各商品对应的所述图像子区域和所述成像尺寸信息，得到不同视角属于同一
所述图像子区域的各商品的所述成像尺寸信息的相对关系；
[0035]根据各商品的所述成像尺寸信息的相对关系对商品进行去重，得到各所述目标商品。
[0036]本专利技术还提供了一种基于多层次商品检测的订单生成装置，所述装置包括：
[0037]视频采集模块：用于获取用户通过智能售货机进行购物的目标视频和商品区域的重量变化信息；
[0038]视频分段模块：用于根据所述重量变化信息，将所述目标视频的各帧图像按采集时刻分为多个首帧图像和所述首帧图像以外的多个非首帧图像；
[0039]数据处理模块：用于根据所述首帧图像和所述非首帧图像，对所述目标视频的各帧图像的各目标添加基础置信度；
[0040]订单生成模块：用于根据各商品的所述基础置信度结合所述目标视频的各帧图像输入目标检测网络的检测结果，得到与各目标商品对应的订单信息。
[0041]本专利技术还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
[0042]本专利技术还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
[0043]综上所述，本专利技术的有益效果如下：
[0044]本专利技术提供的一种基于多层次商品检测的订单生成方法、装置及智能售货机，获取用户通过智能售货机购物的目标视频以及商品区货架的重量变化信息，将目标视频的各帧图像根据重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层次商品检测的订单生成方法，其特征在于，所述方法包括：获取用户通过智能售货机进行购物的目标视频和商品区域的重量变化信息；根据所述重量变化信息，将所述目标视频的各帧图像按采集时刻分为首帧图像和所述首帧图像以外的非首帧图像；根据所述首帧图像和所述非首帧图像，对所述目标视频的各帧图像的各目标添加基础置信度；根据各商品的所述基础置信度结合所述目标视频的各帧图像输入目标检测网络的检测结果，得到与各目标商品对应的订单信息。2.根据权利要求1所述的基于多层次商品检测的订单生成方法，其特征在于，所述根据所述重量变化信息，将所述目标视频的各帧图像按采集时刻分为首帧图像和所述首帧图像以外的非首帧图像包括：根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个目标子视频；将各所述目标子视频的各帧图像按采集时刻分为所述首帧图像和所述非首帧图像。3.根据权利要求2所述的基于多层次商品检测的订单生成方法，其特征在于，所述根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个目标子视频包括：根据所述重量变化信息的各时间信息对所述目标视频进行分段，得到多个第一视频；根据所述重量变化信息的增减信息，将各所述第一视频分为商品上架和商品下架对应的各所述目标子视频。4.根据权利要求1至3任一项所述的基于多层次商品检测的订单生成方法，其特征在于，所述根据所述首帧图像和所述非首帧图像，对所述目标视频的各帧图像的各目标添加基础置信度包括：根据所述首帧图像的图像信息，确定所述首帧图像中各商品所属商品区域的定位信息；根据所述定位信息，对所述目标视频的各帧图像中的各目标添加基础置信度。5.根据权利要求4所述的基于多层次商品检测的订单生成方法，其特征在于，所述获取用户通过智能售货机进行购物的目标视频和商品区域的重量变化信息包括：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区和智能售货机当前状态的状态视频；对所述状态视频的各帧图像进行分析，得到所述智能售货机柜门的状态信息，其中，所述状态信息包括开启状态和关闭状态；根据所述开启状态控制各摄像头采集对应商品区的视频数据，根据所述关闭状态控制各摄像头停止采集对应商品区的视频数据，得到各基础视频；对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼...

【专利技术属性】
技术研发人员：陈俏锋，黄超群，郭家龙，邱俊波，王浩，张杰，束学璋，张元熙，
申请(专利权)人：深圳友朋智能商业科技有限公司，
类型：发明
国别省市：