异视角同步识别同区域商品的订单生成方法及智能售货机技术

本发明专利技术属于图像处理技术领域，为解决现有技术的智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题，提供了一种异视角同步识别同区域商品的订单生成方法及智能售货机。该方法包括：分别从第一视角方向和第二视角方向获取商品区域的第一视频数据和第二视频数据；利用目标检测模型分别对第一视频数据和第二视频数据的各帧图像进行检测，生成第一视频数据对应的第一商品信息和第二视频数据对应的第二商品信息；对比第一商品信息和第二商品信息，生成本次购物商品的商品订单。本发明专利技术还包括用于执行上述方法的装置及智能售货机。本发明专利技术可以通过从不同视角获取购物视频，避免商品被遮挡影响检测准确性，避免异常订单产生。常订单产生。常订单产生。

【技术实现步骤摘要】
异视角同步识别同区域商品的订单生成方法及智能售货机


[0001]本专利技术涉及图像处理
，尤其涉及一种异视角同步识别同区域商品的订单生成方法及智能售货机。

技术介绍

[0002]随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。
[0003]然而，现有智能售货机包括全开门智能售货机和通过按键下单的智能售货机，其中，全开门智能售货机用户可以在智能售货机柜门打开时，在一次购物中可以进行多次拿放操作，同时可以一次选择多件商品后再进行统一结算，该智能售货机极大方便了用户的购物需求，但是这类智能售货机因为主要依赖购物视频进行商品订单结算，当用户在拿放商品时，商品部分特征会被遮挡，因此容易产生误检，生成异常订单的问题；另一类通过按键下单的智能售货机在用户需要购物时，需要事先确定自己需要购买的所有商品，然后购买一件进行一次结算后再进行第二件购买及结算，经过多次下单和结算才能完成所有购物，且不能回退商品，因此存在操作繁琐的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种异视角同步识别同区域商品的订单生成方法及智能售货机，用以解决现有的智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题。
[0005]本专利技术采用的技术方案是：本专利技术提供了一种异视角同步识别同区域商品的订单生成方法，所述方法包括：S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。
[0006]优选地，所述S1包括：S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域，分成若干局部区域；
S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据。
[0007]优选地，所述S13包括：S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；S132：以各所述第一子视频中各帧图像的局部区域图像替换所述第一主视频中对应各所述第一子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据；S133：以各所述第二子视频中各帧图像的局部区域图像替换所述第二主视频中对应各所述第二子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。
[0008]优选地，所述S13包括：S134:分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧；S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化视频；S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。
[0009]优选地，所述S1包括：S14：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；S15：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；S16：根据所述间隔时间，控制各摄像头采集所述第一视频数据和所述第二视频数据。
[0010]优选地，所述S2包括：S21：利用所述目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，得到所述第一视频数据中的各类商品的第一检测结果和所述第二视频数据中的各类商品的第二检测结果，其中，第一检测结果和第二检测结果均包括检出次数、商
品类别和对应于各商品类别的置信度；S22：根据所述第一检测结果中的各置信度，计算各类别商品对应的第一平均置信度，根据所述第二检测结果中的各置信度，计算各类别商品对应的第二平均置信度；S23：分别将各所述第一平均置信度和各所述第二平均置信度与置信度阈值对比，得到属于所述第一检测结果中符合要求的所述第一商品信息和属于所述第二检测结果中符合要求的所述第二商品信息。
[0011]优选地，所述S3包括：S31：对比所述第一商品信息和所述第二商品信息，得到各待定商品和各确定商品；S32：对比各所述待定商品对应的置信度或相对于置信度阈值的有效检出率，输出置信度大或有效检出率高的所述待定商品作为二次确定商品；S33：根据所述确定商品和所述二次确定商品，生成所述商品订单信息；其中，所述有效检出率为检出次数中置信度大于置信度阈值的次数与检出总次数的比值。
[0012]本专利技术还提供了一种异视角同步识别同区域商品的订单生成装置，所述装置包括：视频采集模块：用于获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；目标检测模块：用于利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；订单生成模块：用于对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。
[0013]本专利技术还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
[0014]本专利技术还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异视角同步识别同区域商品的订单生成方法，其特征在于，所述方法包括：S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。2.根据权利要求1所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S1包括：S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域，分成若干局部区域；S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据。3.根据权利要求2所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S13包括：S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；S132：以各所述第一子视频中各帧图像的局部区域图像替换所述第一主视频中对应各所述第一子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据；S133：以各所述第二子视频中各帧图像的局部区域图像替换所述第二主视频中对应各所述第二子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。4.根据权利要求3所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S13包括：S134:分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧；S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优
化视频；S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二...

【专利技术属性】
技术研发人员：陈俏锋，黄超群，张杰，束学璋，张元熙，郭家龙，邱俊波，王浩，
申请(专利权)人：深圳友朋智能商业科技有限公司，
类型：发明
国别省市：