图像识别方法和系统技术方案

本说明书提供的图像识别方法和系统，可以获取开门前的第一图像、关门前的至少一个第二图像以及关门后的第三图像。至少一个第二图像与第三图像按照时间顺序形成连续的图像帧。所述方法和系统可以通过对比多个连续帧与第一图像之间的差异区域，排除由于关门振动和人影晃动等外界环境影响引起的开门前图像和关门后图像的差异，提高图像识别的准确率，精确识别出开门前的图像与关门后的图像是否存在由于拿取物品引起的差异，从而提高识别用户是否拿取物品的准确度，防止在用户没有拿取物品的情况下由于数据传输引起的等待，提高用户体验感。感。感。

Image recognition method and system

【技术实现步骤摘要】
图像识别方法和系统


[0001]本说明书涉及无人零售领域，尤其涉及一种图像识别方法和系统。

技术介绍

[0002]在基于计算机视觉的智能货柜场景中，货柜中每层摄像头会在开门前拍摄柜内图像、关门后再次拍摄柜内图像。在进行商品结算时，货柜会将开门前的图像与关门后的图像进行对比，若二者存在差异，则判定用户拿取了商品，货柜会将开门前的图像与关门后的图像上传至云端服务器进一步做物品识别；若二者不存在差异，则判定用户没有拿取商品，货柜不会将图像上传到服务器。目前通常采用图像差分法直接对比开门前的图像与关门后的图像来获取图像差异。当用户没有拿取商品时，图像可能受到一些外界的影响(如门外人影变化，关门之后产生的震动导致商品在来回位移)，导致开门前的图像与关门后的图像存在差异，从而将图像上传至服务器。这会导致结算流程过长，影响用户体验。
[0003]因此，需要提供一种精度更高的图像识别方法和系统，能够剔除外界环境影响，精确识别出开门前的图像与关门后的图像是否存在差异，从而确定用户是否拿取商品。

技术实现思路

[0004]本说明书提供一种精度更高的图像识别方法和系统，能够剔除外界环境影响，精确识别出开门前的图像与关门后的图像是否存在差异，从而确定用户是否拿取商品。
[0005]第一方面，本说明书提供一种图像识别方法，用于对智能货柜进行图像识别，包括：从所述智能货柜的视觉传感器中获取第一图像，所述第一图像包括所述视觉传感器采集的所述智能货柜的开门信号前的一个图像帧；从所述视觉传感器中获取至少一个第二图像以及第三图像，所述至少一个第二图像包括所述视觉传感器采集的所述智能货柜的关门信号前的至少一个连续的图像帧，所述第三图像包括所述视觉传感器采集的所述关门信号后的一个图像帧，所述至少一个第二图像与所述第三图像形成连续的图像帧；以及基于所述第一图像与所述至少一个第二图像的差异，识别所述第一图像与所述第三图像之间是否存在目标差异，所述目标差异包括所述智能货柜中的物品变化引起的差异。
[0006]在一些实施例中，所述至少一个第二图像与所述第三图像基于时间顺序排列形成目标序列，所述目标序列包括多个目标图像，所述多个目标图像包括所述至少一个第二图像和所述第三图像，所述基于所述第一图像与所述至少一个第二图像的差异，识别所述第一图像与所述第三图像之间是否存在目标差异，包括：基于所述目标序列，依次对所述目标图像执行图像差分操作，直至确定所述第一图像与所述第三图像之间是否存在所述目标差异，所述图像差分操作包括：将所述第一图像与当前目标图像求差，确定所述当前目标图像对应的当前差异区域；以及基于所述当前差异区域确定所述第一图像与所述第三图像之间是否存在所述目标差异。
[0007]在一些实施例中，所述将所述第一图像与当前目标图像求差，确定所述当前目标图像对应的当前差异区域，包括：基于预设图像处理方法获取所述第一图像的多个第一像
素点以及所述当前目标图像的多个第二像素点，所述多个第一像素点与所述多个第二像素点一一对应；对所述多个第一像素点与所述多个第二像素点逐一求差，确定所述当前目标图像对应的目标像素点的位置以及差异值，所述目标像素点包括所述多个第一像素点与所述多个第二像素点中存在差异的像素点；以及将相邻的所述目标像素点作为一个差异点集合，将所述差异点集合中的所述目标像素点的差异值进行特征融合作为所述差异点集合的差异值，确定所述当前差异区域，所述当前差异区域包括所述差异点集合及其对应的差异值。
[0008]在一些实施例中，所述基于所述当前差异区域确定所述第一图像与所述第三图像之间是否存在所述目标差异，包括：确定所述当前差异区域的差异小于预设的第一阈值，确定所述第一图像与所述第三图像之间不存在所述目标差异；或者确定所述当前差异区域的差异大于所述第一阈值，对所述当前差异区域与所述当前目标图像前的所有目标图像对应的差异区域求交集，获取当前差异交集区域，基于所述当前差异交集区域以及所述当前目标图像在所述目标序列中的位置，确定所述第一图像与所述第三图像之间是否存在所述目标差异。
[0009]在一些实施例中，所述确定所述当前差异区域的差异小于预设的第一阈值，包括：确定所述当前差异区域中的所述差异点集合的数量小于预设的第一数量阈值，并且所述当前差异区域中的所述差异点集合的差异值均小于预设的第一差异阈值，所述第一阈值包括所述第一数量阈值以及所述第一差异阈值；以及所述确定所述当前差异区域的差异大于所述第一阈值，包括以下情况中的至少一个：确定所述当前差异区域中的所述差异点集合的数量大于所述第一数量阈值；以及确定所述当前差异区域中的所述差异点集合的差异值中的至少一个大于所述第一差异阈值。
[0010]在一些实施例中，所述对所述当前差异区域与所述当前目标图像前的所有目标图像对应的差异区域求交集，获取当前差异交集区域，包括：对所述当前差异区域以及所述当前目标图像前的所有目标图像对应的差异区域求交集，确定同时在所述当前差异区域中和当前目标图像前的所有目标图像对应差异区域中存在差异的目标交集像素点的位置；以及将相邻的所述目标交集像素点作为一个差异交集点集合，将所述差异交集点集合中的所述目标交集像素点的差异值进行特征融合作为所述差异交集点集合的差异值，确定所述当前差异交集区域，所述当前差异交集区域包括所述差异交集点集合及其对应的差异值。
[0011]在一些实施例中，所述基于所述当前差异交集区域以及所述当前目标图像在所述目标序列中的位置，确定所述第一图像与所述第三图像之间是否存在所述目标差异，包括：确定所述当前目标图像不是所述多个目标图像中的最后一个，对与所述当前目标图像相邻的下一个目标图像执行所述图像差分操作；或者确定所述当前目标图像是所述多个目标图像中的最后一个，基于所述当前差异交集区域，确定所述第一图像与所述第三图像之间是否存在所述目标差异。
[0012]在一些实施例中，所述基于所述当前差异交集区域，确定所述第一图像与所述第三图像之间是否存在所述目标差异，包括：确定所述当前差异交集区域的差异小于预设的第二阈值，确定所述第一图像与所述第三图像之间存在不所述目标差异；或者确定所述当前差异交集区域的差异大于所述第二阈值，将所述当前差异交集区域中的所述差异交集点集合所在的位置与预设区域进行匹配，确定所述第一图像与所述第三图像之间是否存在所
述目标差异。
[0013]在一些实施例中，所述确定所述当前差异交集区域的差异小于预设的第二阈值，包括：确定所述当前差异交集区域中的所述差异交集点集合的数量小于预设的第二数量阈值，并且所述当前差异交集区域中的所述差异交集点集合的差异值均小于预设的第二差异阈值，所述第二阈值包括所述第二数量阈值以及所述第二差异阈值；以及所述确定所述当前差异交集区域的差异大于所述第二阈值，包括以下情况中的至少一个：确定所述当前差异交集区域中的所述差异交集点集合的数量大于所述第二数量阈值；以及确定所述当前差异交集区域中的所述差异交集点集合的差异值中的至少一个大于所述第二差异阈值。
[0014]在一些实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别方法，用于对智能货柜进行图像识别，包括：从所述智能货柜的视觉传感器中获取第一图像，所述第一图像包括所述视觉传感器采集的所述智能货柜的开门信号前的一个图像帧；从所述视觉传感器中获取至少一个第二图像以及第三图像，所述至少一个第二图像包括所述视觉传感器采集的所述智能货柜的关门信号前的至少一个连续的图像帧，所述第三图像包括所述视觉传感器采集的所述关门信号后的一个图像帧，所述至少一个第二图像与所述第三图像形成连续的图像帧；以及基于所述第一图像与所述至少一个第二图像的差异，识别所述第一图像与所述第三图像之间是否存在目标差异，所述目标差异包括所述智能货柜中的物品变化引起的差异。2.如权利要求1所述的图像识别方法，其中，所述至少一个第二图像与所述第三图像基于时间顺序排列形成目标序列，所述目标序列包括多个目标图像，所述多个目标图像包括所述至少一个第二图像和所述第三图像，所述基于所述第一图像与所述至少一个第二图像的差异，识别所述第一图像与所述第三图像之间是否存在目标差异，包括：基于所述目标序列，依次对所述目标图像执行图像差分操作，直至确定所述第一图像与所述第三图像之间是否存在所述目标差异，所述图像差分操作包括：将所述第一图像与当前目标图像求差，确定所述当前目标图像对应的当前差异区域；以及基于所述当前差异区域确定所述第一图像与所述第三图像之间是否存在所述目标差异。3.如权利要求2所述的图像识别方法，其中，所述将所述第一图像与当前目标图像求差，确定所述当前目标图像对应的当前差异区域，包括：基于预设图像处理方法获取所述第一图像的多个第一像素点以及所述当前目标图像的多个第二像素点，所述多个第一像素点与所述多个第二像素点一一对应；对所述多个第一像素点与所述多个第二像素点逐一求差，确定所述当前目标图像对应的目标像素点的位置以及差异值，所述目标像素点包括所述多个第一像素点与所述多个第二像素点中存在差异的像素点；以及将相邻的所述目标像素点作为一个差异点集合，将所述差异点集合中的所述目标像素点的差异值进行特征融合作为所述差异点集合的差异值，确定所述当前差异区域，所述当前差异区域包括所述差异点集合及其对应的差异值。4.如权利要求3所述的图像识别方法，其中，所述基于所述当前差异区域确定所述第一图像与所述第三图像之间是否存在所述目标差异，包括：确定所述当前差异区域的差异小于预设的第一阈值，确定所述第一图像与所述第三图像之间不存在所述目标差异；或者确定所述当前差异区域的差异大于所述第一阈值，对所述当前差异区域与所述当前目标图像前的所有目标图像对应的差异区域求交集，获取当前差异交集区域，基于所述当前差异交集区域以及所述当前目标图像在所述目标序列中的位置，确定所述第一图像与所述第三图像之间是否存在所述目标差异。5.如权利要求4所述的图像识别方法，其中，所述确定所述当前差异区域的差异小于预设的第一阈值，包括：
确定所述当前差异区域中的所述差异点集合的数量小于预设的第一数量阈值，并且所述当前差异区域中的所述差异点集合的差异值均小于预设的第一差异阈值，所述第一阈值包括所述第一数量阈值以及所述第一差异阈值；以及所述确定所述当前差异区域的差异大于所述第一阈值，包括以下情况中的至少一个：确定所述当前差异区域中的所述差异点集合的数量大于所述第一数量阈值；以及确定所述当前差异区域中的所述差异点集合的差异值中的至少一个大于所述第一差异阈值。6.如权利要求4所述的图像识别方法，其中，所述对所述当前差异区域与所述当...

【专利技术属性】
技术研发人员：宋启恒，王梦雄，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：