用于线性全景图像拼接的图像获取用户界面制造技术

本公开涉及用于线性全景图像拼接的图像获取用户界面。公开了允许捕获一系列图像以创建单个线性全景图像的系统和方法。所述方法包括：捕获图像；将先前捕获的图像与在捕获设备的显示器上的预览图像进行动态比较，直到满足预定的重叠阈值为止；生成用户界面，以在捕获设备的显示器上提供反馈来引导捕获设备的移动；以及捕获预览图像，所述预览图像与先前捕获的图像具有足够的重叠，并且没有或仅略微倾斜，以创建线性全景图像。

【技术实现步骤摘要】

本专利技术总体涉及提供用于引导用户捕获一系列的图像来创建单个线性全景图像的用户界面。本专利技术尤其涉及如下这样的系统和方法，所述系统和方法用于生成一个或多个用户界面单元，所述用户界面单元提供瞬时反馈，以引导用户捕获一系列的图像来创建单个线性全景图像。
技术介绍
表示货架图(planogram)是零售环境下产品的视觉表示。例如，表示货架图可以描述零售环境中的位置和应当放置什么数量的产品。已知这样的表示货架图是增加销售、管理库存和确保放置期望的数量和大小的物品以最优化利润或其他参数的有效工具。然而，货架、搁架和展示架上货品的充足水平的呈现和维护是劳动密集的工作，因此实现表示货架图是困难的。尽管可以由用户人工跟踪零售商店中产品的位置和数量，但人们仍希望能够自动识别产品并且自动或半自动地获取与产品的状态有关的信息。现有的识别产品的方法存在缺陷。例如，在一种如下方法中，通过图像拼接来实现从多个图像中识别多个产品的目的。但不幸的是，现有的图像拼接技术可能会导致伪影(artifact)，并且可能会干扰识别的最优操作。
技术实现思路
本文中描述的技术用于捕获一系列图像来创建线性全景图像的系统和方法，克服了现有技术中的缺陷和限制。在一个实施例中，系统包括图像识别应用。图像识别应用被配置为，从捕获设备接收感兴趣的对象的一部分的图像，并且确定图像的特征。图像识别应用还被配置为，在捕获设备的显示器上生成包括感兴趣的对象的当前预览图像的用户界面，并且将所述图像与捕获设备的显示器上的感兴趣的对象的当前预览图像的特征进行动态比较，以确定重叠。所述图像识别应用还被配置为，更新用户界面，以包括用于引导捕获设备的移动来产生重叠的第一视觉区分指示符，并确定所述图像和当前预览图像之间的重叠是否满足预定的重叠阈值。图像识别应用还被配置为，基于满足预定重叠阈值的重叠，使用捕获设备捕获感兴趣的对象的该部分的下一个图像。其他方面包括这些和其他创新方面的对应的方法、系统、装置和计算机程序产品。本文中描述的特征和优势并不是完全包括形式的，并且许多额外的特征和优势对于阅读了本说明书和附图的本领域技术人员而言是清楚的。此外，还应当注意的是，本说明书中选用使用的词语主要用于易于理解本申请和指示性的目的，而并不限制本申请的范围。附图说明通过实例来说明在这里引入的技术，附图不对所述技术构成限制，在附图中，相似的附图标记用于指代相似的单元。图1是说明了用于捕获一系列图像来创建线性全景的系统的一个实施例的高级框图。图2是说明了包括图像识别应用的计算设备的一个实施例的框图。图3是说明了用于捕获单个线性全景图像的感兴趣的对象的一系列图像的方法的一个实施例的流程图。图4A-4B是说明了用于捕获单个线性全景图像的感兴趣的对象的一系列图像的方法的另一个实施例的流程图。图5A-5B是说明了用于捕获单个线性全景图像的感兴趣的对象的一系列图像的方法的又一个实施例的流程图。图6A-6B是说明了将当前的预览图像与感兴趣的对象的之前捕获的图像的重新对齐的方法的一个实施例的流程图。图7A是用于捕获货架的图像的用户界面的实施例的图形表示。图7B是用于捕获货架的图像的用户界面的另一个实施例的图形表示。图8是针对感兴趣的对象所捕获的图像之间的重叠的一个实施例的图形表示。图9是用于生成重叠的视觉区分指示符的图像匹配过程的一个实施例的图形表示。图10A-10D是当捕获设备从左向右移动时显示重叠的视觉区分指示符的用户界面的实施例的图形表示。图11A-11D是当捕获设备向底部或顶部移动时显示重叠的视觉区分指示符的用户界面的实施例的图形表示。图12A-12C是当捕获设备绕Z轴滚动时显示倾斜的视觉区分指示符的用户界面的实施例的图形表示。图13A-13C是当捕获设备绕X轴俯仰时显示倾斜的视觉区分指示符的用户界面的实施例的图形表示。图14A-14B是当捕获设备在X和Z轴上倾斜时显示倾斜的视觉区分指示符的用户界面的实施例的图形表示。图15是用于生成重新对齐的视觉区分指示符的重新对齐过程的一个实施例的图形表示。图16A-16D是将在捕获设备上显示的当前的预览图像与先前捕获的图像重新对齐的用户界面显示的实施例的图形表示。图17A-17B是示出了一组捕获的图像的预览的用户界面的实施例的图形表示。具体实施方式图1是说明了用于捕获一系列的图像来创建线性全景的系统100的一个实施例的高级框图。所示的系统100可以具有能够由用户访问的一个或多个客户端设备115a...115n和识别服务器101。在图1和其他附图中，参考数字之后的字母(例如“115a”)代表对具有该特定参考数字的单元的引用。后面不带有字母的参考数字(例如“115”)代表具有该参考数字的单元的实例的总体引用。在所示的实施例中，经由网络105可通信地耦接系统100的这些实体。网络105可以是常规类型的有线或无线网络，并且可以具有各种不同的配置，包括星形配置、令牌环配置或其他配置。此外，网络105可以包括局域网(LAN)、广域网(WAN)(例如互联网)和/或其他互连的数据路径，其中多个设备可以跨过网络105进行通信。在一些实施例中，网络105可以是对等网络。网络105还可以耦接到或包括通信网络的各部分，用于以各种不同的通信协议发送数据。在一些实施例中，网络105可以包括用于发送和接收数据的蓝牙通信网络或蜂窝通信网络，包括经由短消息服务(SMS)、多媒体消息服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件等。尽管图1中所示的一个网络105耦接到了客户端设备115和识别服务器101，但在实际上一个或多个网络105可以连接到这些实体。在一些实施例中，系统100包括与网络105耦接的识别服务器101。在一些实施例中，识别服务器101可以是硬件服务器、软件服务器、或硬件和软件的组合。识别服务器101可以是计算设备或可以由计算设备实现，所述计算设备包括处理器、存储器、应用、数据库和网络通信功能。在图1的示例中，识别服务器101的组件被配置为实现图像识别应用103a，在下文中对此进行更详细地描述。在一个实施例中，识别服务器101向包装的消费品的商品公司提供服务，以识别货架、搁架或展示架上的产品。尽管这里的示例将描述了货架的图像中的产品(例如零售显示)的识别，但应当理解图像可以包括被组织的对本文档来自技高网...

【技术保护点】
一种方法，包括：从客户端设备接收感兴趣的对象的一部分的图像；将所述图像识别为参考图像；确定所述参考图像的特征；接收感兴趣的对象的另一部分的预览图像；确定所述预览图像的特征；生成包括所述预览图像的用户界面；将所述参考图像的特征与所述预览图像的特征进行动态比较，以确定重叠；将在所述预览图像上重叠的第一视觉区分指示符添加到所述用户界面，所述第一视觉区分指示符用于引导所述客户端设备的移动以产生期望的重叠；确定所述参考图像和所述预览图像之间的重叠是否满足预定的重叠阈值；以及响应于所述参考图像和所述预览图像之间的重叠满足预定的重叠阈值，将感兴趣的对象的预览图像设置为所述参考图像。

【技术特征摘要】
2015.01.19 US 62/105,189;2015.03.03 US 62/127,750;1.一种方法，包括：
从客户端设备接收感兴趣的对象的一部分的图像；
将所述图像识别为参考图像；
确定所述参考图像的特征；
接收感兴趣的对象的另一部分的预览图像；
确定所述预览图像的特征；
生成包括所述预览图像的用户界面；
将所述参考图像的特征与所述预览图像的特征进行动态比较，以确定重叠；
将在所述预览图像上重叠的第一视觉区分指示符添加到所述用户界面，所
述第一视觉区分指示符用于引导所述客户端设备的移动以产生期望的重叠；
确定所述参考图像和所述预览图像之间的重叠是否满足预定的重叠阈值；
以及
响应于所述参考图像和所述预览图像之间的重叠满足预定的重叠阈值，将
感兴趣的对象的预览图像设置为所述参考图像。
2.如权利要求1所述的方法，包括：基于所述参考图像和所述预览图像
的特征的动态比较，更新所述第一视觉区分指示符相对于在所述预览图像的中
心处重叠的目标轮廓的位置。
3.如权利要求1所述的方法，还包括：
从所述客户端设备接收陀螺仪传感器信息；
基于所述陀螺仪传感器信息，确定所述客户端设备在方位的三个轴中的一
个轴上的倾斜；以及
响应于存在倾斜，将在所述预览图像的外围上重叠的第二视觉区分指示符
添加到所述用户界面，所述第二视觉区分指示符用于引导所述客户端设备的方
位以消除倾斜。
4.如权利要求3所述的方法，包括：
修改所述第二视觉区分指示符的外观以指示所述客户端设备的倾斜，并且
响应于不存在所述倾斜而将所述感兴趣的对象的预览图像设置为所述参考图

\t像。
5.如权利要求1所述的方法，包括：
响应于在所述参考图像和所述预览图像之间的重叠不满足所述预定的重
叠阈值，接收所述感兴趣的对象的不同部分的下一个预览图像。
6.如权利要求1所述的方法，包括：
发送针对所述感兴趣的对象接收的图像，以生成单个线性全景图像。
7.如权利要求1所述的方法，其中
所述第一视觉区分指示符在如下各项中的一项上视觉上不同：形状、尺寸、
颜色、位置、方位和阴影。
8.如权利要求1所述的方法，其中
所述第二视觉区分指示符是如下各...

【专利技术属性】
技术研发人员：雅梅·格雷厄姆，丹尼尔·G·范奥尔斯特，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP