用于自动生成将产品分配到商店内的货架结构的货架图的方法技术

用于自动生成商店的货架图的方法的一种变型包括：调度机器人系统在测绘例程期间在商店内自主导航；访问由机器人系统根据在测绘例程期间收集的地图数据生成的地板空间的地板地图；识别地板空间的地图内的货架结构；沿着面向货架结构的过道定义第一组路径点；调度机器人系统以在成像例程期间导航到该组路径点并在该组路径点处捕获光学数据；接收根据机器人系统在成像例程期间记录的光学数据生成的图像组；识别该图像组中的产品和产品的位置；以及基于该图像组中识别出的产品和产品的位置生成货架结构的货架图。

【技术实现步骤摘要】
【国外来华专利技术】用于自动生成将产品分配到商店内的货架结构的货架图的方法相关申请的交叉引用本申请要求在2016年5月19日提交的第62/339,047号美国临时申请、在2016年5月19日提交的第62/339,039号美国临时申请、和在2016年5月19日提交的第62/339,045号美国临时申请的权益，所有这些申请都通过本引用以其整体并入本文。本申请涉及在2016年11月9日提交的第15/347,689号美国专利申请，其通过本引用以其整体并入本文。
本专利技术总体上涉及库存管理领域，并且更具体地涉及在库存管理领域中的用于自动生成将产品分配到商店内的货架结构的货架图的新的且有用的方法。附图简述图1是方法的流程图表示；图2是方法的一种变型的图形表示；和图3是方法的一种变型的示意图表示；图4是方法的一种变型的流程图表示；和图5是方法的一种变型的流程图表示。具体实施方式以下对本专利技术实施例的描述并非旨在将本专利技术限于这些实施例，而是使本领域技术人员能够制造和使用本专利技术。本文描述的变型、配置、实现、示例实现、和示例是可选的，并且不排除他们描述的变型、配置、实现、示例实现、和示例。本文描述的专利技术可以包括这些变型、配置、实现、示例实现、和示例的任何和所有排列。1.方法如图1所示，一种用于自动生成将产品分配到商店内的货架结构的货架图的方法，该方法包括：在框S110中，调度机器人系统以在第一测绘例程期间自主收集商店内的地板空间的地图数据；在框S190中，初始化商店的货架图，该货架图表示基于机器人系统记录的地图数据的在商店内的一组货架结构的定位；在框S160中，调度机器人系统以在第一成像例程期间在该组货架结构中靠近第一货架结构的第一路径点处记录光学数据；在框S170中，访问包括由机器人系统在占据第一路径点时记录的光学数据的第一图像；在框S172中，在第一图像中检测在第一垂直位置处的第一货架；在框S174中，在第一图像中检测在第一货架上方的第一横向位置中的第一对象；在框S180中，基于从第一图像的表示第一对象的第一区域提取的特征将第一对象识别为第一产品的单元；以及在框S190中，响应于将第一对象识别为第一产品的单元，将第一货架的第一垂直位置和第一对象的第一横向位置投影到货架图中的第一货架结构的表示上以定义第一槽，并将关于第一产品的分配写到第一槽。该方法的一种变型包括：在框S110中，调度机器人系统以在测绘例程期间自主导航通过商店内的地板空间；在框S120中，访问由机器人系统根据在测绘例程期间收集的地图数据生成的地板空间的地板地图；在框S130中，在地板地图中定义关于商店的坐标系；在框140中，识别在地板空间地图内的货架结构；在框S150中，基于坐标系，沿着面对货架结构的过道定义第一组路径点；在框S160中，调度机器人系统以在成像例程期间导航到该组路径点并在该组路径点处捕获视觉；在框S170中，接收根据由机器人系统在成像例程期间记录的光学数据生成的图像组；在框S180中，在该图像组中识别产品以及产品的位置；以及在框S190中，基于在该图像组中识别的产品和产品的位置生成货架段的货架图。如在图1中和图3中所示，该方法的另一变型包括：在框S112中，在机器人系统自主导航通过商店时在机器人系统处生成商店内的地板空间的地图；在框S114中，在机器人系统自主导航通过商店的同时在机器人系统处捕获商店内货架的一系列图像；在框140中，识别地板空间地图内的货架结构；在框S180中，在由在货架结构附近的机器人系统捕获的一系列图像中的图像组中识别产品和产品的位置；以及在框S190中，基于在该图像组中识别的产品和产品的位置生成货架段的货架图。2.应用程序通常，该方法的框可由计算机系统和/或由机器人系统(统称为“系统”)执行以自动生成表示商店内货架上的产品放置的货架图(例如当机器人系统首次被供应到商店时，其中遍布整个商店或商店的部分的地板平面图、建筑布局、和产品分配是不可用的)。特别地，计算机系统可以：调度机器人系统以在测绘例程期间自主导航通过商店并生成商店的2D或3D地图；处理商店的这个地图以定义整个商店中邻近(装载有产品的)货架的各个路径点；将这些路径点上传到机器人系统，并调度机器人系统以在成像例程期间导航到在这些路径点中的每一个路径点处进行导航并在这些路径点中的每一个路径点处捕获图像；识别在由机器人系统捕获的这些图像中显示的产品；并且然后生成关于商店的货架图(例如，包含每个货架结构的每一个侧面的高度图)，其中每个货架图识别产品，并描绘这些产品在货架上的相对应的槽中、在货架段中、以及在整个商店的货架结构中的放置。因此，该方法可以由系统执行，以通过收集和处理由被供应给商店的机器人系统捕获的地图数据和图像来自动生成商店的货架图。一旦计算机系统生成商店的货架图的初始实例，则商店的管理者或员工可以确认或调整根据货架图定义的槽的定位和产品分配；并且计算机系统可以将该货架图与由机器人系统在后续成像例程期间记录的图像中识别的的产品和这些产品的定位进行比较，以确定商店的后续库存状态是否满足根据货架图指定的要求。在一个实施方式中，计算机系统在商店(或仓库，零售设施等)处确认手动(重新)存放过程之后执行该方法，其中商店的雇员将产品手动存放在货架上并且在商店中的这些货架上正确地定向这些产品。一旦商店的适当库存完成并得到(例如，由商店管理者通过在经由互联网与计算机系统通信的台式计算机或平板电脑上执行的操作员门户进行的)确认，计算机系统就可以执行该方法的框，以：触发机器人系统以执行测绘例程来捕获地图数据，并执行成像例程来捕获整个商店的图像；处理这些地图数据和图像；并且自动生成表示在这个(近似)“理想的”库存期间在商店内的产品的放置的货架图。在框S190中生成该货架图时，系统可以通过操作员门户与商店的管理者或其他雇员进行交互，以移动、修改、添加、和/或移除被存储在该货架图中的产品分配、产品界面分配、和离散槽，以便纠正在成像例程期间商店内产品实际放置的错误，纠正在成像例程期间记录的图像中被错误识别的产品，或者针对下一个季节或即将到来的假期更新商店的货架图。例如，商店的管理者可以手动修改该货架图，并将该修改后的货架图分发给商店的雇员以指导对商店内产品的类型和/或放置的改变。稍后，计算机系统可以将该货架图与由机器人系统在商店处在后续成像例程期间捕获的货架结构的图像进行比较，以便检测相对于该货架图的偏差，例如在商店内在货架上缺失的产品、在货架上被不正确定向的产品、在货架上被错误放置的产品、和/或在货架上被贴错标签的产品等，如在第？SIMB-M01-US？号美国专利申请中描述的。例如，在框S190中生成货架图之后，系统可以基于由机器人系统在整个商店中导航时收集的真实测绘数据以及基于货架图中存储的库存数据生成商店的细化的一组路径点。在这个示例中，每天晚上从凌晨1点开始(例如，当商店关门或最小限度地被贩卖时)，机器人系统可以顺序导航到商店中由这些细化的路径点定义的定位和取向，在这些路径点的每一个路径点处捕获一个或更多个图像，并将这些图像返回给计算机系统。然后，计算机系统可以自动将这些图像转换成整个商店的货架上的产品位置的图形、表格、或地图(包括相对于货架图的偏差)，并且该系统可以在第二天早本文档来自技高网...

【技术保护点】
1.一种用于自动生成将产品分配给商店内的货架结构的货架图的方法，所述方法包括：●调度机器人系统以在第一测绘例程期间自主收集所述商店内的地板空间的地图数据；●初始化所述商店的货架图，所述货架图基于所述机器人系统记录的地图数据表示所述商店内的一组货架结构的定位；●调度所述机器人系统以在第一成像例程期间在靠近所述一组货架结构中的第一货架结构的第一路径点处记录光学数据；●访问包括由所述机器人系统在占据所述第一路径点时记录的光学数据的第一图像；●检测在所述第一图像中的第一垂直位置处的第一货架；●检测在所述第一图像中的所述第一货架上方的第一横向位置中的第一对象；●基于从所述第一图像的表示所述第一对象的第一区域提取的特征，将所述第一对象识别为第一产品的单元；●将所述第一货架的所述第一垂直位置和所述第一对象的所述第一横向位置投影到在所述货架图中的所述第一货架结构的表示上以定义第一槽；以及●响应于将所述第一对象识别为第一产品的单元，将关于所述第一产品的分配写入所述第一槽。

【技术特征摘要】
【国外来华专利技术】2016.05.19 US 62/339,045;2016.05.19 US 62/339,039;1.一种用于自动生成将产品分配给商店内的货架结构的货架图的方法，所述方法包括：●调度机器人系统以在第一测绘例程期间自主收集所述商店内的地板空间的地图数据；●初始化所述商店的货架图，所述货架图基于所述机器人系统记录的地图数据表示所述商店内的一组货架结构的定位；●调度所述机器人系统以在第一成像例程期间在靠近所述一组货架结构中的第一货架结构的第一路径点处记录光学数据；●访问包括由所述机器人系统在占据所述第一路径点时记录的光学数据的第一图像；●检测在所述第一图像中的第一垂直位置处的第一货架；●检测在所述第一图像中的所述第一货架上方的第一横向位置中的第一对象；●基于从所述第一图像的表示所述第一对象的第一区域提取的特征，将所述第一对象识别为第一产品的单元；●将所述第一货架的所述第一垂直位置和所述第一对象的所述第一横向位置投影到在所述货架图中的所述第一货架结构的表示上以定义第一槽；以及●响应于将所述第一对象识别为第一产品的单元，将关于所述第一产品的分配写入所述第一槽。2.根据权利要求1所述的方法：●还包括：○从所述机器人系统接收地图数据○将所述地图数据转换成所述商店内的所述地板空间的地板地图；○定义所述地板地图中的坐标系；○识别在所述地板地图中表示的第一货架结构；○将所述第一货架结构标记为所述商店内的第一货架结构；○沿所述第一货架结构相对于所述坐标系定义第一组路径点，所述第一组路径点包括所述第一路径点并指定面向所述第一货架结构的取向；●其中，调度所述机器人系统以在所述第一路径点处记录光学数据包括调度所述机器人系统以导航到所述第一组路径点中的每个路径点，并在占据所述第一组路径点中的每个路径点时记录所述第一货架结构的光学数据。3.根据权利要求2所述的方法：●其中，初始化所述货架图包括：基于所述地板地图中表示的所述第一货架结构的定位和长度，初始化所述货架图中的所述第一货架结构的第一侧面的第一高程图；●其中，将所述第一货架的所述第一垂直位置和所述第一对象的所述第一横向位置投影到所述货架图中的所述第一货架结构的表示上包括：基于所述第一货架的所述第一垂直位置、所述第一对象的所述第一横向位置、以及由所述第一路径点定义的定位和取向，定义所述第一高程图中的所述第一槽。4.根据权利要求3所述的方法：●其中，检测所述第一图像中的所述第一货架包括：○识别所述第一图像中的所述第一货架结构；○识别所述第一图像中的所述第一货架结构中的第一货架段和第二货架段；以及○识别所述第一货架段中的所述第一货架和第二货架；●其中，检测所述第一图像中的所述第一对象包括检测所述第一图像中的所述第一货架段和所述第二货架段中的所述第一货架和所述第二货架上的一组对象；●其中，将所述第一对象识别为所述第一产品的单元包括基于从所述第一图像的相对应的区域提取的特征来识别所述一组对象中的对象；以及●其中，将所述第一货架的所述第一垂直位置和所述第一对象的所述第一横向位置投影到所述货架图中所述第一货架结构的所述表示上包括基于所述第一图像中的所述第一组对象中对象的定位来定义所述货架图中所述第一货架结构的所述第一高程图中的第一组槽，所述第一组槽包括所述第一槽。5.根据权利要求2所述的方法，其中，访问所述第一图像包括：●接收由所述机器人系统在导航通过所述第一组路径点时通过集成到所述机器人系统中的一组离散彩色相机记录的第一组数字摄影图像；以及●基于所述一组离散彩色相机在所述机器人系统内的已知位置和所述机器人系统在占据所述第一组路径点中的每个路径点时在所述商店内的实际位置和取向，将所述第一组数字摄影图像组合成所述第一货架结构的所述第一图像。6.根据权利要求1所述的方法，其中，将所述第一对象识别为所述第一产品的单元包括：●从所述第一图像的所述第一区域提取第一组特征；以及●响应于在所述第一组特征中的特征和在第一模板图像中的特征之间的相关性，将所述第一对象识别为所述第一产品的单元，所述第一模板图像被存储在模板图像数据库中并表示所述第一产品。7.根据权利要求6所述的方法：●还包括：○检测在所述第一图像中偏离所述第一位置的第二垂直位置处的第二货架；○检测在所述第一图像中沿着所述第一货架和所述第二货架布置的一组货架标签；○从所述第一图像中表示的所述一组货架标签中提取一组产品标识符；以及○从所述模板图像数据库中检索第一组模板图像，所述第一组模板图像中的每个模板图像包括在所述一组产品标识符中指定的产品的可视化特征；以及●其中，将所述第一对象识别为所述第一产品的单元包括：○将从所述第一图像的所述第一区域提取的所述第一组特征与所述一组模板图像中的模板图像进行比较；以及○响应于在所述第一组特征中的特征和所述第一组模板图像中的所述第一模板图像中的特征之间的相似性分数超过阈值分数，将所述第一对象识别为所述第一产品的单元。8.根据权利要求6所述的方法：●其中，从所述第一图像的所述第一区域提取所述第一组特征包括从所述第一图像的所述第一区域提取相对颜色值的第一颜色光谱；●还包括从所述模板图像数据库中检索第一组模板图像，所述第一组模板图像中的每个模板图像表现出与所述相对颜色值的第一颜色光谱近似的相对颜色值的颜色光谱；和●其中，将所述第一对象识别为所述第一产品的单元包括：○将从所述第一图像的所述第一区域提取的所述第一组特征与所述一组模板图像中的模板图像进行比较；以及○响应于在所述第一组特征中的特征和在所述第一组模板图像中的所述第一模板图像中的特征之间的相似性分数超过阈值分数，将所述第一对象识别为所述第一产品的单元。9.根据权利要求6所述的方法：●其中，从所述第一图像的所述第一区域提取所述第一组特征包括：○从所述第一图像的所述第一区域提取第一文本字符串；以及○基于所述第一文本字符串，识别与所述第一对象相关联的第一品牌；●还包括从所述模板图像数据库中检索第一组模板图像，所述第一组模板图像中的每个模板图像表示与所述第一品牌相关联的产品；以及●其中，将所述第一对象识别为所述第一产品的单元包括：○将从所述第一图像的所述第一区域提取的所述第一组特征与所述一组模板图像中的模板图像进行比较；以及○响应于在所述第一组特征中的特征和在所述第一组模板图像中的所述第一模板图像中的特征之间的相似性分数超过阈值分数，将所述第一对象识别为所述第一产品的单元。10.根据权利要求6所述的方法，还包括：●检测在所述第一图像中所述第一货架上方第二横向位置...

【专利技术属性】
技术研发人员：布拉德利·博格勒，米尔扎·阿克巴·沙，贾里尤拉赫·萨菲，卢克·弗雷泽，洛林·范德格里夫特，杰弗里·吉，
申请(专利权)人：思比机器人公司，
类型：发明
国别省市：美国,US