一种产品分拣方法、产品分拣系统和智能分拣机器人技术方案

本发明专利技术涉及产品分拣技术领域，提供了一种产品分拣方法、产品分拣系统和智能分拣机器人，该方法包括：获取产品在产品线上的图像，从图像上分别识别出面像素区域和区域特征信息，根据区域特征信息从预设特征模板库中搜索出与面像素区域匹配的唯一特征模板，根据唯一特征模板在图像上定位与区域特征信息对应的关键位姿信息，相比于基于图像分拣产品的传统方式，利用关键位姿信息分拣产品，减少了处理另一幅图像、更新坐标、判断产品像素区域、判断抓取范围和规划轨迹等步骤操作，缩短了产品被分拣的信息预备时间，克服了延迟分拣产品的问题，支持精确、快速地分拣产品，提高了产品分拣效率。

A product sorting method, product sorting system and intelligent sorting robot

【技术实现步骤摘要】
一种产品分拣方法、产品分拣系统和智能分拣机器人
本专利技术涉及产品分拣
，具体涉及一种产品分拣方法、产品分拣系统和智能分拣机器人。
技术介绍
相关技术中，产品在产品线传输下进入采集区域，在采集区域，成像终端间断式拍摄产品在产品线上的多幅图像，控制器根据连续拍摄的两幅图像实时计算产品在成像终端坐标系下的坐标和移动距离，控制器在判断两幅图像具有相同产品像素区域后，将在成像终端坐标系下的坐标转换到分拣设备坐标系下的坐标，控制器利用移动距离将分拣设备坐标系下的坐标更新为当前坐标，控制器在根据当前坐标判断产品处于抓取范围时，根据当前坐标和预置坐标规划运动轨迹，并发出指令给分拣设备，分拣设备按照指令执行抓取产品的抓取动作，使产品被分拣设备从产品线上分拣出。然而，在处理两幅图像、更新坐标、判断产品像素区域、判断抓取范围和规划轨迹等步骤操作的制约下，控制器需要较长时间才能发出指令，延迟了指令的发出时间，从而，分拣终端会延迟执行抓取动作，致使产品被分拣设备从产品线上延迟分拣出，降低了产品分拣效率。
技术实现思路
针对现有基于图像的产品分拣方法存在延迟从产品线上分拣出产品的问题，本专利技术提供一种基于图像的产品分拣方法、产品分拣系统和智能分拣机器人。本专利技术第一方面提供的基于图像的产品分拣方法，包括：获取产品在产品线上的图像；从所述图像上分别识别出面像素区域和区域特征信息；根据所述区域特征信息从预设特征模板库中搜索出与所述面像素区域匹配的唯一特征模板；根据所述唯一特征模板在所述图像上定位与所述区域特征信息对应的关键位姿信息；根据所述关键位姿信息从所述产品线上分拣出所述产品；本专利技术第二方面提供的基于图像的产品分拣系统，包括：视觉子系统和与所述视觉子系统耦合的分拣子系统；所述视觉子系统，用于采集产品在产品线上的图像；所述分拣子系统，用于获取所述图像；从所述图像上分别识别出面像素区域和区域特征信息；根据所述区域特征信息从预设特征模板库中搜索出与所述面像素区域匹配的唯一特征模板；根据所述唯一特征模板在所述图像上定位与所述区域特征信息对应的关键位姿信息；根据所述关键位姿信息从所述产品线上分拣出所述产品。本专利技术第三方面提供的智能分拣机器人，被配置存储有至少一条指令或至少一段程序或代码集或指令集，所述指令或所述程序或所述代码集或所述指令集被加载并执行以实现如第一方面所述基于图像的产品分拣方法所执行的操作步骤。本专利技术提供的产品分拣方法、产品分拣系统和智能分拣机器人的有益效果是：利用同属一副图像的面像素区域和区域特征信息，从预设特征模板库中精确、快速地搜索出唯一特征模板，利用唯一特征模板和区域特征信息，在图像上精确、快速地定位出关键位姿信息，缩短了关键位姿信息的定位时间，相比于基于图像分拣产品的传统方式，利用关键位姿信息分拣产品，减少了处理另一幅图像、更新坐标、判断产品像素区域、判断抓取范围和规划轨迹等步骤操作，缩短了产品被分拣的信息预备时间，克服了延迟分拣产品的问题，支持精确、快速地分拣产品，提高了产品分拣效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种基于图像的产品分拣方法的流程示意图；图2为本专利技术提供的一种基于图像的产品分拣系统的架构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例一如图1所示，一种基于图像的产品分拣方法，包括以下步骤操作：步骤10、获取产品在产品线上的图像；步骤20、从图像上分别识别出面像素区域和区域特征信息；步骤30、根据区域特征信息从预设特征模板库中搜索出与面像素区域匹配的唯一特征模板；步骤40、根据唯一特征模板在图像上定位与区域特征信息对应的关键位姿信息；步骤50、根据关键位姿信息从产品线上分拣出产品。在一些具体方式中，产品可以是药盒，产品线可以是传送带，产品的顶面可以设置条形码或者二维码。在一些具体方式中，区域特征信息包括掩码信息、定位窗口和纹理特征符，掩码信息和定位窗口均用以在图像上定位面像素区域；掩码信息可以包括掩模，在掩模上，以0为参数表示在面像素区域内的像素，以1为参数表示不在面像素区域内的像素，定位窗口可以是与面像素区域外接的矩形boundingbox，纹理特征符可以包括用以描述在面像素区域的纹理的字符串。在一些具体方式中，预设数据库中的每个特征模板包括标准掩码、标准纹理特征和标准特征图；关键位姿信息包括中心点三维坐标和与中心点三维坐标关联的旋转角度，中心点三维坐标和旋转角度均用以定位面像素区域的中心点所处的位姿。利用同属一副图像的面像素区域和区域特征信息，从预设特征模板库中精确、快速地搜索出唯一特征模板，利用唯一特征模板和区域特征信息，在图像上精确、快速地定位出关键位姿信息，缩短了关键位姿信息的定位时间，相比于基于图像分拣产品的传统方式，利用关键位姿信息分拣产品，减少了处理另一幅图像、更新坐标、判断产品像素区域、判断抓取范围和规划轨迹等步骤操作，缩短了产品被分拣的信息预备时间，克服了延迟分拣产品的问题，支持精确、快速地分拣产品，提高了产品分拣效率。作为可选的实施方式，步骤20具体包括以下步骤操作：步骤21、分别获取预先训练的第一深度学习模型、预先训练的第二深度学习模型和预先训练的第三深度学习模型；步骤22、根据第一深度学习模型在图像上分别提取面像素区域、掩码信息和定位窗口；步骤23、根据第二深度学习模型在图像上提取编码像素区域；步骤24、根据所述第三深度学习模型在面像素区域提取纹理特征符；步骤25、根据第三深度学习模型在编码像素区域提取编码特征符。在一些具体方式中，第一深度学习模型包括输入层、第一卷积层、第二卷积层、第三卷积层和输出层；将图像从输入层输入至第一卷积层，第一卷积层在图像上识别出与产品的顶面对应的感兴趣区域，并将感兴趣区域作为面像素区域输入至输出层，以及分别将面像素区域输入至第二卷积层和第三卷积层；第二卷积层在面像素区域提取出掩码信息，并将掩码信息输入至输出层；第三卷积层在面像素区域提取出定位窗口，并将定位窗口输入至输出层；输出层分别输出面像素区域、掩码信息和定位窗口。在一些具体方式中，以并行方式执行步骤21和步骤22，以从图像上快速地粗识别两个像素区域，能够缩短两个像素区域的识别时间，以并行方式执行步骤24和步骤25，以从两个像素区域上快速、精确地识别出两个特征符，能够缩短两个特征符的识别时间，提高图像识别效率。在一些具体方式中，在图像上，编码像素区域分布在面像素区域内，区本文档来自技高网...

【技术保护点】
1.一种基于图像的产品分拣方法，其特征在于，包括：/n获取产品在产品线上的图像；/n从所述图像上分别识别出面像素区域和区域特征信息；/n根据所述区域特征信息从预设特征模板库中搜索出与所述面像素区域匹配的唯一特征模板；/n根据所述唯一特征模板在所述图像上定位与所述区域特征信息对应的关键位姿信息；/n根据所述关键位姿信息从所述产品线上分拣出所述产品。/n

【技术特征摘要】
1.一种基于图像的产品分拣方法，其特征在于，包括：
获取产品在产品线上的图像；
从所述图像上分别识别出面像素区域和区域特征信息；
根据所述区域特征信息从预设特征模板库中搜索出与所述面像素区域匹配的唯一特征模板；
根据所述唯一特征模板在所述图像上定位与所述区域特征信息对应的关键位姿信息；
根据所述关键位姿信息从所述产品线上分拣出所述产品。


2.根据权利要求1所述基于图像的产品分拣方法，其特征在于，所述区域特征信息包括掩码信息、定位窗口、纹理特征符和编码特征符；从所述图像上分别识别出面像素区域和区域特征信息，具体包括：
分别获取预先训练的第一深度学习模型、预先训练的第二深度学习模型和预先训练的第三深度学习模型；
根据所述第一深度学习模型在所述图像上分别提取所述面像素区域、所述掩码信息和所述定位窗口，所述掩码信息和所述定位窗口用以在所述图像上定位所述面像素区域；
根据所述第二深度学习模型在所述图像上提取编码像素区域；
根据所述第三深度学习模型在所述面像素区域提取所述纹理特征符；
根据所述第三深度学习模型在所述编码像素区域提取所述编码特征符。


3.根据权利要求2所述基于图像的产品分拣方法，其特征在于，所述第三深度学习模型包括图像对比度增强子模型和条码解码子模型；根据所述第三深度学习模型在所述编码像素区域提取所述编码特征符，具体包括：
根据所述对比度增强子模型对所述编码像素区域进行增强处理，得到编码增强区域；
根据所述条码解码子模型对所述编码增强区域进行解码处理，得到所述编码特征符。


4.根据权利要求2或3所述基于图像的产品分拣方法，其特征在于，根据所述区域特征信息从预设特征模板库中搜索出与所述面像素区域匹配的唯一特征模板，具体包括：
从所述预设特征模板库中搜索出与所述纹理特征符和所述编码特征符匹配的候选特征模板集；
从所述候选特征模板集中搜索出与所述面像素区域匹配的所述唯一特征模板。


5.根据权利要求1-3所述基于图像的产品分拣方法，其特征在于，所述关键位姿信息包括中心点三维坐标和与所述中心点三维坐标关联的旋转角度；根据所述唯一特征模板在所述图像上定位与所述区域特征信息对应的关键位姿信息，具体包括：
从所述区域特征信息中提取掩码信息和定位窗口；
根据所述掩码信息和所述定位窗口在所述图像上定位所述面像素区域；
根据所述唯一特征模板在所述面像素区域定位中心点三维坐标；
根据所述中心点三维坐标求解所述旋转角度。


6.根据权利要求1-3任...

【专利技术属性】
技术研发人员：李淼，闫琳，张少华，于天水，鲁阳，付中涛，房小立，
申请(专利权)人：武汉库柏特科技有限公司，
类型：发明
国别省市：湖北;42