一种基于点云平面轮廓匹配的货物托盘检测方法及系统技术方案

本发明专利技术提供一种基于点云平面轮廓匹配的货物托盘检测方法及系统，所述方法步骤包括：步骤1、原始点云滤波；步骤2、点云平面分割；步骤3、投影生成栅格图；步骤4、轮廓提取；步骤5、轮廓匹配；步骤6、获取相对位姿。所述系统包括：原始点云滤波模块，点云平面分割模块，投影生成栅格图模块，轮廓提取模块，轮廓匹配模块，获取相对位姿模块。本发明专利技术成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘，具有精度高、价格低、鲁棒性强等优点。

A method and system for inspection of cargo pallets based on point cloud plane contour matching

The invention provides a cargo pallet inspection method and system for point cloud plane contour matching based on the steps of the method comprises the following steps: 1, the original point cloud filtering; step 2, point cloud projection plane segmentation; step 3, step 4, generate raster map; contour extraction; step 5, step 6, contour matching; to obtain the relative position and attitude. The system includes original point cloud filtering module, point cloud plane segmentation module, projection generation grid graph module, contour extraction module, contour matching module, and relative position and posture module. The invention has the advantages of low cost, high detection accuracy, basically not affected by illumination, no laying labels and other operations, no need to transform the storage environment, and suitable for pallets with various colors and specifications, which has the advantages of high accuracy, low price and strong robustness.

【技术实现步骤摘要】
一种基于点云平面轮廓匹配的货物托盘检测方法及系统
本专利技术涉及工业机器人
，具体地，涉及一种基于点云平面轮廓匹配的货物托盘检测方法及系统。
技术介绍
随着现代物流技术的发展，自动引导车(AGV)在智能仓储技术中发挥着越来越重要的作用，而对货物托盘的检测是AGV的核心技术之一。仓储环境具有背景复杂、光线条件不稳定、动/静态障碍物较多等特点，精准高效的对货物托盘检测与定位是目前亟待解决的问题。目前对货物托盘的检测主要采用视觉检测、激光雷达检测等方法。其中，单目视觉成本虽然不高，但精度不高、受光线影响大；多线激光雷达和双目视觉检测都具有精度高的特点，但是多线激光雷达价格过于昂贵、双面视觉检测受光照影响大；单线激光雷达成本相对较低，但是获取信息量不足，容易产生误检；基于特征标签的视觉检测方法，对于标签的敷设精度要求比较高，环境鲁棒性不好等等。比如公开号为CN104777835A，申请号为CN201510106059.3的专利技术专利申请，其公开一种全向自动叉车及3D立体视觉导航定位方法，采用双目立体视觉进行托盘定位，易受仓储环境中复杂光照的影响；公开号为CN106044645A，申请号为CN201610620160.5的专利技术专利申请，其公开一种基于二维码定位的货物托盘存取系统、及其存取方法，采用单目视觉检测托盘表面敷设的二维码实现对托盘的定位，但仅限于近距离检测场景。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于轮廓匹配的货物托盘检测方法及系统，具有精度高、价格低、鲁棒性强等优点。为实现以上目的，本专利技术采用以下技术方案：根据本专利技术第一目的，提供一种基于点云平面轮廓匹配的货物托盘检测方法，所述方法包括如下步骤：步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。优选地，步骤2中，所述的平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。优选地，步骤4中：若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤5；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。根据本专利技术第二目的，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。优选地，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。优选地，所述轮廓提取模块，若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转轮廓匹配模块；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。与现有技术相比，本专利技术具有如下的有益效果：本专利技术成本低廉，检测精度高，基本不受光照影响；不要进行敷设标签等操作，不需要对仓储环境进行改造；适用于各种颜色、规格的货物托盘。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术一优选实施例的方法流程图；图2为本专利技术一优选实施例中系统结构框图；图3a为本专利技术一实施例中实际场景图；图3b为本专利技术一实施例中原始点云图；图3c为本专利技术一实施例中颜色滤波后的点云图；图3d为本专利技术一实施例中离群点剔除的点云图；图3e为本专利技术一实施例中法线估计的点云图；图3f为本专利技术一实施例中区域生长的点云图；图3g为本专利技术一实施例中点云栅格化图；图3h为本专利技术一实施例中点云栅格图轮廓提取图；图3i为本专利技术一实施例中托盘平面轮廓图；图3j为本专利技术一实施例中托盘识别结果。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。参照图1所示，一种基于点云平面轮廓匹配的货物托盘检测方法的流程图，包括如下步骤：步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。参照图2所示，对应于上述方法，提供一种基于点云平面轮廓匹配的货物托盘检测系统，包括：原始点云滤波模块，由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；点云平面分割模块，对原始点云滤波模块中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；投影生成栅格图模块，对点云平面分割模块中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；轮廓提取模块，提取投影生成栅格图模块中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；轮廓匹配模块，将轮廓提取模块提取的轮廓分别与货物托盘立面轮廓模板进行匹配；获取相对位姿模块，对于轮廓匹配模块中匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。在一优选实施例中，所述点云平面分割模块，通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。在一优选实施例中，所本文档来自技高网...

【技术保护点】
一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，所述方法包括如下步骤：步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。

【技术特征摘要】
1.一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，所述方法包括如下步骤：步骤1：由传感器采集包含货物托盘的仓储环境点云，通过滤波算法剔除稀疏的离群点；步骤2：对步骤1中得到的点云进行法线估计，采用基于法线约束的区域生长算法，对点云进行平面分割；步骤3：对步骤2中分割得到的各点云平面进行法线估计，并沿其法线方向进行投影，以生成栅格图；步骤4：提取步骤3中的各点云栅格图的轮廓，并分别与货物托盘立面轮廓模板进行匹配；步骤5：匹配成功的点云平面中心即为货物托盘中心，得到货物托盘中心到传感器之间距离和方位，通过计算该点云平面的法线得到货物托盘与传感器之间的相对姿态，从而完成货物托盘的检测与定位。2.根据权利要求1所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤2中，所述的平面分割，即通过判断种子点与临近点法向量的方向接近程度进行区域生长，并限定生长区域的点云数量上限和下限，以剔除过大或过小的平面。3.根据权利要求1所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤4中，先进行轮廓特征提取，然后进行轮廓匹配，具体为：S1:使用Canny算子提取步骤3中的各点云栅格图的轮廓，采用融合轮廓Hu不变矩和尺度比例特征为托盘轮廓特征向量，用于托盘的检测和识别；对于轮廓C，以像素为基本单位，定义其轮廓外接矩形的长和宽分别为w、h，轮廓周长为l，轮廓面积即区域内像素个数为s，以此构建目标轮廓的长宽比S1和占空比S2两个尺度比例特征：S1＝w/hS2＝s/(w*h)融合前两个Hu不变矩M1、M2及两个尺度比例特征，构建新的托盘轮廓特征向量S2：轮廓匹配对于待检测轮廓A和模板轮廓B，采用欧式距离建立轮廓匹配相似度d(A,B)，即：由相似度d(A,B)的定义可知，相似度d(A,B)越小，表明待检测轮廓与模板轮廓越接近；反之表明待检测轮廓与模板轮廓偏离程度越大；分别指轮廓A和B的Hu不变矩；分别指轮廓A和B的尺度比例特征。4.根据权利要求1-3任一项所述的一种基于点云平面轮廓匹配的货物托盘检测方法，其特征在于，步骤4中：若提取的点云栅格图的轮廓与货物托盘立面轮廓匹配成功，则认为该轮廓对应的点云平面即为货物托盘，转步骤5；否则，继续使用其他点云栅格图的轮廓与货物托盘立面轮廓模板进行匹配，直至匹配成功。5.一种基于点云平面轮廓匹配的货物托盘检测系统，其特征在于包括：...

【专利技术属性】
技术研发人员：杨明，武文汉，王冰，王春香，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31