基于RGB-D深度相机的低矮凸起障碍物、路面坑洼检测方法技术

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法


[0001]本专利技术涉及一种机器人导航中的环境感知领域。更具体地说，本专利技术涉及一种基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法。

技术介绍

[0002]机器人在作业过程中，需要考虑如下安全功能：1.对于出现在周围的动、静态障碍物要具停障、避障功能；2.对于楼梯口、扶梯口等下沉场景，要具备防止跌落的功能。这些安全功能需要鲁棒性强的感知模块来支撑。目前市面上的室内清洁机器人感知模块主要由2D/3D单/多线激光雷达、RGB
‑
D深度摄像头、超声波雷达以及防跌落传感器等完成。相比于其他传感器，RGB
‑
D深度相机由于分辨率高和精度高等特点，其对于路面低矮凸起障碍物、坑洼等目标的检测具有较大优势。
[0003]目前的环境图像感知技术，其在分析处理过程中，无法同时检测低矮凸起障碍物、路面坑洼，检测精度低，对于地面的低矮凸起障碍物、较浅的坑洞无法检测到，这使得小型机器人在行走时无法及时避障，影响其行走的稳定性。

技术实现思路

[0004]本专利技术的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
[0005]为了实现根据本专利技术的这些目的和其它优点，提供了一种基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，包括：
[0006]步骤一，对RGB
‑
D深度相机的原始点云进行预处理以得到对应的平面点云，从平面点云中提取凸起低矮障碍物点云，并将提取的凸起低矮障碍物点云投影到平面模型参数A、B、C、D的平面上；
[0007]步骤二，对模型参数A、B、C、D的平面上的凸起低矮障碍物点云进行降采样；
[0008]步骤三，对降采样后的凸起低矮障碍物点云进行凸包分割，将凸包变换到/map坐标系下并发布；
[0009]步骤四，对投影后的凸起低矮障碍物点云合并到地平面点云以形成新平面点云，将新平面点云变换到base_footprint下并转成地平面二维栅格地图；
[0010]步骤五，将地平面二维栅格地图进行Fake伪坑洞滤波，边缘提取方法CV对坑洞进行提取。
[0011]优选的是，在所述步骤一中，所述预处理被配置为包括：
[0012]S1，构建tf树；
[0013]S2,建立静态标定地平面的模型参数；
[0014]S3，对RGB
‑
D深度相机的原始点云时间戳进行保存；
[0015]S4,对原始点云进行预处理；
[0016]S5，对预处理完的原始点云进行平面点云提取，以得到平面模型参数；
[0017]S6,通过对平面模型参数、模型参数进行比对以判断提地平面点云是否提取成功；
[0018]S7,从预处理后的原始点云中提取除地平面点云外的剩余点，通过对剩余点进行滤波处理，以得到凸起低矮障碍物点云。
[0019]优选的是，其特征在于，在S1中，构建tf树包括：设置定时器，发布静态tf变换，构建完整的tf树以方便深度相机点云查询时间戳直接变换到合适的坐标系下。
[0020]优选的是，在S2中，建立静态标定地平面的模型参数包括：
[0021]在机器人静止状态下，提取地平面点云，保存对应的地平面模型参数A_、B_、C_、D_，并计算求在静止状态相机坐标系下光心(0,0,0)到地平面的距离d_。
[0022]优选的是，在S3中，对RGB
‑
D深度相机的原始点云时间戳进行保存方式上通过回调函数实现，通过点云在tf树中查询最近时刻的tf变换关系使时间戳对齐。
[0023]优选的是，在S4中,对原始点云进行预处理是通过滤除原始点云中的离群点得以实现；
[0024]在S5中，在对预处理完的原始点云进行平面点云提取后，保存提取的平面模型参数A、B、C、D以及平面点云，并计算相机坐标系下光心(0,0,0)到提取到的地平面的距离d。
[0025]优选的是，在S6中，所述比对、判断方式为：
[0026]在提取到的平面点云法向量与静态标定地平面点云法向量夹角小于设定的第一阈值时，且两个平面到光心的距离d_、d做差的绝对值小于设定的第二阈值时，则认为地平面提取成功，否则重新提取平面直到满足要求。
[0027]优选的是，在S7中，对剩余点进行滤波处理时，保留和光心(0,0,0)在平面同一侧的点，以以得到凸起低矮障碍物点云。
[0028]优选的是，在步骤五中，在进行伪坑洞滤波之前，将投影后的凸起障碍物点云单独变换到base_footprint下，以转换得到凸起障碍物二维栅格地图；
[0029]所述伪坑洞滤波的方法包括：
[0030]在地平面二维栅格地图上进行单连通区域搜索，以检测到得到所有可能的坑洞区域；
[0031]在凸起障碍物二维栅格地图上进行单连通区域搜索，检测到所有的凸起障碍物区域；
[0032]遍历地平面二维栅格地图上所有的单连通区域，在凸起障碍物二维栅格地图上找对应像素位置到base_footprint原点位置的连线，如果连线经过凸起障碍物区域则将地平面二维栅格地图上该位置像素值设为有点云的默认值，表示为伪坑洞，否则设为没有点云的默认值，表示为真坑洞。
[0033]优选的是，还包括通过以下公式对RGB
‑
D深度相机安装高度H进行限定，以使前置斜向下的RGB
‑
D深度摄像头感知范围有效覆盖近处地面区域：
[0034][0035]其中，RGB
‑
D深度摄像头距地高度；
[0036]β为RGB
‑
D深度摄像头向下俯倾角度；
[0037]α为RGB
‑
D深度摄像头纵向视场角，范围(0
°
,90
°
)；
[0038]M为RGB
‑
D深度摄像头向下俯倾后的视角盲区；
[0039]L为RGB
‑
D深度摄像头向下俯倾后的地面感知区域；
[0040]γ为RGB
‑
D深度摄像头感知极限与地面的夹角
[0041]本专利技术至少包括以下有益效果：其一，本专利技术可同时检测到地面上的低矮凸起障碍物、坑洼，提高了安全性。
[0042]其二，本专利技术检测精度高，高度、深度大于1.5cm凸起障碍物、坑洞均可检测到，机器人可以准确避开检测到的凸起障碍物、坑洞，降低了对移动机器人的越野能力要求。
[0043]其三，本专利技术可在机器人静止状态下，自动标定地平面的模型参数和相机光心到地面高度参数，方便机器人作业过程中的地平面准确提取。
[0044]其四，本专利技术提供了RGB
‑
D深度相机布局方案的公式，只要输入在地平面上的感知范围可直接得出RGB
‑
D深度相机的安装高度以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，包括：步骤一，对RGB
‑
D深度相机的原始点云进行预处理以得到对应的平面点云，从平面点云中提取凸起低矮障碍物点云，并将提取的凸起低矮障碍物点云投影到平面模型参数A、B、C、D的平面上；步骤二，对模型参数A、B、C、D的平面上的凸起低矮障碍物点云进行降采样；步骤三，对降采样后的凸起低矮障碍物点云进行凸包分割，将凸包变换到/map坐标系下并发布；步骤四，对投影后的凸起低矮障碍物点云合并到地平面点云以形成新平面点云，将新平面点云变换到base_footprint下并转成地平面二维栅格地图；步骤五，将地平面二维栅格地图进行Fake伪坑洞滤波，边缘提取方法CV对坑洞进行提取。2.如权利要求1所述的基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，在所述步骤一中，所述预处理被配置为包括：S1，构建tf树；S2,建立静态标定地平面的模型参数；S3，对RGB
‑
D深度相机的原始点云时间戳进行保存；S4,对原始点云进行预处理；S5，对预处理完的原始点云进行平面点云提取，以得到平面模型参数；S6,通过对平面模型参数、模型参数进行比对以判断提地平面点云是否提取成功；S7,从预处理后的原始点云中提取除地平面点云外的剩余点，通过对剩余点进行滤波处理，以得到凸起低矮障碍物点云。3.如权利要求2所述的基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，在S1中，构建tf树包括：设置定时器，发布静态tf变换，构建完整的tf树以方便深度相机点云查询时间戳直接变换到合适的坐标系下。4.如权利要求2所述的基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，在S2中，建立静态标定地平面的模型参数包括：在机器人静止状态下，提取地平面点云，保存对应的地平面模型参数A_、B_、C_、D_，并计算求在静止状态相机坐标系下光心(0,0,0)到地平面的距离d_。5.如权利要求2所述的基于RGB
‑
D深度相机的低矮凸起障碍物、路面坑洼检测方法，其特征在于，在S3中，对RGB
‑
D深度相机的原始点云时间戳进行保存方式上通过回调函数实现，通过点云在tf树中查询最近时刻的tf变换关系使时间戳对齐；在S4中,对原始点云进行预处理是通过滤除原始点云中的离群点得以实现。6.如权利要求2所述的基于RGB
‑
D深度相机的低矮凸起障碍物、路...

【专利技术属性】
技术研发人员：蒋涛，段翠萍，吴思东，雷婷，胡泽，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：