一种基于RGB-D的前置避障系统技术方案

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
一种基于RGB
‑
D的前置避障系统


[0001]本专利技术涉及图像识别和移动机器人的
，具体涉及一种基于RGB
‑
D的前置避障系统。

技术介绍

[0002]当前智能无人化叉车搬运机器人正在不断的走进现实，加速了工业自动化的进程也带动了周围产值的增加，智能无人化叉车搬运机器人有着巨大的实际价值以及应用潜力。在智能无人化叉车搬运机器人的实际运行过程中会面临各种复杂的动态环境，如何保证机器人在执行任务运行器件的安全性是机器人能够完成任务的前提。特别的对于人以及其他移动机器人等关键性障碍物需要格外注意以防止发生严重的安全事故。在现有的技术下，避障通常依靠激光雷达以及超声波雷达等传感器。然而激光雷达造价昂贵，超声波雷达更是无法检测到障碍物的大小具有很大的局限性。
[0003]相对于激光雷达、超声波等传感器视觉相机价格低廉，同时RGB
‑
D相机具有更加广阔的视界，可以获取空间范围内的信息，帮助机器人更好的感知周围的环境。同时，本专利选取的RGB
‑
D相机工作原理为主动结构光测距，能够在光线不佳的环境下获取高质量的深度图。但是，有车光照的动态变化以及车体的抖动，使得视觉障碍物检测误检率高，同时视觉障碍物检测容易受到外界环境影响误检测率高，且无法检测出较小的障碍物，无法保障机器人前行的安全性，所以需要提供一种基于RGB
‑
D相机的前置避障系统以确保机器人的安全运行。

技术实现思路

[0004]在现有的复杂工厂环境下，针对现有移动机器人未考虑空间障碍物与易受外界影响导致检测误检率高无法检测较小障碍物的问题，本专利技术实施提出了一种基于RGB
‑
D的前置避障系统。
[0005]本专利技术的目的是通过以下技术方案实现的：一种基于RGB
‑
D的前置避障系统，所述系统包括：生产者模块、标定模块、消费者模块、避障决策模块和运动控制模块；
[0006]所述生产者模块用于配置RGB
‑
D相机并获取到周围环境的深度图像以及RGB图像，并将深度图像预处理后输出给标定模块以及消费者模块；
[0007]所述标定模块用于利用预处理后的深度图像对地面以及相机安装角度进行标定，最后得到相机的安装角度以及深度背景图像；
[0008]所述消费者模块用于根据预处理后的深度图像以及RGB图像检测出当前环境中的障碍物并得到障碍物的三维坐标信息；具体包括普通障碍物检测子模块、优先障碍物检测子模块和验证子模块；所述普通障碍物检测子模块不区分障碍物的类型，对所有出现在视野内的障碍物进行检测；所述优先障碍物检测子模块用于通过神经网络对行人及其它移动机器人进行检测识别，所述验证子模块用于对普通障碍物检测子模块检测到的障碍物进行二次识别。
[0009]所述避障决策模块用于根据消费者模块的不同障碍物的三维坐标信息以及优先级选择合适的避障策略；
[0010]所述运动控制模块用于根据避障决策模块输出的避障策略控制机器人的移动实现避障。
[0011]进一步地，所述RGB
‑
D相机为Intel Realsense D435相机，相机安装在移动搬运机器人的顶部，相机倾斜角度保证相机视野范围内看不见机器人车体的任何部位。
[0012]进一步地，所述生产者模块对深度图像进行预处理的具体过程为：对原始深度图像进行两倍下采样处理，然后将深度帧转换到视差帧，并通过使用空间过滤和时间过滤后，再将视差帧转换到深度帧，最后得到处理后的深度图。
[0013]进一步地，所述的标定模块对相机安装角度信息进行标定，具体过程如下：
[0014]1)：使RGB
‑
D相机面对一块平整的地面，在生产者模块中获取到相机的深度信息；
[0015]2)：开始标定相机安装角度，定义深度相机坐标系的Z轴为相机正前方，X轴为相机右方，Y轴为相机下方；选取深度图像靠近车体部分区域的随机的三个像素值，利用坐标转换关系计算出三个像素点在深度相机坐标系下的三维坐标；
[0016]3)：以水平向下30度开始，相机安装角度θ以每次递增1度逐渐递增至90度结束。
[0017]4)：通过相机安装角度θ将像素点在深度相机坐标系下的三维坐标转换为水平深度相机下的三维坐标；相互比较三个像素点在水平深度坐标系下Y轴的绝对值，绝对值均在5mm以内，保存角度否则返回步骤2)，其中水平深度相机坐标系由深度相机坐标系绕坐标系原点旋转至Z轴与地面平行得到。
[0018]进一步地，所述的标定模块对地面进行标定，具体过程为：首先获取若干张预处理后的深度图像，对深度图中值超过阈值KMAX的像素点的值统一设置为KMAX,对深度图像中值为0的像素点会进行领域扫描填充像素值。计算像素点深度值的均值并保存为背景图像，将这些深度图像与背景图像进行比较得到每一个像素点的最大偏差，并将最大偏差保存为阈值文件。
[0019]进一步地，普通障碍物检测子模块的障碍物检测过程如下：
[0020]1)：获取连续三张深度图像，将背景图像与从生产者模块获取到的三张深度图像做差分得到差分图P1、P2、P3；
[0021]2)：将差分图P2的像素点的值与阈值Th
background1
比较，大于阈值阈值Th
background1
的设置为255，小于的设置为0，得到二值图B1；
[0022]3)：将差分图P1、P2、P3的像素点的值与阈值Th
background2
比较，只有三张差分图的结果均大于阈值Th
background2
的设置为255，其余的均设置为0，得到二值图B2；
[0023]4)：对B1、B2分别进行不同核大小的开操作，并在B1、B2上寻找寻找凸包；
[0024]5)：计算凸包的平均点P
m
，同时计算出P
m
和背景图像的相同位置在水平深度相机坐标系下的Y的坐标值，得到障碍物的高度，如果障碍物的高度大于高度阈值将凸包保留，反之将凸包移除；
[0025]6)：预先将空间按照与车体的距离(即水平深度相机坐标系的Z轴)划分为五个不同区域，不同区域内设置有不同的凸包面积阈值，对步骤5)剩余的凸包进行凸包面积的计算，将面积与凸包面积阈值比较，保留凸包面积比凸包面积阈值大的凸包，进行最小正接矩形框计算，并对重复的正接矩形框进行去除；
[0026]7)：计算出正接矩形框中的障碍物最小的水平深度相机坐标系下Z轴像素点的三维坐标。
[0027]8)：对于靠近地面的正接矩形框需要将最小正接矩形框映射到RGB中,并通过验证子模块进行二次校验，去除验证失败的矩形框；
[0028]9)：取所有剩余的最小正接矩形框输出的三维坐标中Z轴最小值并进行中值滤波加限幅滤波的组合滤波，并将滤波后的三维坐标转换到车体坐标系。
[0029]进一步地，阈值Th
ba本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D的前置避障系统，其特征在于，所述系统包括：生产者模块、标定模块、消费者模块、避障决策模块和运动控制模块；所述生产者模块用于配置RGB
‑
D相机并获取到周围环境的深度图像以及RGB图像，并将深度图像预处理后输出给标定模块以及消费者模块；所述标定模块用于利用预处理后的深度图像对地面以及相机安装角度进行标定，最后得到相机的安装角度以及深度背景图像；所述消费者模块用于根据预处理后的深度图像以及RGB图像检测出当前环境中的障碍物并得到障碍物的三维坐标信息；具体包括普通障碍物检测子模块、优先障碍物检测子模块和验证子模块；所述普通障碍物检测子模块不区分障碍物的类型，对所有出现在视野内的障碍物进行检测；所述优先障碍物检测子模块用于通过神经网络对行人及其它移动机器人进行检测识别，所述验证子模块用于对普通障碍物检测子模块检测到的障碍物进行二次识别；所述避障决策模块用于根据消费者模块的不同障碍物的三维坐标信息以及优先级选择合适的避障策略；所述运动控制模块用于根据避障决策模块输出的避障策略控制机器人的移动实现避障。2.根据权利要求1所述的一种基于RGB
‑
D的前置避障系统，其特征在于：所述RGB
‑
D相机为Intel Realsense D435相机，相机安装在移动搬运机器人的顶部，相机倾斜角度保证相机视野范围内看不见机器人车体的任何部位。3.根据权利要求1所述的一种基于RGB
‑
D的前置避障系统，其特征在于：所述生产者模块对深度图像进行预处理的具体过程为：对原始深度图像进行两倍下采样处理，然后将深度帧转换到视差帧，并通过使用空间过滤和时间过滤后，再将视差帧转换到深度帧，最后得到处理后的深度图。4.根据权利要求1所述的一种基于RGB
‑
D的实时避障系统，其特征在于：所述的标定模块对相机安装角度信息进行标定，具体过程如下：1)：使RGB
‑
D相机面对一块平整的地面，在生产者模块中获取到相机的深度信息；2)：开始标定相机安装角度，定义深度相机坐标系的Z轴为相机正前方，X轴为相机右方，Y轴为相机下方；选取深度图像靠近车体部分区域的随机的三个像素值，利用坐标转换关系计算出三个像素点在深度相机坐标系下的三维坐标；3)：以水平向下30度开始，相机安装角度θ以每次递增1度逐渐递增至90度结束。4)：通过相机安装角度θ将像素点在深度相机坐标系下的三维坐标转换为水平深度相机下的三维坐标；相互比较三个像素点在水平深度坐标系下Y轴的绝对值，绝对值均在5mm以内，保存角度否则返回步骤2)，其中水平深度相机坐标系由深度相机坐标系绕坐标系原点旋转至Z轴与地面平行得到。5.根据权利要求1所述的一种基于RGB
‑
D的实时避障系统，其特征在于：所述的标定模块对地面进行标定，具体过程为：首先获取若干张预处理后的深度图像，对深度图中值超过阈值KMAX的像素点的值统一设置为KMAX，对深度图像中值为0的像素点会进行领域扫描填充像素值。计算像素点深度值的均值并保存为背景图像，将这些深度图像与背景图像进行比较得到每一个像素点的最大偏差，并将最大偏差保存为阈值文件。
6.根据权利要求4所述一种基于RGB
‑
D的前置避障系统，其特征在于：普通障碍物检测子模块的障碍物检测过程如下：1)：获取连续三张深度图像，将背景图像与从生产者模块获取到的三张深度图像做差分得到差分图P1、P2、P3；2)：将差分图P2的像素点的值与阈值Th
background1
比较，大于阈值阈值Th
background1
的设置为255，小于的设置为0，得到二值图B1；3)：将差分图P1、P2、P3的像素点的值与阈值Th
background2
比较，只有三张...

【专利技术属性】
技术研发人员：钟深友，魏璇，施盛华，郭青天，王洁，
申请(专利权)人：浙江科钛机器人股份有限公司，
类型：发明
国别省市：