基于主动红外双目视觉的避障系统和避障方法技术方案

本发明专利技术涉及基于主动红外双目视觉的避障系统和避障方法，其中避障系统包括：视差图计算模块，用以计算双目图像的视差图；三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。本发明专利技术在计算视差图时，只考虑像素梯度比较大的点，计算半稠密点云，大大减少了计算量，保证了实时性。

【技术实现步骤摘要】
基于主动红外双目视觉的避障系统和避障方法
本专利技术涉及双目立体视觉的避障技术，具体涉及一种基于主动红外双目视觉的避障系统和避障方法。
技术介绍
目前，基于双目立体视觉的障碍物检测方法，基本是由两个摄像头同步获取立体图像对，再通过立体匹配算法，计算所有像素的视差，得到视差图，根据立体视觉的几何原理，得到稠密三维点云。该过程计算量大，实时性很难保证。同时，基于双目立体视觉的避障大都是基于三维点云的，地面移动机器人的避障基本没有对点云做地面分割处理，导致避障误报。另外，现有技术在某些环境或条件下(例如，弱纹理、黑暗环境等)，双目立体视觉得到的三维点云精度特别差，容易导致避障误报或漏报。
技术实现思路
针对现有技术的不足，本专利技术公开了基于主动红外双目视觉的避障系统和避障方法。本专利技术所采用的技术方案如下：一种基于主动红外双目视觉的避障系统，包括：视差图计算模块，用以计算双目图像的视差图；三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。其进一步的技术方案为，还包括双目校正模块；双目校正模块对双目图像进行去畸变和立体矫正操作，得到校正后的双目图像，传输至视差图计算模块。其进一步的技术方案为，所述滤波模块包括体素滤波模块和直通滤波模块。其进一步的技术方案为，所述地面检测模块包括初步地面点云计算模块和最终地面点云计算模块；所述初步地面点云计算模块排除三维点云中法线方向与重力方向之间的夹角超过设定阈值的三维点；所述最终地面点云计算模块将初步地面点云划分为多个点云簇，并根据最大点云簇的性质对所述多个点云簇滤波；所述最大点云簇和多个滤波后点云簇组合为最终地面点云。一种基于主动红外双目视觉的避障方法，包括：视差图计算，计算双目图像的视差图；三维点云生成，所述视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测；对滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。其进一步的技术方案为，还包括双目校正；在视差图计算步骤之前，对双目图像进行去畸变和立体矫正操作。其进一步的技术方案为，所述视差图的计算方法是：以第一目图像中的视差待计算点为基准选定第一图像块；在第二目图像中，计算与第一图像块相似度最大的图像块作为第二图像块；计算第一图像块和第二图像块的视差值得到视差图。其进一步的技术方案为，在所述三维点云障碍物检测步骤中，滤波步骤依次包括体素滤波和直通滤波。其进一步的技术方案为，在所述三维点云障碍物检测步骤中，地面点云的计算方法是：计算初步地面点云；计算三维点云中每个三维点的法线方向，将其与重力方向比较；当所述法线方向与所述重力方向的夹角小于设定阈值时保留该三维点，认为其是地面的一部分，大于设定阈值的则过滤掉，从而得到初步地面点云；计算最终地面点云；对初步地面点云进行欧拉聚类，将此平面点云划分为多个点云簇；选择最大的点云簇，计算其质心坐标和最大包围盒；根据质心坐标和最大包围盒对其他点云簇进行滤波，将滤波后的点云和最大点云簇组合起来作为最终地面点云。本专利技术的有益效果如下：在基于双目立体视觉的障碍物检测方法的领域内，相对于现有技术中将两张图像通过立体匹配算法计算所有像素的视差图，得到稠密点云的方法，本专利技术在计算视差图时，只考虑像素梯度比较大的点，计算半稠密点云，大大减少了计算量，保证实时性；现有技术在某些环境或条件下(例如，弱纹理、黑暗环境等)，双目立体视觉得到的三维点云精度特别差，容易导致避障误报或漏报；而本专利技术所采用的设备加了IR，在夜间或者纹理比较弱的地方，有主动红外光的辅助，计算的三维点云也会比较准确，使避障可以正常工作；基于双目立体视觉的避障大都是基于三维点云的，地面移动机器人的避障基本没有对点云做地面分割处理，容易导致避障误报；本专利技术对通过视差图得到的点云进行了后处理，分割了地面部分点云，降低了误报概率。附图说明图1是实施例3的系统架构图。图2为实施例5的方法流程图。具体实施方式以下结合附图说明本专利技术的具体实施方式。实施例1。实施例1为基于主动红外双目视觉的避障系统，具体包括：视差图计算模块，用以计算双目图像的视差图；三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。实施例2。实施例2在实施例1的基础上，增加了双目校正模块。双目校正模块对双目图像进行去畸变和立体矫正操作，得到校正后的双目图像，传输至视差图计算模块，之后进行实施例1中的步骤。实施例3。实施例3在实施例2的基础上，增加了硬件系统架构。图1是实施例3的系统架构图。如图1所示，系统架构包括摄像头和主控板。摄像头与主控板电学连接。可采用型号为Smart3399的主控板。拍摄双目图像的摄像头的水平视场角或者HFOV为120度，摄像头通过MIPI接口与主控板相连，通过软件同步输出同步双目图像。主控板系统为Ubuntu16.04LTS，并采用了ROS(RobotOperatingSystem)框架。主控板中的避障系统对双目图像进行处理。主控板中的避障系统包括双目校正模块、视差图计算模块、三维点云生成模块和障碍物检测模块。双目图像作为避障系统的输入数据。信号数据依次在双目校正模块、视差图计算模块、三维点云生成模块和障碍物检测模块中处理和传输。双目校正模块的输入数据是摄像头所拍摄的双目图像。双目校正模块对双目图像进行去畸变和立体矫正操作，得到校正后双目图像。双目校正模块所输出的校正后双目图像输入至视差图计算模块。视差图计算模块用以计算视差图。以第一目图像中的视差待计算点为基准选定第一图像块；在第二目图像中，计算与第一图像块相似度最大的图像块作为第二图像块；计算第一图像块和第二图像块的视差值得到视差图。之后视差图计算模块将视差图传输至三维点云生成模块。三维点云生成模块通过视差图遍历双目图像，得到三维点云。三维点云生成模块将三维点云传输至三维点云障碍物检测模块。三维点云障碍物检测模块在三维点云中计算地面点云。对三维点云滤波，得到滤波后点云。滤波后点云减去地面点云即得到障碍物点云。三维点云障碍物检测模块具体包括坐标转换模块、滤波模块和地面检测模块。坐标转换模块将单目相机的坐标系转换为机体坐标系。滤波模块包括体素滤波模块和直通滤波模块，分别依次对三维点云进行体素滤波和直通滤波。地面检测模块通过计算点云法线和本文档来自技高网...

【技术保护点】
1.一种基于主动红外双目视觉的避障系统，其特征在于包括：/n视差图计算模块，用以计算双目图像的视差图；/n三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；/n三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。/n

【技术特征摘要】
1.一种基于主动红外双目视觉的避障系统，其特征在于包括：
视差图计算模块，用以计算双目图像的视差图；
三维点云生成模块，所述视差图遍历所述双目图像，得到三维点云；
三维点云障碍物检测模块；所述三维点云障碍物检测模块包括滤波模块和地面检测模块；所述地面检测模块对经过所述滤波模块滤波后的三维点云计算地面点云；将滤波后的三维点云减去地面点云得到障碍物点云。


2.根据权利要求1所述的基于主动红外双目视觉的避障系统，其特征在于，还包括双目校正模块；双目校正模块对双目图像进行去畸变和立体矫正操作，得到校正后的双目图像，传输至视差图计算模块。


3.根据权利要求1所述的基于主动红外双目视觉的避障系统，其特征在于：所述滤波模块包括体素滤波模块和直通滤波模块。


4.根据权利要求1所述的基于主动红外双目视觉的避障系统，其特征在于：所述地面检测模块包括初步地面点云计算模块和最终地面点云计算模块；所述初步地面点云计算模块排除三维点云中法线方向与重力方向之间的夹角超过设定阈值的三维点；所述最终地面点云计算模块将初步地面点云划分为多个点云簇，并根据最大点云簇的性质对所述多个点云簇滤波；所述最大点云簇和多个滤波后点云簇组合为最终地面点云。


5.一种基于主动红外双目视觉的避障方法，其特征在于包括：
视差图计算，计算双目图像的视差图；
三维点云生成，所述视差图遍历所述双目图像，得到三维点云；

【专利技术属性】
技术研发人员：高洪臣，
申请(专利权)人：轻客智能科技江苏有限公司，
类型：发明
国别省市：江苏;32