一种基于智能视觉的井下移动机器人避障方法技术

本发明专利技术一种基于智能视觉的井下移动机器人避障方法，包括如下步骤：步骤1，双目相机采集工作场景的图像信息，根据双目相机的标定参数对得到的双目图像进行畸变校正；步骤2，对双目图像进行立体匹配，计算双目视差图，并对双目视差图进行视差优化；步骤3，根据视差优化后的双目视差图计算工作场景的三维点云数据；步骤4，在二维图像感兴趣区域中，利用二维图像中像素对应的三维点云数据，根据预先设置的阈值，判断障碍物是否存在；步骤5，如果障碍物存在，则根据人工势场法进行避障路径规划，并移动机器人进行避障，否则移动机器人按照预先规划的路线继续行进。本发明专利技术提高了障碍物检测精度，使算法对光环境的适应性更强。

An obstacle avoidance method of underground mobile robot based on Intelligent Vision

【技术实现步骤摘要】
一种基于智能视觉的井下移动机器人避障方法
本专利技术属于移动机器人井下避障
，涉及一种基于智能视觉的井下移动机器人避障方法。
技术介绍
煤矿井下环境大多数都是非结构的，而且具有复杂性、多样性和随机性等特征，移动机器人需要具备较高的环境辨识、路径规划和避障能力，才能准确完成预期任务。当井下移动机器人面对完全未知或者部分未知的环境时，避障、越障是其完成任务的首要工作。目前大多数的井下移动机器人都是基于人工远程操控进行作业，智能性和移动性较差，不具备自主控制以及智能避障功能，遇到较为复杂的井下环境需依靠操作人员的经验进行判断，智能化程度较低。随着移动机器人系统研究，机器人测出行进过程中的障碍物，一种是采用主动发送探测信号，接收场景中物体反射的回波，通过测量发射信号和返回信号获取场景信息，如超声、激光等避障，只具备局部空间避障特点，在检测范围和检测距离上有较大局限性。另一种是采用双目立体视觉的方法进行避障，利用双目视差计算三维场景信息，然后进行障碍物检测。双目采集的图像易受井下复杂环境的影响，如阴影、亮光等，另外障碍物的检测精度取决于双目图像匹配的准确性，增加双目图像匹配的准确性使匹配算法的计算复杂度增加，耗时增加，影响障碍物检测的实时性。
技术实现思路
本专利技术的目的是提供一种基于智能视觉的井下移动机器人避障方法，提高了障碍物的检测精度，同时不额外增加算法的复杂度，使算法对光环境的适应性更强。本专利技术是通过以下技术方案来实现：一种基于智能视觉的井下移动机器人避障方法，包括如下步骤：步骤1，双目相机采集工作场景的图像信息，得到双目图像，根据双目相机的标定参数对双目图像进行畸变校正；步骤2，对畸变校正后的双目图像进行立体匹配，计算双目视差图，并对双目视差图进行视差优化；其中，立体匹配采用的立体匹配算法通过自适应窗口结合梯度代价函数实现；步骤3，根据视差优化后的双目视差图计算工作场景的三维点云数据；步骤4，在二维图像感兴趣区域中，利用二维图像中像素对应的三维点云数据，根据预先设置的阈值，判断障碍物是否存在；步骤5，如果障碍物存在，则根据人工势场法进行避障路径规划，并执行步骤6，否则执行步骤7；步骤6，移动机器人进行避障；步骤7，移动机器人按照预先规划的路线继续行进。优选的，步骤2中，立体匹配采用的立体匹配算法具体如下：定义图像梯度为图像沿x和y方向的一阶偏导数：其中，I为图像灰度，得到左右相机采集图像的图像梯度图：GL＝(GLx+GLy)、GR＝(GRx+GRy)，设左图中一点pl(x,y)对应右图的匹配点pr(x-d,y)，定义匹配代价函数如下：进一步的，步骤2中，具体方法如下：步骤21，得到畸变校正过后的双目图像之后，计算图像梯度在x方向和y方向幅值和相位；步骤22，利用快速超像素预分割方法得到相邻像素颜色空间之间的邻接矩阵，根据该邻接矩阵设计不同尺度的匹配窗口，适应不同的纹理密度；步骤23，得到不同区域的匹配窗口之后，将左图像素点作为参照源，根据匹配代价函数在右图中搜索对应点区域，得到双目视差图；步骤24，根据像素块区域设计局部视差直方图视差精化方法并采用左右一致性检测方法对双目视差图中误配点进行去除；步骤25，调用视差图去除白斑噪声算法、去除断层噪声算法和孔洞填充算法进一步去除双目视差图的噪声以及误配区域，最终得到视差优化后的双目视差图。优选的，步骤5中，所述人工势场法为改进人工势场法，具体如下：将移动机器人位置、目标点和障碍物位置归一化为点坐标到地图中，目标点对移动机器人产生引力，障碍物对移动机器人产生斥力，根据两者的合力规划移动机器人的行进路径；移动机器人势场函数表示为：U(X)＝Uatt(X)+Urep(X)移动机器人受到的合力为：F＝Fatt+Frep目标点引力势场函数为：Uatt(X)＝kd2(X,Xg)目标点产生的引力为：其中，k为引力势场中增益系数；障碍物斥力场函数为：障碍物产生的斥力为：其中，η为斥力势场中的增益系数；其中，U(X)为移动机器人势场函数，Uatt(X)为目标点引力势场，Urep(X)为障碍物斥力势场；F为移动机器人受到的合力，Fatt为目标点产生的引力，Frep为障碍物产生的斥力；X为移动机器人在地图中的位置，Xg为目标点在地图中的位置，Xo为障碍物在地图中的位置；D(X,Xg)为移动机器人与目标点之间距离的绝对值，d(X,Xo)为移动机器人与障碍物之间距离的绝对值。进一步的，步骤5中，具体方法如下：步骤51，计算障碍物相对移动机器人的距离和角度，判断当前时刻前方障碍物是否阻挡移动机器人运行，若不阻挡移动机器人运行，则继续按照当前路径前进，若阻碍移动机器人运动，则执行步骤52；步骤52，将移动机器人、障碍物、目标点归一化为点坐标到地图中；步骤53，由障碍物产生的斥力场和目标点的引力场计算移动机器人当前时刻受力情况；步骤54，根据障碍物分布情况以及移动机器人在各点的受力情况规划移动机器人行进路径。优选的，步骤6中，采用模糊控制避障策略进行避障。进一步的，采用模糊控制避障策略进行避障具体为：步骤61，将不同区域障碍物相对移动机器人的距离和当前时刻移动机器人的速度作为输入变量输入模糊控制系统；步骤62，构建障碍物相对移动机器人的距离和当前时刻移动机器人的速度的模糊控制隶属度函数，将输入变量障碍物相对移动机器人的距离和当前时刻移动机器人的速度进行模糊化，得到模糊控制变量；步骤63，设计模糊控制规则，输入模糊控制变量，利用模糊控制规则进行模糊推理得到移动机器人下一时刻运行速度和运行方向(转向角度)的模糊输出量；步骤64，对移动机器人下一时刻的运行速度和运行方向的模糊输出量去模糊化，即可得到移动机器人控制量，控制移动机器人进行避障操作。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术采用双目立体视觉的方法进行避障，对立体匹配算法进行改进，采用自适应窗口结合梯度代价函数的方法实现立体匹配，提高算法对光环境的抗干扰能力，并且在低纹理区也具有良好的匹配效果；通过立体匹配算法获得初始视差后，对初始视差进行视差优化，提高了匹配精度，提高了障碍物的检测精度，同时不额外增加算法的复杂度，使算法对光环境的适应性更强。进一步的，目前，检测到障碍物移动机器人通过避障控制策略躲避障碍物，常用的方法栅格法存在有环境分辨率与环境信息存储量大的矛盾，人工势法的主要弊端是移动机器人在到达目标点前由于陷入局部最小点，从而无法到达目标点。本专利技术通过改进人工势场函数，消除人工势场局部最小点问题。进一步的，采用模糊控制避障策略，提高移动机器人的避障系统性能。附图说明图1是井下移动机器人视觉避障系统框图；图2是井下移动机器人视觉避障过程框图；本文档来自技高网...

【技术保护点】
1.一种基于智能视觉的井下移动机器人避障方法，其特征在于，包括如下步骤：/n步骤1，双目相机采集工作场景的图像信息，得到双目图像，根据双目相机的标定参数对双目图像进行畸变校正；/n步骤2，对畸变校正后的双目图像进行立体匹配，计算双目视差图，并对双目视差图进行视差优化；其中，立体匹配采用的立体匹配算法通过自适应窗口结合梯度代价函数实现；/n步骤3，根据视差优化后的双目视差图计算工作场景的三维点云数据；/n步骤4，在二维图像感兴趣区域中，利用二维图像中像素对应的三维点云数据，根据预先设置的阈值，判断障碍物是否存在；/n步骤5，如果障碍物存在，则根据人工势场法进行避障路径规划，并执行步骤6，否则执行步骤7；/n步骤6，移动机器人进行避障；/n步骤7，移动机器人按照预先规划的路线继续行进。/n

【技术特征摘要】
1.一种基于智能视觉的井下移动机器人避障方法，其特征在于，包括如下步骤：
步骤1，双目相机采集工作场景的图像信息，得到双目图像，根据双目相机的标定参数对双目图像进行畸变校正；
步骤2，对畸变校正后的双目图像进行立体匹配，计算双目视差图，并对双目视差图进行视差优化；其中，立体匹配采用的立体匹配算法通过自适应窗口结合梯度代价函数实现；
步骤3，根据视差优化后的双目视差图计算工作场景的三维点云数据；
步骤4，在二维图像感兴趣区域中，利用二维图像中像素对应的三维点云数据，根据预先设置的阈值，判断障碍物是否存在；
步骤5，如果障碍物存在，则根据人工势场法进行避障路径规划，并执行步骤6，否则执行步骤7；
步骤6，移动机器人进行避障；
步骤7，移动机器人按照预先规划的路线继续行进。


2.根据权利要求1所示的基于智能视觉的井下移动机器人避障方法，其特征在于，步骤2中，立体匹配采用的立体匹配算法具体如下：
定义图像梯度为图像沿x和y方向的一阶偏导数：



其中，I为图像灰度，得到左右相机采集图像的图像梯度图：GL＝(GLx+GLy)、GR＝(GRx+GRy)，设左图中一点pl(x,y)对应右图的匹配点pr(x-d,y)，定义匹配代价函数如下：





3.根据权利要求2所示的基于智能视觉的井下移动机器人避障方法，其特征在于，步骤2中，具体方法如下：
步骤21，得到畸变校正过后的双目图像之后，计算图像梯度在x方向和y方向幅值和相位；
步骤22，利用快速超像素预分割方法得到相邻像素颜色空间之间的邻接矩阵，根据该邻接矩阵设计不同尺度的匹配窗口，适应不同的纹理密度；
步骤23，得到不同区域的匹配窗口之后，将左图像素点作为参照源，根据匹配代价函数在右图中搜索对应点区域，得到双目视差图；
步骤24，根据像素块区域设计局部视差直方图视差精化方法并采用左右一致性检测方法对双目视差图中误配点进行去除；
步骤25，调用视差图去除白斑噪声算法、去除断层噪声算法和孔洞填充算法进一步去除双目视差图的噪声以及误配区域，最终得到视差优化后的双目视差图。


4.根据权利要求1所示的基于智能视觉的井下移动机器人避障方法，其特征在于，步骤5中，所述人工势场法为改进人工势场法，具体如下：将移动机器人位置、目标点和障碍物位置归一化为点坐标到地图中，目标点对移动机器人产生引力，障碍物对移动机器人产生斥力，根据两者的合力规划移...

【专利技术属性】
技术研发人员：刘坤，彭继国，张波，
申请(专利权)人：青岛北斗天地科技有限公司，兖矿集团有限公司，
类型：发明
国别省市：山东;37