一种用于室外道路辅助驾驶的目标距离快速估算方法技术

本发明专利技术提供一种用于室外道路辅助驾驶的目标距离快速估算方法，包括：通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准；对所述图像进行区域划分并计算匹配代价；通过ORB特征点检测方法进行特征点检测与匹配；获取特征点对所在图像横坐标信息和视差值，并根据特征点信息修正相应的匹配代价值；通过SegNet语义分割网络对相机左右目图像进行分割，并根据所述分割的结果的RGB信息建立最小生成树模型；通过WTA算法Winner‑Take‑All选取代价聚合的最小值所对应的估计偏移值d为该像素点的视差值。本发明专利技术在对室外场景物体距离进行预警的同时融入了语义信息。同时在图像预处理中加入平滑区域判断环节，减小了误匹配率。本发明专利技术基于语义分割图的最小生成树模型更精确。

A Fast Estimation Method of Target Distance for Outdoor Road Auxiliary Driving

【技术实现步骤摘要】
一种用于室外道路辅助驾驶的目标距离快速估算方法
本专利技术涉及无人车视觉导航定位
，具体而言，尤其涉及双目视觉深度估计
，是一种融合射影几何、最小生成树、ORB(OrientedFASTandRotatedBRIEF,ORB)特征匹配、语义分割、立体匹配等理论用于室外场景目标距离快速估计的方法。
技术介绍
双目立体匹配是计算机视觉中最重要的算法之一，它通过对人类视觉原理的模仿，为计算机提供了与人类相似的深度感知能力。经过多年的发展，双目立体视觉技术在增强现实(AugmentedReality,AR)、智能制造、3D场景重建、稠密建图、自主导航等多个领域取得了重要的应用增强。在无人驾驶领域中，日本汽车SUBALU公司经过多年的研发与试验，车载EyeSight驾驶辅助系统(ADAS)已经逐步完善。该辅助驾驶系统是由较激光雷达、毫米波雷达等成本低廉的立体相机集成，通过双目立体摄像头单体控制，实现车辆碰撞预警、车道检测、自适应巡航等多个功能，具有深远的市场影响力，同时也掀起了对双目立体视觉研究的新热潮。双目立体匹配是计算机视觉的关键问题。根据采用最优化理论方法的不同或匹配代价聚合范围的不同，双目立体匹配算法目前分为两大类：局部的立体匹配算法和全局的立体匹配算法。立体匹配问题是一种典型的标签分类问题，在一定的约束条件下，通过建立代价函数、代价聚合函数实现双目立体图像的最优匹配，最终获取精度较高的视差值或深度值。立体匹配中如何计算一个最优的代价聚合函数也成为近几年的热门研究话题，同时也是匹配精度的关键所在。立体匹配算法一般分为四个步骤：代价计算、代价聚合、视差计算和视差求精(细化)。在双目立体匹配过程中，匹配代价计算和代价聚合是最重要的两步，这两步处理算法的选择将直接影响最终的匹配效果。步骤一中，经常以颜色、灰度、纹理、梯度、距离、均方误差(Mean-SquaredError,MSE)、平均绝对值(Mean-AbsoluteDifference,MAD)、归一化交叉验证和像素熵等信息为相似性度量对图像中每个像素在所有可能的视差级别上中进行匹配代价计算，获取最初的视差空间图像(DisparitySpaceImage,DSI)。步骤二中，匹配聚合采用将匹配代价扩散到局部、半局部或全局的优化策略，优化匹配过程和减小误匹配概率。步骤三中，在可能的视差级别上采用“赢者通吃”(Winner-Take-All,WTA)的优化策略，对步骤三中的结果进行选择。步骤四，则是使用各种后处理技术(Post-Processing,PP)对视差图进行求精优化。全局匹配算法是利用迭代的思想将匹配代价扩散到整幅图像，具有较高的匹配精度，但当某像素点匹配代价计算错误或因光照等因素造成误差时，这种误差也会迭代到整个区域，对匹配结果带来干扰。而ORB特征匹配是一种实时快速匹配算法，本文结合ORB特征点信息提出了基于最小生成树理论的全局匹配方法。
技术实现思路
根据上述提出的技术问题，而提供一种用于室外道路辅助驾驶的目标距离快速估算方法，其特征在于，包括以下步骤：步骤S1：通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准；步骤S2：对所述图像进行区域划分并计算匹配代价；步骤S3：通过ORB特征点检测方法进行特征点检测与匹配；步骤S4：通过步骤S3获取ORB特征匹配成功的点对，获取特征点对所在图像横坐标信息和视差值，并根据特征点信息修正相应的匹配代价值；步骤S5：通过SegNet语义分割网络对相机左右目图像进行分割，并根据所述分割的结果的RGB信息建立最小生成树模型；步骤S6：通过WTA算法Winner-Take-All选取所述步骤S5中代价聚合的最小值所对应的估计偏移值d为该像素点的视差值；进一步地，所述通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准：首先通过张正友标定法采用标定板对相机进行标定，所述标定板为9×7网格大小为20mm的棋盘；标定时所述相机对着所述标定板，对相机做平移、旋转、尺度变换获取图像信息。更进一步地，所述对所述图像进行区域划分并计算匹配代价：以相机左目图像为例，imL(y,x,c)表示左目图像在坐标(y,x)处c通道的灰度值，对大小为(2m+1)×(2n+1)的相关窗口，预处理函数为：进一步地，同理相机右目图像按上式进行预处理，将经过矫正的右目图像平滑区域和特征区域分开，当某像素点的预处理函数值小于一定门限时，则判定该像素点特征信息少，属于平滑区域，然后通过颜色和梯度组合的方式对该像素点进行匹配代价计算；定义gradL(y,x)、gradR(y,x)为经过预处理左右目图像的横向梯度函数，则左右目图像像素匹配点的颜色代价和梯度代价分别为：costGradient＝|dgradL(y,x)-gradR(y,x)|(4)costVol(y,x,d)＝w0*costColor+w1*costGradient(5)其中，dimL(y,x,c)表示视差为d时的左目图像在坐标(y,x)处c通道的灰度值，dgradL(y,x)表示视差为d时的左目图像在坐标(y,x)处的梯度值，w0、w1表示颜色代价和梯度代价的权重值。进一步地，所述特征点检测与匹配流程的步骤包括：通过所述ORB特征点法分别对左右目图像进行特征点检测并通过计算二进制汉明距离作为匹配成功与否的判据，且成功匹配点的纵向距离小于2。更进一步地，定义LH表示左目图像特征点(Ly,Lx)的汉明距离，同理右目为RH，s表示左右目匹配的所有特征点数目，min()函数表示所有特征点汉明距离的最小值；则：进一步地，所述匹配代价修正流程的步骤包括：修正相应的匹配代价值～costVol(y,x,d)，即～costVol(y,x,d)＝λ*costVol(y,x,d)(λ<0.1)。(7)进一步地，所述语义分割与代价聚合流程的步骤包括：通过SegNet语义分割网络对左目图像进行分割，并根据分割结果的RGB信息建立最小生成树模型，其中节点为像素点坐标，边为相邻像素的RGB差的范数，即边权值更进一步地，通过最小生成树结构将每个像素点的匹配代价传播到整幅图像中，从叶子结点到根节点和从根节点到叶子结点两个方向计算最终的代价聚合值，同时利用第四步结果修正对应的代价聚合值，即进一步地，选取公式(9)的最小值所对应的d为该像素点的视差值，通过二项式差值方法，选取代价聚合值最小的三个值进行二次多项式拟合，选取二次多项式的对称轴横坐标作为最终的视差值；将步骤S1标定的相机内参其中b表示双目相机基线；fx表示x方向单位长度像素数，带入相机成像模型中，计算出世界坐标系下的距离Dist，即较现有技术相比，本专利技术具有以下优点：本专利技术在对室外场景物体距离进行预警的同时融入了语义信息。同时在图像预处理中加入平滑区域判断环节，减小了误匹配率。本专利技术基于语义分割图的最小生成树模型更精确。本专利技术加入ORB特征检测与匹配环节，修正匹配代价误差和代价聚合迭代误差。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以本文档来自技高网...

【技术保护点】
1.一种用于室外道路辅助驾驶的目标距离快速估算方法，其特征在于，包括以下步骤：S1：通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准；S2：对所述图像进行区域划分并计算匹配代价；S3：通过ORB特征点检测方法进行特征点检测与匹配；S4：通过步骤S3获取ORB特征匹配成功的点对，获取特征点对所在图像横坐标信息和视差值，并根据特征点信息修正相应的匹配代价值；S5：通过SegNet语义分割网络对相机左右目图像进行分割，并根据所述分割的结果的RGB信息建立最小生成树模型；S6：通过WTA算法Winner‑Take‑All选取所述步骤S5中代价聚合的最小值所对应的估计偏移值d为该像素点的视差值。

【技术特征摘要】
1.一种用于室外道路辅助驾驶的目标距离快速估算方法，其特征在于，包括以下步骤：S1：通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准；S2：对所述图像进行区域划分并计算匹配代价；S3：通过ORB特征点检测方法进行特征点检测与匹配；S4：通过步骤S3获取ORB特征匹配成功的点对，获取特征点对所在图像横坐标信息和视差值，并根据特征点信息修正相应的匹配代价值；S5：通过SegNet语义分割网络对相机左右目图像进行分割，并根据所述分割的结果的RGB信息建立最小生成树模型；S6：通过WTA算法Winner-Take-All选取所述步骤S5中代价聚合的最小值所对应的估计偏移值d为该像素点的视差值。2.根据权利要求1所述的一种用于室外道路辅助驾驶的目标距离快速估算方法，其特征还在于，所述通过张正友标定法对相机进行标定并对所述相机采集的图像进行校准：首先通过张正友标定法采用标定板对相机进行标定，所述标定板为9×7网格大小为20mm的棋盘；标定时所述相机对着所述标定板，对相机做平移、旋转、尺度变换获取图像信息。3.根据权利要求1所述的一种用于室外道路辅助驾驶的目标距离快速估算方法，其特征还在于，所述对所述图像进行区域划分并计算匹配代价：以相机左目图像为例，imL(y,x,c)表示左目图像在坐标(y,x)处c通道的灰度值，对大小为(2m+1)×(2n+1)的相关窗口，预处理函数为：同理相机右目图像按上式进行预处理，将经过矫正的右目图像平滑区域和特征区域分开，当某像素点的预处理函数值小于一定门限时，则判定该像素点特征信息少，属于平滑区域，然后通过颜色和梯度组合的方式对该像素点进行匹配代价计算；定义gradL(y,x)、gradR(y,x)为经过预处理左右目图像的横向梯度函数，则左右目图像像素匹配点的颜色代价和梯度代价分别为：costGradient＝|dgradL(y,x)-gradR(y,x)|(4)costVol(y,x,d)＝w0*costColor+w1*costGradie...

【专利技术属性】
技术研发人员：徐成龙，李珍珍，吴成东，马明宇，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21