用于低清晰度视频流中的路面识别的装置和方法制造方法及图纸

根据本发明专利技术，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。

【技术实现步骤摘要】
用于低清晰度视频流中的路面识别的装置和方法
本专利技术涉及一种用于低清晰度视频流中的路面识别的装置和方法，可以用于低清晰度视频流特别是野外环境下的路面识别，并且改进了V/U视差图线段拟合的精确度。
技术介绍
无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。基于摄像头信息的路面检测通常利用简单二维图像数据(包括颜色、轮廓等信息)进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很难单纯从颜色或者轮廓分割出路面。在立体视觉系统中除了可以运用到上述的方法进行路面检测，特别是对于野外路面的检测，更多的是利用三维数据(视差图、点云图等)，目前的方法大体可分为主平面分析法、区域生长法以及直方图分析法。主平面分析法只适用于行驶环境为单一平坦路面的情况。区域生长法需要整体三维重建，不适合实时检测。直方图分析法即V视差(Vertical-disparity)法，常被用为检测路面并可检测出路面上的障碍物。在2002年由RaphaelLabayrade发表的题为《RealTime0bstacleDetectioninStereovisiononnon-flatRoadGeometrythroughV-disparityRepresentation》论文中提出了V视差算法；根据该理论，随后2005年ZhenchengHu等人发表的《ACompleteU-V-DisparityStudyforStereoVisionBased3DDrivingEnvironmentAnalysis》提到了U视差算法。这两种算法结合可以用于检测周边环境识别上存在的障碍物以及路面情况。算法的应用实现需要生成一副V视差图和一副U视差图。V视差图生成准则如下：世界坐标系中的点P(x，y，z)T在双目摄像头系统中的左图像坐标系中的投影坐标为(ul，cl)，在右图像坐标系中的投影坐标为(ur，vr)。计算左图所有像素相对右图关联点的水平视差ΔP＝u1-ur，并以每个像素点的视差作为该点对应的新灰度值，可得到视差图像(u1，V1，ΔP)。然后累加视差图像每一行上具有相同水平视差的像素个数countp，并以(ΔP，cl)为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了一幅宽度是最大视差值、高度和原图像一致的新图像叫V视差图。而U视差生成准则为：累加视差图像每一列上具有相同水平视差的像素个数countp，并以(ul，ΔP)为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了一幅高度是最大视差值、宽度和原图像一致的新图像。该算法的原理是把四周环境分割成水平平面、垂直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可以近似表示为垂直平面；倾斜平面，如斜坡、凹地等，可以近似为倾斜平面；车体所在大地平面被近似为水平平面。如果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段平坦，则表现为折线。在得到路面映射线段(或折线)后，就知道了视差图中每一行属于路面的视差值。而在U视差图中障碍物在图中表现为线段，当障碍物倾斜角足够小时，线段的长短代表障碍物的横向尺寸，线段越靠下方表明障碍物距离越近，线段的纵坐标位置表明障碍物在视场范围中的左右位置。但是传统V/U视差算法在实际应用时存在一定的局限性。首先当车行驶于较差路况特别是野外环境时，车体颠簸造成摄像头本身有不容忽视的转动角度，这就造成了合成的视差图存在大量错误点，并且V/U视差图比平稳路况时的备选映射线段要粗。如果此时选择的车载摄像头性能较差采集的视频流像素较低，这更会导致无法获得较精细的V/U视差图，导致无法准确检测路面范围。而且驾驶辅助系统需要实时处理，一般因为系统性能无法在实时的前提下得到稠密视差图。另一方面在传统V/U视差算法中采用哈夫(Hough)变换等直线拟合方法来拟合路面映射线段和障碍物映射线段，但是这些方法本身就对噪音非常敏感，不能很好的处理备选映射线段较粗的U/V视差图。第三，在V视差图中一些形状较小或纹理较少的障碍物很有可能被误认为路面映射线段或者噪音。
技术实现思路
为了克服现有技术的问题，提出了本专利技术。本专利技术的目的是提出一种用于低清晰度视频流中的路面识别的装置和方法，可以用于低清晰度视频流特别是野外环境下的路而识别，并且改进了V/U视差图线段拟合的精确度。根据本专利技术，提出了一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。优选地，所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。优选地，利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范围。优选地，根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以及当前路面是否为可行路面进行判断。优选地，所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。优选地，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度在最远端路面位置处的图像中相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。根据本专利技术，提出了一种用于低清晰度视频流中的路面识别的方法，包括：利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及将所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟本文档来自技高网...

【技术保护点】
一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。

【技术特征摘要】
1.一种用于低清晰度视频流中的路面识别的装置，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及路面或障碍物区域检测装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图并根据V视差图生成准则将各个子视差图转化为各个子V视差图，并且根据U视差图生成准则将所述视差图转化为U视差图，对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，在各子V视差图拟合出路面加障碍物映射线段，并根据拟合出的路面加障碍物映射线段得到路面加障碍物区域的范围，在U视差图拟合出障碍物映射线段，并根据拟合出的障碍物映射线段得到障碍物区域的范围。2.根据权利要求1所述的装置，其中，所述自适应哈夫变换通过预处理方式去除噪声，并采用哈夫空间拟合得到拟合线段参数，然后根据拟合线段参数对含有相同参数的线段进行特征聚类，并输出聚类后的线段群数据，从而消除低清晰度视频流产生的中间数据子V视差图或U视差图噪音。3.根据权利要求1所述的装置，其中，利用所得到的路面加障碍物区域的范围和障碍物区域的范围，得到纯路面区域的范围。4.根据权利要求3所述的装置，其中，根据所得到的纯路面区域的范围，结合采集的所述双目摄像头系统的摄像头相关参数、以及车体数据采集装置采集的车体数据，对当前路面是否为坑型路面或者坡型路面、以及当前路面是否为可行路面进行判断。5.根据权利要求4所述的装置，其中，所述车体数据包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度。6....

【专利技术属性】
技术研发人员：戴依若，王文佳，川股幸博，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP