基于图像和点云数据的路面障碍物检测方法技术

本发明专利技术涉及路面障碍物检测技术领域，特别公开了一种基于图像和点云数据的路面障碍物检测方法。本发明专利技术通过重建物体三维结构，来弥补二维图像不具备三维空间坐标信息的缺点，然后对具有三维结构信息的特征表示进行学习，预测该物体是否属于障碍物。本发明专利技术基于图像和点云数据进行路面障碍物检测，可以尽可能的还原物体在实际场景下的大小、结构、外观等信息，弥补了二维图像只有平面信息的缺点，可以更加真实的表示物体的信息，从而提升模型预测的性能。能。能。

【技术实现步骤摘要】
基于图像和点云数据的路面障碍物检测方法


[0001]本专利技术涉及路面障碍物检测
，特别涉及一种基于图像和点云数据的路面障碍物检测方法。

技术介绍

[0002]近年来，随着人工智能技术的发展，出现了智慧城市，智慧交通等方面的应用。尤其在智慧交通方面，产生了大量的工业应用，目前已投入使用的包括智慧公交，智慧停车，高速无感收费，智能红绿灯等。除此之外，在智慧交通方面的研究热点还包括无人驾驶，机器人驾驶等方向。然而由于实际中，路况非常复杂，阻碍智慧驾驶研究投入生产应用的因素较多，使得研究进程受到了牵制，其中路面障碍物就是因素之一。因此，实现智能检测路面障碍物技术是推动无人驾驶研究发展的关键。
[0003]现存的路面障碍物检测研究中，研究数据大多基于摄像机拍摄的图像，而基于摄像机拍摄的图像存在的主要问题是拍摄的图像为二维数据，而路障检测中更关心目标的三维空间信息。因此基于二维图像的研究方法中，对障碍物的识别能力较差，性能鲁棒性低；除此之外，也有利用结构光视觉传感器检测障碍物的研究，但该方法受设备的局限性较大，难以推广使用。因此现有路面障碍物检测研究存在性能差以及难以推广的问题。

技术实现思路

[0004]本专利技术为了弥补现有技术的不足，提供了一种数据获取便利、人工及设备成本低的基于图像和点云数据的路面障碍物检测方法。
[0005]本专利技术是通过如下技术方案实现的：一种基于图像和点云数据的路面障碍物检测方法，包括如下步骤：（1）获取路面物体图像数据；（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后对不同图像的特征点进行匹配；通过对极几何的原理，计算得到本质矩阵，对基本矩阵和本质矩阵做分解，得到旋转矩阵R和平移矩阵T，通过三角测量，BA光束法平差优化处理后得到稀疏点云数据；（3）在稀疏点云数据的基础上增量式增加点云数据，使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递推关系推导出第i张相对于第1张的位置关系，从而获得第i+1张和第1张的位置关系，然后将其加入到稀疏点云数据中，重复操作多次即可获得物体的稠密点云数据；（4）利用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示；（5）将得到的物体特征表示经过非线性函数变化，将其投影到目标空间中，获得相应类别的概率，识别是否为障碍物。
[0006]本专利技术通过重建物体三维结构，来弥补二维图像不具备三维空间坐标信息的缺点，然后对具有三维结构信息的特征表示进行学习，预测该物体是否属于障碍物。
[0007]首先介绍点云数据，点云数据可以分为两大类，一类是稀疏点云，另一类是稠密点云，两类数据的相同点是都具备物体的三维坐标信息，不同点在于稀疏点云数据中点与点之间的距离较大，稠密点云中点与点之间的距离较小。这样稀疏点云数据就会出现无法准确描述物体三维信息的问题，尤其在小物体上，而稠密点云数据直接获取的成本较高，不利于获取大规模数据。为此，本专利技术的第一项工作即为基于多视角图像重建稀疏点云数据；第二项工作即基于稀疏点云重建获得稠密点云数据。在获取稠密点云数据之后，建模三维语义信息，最后本专利技术采用三维卷积神经网络对三维语义信息进行表示学习，并对获得的特征表示进行分类，判别该物体是否为障碍物。
[0008]进一步优选的，步骤（1）中，使用摄像设备多视角拍摄图像，包括正常使用的路面，即路上无障碍物、无破损，以及非正常路面，根据图像内容进行类别标注，分为障碍物和非障碍物两类，其中非正常路面包括路面有坑洼、石头、井盖破损等常见路障。
[0009]进一步优选的，步骤（2）中，利用struct from motion（SFM）方法重建三维数据。其原理是通过相机的移动来确定目标物体的空间和几何关系。其优点是，由于其输入数据只需要是普通的RGB图像即可，因此该方法具有成本低廉的优点，此外该方法受约束少，可以适应于不同光线下的数据。其具体过程分为以下几步：特征点的提取与匹配，使用SIFT特征点提取算法获得特征点，然后对不同图像获得的特征点进行匹配，先将特征点转成一个n维向量的描述子，利用距离度量公示进行匹配；通过对极几何的原理，计算得到本质矩阵。对极几何通过相机光心和被摄点三点共面的几何意义给出了由像素坐标推算出两个相机间旋转和平移矩阵的方法，从而获得本质矩阵（fundamental Matrix），本质矩阵包含了平移向量和旋转矩阵；对基础矩阵和本质矩阵做分解，使用recoverPose函数恢复获得相机外参，即旋转矩阵R和平移矩阵T；通过三角测量，计算出相应的投影矩阵P，在调用triangulatePoints函数计算出空间点，获取匹配点的信息，获得稀疏点云数据。
[0010]重建稠密点云数据：通过上一步骤重建了物体的稀疏点云数据，但正如之前所述，稀疏点云数据的特点是点与点之间的距离较大，因此很难清楚地构建出完整的物体结构，为此必须进一步重建稠密点云数据。而要想重建稠密点云数据，应当具有一张目标物体准确的深度图，即每个像素点表示的是深度信息而不是颜色信息。获取深度图的方法很多，但它们以来专门的传感器设备，普通的收集、摄像机等无法获得深度图。
[0011]而本专利技术基于的原始数据是普通的RGB图像，为此本专利技术采用多视角多图重建点云的方式来获得相对稠密的点云信息。即在第一次获得稀疏点云数据的基础上增量式添加新的点云数据，最后完成稠密点云数据的重建工作。
[0012]增量式添加有两种方式，其一是以第一次获得点云的初始图像为基点，后续图像都以初始图像为基准进行添加。但由于构建稠密点云用到的视角较多，不可避免会发生某视角下无法以初始图像作为参照的情况。为此，本专利技术采用第二种方式，即以相邻相机图像匹配，如上所述获得第i+1张和第1张的位置关系，将其加入到点云数据中，重复上述操作多次即可获得物体的稠密点云数据。
[0013]物体特征表示学习：经过上述步骤，本专利技术获得了物体的三维信息数据，接下来采
用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示。
[0014]分类：本专利技术将目标物体分为两类，即知区分物体是否为障碍物，而不进行具体物体识别。
[0015]进一步优选的，步骤（5）中，经过卷积神经网络，模型获得物体高层次表示，对该高层次表示进行非线性处理，并将其投影到目标空间中，目标空间为2，第一维表示非障碍物，第二维表示障碍物，经过softmax函数，获得在目标空间上的相应类别的概率，实现最终区分障碍物和非障碍物的分类任务。
[0016]与现有技术相比，本专利技术的有益效果是：本专利技术基于图像和点云数据进行路面障碍物检测，对比之前方法，该方法通过对图像进行三维重建，获得了目标物体的三维信息数据，这样可以尽可能的还原物体在实际场景下的大小、结构、外观等信息，弥补了二维图像只有平面信息的缺点，可以更加真实的表示物体的信息，从而提升模型预测的性能。
[0017]此外，本专利技术基于普通RGB图像进行三维重建，这样的好处包括：获取原始数据方便，由于只需要普通RGB图像，不需要利用专用设备进行拍摄，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像和点云数据的路面障碍物检测方法，其特征为，包括如下步骤：（1）获取路面物体图像数据；（2）利用SFM方法重建三维数据，对数据特征点进行提取和匹配，然后对不同图像的特征点进行匹配；通过对极几何的原理，计算得到本质矩阵，对基本矩阵和本质矩阵做分解，得到旋转矩阵R和平移矩阵T，通过三角测量，BA光束法平差优化处理后得到稀疏点云数据；（3）在稀疏点云数据的基础上增量式增加点云数据，使用相邻相机图像匹配，在获得第i张和第i+1张图像的相对位置数据后，由递推关系推导出第i张相对于第1张的位置关系，从而获得第i+1张和第1张的位置关系，然后将其加入到稀疏点云数据中，重复操作多次即可获得物体的稠密点云数据；（4）利用三维卷积神经网络对物体特征进行表示学习，获得物体的特征表示；（5）将得到的物体特征表示经过非线性函数变化，将其投影到目标空间中，获得相应类别的概率，识别是否为障碍物。2.如权利要求1所述的基于图像和点云数据的路面障碍物检测方法，其特征在于：步骤（1）中，使用摄像设备...

【专利技术属性】
技术研发人员：高文飞，王辉，王磊，
申请(专利权)人：山东融瓴科技集团有限公司，
类型：发明
国别省市：