【技术实现步骤摘要】
本申请涉及智能驾驶，尤其涉及一种基于单目相机的环境感知方法、系统、车辆及设备。
技术介绍
1、感知并理解快速动态变化的交通场景对于现代的自动驾驶系统是非常重要的。自动驾驶系统不仅需要在图像域检测到目标物体，而且要提供目标物体在世界坐标系下的三维(3d)位置信息，以防止和其他交通物体发生碰撞。目前交通场景的3d感知主要是以深度相机或双目相机为主，而单目相机主要感知目标物体在图像域的二维(2d)位置信息，或者融合惯导数据imu实现交通场景的3d感知。然而，深度相机和双目相机造价昂贵且感知结果不稳定；单目相机主要感知交通场景中目标物体的2d信息，或者融合惯导数据实现交通场景的3d感知，然而这种融合方式会造成融合程序代码复杂程度高且不易维护。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于单目相机的环境感知方法、系统、车辆及设备，具有成本低、感知稳定性高的优点，此外，简单易行，维护成本低。
2、第一方面，提供一种基于单目相机的环境感知方法，包括：
3、获取单目相机采集第一时刻的第一图像和第二时刻的第二图像；
4、分别对所述第一图像和所述第二图像进行特征提取，得到第一图像的第一特征图以及第二图像的第二特征图；
5、对齐所述第一特征图和第二特征图，得到所述第一特征图的投影特征图，并融合所述投影特征图和所述第二特征图，得到融合特征图；
6、根据所述融合特征图，得到旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果以
7、根据所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息得到目标的9d信息估计，其中，所述9d信息包括目标的长宽高、三维坐标、偏航角、横向速度以及纵向速度。
8、在一些示例中，所述分别对所述第一图像和所述第二图像进行特征提取，得到第一图像的第一特征图以及第二图像的第二特征图，包括：
9、将所述第一图像和所述第二图像输入卷积神经网络中，以利用所述卷积神经网络提取所述第一图像的第一特征图以及第二图像的第二特征图。
10、在一些示例中，所述对齐所述第一特征图和第二特征图，得到所述第一特征图的投影特征图，并融合所述投影特征图和所述第二特征图，得到融合特征图，包括：
11、将所述第一特征图投影到所述第二特征图中，以与所述第二特征图进行对齐；
12、在对齐后，获得所述第一特征图投影到所述第二特征图中的投影特征图；
13、将所述投影特征图和所述第二特征图进行融合操作，得到所述融合特征图。
14、在一些示例中，所述根据所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息得到目标的9d信息估计，包括：
15、获得所述车辆的自车运动估计；
16、根据所述车辆的自车运动估计、所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息，得到环境感知结果，其中，所述环境感知结果包括所述目标的9d信息估计。
17、在一些示例中，所述根据所述车辆的自车运动估计、所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息，得到环境感知结果，其中，所述环境感知结果包括所述目标的9d信息估计，包括：
18、基于所述车辆的自车运动估计、所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息，通过卡尔曼滤波算法实现对目标的跟踪，以得到所述目标的9d信息。
19、在一些示例中，所述第一时刻与所述第二时刻为相邻的单目相机的采集时刻。
20、第二方面，提供了一种基于单目相机的环境感知系统，包括：
21、获取模块，用于获取单目相机采集第一时刻的第一图像和第二时刻的第二图像；
22、提取模块，用于分别对所述第一图像和所述第二图像进行特征提取，得到第一图像的第一特征图以及第二图像的第二特征图；
23、融合模块，用于对齐所述第一特征图和第二特征图，得到所述第一特征图的投影特征图，并融合所述投影特征图和所述第二特征图，得到融合特征图；
24、感知模块，用于根据所述融合特征图，得到旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果以及目标的3d信息，并根据所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息得到目标的9d信息估计，其中，所述9d信息包括目标的长宽高、三维坐标、偏航角、横向速度以及纵向速度。
25、第三方面，提供了一种车辆，包括：根据上述的第二方面所述的基于单目相机的环境感知系统。
26、第四方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述第一方面以及第一方面任意一种可能的实现方式的基于单目相机的环境感知方法的步骤。
27、第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的基于单目相机的环境感知方法的步骤。
28、第六方面，提供一种计算机程序产品，其上存储有计算机程序，该程序被处理器执行时，实现上述第一方面以及第一方面任意一种可能的实现方式的基于单目相机的环境感知方法的步骤。
29、采用本申请的实施例，首先获取单目相机采集第一时刻的第一图像和第二时刻的第二图像，然后提取第一图像和第二图像的图像特征，得到第一图像的第一特征图以及第二图像的第二特征图，接着，对齐第一特征图和第二特征图，得到第一特征图的投影特征图，并融合投影特征图和第二特征图，得到融合特征图，最后，根据融合特征图，得到目标的9d信息估计，从而实现基于单目相机的环境感知，这样，仅利用单目相机便可以实现车辆对于交通场景的3d感知。相比于以深度相机或双目相机为主的感知方式，具有成本低的优点，且感知稳定性高，相比于以利用单目相机实现交通场景中目标的2d感知，或者融合惯导数据imu实现交通场景的3d感知导致的融合程序代码复杂并且维护不便的方式相比，具有简单易行，维护成本低的优点。
本文档来自技高网...【技术保护点】
1.一种基于单目相机的环境感知方法，其特征在于，包括：
2.根据权利要求1所述的基于单目相机的环境感知方法，其特征在于，所述分别对所述第一图像和所述第二图像进行特征提取，得到第一图像的第一特征图以及第二图像的第二特征图，包括：
3.根据权利要求1或2所述的基于单目相机的环境感知方法，其特征在于，所述对齐所述第一特征图和第二特征图，得到所述第一特征图的投影特征图，并融合所述投影特征图和所述第二特征图，得到融合特征图，包括：
4.根据权利要求1所述的基于单目相机的环境感知方法，其特征在于，所述根据所述旋转矩阵、平移向量、当前的可行驶区域、目标的2D检测结果、目标的3D信息得到目标的9D信息估计，包括：
5.根据权利要求4所述的基于单目相机的环境感知方法，其特征在于，所述根据所述车辆的自车运动估计、所述旋转矩阵、平移向量、当前的可行驶区域、目标的2D检测结果、目标的3D信息，得到环境感知结果，其中，所述环境感知结果包括所述目标的9D信息估计，包括：
6.根据权利要求1所述的基于单目相机的环境感知方法，其特征在于，所述第一时刻与
7.一种基于单目相机的环境感知系统，其特征在于，包括：
8.一种车辆，其特征在于，包括：根据权利要求7所述的基于单目相机的环境感知系统。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-6任一项所述的基于单目相机的环境感知方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-6任一项所述的基于单目相机的环境感知方法。
...【技术特征摘要】
1.一种基于单目相机的环境感知方法，其特征在于，包括：
2.根据权利要求1所述的基于单目相机的环境感知方法，其特征在于，所述分别对所述第一图像和所述第二图像进行特征提取，得到第一图像的第一特征图以及第二图像的第二特征图，包括：
3.根据权利要求1或2所述的基于单目相机的环境感知方法，其特征在于，所述对齐所述第一特征图和第二特征图，得到所述第一特征图的投影特征图，并融合所述投影特征图和所述第二特征图，得到融合特征图，包括：
4.根据权利要求1所述的基于单目相机的环境感知方法，其特征在于，所述根据所述旋转矩阵、平移向量、当前的可行驶区域、目标的2d检测结果、目标的3d信息得到目标的9d信息估计，包括：
5.根据权利要求4所述的基于单目相机的环境感知方法，其特征在于，所述根据所述车辆的自车运动估计、所述旋转矩阵、平移向量、当前...
【专利技术属性】
技术研发人员：彭海娟，关梅茹，刘梦迪，曹坤，张东好，田山，
申请(专利权)人：安徽深向科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。