一种目标车辆位置和朝向的检测方法、系统及存储介质技术方案

本发明专利技术提供一种目标车辆位置和朝向的检测方法，包括步骤：步骤S10，通过车载摄像头采集本车的前视图像；步骤S11，对车载摄像头所采集的前视图像进行预处理；步骤S12，根据车载的惯性测量设备对所述前视图像进行图像运动补偿；步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置转换为俯视图；步骤S14，将俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。本发明专利技术还提供了相应系统及存储介质。实施本发明专利技术，可以大大提高基于视觉的目标车辆的距离以及朝向检测的精度。离以及朝向检测的精度。离以及朝向检测的精度。

【技术实现步骤摘要】
一种目标车辆位置和朝向的检测方法、系统及存储介质


[0001]本专利技术涉及智能驾驶
，特别是涉及一种目标车辆位置和朝向的检测方法、系统及存储介质。

技术介绍

[0002]在汽车的智能驾驶中，需要根据驾驶环境来对前后的目标的距离进行检测。目前基于视觉的目标检测主要方法为：在前视图中根据CNN卷积神经网络(YOLO、SSD或者Faster-rcnn等)获取车辆目标在图像中的二维矩形框(bounding box)。其大致的方法流程如图1所示，其步骤包括：首先对输入的前视图像进行resize等预处理操作；接着对预处理后的前视图进行神经网络推理，以得到所有目标车辆可能的二维矩形框(bounding box)；然后在后处理阶段，针对每一个车辆目标过滤掉所有重复的二维矩形框；最后将二维矩形框的下边界作为车辆目标在图像中的接地点坐标，并转换到车辆坐标系中以输出相应的位置距离。
[0003]但是现有的这种处理方法还存在一些不足之处：
[0004]其一，车辆目标位置距离测算不准确，误差较大。在前视图中，车辆目标二维矩形框的下边界往往并不是车辆的接地点位置，这样就造成了检测得到的目标车辆位置距离相对于真实值有较大的误差，且目标车辆距离本车越远，测量得到的距离值误差越大。
[0005]其二，无法有效检测目标车辆的姿态朝向。在前视图中往往只能检测得到车辆目标的宽度和高度方向这两维的尺寸，很难检测获得目标车辆的姿态朝向。
[0006]故现有的这种基于前视图的车辆目标检测，存在不易测得其运动姿态，并且位置距离误差较大的缺点。

技术实现思路

[0007]本专利技术所要解决的技术问题在于，提供一种目标车辆位置和朝向的检测方法、系统及存储介质，可以提高目标车辆的位置距离检测的精度，以及能检测获得目标车辆的姿态朝向。
[0008]作为本专利技术的一方面，提供一种目标车辆位置和朝向的检测方法，其包括如下步骤：
[0009]步骤S10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个其他车辆的图像；
[0010]步骤S11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
[0011]步骤S12，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
[0012]步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
[0013]步骤S14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
[0014]其中，所述步骤S12包括：
[0015]步骤S120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
[0016]步骤S121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
[0017][0018]其中，R
11
、R
12
、R
21
、R
22
为坐标旋转参数，tx、ty为坐标平移参数；上述参数系通过预先计算或标定获得；
[0019]步骤S121，利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
[0020][0021]其中，(u,v)为补偿前的前视图像中各位置的坐标，(u
’
,v
’
)为经过补偿后的前视图像中各位置的坐标。
[0022]其中，所述步骤S13具体为：
[0023]利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
[0024][0025][0026]其中，(u
’
,v
’
)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵，其通过预先计算或标定获得。
[0027]其中，所述步骤S14进一步包括：
[0028]步骤S140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；
[0029]步骤S141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
[0030]步骤S142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
[0031][0032]其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
[0033]为摄像头内部参数矩阵，为转换矩阵，上述两个矩阵系通过预先计算或标定获得。
[0034]相应地，作为本专利技术的另一方面，一种目标车辆位置和朝向的检测系统，其包括：
[0035]图像采集单元，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
[0036]预处理单元，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
[0037]运动补偿单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
[0038]逆透视变换单元，用于根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
[0039]位置及朝向获得单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
[0040]其中，所述运动补偿单元包括：
[0041]姿态信息获得单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
[0042]补偿参数矩阵获得单元，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
[0043][0044]其中，R
11
、R
12
、R
21
、R
22
为坐标旋转参数，tx、ty为坐标平移参数；
[0045]补偿计算单元，用于利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
[0046][0047]其中，(u,v)为补偿前的前视图像中各位置的坐标，(u
’
,v
’...

【技术保护点】

【技术特征摘要】
1.一种目标车辆位置和朝向的检测方法，其特征在于，包括如下步骤：步骤S10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个其他车辆的图像；步骤S11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；步骤S12，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图转换为俯视图；步骤S14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。2.如权利要求1所述的方法，其特征在于，所述步骤S12包括：步骤S120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；步骤S121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：其中，R
11
、R
12
、R
21
、R
22
为坐标旋转参数，t
x
、t
y
为坐标平移参数；步骤S121，利用所述摄像头运动补偿参数矩阵采用下述公式对所述前视图像进行图像运动补偿：其中，(u,v)为补偿前的前视图像中各位置的坐标，(u
’
,v
’
)为经过补偿后的前视图像中各位置的坐标。3.如权利要求2所述的方法，其特征在于，所述步骤S13具体为：利用单应性变换矩阵采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：其中，(u
’
,v
’
)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵。4.如权利要求3所述的方法，其特征在于，所述步骤S14进一步包括：步骤S140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的
二维矩形框的中心点坐标(b
x
,b
y
)、矩形框的宽度b
w
、高度b
h
以及目标车辆在俯视图中相对于本车的姿态朝向夹角b
o
；步骤S141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；步骤S142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；为摄像头内部参数矩阵，为转换矩阵。5.一种目标车辆位置和朝向的检测系统，其特征在于，包括：图像采集单元，用于通过车载摄像头采集本车的...

【专利技术属性】
技术研发人员：刘前飞，刘康，张三林，蔡璐珑，
申请(专利权)人：广州汽车集团股份有限公司，
类型：发明
国别省市：