本发明专利技术提供了一种基于道路标识线的车载相机外参动态补偿方法及装置，所述方法包括：采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息得到当前帧语义分割图和上一帧语义分割图；提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算当前帧相对位姿；将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。本发明专利技术的方法可以解决现有外参补偿方式中存在的无法补偿相机外参翻滚角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
【技术实现步骤摘要】
本专利技术自动驾驶领域，涉及车载相机外参补偿技术，具体涉及一种基于道路标识线的车载相机外参动态补偿方法及装置。
技术介绍
1、当前自动驾驶领域内，通常使用车载相机的视觉方式感知自车周围的车辆、行人、障碍物等信息，其中各目标与自车之间的距离信息最为重要。车辆在行使是过程中由于自车颠簸、道路变换等，使得车载相机的外参会在小范围波动，进而影响相关目标的测距精度，因此需要对车载相机的外参进行补偿，以有效提高感知信息的准确度。
2、目前，车载相机的外参补偿有以下三种方式：
3、1、基于平行车道线交点的动态外参补偿，是通过计算平行车道线交点，以交点为消失点的性质计算求解姿态角。这种方式依赖行驶过程中的平行车道线的提取，因此当行驶到路口等无车道线场景或处于弯道场景时，则无法对车载相机进行实时有效的外参补偿；在有平行车道线时只能对相机的pitch(俯仰)角、yaw(航向)角进行补偿；再者，对于其他外参，则需要引入车道宽度等先验假设才能计算补偿，这些假设会引入额外误差。
4、2、基于光流特征点的相机动态外参补偿，是通过计算前后两帧图像中的角点、特征描述子，然后对前后帧特征点进行匹配筛选，得到图像光流后计算当前时刻的摄像头位姿。这种方式需要计算、查找、匹配复杂图像中的特征点，对硬件的算力要求较高，且计算过程比较耗时；行驶过程中图像中如果存在未知运行状态的行人、车辆上的光流点时，则难以精确估计当前摄像头位姿；再者，采用前后帧匹配的方式，在经过一段时间后会积累一定的相机位姿误差，使得到的相机姿态绝对量偏差不断变大。</p>5、3、基于imu惯导的动态外参补偿，是通过安装车载imu传感器实时输出自车位姿，使用实时车载位姿对车载相机外参进行动态补偿。这种方式需引入额外的惯导传感器，增加了adas系统成本；并且车载imu传感器与相机的采样频率不一致，还需要引入多传感器时间同步等额外算法模型，处理难度比较大且难以真正实现实时同步。另外imu传感器、车、相机之间并不严格满足“刚体连接”假设，安装位置不理想或剧烈抖动下，imu传感器输出数值与相机实际外参变化偏差较大。
6、上述三种机载相机外参补偿方式都有各自的局限性，总的来说，基于车道线交点的补偿方式无法补偿相机外参roll(翻滚)角，基于光流特征点的补偿方式难以消除长时间的累积误差，基于imu惯导的补偿方式会增加额外设备成本。
技术实现思路
1、为了解决现有技术中三种机载相机外参补偿方式存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题，本专利技术公开了一种基于道路标识线的车载相机外参动态补偿方法及装置。
2、实现专利技术目的的技术方案如下：
3、本专利技术实施例提供了一种基于道路标识线的车载相机外参动态补偿方法，包括：
4、s100、通过机载相机采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
5、s200、提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
6、s300、判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
7、s400、将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿，其中，所述当前帧相对位姿、所述当前帧绝对位姿和所述上一帧绝对位姿均包括俯仰角、航向角和翻滚角。
8、在一个改进的实施例中，上述基于道路标识线的车载相机外参动态补偿方法，还包括：
9、s500、判断当前帧的道路图像中是否存在车道线；
10、s600、若判断存在车道线，依据当前帧语义分割图计算当前帧车道线位置，并计算当前帧车道线位置与初始帧车道线位置之间的偏差；
11、s700、当判断偏差小于阈值时，将当前帧绝对位姿初始化为初始帧相对位姿，其中，所述初始帧相对位姿包括机载相机内参、外参和安装位置，所述外参包括俯仰角、航向角和翻滚角。
12、本专利技术实施例还提供了一种基于道路标识线的车载相机外参动态补偿装置，包括：
13、机载相机，用于采集当前帧和上一帧的道路图像；
14、训练后的语义分割模块，用于提取当前帧和上一帧的道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
15、标识线顶点提取模块，用于识别当前帧语义分割图和上一帧语义分割图中每个道路标识线的标识线顶点；
16、标识线顶点对匹配模块，用于提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
17、当前帧相对位姿计算模块，用于判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
18、当前帧绝对位姿计算模块，用于将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。
19、在一个改进的实施例中，上述基于道路标识线的车载相机外参动态补偿装置，还包括：
20、车道线检测模块，用于检测判断当前帧的道路图像中是否存在车道线；
21、其中，上述当前帧绝对位姿计算模块还用于在判断若存在车道线时，依据当前帧语义分割图计算当前帧车道线位置，计算当前帧车道线位置与初始帧车道线位置之间的偏差；当偏差小于阈值时将当前帧绝对位姿初始化为初始帧相对位姿。
22、本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于道路标识线的车载相机外参动态补偿方法，以解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
23、本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于道路标识线的车载相机外参动态补偿方法的计算机程序，以解决解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
24、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本专利技术提供的基于道路标识线的车载相机外参动态补偿方法相，比于现有的车道线标定、光流标定或imu惯导，适用范围更广泛；相较于车道线标定，采用了地面标识线在行驶场景中更为常见的特征，可以实现对外参中roll翻滚角的标定。
25、同时，相对于光流法通过计算图像全局或局部特征描述得到标识线顶点，本专利技术采用基于语本文档来自技高网
...
【技术保护点】
1.一种基于道路标识线的车载相机外参动态补偿方法，其特征在于，包括：
2.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图，包括：
3.根据权利要求2所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述道路标识线的类型包括车道线、导流线、导向指示线、停止线、斑马线和网格线。
4.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集，包括：
5.根据权利要求4所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，分别识别当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点，得到当前帧待匹配特征点集和上一帧匹配特征点集，包括：
6.根据权利要求1～5任一项所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，还包括：
7.根据权利要求6所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述初始帧相对位姿为机载相机安装时通过静态标定方法得到。
8.一种基于道路标识线的车载相机外参动态补偿装置，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于道路标识线的车载相机外参动态补偿方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的基于道路标识线的车载相机外参动态补偿方法的计算机程序。
...
【技术特征摘要】
1.一种基于道路标识线的车载相机外参动态补偿方法，其特征在于，包括：
2.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图，包括：
3.根据权利要求2所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述道路标识线的类型包括车道线、导流线、导向指示线、停止线、斑马线和网格线。
4.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集，包括：
5.根据权利要求4所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，分别识别当前帧语义分割图和上一帧语义分割图中多个道路标识线...
【专利技术属性】
技术研发人员：李豪杰，龚锐，王述良，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。