自动驾驶场景的深度估计网络训练方法、装置和自主车辆制造方法及图纸

本申请公开了一种自动驾驶场景的深度估计网络的训练方法、装置和自主车辆。该方法包括：获取样本图像集合，样本图像的像素点标注有真实深度信息；根据样本图像集合对深度估计网络进行迭代的多轮训练，每轮训练包括：从样本图像集合中选取样本图像输入深度估计网络，得到通过深度估计网络预测的样本图像各像素点的预测深度信息；基于样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差；基于第一预测误差和第二预测误差，调整深度估计网络的参数。本申请提供的技术方案能够解决现有的针对目标区域的深度估计精度不够准确的问题。

【技术实现步骤摘要】
自动驾驶场景的深度估计网络训练方法、装置和自主车辆
本申请涉及自动驾驶
，特别是涉及一种自动驾驶场景的深度估计网络的训练方法、装置和自主车辆。
技术介绍
随着自动驾驶的发展，场景理解成为其中的重要问题，场景理解(sceneunderstanding)主要关注驾驶场景中的目标检索、检测、场景分割等，对实现自主车辆的自动驾驶具有重要作用，可以将从多个传感器的场景感知数据转化为自主运动的决策依据。而单目景深估计是其中亟待解决的关键技术。在现有的深度学习模型解决方案中，通常是通过特征提取网络，获得图像的局部特征和全局特征，由此预测图像中每个位置的深度值。然而，深度学习模型中预测得到的各个位置深度是相对独立的。在自动驾驶的许多场景下，更关心整幅图像中重点区域的深度。比如自主车辆采集的道路图像中，障碍物的深度反映出自主车辆与障碍物的距离。而现有技术中深度学习模型无法针对障碍物的实际距离进行有效估计，因而自主车辆无法完成有效的自主决策实现自动驾驶。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种自动驾驶场景的深度估计网络的训练方法、装置和自主车辆。依据本申请的一个方面，提供了一种自动驾驶场景的深度估计网络的训练方法，包括：获取样本图像集合，所述样本图像的像素点标注有真实深度信息；根据所述样本图像集合对深度估计网络进行迭代的多轮训练，每轮训练包括：从样本图像集合中选取样本图像输入深度估计网络，得到通过所述深度估计网络预测的所述样本图像各像素点的预测深度信息；基于所述样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差；基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数。可选的，所述基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差，包括：对于所述样本图像的预定区域内的每个像素点，基于各像素点的真实深度信息，计算第一统计分布；以及基于各像素点的预测深度信息，计算第二统计分布；基于所述第一统计分布和所述第二统计分布之间的距离，计算第二预测误差。可选的，所述第一统计分布和所述第二统计分布之间的距离包括KL散度距离。可选的，所述真实深度信息为真实深度图，所述计算第一统计分布包括：计算所述真实深度图中预定区域内的第一深度均值，并计算所述真实深度图中预定区域内的深度值相对于所述第一深度均值偏差的统计分布；所述预测深度信息为预测深度图，所述计算第二统计分布包括：计算所述预测深度图中预定区域内的第二深度均值，并计算所述预测深度图中预定区域内的深度值相对于所述第二深度均值偏差的统计分布。可选的，所述基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数，包括：若所述第一预测误差和所述第二预测误差中，至少一个预测误差不收敛，则根据不收敛的预测误差调整所述深度估计网络的参数，若所述第一预测误差和所述第二预测误差均收敛，则结束训练；或者，基于所述第一预测误差和所述第二预测误差的求和结果或者加权求和结果确定综合误差，若所述综合误差不收敛，则根据所述综合误差调整所述深度估计网络的参数，若所述综合误差收敛，则结束训练。可选的，所述预定区域通过对所述样本图像采用目标检测算法检测得到。可选的，所述预定区域具体为通过目标检测算法得到的掩模或包围框，所述目标检测算法包括以下任一种：快速的基于区域的卷积神经网络Faster-RCNN、基于区域的全卷积网络RFCN,单次多边界框检测器SSD以及YOLO。依据本申请的一个方面，提供了一种自动驾驶场景的深度估计网络的训练装置，包括：获取单元，用于获取样本图像集合，所述样本图像的像素点标注有真实深度信息；训练单元，用于根据所述样本图像集合对深度估计网络进行迭代的多轮训练，每轮训练包括：从样本图像集合中选取样本图像输入深度估计网络，得到通过所述深度估计网络预测的所述样本图像各像素点的预测深度信息；基于所述样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差；基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数。可选的，训练单元包括：真实概率统计子单元，用于对于所述样本图像的预定区域内的每个像素点，基于各像素点的真实深度信息，计算第一统计分布；预测概率统计子单元，用于基于各像素点的预测深度信息，计算第二统计分布；计算子单元，用于基于所述第一统计分布和所述第二统计分布之间的距离，计算第二预测误差。可选的，所述第一统计分布和所述第二统计分布之间的距离包括KL散度距离。可选的，所述真实深度信息为真实深度图，真实概率统计子单元，用于计算所述真实深度图中预定区域内的第一深度均值，并计算所述真实深度图中预定区域内的深度值相对于所述第一深度均值偏差的统计分布；所述预测深度信息为预测深度图，预测概率统计子单元，用于计算所述预测深度图中预定区域内的第二深度均值，并计算所述预测深度图中预定区域内的深度值相对于所述第二深度均值偏差的统计分布。可选的，计算子单元，用于若所述第一预测误差和所述第二预测误差中，至少一个预测误差不收敛，则根据不收敛的预测误差调整所述深度估计网络的参数，若所述第一预测误差和所述第二预测误差均收敛，则结束训练；或者，基于所述第一预测误差和所述第二预测误差的求和结果或者加权求和结果确定综合误差，若所述综合误差不收敛，则根据所述综合误差调整所述深度估计网络的参数，若所述综合误差收敛，则结束训练。可选的，所述预定区域通过对所述样本图像采用目标检测算法检测得到。可选的，预定区域具体为通过目标检测算法得到的掩模或包围框，所述目标检测算法包括以下任一种：快速的基于区域的卷积神经网络Faster-RCNN、基于区域的全卷积网络RFCN,单次多边界框检测器SSD以及YOLO。依据本申请的一个方面，提供了一种自主车辆，其中，该自主车辆包括：车体，设置在车体内部的处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一项所述的方法。依据本申请的一个方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项所述的方法。综上所述，本申请所公开的技术方案，为了提高在自动驾驶场景下对障碍物景深识别的准确性，通过从样本图像集合中获取像素点标注有真实深度信息的样本图像，对自动驾驶场景的深度估计网络的进行训练。样本图像输入深度估计网络，得到通过深度估计网络预测的样本图像各像素点的预测深度信息；基于所述样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于所述样本图本文档来自技高网...

【技术保护点】
1.一种自动驾驶场景的深度估计网络的训练方法，包括：/n获取样本图像集合，所述样本图像的像素点标注有真实深度信息；/n根据所述样本图像集合对深度估计网络进行迭代的多轮训练，每轮训练包括：从样本图像集合中选取样本图像输入深度估计网络，得到通过所述深度估计网络预测的所述样本图像各像素点的预测深度信息；基于所述样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差；基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数。/n

【技术特征摘要】
1.一种自动驾驶场景的深度估计网络的训练方法，包括：
获取样本图像集合，所述样本图像的像素点标注有真实深度信息；
根据所述样本图像集合对深度估计网络进行迭代的多轮训练，每轮训练包括：从样本图像集合中选取样本图像输入深度估计网络，得到通过所述深度估计网络预测的所述样本图像各像素点的预测深度信息；基于所述样本图像各像素点的真实深度信息和预测深度信息，计算第一预测误差，并基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差；基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数。


2.根据权利要求1所述的方法，所述基于所述样本图像的预定区域内的像素点的真实深度信息和预测深度信息，计算第二预测误差，包括：
对于所述样本图像的预定区域内的每个像素点，基于各像素点的真实深度信息，计算第一统计分布；以及基于各像素点的预测深度信息，计算第二统计分布；
基于所述第一统计分布和所述第二统计分布之间的距离，计算第二预测误差。


3.根据权利要求2所述的方法，所述第一统计分布和所述第二统计分布之间的距离包括KL散度距离。


4.如权利要求2所述的方法，其特征在于，所述真实深度信息为真实深度图，所述计算第一统计分布包括：
计算所述真实深度图中预定区域内的第一深度均值，并计算所述真实深度图中预定区域内的深度值相对于所述第一深度均值偏差的统计分布；
所述预测深度信息为预测深度图，所述计算第二统计分布包括：
计算所述预测深度图中预定区域内的第二深度均值，并计算所述预测深度图中预定区域内的深度值相对于所述第二深度均值偏差的统计分布。


5.根据权利要求1所述的方法，所述基于所述第一预测误差和所述第二预测误差，调整所述深度估计网络的参数，包括：
若所述第一预测误差和所述第二预测误差中，至少一个预测误差不收...

【专利技术属性】
技术研发人员：周作禹，高红星，史信楚，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11