障碍物检测方法、装置、车辆及存储介质制造方法及图纸

本公开涉及一种障碍物检测方法、装置、车辆及存储介质。该方法包括：获取待检测图像中障碍物的图像特征，待检测图像是通过车辆上的图像采集设备采集的；获取障碍物在图像采集设备坐标系下的三维位置信息；将图像特征和三维位置信息输入第一预设检测网络，得到第一预设检测网络输出的分类结果，分类结果表征障碍物是否是车辆的路径中最近障碍物。该方案隐性地对车道线和障碍物的关系进行学习，并在学习过程中加入了障碍物在图像采集设备坐标系下的三维位置信息，实现了路径中最近障碍物的检测。由于其是直接通过网络学习，并判定各障碍物是否为车辆的路径中最近障碍物，不用识别车道线及对自车道的车进行距离计算，检测简洁。检测简洁。检测简洁。

【技术实现步骤摘要】
障碍物检测方法、装置、车辆及存储介质


[0001]本公开涉及自动驾驶
，尤其涉及一种障碍物检测方法、装置、车辆及存储介质。

技术介绍

[0002]在自动驾驶场景中，为了确保其安全性能，避免与前车进行碰撞；或是在实现自适应巡航(Adaptive Cruise Control,ACC)功能时,路径中最近车辆(closest in path vehicle，cipv)的检测显得尤为重要。相关技术中，检测路径中最近车辆的方式大多数都是对图像中的车辆进行检测，并同时检测车道线，通过计算车辆与自行的车道的关系进行路径中最近车辆的检测判定，检测繁琐。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种障碍物检测方法、装置、车辆及存储介质。
[0004]根据本公开实施例的第一方面，提供一种障碍物检测方法，包括：
[0005]获取待检测图像中障碍物的图像特征，所述待检测图像是通过车辆上的图像采集设备采集的；
[0006]获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息；
[0007]将所述图像特征和三维位置信息输入第一预设检测网络，得到所述第一预设检测网络输出的分类结果，所述分类结果表征所述障碍物是否是所述车辆的路径中最近障碍物。
[0008]可选地，所述获取待检测图像中障碍物的图像特征包括：
[0009]将所述待检测图像输入骨干网络和第二预设检测网络，获取所述骨干网络输出的所述待检测图像的全局图像特征，及获取所述第一预设检测网络输出的所述待检测图像中障碍物的二维位置信息；
[0010]根据所述二维位置信息从所述全局图像特征中选取所述待检测图像中障碍物的图像特征。
[0011]可选地，所述获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息包括：
[0012]根据所述二维位置信息和所述图像采集设备的内参矩阵，获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息。
[0013]可选地，所述骨干网络、第二预设检测网络和第一预设检测网络是通过以下方式训练得到的：
[0014]针对训练集内的每张图像，根据用户输入的标注指令对该图像中的各障碍物进行标注，所述标注指令用于描述该图像中各障碍物的矩形框和各障碍物的分类标签，所述分类标签包括是路径中最近障碍物或不是路径中最近障碍物；
[0015]根据所述训练集和损失函数训练，得到所述骨干网络、第二预设检测网络和第一预设检测网络；
[0016]其中，所述损失函数为能调整所述训练集内正样本和负样本分类不均衡的损失函数，其中正样本为是路径中最近障碍物的障碍物，负样本为不是路径中最近障碍物的障碍物。
[0017]可选地，所述损失函数的计算公式为：
[0018]FL(pt)＝
‑
at(1
‑
pt)
γ
log(pt)
[0019]其中，pt所述第二预设检测网络输出的分类结果，γ为均衡难分样本的超参数，at为均衡正负样本不均衡的超参数，FL(pt)为损失函数的输出。
[0020]根据本公开实施例的第二方面，提供一种障碍物检测装置，包括：
[0021]障碍物图像特征获取模块，被配置为获取待检测图像中障碍物的图像特征，所述待检测图像是通过车辆上的图像采集设备采集的；
[0022]三维位置信息获取模块，被配置为获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息；
[0023]分类模块，被配置为将所述图像特征和三维位置信息输入第一预设检测网络，得到所述第一预设检测网络输出的分类结果，所述分类结果表征所述障碍物是否是所述车辆的路径中最近障碍物。
[0024]可选地，所述障碍物图像特征获取模块包括：
[0025]特征输出子模块，被配置为将所述待检测图像输入骨干网络和第二预设检测网络，获取所述骨干网络输出的所述待检测图像的全局图像特征，及获取所述第一预设检测网络输出的所述待检测图像中障碍物的二维位置信息；
[0026]选取子模块，被配置为根据所述二维位置信息从所述全局图像特征中选取所述待检测图像中障碍物的图像特征。
[0027]可选地，所述三维位置信息获取模块具体被配置为，根据所述二维位置信息和所述图像采集设备的内参矩阵，获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息。
[0028]根据本公开实施例的第三方面，提供一种车辆，包括：
[0029]处理器；
[0030]用于存储处理器可执行指令的存储器；
[0031]其中，所述处理器被配置为：
[0032]实现本公开实施例第一方面所提供的障碍物检测方法的步骤。
[0033]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被第一处理器执行时实现本公开实施例第一方面所提供的障碍物检测方法的步骤。
[0034]本公开的实施例提供的技术方案可以包括以下有益效果：
[0035]通过第一预设检测网络对障碍物的图像特征及三维位置进行学习，输出分类结果。在应用时，针对待检测图像，将该待检测图像中各障碍物的图像特征和三维位置信息输入第一预设检测网络，即可获得所述待检测图像中各障碍物的分类结果，实现判定所述待检测图像中各障碍物是否为车辆的路径中最近障碍物。因此，本公开提供的方案隐性地对
车道线和障碍物的关系进行学习，并在学习过程中加入了障碍物在图像采集设备坐标系下的三维位置信息，实现了路径中最近障碍物的检测。由于其是直接通过网络学习、直接根据学习网络判定所述检测图像中各障碍物是否为车辆的路径中最近障碍物，不用识别车道线及对自车道的车进行距离计算，检测简洁。
[0036]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0037]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0038]图1是根据一示例性实施例示出的一种障碍物检测方法的流程图。
[0039]图2是根据一示例性实施例示出的一种障碍物检测方法的逻辑示意图。
[0040]图3是根据一示例性实施例示出的一种障碍物检测装置的框图。
[0041]图4是一示例性实施例示出的一种车辆的框图。
具体实施方式
[0042]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0043]图1是根据一示例性实施例示出的一种障碍物检测方法的流程图。该障碍物检测方法可以应用于自动驾驶、自适应巡航(Adaptive Cruis本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种障碍物检测方法，其特征在于，包括：获取待检测图像中障碍物的图像特征，所述待检测图像是通过车辆上的图像采集设备采集的；获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息；将所述图像特征和三维位置信息输入第一预设检测网络，得到所述第一预设检测网络输出的分类结果，所述分类结果表征所述障碍物是否是所述车辆的路径中最近障碍物。2.根据权利要求1所述的障碍物检测方法，其特征在于，所述获取待检测图像中障碍物的图像特征包括：将所述待检测图像输入骨干网络和第二预设检测网络，获取所述骨干网络输出的所述待检测图像的全局图像特征，及获取所述第一预设检测网络输出的所述待检测图像中障碍物的二维位置信息；根据所述二维位置信息从所述全局图像特征中选取所述待检测图像中障碍物的图像特征。3.根据权利要求2所述的障碍物检测方法，其特征在于，所述获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息包括：根据所述二维位置信息和所述图像采集设备的内参矩阵，获取所述障碍物在所述图像采集设备的三维坐标系下的三维位置信息。4.根据权利要求3所述的障碍物检测方法，其特征在于，所述骨干网络、第二预设检测网络和第一预设检测网络是通过以下方式训练得到的：针对训练集内的每张图像，根据用户输入的标注指令对该图像中的各障碍物进行标注，所述标注指令用于描述该图像中各障碍物的矩形框和各障碍物的分类标签，所述分类标签包括是路径中最近障碍物或不是路径中最近障碍物；根据所述训练集和损失函数训练，得到所述骨干网络、第二预设检测网络和第一预设检测网络；其中，所述损失函数为能调整所述训练集内正样本和负样本分类不均衡的损失函数，其中正样本为是路径中最近障碍物的障碍物，负样本为不是路径中最近障碍物的障碍物。5.根据权利要求4所述的障碍物检测方法，其特征在于，所述损失函数的计算公式为：FL(...

【专利技术属性】
技术研发人员：黄嘉慧，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：