行车环境识别方法、装置、车辆及存储介质制造方法及图纸

本发明专利技术公开了一种行车环境识别方法、装置、车辆及存储介质。该方法包括：获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，点云数据与当前图像帧相对应；通过对点云数据及当前图像帧融合处理后的融合特征信息，确定当前图像帧的图像语义分割结果；根据图像语义分割结果，确定当前图像帧对应的行车环境信息。通过激光雷达及摄像头分别获取当前行车环境下的点云数据及图像帧数据，利用网络模型将二者进行融合处理以确定图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出车辆周围的行车环境，提高了行车环境信息识别的准确性。息识别的准确性。息识别的准确性。

【技术实现步骤摘要】
行车环境识别方法、装置、车辆及存储介质


[0001]本专利技术涉及智能识别
，尤其涉及行车环境识别方法、装置、车辆及存储介质。

技术介绍

[0002]在自动驾驶技术中，为了帮助自动驾驶汽车更好地理解环境，需要进行语义分割，即为输入数据中的每个数据点指定一个类别标签。
[0003]现有技术中通常采用基于视觉图像的方法，将相机拍摄图像输入至神经网络中进行语义分割，由于相机获取的图像包含丰富的外观信息，因此可以提供细粒度和准确的语音分割结果。然而相机容易受到光照条件变化的影响，因此在某些场景下无法做到精准的语义分割。

技术实现思路

[0004]本专利技术提供了一种行车环境识别方法、装置、车辆及存储介质，实现对行车环境的识别，提高了识别的准确度。
[0005]根据本专利技术的第一方面，提供了一种行车环境识别方法，包括：
[0006]获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；
[0007]通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；
[0008]根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。
[0009]根据本专利技术的第二方面，提供了一种行车环境识别装置，包括：
[0010]获取模块，用于获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；
[0011]结果确定模块，用于通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；
[0012]信息确定模块，用于根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。
[0013]根据本专利技术的第三方面，提供了一种车辆，所述车辆包括：
[0014]至少一个摄像头，各所述摄像头按照设定连接方式与车辆连接；
[0015]至少一个激光雷达，各所述激光雷达按照设定连接方式与车辆连接；
[0016]还包括：
[0017]一个或多个控制器；
[0018]与所述至少一个控制器通信连接的存储器；其中，
[0019]所述存储器存储有可被所述至少一个控制器执行的计算机程序，所述计算机程序被所述至少一个控制器执行，以使所述至少一个控制器能够执行本专利技术任一实施例所述的
行车环境识别方法。
[0020]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使控制器执行时实现本专利技术任一实施例所述的行车环境识别方法。
[0021]本专利技术实施例的技术方案，通过激光雷达获取当前行车环境下的点云数据，通过摄像头获得当前行车环境下的图像帧数据，利用搭建的网络模型将二者进行融合处理获得融合特征信息，确定当前图像帧的图像语义分割结果，可以更加准确地将复杂环境中的各种目标准确地分离出来，根据图像语义分割结果可以更为准确地判断出车辆周围的行车环境，提高了行车环境信息识别的准确性。
[0022]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是根据本专利技术实施例一提供的一种行车环境识别方法的流程图；
[0025]图2是根据本专利技术实施例一提供的一种行车环境识别方法中融合处理的流程框图；
[0026]图3是根据本专利技术实施例一提供的一种行车环境识别方法的流程示例图；
[0027]图4是根据本专利技术实施例二提供的一种行车环境识别装置的结构示意图；
[0028]图5是根据本专利技术实施例三提供的一种车辆的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031]实施例一
[0032]图1为本专利技术实施例一提供了一种行车环境识别方法的流程图，本实施例可适用
于行车环境识别情况，该方法可以由行车环境识别装置来执行，该行车环境识别装置可以采用硬件和/或软件的形式实现，该行车环境识别装置可配置于车辆中。如图1所示，该方法包括：
[0033]S110、获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，点云数据与当前图像帧相对应。
[0034]在本实施中，激光雷达可以理解为通过发射激光光束，如遇到障碍物体就可反射回信号，将反射回的信号与发射的信号进行比较与处理，即可获得前方障碍物体到激光雷达间的包含距离位置信息的数据，可用于采集点云数据。其中，激光雷达可以安装在车顶上方、车头中间、车头两侧以及车尾等位置。
[0035]在本实施例中，点云数据可以理解为经过比较处理后的激光信号，以激光雷达所置于的车辆为原点构建三维坐标系统，障碍物体在三维坐标系统中的坐标即为点云数据，点云数据可以看做是在三维坐标系统中的一组向量的集合，每个点都包括有三维坐标，其中可能还含有颜色信息或反射信息。
[0036]在本实施例中，图像帧可以理解为将视频分解成的连续画面，每一个画面叫做图像帧，图像帧中包括静态的二维图像信息，如颜色，位置等，用于获取每个物体在当前图像帧中的二维位置。
[0037]具体的，在车辆行驶过程中，激光雷达和摄像头实时处于工作状态，通过激光雷达采集每个时刻的前方行车环境中障碍物在以车辆为原点构建的三维坐标系统中的三维坐标，即点云数据，摄像头实时拍摄以获取前方行车环境的每个时刻下的图像作为当前图像帧，不同时刻下的图像帧对应着相应时刻下的点云数据。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行车环境识别方法，其特征在于，包括：获取激光雷达采集的点云数据、以及摄像头拍摄的当前图像帧，其中激光雷达以及摄像头安装于车辆上，所述点云数据与所述当前图像帧相对应；通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果；根据所述图像语义分割结果，确定所述当前图像帧对应的行车环境信息。2.根据权利要求1所述的方法，其特征在于，所述通过对所述点云数据及所述当前图像帧融合处理后的融合特征信息，确定所述当前图像帧的图像语义分割结果，包括：将对所述点云数据进行透视投影后获得的投影点云数据输入至训练后的点云分析网络模型；将所述当前图像帧输入训练后图像分析网络模型中基础分析子网络，所述图像分析网络模型中还包括融合处理子网络；将所述点云分析网络模型输出的投影点云特征及所述基础分析子网络输出的基础图像特征输入至所述融合处理子网络，获得输出的融合特征信息；叠加基础图像特征和融合特征信息，形成二次融合特征信息，通过所述图像分析网络模型处理所述二次融合特征信息，获得所述当前图像帧的图像语义分割结果。3.根据权利要求2所述的方法，其特征在于，所述点云分析网络模型以及所述图像分析网络模型分别由设定数量的卷积层、批量归一化层、线性整流层和池化层构成；所述图像分析网络模型中所述设定数量的卷积层构成基础分析子网络；所述融合处理子网络中包括卷积层及相连接的激活层，且所包括卷积层的层数为所述设定数量。4.根据权利要求2所述的方法，其特征在于，所述融合处理子网络中各卷积层对接收的投影点云特征及基础图像特征进行融合处理，获得融合特征信息的步骤包括：对接收的投影点云特征以及基础图像特征进行连接操作，获得连接特征数据；对所述连接特征数据通过卷积层及相邻接激活层，进行卷积处理以及高维非线性空间转换处理，获得中间融合特征；将所述中间融合特征与所述基础图像特征进行元素加法操作，获得融合特征信息。5.根据权利要求2所述的方法，其特征在于，所述当前图像帧的图像语义分割结果通过分割概率...

【专利技术属性】
技术研发人员：衣春雷，陈博，尹荣彬，李兵，王秋，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：