一种根据地图数据增加场景二维图像深度信息的处理方法技术

本发明专利技术实施例涉及一种根据地图数据增加场景二维图像深度信息的处理方法，所述方法包括：获取第一场景二维图像数据；获取第一高清三维地图数据；对第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；对第一点云数据集合向第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；对第一点云投影图像数据与第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据；对第二场景二维图像数据进深度信息补齐处理。通过本发明专利技术方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。提高了数据处理能力。提高了数据处理能力。

【技术实现步骤摘要】
一种根据地图数据增加场景二维图像深度信息的处理方法


[0001]本专利技术涉及数据处理
，特别涉及一种根据地图数据增加场景二维图像深度信息的处理方法。

技术介绍

[0002]环境感知模块是车辆无人驾驶系统的重要组成部分，其主要功能就是对自车周围的场景及障碍物信息进行数据采集与目标语义识别，并将带有目标识别语义信息的二维、三维图像提供给下游制定行驶路径的决策模块进行路径运算。环境感知模块与多种环境感知传感器连接，摄像头就是常见的环境感知传感器之一。基于摄像头拍摄的二维图像进行目标识别，计算量可控，识别效率高。但摄像头拍摄的二维图像缺乏深度信息，无法直接引用进行三维场景建模。为解决这个问题，常规情况下还需在车辆上增加测距雷达予以辅助，将测距雷达测量产生的点云数据的深度信息与二维图像进行融合。然而高精度的测距雷达，例如激光雷达，价格都不低，这无疑增加了车辆的制造成本。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种根据地图数据增加场景二维图像深度信息的处理方法、电子设备及计算机可读存储介质，引入高精度的三维地图数据进行点云数据模拟，并将模拟的点云数据向摄像头平面投影得到带有深度信息的点云投影图像，再将点云投影图像与摄像头拍摄的场景二维图像进行融合，从而得到带有深度信息的场景二维图像。通过本专利技术方法，无需另行加装测距辅助雷达就能完成向二维图像增加深度信息的任务，降低了车辆成本，提高了数据处理能力。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种根据地图数据增加场景二维图像深度信息的处理方法，所述方法包括：
[0005]获取第一摄像头拍摄生成的第一场景二维图像数据；
[0006]获取与第一摄像头拍摄平面对齐的第一高清三维地图数据；
[0007]对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；
[0008]对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；所述第一点云投影图像数据与所述第一场景二维图像数据的分辨率一致；
[0009]对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据；
[0010]对所述第二场景二维图像数据进深度信息补齐处理。
[0011]优选的，所述第一场景二维图像数据的形状为M1×
N1，M1为图像最大列数，N1为图像最大行数；所述第一场景二维图像数据包括M1×
N1个第一像素点；所述第一像素点包括第一像素点坐标和第一像素点通道数组；所述第一像素点通道数组包括C1个第一像素点通道信息，C1为通道数；
[0012]所述第一高清三维地图数据包括多个第一三维地图点数据；
[0013]所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一深度信息；
[0014]所述第一点云投影图像数据的形状为M2×
N2，M2为图像最大列数且M2＝M1，N2为图像最大行数且N2＝N1；所述第一点云投影图像数据包括M2×
N2个第二像素点；所述第二像素点包括第二像素点坐标和第二像素点通道数组；所述第二像素点通道数组包括第二深度信息；
[0015]所述第二场景二维图像数据的形状为M3×
N3，M3为图像最大列数且M3＝M2＝M1，N3为图像最大行数且N3＝N2＝N1；所述第二场景二维图像数据包括M3×
N3个第三像素点；所述第三像素点包括第三像素点坐标和第三像素点通道数组；所述第三像素点通道数组包括C1个所述第一像素点通道信息和1个所述第二深度信息。
[0016]优选的，所述对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合，具体包括：
[0017]对所述第一高清三维地图数据做地面平面投影处理，生成第一地面投影图像数据；
[0018]按预设平面采样精度对所述第一地面投影图像数据进行采样，生成多个第一二维采样点数据；
[0019]将所述第一高清三维地图数据中，地面平面坐标与所述第一二维采样点数据匹配的第一三维地图点数据，作为对应的第一三维采样点数据；
[0020]按所述第一三维采样点数据的三维坐标系与点云三维坐标系的对应关系，对所述第一三维采样点数据进行点云数据转换处理，生成对应的第一点云数据；
[0021]由得到的多个所述第一点云数据组成所述第一点云数据集合。
[0022]优选的，所述对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据，具体包括：
[0023]按所述第一场景二维图像数据的形状构建所述第一点云投影图像数据，并将所述第一点云投影图像数据的所述第二深度信息初始化为预设深度值；所述第一点云投影图像数据的所述第二像素点的所述第二像素点坐标，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；
[0024]按点云坐标系与图像坐标系的对应关系，做所述第一点云数据集合到所述第一点云投影图像数据的投影，并建立所述第一点云数据与所述第二像素点的对应关系；
[0025]按所述对应关系使用所述第一点云数据的所述第一深度信息修改对应的所述第二像素点的所述第二像素点通道数组的所述第二深度信息。
[0026]优选的，所述对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据，具体包括：
[0027]对所述第一点云投影图像数据与所述第一场景二维图像数据进行通道数组融合处理，生成所述第二场景二维图像数据；所述第二场景二维图像数据的所述第三像素点的所述第三像素点坐标，与所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点坐标匹配，与所述第一场景二维图像数据对应的所述第一像素点的所述第一像素点坐标匹配；所述第二场景二维图像数据的所述第三像素点的所述第三像素点通道数组，由所
述第一场景二维图像数据对应的所述第一像素点的所述第一像素点通道数组，和所述第一点云投影图像数据对应的所述第二像素点的所述第二像素点通道数组构成。
[0028]本专利技术实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；
[0029]所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
[0030]所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
[0031]本专利技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
[0032]本专利技术实施例提供了一种根据地图数据增加场景二维图像深度信息的处理方法、电子设备及计算机可读存储介质，引入高精度的三维地图数据进行点云数据模拟，并将模拟的点云数据向摄像头平面投影得到带有深度信息的点云投影图像，再将点云投影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述方法包括：获取第一摄像头拍摄生成的第一场景二维图像数据；获取与第一摄像头拍摄平面对齐的第一高清三维地图数据；对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合；对所述第一点云数据集合向所述第一摄像头拍摄平面做投影，生成带有深度信息的第一点云投影图像数据；所述第一点云投影图像数据与所述第一场景二维图像数据的分辨率一致；对所述第一点云投影图像数据与所述第一场景二维图像数据进行数据融合，生成带有深度信息的第二场景二维图像数据。2.根据权利要求1所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述第一场景二维图像数据的形状为M1×
N1，M1为图像最大列数，N1为图像最大行数；所述第一场景二维图像数据包括M1×
N1个第一像素点；所述第一像素点包括第一像素点坐标和第一像素点通道数组；所述第一像素点通道数组包括C1个第一像素点通道信息，C1为通道数；所述第一高清三维地图数据包括多个第一三维地图点数据；所述第一点云数据集合包括多个第一点云数据；所述第一点云数据包括第一深度信息；所述第一点云投影图像数据的形状为M2×
N2，M2为图像最大列数且M2＝M1，N2为图像最大行数且N2＝N1；所述第一点云投影图像数据包括M2×
N2个第二像素点；所述第二像素点包括第二像素点坐标和第二像素点通道数组；所述第二像素点通道数组包括第二深度信息；所述第二场景二维图像数据的形状为M3×
N3，M3为图像最大列数且M3＝M2＝M1，N3为图像最大行数且N3＝N2＝N1；所述第二场景二维图像数据包括M3×
N3个第三像素点；所述第三像素点包括第三像素点坐标和第三像素点通道数组；所述第三像素点通道数组包括C1个所述第一像素点通道信息和1个所述第二深度信息。3.根据权利要求1所述的根据地图数据增加场景二维图像深度信息的处理方法，其特征在于，所述对所述第一高清三维地图数据进行点云数据模拟，生成第一点云数据集合，具体包括：对所述第一高清三维地图数据做地面平面投影处理，生成第一地面投影图像数据；按预设平面采样精度对所述第一地面投影图像数据进行采样，生成多个第一二维采样点数据；将所述第一高清三维地图数据中，地面平面坐标与所述第一二维采样点数据匹配的第一三维地图点数据，作为对应的第一三维采样点数据；按所述第一三维采样点数据的三...

【专利技术属性】
技术研发人员：张雨，
申请(专利权)人：北京轻舟智航科技有限公司，
类型：发明
国别省市：