场景重建方法和装置、电子设备、程序和介质制造方法及图纸

本发明专利技术实施例公开了一种的场景重建方法和装置、电子设备、程序和介质，其中，方法包括：基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。本发明专利技术实施例可提高了场景重建的准确性和速度。

【技术实现步骤摘要】
场景重建方法和装置、电子设备、程序和介质
本专利技术涉及计算机视觉技术，尤其是一种场景重建方法和装置、电子设备、程序和介质。
技术介绍
场景重建是指对物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的模型的关键技术。例如，在自动驾驶的应用场景中，场景重建包括道路重建、行人、汽车轨迹还原和目标定位。道路重建任务指给出摄像镜头拍摄的当前帧图片，将图片中的道路信息映射到三维坐标系中。行人、汽车轨迹还原任务指在一个双目图片序列中，还原出行人和汽车的运动轨迹。
技术实现思路
本专利技术实施例提供一种用于进行场景重建的技术方案。根据本专利技术实施例的一个方面，提供的一种场景重建方法，包括：基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。可选地，在本专利技术上述各方法实施例中，所述多目摄像头包括：双目摄像头。可选地，在本专利技术上述各方法实施例中，所述相机姿态信息包括：旋转矩阵和平移向量。可选地，在本专利技术上述各方法实施例中，所述通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息，包括：通过第一神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息。可选地，在本专利技术上述各方法实施例中，所述通过神经网络，获取所述第一图像序列中运动目标，包括：通过所述第二神经网络，对所述第一图像序列中的图像进行运动目标检测和跟踪，获得所述图像中运动目标的物体框，并对运动目标分配目标标识ID；其中，所述目标ID用于在所述图像序列中唯一标识一个运动目标；通过所述第二神经网络输出所述图像中运动目标的物体框的位置信息和目标ID。可选地，在本专利技术上述各方法实施例中，所述通过神经网络，获取所述第一图像序列中的道路信息，包括：通过所述第三神经网络，对所述第一图像序列中的图像进行物体分割，获得物体分割结果；所述物体分割结果包括所述图像中的至少一个像素是否对应为道路。可选地，在本专利技术上述各方法实施例中，根据所述第一图像序列的相机姿态信息、所述深度信息和所述运动目标的位置信息，将所述第一图像序列中的运动目标映射到三维坐标系中，包括：以所述第一图像序列中的其中一帧图像作为当前图像，根据当前图像中运动目标的物体框的位置信息，将所述物体框中至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；根据所述物体框中至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述物体框中至少一个像素的像素坐标在三维坐标系中对应的三维坐标。可选地，在本专利技术上述各方法实施例中，获取所述物体框中至少一个像素的像素坐标在三维坐标系中对应的三维坐标之后，还包括：根据所述运动目标的物体框中至少一个像素对应的三维坐标，获取所述运动目标在三维坐标系中的位置信息。可选地，在本专利技术上述各方法实施例中，还包括：根据所述运动目标在三维坐标系中的位置信息，由所述第一图像序列中的所述运动目标的位置，形成所述运动目标的运动轨迹。可选地，在本专利技术上述各方法实施例中，根据所述头第一图像序列的相机姿态信息、所述深度信息和所述道路信息，将所述第一图像序列中的道路映射到三维坐标系中，包括：以所述第一图像序列中的其中一帧图像作为当前图像，根据所述物体分割结果，将当前图像中属于道路的至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；根据所述属于道路的至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述属于道路的至少一个像素的像素坐标在三维坐标系中对应的三维坐标。根据本专利技术实施例的另一个方面，提供的一种场景重建装置，包括：信息获取模块，用于基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；深度信息获取模块，用于通过神经网络基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；运动目标获取模块，用于通过神经网络获取所述第一图像序列中的运动目标；道路信息获取模块，用于通过神经网络获取所述第一图像序列中的道路信息；映射模块，用于根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。可选地，在本专利技术上述各装置实施例中，所述多目摄像头包括：双目摄像头。可选地，在本专利技术上述各装置实施例中，所述相机姿态信息包括：旋转矩阵和平移向量。可选地，在本专利技术上述各装置实施例中，所述运动目标获取模块，具体用于：通过神经网络，对所述第一图像序列中的图像进行运动目标检测和跟踪，获得所述图像中运动目标的物体框，并对运动目标分配目标标识ID；其中，所述目标ID用于在所述图像序列中唯一标识一个运动目标；以及输出所述图像中运动目标的物体框的位置信息和目标ID。可选地，在本专利技术上述各装置实施例中，所述道路信息获取模块，具体用于：对所述第一图像序列中的图像进行物体分割，获得物体分割结果；所述物体分割结果包括所述图像中的至少一个像素是否对应为道路。可选地，在本专利技术上述各装置实施例中，所述映射模块包括：第一映射单元，用于以所述第一图像序列中的其中一帧图像作为当前图像，根据当前图像中运动目标的物体框的位置信息，将所述物体框中至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；以及根据所述物体框中至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述物体框中至少一个像素的像素坐标在三维坐标系中对应的三维坐标；第二映射单元，用于以所述第一图像序列中的其中一帧图像作为当前图像，根据所述物体分割结果，将当前图像中属于道路的至少一个像素在所述当前图像中的像素坐标转换为齐次坐标；以及根据所述属于道路的至少一个像素的齐次坐标和深度信息、所述当前图像的相机姿态信息和所述当前图像对应摄像镜头的相机参数，获取所述属于道路的至少一个像素的像素坐标在三维坐标系中对应的三维坐标。可选地，在本专利技术上述各装置实施例中，还包括：位置信息获取模块，用于根据所述运动目标的物体框中至少一个像素对应的三维坐标，获取所述运动目标在三维坐标系中的位置信息。可选地，在本专利技术上述各装置实施例中，还包括：轨迹形成模块，用于根据所述运动目标在三维坐标系中的位置信息，由所述第一图像序列中的所述运动目标的位置，形成所述运动目标的运动轨迹。根据本专利技术实施例的另一个方面，提供的一种电子设备，包括上述任一所述的场景重建装置。根据本专利技术实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成本专利技术上述任一本文档来自技高网...

【技术保护点】
1.一种场景重建方法，其特征在于，包括：基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。

【技术特征摘要】
1.一种场景重建方法，其特征在于，包括：基于多目摄像头中至少一个摄像镜头采集的第一图像序列，获取所述第一图像序列的相机姿态信息；通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息；通过神经网络，获取所述第一图像序列中的运动目标；以及，通过神经网络获取所述第一图像序列中的道路信息；根据所述第一图像序列的相机姿态信息、所述深度信息、所述运动目标的位置信息和所述道路信息，将所述第一图像序列中的运动目标和道路映射到三维坐标系中。2.根据权利要求1所述的方法，其特征在于，所述多目摄像头包括：双目摄像头。3.根据权利要求1或2所述的方法，其特征在于，所述相机姿态信息包括：旋转矩阵和平移向量。4.根据权利要求1-3任一所述的方法，其特征在于，所述通过神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息，包括：通过第一神经网络，基于所述多目摄像头中至少两个摄像镜头采集的第二图像序列，获取所述第一图像序列的深度信息。5.根据权利要求1-4任一所述的方法，其特征在于，所述通过神经网络，获取所述第一图像序列中运动目标，包括：通过所述第二神经网络，对所述第一图像序列中的图像进行运动目标检测和跟踪，获得所述图像中运动目标的物体框，并对运动目标分配目标标识ID；其中，所述目标ID用于在所述图像...

【专利技术属性】
技术研发人员：伊帅，杨昆霖，陈凯歌，闫俊杰，王晓刚，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44