一种双目视觉相机硬件系统、三维场景重建系统及方法技术方案

本发明专利技术公开了一种双目视觉相机硬件系统、三维场景重建系统及方法，三维场景重建系统包括ECU、双目视觉相机硬件系统和GPS模块，当ECU根据GPS模块传回的导航信息，确定车辆与前方转弯位置之间的距离达到预设距离时，ECU控制双目视觉相机在预设旋转范围内往复同步转动，采集车辆前方180°视场内图像数据，并基于运动恢复结构原理和即时定位与地图构建原理，对左相机和右相机分别采集的车辆前方180°视场内图像数据进行三维场景重建，得到车辆前方180°视角范围内的三维场景重建图像。本发明专利技术仅采用一套具有一维旋转功能的双目视觉相机即可实现对车辆前方180°视角范围内的图像采集，从而减少了三维场景重建的硬件成本。

A Binocular Vision Camera Hardware System, 3D Scene Reconstruction System and Method

The invention discloses a binocular vision camera hardware system, a three-dimensional scene reconstruction system and method. The three-dimensional scene reconstruction system includes ECU, binocular vision camera hardware system and GPS module. When the distance between vehicle and forward turning position reaches the preset distance according to navigation information transmitted by GPS module, ECU controls the reciprocating of the binocular vision camera within the preset rotation range. Synchronized rotation is used to collect the image data in the 180 degree field of view in front of the vehicle. Based on the principle of motion recovery structure and the principle of real-time location and map construction, the image data in the 180 degree field of view in front of the vehicle collected by the left camera and the right camera are reconstructed in three-dimensional scene, and the reconstructed image of the three-dimensional scene in the 180 degree field of view in front of the vehicle is obtained. The invention adopts only a set of binocular vision cameras with one-dimensional rotation function to realize image acquisition within 180 degrees of view in front of the vehicle, thereby reducing the hardware cost of three-dimensional scene reconstruction.

【技术实现步骤摘要】
一种双目视觉相机硬件系统、三维场景重建系统及方法
本专利技术涉及三维场景重建
，更具体的说，涉及一种双目视觉相机硬件系统、三维场景重建系统及方法。
技术介绍
自动驾驶汽车，又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。随着自动驾驶技术的不断发展，自动驾驶汽车对周围环境感知能力的要求越来越高。目前，自动驾驶汽车主要基于对当前环境重建的三维场景实现车辆自动转弯功能，实现三维场景重建的技术有多种，如高精度的RTK(Real-timekinematic，实时动态差分法)技术、高成本的激光雷达技术或者机器视觉技术。考虑到基于机器视觉技术的方式成本相对低廉，因此，很多车企采用基于机器视觉技术对车辆当前环境的三维场景进行重建，使车辆基于该三维场景实现自动转弯。在基于机器视觉技术进行三维场景重建时，主要基于双目视觉相机实现，由于双目视觉相机的视角有限，一般在40°～60°之间，无法覆盖车辆前方180°的视角范围，所以为保证三维场景重建精度，实现车辆自动转弯功能，通常会对车辆配置多套双目视觉相机，以采集车辆前方180°视角范围内的图像。然而，对车辆配置多套双目视觉相机，会导致三维场景重建的硬件成本增加。
技术实现思路
有鉴于此，本专利技术公开一种双目视觉相机硬件系统、三维场景重建系统及方法，以解决传统方案中，在采集车辆前方180°视角范围内的图像时，因需要对车辆配置多套双目视觉相机，而导致的三维场景重建的硬件成本增加的问题。一种双目视觉相机硬件系统，包括：双目视觉相机、减速传动装置、步进电机和步进电机控制器，其中，所述双目视觉相机包括：左相机、右相机以及固定所述左相机和所述右相机的支架；所述步进电机控制器的输出端与所述步进电机的控制端连接，所述步进电机的电机输出轴连接所述减速传动装置，所述减速传动装置的中心转轴安装用于固定所述左相机和所述右相机的所述支架；所述步进电机根据所述步进电机控制器输出的控制信号，驱动所述减速传动装置旋转，并带动安装在所述减速传动装置的中心转轴上的所述支架旋转，实现固定在所述支架上的所述左相机和所述右相机在预设旋转范围内往复同步转动。优选的，所述双目视觉相机的相邻两帧之间的相机光轴旋转角度等于预设角度。一种三维场景重建系统，包括：电子控制单元ECU、GPS模块和权利要求1所述的双目视觉相机，其中，所述双目视觉相机的左相机和右相机沿车辆中心线水平对称放置；所述ECU的输入端分别与所述GPS模块的输出端、所述左相机的图像输出端和所述右相机的图像输出端连接，所述ECU的输出端与所述双目视觉相机中步进电机控制器的控制端连接，所述ECU用于在根据所述GPS模块传回的导航信息，确定车辆距离前方转弯位置的距离达到预设距离时，向所述双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动所述左相机和所述右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动；获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角。优选的，所述预设电机旋转角速度满足公式(1)，公式(1)的表达式如下：w＝N*c(1)式中，w为电机旋转角速度，单位：°/s，N为所述双目视觉相机的帧频，单位：pfs，c为双目视觉相机预设的相邻两帧之间相机光轴旋转角度，单位：°。一种三维场景重建方法，包括：获取车辆在当前时刻与前方转弯位置之间的距离；当确定所述距离达到预设距离时，向双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动左相机和右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角；获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行坐标系转换得到车辆前方180°视角范围内的三维场景重建图像。优选的，在所述得到车辆前方180°视角范围内的三维场景重建图像之后，还包括：对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果；从所述识别结果中选取符合通行条件的最优通行路径；控制车辆的转弯执行结构，按照所述最优通行路径实现车辆转弯。优选的，所述对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果包括：对所述车辆前方180°视角范围内的三维场景重建图像，基于深度和灰度进行区域分割，得到T个分割区域，T为正整数；针对每一个所述分割区域执行如下操作：确定当前分割区域内的总像素点数N以及符合平面拟合方程模型的像素点数M；判断像素点数M与总像素点数N的比值是否小于阈值参数；若所述比值不小于所述阈值参数，则判定所述当前分割区域为道路区域，并将所述道路区域的外边界作为待转弯路两侧边界；若所述比值小于所述阈值参数，则判定所述当前分割区域为障碍物区域；当T个分割区域所属的区域类型确定完成后，根据T个分割区域中所有的道路区域和所有的障碍物区域，根据公式(2)和公式(3)得到可通行区域L，所述可通行区域L距离所述障碍物区域的距离不高于安全距离阈值，公式(2)和公式(3)具体如下：L∩A＝L(2)；L∩B＝0(3)；式中，A为T个分割区域中所有道路区域的总数量，B为T个分割区域中所有障碍物区域的总数量，0表示空集。优选的，还包括：当确定方向盘转角恢复至预设转角，且内外侧前轮转速相同时，向所述步进电机控制器发送停止指令，通过所述步进电机控制器控制所述步进电机带动所述双目视觉相机恢复至与车辆中心线平行的位置。从上述的技术方案可知，本专利技术公开了一种双目视觉相机硬件本文档来自技高网...

【技术保护点】
1.一种双目视觉相机硬件系统，其特征在于，包括：双目视觉相机、减速传动装置、步进电机和步进电机控制器，其中，所述双目视觉相机包括：左相机、右相机以及固定所述左相机和所述右相机的支架；所述步进电机控制器的输出端与所述步进电机的控制端连接，所述步进电机的电机输出轴连接所述减速传动装置，所述减速传动装置的中心转轴安装用于固定所述左相机和所述右相机的所述支架；所述步进电机根据所述步进电机控制器输出的控制信号，驱动所述减速传动装置旋转，并带动安装在所述减速传动装置的中心转轴上的所述支架旋转，实现固定在所述支架上的所述左相机和所述右相机在预设旋转范围内往复同步转动。

【技术特征摘要】
1.一种双目视觉相机硬件系统，其特征在于，包括：双目视觉相机、减速传动装置、步进电机和步进电机控制器，其中，所述双目视觉相机包括：左相机、右相机以及固定所述左相机和所述右相机的支架；所述步进电机控制器的输出端与所述步进电机的控制端连接，所述步进电机的电机输出轴连接所述减速传动装置，所述减速传动装置的中心转轴安装用于固定所述左相机和所述右相机的所述支架；所述步进电机根据所述步进电机控制器输出的控制信号，驱动所述减速传动装置旋转，并带动安装在所述减速传动装置的中心转轴上的所述支架旋转，实现固定在所述支架上的所述左相机和所述右相机在预设旋转范围内往复同步转动。2.根据权利要求1所述的双目视觉相机，其特征在于，所述双目视觉相机的相邻两帧之间的相机光轴旋转角度等于预设角度。3.一种三维场景重建系统，其特征在于，包括：电子控制单元ECU、GPS模块和权利要求1所述的双目视觉相机，其中，所述双目视觉相机的左相机和右相机沿车辆中心线水平对称放置；所述ECU的输入端分别与所述GPS模块的输出端、所述左相机的图像输出端和所述右相机的图像输出端连接，所述ECU的输出端与所述双目视觉相机中步进电机控制器的控制端连接，所述ECU用于在根据所述GPS模块传回的导航信息，确定车辆距离前方转弯位置的距离达到预设距离时，向所述双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动所述左相机和所述右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动；获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角。4.根据权利要求3所述的三维场景重建系统，其特征在于，所述预设电机旋转角速度满足公式(1)，公式(1)的表达式如下：w＝N*c(1)式中，w为电机旋转角速度，单位：°/s，N为所述双目视觉相机的帧频，单位：pfs，c为双目视觉相机预设的相邻两帧之间相机光轴旋转角度，单位：°。5.一种三维场景重建方法，其特征在于，包括：获取车辆在当前时刻与前方转弯位置之间的距离；当确定所述距离达到预设距离时，向双目视觉相机中的步进电机控制...

【专利技术属性】
技术研发人员：刘玉，叶卉，刘元伟，鲍凤卿，卢远志，刘奋，
申请(专利权)人：上海汽车集团股份有限公司，
类型：发明
国别省市：上海,31