一种自动驾驶对象探测和定位系统及方法技术方案

本发明专利技术公开了一种自动驾驶对象探测和定位系统及方法，该方法包括以下步骤：获取自动驾驶车辆的惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据和深度神经网络模块检测判断软件模块；将立体视觉模块的图像数据、卫星导航原始测量数据及惯性导航模块测量数据进行紧耦合，限制惯性导航模块的漂移误差的增大，保证定位的精度；同时使用卫星‑惯性导航协助的立体视觉直接方法，建立三维的环境信息，再利用深度神经网络模块，判断和分类环境中的目标和障碍物。本发明专利技术具有最大限度地提高自动驾驶感知系统的定位精度、提高计算效率和可靠性的优点。

An automatic driving object detection and positioning system and method

【技术实现步骤摘要】
一种自动驾驶对象探测和定位系统及方法
本专利技术涉及计算机应用
，特别涉及一种自动驾驶对象探测和定位系统及方法。
技术介绍
近年来，随着人们对汽车安全意识的增强以尽信息技术的发展，自动驾驶领域越来越受关注，世界上许多公司和科研机构都开始投入研发自动驾驶相关产品，预计2021年自动驾驶车辆将进入市场，给汽车行业带来巨大的变革。相关研究表明自动驾驶技术的发展将会在多种领域带来颠覆性的发展，例如其发展可以增强公路的交通安全、缓解交通拥堵状况和减少环境污染等方面，同时自动驾驶技术也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。自动驾驶是指汽车通过车载传感系统来对道路环境进行感知，并根据感知所获得的道路、车辆位置和障碍物信息等控制车辆的转向和速度，进而自动规划行车路线并控制车辆到达预定目标的技术。如今在自动驾驶方面，各大公司都有自己的技术方向，现有技术已有双目直接方法的视觉系统和惯性导航模块的组合系统，但是组合系统中视觉系统和惯性导航模块产生的误差不能有效限制，组合系统在长时间无图像梯度情况下误差会无限制增长，导致组合系统感知失败。现有技术也有单目特征点方法的视觉系统、惯性导航模块及卫星导航的紧耦合自动驾驶感知系统，但是单目摄像头无法探测到无特征障碍物，比如高速路的隔离护栏、自行车或动物等。而现有视觉系统也有采用双目立体视觉系统进行耦合，但是仍然采用特征点法，计算量大，且对硬件性能要求高。目前最先进的双目立体视觉环境检测方法，也只使用了双目视觉中的视觉差信息，并没有使用摄像头在不同时间、位置采集到的图像来实现环境的三维建模。
技术实现思路
本专利技术的目的在于提供一种自动驾驶对象探测和定位系统及方法，具有最大限度地提高自动驾驶感知系统的定位精度、提高计算效率和可靠性的优点，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种自动驾驶对象探测和定位系统，包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及系统紧耦合模块，其中：立体视觉图像处理模块，采用或者多目摄像头获取立体视觉模块的图像数据；卫星导航模块，用于通过接收机获取卫星导航原始测量数据；惯性导航模块，用于采用惯性传感器获取惯性导航模块的测量数据；系统紧耦合模块，用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理，并建立三维环境信息，最后利用深度神经网络模块检测环境中的目标和障碍物；所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成；所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述系统紧耦合模块连接。进一步地，所述立体视觉图像处理模块包含双目或者多目摄像头。本专利技术要解决的另一种技术方案：一种自动驾驶对象探测和定位的方法，包括以下步骤：S1：获取立体视觉模块的图像数据、惯性导航模块的测量数据及卫星导航原始测量数据；S2：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，对惯性导航模块的漂移误差进行修正；S3：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，建立三维环境信息，再使用深度神经网络模块判断和分类环境中的目标和障碍物；S4：深度神经网络使用三维稀疏卷积神经网络、点网神经网络或者是二者的组合。进一步地，所述立体视觉模块采用多目，包括双目摄像头直接方法进行处理，所述图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息来建立环境的三维信息。进一步地，所述紧耦合由立体视觉的加权重投影误差、卫星导航误差和来自惯性导航的状态误差构成成本函数。进一步地，所述S1具体包括如下步骤：S11：采用多目或者是双目摄像头获取立体视觉模块的图像数据、图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息；S12：采用惯性传感器获取惯性导航模块的测量数据；S13：通过接收机获取卫星导航原始测量数据；S14：将所述惯性导航模块测量数据、所述图像数据及所述卫星导航原始测量数据进行紧耦合处理。进一步地，所述S11具体包括如下步骤：S111：用多目或者双目摄像头采集环境图像信号；S112：组合多个不同摄像头在同一个时刻拍摄到的视觉差和每一个摄像头在不同时间、位置拍摄到的图像，形成立体视觉观测的直接方法；S113：并组合惯性导航、卫星导航的测量数据，建立三维环境信息，最后使用深度神经网络模块分类和判断环境中的目标和障碍物。进一步地，所述S12具体包括如下步骤：S121：利用惯性传感器测量自动驾驶车辆在固定坐标系下的3轴加速度和3轴角速度；S122：将所述加速度和所述角速度转动到导航坐标系下,求解惯性导航机械编排方程并计算出自动驾驶车辆的位置和姿态角；S123：图像数据、惯性导航数据和卫星导航数据组合，建立三维环境信息，再利用深度神经网络模块，分类和判断环境中的目标和障碍物。进一步地，所述S14具体包括：通过所述卫星导航原始测量数据结合所述立体视觉模块的图像数据对所述惯性导航模块的漂移误差进行校正。与现有技术相比，本专利技术的有益效果是：本专利技术将惯性导航模块测量数据、立体视觉模块的图像数据及卫星导航原始测量数据三者进行紧耦合，对惯性导航模块测量数据的误差进行修正，从而提高了定位精度，再利用立体视觉直接方法实现的三维环境建模数据和深度神经网络，识别和判断环境中的物体。被系统借助高精度的三维稀疏卷积神经网络、点网神经网络或者是它们的组合，提高障碍物判断的准确度，不再借助于昂贵的激光扫描雷达，从而降低自动驾驶汽车的成本。附图说明图1为本专利技术实施例自动驾驶定位和对象探测方法的流程图；图2为本专利技术实施例自动驾驶对象探测和定位系统的三维稀疏卷积神经网络的结构图；图3为本专利技术实施例自动驾驶对象探测和定位系统的点网神经网络的结构图；图4为本专利技术实施例自动驾驶对象探测和定位系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于立体视觉模块、惯性导航模块及卫星导航模块紧耦合的自动驾驶对象探测和定位系统及方法，惯性导航可连续提供信息，短时间精度高，但是定位误差会随时间积累；卫星导航长期稳定性好，但易受到干扰，数据更新频率低；通常的立体视觉使用特征点方法，首先在图像中挑选多个特征点，再利用左右眼拍到的这些特征点的视觉差，进行匹本文档来自技高网...

【技术保护点】
1.一种自动驾驶对象探测和定位系统，其特征在于，包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及系统紧耦合模块，其中：/n立体视觉图像处理模块，采用双目或者多目摄像头获取立体视觉模块的图像数据；/n卫星导航模块，用于通过接收机获取卫星导航原始测量数据；/n惯性导航模块，用于采用惯性传感器获取惯性导航模块的测量数据；/n系统紧耦合模块，用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理，并建立三维环境信息，最后利用深度神经网络模块检测环境中的目标和障碍物；/n所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成；/n所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述系统紧耦合模块连接。/n

【技术特征摘要】
1.一种自动驾驶对象探测和定位系统，其特征在于，包括立体视觉图像处理模块、卫星导航模块、惯性导航模块及系统紧耦合模块，其中：
立体视觉图像处理模块，采用双目或者多目摄像头获取立体视觉模块的图像数据；
卫星导航模块，用于通过接收机获取卫星导航原始测量数据；
惯性导航模块，用于采用惯性传感器获取惯性导航模块的测量数据；
系统紧耦合模块，用于将所述惯性导航模块测量数据、所述立体视觉模块的图像数据及所述卫星导航原始测量数据进行紧耦合处理，并建立三维环境信息，最后利用深度神经网络模块检测环境中的目标和障碍物；
所述深度神经网络由三维稀疏卷积神经网络、点网神经网络和二者的组合构成；
所述立体视觉图像处理模块、所述卫星导航模块及所述惯性导航模块均与所述系统紧耦合模块连接。


2.如权利要求1所述的自动驾驶对象探测和定位系统，其特征在于，所述立体视觉图像处理模块包含双目或者多目摄像头。


3.一种如权利要求1所述的自动驾驶对象探测和定位的方法，其特征在于，包括以下步骤：
S1：获取立体视觉模块的图像数据、惯性导航模块的测量数据及卫星导航原始测量数据；
S2：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，对惯性导航模块的漂移误差进行修正；
S3：将立体视觉模块的图像数据、卫星导航原始测量数据及所述惯性导航模块的测量数据进行紧耦合，建立三维环境信息，再使用深度神经网络模块判断和分类环境中的目标和障碍物；
S4：深度神经网络使用三维稀疏卷积神经网络、点网神经网络或者是二者的组合。


4.如权利要求3所述的自动驾驶对象探测和定位的方法，其特征在于，所述立体视觉模块采用多目，包括双目摄像头直接方法进行处理，所述图像数据包括在同一时刻多目或者双目立体视觉摄像头之间的视觉差和每一个摄像头在不同时间、位置拍摄到的图像信息来建立环境的三维信息。


5.如权利要求...

【专利技术属性】
技术研发人员：王峰，潘观潮，刘进辉，王宏武，王晓洒，
申请(专利权)人：东莞市普灵思智能电子有限公司，
类型：发明
国别省市：广东;44