一种基于惯性数据和视觉特征的室内定位方法和装置制造方法及图纸

本发明专利技术公开一种基于惯性数据和视觉特征的室内定位技术并公开相应的实现装置，实现步骤。具体技术包括：(1)多传感器数据处理：相机标定，图像特征提取方法；IMU数据建模及滤波方法；(2)多传感器坐标系标定：系统建模，相对姿态标定，相对位姿联合标定；(3)融合惯性数据和视觉特征的室内定位跟踪技术。本发明专利技术相比于目前传统的单相机跟踪具有以下优势：单相机跟踪基于匀速运动的简单假设，本发明专利技术使用IMU的惯性数据能提供更好的预测，使得特征匹配时的搜索区域更小，匹配速度更快，跟踪结果更准确而且大大提高了在图像退化和无纹理区域相机跟踪的鲁棒性。

An indoor positioning method and device based on inertial data and visual features

The invention discloses an indoor positioning technology based on inertial data and visual features, and discloses corresponding realizing devices and realizing steps. Specific technologies include: (1) multi sensor data processing: camera calibration, image feature extraction method; method of modeling and filtering of IMU data; (2) calibration of multiple sensor coordinate system: system modeling, relative attitude calibration, relative pose calibration; (3) tracking technology of indoor positioning data fusion with inertial and visual features. The present invention compared with the following advantages to the traditional single camera tracking is simple: assuming uniform motion based on single camera tracking and prediction of inertial data used in the invention of IMU can provide better features, making smaller search area matching, the matching speed faster, more accurate tracking results and greatly improve the image degradation and no robust texture region tracking camera.

【技术实现步骤摘要】
一种基于惯性数据和视觉特征的室内定位方法和装置
本专利技术涉及一种室内定位方法和装置，具体涉及一种基于惯性数据和视觉特征的室内定位方法和装置。
技术介绍
在移动机器人相关技术研究中，导航技术属于其核心技术，也是实现智能化和自主移动的关键技术，其中基于视觉传感器的机器人导航技术是目前国内外应用比较普遍导航技术。随着应用场景越来越复杂，导航精度要求越来越高，仅仅依靠视觉传感器已难以满足处理速度以及系统鲁棒性的要求：在少纹理区域场景，高速运动或抖动引起图像模糊场景因无法进行有效的特征跟踪而使视觉导航表现不佳。随着低成本微机电惯性测量模块的出现，使解决上述问题成为了可能。
技术实现思路
为解决上述问题，本专利技术提出一种基于惯性数据和视觉特征的室内定位方法和装置，其与纯视觉相机跟踪技术相比鲁棒性更高，使用范围更广，三维运动更加流畅；系统构造简洁，在成本增加不大的情况下，极大的提高了系统的抗干扰能力，适用于少纹理区域以及高速运动，抖动等无法进行纯视觉跟踪的场景。为实现上述目的，本专利技术公开了如下技术方案：一种基于惯性数据和视觉特征的室内定位方法，包括如下步骤：S1多传感器数据处理；S101使用已知尺寸的标定板静态完成相机标定；S102获取图像，并提取图像特征点：Harris、corner、sift特征；S103IMU原始数据处理：大野外值滤除，零飘滤除；S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；S2多传感器坐标系标定：S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；S3融合惯性数据和视觉特征的相机定位跟踪：S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。进一步的，所述步骤S1中，相机使用Ueyes工业相机，分辨率位640*480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素；IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。进一步的，所述步骤S2中，多传感器坐标系标定的过程使用标定板，先把标定板竖直放置，利用重力方向和标定板放置方向同向的属性，给出相机和IMU的相对姿态初值；IMU测得的惯性数据建立运动模型，相机获取标定板图像，提取角点特征作为观测模型，之后利用角点的全局唯一性存在来构造以IMU和CAM之间相对位姿为优化参数的最小二乘估计，以前面确定的IMU和CAM姿态为初始点进行迭代求解。进一步的，所述步骤S3中，在两帧图像之间，记录IMU数据并进行累加运算，获取两帧之间IMU的位姿变换，利用CAM和IMU之间固定的变换关系，转换成CAM的位姿变换，再根据相机内参矩阵获得上一帧的特征坐标在当前帧的坐标；相机拍摄自然场景照片，提取出图像特征，计算出特征坐标，跟IMU获取的特征坐标进行对比，修正更新相机的当前位姿。本专利技术还公开一种基于惯性数据和视觉特征的室内定位装置，包括：惯性数据采集模块，由一系列惯性数据测量单元组成，实时感应IMU的旋转角度信息，加速度信息及平移速度信息；图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行Harris、SIFT特征提取；数据通信融合模块，实现各个传感器和主控模块的通信，其接口包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后要进行时间戳对齐，包括时间戳插值和平滑；多传感器位姿标定模块，需要使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系，再以IMU为中心建立运动模型，以相机为中心建立观测模型，以前面得到的姿态关系为初始值进行迭代计算，获得CAM/IMU相对位姿关系；相机追踪模块，使用连续两帧图像之间的IMU数据进行迭代运算，利用CAM/IMU之间固定的相对位姿，得到相机当前位置的一个预测；再利用相机对同一个特征的观测信息，对相机的当前位置进行修正；利用预测和观测的协方差信息进行信息融合得到一个最小二乘意义下的最优估计作为当前相机位置的准确值；硬件支持模块，包括相互连接的相机、IMU本体及后端计算平台；数据可视化模块，包括但不限于图像特征、相机三维运动轨迹、特征反投影方差、相机运动方差数据的显示。本专利技术公开的一种基于惯性数据和视觉特征的室内定位方法和装置，具有以下有益效果：1.本专利技术对比传统的纯视觉相机跟踪，具有跟踪精度更高，鲁棒性更强的特点：融合的惯性数据，可以建立更加准确的相机运动轨迹预测；在此基础上，可以对上一帧的图像特征进行准确预判，从而减少搜索区域提高特征定位精度，准确的图像特征又对相机的位姿轨迹进行修正；经过不断的预测和修正后位姿轨迹，比纯视觉相机跟踪结果相比，方差缩小近10倍，轨迹跟踪更平滑，更鲁棒；2.本专利技术提出一种有效IMU和CAM坐标系标定方法，先利用标定板竖直放置和重力加速度同向的属性给出一个姿态初值；之后利用已知尺寸的标定板和相机建立观测模型，IMU数据建立运动模型，在卡尔曼滤波框架下建立最小二乘估计迭代求解。特征跟踪实验证明，使用此方法标定的参数符合预期。3.本专利技术装置构造简单，标定工具仅使用相机标定板，制作简单；使用重力在两个坐标系的投影的姿态标定方法简洁明了，能满足实际上需要。本装置模块与主机间的通讯使用成熟的USB，232串口，网口等标准工业接口，便于移植和拓展。附图说明图1为本专利技术的相机跟踪系统整体功能模块图；图2为本专利技术装置中相机和IMU相对姿态示意图；图3为本专利技术中IMU/CAM坐标系标定实验方案流程图；图4为本专利技术中纯相机和IMU辅助的特征跟踪验证实验；图5为本专利技术中基于惯性数据和视觉特征的相机跟踪原理图；图6为本发本文档来自技高网...

【技术保护点】
一种基于惯性数据和视觉特征的室内定位方法，其特征在于，包括如下步骤：S1多传感器数据处理；S101使用已知尺寸的标定板静态完成相机标定；S102获取图像，并提取图像特征点：Harris、corner、sift特征；S103IMU原始数据处理：大野外值滤除，零飘滤除；S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；S2多传感器坐标系标定：S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；S3融合惯性数据和视觉特征的相机定位跟踪：S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。...

【技术特征摘要】
1.一种基于惯性数据和视觉特征的室内定位方法，其特征在于，包括如下步骤：S1多传感器数据处理；S101使用已知尺寸的标定板静态完成相机标定；S102获取图像，并提取图像特征点：Harris、corner、sift特征；S103IMU原始数据处理：大野外值滤除，零飘滤除；S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；S2多传感器坐标系标定：S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；S3融合惯性数据和视觉特征的相机定位跟踪：S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。2.根据权利要求1所述的一种基于惯性数据和视觉特征的室内定位方法，其特征在于，所述步骤S1中，相机使用Ueyes工业相机，分辨率位640*480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素；IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获...

【专利技术属性】
技术研发人员：安洪强，孙福斋，辛悦吉，
申请(专利权)人：青岛海通胜行智能科技有限公司，
类型：发明
国别省市：山东,37