一种基于陀螺仪硬件平台的图像全局运动补偿方法技术

本发明专利技术提供一种基于陀螺仪硬件平台的图像全局运动补偿方法。使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。本发明专利技术弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，克服了软件算法只适用于特定环境的缺点。

【技术实现步骤摘要】

本专利技术属于运动目标的检测和跟踪
，具体涉及一种基于陀螺仪硬件平台 的图像全局运动补偿方法。
技术介绍
运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下的运动 目标检测和动态背景下的运动目标检测两大类。静态背景下的运动目标检测是指摄像机在 整个拍摄过程中不发生移动，只有被拍摄的运动目标在摄像机的视场内运动；动态背景下 的运动目标检测是指摄像机在整个拍摄过程中发生了移动，被拍摄目标在摄像机的视场内 也发生了运动，从而产生了目标与摄像机之间的复杂相对运动。但在实际应用中主要是动 态背景下运动目标的检测。 在动态背景下，静止的物体会对动目标检测带来干扰，同时不能得到动目标真实 的运动状态。为了弥补由于摄像机移动造成的背景全局性的运动对图像中动目标检测造成 的影响，需要对图像进行全局运动补偿。对图像进行全局运动补偿的主要有两种思路：一是 通过软件的算法获得背景的运动参数，主要方法有背景差法、光流法等等；二是利用传感器 检测摄像机的运动参量，再转化为图像背景的运动参数。由于现有的软件跟踪算法都是面 向特定的应用环境，具有一定的使用范围，所以不存在一个算法能适应于所有不同的环境。
技术实现思路
本专利技术的目的是提供了，旨在 弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，克服软 件算法只适用于特定环境、不具有通用性的特点。 为了解决上述技术问题，本专利技术提供一种基于陀螺仪硬件平台的图像全局运动补 偿方法：使用摄像机拍摄目标场景图像序列；使用陀螺仪硬件平台获取摄像机在拍摄目标 场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡 尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像 机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成 摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出 目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。所述陀 螺仪硬件平台包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数 字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器 通过控制摄像机的快门控制摄像机拍摄目标场景图像序列；在拍摄如后两帧图像的时间间 隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运 动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数。 本专利技术与现有技术相比，其显著优点在于：（1)由于三轴数字陀螺仪体积小、灵敏 度高，所以硬件平台简单易行，只需要将硬件平台电路板绑定在摄像机上即可；(2)基于 FPGA核心控制处理器的并发执行特点，结合本算法的简洁性，可以实现全局运动补偿的实 时性；（3)本专利技术利用摄像机的运动参数来推算全局运动光流，通用性较强，弥补了软件算 法使用的局限性和不通用性：(4)本专利技术从摄影几何角度出发，结合欧式空间的刚体变化 关系得到图像背景光流与摄像机运动参数的关系，在参数获取与处理过程中，与图像亮度 没有关系，所以在亮度突变的情况下，仍然有着较高的精度。【附图说明】 图1是本专利技术流程图。 图2是本专利技术中陀螺仪硬件平台的结构示意图。【具体实施方式】 如图1所示，本专利技术基于陀螺仪硬件平台的图像全局运动补偿方法为： 使用摄像机拍摄目标场景图像序列，使用陀螺仪硬件平台获取摄像机在拍摄目标 场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡 尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像 机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成 摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出 目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。 所述陀螺仪硬件平台如图2所示，包括FPGA核心控制处理器、三轴数字陀螺仪， FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄 像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列， 同时，在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取 多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运 动参数。 实施例： 本实施例选用的摄像机为Basler acA640-90gc、三轴数字陀螺仪为ADIS16405 ; 摄像机采集到的视频存储至计算机。 一、使用摄像机拍摄目标场景图像序列，使用陀螺仪硬件平台获取摄像机在拍摄 目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度。 首先，根据三轴数字陀螺仪ADIS16405说明书的要求，设置SPI协议的控制信息， 其中主要包括：主从设备之间数据传输的单位为16位，且高位优先；主从设备之间地址总 线的宽度为16位；时钟极性CPOL = 1，即设备在空闲态时，CLK为高电平；时钟相位=1，即 在CLK的下降沿进行数据采样；设置豆=〇,使三轴数字陀螺仪作为从器件。 当FPGA核心控制处理器检测到DIOl的下降沿时，表明三轴数字陀螺仪ADIS16405 已准备好，开始进行摄像机运动参数信息的采集。三轴数字陀螺仪ADIS16405输出的三轴 运动角速度w x，wy，Wz和三轴平移运动加速度ax，ay，a z分别存放在FPGA核心控制处理器中 的寄存器里。FPGA核心控制处理器在摄像机拍摄前后两帧图像，即第N帧图像和第N+1帧 图像的间隔T内，以t为间隔重复η次三轴数字陀螺仪ADIS16405输出数据的采集，再根据 串口协议的通信速率和通信协议，读取RAM中的数据通过串口传输至计算机端。 在计算机端，使用MFC编写串口界面，将计算机端串口接收到的摄像机运动参数 数据显示、处理并存储。一般来说，三轴数字陀螺仪直接获取的摄像机运动参数是三轴数字 陀螺仪的测量值，因为三轴数字陀螺仪的寄存器位数有限，得到的测量值是真实值按照一 定比例缩小后的结果，所以需要根据三轴数字陀螺仪说明书要求，对摄像机旋转角速度测 量值进行数值转换及倍率处理，获 得每组运动参数的真实值。本实施例根据三轴数字陀螺仪ADIS16405的说明书要求，分别 将旋转角速度测量值乘以各自的比例系数 获得角速度参数中间量P和加速度参数中间量q，如公式（1)、（2)所示： p = w*0.05° /s (1) q = a*3. 333mg (2) 其中，w代表角速度参数测量值[wx，wy，wj，a代表加速度参数测量值[a x，ay，aj ; 0. 05和3. 333分别为摄像机旋转角速度参数测量值和摄像机平移运动的加速度测量值所 需要乘以的比例系数；然后判断中间量P和q的二进制首位，若为0,则直接将中间量P和 q转换成十进制表示，若为1，则说明当前P和q为补码形式，需要将其转换为原码后再转换 成十进制表示，获得摄像机旋转角速度参数和摄像机平移运动的加速度的真实值，分别表 示为[W x，Wy，WJ 和[Ax，Ay，AJ。 然后，将T时间内所得的η组参本文档来自技高网...

【技术保护点】
一种基于陀螺仪硬件平台的图像全局运动补偿方法，其特征在于，使用摄像机拍摄目标场景图像序列；使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿；所述陀螺仪硬件平台包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列；在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数。

【技术特征摘要】

【专利技术属性】
技术研发人员：顾国华，孙爱娟，费小亮，周玉蛟，韶阿俊，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32