传感器轨迹与相机图像的时间同步方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及传感器轨迹与相机图像的时间同步方法

【技术实现步骤摘要】
传感器轨迹与相机图像的时间同步方法、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及传感器轨迹与相机图像的时间同步方法
、
设备及存储介质
。

技术介绍

[0002]激光雷达
、
惯性测量单元
(Inertial Measurement Unit
，
IMU)、
相机等多传感器融合系统中，各组件之间的时钟同步是系统运作的基础
。
为了实现点云等信息与相机图像的准确融合，需要对激光雷达或
IMU
等设备产生的三维几何轨迹信息与相机图像信息进行时间同步，才能获得正确的图像与几何位姿对应关系，用于进一步的融合处理
。
[0003]现有的时间同步方案主要以硬件方式实现，包括通过特殊设备，同步触发信号以确保相机图像与系统其它组件间的时间同步
。
[0004]然而，现有的时间同步方案需要设计制作专用硬件电路，成本较高，存在时间同步难度较大的问题
。

技术实现思路

[0005]本申请提供了传感器轨迹与相机图像的时间同步方法
、
设备及存储介质，可以解决时间同步难度较大的问题
。
本申请提供如下技术方案：
[0006]第一方面，提供了一种传感器轨迹与相机图像的时间同步方法，所述方法包括：
[0007]获取相机图像；
[0008]基于每帧相机图像和与所述每帧相机图像相邻的下一帧图像，确定所述相机图像中相邻帧图像之间的相机偏航角度；
[0009]基于所述相机偏航角度和所述相邻帧图像之间的时间差，确定所述相邻帧图像之间的相机偏转角速度；
[0010]获取传感器惯导轨迹和相机外参数；
[0011]基于所述惯导轨迹和所述相机外参数，确定所述惯导轨迹中每个轨迹帧对应的相机自身角速度；
[0012]基于所述每帧相机图像的相机偏转角速度和对应的时间戳
、
所述每个轨迹帧对应的相机自身角速度的线性插值函数，确定目标函数；所述目标函数用于将相机时间转化为轨迹时间
。
[0013]可选地，所述基于每帧相机图像和与所述每帧相机图像相邻的下一帧图像，确定所述相机图像中相邻帧图像之间的相机偏航角度，包括：
[0014]确定每帧相机图像和所述下一帧图像之间的关系点；所述每帧相机图像中的关系点与所述下一帧图像中的关系点一一对应；
[0015]基于所述每帧相机图像中的关系点坐标和所述下一帧图像中对应的关系点坐标，确定相邻帧图像之间的基本矩阵；
[0016]获取相机参数矩阵；
[0017]基于所述基本矩阵和所述相机参数矩阵，确定相邻帧亮度图像之间的本质矩阵；
[0018]对所述本质矩阵进行分解，得到相机旋转矩阵；
[0019]基于所述相机旋转矩阵，提取得到相邻帧亮度图像之间的偏航角度
。
[0020]可选地，所述关系点包括角点；所述确定每帧相机图像和所述下一帧图像中的关系点，包括：
[0021]将每帧相机图像转化为单通道的亮度图像；
[0022]分别对每帧亮度图像进行角点检测，确定所述每帧相机图像和所述下一帧图像中的关系点
。
[0023]可选地，所述确定所述每帧亮度图像中的角点之后，还包括：
[0024]在与所述每帧亮度图像相邻的下一帧亮度图像中的角点中，确定出与所述每帧亮度图像中的角点对应的对应点；
[0025]在未确定出所述对应点的情况下，将所述每帧亮度图像中的角点删除
。
[0026]可选地，所述关系点包括特征点；所述确定每帧相机图像和所述下一帧图像之间的关系点，包括：
[0027]在所述每帧相机图像和所述下一帧图像中，分别提取特征点；
[0028]根据所述特征点的描述信息进行相似度匹配，确定所述每帧相机图像和所述下一帧图像之间的关系点
。
[0029]可选地，所述确定每帧相机图像和所述下一帧图像之间的关系点，还包括：
[0030]在当前帧相机图像与所述当前帧相机图像的下一帧图像之间的关系点数量小于预设数量的情况下，将所述当前帧相机图像删除
。
[0031]可选地，所述关系点的数量为
n
，所述
n
为大于0的整数；所述基于每帧相机图像和与所述每帧相机图像相邻的下一帧图像，确定所述相机图像中相邻帧图像之间的相机偏航角度，还包括：
[0032]在相机与被拍摄物体之间距离大于预设距离的情况下，获取所述相机参数矩阵；
[0033]提取所述相机参数矩阵中的第一参数
f
x
和第二参数
c
x
；
[0034]所述相邻帧图像之间的相机偏航角度为：
[0035][0036]式中，为第
i
帧相机图像中的第
k
个关系点的横坐标；为第
i+1
帧相机图像中的第
k
个关系点的横坐标；其中，
k
为大于0且小于或者等于所述
n
的整数
。
[0037]可选地，所述基于所述惯导轨迹和所述相机外参数，确定所述惯导轨迹中每个轨迹帧对应的相机自身角速度，包括：
[0038]按照所述相机外参数对所述惯导轨迹进行外参变换，得到所述惯导轨迹中每个轨迹帧对应的相机朝向矩阵：
[0039]基于所述相机朝向矩阵，确定相机坐标系下，相邻轨迹帧之间的相对旋转矩阵；
[0040]从所述相对旋转矩阵提取得到所述相邻轨迹帧之间的轨迹偏航角度；
[0041]基于所述轨迹偏航角度和所述相邻轨迹帧之间的时间差，得到所述相机自身角速度
。
[0042]第二方面，提供一种电子设备，包括存储器
、
控制器以及存储在存储器上并可在控制器上运行的计算机程序，所述控制器执行所述计算机程序时实现上述传感器轨迹与相机图像的时间同步方法的步骤
。
[0043]第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的传感器轨迹与相机图像的时间同步方法
。
[0044]本申请的有益效果在于：获取相机图像；基于每帧相机图像和与每帧相机图像相邻的下一帧图像，确定相机图像中相邻帧图像之间的相机偏航角度；基于相机偏航角度和相邻帧图像之间的时间差，确定相邻帧图像之间的相机偏转角速度；获取传感器惯导轨迹和相机外参数；基于惯导轨迹和相机外参数，确定惯导轨迹中每个轨迹帧对应的相机自身角速度；基于每帧相机图像的相机偏转角速度和对应的时间戳
、
每个轨迹帧对应的相机自身角速度的线性插值函数，确定目标函数；目标函数用于将相机时间转化为轨迹时间
。
可以解决时间同步难度较大的问题
。
通过相机偏转角速度<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种传感器轨迹与相机图像的时间同步方法，其特征在于，所述方法包括：获取相机图像；基于每帧相机图像和与所述每帧相机图像相邻的下一帧图像，确定所述相机图像中相邻帧图像之间的相机偏航角度；基于所述相机偏航角度和所述相邻帧图像之间的时间差，确定所述相邻帧图像之间的相机偏转角速度；获取传感器惯导轨迹和相机外参数；基于所述惯导轨迹和所述相机外参数，确定所述惯导轨迹中每个轨迹帧对应的相机自身角速度；基于所述每帧相机图像的相机偏转角速度和对应的时间戳
、
所述每个轨迹帧对应的相机自身角速度的线性插值函数，确定目标函数；所述目标函数用于将相机时间转化为轨迹时间
。2.
根据权利要求1所述的方法，其特征在于，所述基于每帧相机图像和与所述每帧相机图像相邻的下一帧图像，确定所述相机图像中相邻帧图像之间的相机偏航角度，包括：确定每帧相机图像和所述下一帧图像之间的关系点；所述每帧相机图像中的关系点与所述下一帧图像中的关系点一一对应；基于所述每帧相机图像中的关系点坐标和所述下一帧图像中对应的关系点坐标，确定相邻帧图像之间的基本矩阵；获取相机参数矩阵；基于所述基本矩阵和所述相机参数矩阵，确定相邻帧亮度图像之间的本质矩阵；对所述本质矩阵进行分解，得到相机旋转矩阵；基于所述相机旋转矩阵，提取得到相邻帧亮度图像之间的偏航角度
。3.
根据权利要求2所述的方法，其特征在于，所述关系点包括角点；所述确定每帧相机图像和所述下一帧图像中的关系点，包括：将每帧相机图像转化为单通道的亮度图像；分别对每帧亮度图像进行角点检测，确定所述每帧相机图像和所述下一帧图像中的关系点
。4.
根据权利要求3所述的方法，其特征在于，所述确定所述每帧亮度图像中的角点之后，还包括：在与所述每帧亮度图像相邻的下一帧亮度图像中的角点中，确定出与所述每帧亮度图像中的角点对应的对应点；在未确定出所述对应点的情况下，将所述每帧亮度图像中的角点删除
。5.
根据权利要求2所述的方法，其特征在于，所述关系点包括特征点；所述确定每帧相机图像和所述下一帧图像之间的关系点，包括：在所述每帧相机图像和所述下一帧图像中，分别提取特征点；根据所述特征点的描述信息进行相似度匹配，确定所述每帧相机图像和所述下一帧图...

【专利技术属性】
技术研发人员：余崇圣，杜渊洋，李浏阳，孙士腾，杨秀义，余蒙，陈方圆，许家铭，
申请(专利权)人：苏州知至科技有限公司，
类型：发明
国别省市：