本发明专利技术提供了一种基于双模态相机的快速电子防抖方法，将红外相机和可见光相机固定在同一个平面进行刚性连接，标定两个相机实际竖直方向移动量与像素移动量之间的关系，测量红外相机和可见光相机之间的水平距离；控制红外相机和可见光相机同时进行曝光，得到红外相机和可见光相机前一帧图像和后一帧图像；使用两个相机之间的关系和不同相机之间的优势，避开直接对特征点少的图像进行运动估计，解决常规情况下红外特征点少导致的防抖效果不好的问题以及由于低照度条件导致的图像特征点有限从而使得防抖方法失效的问题。
【技术实现步骤摘要】
本专利技术涉及双模态相机，特别是一种基于双模态相机的快速电子防抖方法。
技术介绍
1、多孔径相机和传统的单孔径相机有显著的区别。传统的单孔径相机通常只有一个镜头和一个相机，能够从单一角度或位置捕捉图像。而多孔径相机则包含多个镜头与多个相机，可以同时捕捉来自不同角度、位置甚至不同类型的图像。最常见的多孔径相机是双模态相机，包含可见光和红外相机，这些不同模态的图像可以提供更丰富的信息，提升图像质量，并支持各种计算摄影技术。多孔径相机在监控、无人机、军用夜视等领域发挥着关键作用，但由于其包含多个相机，面对抖动问题时，防抖就变得更具挑战性。相较于传统的单孔径相机，多孔径相机需要同时解决多个相机的视频防抖问题，因此防抖难度更大。
2、现有的电子防抖技术主要分为两类，一是使用陀螺仪获得相机的运动，通过相机的运动反向对视频进行补偿，从硬件中获得运动参数实现电子防抖；二是计算相机视频的图像运动，通过图像的运动反向进行补偿，从图像中获得运动参数实现电子防抖。基于陀螺仪的电子防抖技术在速度、实用性和运动估计方面表现出色，但在实际使用场景下，使用陀螺仪进行防抖可能受到硬件设备的制约，因此在某些情况下不适用。另一方面，通过计算图像运动并利用算法实现的电子防抖方法在面对低照度条件导致的图像中特征点非常有限的情况时，由于无法获取足够的特征点信息，从而无法进行运动估计，这就导致防抖失效；同时对于多孔径相机而言，基于图像处理的电子防抖方法计算成本较高，因为它需要处理多个视频流，分别对每个视频进行补偿，对于需要实时性能的场景来说，效果可能不够理想。</p>
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于双模态相机的快速电子防抖方法，使用两个相机之间的关系和不同相机之间的优势，避开直接对特征点少的图像进行运动估计，解决常规情况下红外特征点少导致的防抖效果不好的问题以及由于低照度条件导致的图像特征点有限从而使得防抖方法失效的问题。
2、为实现上述目的，本专利技术采用如下技术方案：一种基于双模态相机的快速电子防抖方法，将红外相机和可见光相机固定在同一个平面进行刚性连接，标定两个相机实际竖直方向移动量与像素移动量之间的关系，测量红外相机和可见光相机之间的水平距离；控制红外相机和可见光相机同时进行曝光，得到红外相机和可见光相机前一帧图像和后一帧图像；
3、在常规使用中，利用金字塔光流获得可见光相机前后帧的角点集，使用最小二乘法利用角点集得到其仿射变化，使用卡尔曼滤波获得可见光相机稳定的仿射变化矩阵，拆分可见光矩阵通过两相机之间的位置关系进行补偿重建红外相机的稳定矩阵，利用得到的稳定矩阵对两相机前一帧图像进行稳定；循环获取红外相机和可见光相机前后帧图像，使用可见光相机稳定的仿射变化矩阵和重建的红外相机稳定矩阵稳定两相机前一帧图像，从而稳定视频流。
4、在低照度条件下，利用金字塔光流获得红外相机前后帧的角点集，使用最小二乘法利用角点集得到其仿射变化，使用卡尔曼滤波获得红外相机稳定的仿射变化矩阵，拆分红外矩阵通过两相机之间的位置关系进行补偿重建可见光相机的稳定矩阵，利用得到的稳定矩阵对两相机前一帧图像进行稳定；循环获取可见光相机和红外相机前后帧图像，使用红外相机稳定的仿射变化矩阵和重建的可见光相机稳定矩阵稳定两相机前一帧图像，从而稳定视频流。
5、在一较佳的实施例中：
6、在常规使用中，使用标定的方法，获取红外相机当前位置画面与提升y实际红外后的画面，将两个画面在竖直方向的像素差记为y像素红外；测量可见光相机到红外相机的水平距离为l1；将可见光相机和红外相机放置平台上，控制可见光相机和红外相机同时进行曝光，使用时间戳确定同步曝光准确性，分别获取可见光相机和红外相机的前一帧图像i前可见、i前红外；对可见光相机的前一帧图像i前可见使用角点检测方法获取其前一帧的角点位置点集p前可见；
7、在低照度条件下，使用标定的方法，获取可见光相机当前位置画面与提升y实际可见后的画面，将两个画面在竖直方向的像素差记为y像素可见；测量红外相机到可见光相机的水平距离为l2；将红外相机和可见光相机放置平台上，控制红外相机和可见光相机同时进行曝光，使用时间戳确定同步曝光准确性，分别获取红外相机和可见光相机的前一帧图像i前红外、i前可见；对红外相机的前一帧图像i前红外使用角点检测方法获取其前一帧的角点位置点集p前红外。
8、在一较佳的实施例中：
9、在常规使用中，再次获取可见光相机和红外相机的下一帧图像i后可见、i后红外；通过可见光相机前后帧图像i前可见、i后可见和前一帧角点位置信息p前可见使用金字塔光流获取可见光下一帧角点p后可见；通过可见光相机前后帧的角点p前可见、p后可见使用最小二乘法得到可见光相机最优仿射变化矩阵t1，即：
10、
11、使用卡尔曼滤波重建可见光相机稳定的仿射变化矩阵t可见；
12、在低照度条件下，再次获取红外相机和可见光相机的下一帧图像i后红外、i后可见；通过红外相机前后帧图像i前红外、i后红外和前一帧角点位置信息p前红外使用金字塔光流获取可见光下一帧角点p后红外；通过红外相机前后帧的角点p前红外、p后红外使用最小二乘法得到红外相机最优仿射变化矩阵t2，即：
13、
14、使用卡尔曼滤波重建红外相机稳定的仿射变化矩阵t红外。
15、在一较佳的实施例中：
16、在常规使用中，通过红外相机与可见光相机之间的几何关系对可见光相机t可见中的x方向移动dx可见、y方向移动dy可见和角度变化dθ可见进行补偿，得到红外相机的前后帧x方向移动dx红外，y方向移动dy红外和角度变化dθ红外，重建红外相机的仿射变化矩阵t红外，从而稳定红外相机画面；
17、由于红外相机和可见光相机固定在同一个平面进行刚性连接且前后帧时间间隔小，认为：
18、
19、由于相机在同一平面刚性连接，认为红外相机的上下晃动是可见光相机旋转带动红外相机旋转而产生的上下晃动与平台整体上下晃动的叠加。可见光相机逆时针旋转，则记红外相机向下移动量为y1，y1具体为l1*dθ可见(dθ可见逆时针为正)，再将y1乘以实际相机移动量与像素移动量的比值即为由于可见光相机旋转带动红外相机旋转的y方向移动量，顺时针同理；平台整体上下晃动，则记平台整体移动量为dy可见。即：
20、dy红外＝dy可见-l1*dθ可见*y像素红外/y实际红外
21、将补偿得到的x方向移动dx红外，y方向移动dy红外和角度变化dθ红外用于重建红外相机的仿射变化矩阵t红外；
22、在低照度条件下，通过可见光相机与红外相机之间的几何关系对红外相机t红外中的x方向移动dx红外、y方向移动dy红外和角度变化dθ红外进行补偿，得到可见光相机的前后帧x方向移动dx可见，y方向移动dy可见和角度变化dθ可见，重建可见光相机的仿射变化矩阵t可见，从而稳定可见光相机画面；
23、由于红外相机和可见光相机本文档来自技高网
...
【技术保护点】
1.一种基于双模态相机的快速电子防抖方法，其特征在于，将红外相机和可见光相机固定在同一个平面进行刚性连接，标定两个相机实际竖直方向移动量与像素移动量之间的关系，测量红外相机和可见光相机之间的水平距离；控制红外相机和可见光相机同时进行曝光，得到红外相机和可见光相机前一帧图像和后一帧图像；
2.根据权利要求1所述的一种基于双模态相机的快速电子防抖方法，其特征在于：
3.根据权利要求2所述的一种基于双模态相机的快速电子防抖方法，其特征在于：
4.根据权利要求3所述的一种基于双模态相机的快速电子防抖方法，其特征在于：
5.根据权利要求4所述的一种基于双模态相机的快速电子防抖方法，其特征在于：
【技术特征摘要】
1.一种基于双模态相机的快速电子防抖方法，其特征在于，将红外相机和可见光相机固定在同一个平面进行刚性连接，标定两个相机实际竖直方向移动量与像素移动量之间的关系，测量红外相机和可见光相机之间的水平距离；控制红外相机和可见光相机同时进行曝光，得到红外相机和可见光相机前一帧图像和后一帧图像；
2.根据权利要求1所...
【专利技术属性】
技术研发人员：吴靖，李有立，黄峰，
申请(专利权)人：福州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。