【技术实现步骤摘要】
本专利技术属于计算机视觉，特别涉及一种基于线特征的卷帘快门捆绑调整方法。
技术介绍
1、由于卷帘快门rs(rolling shutter)成本低廉、能耗更低、帧率更高，已经广泛配置于cmos相机中，与ccd相机以及全局快门gs(global shutter)相比，卷帘快门以逐行扫描的方式曝光，因此拍摄时当卷帘快门相机快速移动或物体快速移动时，拍摄的图片将会出现扭曲，我们将这种效应称为卷帘快门效应或果冻效应。
2、对于空间中的直线而言，若使用gs相机拍摄，那么三维直线映射到二维像素平面时将会变成一条二维直线，但是使用rs相机拍摄时，由于rs效应，拍摄出来的直线可能会变成一条二维曲线，因此它破坏了sfm和slam中的关键步骤，包括绝对和相对相机姿态估计以及捆绑调整ba等。
3、空间中的直线有4个自由度，而plücker参数化方法需要使用6个参数表示直线，这样就会导致过参数化，过参数化在优化的时候就需要采用带约束的优化，不太方便。于是引入了可以用4个参数更新直线的正交表示来方便优化。这两种参数化方法可以很方便的相互转换，一般在slam等系统中同时使用这两种参数化形式，在初始化和进行空间变换的时候使用plücker坐标，在优化的时候使用正交表示。
4、在捆绑调整中选定优化目标和优化函数至关重要，目前基于rs模型的ba停留在优化特征点上，包括以视频流为输入和以无序图片为输入。视频流的假设相机具有平滑连续轨迹，以减少优化参数空间，增强算法的鲁棒性，一般用于slam等任务。无序图片输入则是是sfm的标准输入
5、尽管基于点的rsba和基于线的gsba现有的工作已经显示出了良好的结果，然而它们都不适用于特征点较少的人造环境，且由于rs模型优化过程中参数过多，往往容易发生退化。因此基于线的rsba是推动rs成像系统广泛应用的重要一步。
技术实现思路
1、为克服现有技术的不足，本专利技术提出一种基于线特征的卷帘快门捆绑调整方法，以通过独立的卷帘快门模型和卷帘快门相机测量的几何形状来估计相机位姿。
2、为实现上述目的，本专利技术所采用的技术方案如下：
3、一种基于线特征的卷帘快门捆绑调整方法，其特征在于，包括以下步骤：
4、步骤s1：特征线的匹配与检测；
5、步骤s2：初始化特征线；初始化得到特征线的普吕克三维坐标、相机的初始旋转矩阵、初始位移向量以及相机的旋转角速度与平移线速度；
6、步骤s3：计算重投影误差；将特征线的普吕克三维坐标重投影得到新的二维坐标，使用测量曲线上的点到投影曲线的距离和测量曲线上的点的斜率误差的加权和作为重投影误差函数；
7、步骤s4：优化误差函数更新初始数据；将直线的普吕克三维坐标转为正交表示法，减小误差函数并更新特征线的三维坐标、相机的初始旋转矩阵、初始位移向量以及相机的旋转角速度与线速度；
8、步骤s5：迭代；迭代s3和s4直到达到迭代次数或者满足迭代停止条件。
9、优选的，步骤s1包括：从卷帘快门相机拍摄的图像中进行特征线的检测与匹配，得到特征线的二维坐标，并从特征线上取5～7个特征点。
10、优选的，所述步骤s1的特征线匹配与检测执行为：首先由卷帘快门相机拍摄得到图像，随后使用lsd任意线的检测方法对图像中的特征线进行检测，将小段线段拼接成一条近似曲线形成测量曲线，并对该测量曲线进行匹配，从中提取特征线的二维坐标，并从该曲线上选取5到7个特征点。
11、优选的，所述步骤s2的初始化特征线执行为：将二维特征的测量曲线近似成直线，利用全局快门相机的算法估计相机位姿以及三维空间线的坐标作为初始值，得到测量曲线的特征线的普吕克三维坐标、相机的初始旋转矩阵、初始位移向量，同时初始化相机的旋转角速度与线速度为0。
12、优选的，所述步骤s3的计算重投影误差执行为：
13、假设卷帘快门相机的内参k作为已知矩阵，设置两个重投影误差函数，将两个重投影误差加权和作为最终的重投影误差函数；
14、其中，两个重投影误差函数包括：测量曲线上的点到投影曲线的距离误差和测量曲线上的点的斜率和投影曲线对应点的斜率的误差。
15、优选的，所述步骤s3的计算重投影误差具体执行为：
16、计算rs相机的投影矩阵；
17、使用非线性最小二乘求解器最小化重投影误差得到θ*，θ*包含三维坐标值τ*、相机的旋转矩阵r*，位移向量t*，以及相机的瞬时运动角速度ω*和线速度d*
18、再将重投影误差分为两部分：第一部分为测量曲线和投影曲线的距离误差，第二部分为测量曲线和投影曲线的斜率误差；
19、将第一部分和第二部分呢的两个重投影误差加权和作为最终的重投影误差函数。
20、优选的，rs相机的投影矩阵的计算公式如下：
21、pv＝k[rv,tv]＝p0+vq
22、p0＝k[r0,t0],q＝k[[ω]×r0,d]
23、rv＝(i+[ω]×v)r0,tv＝t0+dv
24、其中，p0表示gs投影矩阵，pv表示rs投影矩阵，r0为相机的旋转矩阵，t0为平移向量，rv为曝光第v行时相机的旋转矩阵，tv为曝光第v行时相机的平移向量，ω为角速度，d为线速度，i为单位矩阵，v为像素坐标的行号，[]×为反对称矩阵；
25、θ*计算公式如下：
26、
27、第一部分为表示为：
28、
29、其中l1、l2、l3为投影的直线系数，u,v为测量曲线上取的二维点的坐标；
30、第二部分为表示为：
31、et＝sts'
32、
33、其中，s′为测量曲线的切线斜率，s为投影曲线的切线斜率。
34、优选的，所属步骤s4的优化误差函数更新初始数据执行为：将空间直线的6自由度plücker三维坐标转化为4自由度的正交表示法，优化直线正交表示法的参数：相机的初始旋转矩阵、初始位移向量以及相机的旋转角速度与线速度。
35、优选的，将空间直线的6自由度plücker三维坐标转化为4自由度的正交表示法，具体步骤为：
36、
37、其中，n,a为plücker表示法中的法向量和直线方向，为直线的正交表示法的4个参数。
38、优选的，利用rs相机的投影矩阵计算散点到投影曲线的距离，具体步骤为：
39、
40、将l1、l2、l3代入到第一部分中的公式中即可得到曲线距本文档来自技高网...
【技术保护点】
1.一种基于线特征的卷帘快门捆绑调整方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：步骤S1包括：从卷帘快门相机拍摄的图像中进行特征线的检测与匹配，得到特征线的二维坐标，并从特征线上取5～7个特征点。
3.如权利要求2所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所述步骤S1的特征线匹配与检测执行为：首先由卷帘快门相机拍摄得到图像，随后使用LSD任意线的检测方法对图像中的特征线进行检测，将小段线段拼接成一条近似曲线形成测量曲线，并对该测量曲线进行匹配，从中提取特征线的二维坐标，并从该曲线上选取5到7个特征点。
4.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所述步骤S2的初始化特征线执行为：将二维特征的测量曲线近似成直线，利用全局快门相机的算法估计相机位姿以及三维空间线的坐标作为初始值，得到测量曲线的特征线的普吕克三维坐标、相机的初始旋转矩阵、初始位移向量，同时初始化相机的旋转角速度与线速度为0。
5.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，
6.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所述步骤S3的计算重投影误差具体执行为：
7.如权利要求6所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：RS相机的投影矩阵的计算公式如下：
8.如权利要求7所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所属步骤S4的优化误差函数更新初始数据执行为：将空间直线的6自由度Plücker三维坐标转化为4自由度的正交表示法，优化直线正交表示法的参数：相机的初始旋转矩阵、初始位移向量以及相机的旋转角速度与线速度。
9.如权利要求8所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：将空间直线的6自由度Plücker三维坐标转化为4自由度的正交表示法，具体步骤为：
10.如权利要求9所述的基于线特征的卷帘快门捆绑调整方法，其特征在于，
...【技术特征摘要】
1.一种基于线特征的卷帘快门捆绑调整方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：步骤s1包括：从卷帘快门相机拍摄的图像中进行特征线的检测与匹配，得到特征线的二维坐标，并从特征线上取5～7个特征点。
3.如权利要求2所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所述步骤s1的特征线匹配与检测执行为：首先由卷帘快门相机拍摄得到图像，随后使用lsd任意线的检测方法对图像中的特征线进行检测，将小段线段拼接成一条近似曲线形成测量曲线，并对该测量曲线进行匹配，从中提取特征线的二维坐标，并从该曲线上选取5到7个特征点。
4.如权利要求1所述的基于线特征的卷帘快门捆绑调整方法，其特征在于：所述步骤s2的初始化特征线执行为：将二维特征的测量曲线近似成直线，利用全局快门相机的算法估计相机位姿以及三维空间线的坐标作为初始值，得到测量曲线的特征线的普吕克三维坐标、相机的初始旋转矩阵、初始位移向量，同时初始化相机的旋转角速...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。