增量式平移平均化方法、系统、设备技术方案

本发明专利技术属于三维重建中从运动恢复结构技术领域，具体涉及一种增量式平移平均化方法、系统、设备，旨在解决现有平移平均化方法复杂度高、准确度低、鲁棒性差的问题。本方法包括构造外极几何图；构建相机四元组集合，基于局部优化选取初始相机四元组作为初始种子视图；构建第三顶点集合；组成相机三元组，采用基于加权支撑集合的下一最优视图选取策略确定顶点的增量顺序；对当前已估计的绝对位置进行加权局部优化/加权全局优化；对全局优化后的所有已估计绝对位置的顶点进行重平移平均化。本发明专利技术降低了平移平均化方法的复杂度，并提高了绝对位置估计的准确性、鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
增量式平移平均化方法、系统、设备


[0001]本专利技术属于三维重建中从运动恢复结构
，具体涉及一种增量式平移平均化方法、系统、设备。

技术介绍

[0002]从运动恢复结构（structure from motion）是基于图像的大规模场景三维重建中的一个关键步骤，近年来发展迅速，其输入为图像特征匹配，输出为相机绝对位姿和场景结构。根据相机位姿初始化方式的不同，从运动恢复结构大致可以分为增量式与全局式两种。增量式方法通过迭代式的相机位姿估计和场景结构扩展完成对相机位姿与场景结构的初始化，在迭代过程中，为了应对不可避免的特征匹配外值，这一方法还会引入随机抽样一致性（random sample consensus）算法和捆绑调整（bundle adjustment）技术。与增量式方法不同，全局式从运动恢复结构主要利用运动平均化技术完成对相机位姿的初始化，通常包括旋转平均化（rotation averaging）和平移平均化（translation averaging）两步。相比于全局式从运动恢复结构，增量式方法更加频繁地调用基于随机抽样一致性的模型估计算法和基于捆绑调整的参数优化技术，因而其结果也更加地准确和鲁棒。
[0003]平移平均化是指在给定相对平移测量值的情况下对相机的绝对位置进行估计。相对平移测量值一般通过本质矩阵（essential matrix）的估计和分解来获取。与旋转平均化相比，平移平均化的难度更大，其原因有三：1）本质矩阵只蕴含了相对平移的方向信息，分解本质矩阵求得的相对平移存在尺度不确定性问题；2）与相对旋转相比，从本质矩阵中求得的相对平移的精度更容易受到错误特征匹配的影响；3）只有在同一平行刚性组（parallel rigid component）中的相机才能通过平移平均化的方式被唯一估计，而旋转平均化只需要所有相机在同一连通组（connected component）中即可。目前，平移平均化问题虽然已被广泛研究，但与旋转平均化相比，其远未解决且一直是一个热点话题。
[0004]现有的平移平均化方法主要侧重于以下三个方面：1）设计合适的代价函数形式和优化方案；2）研究对外极几何图的滤除/优化策略；3）引入辅助信息，如特征轨迹、相机三元组或秩约束等。尽管上述方法已经取得了不错的结果，但由于过度依赖于复杂的目标函数形式与优化，设计精巧的初始化操作，或者其他附加信息，这些方法的复杂度更高，效率更低，此外，准确性和鲁棒性依然是它们面临的关键挑战。受增量式从运动恢复结构方法的启发，本专利技术提出了一种增量式平移平均化方法。

技术实现思路

[0005]为了解决现有技术中的上述问题，即为了解决现有的平移平均化方法复杂度高、准确度低、鲁棒性差的问题，本专利技术第一方面，提出了一种增量式平移平均化方法，应用于全局式从运动恢复结构中相机绝对位置的求解，该方法包括：步骤S100，获取多帧图像，进行两两图像之间的特征匹配，根据外极几何关系构造外极几何图，进而计算匹配图像对之间的相对旋转和相对平移；其中，为顶点集
合，表示场景中拍摄图像的相机集合，为边集合，表示拍摄不同图像的相机两两之间的外极几何边的集合，包含了相机之间的运动信息；步骤S200，选取所述外极几何图中特征匹配数量最多的前条边构成的相机四元组，构建四元组集合，并计算在局部坐标系下所述四元组集合的各相机四元组中的每一个相机的绝对位置；结合各相机的绝对位置，计算所述四元组集合中的各相机四元组的选取代价，并将选取代价最大的相机四元组对应的视图作为初始种子视图；步骤S300，基于所述初始种子视图对应的顶点构建已估计绝对位置的顶点集合，作为第一顶点集合，将所述外极几何图中未估计绝对位置的顶点集合，作为第二顶点集合；选取第二顶点集合中与第一顶点集合中所有顶点连接边数最多的前个顶点，构建第三顶点集合；步骤S400，将所述第三顶点集合中的每个顶点与所述第一顶点集合中的顶点组成相机三元组，并通过线性三焦张量求解法计算所述第三顶点集合中各顶点的绝对位置；根据求得的绝对位置计算各顶点的选取代价，并将选取代价最大的顶点对应的视图作为下一最优视图；步骤S500，固定第一顶点集合中已估计的相机绝对位置，仅对最新估计的下一最优视图对应顶点的绝对位置进行加权局部优化；完成加权局部优化后，判断当前已估计绝对位置的顶点数量的增长比率，若该比率大于设定阈值，则对当前所有已估计的绝对位置进行加权全局优化；所述加权局部优化为：对选取的下一最优视图对应顶点的绝对位置，结合第一顶点集合中的绝对位置和第一边集合中各边连接的两个顶点之间测量得到的相对位置，计算各边对应的相对位置误差，作为第一误差；若第一误差小于设定误差阈值，则将对应的边作为内值边，进而基于范数对选取的下一最优视图对应顶点的绝对位置进行加权局部优化；所述第一边集合为第一顶点集合与选取的下一最优视图对应顶点之间外极几何边的集合；所述加权全局优化为：对所有已估计绝对位置的顶点，结合各顶点的绝对位置和两两之间测量得到的相对位置，计算各外极几何边对应的相对位置误差，作为第二误差；若第二误差小于设定误差阈值，则将对应的边作为内值边，进而基于范数对所有已估计绝对位置的顶点的绝对位置进行加权全局优化；加权全局优化完成后，进一步通过所述加权全局优化方法对所有已估计绝对位置的顶点进行重平移平均化；步骤S600，完成所有绝对位置的估计后，输出对所有可估计顶点进行加权全局优化和重平移平均化后的绝对位置，作为各相机绝对位置的最终估计结果。
[0006]在一些优选的实施方式中，计算在局部坐标系下所述四元组集合的各相机四元组中的每一个相机的绝对位置，其方法为：
其中，分别表示在局部坐标系下相机经优化后的绝对位置，表示平方弦距离，为相对平移变换到全局坐标系下的表示，表示中的任一条边，表示四元组集合的任意一个相机四元组，、表示相机的初始绝对位置。
[0007]在一些优选的实施方式中，计算所述四元组集合中的各相机四元组的选取代价，其方法为：其中，表示相机四元组的选取代价，表示相机四元组中每条外极几何边对应的权重。
[0008]在一些优选的实施方式中，根据求得的绝对位置计算各顶点的选取代价，其方法为：其中，表示下一最优视图选择中各顶点的选取代价，为中的一条边，为第三顶点集合中顶点与第一顶点集合中各顶点之间的外极几何边的集合，表示边对应两顶点间的相对位置，表示第一顶点集合中顶点当前的绝对位置估计值，表示每条外极几何边对应的权重。
[0009]在一些优选的实施方式中，在加权局部优化时的内值边获取方法为：在加权局部优化时的内值边获取方法为：其中，表示第一顶点集合与选取的下一最优视图对应顶点之间连接边的集合，为中的任意一条边，表示中的内值边的集合，表示边连接的两个相机之间的相对位置，表示顶点当前的绝对位置估计值，表示
初始化的绝对位置，表示各外极几何边对应的相对位置误差，表示设定的误差阈值。
[0010]在一些优选的实施方式中，基于范数对选取的下一最优视图对应顶点的绝对位置进行加权局部优化，其方法为：其方法为：其中，表示绝对位置加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增量式平移平均化方法，应用于全局式从运动恢复结构中相机绝对位置的求解，其特征在于，该方法包括以下步骤：步骤S100，获取多帧图像，进行两两图像之间的特征匹配，根据外极几何关系构造外极几何图，进而计算匹配图像对之间的相对旋转和相对平移；其中，为顶点集合，表示场景中拍摄图像的相机集合，为边集合，表示拍摄不同图像的相机两两之间的外极几何边的集合，包含了相机之间的运动信息；步骤S200，选取所述外极几何图中特征匹配数量最多的前条边构成的相机四元组，构建四元组集合，并计算在局部坐标系下所述四元组集合的各相机四元组中的每一个相机的绝对位置；结合各相机的绝对位置，计算所述四元组集合中的各相机四元组的选取代价，并将选取代价最大的相机四元组对应的视图作为初始种子视图；步骤S300，基于所述初始种子视图对应的顶点构建已估计绝对位置的顶点集合，作为第一顶点集合，将所述外极几何图中未估计绝对位置的顶点集合，作为第二顶点集合；选取第二顶点集合中与第一顶点集合中所有顶点连接边数最多的前个顶点，构建第三顶点集合；步骤S400，将所述第三顶点集合中的每个顶点与所述第一顶点集合中的顶点组成相机三元组，并通过线性三焦张量求解法计算所述第三顶点集合中各顶点的绝对位置；根据求得的绝对位置计算各顶点的选取代价，并将选取代价最大的顶点对应的视图作为下一最优视图；步骤S500，固定第一顶点集合中已估计的相机绝对位置，仅对最新估计的下一最优视图对应顶点的绝对位置进行加权局部优化；完成加权局部优化后，判断当前已估计绝对位置的顶点数量的增长比率，若该比率大于设定阈值，则对当前所有已估计的绝对位置进行加权全局优化；所述加权局部优化为：对选取的下一最优视图对应顶点的绝对位置，结合第一顶点集合中的绝对位置和第一边集合中各边连接的两个顶点之间测量得到的相对位置，计算各边对应的相对位置误差，作为第一误差；若第一误差小于设定误差阈值，则将对应的边作为内值边，进而基于范数对选取的下一最优视图对应顶点的绝对位置进行加权局部优化；所述第一边集合为第一顶点集合与选取的下一最优视图对应顶点之间外极几何边的集合；所述加权全局优化为：对所有已估计绝对位置的顶点，结合各顶点的绝对位置和两两之间测量得到的相对位置，计算各外极几何边对应的相对位置误差，作为第二误差；若第二误差小于设定误差阈值，则将对应的边作为内值边，进而基于范数对所有已估计绝对位置的顶点的绝对位置进行加权全局优化；加权全局优化完成后，进一步通过所述加权全局优化方法对所有已估计绝对位置的顶点进行重平移平均化；步骤S600，完成所有绝对位置的估计后，输出对所有可估计顶点进行加权全局优化和重平移平均化后的绝对位置，作为各相机绝对位置的最终估计结果。2.根据权利要求1所述的增量式平移平均化方法，其特征在于，计算在局部坐标系下所述四元组集合的各相机四元组中的每一个相机的绝对位置，其方法为：
其中，分别表示在局部坐标系下相机经优化后的绝对位置，表示平方弦距离，为相对平移变换到全局坐标系下的表示，表示中的任一条边，表示四元组集合的任意一个相机四元组，、表示相机的初始绝对位置。3.根据权利要求2所述的增量式平移平均化方法，其特征在于，计算所述四元组集合中的各相机四元组的选取代价，其方法为：其中，表示相机四元组的选取代价，表示相机四元组中每条外极几何边对应的权重。4.根据权利要求1所述的增量式平移平均化方法，其特征在于，根据求得的绝对位置计算各顶点的选取代价，其方法为：其中，表示下一最优视图选择中各顶点的选取代价，为中的一条边，为第三顶点集合中顶点与第一顶点集合中各顶点之间的外极几何边的集合，表示边对应两顶点间的相对位置，表示第一顶点集合中顶点当前的绝对位置估计值，表示每条外极几何边对应的权重。5.根据权利要求2所述的增量式平移平均化方法，其特征在于，在加权局部优化时的内值边获取方法为：值边获取方法为：其中，表示第一顶点集合与选取的下一最优视图对应顶点之间外极几何边
的集合，为中的任意一条边，表示中的内值边的集合，表示边连接的两个相机之间的相对位置，表示顶点当前的绝对位置估计值，表示初始化的绝对...

【专利技术属性】
技术研发人员：高翔，李梦晗，马孝冬，解则晓，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：