一种基于单目相机的塔吊下方场景三维重建方法及系统技术方案

本发明专利技术提供一种基于单目相机的塔吊下方场景三维重建方法及系统，方法包括：获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，分割实例结果包含有特征信息和语义信息；采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵R0和T0，利用特征信息匹配，计算两帧目标图像间的相对位置R和T，得到单目相机的相对位姿；结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；根据误差优化后的相对位姿和语义信息进行密集重建。本发明专利技术计算量小，效率快，稳定性高，精度高，成本低。成本低。成本低。

【技术实现步骤摘要】
一种基于单目相机的塔吊下方场景三维重建方法及系统


[0001]本专利技术属于地图重建
，尤其涉及一种基于单目相机的塔吊下方场景三维重建方法及系统。

技术介绍

[0002]在塔吊施工领域，塔吊大臂下方的地形和场景信息对于塔吊运行安全具有重要意义。如何进行塔吊下方地形与场景的稳定重建是塔吊主动安全和自动驾驶方面的重要问题。
[0003]目前，塔吊下方场景的三维重建主要有三种技术途径：1)基于双目相机的方法；2)基于激光雷达的方法；3)基于单目相机和序列数据分析的方法。
[0004]基于双目相机的方法是最为经典的基于视觉的地形重建方法，但是双目相机的需要在使用前进行严格的相对位姿标定，并且基线长度需要根据场景到相机的高度来设置，具有较大的局限性。
[0005]基于激光雷达的方法在三种方法中具有最好的稳定性和精度，但是能够满足塔吊作业场景的激光雷达的价格十分昂贵，成本是相机的100倍甚至1000倍。并且激光雷达的视场角一般较小，需要多个激光雷达协同处理，这又进一步提高了成本，不利于大规模推广应用。
[0006]基于单目相机的方法是三类方法中成本最低，安装和使用条件受限制最少的方法。但是此类方法对重建算法的要求很高，需要进行精确的序列数据分析和求解大规模非线性优化问题，因此稳定性较差，而且随着序列图像的加长，重建误差越大，精度越差。在塔吊施工场景中运动目标多、场景变化快的背景下，给序列图像的分析带来很大挑战，进一步加剧了单目相机序列数据在塔吊施工场景重建中的应用难度。
[0007]因此，如何利用单目相机，高效率、小误差地完成塔吊下方场景的三维重建，是本领域亟需解决的技术问题。
[0008]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0009]本专利技术的目的在于克服上述现有技术存在的不足，提供一种基于单目相机的塔吊下方场景三维重建方法及系统，主要用于解决现有技术中无法利用单目相机高效率、小误差地完成塔吊下方场景三维重建等问题。
[0010]为了实现上述目的，第一方面，本专利技术提供一种基于单目相机的塔吊下方场景三维重建方法，所述单目相机安装于塔吊小车下方，用于采集下方图像，包括以下步骤：
[0011]S10、获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；
[0012]S20、采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面
假设，计算两张目标图像间的旋转和平移矩阵R0和T0，利用特征信息匹配，计算两帧目标图像间的相对位置R和T，得到单目相机的相对位姿；
[0013]S30、结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；
[0014]S40、根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
[0015]在一些实施例中，所述塔吊运动参数包括塔吊小车径向距离、吊钩高度、大臂旋转角中的至少一项。
[0016]在一些实施例中，在进行步骤S20的计算时，保持若干个分割实例结果中特征信息和语义信息的对齐，以辅助和约束相对位姿的计算。
[0017]在一些实施例中，在步骤S20中，所述多级求解方式包括第一级求解和第二级求解；
[0018]在进行第一级求解时，以塔吊运动参数为初始值，对单目相机的相对运动作二维平面假设，根据初始值计算两张目标图像间的旋转和平移矩阵R0和T0，对图像进行放大倍数的下采样，提取单尺度特征点，选取局部窗口，在R0、T0和分割实例结果的约束下，对特征点进行匹配，构建同名点对，计算仿射变换参数，完成平面假设下的相对位姿R0和T0的修正，得到R1和T1；
[0019]在进行第二级求解时，在目标图像的原始分辨率层进行特征点提取，获得多尺度特征点，在R1和T1的约束下，对特征点进行匹配，利用特征信息匹配，计算两帧目标图像间的相对位姿R和T，得到单目相机的相对位姿。
[0020]在一些实施例中，所述R和T被配置为之间没有做二维平面假设，对相对位姿R和T进行解算时，根据单目相机的内方位参数，进行三维位置和旋转的解算，得到单目相机的相对位姿。
[0021]在一些实施例中，在步骤S30中，采用改进的光束法平差算法，在目标函数中加入语义分割损失，所述语义分割损失为静态目标语义边界的欧式距离和动态目标语义边界的欧式距离，如以下公式所示：
[0022][0023]上式中，∑‖q
‑
p(c,x)‖为标准光束法平差公式，以计算关键点的重投影误差；∑‖ins
‑
ins
′
‖为相邻帧间静态目标语义边界点的重投影误差；λ为惩罚因子。
[0024]在一些实施例中，所述动态目标语义边界的欧式距离小于动态边界阈值，所述惩罚因子λ为0.2。
[0025]在一些实施例中，在步骤S40中，包括以下步骤：
[0026]根据误差优化后的相对位姿和测量对极几何基本原理，获取同名极线；
[0027]为同名极线上的每个像素点匹配第一处理窗口，将语义信息引入至上述匹配关系中，在同名极线上匹配到与语义信息对应的第一处理窗口，在第一处理窗口中以归一化灰度相关系数为相似度搜索最佳同名点；
[0028]进行密集重建，得到塔吊下方的场景重建结果。
[0029]在一些实施例中，在步骤S40中，识别具有平面特性的语义信息，进行分割实例结
果的边界匹配，对所述分割实例结果的内部进行平面假设处理，不进行同名点匹配。
[0030]第二方面，本专利技术提供一种应用于上述基于单目相机的塔吊下方场景三维重建方法的系统，包括：
[0031]单目相机，安装于塔吊小车下方，用于采集下方图像；
[0032]语义分割模块，用于获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；
[0033]相对位姿求解模块，用于采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵R0和T0，利用特征信息匹配，计算两帧目标图像间的相对位置R和T，得到单目相机的相对位姿；
[0034]误差优化处理模块，用于结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；
[0035]三维重建模块，用于根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。
[0036]相比现有技术，本专利技术的有益效果至少包括：
[0037]利用一台单目相机进行图像采集，基于深度学习进行目标语义分割，为连续帧的相对位姿计算和密集重建提供约束，提高稳定性，降低计算量，且成本低，便于推广应用；
[0038]采用多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目相机的塔吊下方场景三维重建方法，所述单目相机安装于塔吊小车下方，用于采集下方图像，其特征在于，包括以下步骤：S10、获取时间轴上相邻帧的目标图像，基于深度学习进行目标语义分割，得到若干个分割实例结果，所述分割实例结果包含有特征信息和语义信息；S20、采用多级求解方式，先根据塔吊运动参数对单目相机的相对运动作二维平面假设，计算两张目标图像间的旋转和平移矩阵R0和T0，利用特征信息匹配，计算两帧目标图像间的相对位置R和T，得到单目相机的相对位姿；S30、结合语义分割损失，对长时间序列的帧间相对位姿结果进行误差重新分配，将累积误差匀化至每一帧，得到误差优化后的相对位姿；S40、根据误差优化后的相对位姿和语义信息进行密集重建，得到塔吊下方的场景重建结果。2.如权利要求1所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，所述塔吊运动参数包括塔吊小车径向距离、吊钩高度、大臂旋转角中的至少一项。3.如权利要求1所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在进行步骤S20的计算时，保持若干个分割实例结果中特征信息和语义信息的对齐，以辅助和约束相对位姿的计算。4.如权利要求1至3任一项所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在步骤S20中，所述多级求解方式包括第一级求解和第二级求解；在进行第一级求解时，以塔吊运动参数为初始值，对单目相机的相对运动作二维平面假设，根据初始值计算两张目标图像间的旋转和平移矩阵R0和T0，对图像进行放大倍数的下采样，提取单尺度特征点，选取局部窗口，在R0、T0和分割实例结果的约束下，对特征点进行匹配，构建同名点对，计算仿射变换参数，完成平面假设下的相对位姿R0和T0的修正，得到R1和T1；在进行第二级求解时，在目标图像的原始分辨率层进行特征点提取，获得多尺度特征点，在R1和T1的约束下，对特征点进行匹配，利用特征信息匹配，计算两帧目标图像间的相对位姿R和T，得到单目相机的相对位姿。5.如权利要求4所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，所述R和T被配置为之间没有做二维平面假设，对相对位姿R和T进行解算时，根据单目相机的内方位参数，进行三维位置和旋转的解算，得到单目相机的相对位姿。6.如权利要求5所述的一种基于单目相机的塔吊下方场景三维重建方法，其特征在于，在步骤S30中，采用改进的光束法平差算法，在目标函数中加入...

【专利技术属性】
技术研发人员：安民洙，米文忠，房新奥，郭振威，
申请(专利权)人：广东光速智能设备有限公司，
类型：发明
国别省市：