【技术实现步骤摘要】
本专利技术涉及摄影测量学、计算机视觉和数学中的多视图几何重建的，尤其是一种涉及线缆点云重建之后对线缆进行参数计算的方法。
技术介绍
1、随着航空电子技术的进步和飞机舱内装备数量的增加，飞机舱内线缆布局变得日益复杂，对飞行安全和性能提出了新的挑战。在这个背景下，使用自主式线缆质检系统代替人工操作显得尤为重要，尤其是在危险和未知的环境中。因此，开发一种基于图像的线缆的识别和三维重建方法对于准确计算线缆参数装置具有重要的理论和实践意义。
2、传统的机舱内线缆的长度，半径和曲率测量纯粹是采用手动测量的方式，这种方式操作难度大，测量精度低。特别是在对线缆等细长物体进行测量时，由于其表面特性和形状的复杂性，传统方法往往难以精确测量其尺寸，例如直径和长度。此外，线缆在实际应用中可能会出现弯曲或扭曲，这给准确测量带来了额外的挑战。现有的三维重建技术在处理此类物体时，往往需要复杂的算法和昂贵的硬件支持。单纯依靠人工装配耗时耗力。为此，开发一种基于图像的线缆识别与重建系统迫在眉睫。现有的先进智能装配方法通常依赖三维图纸和关键标志来实现，存在任务目标及指标比较单一、操作灵活性差、准确性低等缺点，同时在人机协作过程中存在一定的安全隐患。
3、为了弥补上述不足，我们实现了一种便携式手持设备实时重建线缆并实时显示线缆参数，为人机协作机舱线缆智能敷设提供技术支撑。确保线缆敷设的高质量和高效率。同时克服多人协作带来的装配难度大的问题，更好体现人机互融的优势。
技术实现思路
1、本专利技术的
2、步骤s1：线缆图像序列采集。通过rgb相机对线缆进行平滑的拍摄并按帧分割得到原图序列。
3、步骤s2：图像前景色分割。使用了一个我们通过深度学习训练好的分割模型来对原图进行图像分割，得到背景为白色，线缆为黑色的二值图序列，实现自动前景分割，以供重建模块使用。
4、步骤s3：初始化相机位姿和3d曲线网络。选择两个图像帧，满足呈现足够的相机运动时视差的标准，基于由匹配曲线引起的对应性，使用光束法平差联合估计这两个帧的相机姿态和3d点云。利用pca主成分分析算法进行2d线缆曲线提取。
5、步骤s4：迭代相机和曲线估计。建立了3d曲线上的点与每个输入图像中观测到的2d曲线点之间的对应关系。通过结合距离和曲线一致性的标准，可以更准确地匹配这些点，我们采用了动态规划方法，并在每次迭代中交替优化相机姿态和曲线点，同时考虑两帧线缆图像中之间的最小欧式距离以及曲率一致性来保证特征匹配的正确性。
6、步骤s5：实时计算线缆参数信息，通过步骤s4得到的线缆模型，计算线缆的长度、直径、和曲率。
7、本专利技术使用的硬件组成如下：
8、realsensetm depth camera d455相机×1；
9、maxtang-tl50迷你主机×1；
10、主机电源线×1；
11、usb数据线×1。
本文档来自技高网...【技术保护点】
1.一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法，其特征在于，所述方法包括下列步骤：
2.根据权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法，其特征在于，所述步骤S1中，在对线缆数据进行采集时，使用RGB摄像头连续捕捉线缆图像，并对获取的视频流进行按照固定的帧间隔提取，从而生成一系列原始图像帧。
3.在权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算方法中，其特征在于，所述步骤S2中，使用预训练好的深度学习模型进行图像分割。此过程包括将预先捕获的原始图像帧作为输入，利用训练好的的神经网络模型自动识别并分离线缆特征，以实现线缆和背景的精准分割。在此过程中，线缆被高效地提取并标记为前景元素，而其他非线缆结构则被分类并呈现为白色背景，以便于后续重建和分析。
4.在权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算方法中，其特征在于，所述步骤S3中，我们不需要提前输入相机的内参，而是通过融合前两帧的二值图图像数据，求解相机的位置T和姿态R。同时
5.在权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法中，其特征在于，所述步骤S4中，我们通过分割提取的线缆特征，采用PCA和动态规划算法进行图像中曲线特征的提取与匹配，通过不断扫描新的分割图像迭代优化相机位姿和3D曲线点，高效实现线缆的三维重建。
6.在权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法中，其特征在于，所述步骤S5中，计算线缆参数信息，通过S4得到的线缆模型，计算线缆的长度、直径、和曲率。
...【技术特征摘要】
1.一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法，其特征在于，所述方法包括下列步骤：
2.根据权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算的方法，其特征在于，所述步骤s1中，在对线缆数据进行采集时，使用rgb摄像头连续捕捉线缆图像，并对获取的视频流进行按照固定的帧间隔提取，从而生成一系列原始图像帧。
3.在权利要求1中描述的一种深度学习和多视图重建结合用于机舱线缆三维重建及参数计算方法中，其特征在于，所述步骤s2中，使用预训练好的深度学习模型进行图像分割。此过程包括将预先捕获的原始图像帧作为输入，利用训练好的的神经网络模型自动识别并分离线缆特征，以实现线缆和背景的精准分割。在此过程中，线缆被高效地提取并标记为前景元素，而其他非线缆结构则被分类并呈现为白色背景，以便于后续重建和分析。<...
【专利技术属性】
技术研发人员：张剑华，刘鸿方，程徐，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。