一种基于单相机的应变片三维坐标获取方法和系统技术方案

本发明专利技术提供一种基于单相机的应变片三维坐标获取方法和系统，基于单相机多视角测量原理，使用单相机从不同的角度拍摄得到物体表面应变片的图像序列；通过识别和匹配相邻图像的编码点，并采用非线性优化的手段对空间坐标和相机姿态进行联合优化；在相机姿态估计的同时，采用了深度学习算法从拍摄的图像序列中识别和提取应变片的图像坐标，然后使用极限约束进行坐标匹配；最后根据估计的相机姿态和匹配的应变片图像坐标，使用经典的三角测量法计算获得应变片的三维坐标。本发明专利技术解决了基于光学编码点的相机姿态估计、基于深度学习技术的应变片图像识别和应变片三维坐标重构等三个方面的技术问题。面的技术问题。面的技术问题。

【技术实现步骤摘要】
一种基于单相机的应变片三维坐标获取方法和系统


[0001]本专利技术涉及一种基于单相机的应变片三维坐标获取方法和系统,本专利技术属于光学三维测量


技术介绍

[0002]在航空航天领域，对大型结构试验件进行变形测量是保证结构设计安全性的重要措施。使用应变片测量试验件的变形是普遍采用的方法。应变片测量属于逐点测量技术，当被测物体过大时，被测区域往往需要粘贴大量的应变片。为了准确获取测点的精确位置，降低仿真计算结果与试验数据的对比偏差，目前技术中应变片的位置不够精确，在进行后续数据对比中精确度不高，需要建立一套精确测量测点位置的三维坐标获取系统，准确地识别出应变片在被测物体上的空间位置。
[0003]随着CMOS相机的普遍应用，通过三维成像的方式获取物体的三维形貌成为了一种重要的非接触式全场测量方法。由于单目相机具有结构简单、成本低、操作灵活等特点,使用单目相机来拍摄图像并完成物体三维形貌重建和坐标定位越来越受到关注。测量人员可以通过手持单目相机，对被测物体进行连续成像，即可根据所得到的图像序列来计算物体上目标点的空间坐标。

技术实现思路

[0004]本专利技术要解决的技术问题：本专利技术提出了一种基于单相机的应变片三维坐标获取方法和系统，主要解决了基于光学编码点的相机姿态估计、基于深度学习技术的应变片图像识别和应变片三维坐标重构等三个方面的技术问题。
[0005]本专利技术所采用的技术方案是：一种基于单相机的应变片三维坐标获取方法，包括：
[0006]标定相机内参，包括焦距、主点和畸变系数；
[0007]从拍摄的图像序列中进行编码点检测，得到编码点对应关系；
[0008]根据第一二帧中匹配的编码点对应关系，使用八点算法计算前两帧的本质矩阵，使用奇异值分解得到三维旋转矩阵和平移向量，使用三角测量法重构编码点的三维坐标，并将第一帧相机坐标系作为参考坐标系；
[0009]采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态，包括三维旋转向量和平移向量，得到图像序列中每帧相机在参考坐标系下的姿态信息；
[0010]使用深度学习方法识别所拍摄图像序列中的应变片；
[0011]根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片；
[0012]根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片，从第一帧开始，采用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构，得到应变片的三维坐标。
[0013]进一步的，所述从拍摄的图像序列中进行编码点检测，包括：
[0014]使用15位环形编码点，通过图像二值分割提取环形编码带，进行解码得到编码点
的ID；
[0015]根据对应的中心定位圆采用灰度重心法得到编码点的图像坐标，相邻图像中具有相同ID的编码点为匹配的编码点对应关系。
[0016]进一步的，所述使用深度学习方法识别所拍摄图像序列中的应变片，包括：
[0017]采用YOLO模型作为应变片识别模型，按照实际需求将应变片贴在物体表面后，从多角度拍摄若干组图像，并根据数据增强原理扩展样本数量，标注每张图像中的应变片，并按设定的比例随机将数据集分成训练集、验证集和测试集；
[0018]采用交叉验证的方式对模型进行训练，得到用于应变片识别的YOLO模型；
[0019]在测试集上进行测试，评估模型的mAP@0.5数值，mAP@0.5数值大于设定阈值时，模型训练达标。
[0020]进一步的，所述样本数量≥1500。
[0021]进一步的，所述根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片，包括：
[0022]根据计算得到的每帧相机在参考坐标系下姿态信息，构建相邻帧之间的极线约束关系，前一帧的应变片为源应变片，计算前一帧每一个应变片在下一帧图像中极线；
[0023]计算下一帧中图像中每一个应变片到该极线的距离，将满足给定阈值要求的应变片按照距离从小到大排序，得到每一个源应变片的候选应变片集合，同时采用SIFT特征描述子，计算源应变片和候选应变片集合中每个应变片的128维特征向量，并计算源应变片特征向量与每一个候选应变片特征向量之间的2范数，具有最小2范数和最小极线距离的候选应变片为源应变片的匹配应变片。
[0024]一种基于单相机的应变片三维坐标获取系统，包括：相机、工程计算机；
[0025]所述相机用于对带有应变片的目标物体进行环绕多视角成像，得到图像序列，并将拍摄到的图像导入工程计算机；
[0026]所述工程计算机包括：编码点检测模块、相机姿态计算模块、应变片识别模块、三维重构模块；
[0027]编码点检测模块：用于从拍摄的图像序列中进行编码点检测，得到编码点对应关系；
[0028]相机姿态计算模块：用于根据第一二帧中匹配的编码点对应关系，使用八点算法计算前两帧的本质矩阵，使用奇异值分解得到三维旋转矩阵和平移向量，使用三角测量法重构编码点的三维坐标，并将第一帧相机坐标系作为参考坐标系；采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态，包括三维旋转向量和平移向量，得到图像序列中每帧相机在参考坐标系下的姿态信息；
[0029]应变片识别模块：用于使用深度学习方法识别所拍摄图像序列中的应变片；根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片；
[0030]三维重构模块：用于根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片，从第一帧开始，采用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构，得到应变片的三维坐标。
[0031]进一步的，所述从拍摄的图像序列中进行编码点检测，包括：
[0032]使用15位环形编码点，通过图像二值分割提取环形编码带，进行解码得到编码点
的ID；
[0033]根据对应的中心定位圆采用灰度重心法得到编码点的图像坐标，相邻图像中具有相同ID的编码点为匹配的编码点对应关系。
[0034]进一步的，所述使用深度学习方法识别所拍摄图像序列中的应变片，包括：
[0035]采用YOLO模型作为应变片识别模型，按照实际需求将应变片贴在物体表面后，从多角度拍摄若干组图像，并根据数据增强原理扩展样本数量，标注每张图像中的应变片，并按设定的比例随机将数据集分成训练集、验证集和测试集；
[0036]采用交叉验证的方式对模型进行训练，得到用于应变片识别的YOLO模型；
[0037]在测试集上进行测试，评估模型的mAP@0.5数值，mAP@0.5数值大于设定阈值时，模型训练达标。
[0038]进一步的，所述样本数量≥1500。
[0039]进一步的，所述根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片，包括：
[0040]根据计算得到的每帧相机在参考坐标系下姿态信息，构建相邻帧之间的极线约束关系，前一帧的应变片为源应变片，计算前一帧每一个应变片在下一帧图像中极线；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单相机的应变片三维坐标获取方法，其特征在于，包括：标定相机内参，包括焦距、主点和畸变系数；从拍摄的图像序列中进行编码点检测，得到编码点对应关系；根据第一二帧中匹配的编码点对应关系，使用八点算法计算前两帧的本质矩阵，使用奇异值分解得到三维旋转矩阵和平移向量，使用三角测量法重构编码点的三维坐标，并将第一帧相机坐标系作为参考坐标系；采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态，包括三维旋转向量和平移向量，得到图像序列中每帧相机在参考坐标系下的姿态信息；使用深度学习方法识别所拍摄图像序列中的应变片；根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片；根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片，从第一帧开始，采用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构，得到应变片的三维坐标。2.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述从拍摄的图像序列中进行编码点检测，包括：使用15位环形编码点，通过图像二值分割提取环形编码带，进行解码得到编码点的ID；根据对应的中心定位圆采用灰度重心法得到编码点的图像坐标，相邻图像中具有相同ID的编码点为匹配的编码点对应关系。3.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述使用深度学习方法识别所拍摄图像序列中的应变片，包括：采用YOLO模型作为应变片识别模型，按照实际需求将应变片贴在物体表面后，从多角度拍摄若干组图像，并根据数据增强原理扩展样本数量，标注每张图像中的应变片，并按设定的比例随机将数据集分成训练集、验证集和测试集；采用交叉验证的方式对模型进行训练，得到用于应变片识别的YOLO模型；在测试集上进行测试，评估模型的mAP@0.5数值，mAP@0.5数值大于设定阈值时，模型训练达标。4.根据权利要求3所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述样本数量≥1500。5.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法，其特征在于，所述根据计算得到的每帧相机在参考坐标系下姿态信息，计算得到匹配应变片，包括：根据计算得到的每帧相机在参考坐标系下姿态信息，构建相邻帧之间的极线约束关系，前一帧的应变片为源应变片，计算前一帧每一个应变片在下一帧图像中极线；计算下一帧中图像中每一个应变片到该极线的距离，将满足给定阈值要求的应变片按照距离从小到大排序，得到每一个源应变片的候选应变片集合，同时采用SIFT特征描述子，计算源应变片和候选应变片集合中每个应变片的128维特征向量，并计算源应变片特征向量与每一个候选应变片特征向量之间的2范数，具有最小2范数和最小极线距离的候选应变片为源应变片的匹配应变片。6.一种基于单相机的应变片三维坐标获取系统，其特征在于，包括：相机、工程计算机；所述相机用于对带有应变片的目标物体进行环绕多视角成像，得...

【专利技术属性】
技术研发人员：周书涛，周江帆，张东升，苏志龙，李立欣，巨亚堂，李海波，吴兵，张忠，宫文然，童军，朱仪凡，张伟，韩丽，杨蓉，贾亮，侯传涛，孝春成，王泰然，高魁垠，
申请(专利权)人：北京强度环境研究所，
类型：发明
国别省市：