【技术实现步骤摘要】
本专利技术涉及相机重定位，尤其涉及一种基于稠密点云与全景图像的全景相机位姿估计方法及装置。
技术介绍
1、当前主流的视觉定位方法主要面向的是普通工业相机，普通工业相机的视场角和观测场景范围有限，定位精度受重复结构、视觉特征或场景变化的影响大，甚至无法进行定位。全景相机具备全景观测能力，解决了普通工业相机视场角受限的问题，有利于提升基于视觉定位的能力。但全景相机拍摄的全景图像具有严重的畸变，传统的视觉定位算法难以直接应用于全景图像。因此，开发一种基于全景图像和稠密点云的全景相机位姿估计算法，充分发挥全景相机360度视场角的优势，提升了全景相机的定位能力。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种基于稠密点云与全景图像的全景相机位姿估计方法及装置，解决了全景图像失真的问题，实现了全景相机快速准确的自主定位。
2、为了解决上述技术问题，本专利技术实施例第一方面公开了一种全景相机位姿估计方法，所述方法包括：
3、s1，预设定位场景的三维坐标系；
4、以用户需求为依据，预设所述定位场景的三维坐标系；
5、s2，获取所述定位场景的三维稠密点云；所述稠密点云包含3d点的三维坐标和颜色值信息；所述稠密点云长、宽、高与所述定位场景的长、宽、高相一致，稠密点云的坐标系设置与所述定位场景坐标系的设置相一致；
6、s3，预设虚拟全景相机相对于定位场景三维坐标系的位姿信息，利用所述定位场景的三维稠密点云和所述虚拟全景相机的位姿信
7、s4，对所述合成全景图像进行分割处理，得到所述定位场景的合成透视图；
8、s5，利用全景相机获取定位场景的真实全景图像，对所述真实全景图像进行分割处理，得到所述定位场景的真实透视图；
9、s6，对所述真实透视图和所述合成透视图进行特征提取与匹配，得到所述真实全景图像特征点与所述特征点在所述合成全景图像对应点组成的点对数据集；
10、s7，利用全景图像定位算法模型，对所述点对数据集进行处理，得到实际全景图像的全局位姿信息；
11、s8，利用全局位姿优化模型，对所述全局位姿信息进行处理，得到定位场景的全局最优位姿信息。
12、作为一种可选的实施方式，本专利技术实施例第一方面中，所述预设虚拟全景相机相对于定位场景三维坐标系的位姿信息，利用所述定位场景的三维稠密点云和所述虚拟全景相机的位姿信息，生成所述定位场景的合成全景图像，包括：
13、s31，预设虚拟全景相机相对于定位场景三维坐标系的位姿信息，得到所述虚拟全景相机的位姿信息(r，t)；
14、s32，利用所述虚拟全景相机的位姿信息(r，t)，对所述定位场景坐标系下稠密点云的三维点，进行3d坐标转换处理，得到全景相机坐标系下的3d点；
15、所述3d坐标转换表达式为：
16、
17、其中，(x，y，z)为定位场景坐标系下的3d点坐标，(x，y，z)为全景相机坐标系下的3d点坐标，r为定位场景坐标系到全景相机坐标系的旋转矩阵，t为定位场景坐标系到全景相机坐标系的平移向量；
18、s33，对所述全景相机坐标系下的3d点进行像素坐标转换处理，得到全景图像坐标系上的像素坐标；
19、所述像素坐标转换表达式为：
20、
21、
22、
23、其中，w，h分别为所述合成全景图像的宽、高，u、v为投影点的像素坐标，xu，yv分别为投影点在全景图像坐标系下的坐标，α，β分别是全景相机坐标系下的3d点在全景相机坐标系下的方位角与高低角，(x，y，z)为全景相机坐标系下的3d点坐标值；
24、s34，将n个所述像素坐标按坐标顺序进行组合，得到所述合成全景图像。
25、作为一种可选的实施方式，本专利技术实施例第一方面中，所述对所述合成全景图像进行分割处理，得到所述定位场景的合成透视图，包括：
26、s41，按照立方体格式预设6张合成透视图，所述预设合成透视图大小一样，且所述预设合成透视图的水平视场角与垂直视场角皆为90°，得到所述合成透视图成像内参k1值；
27、k1值表达式为：
28、
29、其中，
30、s42，利用像素坐标对应关系模型，对所述合成全景图像中像素坐标对应的3d点进行处理，得到所述3d点在所述合成透视图中的像素坐标以及对应像素值；
31、所述像素坐标对应关系模型表达式为：
32、
33、
34、
35、
36、其中，(u1，v1)为所述合成透视图特征点像素值，(x，y，z)为全景相机坐标系下的3d点，(up，vp)为投影点在全景球面图像坐标系下的坐标，(xu，yv)为投影点在全景图像坐标系下的坐标，α，β分别是全景相机坐标系下的3d点在全景相机坐标系下的方位角与高低角，r为全景相机坐标系到合成透视图所对应的虚拟透视相机坐标系的旋转矩阵，k1为合成透视图成像内参；
37、s43，将n个所述像素坐标按坐标顺序进行组合，得到所述合成透视图。
38、作为一种可选的实施方式，本专利技术实施例第一方面中，所述利用全景相机获取定位场景的真实全景图像，对所述真实全景图像进行分割处理，得到所述定位场景的真实透视图，包括：
39、s51，利用全景相机获取所述定位场景的真实全景图像；
40、s52，按照立方体格式预设6张真实透视图，所述真实透视图大小一样，且所述预设真实透视图的水平视场角与垂直视场角皆为90°，得到所述真实透视图成像内参k2值；
41、k2值表达式为：
42、
43、其中，
44、s53，利用像素坐标对应关系模型，对所述真实全景图像中像素坐标对应的3d点进行处理，得到所述3d点在所述真实透视图中的像素坐标以及对应像素值；
45、所述像素坐标对应关系模型表达式为：
46、
47、
48、
49、
50、其中，u2，v2为所述真实透视图像素值，(x，y，z)为全景相机坐标系下的3d点，(xu，yv)分别为投影点在全景图像坐标系下的坐标，(up，vp)为投影点在全景球面图像坐标系下的坐标，α，β分别是全景相机坐标系下的3d点在全景相机坐标系下的方位角与高低角，r为全景相机坐标系到真实透视图所对应的虚拟透视相机坐标系的旋转矩阵，k2为真实透视图成像内参；
51、s54，将n个所述像素坐标按坐标顺序进行组合，得到所述真实透视图。
52、作为一种可选的实施方式，本专利技术实施例第一方面中，所述对所述真实透视图和所述合成透视图进行特征提取与匹配，得到所述真实全景图像特征点与所述特征点在所述合成全景图像对应点组成的点对数据集，包括：
53、s61本文档来自技高网...
【技术保护点】
1.一种全景相机位姿估计方法，其特征在于，包括：
2.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，预设虚拟全景相机相对于定位场景三维坐标系的位姿信息，利用所述定位场景的三维稠密点云和所述虚拟全景相机的位姿信息，生成所述定位场景的合成全景图像，包括：
3.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述对所述合成全景图像进行分割处理，得到所述定位场景的合成透视图，包括：
4.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述利用全景相机获取定位场景的真实全景图像，对所述真实全景图像进行分割处理，得到所述定位场景的真实透视图，包括：
5.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，对所述真实透视图和所述合成透视图进行特征提取与匹配，得到所述真实全景图像特征点与所述特征点在所述合成全景图像对应点组成的点对数据集，包括：
6.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述利用全景图像定位算法模型，对所述点对数据集进行处理，得到所述真实全景图像的第一全局位姿信息
7.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述利用全局位姿优化模型，对所述第一全局位姿信息进行处理，得到定位场景的最优全局位姿信息，包括：
8.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述获取所述定位场景的三维稠密点云，包括：
9.一种全景相机位姿估计装置，其特征在于，应用于权利要求1～8任一项所述的全景相机位姿估计方法，所述装置包括：图像采集单元、坐标转换单元、图像分割单元、图像匹配单元、全景图像转换单元、位姿优化单元；
10.一种计算机可存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1～8任一项所述的全景相机位姿估计方法。
...【技术特征摘要】
1.一种全景相机位姿估计方法，其特征在于，包括：
2.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，预设虚拟全景相机相对于定位场景三维坐标系的位姿信息，利用所述定位场景的三维稠密点云和所述虚拟全景相机的位姿信息，生成所述定位场景的合成全景图像，包括：
3.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述对所述合成全景图像进行分割处理，得到所述定位场景的合成透视图，包括：
4.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，所述利用全景相机获取定位场景的真实全景图像，对所述真实全景图像进行分割处理，得到所述定位场景的真实透视图，包括：
5.根据权利要求1所述的一种全景相机位姿估计方法，其特征在于，对所述真实透视图和所述合成透视图进行特征提取与匹配，得到所述真实全景图像特征点与所述特征点在所述合成全景图像对应点组成的点对数据集，包括：
...
【专利技术属性】
技术研发人员：闫野，施忠臣，张迪，陈伟，谢良，张星昱，张亚坤，郑昌艳，印二威，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。