一种基于三维激光点云进行全景影像拼接方法技术

本发明专利技术提供了一种基于三维激光点云进行全景影像拼接的方法，在计算目标全景影像对应的原始影像像素坐标时包括以下步骤：1)根据目标全景影像像素坐标构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系；2)根据邻近点云内插得到射线方向上的三维坐标；3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。本发明专利技术所提供的方法解决了现有的全景拼接方法中的不足，能够提高拼接准确度，减少人工操作，缩短数据生产的周期，具有非常巨大的经济和社会价值。

【技术实现步骤摘要】

本专利技术涉及，属于测绘地理信息领 域。
技术介绍
街景服务是目前互联网地图的热点。街景数据一般用车载全景相机进行采集，经 后处理得到全景影像，再发布到互联网。街景地图要求全景影像视觉上无拼接痕迹，因此拼 接时需对相机进行内外参数精确标定，并用严格的投影模型将原始影像投影到球面上生成 全景影像。 现有的投影方法一般如下： 首先构造一个半径为R的全景球，球心为全景相机的中心，全景球上的每一个点 与目标全景影像的像素坐标对应。 像素坐标转换为极坐标公式： 极坐标转换为球面上的点坐标： 由公式1和公式2可以将影像像素坐标转换为球面上的点坐标（X，Y，Z)。 根据该三维坐标，利用相机的内外参数可以计算对应原始照片的像素坐标。这样 就得到了目标全景影像像素坐标对应的原始照片像素坐标，从而可以得到全景相机各个镜 头影像在全景影像上的投影结果，进行全景影像的拼接。 以上所述的投影过程无法确定物体与全景相机中心的实际距离，只能根据经验统 一设置距离R，这样与实际不符，会造成一定的投影偏差，影响拼接效果。 如图2,全景中心为0,实际物体为P，镜头中心为C，P在原始影像上的像点为pl， 如果设置统一的深度R，则投影时认为物体的位置为P'，对应的像点位置为P2。可以知道由 于深度R与实际不符，会造成p2与pi的差异。
技术实现思路
现在的车载街景采集设备一般配有激光扫描仪和全景相机，可以同时采集点云数 据和影像数据，而且相机拍照时在点云中的位置和姿态是已知的，因此可以利用点云确定 影像上对应实际物体的三维坐标，用更精确的模型进行投影生成全景影像。 本专利技术提供了一种基于三维激光点云进行全景影像拼接的方法，在计算目标影像 像素和原始影像像素对应关系时利用点云数据提供的实际物体坐标，解决了现有的全景拼 接方法中的不足，能够提高拼接准确度。 实现本专利技术所采用的技术方案为： (1)根据目标全景影像像素坐标与全景球坐标的关系构造射线，利用相机在点云 坐标系中的姿态将射线转换到点云坐标系中； (2)根据邻近点云内插得到射线方向上的三维坐标； (3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参 数计算对应原始照片的像素坐标。 步骤（1)中全景影像像素（u，v)可转换为单位全景球（半径为一个单位）上的一 点（xn，yn，zn)，该点与全景球中心构成射线，其方向向量为（xn，yn，zn)。已知全景相机在点 云坐标系中的姿态角（yaw，pitch，roll)，可将射线转换到点云坐标系中，该射线在点云坐 标系中的方向向量为（Xn，Yn，Zn)。 步骤（2)中内插的方法包含但不仅限于以下两种 方法一：直接利用点云内插 需要先进行空间查询得到全景相机在点云坐标系中的位置（HZJ附近一定范 围内的点云，再在这些点云中搜索少量的点》131，2 1)，使得点与（1，乙，2。）构成的方向向 量与（Xn，Yn，Zn)最为接近，使下式最小。ν= (Χηι-Χη)2+(Υηι-Υη)2+(Ζη-Ζη)2 其中Xni=Xi/modYni=Yi/modZni=Zi/mod 搜索范围限制可设置为一定夹角内的视锥范围，夹角大小的经验值为2°~5°。 如图3所示 取满足以上搜索条件的最近的三个点构成三角形，再进行内插得到（Xn，Yn，Zn)方 向上的点坐标（X，Y，Z)。如果搜索到的点数为0,则设置一个较大的深度，如R= 200m;如 果搜索到的点数为1，则不需要内插；如果搜索到的点数为2,则取平均值。 方法二：利用点云构造空间三角网进行内插 先利用点云构造空间三角网，然后求相机位置（Xe，Ye，Z。）处方向向量为（Xn，Yn，Zn) 的射线与三角网的交点坐标即为所需要求的（X，Υ，Ζ)。 步骤（3)中，根据点云坐标（X，Υ，Ζ)、全景相机在点云坐标系中的位置（X。，Υ。，Ζ。） 和姿态角（yaw，pitch，roll)，以及相机的内外参数，可得到该点在原始照片上的像素坐标 (uQ，v。）。如下公式 (u。，v。）=F(int，ext，Xp，Yp，Zp) F为成像函数，不同的镜头（如鱼眼镜头和广角镜头）成像函数可能不一样，int 为内参数，ext为外参数，为点云在全景相机坐标系中的坐标。根据以上步骤（1)到步骤（3)，实际获得了目标全景像素（u，v)与原始照片的像 素坐标（IVV。）之间的对应关系。再根据一般的拼接方法最终可得到全景影像。 本专利技术所提供的方法利用了车载激光点云的三维坐标，以及拍照时刻全景相机在 点云中的位置和姿态，计算出目标全景影像上各像素的实际深度（即物体与全景相机中心 的距离），比传统的方法指定一个统一的深度构造的模型更加精确。相比传统的方法，能够 改善全景影像拼接效果，减少后续人工编辑工作量，极大缩短街景数据生产的制作周期，具 有很高的实际运用价值。【附图说明】 图1:为本专利技术流程图。 图2 :为由于深度R与实际不符造成的投影差异示意图。 图3:为视维范围不意图。【具体实施方式】 下面结合具体实施例对本专利技术做具体的说明。 本实施例中所用的采集设备为车载移动测量系统，采集数据的对象为一条街道， 采集到的数据为街道的点云数据和原始的全景相机数据。车载移动测量系统已进行标定， 即全景相机在点云坐标系中拍照时刻的位置和姿态角已知，全景相机各镜头的内参数已 知，各镜头在全景相机坐标系中的位置和姿态角已知。 根据以上描述的步骤，先设定目标全景影像的分辨率为2dXd。 取目标全景影像的像素坐标（u，v)进行横向和纵向循环，根据以上步骤（2)计算 (u，v)对应的全景球方向向量在点云坐标系中的坐标。 因为车载点云是按照时间和扫描线顺序存储的，所以可很方便地获取全景相机当 前位置附近的点云。按照步骤（2)所述进行空间内插得到方向向量对应的点云坐标。再根 据步骤（3)到得到目标全景影像像素与所有镜头影像像素之间的对应关系，则可得到各镜 头投影到全景上的影像，最后进行拼接得到全景影像。【主权项】1. ，其特征在于包括以下步骤： (1) 根据目标全景影像像素坐标与全景球坐标的关系构造射线，利用相机在点云坐标 系中的姿态将射线转换到点云坐标系中； (2) 根据邻近点云内插得到射线方向上的三维坐标； (3) 根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计 算对应原始照片的像素坐标。2. 根据权利要求1所述的基于三维激光点云进行全景影像拼接方法，其特征在于：计 算目标全景影像像素所对应的原始影像像素时，没有设置统一的全景球半径，而是利用点 云数据经过以上步骤（2)到得到实际物体的三维坐标。【专利摘要】本专利技术提供了一种基于三维激光点云进行全景影像拼接的方法，在计算目标全景影像对应的原始影像像素坐标时包括以下步骤：1)根据目标全景影像像素坐标构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系；2)根据邻近点云内插得到射线方向上的三维坐标；3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。本专利技术所提供的方法解决了现有的全景拼接方法中的不足，能够提高拼接准确度，减少人工操作，缩短数据生产的周期，具有非常巨大的经济和社会价值。【IPC分类】G06T3/40本文档来自技高网...

【技术保护点】
一种基于三维激光点云进行全景影像拼接方法，其特征在于包括以下步骤：(1)根据目标全景影像像素坐标与全景球坐标的关系构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系中；(2)根据邻近点云内插得到射线方向上的三维坐标；(3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。

【技术特征摘要】

【专利技术属性】
技术研发人员：汪开理，刘守军，姚立，
申请(专利权)人：武汉海达数云技术有限公司，
类型：发明
国别省市：湖北;42