一种三维GIS视频融合注册方法、系统、介质、设备及终端技术方案

本发明专利技术属于GIS、计算机图形学、计算机视觉技术领域，公开了一种三维GIS视频融合注册方法、系统、介质、设备及终端，以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数，建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS对应元素的偏差程度，验证空间映射关系准确性。本发明专利技术通过将视频投射到三维模型上，使得视频和场景准确的融合在一起，能够准确在线计算视频相机在三维GIS下的注册参数，进而解决屏幕视频与虚拟三维场景的融合问题。决屏幕视频与虚拟三维场景的融合问题。决屏幕视频与虚拟三维场景的融合问题。

【技术实现步骤摘要】
一种三维GIS视频融合注册方法、系统、介质、设备及终端


[0001]本专利技术属于GIS、计算机图形学、计算机视觉
，尤其涉及一种三维 GIS视频融合注册方法、系统、介质、设备及终端。

技术介绍

[0002]目前，三维GIS是数字孪生城市可视化基础平台，与监控视频实时融合能 实现对物理城市运行状态的精准映射，已成为新一代智慧城市发展的关键技术。 三维视频融合的注册过程决定了视频与三维GIS的校准，达到了保证视频与三 维GIS空间一致性的需求。现有的视频融合注册技术大多从摄像机标定出发测 量相机的内外参数然后转换到三维GIS坐标系中，存在真实复杂场景下，如难 以放置标定物导致无法直接测量内外参数的问题。本专利技术从虚拟场景下获取空 间信息建立视频注册的优化模型，保证视频与三维GIS融合的一致性需求。
[0003](1)真实场景相机成像模型
[0004]在生活中相机拍摄图片的原理是小孔成像，即光线从真实物体出发，穿过 相机中心照射在胶片上，通过物体点、成像点和投影中心三点共线的本质建立 几何数学关系。图3表示了相机成像的过程，相机从世界坐标系变换到相机所 在坐标系下，光线通过物体点Q、成像点P和相机光心成像，建立成像方程。 图中F为相机焦距，O(c
u
,c
v
)表示了相机光轴与胶片的交点，一般情况下光轴与 成像平面是相互垂直的，该坐标可以表示相机光心与图像中心的偏移量。
[0005][0006]其中矩阵P实现了将三维世界坐标(x,y,z)转换到图像坐标系(u,v)。相机矩阵 P由外参矩阵[R,t]和内参矩阵K表示，外参表示摄像机在三维世界中的位置和方 向，内参表示摄像机的光心偏移(c
u
,c
v
)和焦距(f
u
,f
v
)。
[0007][0008]参数s为倾斜系数，当像轴与成像平面不垂直时，倾斜系数为非零。参数 f
u
和f
v
分别以像素为单位表示水平方向和垂直方向的焦距。它们可以用焦距(F) 和像素大小(p
u
,p
v
)表示。
[0009][0010](2)三维GIS中相机成像模型
[0011]在三维GIS中，从三维虚拟场景到屏幕图像的过程类似于从真实场景拍摄 图片的过程。开始确定一个摄像机的观察位置，然后确定相机的拍摄方向和视 线方向。最后通过改变相机的内参数调节可视视野即镜头视域来确定光线是通 过什么样的方式映射到摄像机胶片上的。对应于三维场景中，要先根据相机的 位置和方向建立用于观察的坐标系，从而将观察者从主视角变换到相机视角。 然后，将三维虚拟场景对象转移到摄像机坐标系并投射到观察平面上，最后用 镜头平面定义的一组封闭空间体来剪切三维场景。在计算机中通过一系列坐标 变换完成世界坐标到屏幕像素坐标的转换。图4描述了三维虚拟场景变换到二 维图像的流程。先获取三维世界坐标，依次通过视图变换V、投影变换P和窗 口变换S转换到二维图像坐标。视图变换是将坐标系从世界坐标系转换到虚拟 相机所在的观察坐标系；透视投影变换是将相机的视图从正交视图变换到透视 投影视图，形成生活当中的近大远小的效果，经过投影变换后的坐标需要进行 法化操作，从而让坐标值处于
‑
1到1之间的标准设备坐标系(Normalized Device Coordinates，NDC)；最后经过窗口变换，即经过尺度和偏移操作从NDC坐标 系变换到图像坐标系。在三维中以上变换都是线性变换，可得图像坐标与三维GIS坐标得转化关系如式所示：
[0012][0013]其中(X
w
,Y
w
,Z
w
)是某点在GIS中的笛卡尔坐标，z是深度信息，w是齐次参 数，(x,y)是二维坐标，将二维坐标除以w就得到了经过三维成像后的屏幕像素 坐标值。图4中的透视变换过程是理想的小孔成像模型，成像关系是线性的， 透视变换能模拟真实生活中近大远小的效果。观察坐标系中金字塔状几何体代 表透视变换的视景体，在三维场景中它的顶点位置坐标和坐标轴方向对应虚拟 相机的外参，表示虚拟相机在三维场景中的姿态，视景体的形状特征反映了光 线采取何种路线从物体到达图像上，代表虚拟相机的内参，确定了这些参数也 就确定了三维成像关系，从而模拟现实生活中的相机成像过程。
[0014]基于真实场景相机成像模型与三维GIS中相机成像模型的成像一致性可以 推出视频相机三维GIS注册模型，并根据三维GIS中坐标转换过程得到注册模 型的数学表达。然而由于视频图像与GIS数据接口的无关性，导致海量视频时 空信息难以融入GIS中充分表达。同时，实际场景下还存在相机参数测量困难 导致视频与GIS空间映射不准确的问题。
[0015]通过上述分析，现有技术存在的问题及缺陷为：由于视频图像与GIS数据 接口的无关性，导致海量视频时空信息难以融入GIS中充分表达；同时在实际 场景下，还存在相机参数测量困难导致视频与GIS空间映射不准确的问题。

技术实现思路

[0016]针对现有技术存在的问题，本专利技术提供了一种三维GIS视频融合注册方法、 系统、介质、设备及终端，尤其涉及一种基于特征点匹配的三维GIS视频融合 注册方法、系统、介质、设备及终端。
[0017]本专利技术是这样实现的，在视频上标记特征点后，在虚拟三维GIS场景下通 过射线
拾取获取特征点的三维GIS坐标，并通过射线拾取和方向测量对相机的 位置与方向进行粗略估计，将特征点的视频坐标与三维GIS坐标作为输入，相 机估计参数作为初始值，通过算法进行优化求解相机注册参数。一种三维GIS 视频融合注册方法，所述三维GIS视频融合注册方法包括：
[0018]以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频 相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数， 建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原 型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS 对应元素的偏差程度，验证空间映射关系准确性。
[0019]进一步，所述三维GIS视频融合注册方法包括以下步骤：
[0020]步骤一，初始化视频特征点对和三维GIS坐标；作为视频三维GIS注册方 法的输入数据。
[0021]步骤二，初始化三维GIS中相机的参数；通过射线拾取和方向测量将粗略 估计的相机参数作为相机注册参数的初始值。
[0022]步骤三，刻画优化相机注册参数的数学模型；建立优化相机注册参数的算 法。
[0023]步骤四，迭代优化，并验证视频融合注册效果；此步骤计算出了最终的相 机注册参数，由于结果可能陷入局部最优，需要对视频融合注册效果进行验证。
[0024]进一步，所述步骤一中的初始化视频特征点对和三维GIS坐标包括：
[0025]在视频帧上标记若干个特征点并记录；
...

【技术保护点】

【技术特征摘要】
1.一种三维GIS视频融合注册方法，其特征在于，所述三维GIS视频融合注册方法包括：以视频帧特征点与GIS匹配点坐标距离标准差作为目标函数值，建立视频相机三维注册优化模型，并运用优化工具求解，实现在线求解相机注册参数，建立视频与GIS的空间映射关系；基于纹理投影和深度图算法完成视频投影原型，将注册参数代入视频投影原型中；通过比较视频投影中图像内容与三维GIS对应元素的偏差程度，验证空间映射关系准确性。2.如权利要求1所述三维GIS视频融合注册方法，其特征在于，所述三维GIS视频融合注册方法包括以下步骤：步骤一，初始化视频特征点对和三维GIS坐标；步骤二，初始化三维GIS中相机的参数；步骤三，刻画优化相机注册参数的数学模型；步骤四，迭代优化，并验证视频融合注册效果。3.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤一中的初始化视频特征点对和三维GIS坐标包括：在视频帧上标记若干个特征点并记录；在三维场景中使用射线拾取测量每个特征点对应的GIS坐标值，从而得到相机注册优化模型所需的视频帧特征点像素坐标与对应的三维GIS坐标值。4.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤二中的初始化三维GIS中相机的参数包括：测量初始方向u和d和相机位置c，输入其他初始参数垂直夹角fov、视频宽width、高height信息。5.如权利要求2所述三维GIS视频融合注册方法，其特征在于，所述步骤三中的刻画优化相机注册参数的数学模型包括：β＝[u，d，x
c
，y
c
，z
c
，fov]u
×
d＝0|u|＝1|d|＝1fov＞0；其中，u、d、x
c
、y
c

【专利技术属性】
技术研发人员：王建东，胡欣立，何吉，沈玉龙，张元玉，王超，马菲菲，刘振宇，夏翔，李明霖，
申请(专利权)人：西安电子科技大学青岛计算技术研究院，
类型：发明
国别省市：