三维模型与视频进行融合的方法以及存储介质技术

本发明专利技术涉及视频监控技术领域，具体涉及一种三维模型与视频进行融合的方法以及存储介质，目的在于提高视频融合的效果。本发明专利技术的方法包括：根据多源数据构建三维场景模型；在视频图像和三维场景模型中分别选择对应的特征点，组成特征点对；根据摄像机的内参数据和特征点对的坐标，利用PnP算法解算摄像机在世界坐标系下的位姿；若PnP算法失效，则根据特征点对的坐标、摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定摄像机的位姿；根据摄像机的位姿将视频数据投影到三维场景模型中。本发明专利技术能快速地将摄像机放到场景中正确的位置，保证投影到场景中的视频能与三维场景匹配，实现了紧密融合，便于视频查看和追踪。查看和追踪。查看和追踪。

【技术实现步骤摘要】
三维模型与视频进行融合的方法以及存储介质


[0001]本专利技术涉及视频监控
，具体涉及一种三维模型与视频进行融合的方法以及存储介质。

技术介绍

[0002]传统的视频监控往往是通过若干单独的显示器呈现多个监控画面，监控人员必须细心观察这些图像，并且要清楚地了解每个视频图像拍摄地所在的位置，才能实现有效安全监控。当监控站点的规模变得超过人们的检测能力时，就会出现严重的问题。
[0003]三维模型与视频融合可视化技术通过将采集的视频数据投影到真实场景中，监控人员能快速直观地察看目标位置上的所有视频，而无需从大量视频中过滤出目标视频，也不需要在大脑中构建位置和视频的映射。由于视频与真实地理环境融合，视频采集的信息得到了空间延伸，能方便自然地跟踪动态目标并预测移动位置，为后续应急指挥、资源调度等决策提供基础保障。
[0004]但是，目前的三维模型与视频融合技术还存在如下不足：
[0005](1)通过CAD(Computer Aided Design，计算机辅助设计)等图纸手工构建的三维场景信息量少，模型基础数据来源不足，模型精度不够；
[0006](2)采用的三维可视化引擎不支持PBR(Physical Based Render)真实感渲染，三维场景的可视化效果较为生硬，在与视频融合可视化时效果不够真实自然；
[0007](3)视频和三维场景没有真正融合，只是简单地将二维的监控视频与三维场景结合在一起，通常是将摄像头作为标记放在三维场景，通过打开标记显示在二维面板中显示视频，融合效果差；
[0008](4)当没有摄像机外参数据时，需要通过手工不断在场景中进行移动旋转等调整，以获得正确的摄像机位置，工作量大且繁琐；
[0009](5)需要额外创建Mesh(三角面片)面用来播放视频纹理，工作量大且对原有的三维模型可视化有影响。

技术实现思路

[0010]为了解决现有技术中的上述问题，本专利技术提出了一种三维模型与视频进行融合的方法以及存储介质，提高了视频融合的效果。
[0011]本专利技术的一方面，提出一种三维模型与视频进行融合的方法，所述方法包括：
[0012]根据多源数据构建三维场景模型；
[0013]在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对；
[0014]根据摄像机的内参数据和所述特征点对的坐标，利用PnP(Perspective
‑
n
‑
Points)算法解算所述摄像机在世界坐标系下的位姿；
[0015]若所述PnP算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿；
[0016]根据所述摄像机的位姿将视频数据投影到所述三维场景模型中。
[0017]优选地，所述多源数据包括：三维模型数据、BIM(Building Information Modeling，建筑信息模型)模型数据、倾斜摄影数据、GIS(Geographic Information System，地理信息系统)矢量数据、地形数据和遥感影像数据；
[0018]“根据多源数据构建三维场景模型”的步骤包括：
[0019]在游戏引擎中扩展地理坐标模块，得到三维引擎；所述三维引擎支持带地理坐标的二三维地理空间数据；
[0020]设置三维场景的原点，建立地理坐标与所述三维引擎坐标的转换关系；
[0021]将所述地形数据转换为地形瓦片格式，并加载到所述三维引擎中；
[0022]将所述GIS矢量数据和所述遥感影像数据转换为瓦片格式，并加载到所述三维引擎中；
[0023]将所述倾斜摄影数据加载到所述三维引擎中；
[0024]将所述三维模型数据和所述BIM模型数据通过地理参考进行配准，并加载到所述三维引擎中，生成所述三维场景模型。
[0025]优选地，“在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对”的步骤包括：
[0026]选择所述摄像机拍摄的一帧视频图像，并矫正畸变；
[0027]在所述视频图像中选取预设数量的第一特征点；
[0028]在所述三维场景模型中确定每个所述第一特征点的对应位置，得到第二特征点；所述第一特征点与所述第二特征点一一对应，构成所述预设数量的所述特征点对。
[0029]优选地，“若所述PnP算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿”的步骤包括：
[0030]获取所述摄像机的粗略位置；
[0031]以所述粗略位置为中心生成单位球面，并对所述单位球面进行细分，形成多边形网格；
[0032]根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴；
[0033]以所述粗略中心轴为中心设置所述摄像机中心轴的角度范围，形成球扇形；
[0034]以所述粗略位置为中心创建所述摄像机中心点的范围立方体，并对所述范围立方体进行细分，形成立方体网格；
[0035]对所述摄像机沿所述粗略中心轴的旋转角进行细分；
[0036]根据所述特征点对的坐标、每个所述立方体网格的中心点、穿过所述球扇形范围内所述多边形网格中心点所形成的每个中心轴，以及细分后的每个旋转角，通过迭代计算确定所述摄像机的位姿。
[0037]优选地，“根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴”的步骤包括：
[0038]迭代所述粗略位置和所述单位球面上每个多边形网格中心点的连线所形成的中心轴，迭代所述摄像机沿该中心轴的旋转角，形成若干个坐标系A；
[0039]在每个所述坐标系A下，计算所述粗略位置穿过每个特征点对中的所述第一特征点形成的像素点矢量，以及穿过该特征点对中的所述第二特征点形成的场景点矢量；
[0040]在每个所述坐标系A下，按照下式计算每个所述像素点矢量和对应的所述场景点矢量的夹角：
[0041][0042]其中，V
pi
和V
ri
分别为第i个所述像素点矢量和对应的第i个所述场景点矢量；θ
i
为V
pi
和V
ri
之间的夹角；
[0043]在每个所述坐标系A下，根据下式计算所述夹角的均值：
[0044][0045]其中，n为所述特征点对的数量，预设值；
[0046]在每个所述坐标系A下，根据下式计算所述夹角的方差：
[0047][0048]根据所述均值和所述方差的加权和选取最优的所述坐标系A，进而确定所述摄像机的位姿；
[0049]在每个所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型与视频进行融合的方法，其特征在于，所述方法包括：根据多源数据构建三维场景模型；在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对；根据摄像机的内参数据和所述特征点对的坐标，利用PnP算法解算所述摄像机在世界坐标系下的位姿；若所述PnP算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿；根据所述摄像机的位姿将视频数据投影到所述三维场景模型中。2.根据权利要求1所述的三维模型与视频进行融合的方法，其特征在于，所述多源数据包括：三维模型数据、BIM模型数据、倾斜摄影数据、GIS矢量数据、地形数据和遥感影像数据；“根据多源数据构建三维场景模型”的步骤包括：在游戏引擎中扩展地理坐标模块，得到三维引擎；所述三维引擎支持带地理坐标的二三维地理空间数据；设置三维场景的原点，建立地理坐标与所述三维引擎坐标的转换关系；将所述地形数据转换为地形瓦片格式，并加载到所述三维引擎中；将所述GIS矢量数据和所述遥感影像数据转换为瓦片格式，并加载到所述三维引擎中；将所述倾斜摄影数据加载到所述三维引擎中；将所述三维模型数据和所述BIM模型数据通过地理参考进行配准，并加载到所述三维引擎中，生成所述三维场景模型。3.根据权利要求1所述的三维模型与视频进行融合的方法，其特征在于，“在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对”的步骤包括：选择所述摄像机拍摄的一帧视频图像，并矫正畸变；在所述视频图像中选取预设数量的第一特征点；在所述三维场景模型中确定每个所述第一特征点的对应位置，得到第二特征点；所述第一特征点与所述第二特征点一一对应，构成所述预设数量的所述特征点对。4.根据权利要求3所述的三维模型与视频进行融合的方法，其特征在于，“若所述PnP算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿”的步骤包括：获取所述摄像机的粗略位置；以所述粗略位置为中心生成单位球面，并对所述单位球面进行细分，形成多边形网格；根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴；以所述粗略中心轴为中心设置所述摄像机中心轴的角度范围，形成球扇形；以所述粗略位置为中心创建所述摄像机中心点的范围立方体，并对所述范围立方体进行细分，形成立方体网格；对所述摄像机沿所述粗略中心轴的旋转角进行细分；根据所述特征点对的坐标、每个所述立方体网格的中心点、穿过所述球扇形范围内所
述多边形网格中心点所形成的每个中心轴，以及细分后的每个旋转角，通过迭代计算确定所述摄像机的位姿。5.根据权利要求4所述的三维模型与视频进行融合的方法，其特征在于，“根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴”的步骤包括：迭代所述粗略位置和所述单位球面上每个多边形网格中心点的连线所形成的中心轴，迭代所述摄像机沿该中心轴的旋转角，形成若干个坐标系A；在每个所述坐标系A下，计算所述粗略位置穿过每个特征点对中的所述第一特征点形成的像素点矢量，以及穿过该特征点对中的所述第二特征点形成的场景点矢量；在每个所述坐标系A下，按照下式计算每个所述像素点矢量和对应的所述场景点矢量的夹角：其中，V
pi
和...

【专利技术属性】
技术研发人员：张纯，王志鹏，齐宝东，
申请(专利权)人：智诚时空科技浙江有限公司，
类型：发明
国别省市：