视频全景拼接与三维融合方法及装置制造方法及图纸

本发明专利技术涉及视频拼接融合领域，具体为视频全景拼接与三维融合方法及装置。其包括如下步骤：S1、使用多个摄像机拍摄不同角度的视频，得到多个视频流；S2、对多个视频流分别进行去噪和图像增强的图像处理过程，获得更清晰的图像；S3、将处理后的多个视频流进行全景拼接，获得全景视频；S4、利用三维建模软件构建三维场景模型；S5、将拼接后的全景视频与三维场景模型进行三维重建融合，获得三维重建融合后的三维全景视频。本发明专利技术能将拍摄的视频流与虚拟构建的三维场景模型结合来制作出真实性更高、结合度更好的三维全景视频。合度更好的三维全景视频。合度更好的三维全景视频。

【技术实现步骤摘要】
视频全景拼接与三维融合方法及装置


[0001]本专利技术涉及视频拼接融合领域，特别是涉及视频全景拼接与三维融合方法及装置。

技术介绍

[0002]全景视频可以达到拍摄角度360度的视频显示效果，全景视频的实现一般采用视频拼接技术，例如利用多个摄像头对场景进行视频采集，然后将多个摄像头采集的视频进行实时拼接形成全景视频。
[0003]中国专利公开号CN111583116A公开了基于多摄像机交叉摄影的视频全景拼接融合方法及系统，从视频流中获取两张拍摄区域重叠的摄像机同一时刻的图像；对两张图像依次进行畸变校正和正射校正获得校正图像；提取两张校正图像的特征点，根据特征点得到特征点匹配对；根据特征点匹配对得到透视变换矩阵，根据透视变换矩阵得到两张透视变换图像；获得两张两张透视变换图像的蒙版；根据终蒙版以及特征点匹配对，对两张透视变换图像进行拼接。本技术方案实现了主光轴交叉夹角大的摄像机之间的图像的拼接。
[0004]但是，上述技术方案存在如下不足之处：
[0005]全景视频仅限于拍摄真实的环境或物体，当想要获取的物体画面并不是时刻处于真实的拍摄画面中时，则无法捕捉并拍摄带有该物体的全景视频。此外，当想要获取的物体画面并不能按照人为期望进行运动时，即便能拍摄到带有该物体的全景视频，所制作的全景视频也达不到用户需求，全景视频的表现力不够。

技术实现思路

[0006]本专利技术目的是针对
技术介绍
中存在的问题，提出能将拍摄的视频流与虚拟构建的三维场景模型结合来制作出真实性更高、结合度更好的三维全景视频的视频全景拼接与三维融合方法及装置。
[0007]一方面，本专利技术提出视频全景拼接与三维融合方法，包括如下步骤：
[0008]S1、使用多个摄像机拍摄不同角度的视频，得到多个视频流；
[0009]S2、对多个视频流分别进行去噪和图像增强的图像处理过程，获得更清晰的图像；
[0010]S3、将处理后的多个视频流进行全景拼接，获得全景视频；
[0011]S4、利用三维建模软件构建三维场景模型；
[0012]S5、将拼接后的全景视频与三维场景模型进行三维重建融合，获得三维重建融合后的三维全景视频。
[0013]优选的，还包括S6、用户通过交互方式实现对三维全景视频的控制。
[0014]优选的，步骤S2中，图像处理过程使用高斯滤波公式：
[0015][0016]其中，G(x，y)表示高斯函数，σ表示标准差，x和y分别表示像素在水平和竖直方向上的距离。
[0017]优选的，步骤S3中，全景拼接使用透视变换来将拼接前的图像坐标变换为拼接后的图像坐标，使用的透视变换公式：
[0018][0019]其中，表示转换后的坐标点，表示原始图像中的坐标点，f表示摄像机焦距，θ表示摄像机旋转角度，t
x
和t
y
表示摄像机平移距离。
[0020]优选的，三维重建融合中使用的三角测量公式：
[0021][0022]其中，d表示物体到摄像机的距离，b表示物体在图像上的长度，x
b
和x
a
分别表示物体在图像上的两个端点的横坐标值。
[0023]优选的，步骤S1中，多个摄像机同时处于静止状态或同时处于移动状态来拍摄视频流。
[0024]另一方面，本专利技术提出视频全景拼接与三维融合装置，用于实施上述视频全景拼接与三维融合方法，该视频全景拼接与三维融合装置包括：
[0025]视频流拍摄模块：使用多个摄像机拍摄不同角度的视频，得到多个视频流；
[0026]视频流处理模块：对多个视频流分别进行去噪和图像增强的图像处理过程，获得更清晰的图像；
[0027]全景视频拼接模块：将处理后的多个视频流进行全景拼接，获得全景视频；
[0028]三维场景模型构建模块：利用三维建模软件构建三维场景模型；
[0029]三维重建融合模块：将拼接后的全景视频与三维场景模型进行三维重建融合，获得三维重建融合后的三维全景视频；
[0030]交互控制模块：用户通过交互方式实现对三维全景视频的控制。
[0031]优选的，视频流拍摄模块包括多个摄像机并搭载在无人机平台上，无人机平台包括安装球座、配重块、导向环、转动环、连接杆、无人机本体、信号传输器和遥控器，安装球座为内部中空的球形结构，配重块设置在安装球座内侧底部，多个摄像机在安装球座的球面上均匀分布，导向环水平设置在安装球座外周面上，转动环转动设置在导向环上，连接杆两端分别与转动环和无人机本体连接，信号传输器设置在无人机本体上，信号传输器与无人机本体和摄像机分别通讯连接，遥控器与信号传输器通讯连接。
[0032]优选的，无人机本体飞行时以水平环绕安装球座的方式进行飞行。
[0033]与现有技术相比，本专利技术具有如下有益的技术效果：
[0034]本专利技术先将真实的视频流画面进行全景拼接获得全景视频，再与搭建的虚拟三维场景模型进行融合重建，重建得到的三维全景视频相对于单一的全景视频和单一的三维场景模型而言的真实性更高，结合度更好。制成的三维全景视频能便于用户进行全新形式且更真实的虚拟体验，表现出了更好的展示效果。
附图说明
[0035]图1为本专利技术实施例视频全景拼接与三维融合方法的流程示意图；
[0036]图2为本专利技术实施例视频全景拼接与三维融合装置的系统结构框图；
[0037]图3为无人机平台搭载视频流拍摄模块的结构示意图；
[0038]图4为无人机平台的信号传输原理结构框图；
[0039]图5为视频流拍摄模块直线升降时无人机本体的飞行路径图，其中，实线表示视频流拍摄模块的移动路径，虚线表示无人机本体的飞行路径；
[0040]图6为视频流拍摄模块水平移动时无人机本体的飞行路径图，其中，实线表示视频流拍摄模块的移动路径，虚线表示无人机本体的飞行路径；
[0041]图7为视频流拍摄模块沿倾斜方向移动时无人机本体的飞行路径图，其中，实线表示视频流拍摄模块的移动路径，虚线表示无人机本体的飞行路径。
[0042]附图标记：1、安装球座；2、导向环；3、转动环；4、连接杆；5、无人机本体；6、信号传输器。
具体实施方式
[0043]实施例一
[0044]如图1所示，本实施例提出的视频全景拼接与三维融合方法，包括如下步骤：
[0045]S1、使用多个摄像机拍摄不同角度的视频，得到多个视频流，多个摄像机同时处于静止状态或同时处于移动状态来拍摄视频流；
[0046]S2、对多个视频流分别进行去噪和图像增强的图像处理过程，获得更清晰的图像，图像处理过程使用高斯滤波公式：
[0047][0048]其中，G(x，y)表示高斯函数，σ表示标准差，σ值与图像清晰度成反比，σ值越高，图像清晰度越低，σ值越低，图像清晰度越高，可根据实际情况选择合适的σ值；x和y分别表示像素在水平和竖直方向上的距离；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.视频全景拼接与三维融合方法，其特征在于，包括如下步骤：S1、使用多个摄像机拍摄不同角度的视频，得到多个视频流；S2、对多个视频流分别进行去噪和图像增强的图像处理过程，获得更清晰的图像；S3、将处理后的多个视频流进行全景拼接，获得全景视频；S4、利用三维建模软件构建三维场景模型；S5、将拼接后的全景视频与三维场景模型进行三维重建融合，获得三维重建融合后的三维全景视频。2.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，还包括S6、用户通过交互方式实现对三维全景视频的控制。3.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，步骤S2中，图像处理过程使用高斯滤波公式：其中，G(x，y)表示高斯函数，σ表示标准差，x和y分别表示像素在水平和竖直方向上的距离。4.根据权利要求3所述的视频全景拼接与三维融合方法，其特征在于，步骤S3中，全景拼接使用透视变换来将拼接前的图像坐标变换为拼接后的图像坐标，使用的透视变换公式：其中，表示转换后的坐标点，表示原始图像中的坐标点，f表示摄像机焦距，θ表示摄像机旋转角度，t
x
和t
y
表示摄像机平移距离。5.根据权利要求4所述的视频全景拼接与三维融合方法，其特征在于，三维重建融合中使用的三角测量公式：其中，d表示物体到摄像机的距离，b表示物体在图像上的长度，x
b
和x
a
分别表示物体在图像上的两个端点的横坐标值。6.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，步骤S1中，多个摄像机同时处于静...

【专利技术属性】
技术研发人员：马平，张小二，孙靖，严姗姗，任鹏辉，
申请(专利权)人：中影电影数字制作基地有限公司，
类型：发明
国别省市：