本发明专利技术公开了一种基于3D高斯的三维模型与视频融合方法，包括空间还原过程和融合渲染过程，其中空间还原过程进一步包括：设计3D高斯建模模块采集待嵌入物体的图像数据，并通过图像数据完成物体的3D高斯建模；设计视频空间还原模块；融合渲染过程进一步包括：设计嵌入位置确认模块；设计遮罩信息生成模块，先按拍摄视频的相机轨迹进行一次图像渲染，将嵌入位置确认模块生成的3D高斯模型和从拍摄视频中建模的简单3D高斯模型按相机轨迹逐帧渲染，得到多组图像序列，根据多组图像序列计算模型之间的遮罩信息，获得遮罩图组；设计视频渲染模块根据遮罩信息生成模块生成的多组图像序列和计算得到的遮罩图组，逐帧渲染，合成最终的嵌入模型的拍摄视频。
【技术实现步骤摘要】
本专利技术属于视频处理，具体涉及一种基于3d高斯的三维模型与视频融合方法。
技术介绍
1、在视频处理过程中，辐射场完成的任务是，在已知视角下对场景进行一系列的捕获(包括拍摄到的图像，以及每张图像对应的相机的内外参数矩阵)，通过捕获的数据训练神经网络得到一个3d静态场景的表示，训练好的辐射场可以从场景的任意角度(可以是训练数据之外的角度)渲染图片。3d高斯建模是一种类似辐射场的建模方法，首先通过运动结构匹配(structure from motion，sfm)，根据捕获的图像构建一个稀疏的场景点云，该点云用于初始化3d高斯点云集，训练过程中，通过不断优化3d高斯点云集，最终获得一个高质量的3d静态场景表示。
2、传统三维模型和拍摄视频融合通常是借助3d建模软件或剪辑软件实现三维模型与视频的融合。一般包含以下几个步骤：a)通过扫描或拍摄，将真实物体建模为三维模型；b)在第三方软件中将mesh文件导入到场景中确保将其放置在适当的位置和大小；c)在3d软件中，设置一个虚拟摄像机，以模拟视频中的摄像机。调整摄像机的位置、方向和参数，使其与视频中的摄像机相匹配，d)在3d软件中，将视频文件导入并将其作为背景。确保视频的帧率和分辨率与实际视频相匹配；e)使用3d软件中的渲染功能，将场景中的3d模型和视频背景一起渲染成一张图像序列或视频。
3、以上传统三维模型和拍摄视频融合的过程，需要通过编辑者手动工作，逐步完成各个步骤，对编辑者的软件使用熟练度有较高要求，且各个环节都需要人工参与，整个工作流程人工成本较高。
r/>技术实现思路
1、鉴于以上存在的问题，本专利技术提供一种基于3d高斯的三维模型与视频融合方法，简化了三维模型与视频融合过程，整个融合过程中仅需要人工确认三维模型的位置和大小，其余过程都可自动化完成，节省了大量人工成本。
2、为解决上述技术问题，本专利技术采用如下的技术方案：
3、一种基于3d高斯的三维模型与视频融合方法，包括空间还原过程和融合渲染过程，
4、其中空间还原过程进一步包括：
5、设计3d高斯建模模块采集待嵌入物体的图像数据，并通过图像数据完成物体的3d高斯建模，用于后续与视频进行融合；
6、设计视频空间还原模块根据输入的拍摄视频，进行抽帧处理，对抽帧得到的图像数据进行相机位置估计得到拍摄视频的相机移动轨迹，3d高斯建模利用抽帧后的图像数据经行快速的建模，从而还原拍摄视频的空间结构和视频的3d高斯模型；
7、融合渲染过程进一步包括：
8、设计嵌入位置确认模块同时加载真实物体的3d高斯模型和从拍摄视频中建模的简单3d高斯模型可视化，由编辑者在可视化界面中调整真实物体的3d高斯模型的具体位置和大小，并导出多个新的3d高斯模型；
9、设计遮罩信息生成模块，先按拍摄视频的相机轨迹进行一次图像渲染，将嵌入位置确认模块生成的3d高斯模型和从拍摄视频中建模的简单3d高斯模型按相机轨迹逐帧渲染，得到多组图像序列，根据多组图像序列计算模型之间的遮罩信息，获得遮罩图组；
10、设计视频渲染模块根据遮罩信息生成模块生成的多组图像序列和计算得到的遮罩图组，逐帧计算渲染，合成最终的嵌入模型的拍摄视频。
11、一种可能的实施方式中，所述设计3d高斯建模模块具体包括：
12、以拍摄的方式采集的n张真实物体的图像集y＝yi(0<i≤n)通过运动结构匹配，得到对应的相机参数objectcam，所述相机参数包括焦距，扭曲参数，位置矩阵的相机内外参数矩阵，并构建一个初始化的场景点云p，定义如下，
13、objectcam，p＝sfm(y)
14、3d高斯建模(gs_model)通过objectcam、初始化的场景点云p和n张真实物体的图像y对真实物体建模，生成3d_gs(3d高斯模型)a，3d高斯模型a将用于后续的视频融合，建模过程如下
15、3d_gs a＝gs_model(objectcam，p，y)。
16、一种可能的实施方式中，所述设计视频空间还原模块具体包括：
17、对输入的拍摄视频v，经行抽帧处理，获得视频图像集yv，以对真实物体的图像集y相同的处理方式处理视频图像集yv，获得拍摄视频的相机轨迹videocam和场景点云pv。
18、为了还原拍摄视频v的空间结构，通过相机轨迹videocam、场景点云pv和视频图像集yv建模拍摄视频的3d_gs b，建模过程如下：
19、3d_gs b＝gs_modelfast_light(videocam，pv，yv)。
20、一种可能的实施方式中，所述设计嵌入位置确认模块具体包括：
21、将3d_gs a和3d_gs b同时加载到高斯模型的可视化界面中，固定拍摄视频的3d_gs b不进行空间变换，由编辑者移动真实物体的3d_gs a到任意位置经行定位；
22、确认真实物体与拍摄视频的具体融合位置后，在可视化界面中导出两个新的3d_gs模型，分别为真实物体和拍摄视频融合后的3d_gs ab，以及经过空间位置变换后的真实物体3d_gs a1。
23、一种可能的实施方式中，所述设计遮罩信息生成模块具体包括：
24、按照拍摄视频的相机轨迹videocam，逐帧渲染拍摄视频的3d_gs b和真实物体与拍摄视频融合后的3d_gs ab，从而得到两组渲染生成的图像序列，即图片序列b和图像序列ab；
25、对图片序列b和图像序列ab进行逐帧的插值计算，每一帧遮罩信息的计算过程如下
26、
27、生成的mask图组中包含了每一帧中3d_gs a和3d_gs b的前后深度关系，用于后续的视频渲染。
28、一种可能的实施方式中，所述设计视频渲染模块具体包括：
29、将空间位置变换后的真实物体3d_gs a1按照拍摄视频的相机轨迹videocam逐帧渲染，得到图像序列a1，然后利用遮罩图组mask，图像序列a1和拍摄视频综合渲染，输出最终的融合视频。
30、采用本专利技术具有如下的有益效果：通过3d高斯建模来实现3d高斯模型(三维模型)和拍摄视频的融合；先用3d高斯建模完成真实物体的三维建模，并借助3d高斯建模来还原拍摄视频的空间结构，再由编辑者在可视化页面中放置三维模型在适当的位置和大小，然后即可自动实现融合渲染，无需调整相机位置和参数。相比传统三维模型和拍摄视频融合的方法，本专利技术仅需编辑者确认3d高斯模型(三维模型)的摆放位置和大小，就能自动化实现模型和拍摄视频的融合，节省了大量人工成本。
本文档来自技高网...
【技术保护点】
1.一种基于3D高斯的三维模型与视频融合方法，其特征在于，包括空间还原过程和融合渲染过程，
2.如权利要求1所述的基于3D高斯的三维模型与视频融合方法，其特征在于，所述设计3D高斯建模模块具体包括：
3.如权利要求2所述的基于3D高斯的三维模型与视频融合方法，其特征在于，所述设计视频空间还原模块具体包括：
4.如权利要求3所述的基于3D高斯的三维模型与视频融合方法，其特征在于，所述设计嵌入位置确认模块具体包括：
5.如权利要求4所述的基于3D高斯的三维模型与视频融合方法，其特征在于，所述设计遮罩信息生成模块具体包括：
6.如权利要求5所述的基于3D高斯的三维模型与视频融合方法，其特征在于，所述设计视频渲染模块具体包括：
【技术特征摘要】
1.一种基于3d高斯的三维模型与视频融合方法，其特征在于，包括空间还原过程和融合渲染过程，
2.如权利要求1所述的基于3d高斯的三维模型与视频融合方法，其特征在于，所述设计3d高斯建模模块具体包括：
3.如权利要求2所述的基于3d高斯的三维模型与视频融合方法，其特征在于，所述设计视频空间还原模块具体包括：
...
【专利技术属性】
技术研发人员：陈豪，谢亚光，万俊青，陶文许，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。