【技术实现步骤摘要】
本专利技术涉及沉浸式自媒体，具体地，涉及一种实时任意视角、自由视角视频生成方法及系统。
技术介绍
1、自由视角技术作为可交互的沉浸式媒体内容的代表，允许观众根据自身的需求，通过交互来选择任意方向和视点观看视觉场景，而不受用于拍摄的摄像机位置的限制。自由视角技术“由外而内”的交互形式相较于“由内而外”的vr技术，给用户的立体体验感更强，交互也更为直接。自由视角视频是一种新型的具有强交互特性的沉浸式媒体形式，其吸引力超越了云游戏、远程虚拟现实等典型应用场景，有望改变我们消费视觉内容的方式。
2、一般来说，自由视角系统包括多视角采集系统、自由视角内容生产以及编码传输和客户端等四个部分。其中多视角采集系统旨在为自由视角系统提供多角度和多方位的视频源信息，然而由于硬件成本和数据量的限制，采集系统只能受限于稀疏的有限数量的摄像机拍摄，虚拟视角合成技术旨在从有限的视角信息获取到其他未经采集到的视点信息。dibr(depth image-based rendering)方法是自由视角系统中最常用的视图合成方法。然而，由于三维图像扭曲中引入了遮挡和黑洞，合成结果往往不令人满意，此外，准确深度图的获取也面临很大挑战。
3、自由视角系统一般可分为中心式和分布式两种模型。
4、在中心式模型中，不同用户所需的视点在服务器端合成。现有的一些实时视角合成方法需要足够的计算资源，因此一台服务器只能服务于有限数量的用户终端。随着接入用户数量的增加，服务器的数量也需要相应增加。该模型在难以应对高并发性场景，并且在交互过程中会导致
5、分布式模型能够同时为多个用户提供服务，因为它在客户端执行视图合成过程。然而，视图合成所需的multiview-videoplus-depth(mvd)表示需要传输给用户，这可能导致高传输带宽。此外，视图合成方法需要大量的处理能力，这对一些低端用户终端来说是不友好的。
技术实现思路
1、针对现有技术中的缺陷，本公开的目的是提供一种实时任意视角生成方法及系统、自由视角视频方法及系统。
2、为了实现上述目的，根据本公开的第一方面，提供一种实时任意视角生成方法，包括：
3、获取同一标定物的不同视角的多帧彩色图像，所述同一标定物的不同视角的多帧彩色图像包括第一视角的第一彩色纹理图像和第二视角的第二彩色纹理图像；
4、将所述第一彩色纹理图像和所述第二彩色纹理图像输入预设的稠密光流场估计网络中，确定双向光流；
5、将所述第一彩色纹理图像、所述第二彩色纹理图像以及所述双向光流输入光流嵌入器内，确定预设对数的嵌入光流和掩码矩阵；
6、根据用户输入的第三视角和所述预设对数的嵌入光流，确定所述第一彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第一光流、所述第二彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第二光流；
7、根据所述第一预设数量的第一光流和所述第一预设数量的第二光流分别对所述第一彩色纹理图像和所述第二彩色纹理图像进行前向扭曲处理，并根据所述掩码矩阵将经过所述前向扭曲处理后的图像进行融合处理，确定所述第三视角处的完整虚拟视图。
8、可选地，所述将所述第一彩色纹理图像、所述第二彩色纹理图像以及所述双向光流输入光流嵌入器内，确定预设对数的嵌入光流和掩码矩阵，包括：
9、对所述第一彩色纹理图像和所述第二彩色纹理图像进行特征提取处理，确定所述第一视角和所述第二视角的彩色图像在不同分辨率尺度的图像特征；
10、将所述第一视角和所述第二视角的彩色图像的图像特征根据初始光流进行第一扭曲处理，确定经过所述第一扭曲处理后的图像特征；
11、将经过所述第一扭曲处理后的图像特征与扭曲终点的原始图像特征依次进行对齐处理和拼接处理，确定拼接图像特征；
12、将所述拼接图像特征依次进行编码处理和解码处理，确定第二预设数量的光流残差，其中，第二预设数量的数值与预设对数的数值相同；
13、根据所述第二预设数量的光流残差对所述初始光流进行优化处理，确定预设对数的嵌入光流和掩码矩阵。
14、可选地，所述根据用户输入的第三视角和所述预设对数的嵌入光流，确定所述第一彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第一光流、所述第二彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第二光流，包括：
15、
16、其中，表示所述第一光流，p表示所述第三视角，表示从所述第一视角到所述第二视角的嵌入光流，表示所述第二光流，表示从所述第二视角到所述第一视角的嵌入光流。
17、可选地，所述融合处理包括第一融合处理和第二融合处理；
18、所述采用所述第一预设数量的第一光流和所述第一预设数量的第二光流对所述第一彩色纹理图像和所述第二彩色纹理图像进行前向扭曲处理，并采用所述掩码矩阵将经过所述前向扭曲处理后的图像进行融合处理，确定所述第三视角处的完整虚拟视图，包括：
19、采用前向扭曲算子将所述第一彩色纹理图像根据所述第一预设数量的第一光流前向扭曲至所述第三视角，确定第一预设数量的第一侧虚拟第三彩色纹理图像；
20、采用所述前向扭曲算子将所述第二彩色纹理图像根据所述第一预设数量的第二光流前向扭曲至所述第三视角，确定第一预设数量的第二侧虚拟第三彩色纹理图像；
21、将所述第一预设数量的第一侧虚拟第三彩色纹理图像和所述第一预设数量的第二侧虚拟第三彩色纹理图像分别进行所述第一融合处理，确定经过所述第一融合处理后的第一侧融合图像和第二侧融合图像；
22、根据所述掩码矩阵，将所述第一侧融合图像和所述第二侧融合图像进行所述第二融合处理，确定所述第三视角处的完整虚拟视图。
23、可选地，所述根据所述掩码矩阵，将所述第一侧融合图像和所述第二侧融合图像进行所述第二融合处理，确定所述第三视角处的完整虚拟视图，包括：
24、ip＝m⊙ileft→p+(1-m)⊙iright→p
25、
26、
27、其中，ip表示所述第三视角处的完整虚拟图像，m表示所述掩码矩阵，ileft→p表示所述第一侧融合图像，iright→p表示所述第二侧融合图像，表示第一侧虚拟第三彩色纹理图像，表示第二侧虚拟第三彩色纹理图像，k表示所述第一预设数量。
28、根据本公开的第二方面，提供一种实时任意视角生成系统，包括：
29、获取模块，用于获取同一标定物的不同视角的多帧彩色图像，所述同一标定物的不同视角的多帧彩色图像包括第一视角的第一彩色纹理图像和第二视角的第二彩色纹理图像；
30、第一确定模块，用于将所述第一彩色纹理图像和所述第二彩色纹理图像输入预设的稠密光流场估计网络中，确定双向光流；
31、第二确定模块，用于将所述第一彩色纹理图像、所述第二彩色纹理图像以及所述双向光流输入光流嵌入器内，确定预设对数的本文档来自技高网...
【技术保护点】
1.一种实时任意视角生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一彩色纹理图像、所述第二彩色纹理图像以及所述双向光流输入光流嵌入器内，确定预设对数的嵌入光流和掩码矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据用户输入的第三视角和所述预设对数的嵌入光流，确定所述第一彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第一光流、所述第二彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第二光流，包括：
4.根据权利要求1所述的方法，其特征在于，所述融合处理包括第一融合处理和第二融合处理；
5.根据权利要求4所述的方法，其特征在于，所述根据所述掩码矩阵，将所述第一侧融合图像和所述第二侧融合图像进行所述第二融合处理，确定所述第三视角处的完整虚拟视图，包括：
6.一种实时任意视角生成系统，其特征在于，包括：
7.一种自由视角视频生成方法，其特征在于，包括：
8.根据权利要求7所述的方法，其特征在于，所述将每一所述两两组合的多帧彩色图像及其所述预设对
9.根据权利要求8所述的方法，其特征在于，所述不同的客户端通过交互选择目标合成图像并进行下载，根据权利要求3-4中任一项所述的方法实时合成用户所观看的视角处的完整虚拟视图，包括：
10.一种自由视角视频生成系统，其特征在于，包括：
...【技术特征摘要】
1.一种实时任意视角生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述第一彩色纹理图像、所述第二彩色纹理图像以及所述双向光流输入光流嵌入器内，确定预设对数的嵌入光流和掩码矩阵，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据用户输入的第三视角和所述预设对数的嵌入光流，确定所述第一彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第一光流、所述第二彩色纹理图像到所述第三视角的虚拟视图的第一预设数量的第二光流，包括：
4.根据权利要求1所述的方法，其特征在于，所述融合处理包括第一融合处理和第二融合处理；
5.根据权利要求4所述的方法，其特征在于，所述根据所述掩码矩阵，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。