【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种基于张量高斯混合表示的多视图合成方法、电子设备、介质。
技术介绍
1、在新型视图合成领域，近年来取得了显著进展。其目标是通过从稀疏图像集插值来生成逼真的三维场景或对象的新视图。这项技术在现实世界中得到了广泛的应用，包括虚拟现实、增强现实、数字孪生和自动驾驶等。其中，neural radiance field(nerf)获得了广泛关注，作为一种开创性的技术，它利用隐式多层感知器(mlp)沿采样射线累积rgb值以实现逼真图像渲染。然而，在大多数实践中，nerf存在开销大、合成速度慢等固有问题。
技术实现思路
1、针对现有技术不足，本专利技术提供了一种基于张量高斯混合表示的多视图合成方法、电子设备、介质。
2、第一方面，本专利技术实施例提供了一种基于张量高斯混合表示的多视图合成方法，所述方法包括：
3、初始化三维高斯体集合；
4、设置全局外观字典，从局部张量网格中提取每一三维高斯体对应的特征向量；
5、将每一特征向量以及目标图片对应的相机位姿分别输入至第一多层感知机、第二多层感知机，得到每一三维高斯体对应的不透明度和颜色；
6、对每一已知不透明度和颜色的三维高斯体添加掩码；
7、对添加掩码后的三维高斯体集合进行光栅化，得到合成的多视图；完成1次迭代；
8、基于目标图片与合成的多视图计算均方差损失，反向传播优化，优化三维高斯体的尺度、方向、位置，优化局部张量网格、第一多层
9、第二方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于张量高斯混合表示的多视图合成方法。
10、第三方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于张量高斯混合表示的多视图合成方法。
11、第四方面，本专利技术实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述的基于张量高斯混合表示的多视图合成方法。
12、与现有技术相比，本专利技术的有益效果为：
13、本专利技术公开了一种基于张量高斯混合表示的多视图合成方法，通过初始化三维高斯体集合；设置全局外观字典，从局部张量网格中提取每一三维高斯体对应的特征向量；将每一特征向量以及目标图片对应的相机位姿分别输入至第一、第二多层感知机，得到每一三维高斯体对应的不透明度和颜色；对每一已知不透明度和颜色的三维高斯体添加掩码；对添加掩码后的三维高斯体集合进行光栅化，得到合成的多视图；完成1次迭代；基于目标图片与合成的多视图计算均方差损失，反向传播优化，优化三维高斯体的尺度、方向、位置，优化局部张量网格，第一、第二多层感知机，全局外观字典的参数，重复进行迭代，直至合成的多视图与目标图片一致。本专利技术降低了计算开销，提高了合成速度。
本文档来自技高网...【技术保护点】
1.一种基于张量高斯混合表示的多视图合成方法，其特征在于，所述方法包括：
2.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，将
3.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，从局部张量网格中提取三维高斯体对应的特征向量包括：
4.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，将已知不透明度和颜色的三维高斯体集合记为
5.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，对已知不透明度和颜色的三维高斯体添加掩码包括：
6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-5任一项所述的基于张量高斯混合表示的多视图合成方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的基于张量高斯混合表示的多视图合成方法。
8.一种计算
...【技术特征摘要】
1.一种基于张量高斯混合表示的多视图合成方法，其特征在于，所述方法包括：
2.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，将
3.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，从局部张量网格中提取三维高斯体对应的特征向量包括：
4.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，将已知不透明度和颜色的三维高斯体集合记为
5.根据权利要求1所述一种基于张量高斯混合表示的多视图合成方法，其特征在于，对已知不透明度和颜色的三维高斯体添加掩码包括：...
【专利技术属性】
技术研发人员：严舒文，卢芊含，童博扬，应嘉禾，陈思宇，郑建炜，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。