【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种三维高斯辐射场训练方法、装置、设备、存储介质及程序产品。
技术介绍
1、随着虚拟现实、增强现实、游戏开发及电影制作等领域的快速发展，人们对于实时、高质量的3d场景渲染技术的需求日益增加。
2、近年来，神经辐射场(nerf)技术的出现，为三维计算机视觉领域带来了革命性的进展。nerf通过学习一组具有特定姿态的图像，能够在隐式场中紧凑地表示复杂的三维场景。
3、然而，nerf在渲染速度和灵活性方面存在一定的局限性，且nerf常常忽略了场景内各个对象之间的复杂相互作用，如阴影、反射等细节，这在一定程度上限制了其在真实世界场景复现上的应用潜力。
技术实现思路
1、本专利技术提供一种三维高斯辐射场训练方法、装置、设备、存储介质及程序产品，用以解决现有技术中的3d场景渲染技术在渲染速度和灵活性方面存在一定的局限性，且忽略了场景内各个对象之间的相互作用的缺陷，实现了高质量的三维场景渲染效果。
2、本专利技术提供一种三维高斯辐射场训练方法，包括：获取第一视角图像数据，所述第一视角图像数据为已有视角下的图像数据；根据所述第一视角图像数据确定第二视角图像数据，所述第二视角图像数据为未知视角下的图像数据；根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像；基于所述三维融合图像更新三维高斯辐射场的场景参数。
3、根据本专利技术提供的一种三维高斯辐射场训练方法，所述根据所述第一视角图像数据确定第二视角图像数据，
4、根据本专利技术提供的一种三维高斯辐射场训练方法，所述根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像之前，所述方法还包括：获取所述第一视角图像数据的第一相机位姿数据；根据所述第一相机位姿数据确定所述第二视角图像数据的第二相机位姿数据；所述根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像，包括：根据所述第一视角图像数据、所述第一相机位姿数据、所述第二视角图像数据以及所述第二相机位姿数据生成所述三维融合图像。
5、根据本专利技术提供的一种三维高斯辐射场训练方法，所述根据所述第一相机位姿数据确定所述第二视角图像数据的第二相机位姿数据，包括：确定所述第一视角图像数据和所述第二视角图像数据之间的数据相关性；根据所述数据相关性估算从第一视角到第二视角的相机位姿变换；根据所述第一相机位姿数据和所述相机位姿变换确定所述第二相机位姿数据。
6、根据本专利技术提供的一种三维高斯辐射场训练方法，所述根据所述第一视角图像数据、所述第一相机位姿数据、所述第二视角图像数据以及所述第二相机位姿数据生成所述三维融合图像，包括：根据公式ifusion＝αiknown+(1-α)ipredict生成所述三维融合图像ifusion；其中，iknown表示根据所述第一视角图像数据和所述第一相机位姿数据生成的第一图像，ipredict表示根据所述第二视角图像数据和所述第二相机位姿数据生成的第二图像，α表示权重系数。
7、根据本专利技术提供的一种三维高斯辐射场训练方法，所述基于所述三维融合图像更新三维高斯辐射场的场景参数，包括：根据公式min∑||ifusion-irender(μ，∑)||2更新所述三维高斯辐射场的场景参数；其中，μ和∑表示所述三维高斯辐射场的场景参数，irender(μ，∑)表示在场景参数为μ和∑时，所述三维高斯辐射场的渲染图像，||·||2表示差异的平方。
8、本专利技术还提供一种三维高斯辐射场训练装置，包括如下模块：获取模块、处理模块以及训练模块；所述获取模块，用于获取第一视角图像数据，所述第一视角图像数据为已有视角下的图像数据；所述处理模块，用于根据所述第一视角图像数据确定第二视角图像数据，所述第二视角图像数据为未知视角下的图像数据；根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像；所述训练模块，用于基于所述三维融合图像更新三维高斯辐射场的场景参数。
9、根据本专利技术提供的一种三维高斯辐射场训练装置，所述处理模块，用于提取所述第一视角图像数据的图像特征；将所述图像特征输入单视角生成模型，得到所述第二视角图像数据。
10、根据本专利技术提供的一种三维高斯辐射场训练装置，所述获取模块，用于获取所述第一视角图像数据的第一相机位姿数据；所述处理模块，用于根据所述第一相机位姿数据确定所述第二视角图像数据的第二相机位姿数据；根据所述第一视角图像数据、所述第一相机位姿数据、所述第二视角图像数据以及所述第二相机位姿数据生成所述三维融合图像。
11、根据本专利技术提供的一种三维高斯辐射场训练装置，所述处理模块，用于确定所述第一视角图像数据和所述第二视角图像数据之间的数据相关性；根据所述数据相关性估算从第一视角到第二视角的相机位姿变换；根据所述第一相机位姿数据和所述相机位姿变换确定所述第二相机位姿数据。
12、根据本专利技术提供的一种三维高斯辐射场训练装置，所述处理模块，用于根据公式ifusion＝αiknown+(1-α)ipredict生成所述三维融合图像ifusion；其中，iknown表示根据所述第一视角图像数据和所述第一相机位姿数据生成的第一图像，ipredict表示根据所述第二视角图像数据和所述第二相机位姿数据生成的第二图像，α表示权重系数。
13、根据本专利技术提供的一种三维高斯辐射场训练装置，所述训练模块，用于根据公式min∑||ifusion-irender(μ，∑)||2更新所述三维高斯辐射场的场景参数；其中，μ和∑表示所述三维高斯辐射场的场景参数，irender(μ，∑)表示在场景参数为μ和∑时，所述三维高斯辐射场的渲染图像，||·||2表示差异的平方。
14、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维高斯辐射场训练方法。
15、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维高斯辐射场训练方法。
16、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维高斯辐射场训练方法。
17、本专利技术提供的三维高斯辐射场训练方法、装置、设备、存储介质及程序产品，可以获取第一视角图像数据，所述第一视角图像数据为已有视角下的图像数据；根据所述第一视角图像数据确定第二视角图像数据，所述第二视角图像数据为未知视角下的图像数据；根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像；基于所述三维融合图像更新三维高斯辐射场的场景参数。通过该方案，由于可以基于已知视角下的图像数据预测未知视角下的图像数据，并基于二者的三维融合图像更新三维高斯辐射场的场景参数，因此不仅提高了三维高斯辐射场的渲染效率和视本文档来自技高网...
【技术保护点】
1.一种三维高斯辐射场训练方法，其特征在于，包括：
2.根据权利要求1所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据确定第二视角图像数据，包括：
3.根据权利要求1所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像之前，所述方法还包括：
4.根据权利要求3所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一相机位姿数据确定所述第二视角图像数据的第二相机位姿数据，包括：
5.根据权利要求3所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据、所述第一相机位姿数据、所述第二视角图像数据以及所述第二相机位姿数据生成所述三维融合图像，包括：
6.根据权利要求1-5任一项所述的三维高斯辐射场训练方法，其特征在于，所述基于所述三维融合图像更新三维高斯辐射场的场景参数，包括：
7.一种三维高斯辐射场训练装置，其特征在于，包括：获取模块、处理模块以及训练模块；所述获取模块，用于获取第一视角图像数据，所述第一视角图像数据为
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维高斯辐射场训练方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维高斯辐射场训练方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维高斯辐射场训练方法。
...【技术特征摘要】
1.一种三维高斯辐射场训练方法，其特征在于，包括：
2.根据权利要求1所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据确定第二视角图像数据，包括：
3.根据权利要求1所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据和所述第二视角图像数据生成三维融合图像之前，所述方法还包括：
4.根据权利要求3所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一相机位姿数据确定所述第二视角图像数据的第二相机位姿数据，包括：
5.根据权利要求3所述的三维高斯辐射场训练方法，其特征在于，所述根据所述第一视角图像数据、所述第一相机位姿数据、所述第二视角图像数据以及所述第二相机位姿数据生成所述三维融合图像，包括：
6.根据权利要求1-5任一项所述的三维高斯辐射场训练方法，...
【专利技术属性】
技术研发人员：张源奔，曹泽昊，王宗继，葛蕴萍，蔡伟南，张利利，刘俊义，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。