【技术实现步骤摘要】
本申请涉及室内三维场景可控生成，特别是涉及一种室内三维场景可控生成模型训练和应用方法、设备及介质。
技术介绍
1、近年来，人们对三维数字内容（其是指通过三维建模软件创建的、用于设计和后续处理工作的三维数字模型）的需求越来越大，制造生成大量高质量的三维数字内容是许多应用的关键，例如视频游戏、电影制作、虚拟现实和增强现实。而室内空间作为人类生活的主要场所，室内三维场景数据的生成是三维数字内容生成中不可缺少的一项技术。随着室内设计、智能家居、室内机器人、游戏等产业的发展，对高真实感室内三维场景数据的需要也在不断增加。例如，在室内场景相关的人工智能算法以及具身智能等研究领域的最新方法大都是基于数据驱动式的深度学习算法，更多的室内三维场景数据可以明显地提高深度学习算法的性能，尤其是大量的高真实感室内三维场景数据，对提升室内机器人等智能体对真实世界中室内空间的理解至关重要。
2、传统的室内三维场景的生成方式有两种，一种是由专业的建模师和室内设计师人工地设计、建模、构造包含大量家具和装饰物品的高度复杂的室内三维场景，另一种是使用扫描设备对真实室内场景进行扫描，并使用三维重建算法对被扫描的单个真实室内场景进行三维重建，从而得到该真实室内场景的室内三维场景。然而，这两种室内三维场景生成方式需要专业的建模设计软件或扫描设备，以及一定的专业知识，有较高的技术门槛，且费时费力，收集大量的丰富多样的室内三维场景数据成本十分高昂。
3、近些年，有大量的研究者尝试使用人工智能技术自动地生成室内三维场景数据。一些研究者使用深度学习算法从
技术实现思路
1、本申请的目的是提供一种室内三维场景可控生成模型训练和应用方法、设备及介质，可基于直接从互联网上收集的无任何标注信息的海量的室内场景相关的图像数据，来训练得到支持多种条件控制的室内三维场景可控生成模型，进一步生成室内三维场景。
2、为实现上述目的，本申请提供了如下方案。
3、第一方面，本申请提供了一种室内三维场景可控生成模型训练方法，所述室内三维场景可控生成模型训练方法包括以下步骤。
4、获取训练用控制条件和多张无标注信息的室内场景图像，并以无标注信息的室内场景图像作为训练图像；所述训练用控制条件包括训练用场景图像和训练用房间墙壁边界。
5、分别以训练用场景图像和多张训练图像作为输入，利用相机参数预测器确定训练用场景图像对应的第一控制用相机参数和每一训练图像对应的第一训练用相机参数。
6、以训练用控制条件和满足预设分布的噪声作为输入，利用三维场景生成器生成室内三维场景的第一训练用神经辐射场。
7、基于第一训练用神经辐射场和第一控制用相机参数，渲染得到第一控制用合成图像；基于第一训练用神经辐射场和第二控制用相机参数，渲染得到第二控制用合成图像；基于第一训练用神经辐射场和所有第一训练用相机参数，渲染得到第一训练用合成图像；第一控制用合成图像、第二控制用合成图像和第一训练用合成图像均包括颜色图像和深度图像。
8、基于训练用房间墙壁边界和第二控制用相机参数，计算得到训练用房间墙壁边界的深度图像。
9、利用二维图像判别器对训练图像和第一训练用合成图像进行判别，得到判别结果，并根据判别结果计算判别损失。
10、根据训练用场景图像和第一控制用合成图像之间的相似程度，计算得到场景图像条件控制一致性损失。
11、根据训练用房间墙壁边界的深度图像和第二控制用合成图像的深度图像之间的差异，计算得到房间墙壁边界条件控制一致性损失。
12、根据判别损失、场景图像条件控制一致性损失和房间墙壁边界条件控制一致性损失，对三维场景生成器和二维图像判别器进行更新，得到更新后生成器和更新后判别器。
13、判断是否达到迭代终止条件。
14、若是，则停止迭代，以更新后生成器作为室内三维场景可控生成模型。
15、若否，则继续迭代，以更新后生成器作为下一迭代的三维场景生成器，以更新后判别器作为下一迭代的二维图像判别器，并返回“获取训练用控制条件和多张无标注信息的室内场景图像”的步骤。
16、第二方面，本申请提供了一种室内三维场景可控生成模型应用方法，所述室内三维场景可控生成模型应用方法包括以下步骤。
17、获取用户输入的控制条件；所述控制条件为场景图像或房间墙壁边界。
18、以控制条件和满足预设分布的噪声作为输入，利用室内三维场景可控生成模型生成室内三维场景的神经辐射场；所述室内三维场景可控生成模型采用上述的室内三维场景可控生成模型训练方法训练得到。
19、基于神经辐射场，生成室内三维场景。
20、第三方面，本申请提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的室内三维场景可控生成模型训练方法或者上述的室内三维场景可控生成模型应用方法。
21、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的室内三维场景可控生成模型训练方法或者上述的室内三维场景可控生成模型应用方法。
22、根据本申请提供的具体实施例，本申请具有以下技术效果。
23、本申请提供了一种室内三维场景可控生成模型训练和应用方法、设备及介质，以训练用控制条件和满足预设分布的噪声作为输入，利用三维场景生成器生成室内三维场景的第一训练用神经辐射场，基于第一训练用神经辐射场渲染得到第一控制用合成图像、第二控制用合成图像和第一训练用合成图像，进一步计算判别损失、场景图像条件控制一致性损失和房间墙壁边界条件控制一致性损失，来对三维场景生成器和二维图像判别器进行更新，得到更新后生成器和更新后判别器，不断迭代，直至达到迭代终止条件，得到支持多种条件控制的室内三维场景可控生成模型。本申请通过设计对抗生成网络框架，可基于直接从互联网上收集的无任何标注信息的海量的室内场景相关的图像数据，来训练得到支持多种条件控制的室内三维场景可控生成模型，进一步生成室内三维场景，对图像数据集的要求不高，避免由于图像数据集内容较本文档来自技高网...
【技术保护点】
1.一种室内三维场景可控生成模型训练方法，其特征在于，所述室内三维场景可控生成模型训练方法包括：
2.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，在分别以训练用场景图像和多张训练图像作为输入，利用相机参数预测器确定训练用场景图像对应的第一控制用相机参数和每一训练图像对应的第一训练用相机参数之前，所述室内三维场景可控生成模型训练方法还包括：
3.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，以训练用控制条件和满足预设分布的噪声作为输入，利用三维场景生成器生成室内三维场景的第一训练用神经辐射场，具体包括：
4.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，基于第一训练用神经辐射场和所有第一训练用相机参数，渲染得到第一训练用合成图像，具体包括：
5.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，基于训练用房间墙壁边界和第二控制用相机参数，计算得到训练用房间墙壁边界的深度图像，具体包括：
6.根据权利要求1所述的室内三维场景可控生成模型训练方法，其
7.一种室内三维场景可控生成模型应用方法，其特征在于，所述室内三维场景可控生成模型应用方法包括：
8.根据权利要求7所述的室内三维场景可控生成模型应用方法，其特征在于，所述控制条件还包括场景文本描述，此时，以控制条件和满足预设分布的噪声作为输入，利用室内三维场景可控生成模型生成室内三维场景的神经辐射场，具体包括：
9.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的室内三维场景可控生成模型训练方法或者权利要求7-8中任一项所述的室内三维场景可控生成模型应用方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的室内三维场景可控生成模型训练方法或者权利要求7-8中任一项所述的室内三维场景可控生成模型应用方法。
...【技术特征摘要】
1.一种室内三维场景可控生成模型训练方法，其特征在于，所述室内三维场景可控生成模型训练方法包括：
2.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，在分别以训练用场景图像和多张训练图像作为输入，利用相机参数预测器确定训练用场景图像对应的第一控制用相机参数和每一训练图像对应的第一训练用相机参数之前，所述室内三维场景可控生成模型训练方法还包括：
3.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，以训练用控制条件和满足预设分布的噪声作为输入，利用三维场景生成器生成室内三维场景的第一训练用神经辐射场，具体包括：
4.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，基于第一训练用神经辐射场和所有第一训练用相机参数，渲染得到第一训练用合成图像，具体包括：
5.根据权利要求1所述的室内三维场景可控生成模型训练方法，其特征在于，基于训练用房间墙壁边界和第二控制用相机参数，计算得到训练用房间墙壁边界的深度图像，具体包括：
6.根据权利要求1所述的室内三维场景可控生成...
【专利技术属性】
技术研发人员：周彬，杨明佳，赵沁平，李竹青，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。