本公开提供了一种图像生成方法、图像生成装置、存储介质和电子设备，涉及图像处理技术领域。该图像生成方法包括：获取与待生成图像对应的相机位姿，根据相机位姿确定与待生成图像中各像素点对应的射线；针对每条射线上的采样点，根据采样点的位置信息确定采样点的空间语义信息；根据采样点的位置信息和空间语义信息，确定采样点的色彩信息和密度信息；利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，以生成待生成图像。本公开可以提升生成新视角图像的效果。的效果。的效果。
【技术实现步骤摘要】
图像生成方法及装置、存储介质和电子设备
[0001]本公开涉及图像处理
，具体而言，涉及一种图像生成方法、图像生成装置、存储介质和电子设备。
技术介绍
[0002]三维重建和新视角图像渲染一直是计算机图形学领域的核心，也是近年来研究的重点。随着数字孪生、全息通讯和元宇宙等新概念的提出，工业界也对三维重建和新视角图像渲染的需求逐渐增加。
[0003]目前，新视角图像生成的方案中，普遍存在场景分辨能力弱、方案不灵活的问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种图像生成方法、图像生成装置、存储介质和电子设备，进而至少在一定程度上克服图像生成方案场景分辨能力弱、不灵活的问题。
[0006]根据本公开的第一方面，提供了一种图像生成方法，包括：获取与待生成图像对应的相机位姿，根据相机位姿确定与待生成图像中各像素点对应的射线；针对每条射线上的采样点，根据采样点的位置信息确定采样点的空间语义信息；根据采样点的位置信息和空间语义信息，确定采样点的色彩信息和密度信息；利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，以生成待生成图像。
[0007]可选地，根据采样点的位置信息确定采样点的空间语义信息包括：预先构建空间立方体，空间立方体中每个像素点均初始化配置空间语义信息；将初始化配置的空间语义信息作为可学习参数，利用与待生成图像同一场景的训练图像对空间语义信息进行训练，以得到空间立方体中每个像素点对应的空间语义信息；在采样点是空间立方体中像素点的情况下，根据采样点的位置信息确定出对应的空间语义信息。
[0008]可选地，图像生成方法还包括：在采样点不是空间立方体中像素点的情况下，确定空间立方体中与采样点邻近的像素点；对与采样点邻近的像素点对应的空间语义信息进行插值处理，以得到采样点的空间语义信息。
[0009]可选地，根据采样点的位置信息和空间语义信息，确定采样点的色彩信息和密度信息，包括：将采样点的位置信息和空间语义信息输入全连接网络，通过全连接网络的预测过程确定出采样点的色彩信息和密度信息。
[0010]可选地，图像生成方法还包括：预先获取与待生成图像同一场景的训练图像；将训练图像对应的射线上采样点的位置信息和空间语义信息输入全连接网络；根据训练过程中全连接网络输出的色彩信息和密度信息，生成中间图像；将中间图像与预先选取的真实图像进行比较，计算损失信息，并利用损失信息对全连接网络中的网络参数进行调整。
[0011]可选地，参与网络训练的训练图像中包括相机位姿与待生成图像对应的相机位姿
不同的训练图像。
[0012]可选地，利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，包括：以射线上各采样点的密度信息作为权重，对相应的色彩信息进行积分操作，以确定出待生成图像中与射线对应的像素点的色彩信息。
[0013]根据本公开的第二方面，提供了一种图像生成装置，包括：射线确定模块，用于获取与待生成图像对应的相机位姿，根据相机位姿确定与待生成图像中各像素点对应的射线；空间特征确定模块，用于针对每条射线上的采样点，根据采样点的位置信息确定采样点的空间语义信息；信息确定模块，用于根据采样点的位置信息和空间语义信息，确定采样点的色彩信息和密度信息；图像生成模块，用于利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，以生成待生成图像。
[0014]可选地，空间特征确定模块可以被配置为执行：预先构建空间立方体，空间立方体中每个像素点均初始化配置空间语义信息；将初始化配置的空间语义信息作为可学习参数，利用与待生成图像同一场景的训练图像对空间语义信息进行训练，以得到空间立方体中每个像素点对应的空间语义信息；在采样点是空间立方体中像素点的情况下，根据采样点的位置信息确定出对应的空间语义信息。
[0015]可选地，空间特征确定模块还可以被配置为执行：在采样点不是空间立方体中像素点的情况下，确定空间立方体中与采样点邻近的像素点；对与采样点邻近的像素点对应的空间语义信息进行插值处理，以得到采样点的空间语义信息。
[0016]可选地，信息确定模块可以被配置为执行：将采样点的位置信息和空间语义信息输入全连接网络，通过全连接网络的预测过程确定出采样点的色彩信息和密度信息。
[0017]可选地，图像生成装置还包括训练模块，该训练模块可以被配置为执行：预先获取与待生成图像同一场景的训练图像；将训练图像对应的射线上采样点的位置信息和空间语义信息输入全连接网络；根据训练过程中全连接网络输出的色彩信息和密度信息，生成中间图像；将中间图像与预先选取的真实图像进行比较，计算损失信息，并利用损失信息对全连接网络中的网络参数进行调整。
[0018]可选地，参与网络训练的训练图像中包括相机位姿与待生成图像对应的相机位姿不同的训练图像。
[0019]可选地，图像生成模块可以被配置为执行：以射线上各采样点的密度信息作为权重，对相应的色彩信息进行积分操作，以确定出待生成图像中与射线对应的像素点的色彩信息。
[0020]根据本公开的第三方面，提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像生成方法。
[0021]根据本公开的第四方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；该处理器被配置为经由执行可执行指令来实现上述图像生成方法。
[0022]在本公开的一些实施例所提供的技术方案中，根据射线上采样点的位置信息和空间语义信息确定采样点的色彩信息和密度信息，再利用射线上各采样点的色彩信息和密度信息，确定待生成图像上与该射线对应的像素点的色彩信息，以生成图像。一方面，本公开方案结合空间语义信息来生成新视角图像，提高了场景分辨能力，且不受实施场景的限制，
具有通用性。另一方面，由于考虑到了空间语义信息，使得生成的图像能够较好地与视角(相机位姿)匹配，图像生成的准确度高。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0025]图1示出了本公开实施方式的图像生成过程的示意图；
[0026]图2示出了本公开实施例的图像生成方案所涉各个阶段的示意图；
[0027]图3示意性示出了根据本公开示例性实施方式的图像生成方法的流程图；
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：获取与待生成图像对应的相机位姿，根据所述相机位姿确定与所述待生成图像中各像素点对应的射线；针对每条所述射线上的采样点，根据所述采样点的位置信息确定所述采样点的空间语义信息；根据所述采样点的位置信息和空间语义信息，确定所述采样点的色彩信息和密度信息；利用所述射线上各采样点的色彩信息和密度信息，确定所述待生成图像中与所述射线对应的像素点的色彩信息，以生成所述待生成图像。2.根据权利要求1所述的图像生成方法，其特征在于，根据所述采样点的位置信息确定所述采样点的空间语义信息包括：预先构建空间立方体，所述空间立方体中每个像素点均初始化配置空间语义信息；将初始化配置的空间语义信息作为可学习参数，利用与所述待生成图像同一场景的训练图像对所述空间语义信息进行训练，以得到所述空间立方体中每个像素点对应的空间语义信息；在所述采样点是所述空间立方体中像素点的情况下，根据采样点的位置信息确定出对应的空间语义信息。3.根据权利要求2所述的图像生成方法，其特征在于，所述图像生成方法还包括：在所述采样点不是所述空间立方体中像素点的情况下，确定所述空间立方体中与所述采样点邻近的像素点；对与所述采样点邻近的像素点对应的空间语义信息进行插值处理，以得到所述采样点的空间语义信息。4.根据权利要求1所述的图像生成方法，其特征在于，根据所述采样点的位置信息和空间语义信息，确定所述采样点的色彩信息和密度信息，包括：将所述采样点的位置信息和空间语义信息输入全连接网络，通过所述全连接网络的预测过程确定出所述采样点的色彩信息和密度信息。5.根据权利要求4所述的图像生成方法，其特征在于，所述图像生成方法还包括：预先获取与所述待生成图像同一场景的训练图像；将所述训练图像对...
【专利技术属性】
技术研发人员：张琦，刘巧俏，邹航，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。