【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别涉及一种相机图像三维重建方法、装置、设备及介质。
技术介绍
1、三维重建指的是从同一场景中多个视角下拍摄的自然图像，恢复出场景的3d信息(物体的形状，纹理等)；物体的三维重建是计算机辅助几何设计(cagd)、计算机图形学(cg)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术；在计算机内生成物体三维表示主要有两类方法；一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型,另一类是通过一定的手段获取真实物体的几何形状，该技术已经比较成熟，一般使用具有数学表达式的曲线曲面表示几何形状；另一类则是三维重建过程，其利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术,包括数据获取、预处理、点云拼接和特征分析等步骤。
2、现阶段，在三维重建任务中，由于真实相机的透镜设计所带来的像差，破坏了理想成像的假设，导致多视角图像间的一致性下降，进而影响重建质量，因而对于像差的校正则成为重中之重。像差在图像中的具体体现形式包括模糊、色散、畸变和暗角；模糊会导致图像中物体的边缘和细节不清晰，降低了图像的整体锐度，使得三维重建时难以准确捕捉场景的精细结构；色散(色差)会使不同波长的光线在图像中不同程度地偏离焦点，导致边缘部分出现彩色条纹或光晕，破坏图像的颜色一致性；畸变会导致图像几何形状的扭曲，使直线变为曲线，或物体的形状发生变形，尤其是在鱼眼镜头或广角镜头中，影响三维重建的几何准确性；暗角是指图像四周比中心部分更暗的现象，会导致图像亮度
3、现阶段在物体的三维重建中，是直接利用物体不同视角的图像进行三维重建，在重建中通过预测相机的参数，并直接在三维重建中根据相机的参数校正不同视角图像的像差，以完成物体的三维重建，但此种方式是在三维重建的过程中不断预测并校正像差，在校正过程中，预测像差的多视角不一致性会大幅降低重建物体的质量，致使所重建的三维模型常常与真实场景存在较大差异，难以体现物体的三维信息。
技术实现思路
1、本专利技术实施例提供一种相机图像三维重建方法、装置、设备及介质，可以解决现有技术中，存在的现阶段的方法是在三维重建的过程中不断预测并校正像差，在校正过程中，预测像差的多视角不一致性会大幅降低重建物体的质量，致使所重建的三维模型常常与真实场景存在较大差异，难以体现物体的三维信息的问题。
2、本专利技术实施例提供一种相机图像三维重建方法，包括以下步骤：
3、获取同一场景中多个视角下相机拍摄的自然图像；
4、构建畸变模型、暗角模型和模糊模型；
5、针对每个自然图像，利用畸变模型预测自然图像每个坐标点表示相机镜头像差的偏移量，根据偏移量将自然图像进行扭曲，获得扭曲图像；利用暗角模型预测扭曲图像中每个区域表示相机镜头像差的亮度增益，根据亮度增益调整扭曲图像的暗角，获得亮暗图像；利用模糊模型预测亮暗图像中每个区域表示相机镜头像差的点扩散函数，根据点扩散函数对亮暗图像进行模糊色散拟合，获得同一场景中多个视角下的各像差图像；
6、根据各像差图像进行三维场景重建。
7、优选地，所述畸变模型的构建，包括：
8、所述畸变模型的结构依次为第一层1×1卷积层、第一个relu激活函数、第二层1×1卷积层、第二个relu激活函数、第三层1×1卷积层和第一个tanh激活函数；
9、畸变模型中的第一层1×1卷积层用于将输入的特征从2d坐标映射到高维特征空间；第一个relu激活函数用于增加非线性表达；第二层1×1卷积层用于将特征映射到目标维度；第二个relu激活函数用于再次增加非线性表达；第三层1×1卷积层用于将处理后的特征映射到输出的光流向量维度，所述光流向量维度包括水平偏移量和垂直偏移量；第一个tanh激活函数用于将输出值归一至[-1,1]区间，所述[-1,1]区间表示归一化的图像坐标系。
10、优选地，所述暗角模型的构建，包括：
11、所述暗角模型为多个可学习的二维高斯函数依次排布形成，所述暗角模型的结构是非网络的；
12、每个二维高斯函数配置一个可学习参数，用于在处理对应图像时学习图像中的中心位置及扩散范围。
13、优选地，所述模糊模型的构建，包括：
14、所述模糊模型的结构依次为第一层的1×1卷积层+一个relu激活函数、第二层的三个残差模块、第三层的1×1卷积层+一个relu激活函数；
15、所述模糊模型第一层中的1×1卷积层用于从输入通道到中间特征空间的映射，一个relu激活函数用于增加非线性表达；
16、所述模糊模型第二层中的第一个残差模块为1×1卷积层，用于调整通道数或特征分布；第二个残差模块为标准化层batchnorm，用于稳定训练；第三个残差模块为relu激活函数，用于再次增加非线性表达；
17、所述模糊模型第三层中的1×1卷积层和一个relu激活函数用于分别生成不同的输出特征通道，每个输出特征通道对应特定的点扩散函数psf特征。
18、优选地，所述畸变模型、暗角模型和模糊模型的优化，包括：
19、获取自然图像与扭曲图像的误差损失，获取自然图像与亮暗图像的误差损失，获取自然图像与像差图像的误差损失；
20、根据自然图像与扭曲图像的误差损失、自然图像与亮暗图像的误差损失，以及自然图像与像差图像的误差损失，进行梯度反传，以循环更新畸变模型、暗角模型和模糊模型的参数，优化畸变模型、暗角模型和模糊模型。
21、本专利技术实施例还提供了一种相机图像三维重建装置，包括：
22、采集模块，用于获取同一场景中多个视角下相机拍摄的自然图像；
23、模型构建模块，用于构建畸变模型、暗角模型和模糊模型；
24、处理模块，用于针对每个自然图像，利用畸变模型预测自然图像每个坐标点表示相机镜头像差的偏移量，根据偏移量将自然图像进行扭曲，获得扭曲图像；利用暗角模型预测扭曲图像中每个区域表示相机镜头像差的亮度增益，根据亮度增益调整扭曲图像的暗角，获得亮暗图像；利用模糊模型预测亮暗图像中每个区域表示相机镜头像差的点扩散函数，根据点扩散函数对亮暗图像进行模糊色散拟合，获得同一场景中多个视角下的各像差图像；
25、重建模块，用于根据各像差图像进行三维场景重建。
26、本专利技术实施例还提供了一种电子设备，包括存储器和处理器；
27、所述存储器，用于存储计算机程序；
28、所述处理器，用于执行所述存储器中存储的计算机程序时，实现如上所述的一种相机图像三维重建方法的步骤。
29、本专利技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种相机图像三维重建方法的步骤。
30、本专利技术实施例提供一种相机图像三维重建方法、装本文档来自技高网...
【技术保护点】
1.一种相机图像三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述畸变模型的构建，包括：
3.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述暗角模型的构建，包括：
4.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述模糊模型的构建，包括：
5.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述畸变模型、暗角模型和模糊模型的优化，包括：
6.一种相机图像三维重建装置，其特征在于，包括：
7.一种电子设备，其特征在于，包括：存储器和处理器；
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1～5任一项所述的一种相机图像三维重建方法的步骤。
【技术特征摘要】
1.一种相机图像三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述畸变模型的构建，包括：
3.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述暗角模型的构建，包括：
4.根据权利要求1所述的一种相机图像三维重建方法，其特征在于，所述模糊模型的构建，包括：
5.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。