本申请提供了一种深度图像重建模型的训练方法、装置、电子设备及存储介质，用于提高深度图像重建模型训练的准确性及速度，进而提高通过深度图像重建模型预测的深度图像的准确度。该方法包括：通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像；根据空间几何投影误差和重投影误差，对同组内的第一深度图像中的异常像素点进行过滤，得到各第一深度图像分别对应的深度过滤图像；计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，第二深度图像是通过深度图像重建模型得到的；根据第一损失值更新深度图像重建模型。据第一损失值更新深度图像重建模型。据第一损失值更新深度图像重建模型。
【技术实现步骤摘要】
深度图像重建模型的训练方法、装置、电子设备
[0001]本申请涉及图像处理
，具体而言，涉及一种深度图像重建模型的训练方法、装置、电子设备及存储介质。
技术介绍
[0002]无监督/自监督MVS(多视角立体视觉)模型通过借助多视图之前的光度一致性或，将多视图深度估计任务转换为图像重建任务，根据预测的深度图对参考视图进行重建，从而实现对预测深度图的约束低。
[0003]目前，有监督MVS方法需要具有深度真值的数据集进行训练，这些数据集难以获得并且规模有限，限制了此类方法在不同场景上的泛化性；利用光流等外部信息的方法需为大量的无标签训练数据制作光流伪标签，消耗大量训练时间及存储空间，导致训练流程复杂。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种深度图像重建模型的训练方法、装置、电子设备及存储介质，用于提高深度图像重建模型训练的准确性及速度，进而提高通过深度图像重建模型预测的深度图像的准确度。
[0005]第一方面，本申请实施例提供了一种深度图像重建模型的训练方法，所述深度图像重建模型的训练方法包括：
[0006]通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像；所述第一深度图像中包括各个像素点的深度值及概率值；
[0007]根据空间几何投影误差和重投影误差，对同组内的第一深度图像中的异常像素点进行过滤，得到各第一深度图像分别对应的深度过滤图像；
[0008]计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，所述第二深度图像是通过深度图像重建模型得到的；
[0009]根据所述第一损失值更新所述深度图像重建模型。
[0010]在一种可能的实施方式中，所述每组场景图像中包括一个参考图像和与参考图像相邻视角拍摄的辅助图像，所述教师模型的训练过程为
[0011]将一组场景图像输入到教师模型中得到参考图像的第一深度图像，以及参考图像、辅助图像分别对应的图像特征；
[0012]通过所述参考图像的第一深度图像，对辅助图像进行可微变换得到重建辅助图像，对所述辅助图像的图像特征进行可微变换得到重建图像特征；
[0013]根据所述重建辅助图像、所述重建图像特征和所述参考图像、所述参考图像的图像特征计算第二损失值；
[0014]根据所述第二损失值更新所述教师模型，直至所述教师模型的准确率达到预置数值，将最后更新的教师模型作为所述训练好的教师模型。
[0015]在一种可能的实施方式中，所述根据所述重建辅助图像、所述重建图像特征和所述参考图像、所述参考图像的图像特征计算第二损失值，包括：
[0016]计算每个重建辅助图像分别与所述参考图像的图像损失值，及计算每个重建图像特征分别与所述参考图像的图像特征的特征损失值；
[0017]根据所有的所述图像损失值和所述特征损失值进行计算，得到所述第二损失值。
[0018]在一种可能的实施方式中，所述通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像，包括：
[0019]将每组场景图像中的每个场景图像分别作为参考图像，其余场景图像为辅助图像，输入到所述训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像。
[0020]在一种可能的实施方式中，所述计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，包括：
[0021]针对每组场景图像，将该组场景图像中各场景图像分别输入到深度图像重建模型中，得到该组场景图像中各场景图像对应的第二深度图像；
[0022]针对每组场景图像，计算属于同一所述场景图像对应的深度过滤图像、第二深度图像之间的第一损失值。
[0023]在一种可能的实施方式中，所述教师模型为多视角立体视觉网络MVS网络模型。
[0024]在一种可能的实施方式中，所述方法还包括：
[0025]获取待重建场景图像组，所述待重建场景图像组中包括一个参考图像和与所述参考图像拍摄角度相邻的辅助图像；
[0026]将所述待重建场景图像组输入到训练好的深度图像重建模型中，得到所述待重建场景图像中参考图像对应的深度图像。
[0027]第二方面，本申请实施例还提供了一种深度图像重建模型的训练装置，所述深度图像重建模型的训练装置包括：
[0028]获取模块，用于通过训练好的教师模型，得到每组场景图像中各场景图像分别对应第一的深度图像；所述第一深度图像中包括各个像素点的深度值及概率值；
[0029]过滤模块，用于根据空间几何投影误差和重投影误差，对同组内的第一深度图像中的异常像素点进行过滤，得到各第一深度图像分别对应的深度过滤图像；
[0030]计算模块，用于计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，所述第二深度图像是通过深度图像重建模型得到的；
[0031]更新模块，用于根据所述第一损失值更新所述深度图像重建模型。
[0032]第五方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的深度图像重建模型的训练方法的步骤。
[0033]第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的深度图像重建模型的训练方法的步骤。
[0034]本申请实施例提供了一种深度图像重建模型的训练方法、装置、电子设备及存储
介质，该方法包括：通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像；所述第一深度图像中包括各个像素点的深度值及概率值；根据空间几何投影误差和重投影误差，对属于同组内第一深度图像中的异常像素点进行过滤，得到各第一深度图像分别对应的深度过滤图像；计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，所述第二深度图像是通过深度图像重建模型得到的；根据第一损失值更新深度图像重建模型。相对于现有技术中MVS模型需要有深度值的数据集，以及制作光流伪标签相比，本申请在对深度图像重建模型进行训练时，无需有深度值的数据集及制作光流伪标签，即本申请在得到各场景图像分别对应的第一深度图像之后，对属于同一组深度图像中的异常像素点进行过滤，以此保证深度图像的准确性，然后计算通过深度图像重建模型得到的第二深度图像和对应的深度过滤图像的第一损失值，并根据该第一损失值对深度图像重建模型进行更新，从而通过本专利技术可以提高深度图像重建模型训练的准确性及速度，进而提高通过深度图像重建模型预测的深度图像的准确度。
附图说明
[0035]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度图像重建模型的训练方法，其特征在于，所述方法包括：通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像；所述第一深度图像中包括各个像素点的深度值及概率值；根据空间几何投影误差和重投影误差，对同组内的第一深度图像中的异常像素点进行过滤，得到各第一深度图像分别对应的深度过滤图像；计算每组场景图像中各场景图像分别对应的深度过滤图像和第二深度图像的第一损失值，所述第二深度图像是通过深度图像重建模型得到的；根据所述第一损失值更新所述深度图像重建模型。2.根据权利要求1所述的方法，其特征在于，所述每组场景图像中包括一个参考图像和与参考图像相邻视角拍摄的辅助图像，所述教师模型的训练过程为：将一组场景图像输入到教师模型中得到参考图像的第一深度图像，以及参考图像、辅助图像分别对应的图像特征；通过所述参考图像的第一深度图像，对辅助图像进行可微变换得到重建辅助图像，对所述辅助图像的图像特征进行可微变换得到重建图像特征；根据所述重建辅助图像、所述重建图像特征和所述参考图像、所述参考图像的图像特征计算第二损失值；根据所述第二损失值更新所述教师模型，直至所述教师模型的准确率达到预置数值，将最后更新的教师模型作为所述训练好的教师模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述重建辅助图像、所述重建图像特征和所述参考图像、所述参考图像的图像特征计算第二损失值，包括：计算每个重建辅助图像分别与所述参考图像的图像损失值，及计算每个重建图像特征分别与所述参考图像的图像特征的特征损失值；根据所有的所述图像损失值和所述特征损失值进行计算，得到所述第二损失值。4.根据权利要求2所述的方法，其特征在于，所述通过训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像，包括：将每组场景图像中的每个场景图像分别作为参考图像，其余场景图像为辅助图像，输入到所述训练好的教师模型，得到每组场景图像中各场景图像分别对应的第一深度图像。5.根据权利要求1或2所述的方法，其特征在...
【专利技术属性】
技术研发人员：张浩天，丁宜康，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。