三维图像神经网络模型的训练方法、装置和计算机设备制造方法及图纸

本申请涉及一种三维图像神经网络模型的训练方法、装置和计算机设备。方法包括：获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；根据平均绝对误差损失、姿态损失和位置损失得到综合损失；根据综合损失调整初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。本方案能够提高三维图像的预测精度。

【技术实现步骤摘要】
三维图像神经网络模型的训练方法、装置和计算机设备
本申请涉及三维图像处理
，特别是涉及一种三维图像神经网络模型的训练方法、装置和计算机设备。
技术介绍
随着深度学习技术、硬件技术的发展，三维神经网络技术快速发展，已广泛应用于多个领域，如工业中引导机器人控制、辅助智能汽车自动驾驶以及三维工件的缺陷检测等领域。例如，当工业机器人搭载工业相机抓取目标遇到遮挡时，可以使用三维生成网络生成出目标未被遮挡的状态，以引导机器人完成操作。当无人车自动驾驶时突然有另一台车的部分驶入视野范围，可以通过三维生成网络预测生成驶入车辆可能的行驶路径，以辅助无人车提前减速。三维图像神经网络在使用之前需要经过训练以提高神经网络生成的准确性。传统技术中的图像神经网络训练所得到的神经网络模型生成的预测图像精度不高。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高三维图像预测精度的三维图像神经网络模型的训练方法、装置和计算机设备。一种三维图像神经网络模型的训练方法，包括：获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；根据平均绝对误差损失、姿态损失和位置损失得到综合损失；根据综合损失调整初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。在其中一个实施例中，获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像，包括：获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像，第一时刻、第二时刻和第三时刻是三个连续时刻；获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息；根据拍摄对象在第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息，对拍摄对象在第一时刻、第二时刻和第三时刻的样本图像进行三维重建，得到第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像。在其中一个实施例中，根据平均绝对误差损失、姿态损失和位置损失得到综合损失，包括：将平均绝对误差损失、姿态损失和位置损失进行加权求和，得到综合损失。在其中一个实施例中，平均绝对误差损失为第三时刻的预测三维图像中的像素值与第三时刻的样本三维图像中的像素值之间的平均绝对误差；姿态损失为第三时刻的预测三维图像中目标的像素值和第三时刻的样本三维图像中目标的像素值一样的个数与第三时刻的预测三维图像或第三时刻的样本三维图像中目标所包含像素值的个数的比值；位置损失为第三时刻的预测三维图像和第三时刻的样本三维图像的三系位置坐标差值的绝对值的和。一种三维图像生成方法，包括：获取两个连续时刻的三维图像；将两个连续时刻的三维图像输入到训练后的三维图像神经网络模型进行预测，得到两个连续时刻之后的下一个时刻的预测三维图像；其中，三维图像神经网络模型是根据综合损失进行调整权重得到，综合损失是根据样本三维图像与对应预测三维图像之间的平均绝对误差损失、姿态损失和位置损失确定。在其中一个实施例中，方法还包括：获取两个连续时刻之后的下一个时刻的真实三维图像；根据两个连续时刻之后的下一个时刻的真实三维图像和预测三维图像，检测两个连续时刻之后的下一个时刻的真实三维图像中是否存在缺失部分，缺失部分是指被遮挡、有阴影或超出视野范围的部分；若两个连续时刻之后的下一个时刻的真实三维图像中存在缺失部分，输出两个连续时刻之后的下一个时刻的预测三维图像。一种三维图像神经网络模型的训练装置，装置包括：样本获取模块，用于获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；样本预测模块，用于将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；损失获取模块，用于比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；损失计算模块，用于根据平均绝对误差损失、姿态损失和位置损失得到综合损失；权重调整模块，用于根据综合损失调整初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。一种三维图像生成装置，装置包括：图像获取模块，用于获取两个连续时刻的三维图像；图像预测模块，用于将两个连续时刻的三维图像输入到训练后的三维图像神经网络模型进行预测，得到两个连续时刻之后的下一个时刻的预测三维图像；其中，三维图像神经网络模型是根据综合损失进行调整权重得到，综合损失是根据样本三维图像与对应预测三维图像之间的平均绝对误差损失、姿态损失和位置损失确定。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；根据平均绝对误差损失、姿态损失和位置损失得到综合损失；根据综合损失调整初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取两个连续时刻的三维图像；将两个连续时刻的三维图像输入到训练后的三维图像神经网络模型进行预测，得到两个连续时刻之后的下一个时刻的预测三维图像；其中，三维图像神经网络模型是根据综合损失进行调整权重得到，综合损失是根据样本三维图像与对应预测三维图像之间的平均绝对误差损失、姿态损失和位置损失确定。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；将第一时刻的样本三维图像和第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；比较第三时刻的预测三维图像和第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；根据平均绝对误差损失、姿态损失和位置损失得到综合损失；根据综合损失调整初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取两个连续时刻的三维图像；本文档来自技高网...

【技术保护点】
1.一种三维图像神经网络模型的训练方法，其特征在于，包括：/n获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；/n将所述第一时刻的样本三维图像和所述第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；/n比较所述第三时刻的预测三维图像和所述第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；/n根据所述平均绝对误差损失、姿态损失和位置损失得到综合损失；/n根据所述综合损失调整所述初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。/n

【技术特征摘要】
1.一种三维图像神经网络模型的训练方法，其特征在于，包括：
获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像；
将所述第一时刻的样本三维图像和所述第二时刻的样本三维图像输入初始三维图像神经网络模型进行预测，得到第三时刻的预测三维图像；
比较所述第三时刻的预测三维图像和所述第三时刻的样本三维图像，得到平均绝对误差损失、姿态损失和位置损失；
根据所述平均绝对误差损失、姿态损失和位置损失得到综合损失；
根据所述综合损失调整所述初始三维图像神经网络模型的权重，继续训练，满足预设条件时，得到训练后的三维图像神经网络模型。


2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像，包括：
获取拍摄对象在第一时刻、第二时刻和第三时刻的样本图像，所述第一时刻、第二时刻和第三时刻是三个连续时刻；
获取所述拍摄对象在所述第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息；
根据所述拍摄对象在所述第一时刻、第二时刻和第三时刻的样本图像的深度信息和颜色信息，对所述拍摄对象在第一时刻、第二时刻和第三时刻的样本图像进行三维重建，得到所述第一时刻的样本三维图像、第二时刻的样本三维图像和第三时刻的样本三维图像。


3.根据权利要求1所述的方法，其特征在于，所述根据所述平均绝对误差损失、姿态损失和位置损失得到综合损失，包括：
将所述平均绝对误差损失、姿态损失和位置损失进行加权求和，得到综合损失。


4.根据权利要求1所述的方法，其特征在于，所述平均绝对误差损失为所述第三时刻的预测三维图像中的像素值与所述第三时刻的样本三维图像中的像素值之间的平均绝对误差；所述姿态损失为所述第三时刻的预测三维图像中目标的像素值和所述第三时刻的样本三维图像中目标的像素值一样的个数与所述第三时刻的预测三维图像或所述第三时刻的样本三维图像中目标所包含像素值的个数的比值；所述位置损失为所述第三时刻的预测三维图像和所述第三时刻的样本三维图像的三系位置坐标差值的绝对值的和。


5.一种三维图像生成方法，其特征在于，包括：
获取两个连续时刻的三维图像；
将所述两个连续时刻的三维图像输入到训练后的三维图像神经网络模型进行预测，得到所述两个连续时刻之后的下一个时刻的预测三维图像；
其...

【专利技术属性】
技术研发人员：尹威华，刘智勇，乔红，王建城，邹俊成，
申请(专利权)人：东莞中国科学院云计算产业技术创新与育成中心，
类型：发明
国别省市：广东;44