三维关键点预测方法、训练方法及相关设备技术

本申请涉及计算机视觉技术领域，公开了一种三维关键点预测方法、训练方法及相关设备，该关键点预测模型的训练方法包括：获取样本图像对，样本图像对包括第一样本图像和第二样本图像；根据第一样本图像进行三维人体构建，得到三维人体模型；在三维人体模型中进行关键点采样，得到关键点的三维坐标，关键点的三维坐标用于确定人体像素区域呈现的姿态；由关键点预测模型根据第二样本图像进行关键点预测，得到关键点的预测三维坐标；根据关键点的三维坐标和关键点的预测三维坐标，计算第一预测损失；根据第一预测损失反向训练关键点预测模型；本方案的关键点预测模型可以自动补全图像中被遮挡的关键点。中被遮挡的关键点。中被遮挡的关键点。

【技术实现步骤摘要】
三维关键点预测方法、训练方法及相关设备


[0001]本申请涉及计算机视觉
，更具体地，涉及一种三维关键点预测方法、训练方法及相关设备。

技术介绍

[0002]人体姿态识别是计算机视觉
中的一个重要应用场景。人体姿态识别一般是先基于图像确定表征人体姿态的多个关键点，然后通过所确定的多个关键点进行姿态识别。
[0003]实际应用场景中，可能存在图像中关键点被遮挡的情况，在该种情况下，无法确定被遮挡的关键点，造成所确定表征姿态的关键点不全，进而可能造成姿态识别不准确。

技术实现思路

[0004]鉴于上述问题，本申请实施例提出了一种三维关键点预测方法、训练方法及相关设备，以改善上述问题。
[0005]根据本申请实施例的一个方面，提供了一种关键点预测模型的训练方法，包括：获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第二样本图像是对所述第一样本图像中的人体像素区域进行部分遮挡处理或者剪裁处理后得到的；根据所述第一样本图像进行三维人体构建，得到三维人体模型；在所述三维人体模型中进行关键点采样，得到关键点的三维坐标，所述关键点的三维坐标用于确定所述人体像素区域呈现的姿态；由关键点预测模型根据所述第二样本图像进行关键点预测，得到关键点的预测三维坐标；所述关键点预测模型用于根据输入图像预测所述输入图像中具有姿态识别作用的关键点的三维坐标；根据所述关键点的三维坐标和所述关键点的预测三维坐标，计算第一预测损失；根据所述第一预测损失反向训练所述关键点预测模型。
[0006]根据本申请实施例的一个方面，提供了一种三维关键点预测方法，包括：获取目标图像，所述目标图像包括人体像素区域；由关键点预测模型根据所述目标图像进行三维关键点预测，得到目标三维关键点信息，所述关键点预测模型是按照如上所述关键点预测模型的训练方法训练得到的。
[0007]根据本申请实施例的一个方面，提供了一种关键点预测模型的训练装置，包括：样本图像对获取模块，用于获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第二样本图像是对所述第一样本图像中的人体像素区域进行部分遮挡处理或者剪裁处理后得到的；第一三维人体构建模块，用于根据所述第一样本图像进行三维人体构建，得到三维人体模型；第一采样模块，用于在所述三维人体模型中进行关键点采样，得到关键点的三维坐标，所述关键点的三维坐标用于确定所述人体像素区域呈现的姿态；第一预测模块，用于由关键点预测模型根据所述第二样本图像进行关键点预测，得到关键点的预测三维坐标；所述关键点预测模型用于根据输入图像预测所述输入图像中具有姿态识别作用的关键点的三维坐标；第一预测损失计算模块，用于根据所述关键点的三维坐标和所
述关键点的预测三维坐标，计算第一预测损失；第一反向训练模块，用于根据所述第一预测损失反向训练所述关键点预测模型。
[0008]在本申请的一些实施例中，所述三维人体模型是通过多人线性蒙皮SMPL模型构建的；关键点预测模型的训练装置，还包括：第二获取模块，用于获取第三样本图像和所述第三样本图像的标注信息；模型构建模块，用于由所述SMPL模型根据所述第三样本图像进行三维人体模型构建，得到预测三维人体模型；第二预测损失计算模块，用于根据所述预测三维人体模型和所述第三样本图像的标注信息，计算第二预测损失；第二反向训练模块，用于根据所述第二预测损失反向训练所述SMPL模型。
[0009]在本申请的一些实施例中，所述标注信息包括标注关键点的标注二维坐标和标注关键点的标注三维坐标；第二预测损失计算模块，包括：采样单元，用于在所述预测三维人体模型中进行标注关键点采样，得到标注关键点对应的预测三维坐标；预测二维坐标确定单元，用于根据所述目标图像采集装置的内参矩阵，将所述标注关键点对应的预测三维坐标向所述第三样本图像所在图像平面进行投影，得到所述标注关键点在所述图像平面上的预测二维坐标；所述目标图像采集装置是指采集获得所述第三样本图像的图像采集装置；三维预测损失计算单元，用于根据所述标注关键点的标注三维坐标和所述标注关键点的预测三维坐标，计算三维预测损失；二维预测损失计算单元，用于根据所述标注关键点的预测二维坐标和所述标注关键点的标注二维坐标，计算二维预测损失；第二预测损失计算单元，用于根据所述三维预测损失和所述二维预测损失，计算所述第二预测损失。
[0010]在本申请的一些实施例中，所述标注信息包括标注关键点的标注二维坐标和标注关键点的标注三维坐标；关键点预测模型的训练装置还包括：深度图像获取模块，用于获取所述第三样本图像对应的深度图像；深度值获取模块，用于根据所述深度图像获取标注关键点的深度值；三维坐标确定模块，用于根据所述标注关键点的深度值、目标图像采集装置的内参矩阵和所述标注关键点的二维坐标，确定所述标注关键点的标注三维坐标；所述目标图像采集装置是指采集获得所述第三样本图像的图像采集装置。
[0011]在本申请的一些实施例中，三维坐标确定模块，包括：目标变换矩阵确定单元，用于根据目标图像采集装置的内参矩阵和所述标注关键点的深度值，确定所述标注关键点对应的目标变换矩阵；标注三维坐标确定单元，用于根据所述目标变换矩阵，将所述标注关键点的二维坐标向三维空间进行变换，得到所述标注关键点的标注三维坐标。
[0012]在本申请的一些实施例中，所述关键点预测模型包括特征提取网络和三个分支网络；其中，一个分支网络用于预测关键点在一个坐标轴上的坐标；所述预测三维坐标包括所预测到的关键点在三个坐标轴上的坐标；第一预测模块，包括：特征提取单元，用于通过所述特征提取网络对所述第二样本图像进行特征提取，得到所述第二样本图像的特征图；输入单元，用于将所述特征图分别输入所述三个分支网络；坐标输出单元，用于由每一所述分支网络根据所述特征图进行坐标预测，得到所述预测关键点在每一分支网络所对应坐标轴上的坐标。
[0013]在本申请的一些实施例中，所述分支网络包括均值处理层、基于注意力的残差网络和全连接层；在本实施例中，坐标输出单元，包括：均值处理单元，用于由所述均值处理层将所述特征图沿所述分支网络所对应坐标轴的方向取均值，得到第一中间特征图；卷积处理单元，用于由所述基于注意力的残差网络对所述第一中间特征图进行卷积处理，得到第
二中间特征图；全连接输出单元，用于由所述全连接层根据所述第二中间特征图输出在所述分支网络所对应坐标轴上的坐标。
[0014]根据本申请实施例的一个方面，提供了一种三维关键点预测装置，包括：目标图像获取模块，用于获取目标图像，所述目标图像包括人体像素区域；第二预测模块，用于由关键点预测模型根据所述目标图像进行三维关键点预测，得到目标三维关键点信息，所述关键点预测模型是按照如上所述关键点预测模型的训练方法训练得到的。
[0015]在本申请的一些实施例中，三维关键点预测装置还包括：姿态确定模块，用于根据所述目标三维关键点信息确定所述目标图像中的人体像素区域所呈现的姿态。
[0016]在本申请的一些实施例中，三维关键点预测装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点预测模型的训练方法，其特征在于，包括：获取样本图像对，所述样本图像对包括第一样本图像和第二样本图像，所述第二样本图像是对所述第一样本图像中的人体像素区域进行部分遮挡处理或者剪裁处理后得到的；根据所述第一样本图像进行三维人体构建，得到三维人体模型；在所述三维人体模型中进行关键点采样，得到关键点的三维坐标，所述关键点的三维坐标用于确定所述人体像素区域呈现的姿态；由关键点预测模型根据所述第二样本图像进行关键点预测，得到关键点的预测三维坐标；所述关键点预测模型用于根据输入图像预测所述输入图像中具有姿态识别作用的关键点的三维坐标；根据所述关键点的三维坐标和所述关键点的预测三维坐标，计算第一预测损失；根据所述第一预测损失反向训练所述关键点预测模型。2.根据权利要求1所述的方法，其特征在于，所述三维人体模型是通过多人线性蒙皮SMPL模型构建的；所述根据所述第一样本图像进行三维人体构建，得到三维人体模型之前，所述方法还包括：获取第三样本图像和所述第三样本图像的标注信息；由所述SMPL模型根据所述第三样本图像进行三维人体模型构建，得到预测三维人体模型；根据所述预测三维人体模型和所述第三样本图像的标注信息，计算第二预测损失；根据所述第二预测损失反向训练所述SMPL模型。3.根据权利要求2所述的方法，其特征在于，所述标注信息包括标注关键点的标注二维坐标和标注关键点的标注三维坐标；所述根据所述预测三维人体模型和所述第三样本图像的标注信息，计算第二预测损失，包括：在所述预测三维人体模型中进行标注关键点采样，得到标注关键点对应的预测三维坐标；根据目标图像采集装置的内参矩阵，将所述标注关键点对应的预测三维坐标向所述第三样本图像所在图像平面进行投影，得到所述标注关键点在所述图像平面上的预测二维坐标；所述目标图像采集装置是指采集获得所述第三样本图像的图像采集装置；根据所述标注关键点的标注三维坐标和所述标注关键点的预测三维坐标，计算三维预测损失；根据所述标注关键点的预测二维坐标和所述标注关键点的标注二维坐标，计算二维预测损失；根据所述三维预测损失和所述二维预测损失，计算所述第二预测损失。4.根据权利要求2所述的方法，其特征在于，所述标注信息包括标注关键点的标注二维坐标和标注关键点的标注三维坐标；所述获取第三样本图像和所述第三样本图像的标注信息之前，所述方法还包括：获取所述第三样本图像对应的深度图像；根据所述深度图像获取标注关键点的深度值；
根据所述标注关键点的深度值、目标图像采集装置的内参矩阵和所述标注关键点的二维坐标，确定所述标注关键点的标注三维坐标，所述目标图像采集装置是指采集获得所述第三样本图像的图像采集装置。5.根据权利要求4所述的方法，其特征在于，所述根据所述标注关键点的深度值、目标图像采集装置的内参矩阵和所述标注关键点的二维坐标，确定所述标注关键点的标注三维坐标，包括：根据所述目标图像采集装置的内参矩阵和所述标注关键点的深度值，确定所述标注关键点对应的目标变换矩阵；根据所述目标变换矩阵，将所述标注关键点的二维坐标向三维空间进行变换，得到所述标注关键点的标注三维坐标。6.根据权利要求1所述的方法，其特征在于，所述关键点预测模型包括特征提取网络和三个分支网络；其中，一个分支网络用于预测关键点在一个坐标轴上的坐标；所述预测三维坐标包括所预测到的关键点在三个坐标轴上的坐标；所述由关键点预测模型根据所述第二样本图像进行关键点预测，得到关键点的预测三维坐标，包括：通过所述特征提取网络对所述第二样本图像进行特征提取，得...

【专利技术属性】
技术研发人员：张亮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：