三维关键点生成方法、装置、机器人及存储介质制造方法及图纸

本申请公开了一种三维关键点生成方法、装置、机器人及存储介质，用于提升生成的三维关键点的稳定性和合理性。本申请方法包括：获取待检测图像，对所述待检测图像进行关键点检测，得到所述待检测图像对应的多个二维初始关键点，以及所述多个二维初始关键点各自对应的置信度；根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵；将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点；将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点。所述二维补全关键点转换为三维关键点。所述二维补全关键点转换为三维关键点。

【技术实现步骤摘要】
三维关键点生成方法、装置、机器人及存储介质


[0001]本申请涉及图像处理领域，尤其涉及一种三维关键点生成方法、装置、机器人及存储介质。

技术介绍

[0002]在机器人行业中，涉及到基于人体二维关键点生成三维关键点的方法，通过三维关键点对人体进行三维建模，可实现人体姿态的识别和判断，从而使得机器人能够识别以及预测行人肢体动作，将识别结果和机器人的运动控制相结合，还能够实现机器人避障、交互控制等功能。
[0003]现有技术中，实现人体三维关键点生成的方法一般为：首先通过图片、视频流等信息检测人体二维关键点坐标，再将二维的坐标输入深度学习训练的模型计算对应的三维空间坐标，从而生成三维关键点。
[0004]在上述方法的应用过程中，在进行二维关键点检测时经常会出现若干二维关键点在画面中的缺失，或二维关键点检测错误的情况，如果直接使用这类全量的或者包含错误二维关键点的数据来计算三维关键点会导致严重的抖动，从而导致输出的三维关键点质量较差。

技术实现思路

[0005]本申请提供了一种三维关键点生成方法、装置、机器人及存储介质，用于提升生成的三维关键点的稳定性和合理性。
[0006]本申请第一方面提供了一种三维关键点生成方法，包括：
[0007]获取待检测图像，对所述待检测图像进行关键点检测，得到所述待检测图像对应的多个二维初始关键点，以及所述多个二维初始关键点各自对应的置信度；
[0008]根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵；r/>[0009]将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点；
[0010]将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点。
[0011]可选的，所述补全模型包括：第一全连接模块、特征提取模块和第二全连接模块；
[0012]所述将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点包括：
[0013]将所述目标矩阵输入至补全模型中，通过所述第一全连接模块对所述目标矩阵进行特征映射处理，生成第一特征；
[0014]通过所述特征提取模块对所述第一特征进行特征提取处理，生成第二特征；
[0015]通过所述第二全连接模块对所述第二特征进行关键点映射处理，得到二维补全关
键点。
[0016]可选的，所述特征提取模块包括线性层、归一化层、激活层和残差叠加层，所述通过所述特征提取模块对所述第一特征进行特征提取处理，生成第二特征包括：
[0017]通过所述线性层对所述第一特征进行线性特征提取处理，生成第一中间特征；
[0018]通过所述归一化层对所述第一中间特征进行批量归一化处理，生成第二中间特征；
[0019]通过所述激活层对所述第二中间特征进行激活处理，生成第三中间特征；
[0020]通过所述残差叠加层对所述第一特征和所述第三中间特征进行叠加处理，生成第二特征。
[0021]可选的，所述根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵，包括：
[0022]根据预设阈值将所述多个二维初始关键点各自对应的置信度二值化，并根据二值化后的置信度生成置信度向量；
[0023]通过所述多个二维初始关键点和所述置信度向量确定目标矩阵。
[0024]可选的，所述待检测图像为人体图像，在所述将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点之后，所述方法还包括：
[0025]根据连续多帧的所述三维关键点确定人体动作；
[0026]根据所述人体动作执行目标任务。
[0027]可选的，所述方法还包括训练所述补全模型，所述训练所述补全模型包括：
[0028]获取样本数据集，所述样本数据集中包含若干组二维真实关键点；
[0029]从所述样本数据集中随机选取一组二维真实关键点，对所述二维真实关键点进行随机设置，得到置信度向量；
[0030]将所述二维真实关键点和所述置信度向量相乘，得到关键点矩阵；
[0031]将所述关键点矩阵输入至第一初始网络中，得到二维补全关键点，所述第一初始网络包括第一全连接模块、特征提取模块和第二全连接模块；
[0032]计算所述二维补全关键点和所述二维真实关键点之间的第一损失值；
[0033]根据所述第一损失值对所述第一初始网络进行迭代训练，得到训练完成的补全模型。
[0034]可选的，所述样本数据集中还包括与所述二维真实关键点对应的三维真实关键点，所述方法还包括训练所述转换模型，所述训练所述转换模型包括：
[0035]将所述二维补全关键点输入至第二初始网络中，得到三维输出关键点，所述第二初始网络的结构与所述第一初始网络相同；
[0036]根据所述置信度向量计算所述三维真实关键点和所述三维输出关键点之间的第二损失值；
[0037]根据所述第二损失值对所述第二初始网络进行迭代训练，得到训练完成的转换模型。
[0038]本申请第二方面提供了一种三维关键点生成装置，包括：
[0039]数据获取单元，用于获取待检测图像，对所述待检测图像进行关键点检测，得到所
述待检测图像对应的多个二维初始关键点，以及所述多个二维初始关键点各自对应的置信度；
[0040]数据确定单元，用于根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵；
[0041]补全处理单元，用于将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点；
[0042]转换处理单元，用于将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点。
[0043]可选的，所述补全模型包括：第一全连接模块、特征提取模块和第二全连接模块；
[0044]所述补全处理单元具体用于：
[0045]将所述目标矩阵输入至补全模型中，通过所述第一全连接模块对所述目标矩阵进行特征映射处理，生成第一特征；
[0046]通过所述特征提取模块对所述第一特征进行特征提取处理，生成第二特征；
[0047]通过所述第二全连接模块对所述第二特征进行关键点映射处理，得到二维补全关键点。
[0048]可选的，所述特征提取模块包括线性层、归一化层、激活层和残差叠加层，所述补全处理单元具体还用于：
[0049]通过所述线性层对所述第一特征进行线性特征提取处理，生成第一中间特征；
[0050]通过所述归一化层对所述第一中间特征进行批量归一化处理，生成第二中间特征；
[0051]通过所述激活层对所述第二中间特征进行激活处理，生成第三中间特征；
[0052]通过所述残差叠加层对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维关键点生成方法，其特征在于，所述方法包括：获取待检测图像，对所述待检测图像进行关键点检测，得到所述待检测图像对应的多个二维初始关键点，以及所述多个二维初始关键点各自对应的置信度；根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵；将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点；将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点。2.根据权利要求1所述的方法，其特征在于，所述补全模型包括：第一全连接模块、特征提取模块和第二全连接模块；所述将所述目标矩阵输入至补全模型中，根据所述目标矩阵对所述二维初始关键点进行关键点补全，得到二维补全关键点包括：将所述目标矩阵输入至补全模型中，通过所述第一全连接模块对所述目标矩阵进行特征映射处理，生成第一特征；通过所述特征提取模块对所述第一特征进行特征提取处理，生成第二特征；通过所述第二全连接模块对所述第二特征进行关键点映射处理，得到二维补全关键点。3.根据权利要求2所述的方法，其特征在于，所述特征提取模块包括线性层、归一化层、激活层和残差叠加层，所述通过所述特征提取模块对所述第一特征进行特征提取处理，生成第二特征包括：通过所述线性层对所述第一特征进行线性特征提取处理，生成第一中间特征；通过所述归一化层对所述第一中间特征进行批量归一化处理，生成第二中间特征；通过所述激活层对所述第二中间特征进行激活处理，生成第三中间特征；通过所述残差叠加层对所述第一特征和所述第三中间特征进行叠加处理，生成第二特征。4.根据权利要求1所述的方法，其特征在于，所述根据所述多个二维初始关键点和所述多个二维初始关键点各自对应的置信度确定目标矩阵，包括：根据预设阈值将所述多个二维初始关键点各自对应的置信度二值化，并根据二值化后的置信度生成置信度向量；通过所述多个二维初始关键点和所述置信度向量确定目标矩阵。5.根据权利要求1所述的方法，其特征在于，所述待检测图像为人体图像，在所述将所述二维补全关键点输入至转换模型中，调用所述转换模型将所述二维补全关键点转换为三维关键点之后，所述方法还包括：根据连续多帧的所述三维关键点确定人体动作；根据所述人体动作执行目标任务...

【专利技术属性】
技术研发人员：刘山源，赵京伟，李连峰，肖志光，
申请(专利权)人：深圳鹏行智能研究有限公司，
类型：发明
国别省市：