手势关键点定位或姿态估计的方法、电子装置和存储介质制造方法及图纸

本申请涉及一种手势关键点定位或姿态估计的方法、电子装置和存储介质，其中手势关键点定位或姿态估计模型的构建过程包括：获取基础数据集，根据基础数据集，训练得到基础模型；获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集；叠加前景数据集与背景数据集中的数据，并和谐化数据，得到目标数据集；基于基础数据集和目标数据集fine

【技术实现步骤摘要】
手势关键点定位或姿态估计的方法、电子装置和存储介质


[0001]本申请涉及虚拟现实、增强现实
，特别是涉及一种手势关键点定位或姿态估计的方法、电子装置和存储介质。

技术介绍

[0002]随着虚拟现实(Virtual Reality，简称VR))、增强现实(Augmented Reality)，简称AR)技术的发展，以及AR/VR眼镜的应用场景的不断扩充，手势交互功能显得愈发重要。
[0003]由于很多场景的光照、纹理、用户的习惯都是不可控的，并且深度学习对于未见过的场景和数据的预测也是不可控的，因此，在相关技术中，手势交互功能的泛化性能较差，这里的是泛化性能指的是，在尽可能多的场景，尽可能多的用户都能正常使用该手势交互功能而没有出现明显的效果下降。
[0004]针对相关技术中，手势交互功能的泛化性能较差的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种手势关键点定位或姿态估计的方法、电子装置和存储介质，以至少解决相关技术中手势交互功能的泛化性能较差的问题。
[0006]第一方面，本申请实施例提供了一种手势关键点定位或姿态估计的方法，所述方法包括：
[0007]输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；
[0008]其中，所述手势关键点定位或姿态估计模型的构建过程包括：
[0009]获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；
[0010]获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；
[0011]叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集和所述目标数据集fine
‑
tune所述基础模型，得到所述手势关键点定位或姿态估计模型。
[0012]第二方面，本申请实施例还提供了一种手势关键点定位或姿态估计的方法，所述方法包括：
[0013]输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；
[0014]其中，所述手势关键点定位或姿态估计模型的构建过程包括：
[0015]获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据
集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；
[0016]获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；
[0017]叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集、所述目标数据集和难例数据集，fine
‑
tune所述基础模型，得到所述手势关键点定位或姿态估计模型，其中，在模型训练过程中，根据误差大于预设阈值的训练数据，确定所述难例数据集。
[0018]在其中一些实施例中，所述难例数据集的维护过程包括：
[0019]获取误差大于预设阈值的训练数据中的手部，对于获取到的每个手部，从所述背景数据集中随机抽取对应背景图像，叠加所述手部与所述背景图像生成难例图像，以构成所述难例数据集；
[0020]从所述难例数据集中取出数据时，将取出的数据从所述难例数据集中删除。
[0021]在其中一些实施例中，基于所述基础数据集、所述目标数据集和难例数据集，fine
‑
tune所述基础模型的过程包括：
[0022]按照第一预设比例，汇总所述基础数据集、所述目标数据集和所述难例数据集，得到训练数据集；
[0023]基于所述训练数据集fine
‑
tune所述基础模型。
[0024]在其中一些实施例中，所述前景数据集的确定过程包括：
[0025]输入所述图像数据至所述基础模型，所述基础模型输出图像中手部各关键点的位置或姿态结果；可视化所述结果；
[0026]根据所述结果，确定精度符合预设要求的图像，并在所述图像上确定手部的像素块所在区域，得到所述前景数据集。
[0027]在其中一些实施例中，获取不同场景下的手势的图像数据的过程包括：固定好摄像头的位置与深度摄像头的位置，并进行内外参标定，得到相机组；通过所述相机组采集不同场景下的手势的图像数据，所述图像数据包括时间戳对齐的深度图和图像；
[0028]所述在所述图像上确定手部的像素块的过程包括：对齐所述深度图和所述图像，将所述手部各关键点的位置或姿态结果投影到像素，得到对齐后所述深度图上的各关键点的2D信息，根据所述2D信息和区域生长法，提取所述图像上的手部的像素块，
[0029]根据所述图像上的手部的像素块，确定所述图像上的手部的mask区域；将所述mask区域内缩a个像素、外扩b个像素，构造出待处理区域，对所述待处理区域执行精细化抠图操作，得到所述前景数据集。
[0030]在其中一些实施例中，所述叠加所述前景数据集与所述背景数据集中的数据的过程包括：
[0031]对所述前景数据集中的所述区域内的手部的像素块执行变换增强操作，以更新所述前景数据集；
[0032]在所述前景数据集中随机抽取前景图像，对于抽取出的每张前景图像，从所述背景数据集中随机抽取对应背景图像，
[0033]叠加所述前景图像与所述背景图像。
[0034]在其中一些实施例中，所述确定背景数据集的过程包括：
[0035]获取所述基础数据集；获取开源背景数据集，并去除所述开源背景数据集中包含手部的背景图像，以更新所述开源背景数据集；获取拍摄到的场景背景数据集；
[0036]统一图像尺寸，并汇总所述基础数据集、所述开源背景数据集和所述场景背景数据集中的数据，得到所述背景数据集，
[0037]其中，在从所述背景数据集中随机抽取对应背景图像的情况下，按照所述基础数据集、所述开源背景数据集和所述场景背景数据集的第二预设比例，从所述背景数据集中随机抽取对应背景图像。
[0038]第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述手势关键点定位或姿态估计的方法。
[0039]第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述手势关键点定位或姿态估计的方法。
[0040]相比于相关技术，本申请实施例提供的手势关键点定位或姿态估计的方法，通过输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的图像上的手部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势关键点定位或姿态估计的方法，其特征在于，所述方法包括：输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；其中，所述手势关键点定位或姿态估计模型的构建过程包括：获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集和所述目标数据集fine
‑
tune所述基础模型，得到所述手势关键点定位或姿态估计模型。2.一种手势关键点定位或姿态估计的方法，其特征在于，所述方法包括：输入包含手势的图像至手势关键点定位或姿态估计模型，得到模型输出的所述图像上的手部各关键点的位置或姿态结果；其中，所述手势关键点定位或姿态估计模型的构建过程包括：获取基础数据集，根据所述基础数据集，训练得到基础模型，其中，所述基础数据集包括：包含手部的图像，以及手部各关键点的位置或姿态标签；获取不同场景下的手势的图像数据，在图像上确定手部各关键点的位置或姿态标签，以及确定手部的像素块所在区域，得到前景数据集；并确定背景数据集，其中，所述背景数据集包括背景图像；叠加所述前景数据集与所述背景数据集中的数据，并和谐化所述数据，得到目标数据集；基于所述基础数据集、所述目标数据集和难例数据集，fine
‑
tune所述基础模型，得到所述手势关键点定位或姿态估计模型，其中，在模型训练过程中，根据误差大于预设阈值的训练数据，确定所述难例数据集。3.根据权利要求2所述的方法，其特征在于，所述难例数据集的维护过程包括：获取误差大于预设阈值的训练数据中的手部，对于获取到的每个手部，从所述背景数据集中随机抽取对应背景图像，叠加所述手部与所述背景图像生成难例图像，以构成所述难例数据集；从所述难例数据集中取出数据时，将取出的数据从所述难例数据集中删除。4.根据权利要求3所述的方法，其特征在于，基于所述基础数据集、所述目标数据集和难例数据集，fine
‑
tune所述基础模型的过程包括：按照第一预设比例，汇总所述基础数据集、所述目标数据集和所述难例数据集，得到训练数据集；基于所述训练数据集fine

【专利技术属性】
技术研发人员：朱铭德，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：