本申请适用于数据增强技术领域，提供了一种人体姿态估计的数据增强方法、装置及终端设备。本申请实施例中获取目标图像，对上述目标图像中的人体进行姿态估计，得到上述人体的初始热图；从上述初始热图中确定出置信度符合预设阈值范围的目标关键点；确定上述目标关键点对应的上述人体的局部部件，从预设的部件库中获取上述局部部件对应的预设数量的部件图；根据上述预设数量的部件图对上述初始热图进行数据增强，得到增强后的人体热图，从而提高提取人体关键点的精度。取人体关键点的精度。取人体关键点的精度。
【技术实现步骤摘要】
一种人体姿态估计的数据增强方法、装置及终端设备
[0001]本申请属于数据增强
，尤其涉及一种人体姿态估计的数据增强方法、装置及终端设备。
技术介绍
[0002]随着社会的发展，可以通过对人体进行姿态估计，来提取人体的关键点，从而根据关键点来实现视觉感知或其他任务，例如，通过关键点提取实现体感游戏交互、通过关键点提取实现目标跟踪、通过关键点提取实现行为识别等。
[0003]但由于人体的结构是非刚体，其相较于汽车、桌椅等刚体来说存在各种各样的变化，例如，人体某一部分部件围绕关节进行旋转活动，从而完成复杂的行为或动作。此外，还存在一些遮挡严重或障碍物较多的特殊场景，所以并不能很好的对人体进行姿态估计，进而导致提取人体关键点的精度较低。
技术实现思路
[0004]本申请实施例提供了一种人体姿态估计的数据增强方法、装置及终端设备，可以解决提取人体关键点的精度较低的问题。
[0005]第一方面，本申请实施例提供了一种人体姿态估计的数据增强方法，包括：
[0006]获取目标图像，对上述目标图像中的人体进行姿态估计，得到上述人体的初始热图；
[0007]从上述初始热图中确定出置信度符合预设阈值范围的目标关键点；
[0008]确定上述目标关键点对应的上述人体的局部部件，从预设的部件库中获取上述局部部件对应的预设数量的部件图；
[0009]根据上述预设数量的部件图对上述初始热图进行数据增强，得到增强后的人体热图。
[0010]第二方面，本申请实施例提供了一种人体姿态估计的数据增强装置，包括：
[0011]图像获取模块，用于获取目标图像，对上述目标图像中的人体进行姿态估计，得到上述人体的初始热图；
[0012]关键点确定模块，用于从上述初始热图中确定出置信度符合预设阈值范围的目标关键点；
[0013]部件图获取模块，用于确定上述目标关键点对应的上述人体的局部部件，从预设的部件库中获取上述局部部件对应的预设数量的部件图；
[0014]数据增强模块，用于根据上述预设数量的部件图对上述初始热图进行数据增强，得到增强后的人体热图。
[0015]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任一种人体姿态估计的数据增强方法的步骤。
等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0029]图1所示为本申请实施例中一种人体姿态估计的数据增强方法的流程示意图，该方法的执行主体可以是终端设备，如图1所示，上述人体姿态估计的数据增强方法可以包括如下步骤：
[0030]步骤S101、获取目标图像，对目标图像中的人体进行姿态估计，得到人体的初始热图。
[0031]在本实施例中，终端设备可以对目标图像中的人体以预设的姿态估计算法进行姿态估计，来得到目标图像中未对人体进行任何处理的初始热图。其中，上述姿态估计算法可以通过姿态估计模型来实现，姿态估计算法包括但不限于是FastPose算法、LPN算法等。
[0032]在一个实施例中，终端设备在对人体进行姿态估计之前可以先通过预设的人体检测算法对图像中的人体进行检测，从而可以得到针对于单个人体的人体检测框，例如，若当前目标图像中存在三个人体，则相应出现三个人体检测框，进而通过对人体检测框中的人体进行姿态估计，得到人体检测框对应的人体的初始热图。其中，上述人体检测算法包括但不限于是YOLO算法、SSD算法等。
[0033]步骤S102、从初始热图中确定出置信度符合预设阈值范围的目标关键点。
[0034]在本实施例中，针对于上述终端设备通过姿态估计模型得到的初始热图，终端设备可以通过Argmax函数进行处理，以得到上述初始热图对应的关键点坐标，再对所得到的关键点通过Softmax函数进行处理，得到各个关键点的置信度，从而对各个关键点的置信度进行判断，以从各个关键点中选取出置信度符合预设阈值范围的目标关键点，即容易识别错误的关键点，从而对该容易识别错误的关键点进行数据增强。其中，上述阈值范围可以是0.4至0.85。
[0035]可以理解的是，若上述关键点的置信度小于上述阈值范围中的最小值，说明该关键点为不可见的点，则将该关键点进行过滤处理，无需进行显示或相应处理；而倘若上述关键点的置信度大于上述阈值范围中的最大值，说明该关键点为易学习的点，则无需对该易学习的点进行数据增强，直接进行显示或相应处理。
[0036]在一个实施例中，上述关键点的数量可以根据图像所存储的数据集的类别的不同而不同，例如，MPII数据集对应16类关键点，COCO数据集对应17类关键点。
[0037]步骤S103、确定目标关键点对应的人体的局部部件，从预设的部件库中获取局部部件对应的预设数量的部件图。
[0038]在本实施例中，终端设备可以通过获取与目标关键点对应的人体的局部部件相同的一定数量的部件图来对该部件位置进行处理，以提升处理后的人体热图的精准度，以及通过多张部件图实现该位置的数据增强，进而实现精准提取人体关键点。
[0039]具体地，上述步骤S103可以包括：终端设备可以根据目标关键点从预设的关键点对照表中确定该目标关键点对应的人体局部部件。例如，若当前目标关键点的位置为左手腕中心点，则该人体局部部件可以为人体的左手腕至左胳膊肘之间部件。其中，上述关键点对照表可以是根据人体上可能出现的关键点位置和该位置对应的置信度最低的部件生成的表，可以通过数据分析的方式确定关键点可连接的部件中的置信度最低的部件。
[0040]具体地，上述步骤S103可以包括：终端设备可以确定与目标关键点连接的相邻关键点，从而根据目标关键点和相邻关键点确定局部部件。例如，将目标关键点和相邻关键点
连接的部分确定为需进行数据增强的局部部件。
[0041]在一个实施例中，当存在至少两个相邻关键点时，终端设备可以从至少两个相邻关键点中选取置信度最小的相邻关键点，将目标关键点和置信度最小的相邻关键点之间的部件确定为局部部件。可以理解的是，由置信度最小的相邻关键点与目标关键点组成的部件，与同时和目标关键点连接的其他关键点对应的部件来说，置信度最小的相邻关键点与目标关键点组成的部件的置信度也是最小，从而可以精确需要增强的局部部件。
[0042]在一个实施例中，在步骤S103之前还可以包括：终端设备获取人体的全局图，即仅包含人体的图片，再根据预设的分割网络对全局图进行裁剪，得到各个局部部件图，并计算各个局部部件图的置信度，将置信度大于预设置信度阈值的局部部件图存储于部件库中的对应位置，例如，根据局部部件图的名称进行存储。其中，上述分割网络可以是PSPNet网络。可以理解的是，上述置信度阈值为易学习的点对应的置信度临界值，所以该置信度阈值可以为上述阈值范围中的最大值。
[0043]步骤S104、根据预设数量的部件图对初始热图进行数据增强，得到增强后的人体热图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体姿态估计的数据增强方法，其特征在于，包括：获取目标图像，对所述目标图像中的人体进行姿态估计，得到所述人体的初始热图；从所述初始热图中确定出置信度符合预设阈值范围的目标关键点；确定所述目标关键点对应的所述人体的局部部件，从预设的部件库中获取所述局部部件对应的预设数量的部件图；根据所述预设数量的部件图对所述初始热图进行数据增强，得到增强后的人体热图。2.如权利要求1所述的人体姿态估计的数据增强方法，其特征在于，在得到增强后的人体热图之后，还包括：获取所述人体的标签热图，根据所述标签热图和所述初始热图确定第一损失值；根据所述增强后的人体热图和所述初始热图确定第二损失值；对所述第一损失值和所述第二损失值进行加权处理，并根据加权处理后的所述第一损失值和所述第二损失值确定总损失值；根据所述总损失值更新所述人体的姿态估计模型的模型参数。3.如权利要求1所述的人体姿态估计的数据增强方法，其特征在于，所述确定目标关键点对应的所述人体的局部部件，包括：确定与所述目标关键点连接的相邻关键点；根据所述目标关键点和所述相邻关键点确定所述局部部件。4.如权利要求3所述的人体姿态估计的数据增强方法，其特征在于，所述根据所述目标关键点和所述相邻关键点确定所述局部部件，包括：当存在至少两个相邻关键点时，从所述至少两个相邻关键点中选取置信度最小的相邻关键点；将所述目标关键点和所述置信度最小的相邻关键点之间的部件确定为所述局部部件。5.如权利要求1所述的人体姿态估计的数据增强方法，其特征在于，所述根据所述预设数量的部件图对所述初始热图进行数据增强，得到增强后的人体热图，包括：将所述预设数量的部件图随机粘贴在所述目标图像中的人体上，得到预设数量的人体样本图；通过预设的...
【专利技术属性】
技术研发人员：林灿然，张雯圆，邵池，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。