基于人体关键点的穿戴物检测数据增强方法、设备及介质技术

本发明专利技术公开了一种基于人体关键点的穿戴物检测数据增强方法、设备及介质。该方法包括：获取包含行人的第一目标图片和包含穿戴物的第二目标图片；基于第一目标图片，检测行人的人体关键点，以及基于第二目标图片，确定穿戴物的N个第一关键点；从人体关键点中选取与穿戴物的类型对应的N个第二关键点；基于N个第一关键点和N个第二关键点进行仿射变换，将穿戴物映射到N个第二关键点对应的位置上，获得数据增强后的图片。通过这种方式，可以充分考虑了穿戴物出现在行人身上的合理位置，可以为数据增强提供了更合理的先验信息，还可以以较低的成本、难度获得平时难以收集获得的特定穿戴物的行人检测数据集，可以降低数据收集的难度和成本。和成本。和成本。

【技术实现步骤摘要】
基于人体关键点的穿戴物检测数据增强方法、设备及介质


[0001]本专利技术涉及目标检测
，特别是涉及一种基于人体关键点的穿戴物检测数据增强方法、设备及介质。

技术介绍

[0002]目标检测算法中，常见的数据增强方式有图像翻转、图像旋转、随机放缩、随机裁剪等，但是这些数据增强方式都不能增加样本的实例数。
[0003]目前，为了解决这一问题，主要采用mixup、mosaic、copy
‑
paste算法方法来实现数据增强的效果。比如，mixup算法是通过将两幅图片以不同阈值合并起来，增加一幅图片中的实例数。mosaic算法是通过将四幅图片合并成一幅图片，以增加目标出现的次数。copy
‑
paste算法是通过将样本从图片中分割出来，并且粘贴到当前图片或者不同图片的背景区域，以达到增加样本数量的目的。
[0004]然而，mixup算法和mosaic算法数据增强的方式，虽然可以样本数量，但是其样本还是原来的图片(即数据集)中存在的样本，本质上并没增加新的样本。copy
‑
paste算法数据增强的方式，虽然能产生很多未在原来的图片(即数据集)中出现过的样本，但其随机复制粘贴并不适合特定类别样本的先验特性。
[0005]因此，亟需设计一种既可以增加样本实例数，又可以为数据增强提供先验信息的数据增强方案。

技术实现思路

[0006]基于此，本专利技术的目的在于提供一种基于人体关键点的穿戴物检测数据增强方法、设备及介质，其具有可以在增加样本实例数的同时，为数据增强提供先验信息等特点。
[0007]第一方面，本专利技术实施例提供一种基于人体关键点的穿戴物检测数据增强方法，包括：
[0008]获取包含行人的第一目标图片和包含穿戴物的第二目标图片；
[0009]基于所述第一目标图片，检测所述行人的人体关键点，以及基于所述第二目标图片，确定所述穿戴物的N个第一关键点，N为大于或等于2的整数；
[0010]从所述人体关键点中选取N个第二关键点，所述N个第二关键点与所述穿戴物的类型对应；
[0011]基于所述N个第一关键点和所述N个第二关键点进行仿射变换，将所述穿戴物映射到所述N个第二关键点对应的位置上，获得数据增强后的图片。
[0012]在一种可能的设计中，基于所述第一目标图片，检测所述行人的人体关键点，包括：
[0013]采用行人检测算法对所述第一目标图片中的行人进行定位后，再采用人体关键点检测算法检测所述行人的人体关键点。
[0014]在一种可能的设计中，所述穿戴物的类型为帽类；
[0015]从所述人体关键点中选取N个第二关键点，包括：
[0016]基于所述穿戴物的类型，从所述人体关键点中选取与头部相关的N个关键点作为所述N个第二关键点。
[0017]在一种可能的设计中，所述穿戴物的类型为衣物类；
[0018]从所述人体关键点中选取N个第二关键点，包括：
[0019]基于所述穿戴物的类型，从所述人体关键点中选取与躯干相关的N个关键点作为所述N个第二关键点。
[0020]在一种可能的设计中，所述穿戴物的类型包括帽类和衣物类；
[0021]从所述人体关键点中选取N个第二关键点，包括：
[0022]基于所述穿戴物的类型，从所述人体关键点中选取与躯干和头部相关的N个关键点作为所述N个第二关键点。
[0023]在一种可能的设计中，基于所述N个第一关键点和所述N个第二关键点进行仿射变换，将所述穿戴物映射到所述N个第二关键点对应的位置上，获得数据增强后的图片，包括：
[0024]基于所述N个第一关键点和所述N个第二关键点，建立N个方程集；其中，所述N个方程集中的任一方程集包括两个方程组，所述两个方程组的变量项为所述N个第一关键点中的一个第一关键点的横轴坐标和纵轴坐标，常数项分别包括所述N个第二关键点中与所述一个第一关键点对应的第二关键点的横轴坐标和纵轴坐标；
[0025]基于所述N个方程集，求解获得所述N个第一关键点各自对应的坐标；
[0026]基于所述N个第一关键点各自对应的坐标，将所述穿戴物所在的坐标系中的所有像素点映射到所述行人所在的坐标系中，获得仿射变换后的第二目标图片；
[0027]将所述仿射变换后的第二目标图片与所述第一目标图片相加，获得所述数据增强后的图像。
[0028]第二方面，本专利技术实施例还提供了一种数据增强设备，包括：
[0029]检测单元，用于获取包含行人的第一目标图片和包含穿戴物的第二目标图片；基于所述第一目标图片，检测所述行人的人体关键点，以及基于所述第二目标图片，确定所述穿戴物的N个第一关键点，N为大于或等于2的整数；
[0030]处理单元，用于从所述人体关键点中选取N个第二关键点，所述N个第二关键点与所述穿戴物的类型对应；基于所述N个第一关键点和所述N个第二关键点进行仿射变换，将所述穿戴物映射到所述N个第二关键点对应的位置上，获得数据增强后的图片。
[0031]在一种可能的设计中，所述检测单元具体用于：
[0032]采用行人检测算法对所述第一目标图片中的行人进行定位后，再采用人体关键点检测算法检测所述行人的人体关键点。
[0033]在一种可能的设计中，所述穿戴物的类型为帽类；所述处理单元具体用于：
[0034]基于所述穿戴物的类型，从所述人体关键点中选取与头部相关的N个关键点作为所述N个第二关键点。
[0035]在一种可能的设计中，所述穿戴物的类型为衣物类；所述处理单元具体用于：
[0036]基于所述穿戴物的类型，从所述人体关键点中选取与躯干相关的N个关键点作为所述N个第二关键点。
[0037]在一种可能的设计中，所述穿戴物的类型包括帽类和衣物类；所述处理单元具体
用于：
[0038]基于所述穿戴物的类型，从所述人体关键点中选取与躯干和头部相关的N个关键点作为所述N个第二关键点。
[0039]在一种可能的设计中，所述处理单元具体用于：
[0040]基于所述N个第一关键点和所述N个第二关键点，建立N个方程集；其中，所述N个方程集中的任一方程集包括两个方程组，所述两个方程组的变量项为所述N个第一关键点中的一个第一关键点的横轴坐标和纵轴坐标，常数项分别包括所述N个第二关键点中与所述一个第一关键点对应的第二关键点的横轴坐标和纵轴坐标；
[0041]基于所述N个方程集，求解获得所述N个第一关键点各自对应的坐标；
[0042]基于所述N个第一关键点各自对应的坐标，将所述穿戴物所在的坐标系中的所有像素点映射到所述行人所在的坐标系中，获得仿射变换后的第二目标图片；
[0043]将所述仿射变换后的第二目标图片与所述第一目标图片相加，获得所述数据增强后的图像。
[0044]第三方面，本专利技术实施例还提供了一种数据增强设备，所述数据增强设备包括：至少一个存储器和至少一个处理器；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体关键点的穿戴物检测数据增强方法，其特征在于，包括：获取包含行人的第一目标图片和包含穿戴物的第二目标图片；基于所述第一目标图片，检测所述行人的人体关键点，以及基于所述第二目标图片，确定所述穿戴物的N个第一关键点，N为大于或等于2的整数；从所述人体关键点中选取N个第二关键点，所述N个第二关键点与所述穿戴物的类型对应；基于所述N个第一关键点和所述N个第二关键点进行仿射变换，将所述穿戴物映射到所述N个第二关键点对应的位置上，获得数据增强后的图片。2.如权利要求1所述的方法，其特征在于，基于所述第一目标图片，检测所述行人的人体关键点，包括：采用行人检测算法对所述第一目标图片中的行人进行定位后，再采用人体关键点检测算法检测所述行人的人体关键点。3.如权利要求1所述的方法，其特征在于，所述穿戴物的类型为帽类；从所述人体关键点中选取N个第二关键点，包括：基于所述穿戴物的类型，从所述人体关键点中选取与头部相关的N个关键点作为所述N个第二关键点。4.如权利要求1所述的方法，其特征在于，所述穿戴物的类型为衣物类；从所述人体关键点中选取N个第二关键点，包括：基于所述穿戴物的类型，从所述人体关键点中选取与躯干相关的N个关键点作为所述N个第二关键点。5.如权利要求1所述的方法，其特征在于，所述穿戴物的类型包括帽类和衣物类；从所述人体关键点中选取N个第二关键点，包括：基于所述穿戴物的类型，从所述人体关键点中选取与躯干和头部相关的N个关键点作为所述N个第二关键点。6.如权利要求1
‑
5任一项所述的方法，其特征在于，基于所述N个第一关键点和所述N个第二关键点进行仿射变换，将所述穿戴物映射到所述N个第二关键点对应的位置上，获得数据增强后的图片，包括：基于所述N个第一关键点和所述N个第二关键点，建立N个方程集；其中，所述N个方程集中...

【专利技术属性】
技术研发人员：关华，万好，牟松，骆杰豪，谢宇康，郑安，于丹杰，夏亚雄，
申请(专利权)人：广东机场白云信息科技有限公司，
类型：发明
国别省市：