融合注意力机制的人体部位的细粒度分类方法技术

本发明专利技术提供了一种融合注意力机制的人体部位的细粒度分类方法，本方法可以从人体正侧背面图像中定位到身体部位，然后进行分类。本发明专利技术首先建模通道之间的关系生成注意力图，然后利用注意力图对数据集进行扩充增强和关键部位的定位。最终将得到的特征图和注意力图融合得到特征矩阵用于分类。通过实验证明，本发明专利技术提供的技术方案相比与传统的人体部位体型分类方法，能极大节省时间和人力成本，操作便捷，并且具有更高的鲁棒性。

【技术实现步骤摘要】
融合注意力机制的人体部位的细粒度分类方法
本专利技术涉及一种人体部位分类的方法，特别涉及一种基于深度卷积神经网络的人体局部特征分类方法，对人体肩部、胸部、腹部、背部、臀部五个部位分类。
技术介绍
体型分类可用于服装定制、饮食管理、疾病预防等多个方面。服装定制时是需要根据自己的体型来制作,饮食方面也需要根据体型选择合适的食物,在医学领域,可以根据体型来预防相应的疾病。但是现在的体型分类方法都是采用手工和三维人体测量,获取手工和三维人体的数据,从而进行人体体型分类。虽然三维人体扫描技术可以在短时间内提取大量准确的数据,但是三维人体测量系统成本高,对环境和测量对象要求严格，实验样本不容易获得,可操作性不强。人体体型分类在向着成本低,准确度高的方向探索,卷积神经网络是可以考虑的一个方向。人体的体型复杂多样,除遗传因素影响外还有后天环境的影响,我们发现肩部、胸部、腹部、背部、臀部这五个部位对人的体型影响比较大,但是不同的体型在同一个部位之间差别很小,同一个体型在同一个部位之间也有较大的差异。这和细粒度分类面对的问题相同,所以我们选用细粒度分类的方法对人体的各个部位之间进行分类,从而得到人的部位体型类别。根据调查,把肩部分为溜肩和正常肩；男女的胸部分类标准是不同的,男性分为肌肉胸和正常胸,女性分为凸胸和正常胸；腹部分为正常肚、小凸肚、大凸肚和孕妇肚；背部分为驼背和正常背；臀部分为正常臀和翘楚臀。
技术实现思路
本文中我们应用细粒度分类中弱监督的方法对人体图片的肩胸腹背臀这五个部位进行分类,不需要精准的仪器,成本低,可操作性强。我们把卷积神经网络应用于人体体型分类,应用了一种注意力机制数据增强的网络,网络分为两个部分,第一部分是弱监督的注意力学习,该部分通过卷积网络产生特征图,特征图经过特征提取模块得到人体具体部位的注意力图；第二部分是注意力指导的数据增强,该部分分为两个部分：一是该网络随机选择一张注意力图,对人体图像进行注意力裁剪和注意力丢弃,以获取人体图像中需要分类的部位。二是该网络会计算所有注意力图的平均值,以获得人体图像的全局特征。之后把增强后的人体图像和原始数据一起重新输入到网络中获得更加精细的分类本专利技术所采用的技术方案如下：融合注意力机制和细粒度分类的人体部位分类方法，包括以下部分：A、通过网络生成人体部位的注意力图；B、通过注意力图来引导增强关键部位的人体图像；C、将人体特征图和注意力图融合得到最终的特征矩阵；3、部分A中，通过建模人体正侧面图像各个通道之间的关系和长距离依赖关系，生成人体各个部位的注意力图，注意力图中的高亮位置是我们要分类的身体部位。3、部分B中，为了使分类更加精确，我们选用数据增强的方式来扩充关键部位的人体图像。随机选择一张注意力图，通过裁剪高亮部分和丢弃部分高亮部分获得多个关键部位来增强数据；通过对所有的注意力取平均值来获得人体图像的全局特征。4、部分C中，将人体的特征图和表示人体各个部位的注意力图进行融合，得到最终的特征矩阵用于最终的分类。附图说明为了更清楚的说明本专利技术的技术方案，下面将对
技术实现思路
中所需要使用的附图作简要地介绍。图1是本专利技术的一种融合注意力机制和细粒度分类的人体部位分类方法设计流程图。图2为本方法中注意力指导下的人体图像数据增强流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的实施方式进一步详细描述。本实施例的基准在于，事先收集了12235张人体图像。实验设备为Linux系统台式机，英伟达1080TiGPU、英特尔i7CPU。用python语言、PyTorch框架编程实现所设计的算法结构。采用此方法的分类准确率肩部为91.36％，胸部为89.5％，腹部为97.36％，背部为97.29％，臀部为87.02％。本文档来自技高网...

【技术保护点】
1.融合注意力机制和细粒度分类的人体部位分类方法，包括以下部分：/nA、通过SENet网络生成人体各部位的注意力图；/nB、注意力图指导增强人体图像；/nC、将人体特征图和注意力图融合得到最终的特征矩阵。/n

【技术特征摘要】
1.融合注意力机制和细粒度分类的人体部位分类方法，包括以下部分：
A、通过SENet网络生成人体各部位的注意力图；
B、注意力图指导增强人体图像；
C、将人体特征图和注意力图融合得到最终的特征矩阵。


2.根据权利要求1所述的基通过通过网络生成人体部位注意力图的方法，其特征在于，所述的部分A中，通过建模人体正侧背面图像各个通道之间的关系，生成人体各个部位的注意力图，注意力图中的高亮位置是我们要分类的身体部位。


3.根据权利要求1所述...

【专利技术属性】
技术研发人员：董玉坤，路洪翠，王淑栋，张宇，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37