一种基于图卷积的行人属性识别方法技术

本发明专利技术公开了一种基于图卷积的行人属性识别方法。本发明专利技术首先通过HRNet提取人体关键点热度图，并通过残差网络生成全局特征图，与人体关键点热度图结合生成人体关键点局部特征；然后对人体关键点进行分组，并使用一种自适应图卷积模块学习人体各个关键点的联合特征；最后通过行人属性识别模块分类识别行人的语义特征。本发明专利技术利用自适应图卷积模块充分利用了人体固有结构之间的联系，有效解决了传统行人属性识别方法预测效果差的问题，相比现有行人属性识别方法能大幅提高效率和预测准度。行人属性识别方法能大幅提高效率和预测准度。行人属性识别方法能大幅提高效率和预测准度。

【技术实现步骤摘要】
一种基于图卷积的行人属性识别方法


[0001]本专利技术涉及一种基于图卷积的行人属性识别方法，属于人工智能与计算机视觉


技术介绍

[0002]视频监控市场正在经历爆炸式增长，在过去几年中，高清网络摄像头在各种监控应用场景中的部署变得越来越普遍，也越来越多地嵌入了视频分析功能。随着计算机视觉技术的发展，在监控视频中进行目标(行人)检测的技术已经十分成熟，人们迫切希望对检测到的行人提取更多有用的信息，例如性别特征、年龄特征、外观特征等，这些行人特征统称为行人属性。行人属性，是人类可搜索的语义描述，其在人脸验证、身份识别、行人跟踪中都有应用。行人属性识别(pedestrian attribute recognition，PAR)的目的是在给定人物图像的情况下挖掘目标人物的属性。与HOG、LBP或者是卷积提取出来的特征相比，行人属性可以被视为高层语义信息，对视角变化和摄像条件等具有更强的鲁棒性。
[0003]然而由于视角变化、光照变化、遮挡等因素，行人属性识别仍然具有挑战。行人属性识别相较其它计算机视觉问题，最大的难点在于不同属性之间的语义差异性，如识别胖瘦和识别戴眼镜，或者识别戴帽子和穿长裤，要求的特征区域不同，要求的特征大小也不同。

技术实现思路

[0004]针对现有技术中存在的问题与不足，本专利技术提供一种基于图卷积的行人属性识别方法，采用图卷积的方法充分利用人体固有结构之间的关系，并且对人体不同部位进行分组，以精准预测不同区域的行人属性。该方法能够准确预测行人不同区域的属性，相比传统方法，能够减少训练时间和提高运行效率，而且能够有效改善传统行人属性识别方法普遍存在的准确率不足问题。
[0005]为实现上述专利技术目的，本专利技术提供了一种基于图卷积的行人属性识别方法，首先利用HRNet和残差网络提取行人的关键点特征向量，然后利用自适应图卷积模块对行人关键点特征向量进行图卷积，最后将这些特征向量进行分组以预测不同区域的行人属性。该方法主要包括三个步骤，具体如下：
[0006]步骤1，提取行人的关键点特征向量。首先使用HRNet关键点提取器生成行人的13张关键点热度图，然后利用残差网络提取行人的全局特征图，随后将全局特征图和关键点热度图相乘获得关键点特征图，最后利用全局对比池化生成行人的关键点特征向量。
[0007]步骤2，图卷积关键点特征向量。首先利用人体不同关键点之间的关系初始化邻接矩阵，然后将人体不同区域进行分组进一步对邻接矩阵进行赋值，最后利用自适应图卷积模块更新邻接矩阵。
[0008]步骤3，预测不同区域的行人属性。首先将关键点特征向量分为4组，然后将每组特征向量都连接N个全连接层，最后将每个全连接层连接一个softmax分类函数预测行人属
性。
[0009]与现有技术相比，本专利技术具有如下优点和有益效果：
[0010]1.利用自适应图卷积模块充分利用了人体固有结构之间的联系，有效解决了传统行人属性识别方法预测效果差的问题，相比现有行人属性识别方法能大幅提高效率和预测准度.
[0011]2.本专利技术方法采用残差网络提取人体特征，与传统行人属性识别模型相比，人体特征提取更加充分。
[0012]3.本专利技术方法同时利用了13个关键点特征向量和1个全局特征向量进行行人属性识别，可以兼顾行人局部和整体的语义特征。
[0013]4.本专利技术方法将人体关键点划分为头部组、手臂组和下半身组，可以从不同区域出发识别行人语义特征。
附图说明
[0014]图1为本专利技术提供的基于图卷积的行人属性识别方法流程图，图中为本专利技术从训练到检测的全过程。
[0015]图2为改进的HRNet整体网络结构图。
[0016]图3为关键点局部特征提取计算示意图。
[0017]图4为全局对比池化计算示意图。
[0018]图5为自适应图卷积模块计算示意图。
[0019]图6为预测行人属性计算示意图。
具体实施方式
[0020]下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0021]本专利技术提供的基于图卷积的行人属性识别方法，其流程如图1所示，具体实施步骤如下：
[0022]步骤1，提取行人的关键点特征向量。该步骤实施过程分为3个子步骤：
[0023]子步骤1
‑
1，使用改进的HRNet提取行人图片的关键点热度图。如图2所示，首先利用卷积单元对行人图像进行特征提取，然后在后续每一步的卷积单元中使用下采样和上采样单元进行多尺度交叉特征融合，最后使用热度图提取模块生成该行人的13张热度图，分别对应头、左肩膀、右肩膀、左胳膊肘、右胳膊肘、左手腕、右手腕、左髋部、右髋部、左膝盖、右膝盖、左脚踝、右脚踝。
[0024]子步骤1
‑
2，行人关键点局部特征提取。如图3所示，首先通过残差网络提取行人的全局特征图，然后通过repeat操作将每一张热度图扩充至2048维，并和全局特征图进行按位相乘，最后输出1个2048维的全局特征图和13个2048维的关键点局部特征图。
[0025]子步骤1
‑
3，使用全局对比池化将特征图转换成特征向量。如图4所示，首先根据公式(1)和公式(2)对特征图分别进行全局最大池化和全局平均池化操作得到p
max
和p
avg
，然后根据公式(3)将p
max
和p
avg
拼接在一起得到p
cat
，再根据公式(4)将p
cat
经过卷积和非线性激活
函数ReLU得到最后根据公式(5)使用减去p
max
得到最终的特征向量q。
[0026]p
max
＝MaxPooling(feature)
ꢀꢀ
(1)
[0027]p
avg
＝AvgPooling(feature)
ꢀꢀ
(2)
[0028]p
cat
＝C(p
max
,p
avg
)
ꢀꢀ
(3)
[0029][0030][0031]其中C表示向量拼接，R表示1
×
1卷积、批标准化和ReLU，q表示最终得到的特征向量。
[0032]步骤2，图卷积关键点特征向量。该步骤实施过程分为2个子步骤：
[0033]子步骤2
‑
1，初始化邻接矩阵。根据表1和表2，将相同的关键点之间置为1，全局特征和任意的关键点之间置为1，相邻的关键点之间置为1，头部组：头、左肩膀、右肩膀之间置为1，手臂组：肩膀、胳膊肘、手腕之间置为1，下半身组：髋部、膝盖、脚踝之间置为1，其余的关键点之间置为0。
[0034]表1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的行人属性识别方法，其特征在于，包括如下步骤：步骤1，提取行人的关键点特征向量首先使用HRNet关键点提取器生成行人的13张关键点热度图，然后利用残差网络提取行人的全局特征图，随后将全局特征图和关键点热度图相乘获得关键点特征图，最后利用全局对比池化生成行人的关键点特征向量；步骤2，图卷积关键点特征向量首先利用人体不同关键点之间的关系初始化邻接矩阵，然后将人体不同区域进行分组进一步对邻接矩阵进行赋值，最后利用自适应图卷积模块更新邻接矩阵；步骤3，预测不同区域的行人属性首先将关键点特征向量分为4组，然后将每组特征向量都连接N个全连接层，最后将每个全连接层连接一个softmax分类函数预测行人属性。2.根据权利要求1所述的基于图卷积的行人属性识别方法，其特征在于，所述步骤1具体包括如下子步骤：子步骤1
‑
1，使用改进的HRNet提取行人图片的关键点热度图；首先利用卷积单元对行人图像进行特征提取，然后在后续每一步的卷积单元中使用下采样和上采样单元进行多尺度交叉特征融合，最后使用热度图提取模块生成该行人的13张热度图；子步骤1
‑
2，行人关键点局部特征提取；首先通过残差网络提取行人的全局特征图，然后通过repeat操作将每一张热度图扩充至2048维，并和全局特征图进行按位相乘，最后输出1个2048维的全局特征图和13个2048维的关键点局部特征图；子步骤1
‑
3，使用全局对比池化将特征图转换成特征向量；首先根据公式(1)和公式(2)对特征图分别进行全局最大池化和全局平均池化操作得到p
max
和p
avg
，然后根据公式(3)将p
max
和p
avg
拼接在一起得到p
cat
，再根据公式(4)将p
cat
经过卷积和非线性激活函数ReLU得到最后根据公式(5)使用减去p
max
得到最终的特征向量q：p
max
＝MaxPooling(feature) (1)p
avg
＝AvgPooling(feature) (2)p
cat
＝C(p
max
,p
avg
) (3)(3)其中C表示向量拼接，R表示1
×
1卷积、批标准化和ReLU，q表示最终得到的特征向量。3.根据权利要求2所述的基于图卷积的行人属性识别方法，其特征在于，所述13张热度图分别对应头、左肩膀、右肩膀、左胳膊肘、右胳膊肘、左手腕、右手腕、左髋部、右髋部、左膝盖、右膝盖、左脚踝、右脚踝。4.根据权利要求1所述的基于图卷积的行人属性识别方法，其特征在于，所述步骤2具体包括如下子步骤：子步骤2
‑
1，初始化邻接矩阵；子步骤2
‑
2，自适应学习关键点特征...

【专利技术属性】
技术研发人员：杨鹏，范路平，张朋辉，李文军，
申请(专利权)人：浙江华巽科技有限公司，
类型：发明
国别省市：