一种步姿特征识别方法、装置、芯片及终端制造方法及图纸

本发明专利技术实施例公开了一种步姿特征识别方法、装置、芯片及终端，通过提取行人视频序列中的目标行人，并从行人视频序列中分割出来，得到目标行人图像序列；利用人体姿态识别模型，对目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型；将各图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块和二次检测模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，并基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果。本发明专利技术实施例的方案通过增加了特征增强模块和二次检测模块，有效抑制背景信息的干扰和解决不同程度的遮挡问题，减少噪音的影响，提高识别准确度。提高识别准确度。提高识别准确度。

【技术实现步骤摘要】
一种步姿特征识别方法、装置、芯片及终端


[0001]本专利技术涉及人工智能
，特别是涉及一种步姿特征识别方法、装置、芯片及终端。

技术介绍

[0002]随着安全敏感场合对智能监控系统需求的增加，非接触远距离监控系统成为当前生物识别领域的一个研究热点，例如图像识别，对于在图像或者视频中识别目标对象，目前主要是通过边缘检测和目标模型匹配的方式来实现，但是这样的方式在提取目标和目标的特征时，会同时提取到背景和前景的信息，在对背景信息的提出时，由于存在较多的影响因素，如遮挡等，从而导致身份验证识别的准确度较低。

技术实现思路

[0003]基于此，本专利技术提供一种步姿特征识别方法、装置、芯片及存储介质，可以提高对目标对象的特征提取的深度，减少噪音的影响，提高识别准确度。
[0004]第一方面，提供一种步姿特征识别方法，其特征在于，包括：获取待识别的行人视频序列，提取所述行人视频序列中的目标行人，并从所述行人视频序列中分割出来，得到目标行人图像序列；利用OpenPose人体姿态识别模型，对所述目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型；将各所述图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，基于融合识别的结果从各所述三维模型中确定候选区域；将各所述候选区域输入至预设的步姿特征识别模型中的二次检测模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合，并基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果。
[0005]可选的，所述获取待识别的行人视频序列，提取所述行人视频序列中的目标行人，并从所述行人视频序列中分割出来，得到目标行人图像序列，包括：获取待识别的行人视频序列；利用人型识别模型对所述行人视频序列中的行人进行识别，并将识别到的行人从所述行人视频序列中提取出来，得到目标行人图像；调用行人图像分类模型，对所述目标行人图像进行分类，并对相同类别的目标行人图像设置对应的标记；将相同标记的目标行人图像按照提取时间的先后顺序排序，得到目标行人序列。
[0006]可选的，所述调用行人图像分类模型，对所述目标行人图像进行分类，并对相同类别的目标行人图像设置对应的标记，包括：调用行人图像分类模型，识别所述目标行人图像中的物体特征，将所述物体特征
与预设的行人姿态模型进行匹配，得到行人的轮廓信息；提取各所述轮廓信息中的着装特征，基于所述着装特征对轮廓信息进行分类，并对相同类别的目标行人图像设置对应的标记。
[0007]可选的，所述OpenPose人体姿态识别模型为人体关节检测模型，所述利用OpenPose人体姿态识别模型，对所述目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型，包括：将所述目标行人图像序列中的各图像输入至所述人体关节检测模型，识别各图像中的关节点信息和关节点信息所对应的身体部位；基于所述身体部位，对各所述关节点信息进行关联，得到目标行人的三维模型；计算所述三维模型中关联后的两两关节点之间的置信度，并判断所述置信度是否满足预设阈值；基于判断的结果调整所述三维模型中关节点的位置。
[0008]可选的，所述将各所述图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，基于融合识别的结果从各所述三维模型中确定候选区域，包括：将各所述图像对应的三维模型输入至预设的步姿特征识别模型中进行五级卷积计算，得到五个卷积特征，每个卷积特征对应一个一级卷积层，所述卷积特征为关节特征；将五个所述卷积特征输出入至所述步姿特征识别模型中的特征增强模块中，去掉五个所述卷积特征中首尾，并对第二卷积层和第三卷积层输出的卷积特征进行上采样后，将采样到的特征与第二卷积层输出的卷积特征进行融合，得到第一融合特征；将所述第一融合特征与第五卷积层输出的卷积特征进行融合，基于融合的结果从各所述三维模型中确定对应的候选区域。
[0009]可选的，所述将各所述候选区域输入至预设的步姿特征识别模型中的二次检测模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合，并基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果，包括：将各所述候选区域输入至预设的步姿特征识别模型中的二次检测模块中进行五级卷积计算，得到五个卷积特征，每个卷积特征对应一个一级卷积层，所述卷积特征为关节特征；选取五个所述卷积特征中排序在后的三个卷积特征进行融合，得到第二融合特征；将所述第二融合特征与第五卷积层输出的卷积特征进行融合，基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果。
[0010]可选的，所述基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果，包括：对融合后的各关节特征进行回归处理，并利用置信度计算公式对回归后的各关节特征进行关联性计算，得到步姿特征；基于所述步姿特征进行身份预测，得到识别结果。
[0011]第二方面，提供一种基于多尺度特征融合的步姿特征识别装置，包括：获取模块，用于获取待识别的行人视频序列，提取所述行人视频序列中的目标行
人，并从所述行人视频序列中分割出来，得到目标行人图像序列；姿态识别模块，用于利用OpenPose人体姿态识别模型，对所述目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型；增强模块，用于将各所述图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，基于融合识别的结果从各所述三维模型中确定至少一个候选三维模型；身份检测模块，用于将各所述候选三维模型输入至预设的步姿特征识别模型中的二次检测模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合，并基于融合后的各关节特征对对应的候选三维模型进行身份预测，得到识别结果。
[0012]可选的，所述获取模块具体用于：获取待识别的行人视频序列；利用人型识别模型对所述行人视频序列中的行人进行识别，并将识别到的行人从所述行人视频序列中提取出来，得到目标行人图像；调用行人图像分类模型，对所述目标行人图像进行分类，并对相同类别的目标行人图像设置对应的标记；将相同标记的目标行人图像按照提取时间的先后顺序排序，得到目标行人序列。
[0013]可选的，所述获取模块具体用于：调用行人图像分类模型，识别所述目标行人图像中的物体特征，将所述物体特征与预设的行人姿态模型进行匹配，得到行人的轮廓信息；提取各所述轮廓信息中的着装特征，基于所述着装特征对轮廓信息进行分类，并对相同类别的目标行人图像设置对应的标记。
[0014]可选的，所述姿态识别模块具体用于：将所述目标行人图像序列中的各图像输入至所述人体关节检测模型，识别各图像中的关节点信息和关节点信息所对应的身体部位；基于所述身体部位，对各所述关节点信息进行关联，得到目标行人的三维模型；计算所述三维模型中关联后的两两关节点之间的置信度，并判断所述置信度是否满足预设阈值；基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种步姿特征识别方法，其特征在于，包括：获取待识别的行人视频序列，提取所述行人视频序列中的目标行人，并从所述行人视频序列中分割出来，得到目标行人图像序列；利用OpenPose人体姿态识别模型，对所述目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型；将各所述图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，基于融合识别的结果从各所述三维模型中确定候选区域；将各所述候选区域输入至预设的步姿特征识别模型中的二次检测模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合，并基于融合后的各关节特征对对应的候选区域进行身份预测，得到识别结果。2.如权利要求1所述的步姿特征识别方法，其特征在于，所述获取待识别的行人视频序列，提取所述行人视频序列中的目标行人，并从所述行人视频序列中分割出来，得到目标行人图像序列，包括：获取待识别的行人视频序列；利用人型识别模型对所述行人视频序列中的行人进行识别，并将识别到的行人从所述行人视频序列中提取出来，得到目标行人图像；调用行人图像分类模型，对所述目标行人图像进行分类，并对相同类别的目标行人图像设置对应的标记；将相同标记的目标行人图像按照提取时间的先后顺序排序，得到目标行人序列。3.如权利要求2所述的步姿特征识别方法，其特征在于，所述调用行人图像分类模型，对所述目标行人图像进行分类，并对相同类别的目标行人图像设置对应的标记，包括：调用行人图像分类模型，识别所述目标行人图像中的物体特征，将所述物体特征与预设的行人姿态模型进行匹配，得到行人的轮廓信息；提取各所述轮廓信息中的着装特征，基于所述着装特征对轮廓信息进行分类，并对相同类别的目标行人图像设置对应的标记。4.如权利要求1所述的步姿特征识别方法，其特征在于，所述OpenPose人体姿态识别模型为人体关节检测模型，所述利用OpenPose人体姿态识别模型，对所述目标行人图像序列中的各图像进行姿态识别，得到目标行人的三维模型，包括：将所述目标行人图像序列中的各图像输入至所述人体关节检测模型，识别各图像中的关节点信息和关节点信息所对应的身体部位；基于所述身体部位，对各所述关节点信息进行关联，得到目标行人的三维模型；计算所述三维模型中关联后的两两关节点之间的置信度，并判断所述置信度是否满足预设阈值；基于判断的结果调整所述三维模型中关节点的位置。5.如权利要求1
‑
4中任一项所述的步姿特征识别方法，其特征在于，所述将各所述图像对应的三维模型输入至预设的步姿特征识别模型中的特征增强模块，从不同的维度上提取关节特征，将提取到的各关节特征进行融合识别，基于融合识别的结果从各所述三维模型中确定候选区域，包括：
将各所述图像对应的三维模型输入至预设的步姿特征识别模型中进行五级卷积计算，...

【专利技术属性】
技术研发人员：柯武生，翁国权，
申请(专利权)人：山东睿芯半导体科技有限公司，
类型：发明
国别省市：