一种结合人体关键点热图特征的人像景别识别方法技术

本发明专利技术公开了一种结合人体关键点热图特征的人像景别识别方法。本发明专利技术首先通过人体检测器检测出人体区域，然后基于深度学习的特征提取器和卷积姿态机分别提取人体的特征和人体骨骼关键点热图特征，将这两个特征进行通道融合得到融合特征；将融合特征分别送入两个分支网络，其中分类网络用于分类当前的景别类型；另一个分支回归网络则是对人体骨骼关键点的预测，在L2loss损失函数的监督下，对景别分类网络起到正反馈的作用，有利于分类网络能够学习到与人体骨骼关键点相关的强特征。这种输入输出双监督的机制，能够有效监督网络重点学习有利于判断景别的人体骨骼关键区域；本发明专利技术提供的方法能够较为稳定的识别景别，并且鲁棒性很好。性很好。性很好。

【技术实现步骤摘要】
一种结合人体关键点热图特征的人像景别识别方法


[0001]本专利技术属于智能图像美学领域，具体涉及一种结合人体关键点热图特征的人像景别识别方法。

技术介绍

[0002]景别识别在图像领域应用十分广泛，从我们的日常拍照到专业摄影学制作等等，景别的识别都是非常重要的一项技术，不同的景别能够展现出不同的情感需要，根据景别的不同也能够判断出人物的感情色彩，景别的识别对于摄影来说也越来越成为刚需。
[0003]景别识别广泛应用于图像领域，尤其是在摄影学行业，景别作为照片的一种隐藏属性，发挥着不可或缺的作用。景别的具体定义是根据摄像机与对象之间的距离和镜头焦距的长短来确定的，距离越远表现的信息越抽象，距离越近表现的信息就越具体，从而实现不同的景别展示当前画面的不同程度的信息。通常景别被分为5种：远景、全景、中景、近景、特写，不同景别的画面给人视觉上的感受是不同的，表现的情感也不同。例如在电影视频中，观众可根据当前画面不同的景别判断画面中人物的情感，同一个人不同的景别切换，也可以给人们带来巧妙地视觉变化，表现力更加丰富，不同艺术效果的景别组合在一起，也能够让观众更加深刻感受到主人公的情绪变化。另外景别的识别为AI拍照也提供了基础技术支持。例如在做智能构图、姿势推荐等高级功能时，首先需要解决的问题就是判断当前被拍摄主体的景别，所以景别的识别是一项重要且基础的功能。
[0004]在深度学习没有问世之前，人们采用传统机器学习的方法，像贝叶斯分类器、SVM(Support Vector Machines)分类器等来做景别的识别，这些方法在表达图像位置信息的能力有限，做图像分类任务时效果并不是很好，导致景别识别的准确率不高。深度学习广泛应用之后，深度学习模型也被应用到各种图像识别任务中，目前基于深度学习模型的景别识别方法主要是基于特征提取和基于人体骨骼关键点这两种方法。其中基于特征提取是通过卷积神经网络提取当前画面的特征，然后再将提取到的特征通过分类器来做出最终的分类。这种基于卷积神经网络提取特征的方法相比传统机器学习方法效果要好，因为卷积神经网络一定程度上能够表达当前画面各像素点之间的位置关系。但是这种方法也还有缺点，网络在学习特征时是针对整个人体区域，而无法聚焦于关键部分，其实人体骨骼关键点和景别之间存在着强关联性，人体骨骼关键点对景别的识别起着至关重要的作用，景别的识别本质上就是判断人体某个部位的骨骼关键点是否出现在当前画面中。例如当前画面中如果出现脚部的关键点，可以将当前景别为中景以上的类型直接排除。所以解决这个问题的关键就是为模型提供更多的先验知识，让网络有重点的学习需要学习的部分。而基于人体骨骼关键点检测是通过人体姿态估计算法提取出人体骨骼关键点坐标，然后依据人体骨骼关键点和景别之间的强关联性直接判断景别。这种方法对于人体姿态估计算法依赖性过强，由于人体姿态估计是一项极为复杂的任务，在预测人体关键点坐标绝对位置时容易出错，对景别的识别有很大的影响。目前国内外大多数景别识别的技术都是基于深度学习模型，还有一些是在构建大量数据集的基础上训练传统的机器学习模型，像通过贝叶斯分类
器，SVM分类器，随机森林等等。
[0005]以上这些技术各有优缺点，对于传统的机器学习模型其优点就是容易部署，对硬件要求不高，但是在做景别的分类这样的任务时，尤其是图像的分类任务，不如深度卷积神经网络的效果好，因为它最大的一个缺点就是无法表达当前图片中各像素点之间的位置信息，而这点对于图像的识别尤为重要。相反卷积神经网络是通过卷积核不断地对原图做卷积，在卷积的过程中能够一定程度保留图像中各像素点之间的的位置信息，同时卷积核的大小数目和步长尺寸能够决定提取的特征信息为高维特征还是低维特征。针对一些复杂情况，例如图像中人体被遮挡时，采取大的卷积核拥有大的感受野对于图像的识别十分有帮助。相比于传统机器学习模型，深度学习模型可以更为灵活的提取图像的特征信息。
[0006]虽然基于特征提取的深度学习模型在做图像分类任务时略胜一筹，但是针对具体的图像分类任务，这种方法还有很大的提升空间。针对景别识别任务，深度学习模型提取特征时，是将整个人体区域送入网络，然后提取人体全局特征，缺少重点，对于景别识别这个具体任务，关键是要重点提取人体的骨骼关键位置的特征信息，因为景别和人体骨骼关键点之间是一种强关系。而对于基于特征提取的深度学习模型并没有这些先验知识，只能提取全局特征，缺少一种监督。基于人体关键点的深度学习模型先检测出人体关键点坐标，利用人体骨骼关键点和景别之间的强关系直接判断景别，这种方法理论上是可行的，但是这种方法完全依赖于人体姿态估计算法，而人体姿态估计算法比较复杂，在预测人体关键点绝对位置时不稳定，这会对景别的识别有很大的影响。

技术实现思路

[0007]针对现有技术中存在的技术问题，本专利技术的目的在于提供一种结合人体关键点热图特征的人像景别识别方法。本专利技术根据景别对应关系，主要针对人体区域，把景别分为了更为具体的六种：分别为远景、接近远景、中景、接近中景、近景、接近近景，并且取得了很好的识别效果。本方法如图1所示，具体流程包括：首先通过人体检测器检测出人体区域，然后基于深度学习的特征提取器和卷积姿态机分别提取人体的特征和人体骨骼关键点热图特征，将这两个特征进行通道拼接得到拼接特征。将拼接特征分别送入两个分支网络，其中景别分类网络用于分类当前的景别类型。另一个分支监督网络输出人体骨骼关键点，在L2 loss损失函数的监督下，对景别分类网络起到正反馈的作用，有利于景别分类网络学习到与人体骨骼关键点相关的强特征。这种输入输出双监督的机制，能够有效监督网络重点学习有利于判断景别的人体骨骼关键区域。本专利技术提供的方法能够较为稳定的识别景别，并且鲁棒性很好。
[0008]本专利技术的技术方案为：
[0009]一种结合人体关键点热图特征的人像景别识别方法，其步骤包括：
[0010]1)收集不同场景下包含人体图像的数据集，对所述数据集中每一张图像进行景别的标注和人体骨骼关键点坐标的标注；
[0011]2)利用所述数据集训练人像景别识别网络；其中，所述人像景别识别网络包括人体检测器、特征提取器模型、卷积姿态机模型、分类网络和监督网络；训练方法为：
[0012]21)人体检测器检测所述数据集中图像X
i
的人体区域，得到图像X
i
的人体图像I
i
并分别发送给特征提取器模型、卷积姿态机模型；特征提取器模型从图像I
i
中获取人体的全
局特征向量M
w
，卷积姿态机模型从图像I
i
中获取人体骨骼关键点热图的局部特征向量N
v
；
[0013]22)将特征向量M
w
和特征向量N
v
拼接得到拼接特征F
k
并分别发送给分类网络、监督网络；分类网络根据输入的拼接特征F
k
得到图像X
i
的景别类别，然后根据分类网络输出的景别类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合人体关键点热图特征的人像景别识别方法，其步骤包括：1)收集不同场景下包含人体图像的数据集，对所述数据集中每一张图像进行景别的标注和人体骨骼关键点坐标的标注；2)利用所述数据集训练人像景别识别网络；其中，所述人像景别识别网络包括人体检测器、特征提取器模型、卷积姿态机模型、分类网络和监督网络；训练方法为：21)人体检测器检测所述数据集中图像X
i
的人体区域，得到图像X
i
的人体图像I
i
并分别发送给特征提取器模型、卷积姿态机模型；特征提取器模型从图像I
i
中获取人体的全局特征向量M
w
，卷积姿态机模型从图像I
i
中获取人体骨骼关键点热图的局部特征向量N
v
；22)将特征向量M
w
和特征向量N
v
拼接得到拼接特征F
k
并分别发送给分类网络、监督网络；分类网络根据输入的拼接特征F
k
得到图像X
i
的景别类别，然后根据分类网络输出的景别类别与图像X
i
标注的景别类别计算交叉熵损失函数L1；监督网络根据输入的拼接特征F
k
得到图像X
i
的人体骨骼关键点坐标，然后根据监督网络输出的人体骨骼关键点坐标与图像X
i
上标注的真实骨骼关键点坐标计算均方误差损失L2；23)采用Adam优化器对总损失L＝L1+L2进行优化并对总损失L进行反向传播，最小化总损失；3)将待人像景别识别的图像输入训练后的人像景别识别网络，所述人像景别识别网络中的人体检测器、特征提取器模型、卷积姿态机模型对输入图像进行处理得到对应的拼接特征并将其发送给分类网络，输出对应的人像景别类别。2.根据权利要求1所述的方法，其特征在于，所述分类网络包括依次连接的第一全连接层、激活层、Dropout层和第二全连接层；将拼接特征F
k
输入到分类网络，依次经过由M个神经元组成的第一全连接层，再按照激活层激活神经元；然后通过Dropout层以设定概率随机失活部分神经元防止过拟...

【专利技术属性】
技术研发人员：沈思成，孔彦，吴富章，武延军，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：