一种基于相关物体感知的动作识别方法技术

本发明专利技术涉及一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，其特征在于，包括以下步骤：1)通过卷积神经网络提取待识别图像的特征图；2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；4)获取待识别图像中的人物，提取人体特征；5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别，与现有技术相比，本发明专利技术具有识别精度高等优点。

【技术实现步骤摘要】
一种基于相关物体感知的动作识别方法
本专利技术涉及动作识别领域，尤其是涉及一种基于相关物体感知的动作识别方法。
技术介绍
动作识别是计算机视觉领域内的一个长期且热门的研究方向，其相关技术在文化娱乐、信息检索、安全监控和医疗卫生等领域广泛应用。相较于图像分类等其它计算机视觉任务，由于人在进行动作时姿态多变，类内差异性大，类间差异性小，再结合视角、光照等多种因素的变化，使得动作识别任务充满挑战性。为了解决这个极具挑战性的任务，动作相关的物体作为关键信息之一被研究者们广泛利用。为了获取物体信息，现有方法都是使用单独的目标检测网络独立检测出物体，再用另一个分类网络进行动作分类。然而，现有方案中经常被忽视的一个问题：训练能够检测物体的目标检测网络需要密集的物体标注。尽管目标检测领域近些年来高速发展，但目前能高效准确识别出物体的方法，如，FasterRCNN、YOLO、SSD等，仍然都依赖于数据集中事先标注的大量物体进行训练。即使是目前最常用的大规模数据集——COCO数据集也只提供了80个类别的物体信息。物体标注信息限制了检测器能够检测出的物体类别和数量，而标注物体信息又相当耗时费力，更不用说，我们几乎不可能标注出实际应用场景中所有可能存在的物体。另外，即使有零次学习(zero-shotlearning)技术，但是在目标检测领域刚刚起步，尚不能应用到动作识别任务中。现有方法采用预训练的目标检测器，使得其难以检测出不在训练数据中的动作相关物体，从而影响动作识别精度。此外，即使提供了物体标注信息，让目标检测器直接预测出可能在各个位置出现的物体仍然不是一件简单的事，也会影响动作识别的精度。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于相关物体感知的动作识别方法，在无需物体标注的情况下，找出并提取动作相关的物体特征，提高动作识别的精度。本专利技术的目的可以通过以下技术方案来实现：一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，包括以下步骤：1)通过卷积神经网络提取待识别图像的特征图；2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；4)获取待识别图像中的人物，提取人体特征；5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别。进一步地，所述的步骤2)具体包括：201)以输入特征图上每一个像素位置为中心，分别设置K个不同尺度的锚点框，作为物体候选框枚举出待识别图像中的物体；202)计算各物体候选框对应的动作相关性分数；203)利用sigmoid函数将各物体候选框对应的动作相关性分数映射到0到1之间，得到标准动作相关性分数。进一步优选地，所述的计算各物体候选框对应的动作相关性分数具体包括：使用一个3×3的卷积扩大特征图上每一个像素对应的感受野，再使用K个1×1的卷积在特征图的每一个像素位置上计算和物体候选框一一对应的动作相关性分数。进一步地，所述的步骤3)具体包括：301)根据动作相关性分数，由高至低排列各物体候选框，构成候选框列表；302)获取候选框列表中重合比例大于设定重合阈值的物体候选框，组成重合候选框组；303)从各重合候选框组中分别筛选出动作相关性分数最高的物体候选框，作为最相关物体，得到包含N个最相关物体候选框的最相关候选框列表；304)对步骤1)输出的特征图应用RoI池化得到N个物体候选框对应的特征向量，并将特征向量乘以对应物体候选框的标准动作相关性分数，得到N个最相关物体特征。进一步优选地，所述的步骤303)还包括：若从各重合候选框组中筛选出的物体候选框数量大于100，则只选取动作相关性分数最高的前100个物体候选框，作为N个最相关物体。进一步优选地，所述的设定重合阈值为0.7，所述的重合比例的计算公式为：其中，A∩B表示第一物体框和第二物体框间相交区域面积，A∪B表示第一物体框和第二物体框的实际总面积。进一步地，所述的步骤5)具体包括：501)对人体特征使用卷积层提取特征，并使用一层全连接层做分类器，得到各人体特征对应各动作类别的人体分类得分；502)对最相关物体特征使用卷积层提取特征，并使用一层全连接层做分类器，得到各最相关物体特征对应各动作类别的物体分类得分；503)选取每一动作类别中得分最高的物体，将对应物体分类得分与人体分类得分相加，得到最终分类得分：其中，表示第m个人进行第a个类别的动作的最终分类得分，M为人体特征的数量，A为动作类别的数量；504)对最终分类得分应用softmax函数，得到待识别人体进行每一类动作的概率，完成动作识别。进一步优选地，该方法在训练时的损失函数Loss的表达式为：其中，表示第m个人进行第a个类别的动作的最终得分，表示数据集提供的第m个人是否真的在进行第a个类别的动作的标签，为真该值为1，反之为0。进一步优选地，所述的K个不同尺度的锚点框包括16个覆盖的物体面积从162到5122的锚点框，其具体包括：大小为16×16正方形像素区域的基础锚点框，以及与基础锚点框面积大小比例分别为2倍、4倍、8倍、16倍和32倍，长宽比例分别为0.5倍、1倍、2倍的共计15个不同尺度的锚点框。进一步地，所述的步骤1)具体包括：101)在待识别图像的四条边用0填充10个像素宽的区域，并对填充完的图像按原图像大小进行随机裁剪，并以0.5的概率对图像进行水平翻转；102)将随机翻转后的图像在RGB三个通道上分别减去ImageNet数据集上计算出的均值，并除以标准差，进行标准化处理；103)使用ImageNet上预训练的ResNet网络的前四个卷积层，提取处理后图像的特征图。与现有技术相比，本专利技术具有以下优点：1)本专利技术通过计算物体相关性大小得到最相关物体特征，并将人体特征与最相关物体特征融合，进行动作识别，无需额外的目标检测网络去提取物体特征，降低了方法的复杂度，并可以端到端训练，直接整合进动作识别框架中联合训练，避免了使用目标检测带来的弊端，提高了动作识别的总体效率；2)本专利技术采用多尺度锚点配合相关性分数做到在无需物体标注情况下就能找出动作相关物体，更适用于实际应用场景中的动作识别，解决现有技术中需要使用大量的物体标注信息训练检测器，费时费力且无法适应真实场景中种类繁多的动作相关物体的问题；3)本专利技术通过相关性分数感知动作相关物体特征，而不使用额外目标检测网络提取动作相关物体特征，能够适应真实场景中种类繁多的动作相关物体，提高相关物体选取的精度和准确性，从而提高动作识别精度，经过在目前最大的动作识别图像数据集、HICO数据集和另外两个被广泛使用的公开标准数据集(Stanford40数据集和VOC2012数据集)上的实验本文档来自技高网...

【技术保护点】
1.一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，其特征在于，包括以下步骤：/n1)通过卷积神经网络提取待识别图像的特征图；/n2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；/n3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；/n4)获取待识别图像中的人物，提取人体特征；/n5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别。/n

【技术特征摘要】
1.一种基于相关物体感知的动作识别方法，用于融合动作相关物体特征识别人物动作，其特征在于，包括以下步骤：
1)通过卷积神经网络提取待识别图像的特征图；
2)获取待识别图像中的物体，并计算各物体与动作的相关性大小；
3)根据相关性大小筛选最相关物体，提取得到最相关物体特征；
4)获取待识别图像中的人物，提取人体特征；
5)融合人体特征与最相关物体特征，计算各动作的发生概率，完成图像中人物动作的识别。


2.根据权利要求1所述的一种基于相关物体感知的动作识别方法，其特征在于，所述的步骤2)具体包括：
201)以输入特征图上每一个像素位置为中心，分别设置K个不同尺度的锚点框，作为物体候选框枚举出待识别图像中的物体；
202)计算各物体候选框对应的动作相关性分数；
203)利用sigmoid函数将各物体候选框对应的动作相关性分数映射到0到1之间，得到标准动作相关性分数。


3.根据权利要求2所述的一种基于相关物体感知的动作识别方法，其特征在于，所述的计算各物体候选框对应的动作相关性分数具体包括：
使用一个3×3的卷积扩大特征图上每一个像素对应的感受野，再使用K个1×1的卷积在特征图的每一个像素位置上计算和物体候选框一一对应的动作相关性分数。


4.根据权利要求2所述的一种基于相关物体感知的动作识别方法，其特征在于，所述的步骤3)具体包括：
301)根据动作相关性分数，由高至低排列各物体候选框，构成候选框列表；
302)获取候选框列表中重合比例大于设定重合阈值的物体候选框，作为重合候选框组；
303)从各重合候选框组中分别筛选出动作相关性分数最高的物体候选框，作为最相关物体，得到包含N个最相关物体候选框的最相关候选框列表；
304)对步骤1)输出的特征图应用RoI池化得到N个物体候选框对应的特征向量，并将特征向量乘以对应物体候选框的标准动作相关性分数，得到N个最相关物体特征。


5.根据权利要求4所述的一种基于相关物体感知的动作识别方法，其特征在于，所述的步骤303)还包括：
若从各重合候选框组中筛选出的物体候选框数量大于100，则只选取动作相关性分数最高的前100个物体候选框，作为N个最相关物体。


6.根据权利要求4所述的一种基于相关物体感知的动作识别方法，其特...

【专利技术属性】
技术研发人员：梁爽，马文韬，储港，谢驰，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31