一种起立行为识别方法及装置制造方法及图纸

本申请公开了一种起立行为识别方法及装置，涉及行为识别处理技术领域，能够达到更加准确地识别人体行为是否为起立行为。本申请的主要技术方案为：获取视频数据；对视频数据所包括的至少一个图像帧进行人头检测处理，得到图像帧所包含的至少一个人头对象对应的人头框信息；根据人头框信息，从图像帧中对目标人头对象进行跟踪处理，得到目标人头对象对应的跟踪信息，跟踪信息包括目标人头对象在图像帧中对应的人头框信息；将跟踪信息输入预设起立行为识别模型，输出对目标人头对象进行的人体行为识别结果。本申请主要应用于识别人体行为是否为起立行为。是否为起立行为。是否为起立行为。

A method and device for recognizing standing behavior

【技术实现步骤摘要】
一种起立行为识别方法及装置


[0001]本申请涉及行为识别处理
，尤其涉及一种起立行为识别方法及装置。

技术介绍

[0002]人体行为识别在视频监控、安防、视频检索等领域具有广泛的应用，起立/坐下行为识别作为人体行为识别的一种，针对研究的是人体坐下/起立和起立/坐下的动态过程，其在智慧教室、智能录播等场景具有直接的应用。
[0003]目前，在智慧教室、智能录播等类似这样的封闭场景，对人体起立行为的动作检测，主要是采用光流法、帧间差分法处理拍摄到的人体行为连续视频帧图像，以拍摄到的人体高度差来进行相应判断，即人体高度由低变为高，则表明人体为起立行为，但如果人体高度由高变为低，则表明人体为非起立行为(例如坐下行为)。但是，随着场景内人数增多，以及受光线变化不定等诸多因素的影响，使得拍摄到的图像中会存在身体区域遮挡，并且拍摄到的高度差被辨识的也不够清楚，这样就难以准确地识别出人体什么时候是处于起立行为的了。

技术实现思路

[0004]本申请提供了一种起立行为识别方法及装置，主要目的在于避免受到场景内人数增多所带来的人体遮挡、光线变化等客观诸多因素影响，能够达到更加准确地识别人体行为是否为起立行为。
[0005]为了达到上述目的，本申请主要提供如下技术方案：
[0006]本申请第一方面提供了一种起立行为识别方法，该方法包括：
[0007]获取视频数据；
[0008]对所述视频数据所包括的至少一个图像帧进行人头检测处理，得到所述图像帧所包含的至少一个人头对象对应的人头框信息；
[0009]根据所述人头框信息，从所述图像帧中对目标人头对象进行跟踪处理，得到所述目标人头对象对应的跟踪信息，所述跟踪信息包括所述目标人头对象在所述图像帧中对应的人头框信息；
[0010]将所述跟踪信息输入预设起立行为识别模型，输出对所述目标人头对象进行的人体行为识别结果，所述预设起立行为识别模型为基于人头对象样本的跟踪信息和对所述跟踪信息标注的起立行为识别结果而预先训练得到的模型。
[0011]本申请第二方面提供了一种起立行为识别装置，该装置包括：
[0012]获取单元，用于获取视频数据；
[0013]人头检测处理单元，用于对所述视频数据所包括的至少一个图像帧进行人头检测处理，得到所述图像帧所包含的至少一个人头对象对应的人头框信息；
[0014]跟踪处理单元，用于根据所述人头框信息，从所述图像帧中对目标人头对象进行跟踪处理，得到所述目标人头对象对应的跟踪信息，所述跟踪信息包括所述目标人头对象
在所述图像帧中对应的人头框信息；
[0015]模型处理单元，用于将所述跟踪信息输入预设起立行为识别模型，输出对所述目标人头对象进行的人体行为识别结果，所述预设起立行为识别模型为基于人头对象样本的跟踪信息和对所述跟踪信息标注的起立行为识别结果而预先训练得到的模型。
[0016]本申请第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的起立行为识别方法。
[0017]本申请第四方面提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的起立行为识别方法。
[0018]借由上述技术方案，本申请提供的技术方案至少具有下列优点：
[0019]本申请提供了一种起立行为识别方法及装置，本申请在拍摄场景内人员活动的过程中会实时收集到视频数据，通过视频数据中包括的图像帧进行人头检测处理，得到图像帧包含的人头对象对应的人头框信息，以及再进一步地对目标人头对象进行跟踪处理，从图像帧中得到目标人头对象对应的人头框信息，作为对目标人头对象的跟踪信息，最后再利用预设起立行为识别模型进行处理，从而识别到每个目标人头对象对应的人体行为是否为起立行为。本申请是利用人头检测和跟踪处理以及预设起立行为模型实现的具体实施方法，该方法不会受到场景内人数增多所带来的人体遮挡、光线变化等客观诸多因素影响。相较于现有技术，解决了因受到这些客观诸多因素影响导致难以识别出人体何时处于起立行为的问题，本申请能够更加准确地识别出人体行为是否为起立行为。
[0020]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0021]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0022]图1为本申请实施例提供的一种起立行为识别方法流程图；
[0023]图2为本申请实施例提供的另一种起立行为识别方法流程图；
[0024]图3为本申请实施例提供的训练人头检测模型的具体实施方法流程图；
[0025]图4为本申请实施例提供的在图像帧中检测出人头对象对应的人头框信息的示意图；
[0026]图5为本申请实施例提供的针对每个图像帧进行实时人头检测和跟踪处理的流程示意图；
[0027]图6为本申请实施例提供的针对多个图像帧进行批量人头检测和跟踪处理的流程示意图；
[0028]图7为本申请实施例提供的批量人头检测和跟踪处理的补充方案的流程示意图；
[0029]图8为本申请实施例提供的训练起立行为识别模型的具体实施方法流程图；
[0030]图9为本申请实施例提供的一种起立行为识别装置的组成框图；
[0031]图10为本申请实施例提供的另一种起立行为识别装置的组成框图。
具体实施方式
[0032]下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
[0033]本申请实施例提供了一种起立行为识别方法，该方法是通过对拍摄到的视频数据进行人头对象检测和跟踪处理，再采用预设起立行为识别模型处理跟踪信息，从而识别到每个目标人头对象对应的人体行为是否为起立行为，如图1所示，对此本申请实施例提供以下具体步骤：
[0034]101、获取视频数据。
[0035]在本申请实施例中，在拍摄场景内人员活动的过程中，会不断收集到视频数据，这些视频数据可以是一个图像帧或者是多个连续的图像帧。
[0036]例如，可以利用带摄像头的设备拍摄场景内的人员活动画面，并同步传输到可连接的服务器，使得服务器侧不断接收到视频数据，以便后续进行相应的图像处理操作。
[0037]102、对视频数据所包括的至少一个图像帧进行人头检测处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种起立行为识别方法，其特征在于，所述方法包括：获取视频数据；对所述视频数据所包括的至少一个图像帧进行人头检测处理，得到所述图像帧所包含的至少一个人头对象对应的人头框信息；根据所述人头框信息，从所述图像帧中对目标人头对象进行跟踪处理，得到所述目标人头对象对应的跟踪信息，所述跟踪信息包括所述目标人头对象在所述图像帧中对应的人头框信息；将所述跟踪信息输入预设起立行为识别模型，输出对所述目标人头对象进行的人体行为识别结果，所述预设起立行为识别模型为基于人头对象样本的跟踪信息和对所述跟踪信息标注的起立行为识别结果而预先训练得到的模型。2.根据权利要求1所述的方法，其特征在于，若所述视频数据所包括的所述图像帧的数量为一个，则所述根据所述人头框信息，从所述图像帧中对目标人头对象进行跟踪处理，得到所述目标人头对象对应的跟踪信息，包括：判断所述图像帧是否为起始图像帧；若判断所述图像帧为起始图像帧，则向从所述起始图像帧中检测出的人头对象添加跟踪标记，并作为目标人头对象；从所述图像帧之后的连续其他图像帧中查找所述目标人头对象对应的人头框信息，作为所述目标人头对象的跟踪信息；若判断所述图像帧不为起始图像帧，则根据与所述图像帧之前的相邻图像帧中存在的与目标人头对象对应的人头框信息，从所述图像帧中查找与所述目标人头对象对应的人头框信息，作为在所述图像帧中对所述目标人头对象的跟踪信息。3.根据权利要求2所述的方法，其特征在于，所述根据与所述图像帧之前的相邻图像帧中存在的与目标人头对象对应的人头框信息，从所述图像帧中查找与所述目标人头对象对应的人头框信息，作为在所述图像帧中对所述目标人头对象的跟踪信息，包括：从所述图像帧中，获取检测出的至少一个第一人头对象和所述第一人头对象对应的人头框信息；从所述图像帧之前的相邻图像帧中，获取检测出的至少一个第二人头对象和所述第二人头对象对应的人头框信息，所述第二人头对象携带了唯一对应的跟踪标记，所述跟踪标记用于标记在不同图像帧中与目标人头对象匹配的人头对象；通过计算比对所述第一人头对象对应的人头框信息和所述第二人头对象对应的人头框信息，从所述图像帧中查找与所述第二人头对象匹配的第一人头对象；根据与所述第二人头对象匹配的第一人头对象，向所述第一人头对象添加相同的跟踪标记；将携带了所述相同的跟踪标记的第一人头对象对应的人头框信息，作为所述目标人头对象在所述图像帧中的跟踪信息。4.根据权利要求1所述的方法，其特征在于，若所述视频数据所包括的所述图像帧的数量为多个，则所述根据所述人头框信息，从所述图像帧中对目标人头对象进行跟踪处理，得到所述目标人头对象对应的跟踪信息，包括：从多个所述图像帧中确定起始图像帧和所述起始图像帧后续的其他图像帧；向从所述起始图像帧中检测到的人头对象添加跟踪标记，作为目标人头对象；
将从所述其他图像帧中检测到的人头对象，作为其他人头对象；从所述起始图像帧开始，逐个计算比对相邻的两个图像帧分别包含的人头对象和所述人头对象对应的人头框信息，从所述其他图像帧中查找与所述目标人头对象所匹配的第一其他人头对象；根据所述目标人头对象所携带的跟踪标记，向与所述目标人头对象所匹配的第一其他人头对象添加相同的跟踪标记；利用具有相同跟踪标记的所述第一其他人头对象对应的人头框信息，组成所述目标人头对象对应的跟踪信息。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在从所述其他图像帧中查找与所述目标人头对象所匹配的第一其他人头对象的过程中，若所述其他图像帧中存在未被匹配的第二其他人头对象，则向所述第二其他人头对象添加跟踪标记，作为新的目标人头对象；将所述新的目标人头对象所在图像帧，作为新的起始图像帧；从与所述新的起始图像帧之后相邻的多个连续图像帧中，查找与所述新的目标人头对象匹配的第三其他人头对象；根据所述新的目标人头对象所携带的跟踪标记，向与所述新的目标人头对...

【专利技术属性】
技术研发人员：王高升，赵玉瑶，
申请(专利权)人：北京奕斯伟计算技术有限公司，
类型：发明
国别省市：