行为识别方法、电子设备及可读存储介质技术

本发明专利技术提供一种行为识别方法、电子设备及可读存储介质，属于智能识别技术领域，该方法包括：获取实时采集的图像帧；提取图像帧中的人体骨骼信息；获取第一人体骨骼序列和第二人体骨骼序列，第一人体骨骼序列和第二人体骨骼序列均包括L个连续的图像帧的人体骨骼信息，第一人体骨骼序列中的最后一个人体骨骼信息是当前图像帧的人体骨骼信息，第二人体骨骼序列中的最后一个人体骨骼信息是第一图像帧的人体骨骼信息，第一图像帧在当前图像帧之前且与当前图像帧之间相差d个图像帧，d小于L；根据第一人体骨骼序列和第二人体骨骼序列，确定是否能够得到可信识别结果。本发明专利技术可以对包含多个动作、背景的连续视频流进行实时准确地行为识别。识别。识别。

【技术实现步骤摘要】
行为识别方法、电子设备及可读存储介质


[0001]本专利技术涉及智能识别
，尤其涉及一种行为识别方法、电子设备及可读存储介质。

技术介绍

[0002]行为识别，其是智能监控及人机交互等领域的一项基础技术。通过深度学习等算法技术来分析由摄像头采集到的视频数据，感知视频场景中人的行为。随着5G的发展以及物联网边缘智能应用的持续推进，行为识别技术的应用价值会不断的扩大，其应用领域将会非常广泛，如老人监护、安防、教育及购物等等。
[0003]目前大多数行为识别都是通过监控人员观察监控视频完成，这种行为识别方法存在人力成本高、人力无法长时间注意力集中和识别质量难以保障等问题。随着深度学习的发展，出现了很多行为识别算法。但这些行为识别算法多是应用在离线非实时场景下，无法对包含多个动作、背景的实时连续视频流进行准确的行为识别。

技术实现思路

[0004]有鉴于此，本专利技术提供一种行为识别方法、电子设备及可读存储介质，用于解决目前无法对包含多个动作、背景的实时连续视频流进行准确的行为识别的问题。
[0005]为解决上述技术问题，第一方面，本专利技术提供一种行为识别方法，包括：
[0006]获取实时采集的图像帧；
[0007]提取所述图像帧中的人体骨骼信息；
[0008]获取第一人体骨骼序列和第二人体骨骼序列，所述第一人体骨骼序列和第二人体骨骼序列均包括L个连续的所述图像帧的人体骨骼信息，所述第一人体骨骼序列中的最后一个人体骨骼信息是当前图像帧的人体骨骼信息，所述第二人体骨骼序列中的最后一个人体骨骼信息是第一图像帧的人体骨骼信息，所述第一图像帧在所述当前图像帧之前且与所述当前图像帧之间相差d个图像帧，d和L为正整数且d小于L；
[0009]根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果。
[0010]可选的，所述获取第一人体骨骼序列和第二人体骨骼序列，包括：
[0011]将从第二图像帧开始的图像帧中提取的人体骨骼信息，依次添加至长度为L的预设队列，直至所述预设队列已满，获取所述预设队列中的L个人体骨骼信息作为所述第二人体骨骼序列；所述第二图像帧为所述第二人体骨骼序列中的第一个人体骨骼信息所属的图像帧；
[0012]删除所述预设队列中最早添加的d个人体骨骼信息，继续按照时间顺序存储从所述图像帧中提取的人体骨骼信息，直至所述预设队列再次被填满，获取所述预设队列中最新的L个人体骨骼信息作为所述第一人体骨骼序列。
[0013]可选的，所述方法还包括：
[0014]若未从所述图像帧中成功提取到人体骨骼信息，则清空所述预设队列中已有的人体骨骼信息。
[0015]可选的，所述根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，包括：
[0016]将所述第二人体骨骼序列输入至Softmax分类器，得到N个预设动作分别对应的第一概率值；其中，N为大于1的正整数；
[0017]将所述第一人体骨骼序列输入至所述Softmax分类器，得到所述N个预设动作分别对应的第二概率值；
[0018]根据所述第一概率值和所述第二概率值，确定是否能够得到所述可信识别结果。
[0019]可选的，所述根据所述第一概率值和所述第二概率值，确定是否能够得到所述可信识别结果，包括：
[0020]若所述第二概率值中最大的概率值大于第一预设值、所述第一概率值中最大的概率值大于所述第二概率值中最大的概率值且所述第二概率值中最大的概率值和所述第一概率值中最大的概率值都是所述N个预设动作中的第一动作对应的概率值，则确定能够得到所述可信识别结果。
[0021]可选的，所述根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果，包括：
[0022]运行行为识别算法模型，并由所述行为识别算法模型根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果；
[0023]所述根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果之后，还包括：
[0024]若未从所述图像帧中成功提取到人体骨骼信息，则终止所述行为识别算法模型的运行。
[0025]可选的，所述根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果，包括：
[0026]若获取到所述第二人体骨骼序列，则运行行为识别算法模型；
[0027]由所述行为识别算法模型根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果。
[0028]第二方面，本专利技术还提供一种电子设备，包括：
[0029]图像获取模块，用于获取实时采集的图像帧；
[0030]骨骼数据提取模块，用于提取所述图像帧中的人体骨骼信息；
[0031]骨骼序列获取模块，用于获取第一人体骨骼序列和第二人体骨骼序列，所述第一人体骨骼序列和第二人体骨骼序列均包括L个连续的所述图像帧的人体骨骼信息，所述第一人体骨骼序列中的最后一个人体骨骼信息是当前图像帧的人体骨骼信息，所述第二人体骨骼序列中的最后一个人体骨骼信息是第一图像帧的人体骨骼信息，所述第一图像帧在所述当前图像帧之前且与所述当前图像帧之间相差d个图像帧，d和L为正整数且d小于L；
[0032]识别模块，用于根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否
能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果。
[0033]可选的，所述骨骼序列获取模块，包括：
[0034]第一获取单元，用于将从第二图像帧开始的图像帧中提取的人体骨骼信息，依次添加至长度为L的预设队列，直至所述预设队列已满，获取所述预设队列中的L个人体骨骼信息作为所述第二人体骨骼序列；所述第二图像帧为所述第二人体骨骼序列中的第一个人体骨骼信息所属的图像帧；
[0035]第二获取单元，用于删除所述预设队列中最早添加的d个人体骨骼信息，继续按照时间顺序存储从所述图像帧中提取的人体骨骼信息，直至所述预设队列再次被填满，获取所述预设队列中最新的L个人体骨骼信息作为所述第一人体骨骼序列。
[0036]可选的，所述电子设备还包括：
[0037]队列清空模块，用于若未从所述图像帧中成功提取到人体骨骼信息，则清空所述预设队列中已有的人体骨骼信息。
[0038]可选的，所述识别模块，包括：
[0039]第一分类单元，用于将所述第二人体骨骼序列输入至Softmax分类器，得到N个预设动作分别对应的第一概率值；其中，N为大于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：获取实时采集的图像帧；提取所述图像帧中的人体骨骼信息；获取第一人体骨骼序列和第二人体骨骼序列，所述第一人体骨骼序列和第二人体骨骼序列均包括L个连续的所述图像帧的人体骨骼信息，所述第一人体骨骼序列中的最后一个人体骨骼信息是当前图像帧的人体骨骼信息，所述第二人体骨骼序列中的最后一个人体骨骼信息是第一图像帧的人体骨骼信息，所述第一图像帧在所述当前图像帧之前且与所述当前图像帧之间相差d个图像帧，d和L为正整数且d小于L；根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，并在确定能够得到可信识别结果时，输出所述可信识别结果。2.根据权利要求1所述的方法，其特征在于，所述获取第一人体骨骼序列和第二人体骨骼序列，包括：将从第二图像帧开始的图像帧中提取的人体骨骼信息，依次添加至长度为L的预设队列，直至所述预设队列已满，获取所述预设队列中的L个人体骨骼信息作为所述第二人体骨骼序列；所述第二图像帧为所述第二人体骨骼序列中的第一个人体骨骼信息所属的图像帧；删除所述预设队列中最早添加的d个人体骨骼信息，继续按照时间顺序存储从所述图像帧中提取的人体骨骼信息，直至所述预设队列再次被填满，获取所述预设队列中最新的L个人体骨骼信息作为所述第一人体骨骼序列。3.根据权利要求2所述的方法，其特征在于，还包括：若未从所述图像帧中成功提取到人体骨骼信息，则清空所述预设队列中已有的人体骨骼信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一人体骨骼序列和所述第二人体骨骼序列，确定是否能够得到可信识别结果，包括：将所述第二人体骨骼序列输入至Softmax分类器，得到N个预设动作分别对应的第一概率值；其中，N为大于1的正整数；将所述第一人体骨骼序列输入至所述Softmax分类器，得到所述N个预设动作分别对应的第二概率值；根据所述第一概率值和所述第二概率值，确定是否能够得到所述可信识别结果。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一概率值和所述第二概率值，确定是否能够得到所述可信识别结果，包括：若所述第二概率值中最大的概率值大于第一预设值、所述第一概率值中最大的概率值大于所述第二概率值中最大的概率值且所述第二概率值中最大的概率值和所述第一概率值中最大的概率值都是所述N个预设动作中的第一动作对应的概率值，则确定能够...

【专利技术属性】
技术研发人员：祝淑琼，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：