融合面部表情的居家老人摔倒检测方法技术

本发明专利技术涉及老人摔倒检测技术领域，且公开了融合面部表情的居家老人摔倒检测方法，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，同时获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权特征融合方式进行融合；6)融合后的特征经过分类器进行判断是否为摔倒。该融合面部表情的居家老人摔倒检测方法，通过将面部表情特征与头部骨骼点的位移特征自适应加权特征融合，提高了检测的准确性。提高了检测的准确性。提高了检测的准确性。

【技术实现步骤摘要】
融合面部表情的居家老人摔倒检测方法


[0001]本专利技术涉及老人摔倒检测
，具体为一种融合面部表情的居家老人摔倒检测方法。

技术介绍

[0002]日常生活中，导致人体摔倒的原因主要有两种，一种是因腿脚不方便被绊倒或滑到，另一种是因疾病引起的摔倒，摔倒时如果没有得到及时的救助，往往会导致伤情加重，甚至付出生命代价，因此，对于人体的摔倒进行检测显得尤为重要。
[0003]目前，针对老年人摔倒检测多基于人体动作的特征，常见的人体摔倒检测技术可分为三类，包括基于穿戴式，基于环境传感器以及基于视频，例如中国专利CN 109584506 A公开了一种基于云平台居家老人摔倒监测系统及方法，该专利通过利用嵌入式、云平台技术构造出一个智能居家老人摔倒监测系统，从而为广大老人的居家养老服务，采用可穿戴式检测摔倒设备，成本低，私密性高，但是这些方法需穿戴传感器，舒适性较差，或者容易受周围环境的偶然性与不确定性影响，并且有时会因老人下蹲以及其他一些行为而产生误判，故而，提出一种融合面部表情的居家老人摔倒检测方法来解决上述问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了融合面部表情的居家老人摔倒检测方法，可及时监测居家老年人摔倒的异常行为，给予老年人及时的救助，尽可能的减少因摔倒对老年人造成的伤害。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：融合面部表情的居家老人摔倒检测方法，包括以下步骤：
[0008]1)收集监控视频数据集；
[0009]2)提取视频中的前景人体目标；
[0010]3)采用OpenPose算法获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像；
[0011]4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块，分别得到包含位移关键帧信息的第一输出张量特征与包含面部表情信息的第二输出张量特征；
[0012]5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权的特征融合方式进行融合；
[0013]6)融合后的特征经过由全连接层与Sigmoid激活函数组成的分类器进行判断是否为摔倒。
[0014]优选的，所述步骤2)采用ViBe方法提取前景人体目标，为后续的头部骨骼点位移
检测与面部表情检测做准备。
[0015]优选的，所述步骤3)首先通过OpenPose算法采集得到头部骨骼点的坐标，计算前后相邻两帧头部骨骼点的位移量，将视频中头部骨骼点的坐标逐帧计算位移量，组合成一个头部骨骼点位移序列，同时利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像，将得到的头部骨骼点的位移时序特征送入位移时序特征注意力模块，获取的面部图像送入由卷积神经网络(CNN)为主干网络，并在相邻网络层之间引入通道注意力网络(SENet)构建的面部表情识别模块，将两个模块的输出特征进行自适应加权特征融合后送入分类器进行判断是否为摔倒。
[0016]所述计算头部骨骼点的位移时序特征的具体步骤如下：
[0017]a.假设t时刻头部骨骼点的坐标为(x
t
,y
t
)，t+1时刻的头部骨骼点坐标为(x
t+1
,y
t+1
)，d代表t时刻与t+1时刻时间跨度内头部骨骼点的位移量，计算公式为：
[0018][0019]b.计算由连续时刻构成序列长度为T的头部骨骼点的位移时序特征Q：
[0020]Q＝{d
p
p＝1,2
…
T}
[0021]其中，d
p
为p时刻与p+1时刻时间跨度内头部骨骼点的位移量。
[0022]所述利用OpenCV自带的Haar特征人脸检测器进行人脸检测，获取监控视频中人体的面部图像，输入面部表情识别模块。
[0023]优选的，所述步骤4)将步骤3)获取的头部骨骼点的位移时序特征送入位移时序特征注意力模块，获取的面部图像送入由卷积神经网络(CNN)为主干网络，并在相邻网络层之间引入通道注意力网络(SENet)构建的人脸表情识别模块，通道注意力网络(SENet)是将特征通道采用“特征重标定”的思想来进行融合，将通道注意力网络(SENet)加入到卷积神经网络(CNN)的卷积层与池化层之间，通过上述两个模块分别检测出包含位移关键帧信息的第一输出张量特征与包含面部表情信息的第二输出张量特征。
[0024]优选的，所述步骤5)先将步骤4)得到的包含位移关键帧信息的第一输出张量特征与包含面部表情信息的第二输出张量特征通过权重获取模块计算得到各自的特征权重，将获取权重后的第一输出张量特征与第二输出张量特征进行维度上的加权融合，使融合后的特征具有更强的表达能力，能够更加准确的进行判断是否为摔倒，自适应加权特征融合方法表示为：
[0025]G＝ωF+(1
‑
ω)M
[0026]其中，G表示融合特征，ω表示权重系数，F表示包含面部表情信息的第二输出张量特征，M表示包含位移关键帧信息的第一输出张量特征。
[0027]优选的，所述步骤6)采用分类器判断是否为摔倒，其中，若仅依靠头部骨骼点的位移来判断是否为摔倒，可能会因下蹲或坐下等动作产生误差，在头部骨骼点位移的基础上通过自适应加权融合的方法融入面部表情特征，当头部骨骼点的位移量过大且面部表情为痛苦时，输出为摔倒的概率大，反之，输出为非摔倒的概率大，二分类交叉熵损失函数L为：
[0028][0029]其中，N为样本数，a表示计数器，a＝1表示从第1个样本开始计数，为样本的标
签，正类为1，负类为0，y
a
为预测为正的概率。
[0030](三)有益效果
[0031]与现有技术相比，本专利技术提供了融合面部表情的居家老人摔倒检测方法，具备以下有益效果：
[0032]该融合面部表情的居家老人摔倒检测方法，通过采用自适应加权特征融合的方式将人体的面部表情特征与头部骨骼点的位移特征进行融合，能够针对不同的情况为面部表情特征与头部骨骼点位移特征分配不同的权重进行融合，进而做出更加准确的判断；将卷积神经网络(CNN)与通道注意力网络(SENet)结合构建面部表情识别模块，能够获取图像中更多的特征，提高检测的准确性。
附图说明
[0033]图1为本专利技术的流程图；
[0034]图2为本专利技术的神经网络模型结构图。
具体实施方式
[0035]下面将结合本专利技术的实施例和附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
...

【技术保护点】

【技术特征摘要】
1.融合面部表情的居家老人摔倒检测方法，其特征在于，包括以下步骤：1)收集监控视频数据集；2)提取视频中的前景人体目标；3)采用OpenPose算法获取人体头部骨骼点坐标并提取人体头部骨骼点的位移时序特征，利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像；4)将头部骨骼点的位移时序特征与面部图像分别输入位移时序特征注意力模块与面部表情识别模块，分别得到包含位移关键帧信息的第一输出张量特征与包含面部表情信息的第二输出张量特征；5)获取特征权重，对两个神经网络模块的输出张量特征采用自适应加权的特征融合方式进行融合；6)融合后的特征经过由全连接层与Sigmoid激活函数组成的分类器进行判断是否为摔倒。2.根据权利要求1所述的融合面部表情的居家老人摔倒检测方法，其特征在于，所述步骤2)采用ViBe方法提取前景人体目标，为后续的头部骨骼点位移检测与面部表情检测做准备。3.根据权利要求1所述的融合面部表情的居家老人摔倒检测方法，其特征在于，所述步骤3)首先通过OpenPose算法采集得到头部骨骼点的坐标，计算前后相邻两帧头部骨骼点的位移量，将视频中头部骨骼点的坐标逐帧计算位移量，组合成一个头部骨骼点位移序列，同时利用OpenCV自带的Haar特征人脸检测器，获取监控视频中人体的面部图像，将得到的头部骨骼点的位移时序特征送入位移时序特征注意力模块，获取的面部图像送入由卷积神经网络(CNN)为主干网络，并在相邻网络层之间引入通道注意力网络(SENet)构建的面部表情识别模块，将两个模块的输出特征进行自适应加权特征融合后送入分类器进行判断是否为摔倒。所述计算头部骨骼点的位移时序特征的具体步骤如下：a.假设t时刻头部骨骼点的坐标为(x
t
,y
t
)，t+1时刻的头部骨骼点坐标为(x
t+1
,y
t+1
)，d代表t时刻与t+1时刻时间跨度内头部骨骼点的位移量，计算公式为：b.计算由连续时刻构成序列长度为T的头部骨骼点的位移时序特征Q：Q＝{d
p
|p＝1,2
…
...

【专利技术属性】
技术研发人员：张小瑞，解其健，孙伟，刘青山，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：