一种基于人体骨架序列和卷积神经网络的摔倒检测方法技术

一种基于人体骨架序列和卷积神经网络的摔倒检测方法，它属于人体摔倒检测技术领域。本发明专利技术解决了传统的人体摔倒检测方法仅利用不连续的单时间点传感信息来检测，容易带来摔倒的误判的问题。本发明专利技术采集了一部分人体摔倒骨架序列和类摔倒骨架序列，并且将MSRDaily Activity3D数据集融合到采集的数据集中，同时为了弥补数据集的空白，本发明专利技术利用两种数据增强的方法对数据集进行扩增，以避免过拟合的问题；扩增后的数据集用来训练和测试本发明专利技术建立的卷积神经网络，实验结果显示，在测试集上的识别准确率为93.75％，灵敏度为93.9％，所以，本发明专利技术的方法克服了传统方法容易带来摔倒的误判的问题。本发明专利技术可以应用于人体摔倒检测技术领域。

A Fall Detection Method Based on Human Skeleton Sequence and Convolutional Neural Network

【技术实现步骤摘要】
一种基于人体骨架序列和卷积神经网络的摔倒检测方法
本专利技术属于人体摔倒检测
，具体涉及一种人体摔倒检测方法。
技术介绍
随着社会的发展，全球的老龄人口在不断增加，使老年人的医疗健康成为社会关注的问题之一。美国疾病控制和防疫中心的调查结果表明，摔倒已经成为导致65岁以上老年人意外死亡和伤害的最大诱因。Noury等的研究显示，老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险。而根据全国老年办统计数据显示，现有大量的老人远离子女独自生活。因此，迫切需要为老年人开发智能监控系统，该系统可以自动并立即检测跌倒事件并通知护理人员或家属。根据检测摔倒行为所涉及的设备，人体摔倒检测技术主要分为以下两类：第一、基于穿戴式传感器的摔倒检测方法，主要原理是对人体的姿态进行检测，进而进行摔倒检测。常见的传感器包括加速度传感器、陀螺仪、压力传感器等，不仅可以进行多传感器融合，还可以与心电、脉搏等设备结合进行检测。大多数基于可穿戴传感器的检测方法都采用设定阈值或设定规则来检测摔倒。Sannino等开发了一套检测方法，根据加速度计数据提取IF-THEN规则来判断是否摔倒，通过对竖直方向速度的阈值判断将摔倒与日常行为区分开来。Kwolek等利用加速度计和Kinect数据，设计了模糊检测系统来检测摔倒。但是穿戴式检测设备需要用户长期佩戴，用户体验较差，不方便日常的活动。第二、基于环境传感器的摔倒检测方法，主要原理是在检测人体目标的活动区域内安装传感器，进而进行摔倒检测，视频，音频和振动传感器是此类别的主要设备。Vaidechi等人利用相机设计实现了一种基于静态人体图像特征的摔倒检测系统，并通过提取人体的长宽比和倾斜角度两个特征进行摔倒判断。人体可以表示为具有铰接关节和刚性骨骼的神经系统，而人体的动作可以表示为骨骼的运动。随着Kinect基于深度数据实时捕获骨架的实现，基于深度数据的人体动作识别主要分为两个步骤，首先利用深度数据识别人体骨架，然后对骨架序列进行摔倒识别。通过估计头部，身体质心或两者的高度，从深度图像中提取的轮廓已被用于估计人体姿势。人体摔倒检测方法必须能有效识别摔倒过程与其它日常生活运动行为，传统检测方法仅利用不连续的单时间点传感信息，并不具备描述人体运动过程的信息完备性，导致对摔倒的误判率较高。
技术实现思路
本专利技术的目的是为解决传统的人体摔倒检测方法仅利用不连续的单时间点传感信息来检测，导致对摔倒的误判率高的问题。本专利技术为解决上述技术问题采取的技术方案是：步骤一、采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M3个人体骨架序列；步骤二、对步骤一中全部的M1+M2+M3个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。本专利技术的有益效果是：本专利技术提供了一种基于人体骨架序列和卷积神经网络的摔倒检测方法，本专利技术采集了一部分人体摔倒骨架序列和类摔倒骨架序列，并且将MSRDailyActivity3D数据集融合到采集的数据集中，同时为了弥补数据集的空白，本专利技术利用两种数据增强的方法对数据集进行扩增，以避免过拟合的问题；扩增后的数据集用来训练和测试本专利技术建立的卷积神经网络，实验结果显示，在测试集上的识别准确率为93.75％，灵敏度为93.9％，所以，本专利技术的方法克服了传统方法对摔倒的误判率高的问题。在额外做的20组在线检测实验中，实验结果显示召回率为1，准确率为95％，而且本专利技术的方法不受环境和光照条件的影响，可以广泛用于独居老人的日常监护，具有一定的应用价值。本专利技术融合了人体动作的空间和时间特征，对人体摔倒动作的识别起到很好的作用。附图说明图1为本专利技术所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法的卷积神经网络结构图；图2为本专利技术采集人体骨架序列时的实验场景图；图3为本专利技术采集的一个人体骨架序列的示意图；其中：f＝10代表第10帧的人体关节图，f＝20代表第20帧的人体关节图，以此类推，f＝110代表第110帧的人体关节图；图4为KinectV2和KinectV1两个设备产生的相同关节点的示意图；其中：1代表脊柱关节，2代表头部关节，3代表右肩关节，4代表右肘关节，5代表右腕关节，6代表右手关节，7代表左肩关节，8代表左肘关节，9代表左腕，10代表左手，11代表右臀，12代表右膝，13代表右脚，14代表右脚踝，15代表左臀，16代表左膝，17代表左脚踝，18代表左脚；图5为间隔采样的数据增强方法的示意图；S1代表第1帧，S1+d代表第1+d帧，S1+2d代表第1+2d帧，代表第1+fc帧，代表第1+d+fc帧，代表第1+2d+fc帧；图6为低帧率的二次采样时，单数帧对应的编码后的RGB图；图7为低帧率的二次采样时，双数帧对应的编码后的RGB图；图8为利用卷积神经网络进行训练时，损失函数值与训练次数的关系曲线、以及准确率与训练次数的关系曲线图。图9为在线测试时，有人摔倒的骨架序列编码后的RGB图像的示意图；图10为在线测试时，没有人摔倒的骨架序列编码后的RGB图像的示意图；图11是将数据增强处理后的人体骨架序列中的人体关节空间位置信息编码为RGB图像，再将RGB图像的尺寸变换为60×60大小的图像的示意图。图11的中间的图代表编码的RGB图像，编码的RGB图像的横向代表时间动态信息，编码的RGB图像的纵向代表空间结构信息；图11的右图代表尺寸变换为60×60大小的RGB图像；和分别代表第1帧中的人体关节空间位置信息对应的R值、G值和B值；和分别代表第2帧中的人体关节空间位置信息对应的R值、G值和B值。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。具体实施方式一：结合图1说明本实施方式。本实施方式所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，该方法包括以下步骤：步骤一、采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M3个人体骨架序列；人体类摔倒动作包括坐下和躺下动作，MSRDailyActivity3D数据集中包括饮水、吃东西和读书等非摔倒、且非类摔倒动作。步骤二、对步骤一中本文档来自技高网...

【技术保护点】
1.一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，该方法包括以下步骤：步骤一、采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列，并从MSRDaily Activity3D数据集中随机选取M3个人体骨架序列；步骤二、对步骤一中全部的M1+M2+M3个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。...

【技术特征摘要】
1.一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，该方法包括以下步骤：步骤一、采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M3个人体骨架序列；步骤二、对步骤一中全部的M1+M2+M3个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。2.根据权利要求1所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤一的具体过程为：利用微软的KinectV2采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列；从MSRDailyActivity3D数据集中随机选取M3个人体骨架序列；选取出全部的M1+M2+M3个人体骨架序列共同包含的18个关节点的空间位置信息。3.根据权利要求2所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤二对步骤一中全部的M1+M2+M3个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：若每个骨架序列均包含L帧，帧率为FPS帧/秒，则每个骨架序列的持续时间t为L/FPS秒；将每个骨架序列编码为RGB图像时，若编码的每个骨架序列的持续时间长度为T；则每个RGB图像中包含的帧数fc为T×FPS；则将每个骨架序列的第1帧至第T×FPS帧作为一个新的骨架序列，将每个骨架序列的第2帧至第T×FPS+1帧作为一个新的骨架序列，以此类推，将每个骨架序列的第L-T×FPS帧至第L帧作为一个新的骨架序列，得到的全部新的骨架序列和原来的M1+M2+M3个人体骨架序列共同组成数据增强处理后的人体骨架序列。4.根据权利要求2所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤二对步骤一中全部的M1+M2+M3个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：若采集M1个人体摔倒骨架序列和M2个人体类摔倒骨架序列时采用的帧率为F帧/秒，则在时间T内，以F/2的帧率对全部的M1+M2+M3个人体骨架序列进行二次采样，则每个人体骨架序列的单数帧组成一个新的骨架序列，每个人体骨架序列的双数帧组成一个新的骨架序列，得到的全部新的骨架序列和原来的M1+M2+M3个人体骨架序列共同组成数据增强处理后的人体骨架序列。5.根据权利要求3或4所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤三的具体过程为：对于数据增强处理后的每一个人体骨架序列，若人体骨架序列的第f帧中的第n个人体关节的空间位置信息为其中：代表第f帧中的第n个人体关节的x轴坐标，代表第f帧中的第n个人体关节的y轴坐标，代表第f帧中的第n个人体关节的z轴坐标；则...

【专利技术属性】
技术研发人员：李瑞峰，王珂，程宝平，武军，李钰，
申请(专利权)人：哈尔滨工业大学，中移杭州信息技术有限公司，
类型：发明
国别省市：黑龙江,23