基于关键点的跌倒检测方法技术

本发明专利技术公开了基于关键点的跌倒检测方法，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示。并给出相应的警告提示。并给出相应的警告提示。

【技术实现步骤摘要】
基于关键点的跌倒检测方法


[0001]本专利技术属于动作检测
，涉及一种基于关键点的跌倒检测方法。

技术介绍

[0002]意外跌倒受伤事件时常发生，尤其是在老年人居多的养老院，或者需要高强度体力劳动的建筑工地等场所，意外跌倒所带来的危害往往是非常严重的，缺乏及时的发现并救治，是可能导致生命危险的。目前，研究学者对摔倒检测技术的研究对象往往为老年人，而对建筑工地中工人的跌倒检测方法和应用还是一片空白领域。建筑工人的工作环境恶劣，工作强度大，工作过程中时常会出现脱力跌倒甚至晕倒的情况，如果不能及时救治，后果往往是非常严重的。
[0003]根据采用传感方式的不同，可以将现有的摔倒检测技术分为三大类：穿戴式，环境部署式和基于视觉检测。
[0004]1.基于穿戴式的跌倒检测技术
[0005]目前穿戴式传感器的摔倒检测所采用的传感方式通常为三轴加速度传感器。通过把加速度传感器嵌入到相关的可穿戴设备上，由人体随身佩戴并收集人体运动信息，经过对采集到的信息进行分析处理，从而判断人体是否摔倒。
[0006]基于穿戴式传感器的跌倒检测方法准确度比较高，通常不会受环境变化而影响检测结果。但是，这种方法最大的局限性就是人必须要穿戴相关设备，检测要求和成本较高。对于记忆力衰退的老年人，或者从事高强度体力工作的工作人员而言，这种基于穿戴设备的跌倒检测方法并不适用。所以，这种跌倒检测方法的检测对象是有限制的，不能很好的用于其他场合，对未穿戴相关设备的人员没有跌倒检测和保护的作用。
[0007]2.基于环境部署的跌倒检测技术
[0008]基于环境部署的摔倒检测技术一般是利用人体运动导致环境中一些物理量的变化，如振动，红外热源，声音等，通过检测这些物理信号的变化来识别人体的运动模式。
[0009]基于环境部署式的跌倒检测方法所需要的设备功耗小，价格低廉，其检测结果同样不会受环境影响，通常被应用在居家，图书馆等室内小范围环境。但是，作为一种被动感知的检测方法，传感器的检测范围是固定的，人与传感器的位置距离变长，其检测结果将不再准确及时。另外，安装传感器需要定位布线，对于建筑工地等相对杂乱，环境变动较为频繁的场合，并不适合布置大量传感器。
[0010]3.基于视觉的摔倒检测技术
[0011]基于视觉的摔倒检测技术是利用摄像头收集人体视频图像，采用图像处理技术提取相关人体特征来进行判断，例如常用的体积匹配算法来进行人体姿态估计。
[0012]这类方法对设备要求，技术要求都相对较高，但是基于视觉的跌倒检测方法应用场景广泛，也具有较高的精确度和实时性。这类方法的关键难点是提出准确高效的跌倒检测算法并有效地应用到图像中。
[0013]现有技术中基于深度学习的实时跌倒检测方法包括以下步骤：
[0014]采集人体图像；
[0015]进行人体骨骼关键点识别：使用神经网络卷积VGG-19提取特征，预测每个关键点的热点图谱，通过多阶段的网络迭代，每一个阶段的输出作为下一个阶段的输入，对上一个阶段的结果优化；对于预测的关键点增加矢量编码，对于图像中的关键点进行组合，同一个人的不同部位进行连接；迁移学习训练图像数据集；
[0016]使用SSD-Mobilenet目标检测算法对检测的人体关键点区域进行目标检测，去掉非人体的部分：先使用Mobilenet网络对COCO数据集进行预训练，生成预训练模型；使用迁移学习训练图像数据集采集的数据生成tfrecord数据用于迁移学习；把生成的数据和预训练模型融合特征传入SSD网络；
[0017]使用SVDD分类算法对采集到的人体骨骼关键点进行分类。
[0018]上述现有技术至少存在以下缺点：
[0019]1)现有的检测方法针对单人检测，无法实现同时的多人跌倒检测；
[0020]2)每次的跌倒判断都是利用关键点判断，缺少时序控制；
[0021]3)一些特殊的跌倒姿态，可以利用其它判断方法进行判断，判断时间可以缩短。

技术实现思路

[0022]为解决上述问题，本专利技术所提出的跌倒检测方法属于基于视觉检测类，采用了基于人体骨骼关键点的行为检测来判断人体是否处于摔倒状态，精度更高，对常见的类似跌倒动作进行了进一步判断，基于视觉的检测应用场景广泛，能更好的对建筑工地等场景进行实时跌倒检测。
[0023]为实现上述目的，本专利技术的技术方案为基于关键点的跌倒检测方法，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示，采用上述系统的方法包括以下步骤：
[0024]S10，摄像头获取图像；
[0025]S20，进行人体识别框定；
[0026]S30，进行人体关键点识别与计算；
[0027]S40，利用显示模块对判断为跌倒的情况发出警示信息。
[0028]优选地，所述进行人体识别框定，包括以下步骤：
[0029]S21，使用R-CNN算法对图像处理，检测图像中人体并用检测框框定；
[0030]S22，计算人体检测框的宽高比λ，与设定的阈值λ
’
进行对比，若符合λ>λ
’
，则判断人体摔倒。
[0031]优选地，所述进行人体关键点识别与计算包括以下步骤：
[0032]S31，利用MASK-RCNN算法对人体图像进行处理，提取出人体的17个骨骼关键点，并按顺序标记，0对应鼻子、1对应左眼、2对应右眼、3对应左耳、4对应右耳、5对应左肩膀、6对
应右肩膀、7对应左手肘关节、8对应右手肘关节、9对应左手腕关节、10对应右手腕关节、11对应左边胯部、12对应右边胯部、13对应左腿膝盖、14对应右腿膝盖、15对应左腿脚踝、16对应右腿脚踝；
[0033]S32，判断人体17个骨骼关键点是否识别完全，
[0034]S33，否，则利用基于生成对抗网络的行人重识别方法对缺失骨骼关键点进行补全；
[0035]S34，是，则对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒。
[0036]优选地，所述对指定骨骼关键点的角度与距离进行计算，从而判断是否跌倒为，当人体上身躯干与大腿的角度小于预设角度阈值，且头部到脚部的头脚距离小于预设的头脚长度阈值，手部到脚部的手脚距离小于预设的手脚长度阈值时，则再进行时间判断，若该姿态持续时间超过预设时间阈值，则判断为跌倒；如果指定骨骼关键点的角度与距离未满足上述条件，或姿态持续时间没本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于关键点的跌倒检测方法，其特征在于，基于关键点的跌倒检测系统包括依次连接的图像采集模块、图像识别模块、动作检测模块和显示模块，图像采集模块包括摄像头，摄像头逐帧采集区域内图像；图像识别模块检测连续帧图像中的人体，并识别出所检测人体的骨骼关键点；动作检测模块基于目标检测框符合设定阈值的宽高比例，检测连续帧图像中的人体骨骼关键点中手腕关键点与脚踝关键点构成的直线距离，眼睛关键点与脚踝关键点构成的直线距离，以及肩膀关键点和膝盖关键点的夹角变化情况来判断视频中人体是否处于跌倒状态；显示模块：通过显示器显示视频图像区域内是否有人处于跌倒状态，并给出相应的警告提示，采用上述系统的方法包括以下步骤：S10，摄像头获取图像；S20，进行人体识别框定；S30，进行人体关键点识别与计算；S40，利用显示模块对判断为跌倒的情况发出警示信息。2.根据权利要求1所述的方法，其特征在于，所述进行人体识别框定，包括以下步骤：S21，使用R-CNN算法对图像处理，检测图像中人体并用检测框框定；S22，计算人体检测框的宽高比λ，与设定的阈值λ
’
进行对比，若符合λ>λ
’
，则判断人体摔倒。3.根据权利要求1所述的方法，其特征在于，所述进行人体关键点识别与计算包括以下步骤：S31，利用MASK-RCNN算法对人体图像进行处理，提取出人体的17个骨骼关键点，并按顺序标记，0对应鼻子、1对应左眼、2对应右眼、3对应左耳、4对应右耳、5对...

【专利技术属性】
技术研发人员：张继勇，陈泉，
申请(专利权)人：浙江汉德瑞智能科技有限公司，
类型：发明
国别省市：