一种基于神经网络模型嵌入的人员危险动作识别方法技术

本发明专利技术提出了一种基于神经网络模型嵌入的人员危险动作识别方法，具体步骤包括：S1：训练神经网络模型；S2：通过网络剪枝算法对神经网络模型进行轻量化处理；S3：利用轻量化处理后的神经网络模型进行危险动作识别：首先实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台。本发明专利技术可实现多种复杂环境下的危险动作识别，包括行人检测、跨越虚拟边界、人群密度告警、异常奔跑等，通过该方法实现全面的保护轨道交通重点区域的乘客安全。的保护轨道交通重点区域的乘客安全。的保护轨道交通重点区域的乘客安全。

【技术实现步骤摘要】
一种基于神经网络模型嵌入的人员危险动作识别方法


[0001]本专利技术属于轨道交通监控检测
，尤其是涉及一种嵌入式神经网络模型的人员危险动作识别方法。

技术介绍

[0002]国内轨道交通行业对公共安全、乘客人身安全的保护需求迫切，视频监控系统如摄像头、存储、分析等设施也大量的在轨道交通行业应用。但是利用深度学习等大数据智能技术及时发现险情，辅助管理人员工作在轨道交通领域尚处于研究探索阶段，无法对站台、车厢等复杂应用场景做准确分析识别，没有对轨道交通行业的特殊场景需求做深入研究。
[0003]特别是轨道交通作为城市公共交通，具有大客运量、高峰高频率、空间局促疏散不易、人员构成复杂、社会影响大等特点，对利用基础的深度学习技术实现复杂背景下的人员危险动作识别分析有一定的难度。

技术实现思路

[0004]为了解决现有技术在复杂的轨道交通环境下，不能利用现有的视频监控装置实现人员危险动作识别，保护乘客安全的问题，本专利技术提出了一种基于神经网络模型嵌入的人员危险动作识别方法，利用深度计算的神经网络模型实现人体姿态识别、在复杂背景下的人体运动轨迹识别、危险动作行为分析，及危险动作分析从而全面的保护轨道交通重点区域的乘客安全。
[0005]具体方案如下所述：一种基于神经网络模型嵌入的人员危险动作识别方法，具体步骤如下：S1：训练神经网络模型：首先，在轨道交通场景中利用摄像装置获取视距范围的的视频数据，对所述视频数据中的动作特征及危险动作进行识别、提取并表示；其次，利用表示的动作特征对神经网络模型进行训练，使神经网络模型学会获取准确的动作特征；再对神经网络模型进行训练使其能够识别危险动作；对训练好的神经网络模型进行测试其是否可以正确识别出所述危险动作，若测试不通过则继续进行训练；所述动作特征包括人体姿态动作和运动轨迹信息，所述危险动作包括危险的人体姿态动作和危险的运动轨迹信息；S2：通过网络剪枝算法对测试通过的神经网络模型进行轻量化处理；S3：利用轻量化处理后的神经网络模型进行危险动作识别：将所述轻量化处理后的神经网络模型嵌入到轨道交通场景中的摄像监控系统的数据处理单元，所述轨道交通场景中的摄像装置将视距范围内的视频数据传输给数据处理单元，所述数据处理单元利用所述轻量化的神经网络模型和视频数据中的定位信息进行危险动作识别，首先通过所述神经网络模型可首先实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台；优选地，S3中所述动作特征的特征集包括人物自身特征和人体姿态动作，所述人
体姿态动作通过对人体骨骼关键点的位置判断获得，所述人物自身特征包括发型、年龄、性别、面部特征、是否戴帽、是否背包、上衣类型与颜色、裤子类型与颜色特征。
[0006]优选地，S1中所述动作特征识别可分别从单个动作和连续动作两方面进行识别，进行所述连续动作识别时要利用S3中所述动作特征的特征集中的人体空间变换速度以及人体的髓关节在X轴和Y轴方向的运动速度表征人体整体运动，从而获取人体运动轨迹信息。
[0007]优选地，对S1中所述神经网络模型进行训练的方法为基于半监督域自适应目标样本训练，具体是通过带标签的目标域样本，抽取跨域的特征实现。
[0008]优选地，S2中所述网络剪枝算法是将所述神经网络模型中的卷积核权重的大小作为评价手段，判断参数的重要性，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度和内存开销。
[0009]优选地，所述网络剪枝算法在剔除模型中不重要的参数之后，还需要通过重新训练来恢复模型的性能，以在保证模型精度和泛化能力的情况下，最大程度的压缩模型参数，减少运算量。
[0010]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过个体活跃度进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到所述动作特征中的人体姿态动作，通过人体姿态动作进行每个人员个体的活跃度评价，得到活跃度临界值，对低于活跃度临界值或高于活跃度临界值的人体姿态动作判断为危险动作，将该类危险动作与告警相关联。
[0011]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过虚拟禁区进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到人体姿态动作和位置信息，再对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪，并判断为危险动作，将该类危险动作与告警相关联，按照用户设置的规则触发报警。
[0012]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过行人检测进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态和运动轨迹，实现对行人的动态跟踪，根据行人的轨迹分析，判断此人是否在一个区域内长期反复滞留徘徊，当其逗留徘徊超过一定时间之后，判断为危险动作，将该类危险动作与告警相关联，并自动告警关联。
[0013]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括判断重点区域内是否出现尾随跟踪情况的S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态动作和运动轨迹信息，实现行为跟踪，对重点区域内长期尾随某一个人的行为进行监测识别和告警。
[0014]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，基于所述神经网络模型，通过行人检测的方法，也可对特定区域内人群密度进行检测，将人群密度与危险动作关联，在超过一定密度值时判定为危险动作，与告警关联。
[0015]优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括根据异常剧烈运动行为进行S3所述危险动作识别，识别的方法为，基于所述神经网络模型，首先获得人体姿态动作和运动轨迹信息，并对动作特征的特征集中的行为语义进行推理，判断视频场
景内的人员是否有异常奔跑、剧烈运动行为，该行为判定为危险动作，并与告警关联。
[0016]本专利技术的有益效果如下：本专利技术提出了一种基于神经网络模型嵌入的人员危险动作识别方法，首先建立神经网络模型深度学习，再通过网络剪枝方法对测试通过的神经网络模型进行轻量化处理；最后利用轻量化的神经网络模型实现对视频数据中目标人员的数量、人体姿态动作和位置进行识别判断，进而在复杂背景下的人体运动轨迹识别、并进行危险动作行为分析；包括利用目标人员的姿态判断行人行走的方向实现行人检测；利用所述人体姿态动作信息，实现对每个人员个体的活跃度评价；实现对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪；对特定区域内人群密度超过一定值的进行告警；对视频场景内的人员异常奔跑、剧烈运动行为进行检测，从而全面的保护轨道交通重点区域的乘客安全。
[0017]同时，本专利技术选用神经网络模型作为神经网络模型，具有高度鲁棒性和容错能力。再通过对神经网络模型进行轻量化处理，保证信息处理的实时性，使开发信息管理平台将危险动作行为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，具体步骤如下：S1：训练神经网络模型：首先，在轨道交通场景中利用摄像装置获取视距范围的的视频数据，对所述视频数据中的动作特征及危险动作进行识别、提取并表示；其次，利用表示的动作特征对神经网络模型进行训练，使神经网络模型学会获取准确的动作特征；再对神经网络模型进行训练使其能够识别危险动作；对训练好的神经网络模型进行测试其是否可以正确识别出所述危险动作，若测试不通过则继续进行训练；所述动作特征包括人体姿态动作和运动轨迹信息，所述危险动作包括危险的人体姿态动作和危险的运动轨迹信息；S2：通过网络剪枝算法对测试通过的神经网络模型进行轻量化处理；S3：利用轻量化处理后的神经网络模型进行危险动作识别：将所述轻量化处理后的神经网络模型嵌入到轨道交通场景中的摄像监控系统的数据处理单元，所述轨道交通场景中的摄像装置将视距范围内的视频数据传输给数据处理单元，所述数据处理单元利用所述轻量化的神经网络模型和视频数据中的定位信息进行危险动作识别，首先通过所述神经网络模型可实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台。2.由权利要求1所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，S3中所述动作特征的特征集包括人物自身特征和人体姿态动作，所述人体姿态动作通过对人体骨骼关键点的位置判断获得，所述人物自身特征包括发型、年龄、性别、面部特征、是否戴帽、是否背包、上衣类型与颜色、裤子类型与颜色特征。3.由权利要求1或2所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，S1中所述动作特征识别可分别从单个动作和连续动作两方面进行识别，进行所述连续动作识别时要利用S3中所述动作特征的特征集中的人体空间变换速度以及人体的髓关节在X轴和Y轴方向的运动速度表征人体整体运动，从而获取人体运动轨迹信息。4.由权利要求1或2所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，对S1中所述神经网络模型进行训练的方法为基于半监督域自适应目标样本训练，具体是通过带标签的目标域样本，抽取跨域的特征实现。5.由权利要求1或2所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，S2中所述网络剪枝算法是将所述神经网络模型中的卷积核权重的大小作为评价手段，判断参数的重要性，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度和内存开销。6.由权利要...

【专利技术属性】
技术研发人员：赵静，虞赛君，王婧雯，刘龙，林亚龙，马迪迪，洪挺屹，
申请(专利权)人：合肥市轨道交通集团有限公司，
类型：发明
国别省市：