行人监控和行为识别的方法和系统技术方案

本发明专利技术涉及行为分析仿真相关技术领域，其公开了一种行人监控和行为识别方法，包括如下步骤：S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）计算系统空间坐标‑地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果。本发明专利技术的有益效果是：安装方便灵活，能够实时监控、检测指定区域内的行人进出情况并对进入行人进行跟踪和行为识别。

【技术实现步骤摘要】
行人监控和行为识别的方法和系统
本专利技术涉及行为分析仿真相关
，尤其涉及一种基于Xtion的银行大厅内行人监控和行为识别方法及系统。
技术介绍
目前，随着银行业务的拓展，人们越来越关心在银行内的安全措施和防护，如何有效预防和避免在银行大厅内发生的突发事件是目前急需解决的问题。当前银行内的视频监控大多不具备智能分析功能，不能对突发事件做出反应，在事件发生后也不能快速查阅，这对银行内的安防造成了极大困扰。相比于彩色摄像机，体感摄像机能够获得更多的有用信息，并将二维的平面图像拓展到三维。体感摄像机最初应用到游戏领域，利用肢体的动作控制游戏中的人物。近年来，体感摄像机被越来越多的应用于计算机视觉、智能控制等领域，中国专利申请公布号：CN201310251766.2，申请公布日2013年6月21日，公开了一种基于Kinect的行人闯红灯检测方法及其系统，利用体感摄像机对红绿灯区域进行闯红灯分析和识别，但模型较为简单，仅能识别闯红灯一个行为动作，且无法对多行人的情况作出有效分析；同时，体感摄像机易受阳光影响，在室外效果较差，无法达到理想的效果。
技术实现思路
为了解决现有技术的不足，本专利技术提供一种行人监控和行为识别的方法和系统，解决现有技术中应用场景局限、识别动作类别较少、多人遮挡无法分割的问题。本专利技术是通过以下技术方案实现的:设计、制造一种行人监控和行为识别的方法，包括如下步骤:（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）计算系统空间坐标-地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果。作为本专利技术的进一步改进：所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维深度信息进行地面投影，得到监控区域内的地面投影；利用地面投影分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。作为本专利技术的进一步改进：所述步骤（S3）中，以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体15个骨骼关节的系统空间坐标。作为本专利技术的进一步改进：所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。作为本专利技术的进一步改进：所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。本专利技术同时提供了一种行人监控和行为识别的系统，包括:体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理。作为本专利技术的进一步改进：所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。作为本专利技术的进一步改进：所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。作为本专利技术的进一步改进：所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。本专利技术的有益效果：安装方便灵活，能够实时监控、检测指定区域内的行人进出情况并对进入行人进行跟踪和行为识别，可以有效解决多行人遮挡进入的情况，对行人的多种行为作出准确判断，报警事件以三种方式进行传送，保证了系统的安全性、可靠性和独创性。附图说明图1是本专利技术的系统框图；图2是本专利技术一实施例Xtion体感摄像机安装示意图。图3是本专利技术人体骨骼点示意图。具体实施方式为了便于本领域技术人员的理解，下面结合附图和实施例对本专利技术作进一步的描述。一种行人监控和行为识别的方法，包括如下步骤:（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）计算系统空间坐标-地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果。所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维深度信息进行地面投影，得到监控区域内的地面投影；利用地面投影分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。所述步骤（S3）中，以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体15个骨骼关节的系统空间坐标。所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征时自动反馈相应的处理结果。本专利技术同时提供了一种行人监控和行为识别的系统，包括:体感视频设备和内设预警模块的处理器单元；所述体感视频设备通过USB接口连接所述处理器单元；所述预警模块进行图像采集、双目标定和地面标定、人体骨骼运动定位、人体点云地面投影、人体三维建模、人体运动跟踪、人体运动识别和事件处理。所述行人监控和行为识别的系统还包括：报警装置、信息处理模块和服务器单元；所述处理器单元分别连接所述报警装置、信息处理模块和服务器单元。所述体感视频设备安装在监控区域的斜上方，固定该体感视频设备的支架下端能够上下、左右、前后移动；所述体感视频设备进行360度转动。所述预警模块分析行人自进入监控区域到离开这一时间段的行为特征，并与预存的报警事件特征比较，符合预设的报警事件特征时自动通过报警装置进行报警，将报警事件信息上传至服务器单元，并通过信息处理模块发送给处理单位或个人。在一实施例中，在银行大厅对行人进行监控时，一种基于Xtion的银行大厅内行人监控和行为识别方法，如图1，包括如下步骤：(1)通过Xtion体感摄影机(a)对银行大厅指定区域进行视频采集，获取相应的深度图像数据流和彩色图像数据流；在安装阶段，Xtion体感摄像机和吊顶支架都经过外本文档来自技高网...

【技术保护点】
一种行人监控和行为识别的方法，其特征在于：包括如下步骤:（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）计算系统空间坐标‑地面坐标转换矩阵，对深度信息进行地面投影，有效分割多人遮挡进入时的单个人体，并根据地面投影排除非人体目标；（S3）获取目标个体的三维深度信息，根据深度信息定位人体15个关节的三维坐标；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果。

【技术特征摘要】
1.一种行人监控和行为识别的方法，其特征在于：包括如下步骤:（S1）对体感视频设备进行视频采集，获取相应的深度图像数据流和彩色图像数据流；（S2）定位人体关节的三维坐标值；（S3）区分人体和非人体并分割多人遮挡进入时的单个人体；（S4）建立人体三维模型；（S5）获取人体的运动参数；（S6）获取人体的行为特征并反馈处理结果;所述步骤（S6）中，人体的行为特征分为时间特征和动作特征，时间特征描述的时间包括：逗留、徘徊，动作特征包括：尾随、越界、打架、奔跑以及跌倒，时间特征通过计算行人在监控区域或业务区域的滞留时间来获得，动作特征通过定义人体骨骼点的运动和相对关系来决定；判断监控区域内人员的行为状态，若识别为报警行为，则通过语音报警装置播报危险提示，将报警事件上传至客户中心端，并通过4G短信模块以短信形式发送给处理单位或个人；所述步骤（S2）中：先建立系统空间坐标系，通过彩色图像和深度图像进行双目标定，然后在视频流中画出监控区域的地面部分，进行地面标定，得到系统坐标-地面坐标转换矩阵，建立地面坐标系；以系统空间坐标系为基准来确定人体骨骼关键关节的系统空间坐标，建立人体骨骼与系统空间的转换矩阵，确定人体骨骼关节的系统空间坐标。2.根据权利要求1所述的行人监控和行为识别的方法，其特征在于，所述步骤（S3）中，利用系统坐标-地面坐标转换矩阵，将系统坐标系下的三维点云人体进行地面投影，得到人体的地面投影区域；分割多行人进入时造成的互相遮挡和区域连接，并区分人体和非人体。3.根据权利要求1所述的行人监控和行为识别的方法，其特征在于:所述步骤（S4）中，利用检测到的人体骨骼点和地面投影对人体进行三维建模，确定人体各部分的物理位置和相对关系，确定人体在监控区域所处的位置以及上半身的深度信息分布以便建立的人体三维模型。4.根据权利要求1所述的行人监控和行为识别的方法，其特征在于:所述步骤（S5）中，分析行人一定时间段内的行为特征并与预设的事件特征进行比较，符合预设的事件特征...

【专利技术属性】
技术研发人员：曹江中，周雷，李彦志，茅庆江，龙中胜，
申请(专利权)人：广州市浩云安防科技股份有限公司，
类型：发明
国别省市：广东;44