一种基于视频分析的行人穿越马路实时识别方法技术

本发明专利技术属于计算机视觉领域，特别涉及一种基于视频分析的行人穿越马路实时识别方法。包括道路监控设备配置与违法穿越马路标注线设置、构造辅助检测区域、接入视频通道、行人检测、行人跟踪、行人穿越马路逻辑判定。解决城市道路路段极易发生的行人穿越马路行为，尤其是未设置中央防护栏的宽车道路段。通过现有的大量道路监控设备，利用深度学习技术和计算机图像处理技术，实现对行人穿越马路行为的实时识别，用以辅助交通管理人员及时发现行人违法行为并予以制止，消除交通隐患，减少交通事故发生。

【技术实现步骤摘要】
一种基于视频分析的行人穿越马路实时识别方法
本专利技术属于计算机视觉识别领域，特别涉及一种基于视频分析的行人穿越马路实时识别方法。
技术介绍
随着我国城镇化进程的推进，人民生活水平的提高，汽车成为人们生活的必须品。但也伴随着日益频发的交通问题，尤其是涉及行人的交通事故时有发生。在城市喧闹的道路上，很多人自顾自地穿越道路而不观察路况，还有人边走路边看手机，这些行为都会导致突发的交通事故，甚至造成人员伤亡事件。即使道路中间设置防护栏，仍有个别行人违法横穿防护栏，对生命安全造成严重威胁。所以，如何及时地发现行人穿越马路并进行警告制止，以及哪些路段容易发生行人穿越马路进而及时增添路测行人安全栏，对于交通管理者能够及时识别违法行为与合理科学地设置道路防护设备具有重要的意义。
技术实现思路
为解决
技术介绍
中提到的行人穿越马路的问题，本专利技术展示了一种基于视频分析的行人穿越马路实时识别方法。为实现上述目的，现提供技术方案如下：一种基于视频分析的行人穿越马路实时识别方法，包括S101:道路监控设备配置与违法穿越马路标注线设置配置道路监控设备，并且对此路设备中行人违法越线进行标注，标注线设置两条，才能检测到行人从道路一侧穿越到了另一侧，并且借以用来抓拍三张图片，包括越线时的两张，以及位于两条标注线中间的抓拍图片。S102:构造辅助检测区域提供了一种快速剔除无关行人的检测方法。分别构造标注线L1和L2的辅助检测区域，首先判断行人检测框的中心点是否位于两个矩形区域内，如果在内部，则再进行线段之间的相交判断。因为点位于矩形区域内的计算速度大于相交计算，所以可以提供运算效率。构造辅助检测区域的方法如下：1.对于每一标注线，以线段的中心点(M)为坐标原点，以与标注线平行且过原点的方向为X轴；以与X轴垂直且过原点的射线为Y轴，构造一个局部坐标系；2.以M为中心点，以线段L1的半长为边长，构造正方形ABCD，即|AB|＝|BC|＝|CD|＝|DA|＝|L1|，则正方形ABCD即为标注线L1的辅助检测区域Aux1；3.同理，构造标注线L2辅助检测区域Aux2；4.另外，还需要构造一个辅助检测区域Aux3，此区域的构造使用两条检测标注的端点构造，即abcd，目的是用于检测行人是否位于两条检测标注线之间。S103:接入视频通道从监控接入实时视频流，并应用基于GPU的硬件解码器解码视频帧数据，从而得到解码后的图像数据。S104:行人检测将解码后的图像数据一帧一帧传入行人检测模块，检测模块将会输出每一帧中行人的位置信息。S105:行人跟踪提供了一种基于Deepsort的行人跟踪技术，用于精准跟踪行人运动轨迹，即使行人在前行的过程中在视野中被前方的大车遮挡，仍然可以正确匹配并跟踪每个行人的轨迹。方法如下：1.针对每一帧的图像数据，首先使用卡尔曼滤波器进行预测，基于历史的数据，预测一个行人在当前帧的的轨迹位置；2.基于检测模块输出的真实的检测结果，与预测的confirmed行人检测框使用匈牙利算法进行数据级联匹配。这里使用两种方法进行匹配，一种是简单但精度较低的IOU方法，能够实现快速筛选匹配；另一种是使用特征匹配。使用特征匹配时，需要对检测到的每个行人抽取128比特的矢量特征，然后与缓存的历史特征进行匹配，从而能够精确的匹配到同一个行人，此方法虽然精确，但是速度较IOU方法低，实现时使用跳3帧方式提取特征，提高性能，实验表明跳3帧并不会影响跟踪准确性；3.匹配完成后，基于检测的结果更新行人的卡尔曼滤波预测的检测框，更新后的预测框即为将要输出的行人的检测框；4.如果跟踪到的是同一个行人，将使用同一个ID进行标识。S106:行人穿越马路逻辑判定对于每一个行人，将维护一个历史轨迹列表，每个列表保存5个位置信息，第一次和第二次越过标注线的位置点，以及位于两条标注线内每隔1/4间距的位置点。具体判断逻辑如下。1.判定行人检测框是否位于辅助检测区域Aux1或Aux2区域内。如果既不在Aux1，也不在Aux2中，则再判断是否在Aux3中；2.如果行人位于辅助检测区域Aux1或Aux2内，构造行人当前帧与前一帧之间的位置点连线，并计算此连线线段是否与当前的标注线是否相交，如果相交，抓拍一张图片并继续判断；否则判断是否位于Aux3内，如果不在，则继续检测下一个行人。如果行人位于检测区域Aux3内，则检查之前是否已经越过L1或L2，如已越过，则计算当前行人位于两条标注线之间的位置，如果位于中间1/4、2/4、3/4处，则缓存此位置点；并且当位于2/4的位置时，缓存一张图片作为违法抓拍图片。如果当前行人越过L1(L2)，抓拍一张图片。此时再判断行人之前是否已经越过L2(L1)，以及是否已完成抓拍两张图片，如果上述两个个条件也满足，则说明发生了行人穿越马路事件，需要上报平台；否则，继续判断下一个行人。本专利技术的有益效果：随着深度学习技术、计算机图像处理技术的发展，结合计算几何等传统
，借助视频分析技术能解决频发涉及交通安全事件。基于视频分析的行人穿越马路实时识别技术能够自动的全天候的实现行人违法行为检测，自动上报给交通管理平台，为保证行人的交通安全，减少交通事故发生提供重要的基础保障。解决城市道路路段极易发生的行人穿越马路行为，尤其是未设置中央防护栏的宽车道路段。通过现有的大量道路监控设备，利用深度学习技术和计算机图像处理技术，实现对行人穿越马路行为的实时识别，用以辅助交通管理人员及时发现行人违法行为并予以制止，设计合理路测防护装置，消除交通隐患，减少交通事故发生。利用深度学习结合计算机图像处理技术，以及Deepsort多目标跟踪技术自主实现了道路行人穿越马路危险行为的检测，具有准确性高、实时性好的特点，完全满足交通管理人员对于道路行人违法行为的掌握，以及为合理设置防护栏提供了依据。附图说明图1为行人穿越马路实时识别流程示意图图2行人穿越马路标注线设置示意图图3辅助检测区域构造示意图具体实施方式为使本领域技术人员更加清楚和明确本专利技术技术方案，下面结合附图对本专利技术技术方案进行详细描述，但本专利技术的实施方式不限于此。S101:道路监控设备配置与违法穿越马路标注线设置配置道路监控设备，并且对此路设备中行人违法越线进行标注，如图2所示，标注线必须设置两条，才能检测到行人从道路一侧穿越到了另一侧，并且借以用来抓拍三张图片，包括越线时的两张，以及位于两条标注线中间的抓拍图片。S102:构造辅助检测区域提供了一种快速剔除无关行人的检测方法。如图3所示，分别构造标注线L1和L2的辅助检测区域，首先判断行人检测框的中心点是否位于两个矩形区域内，如果在内部，则再进行线段之间的相交判断。因为点位于矩形区域内的计算速度大于相交计算，所以可以提供运算效率。构造辅助检测区域的方法如下：...

【技术保护点】
1.一种基于视频分析的行人穿越马路实时识别方法，其特征在于：包括/nS101:道路监控设备配置与违法穿越马路标注线设置/n配置道路监控设备，并且对此路设备中行人违法越线进行标注，标注线设置两条，检测到行人从道路一侧穿越到了另一侧，并且借以用来抓拍三张图片，包括越线时的两张，以及位于两条标注线中间的抓拍图片；/nS102:构造辅助检测区域/n一种快速剔除无关行人的检测方法，分别构造标注线L1和L2的辅助检测区域，首先判断行人检测框的中心点是否位于两个矩形区域内，如果在内部，则再进行线段之间的相交判断；/nS103:接入视频通道/n从监控接入实时视频流，并应用基于GPU的硬件解码器解码视频帧数据，从而得到解码后的图像数据；/nS104:行人检测/n将解码后的图像数据一帧一帧传入行人检测模块，检测模块将会输出每一帧中行人的位置信息；/nS105:行人跟踪/n一种基于Deepsort的行人跟踪技术，用于精准跟踪行人运动轨迹，即使行人在前行的过程中在视野中被前方的大车遮挡，仍然可以正确匹配并跟踪每个行人的轨迹，方法如下：/n针对每一帧的图像数据，首先使用卡尔曼滤波器进行预测，基于历史的数据，预测一个行人在当前帧的的轨迹位置；/n基于检测模块输出的真实的检测结果，与预测的confirmed行人检测框使用匈牙利算法进行数据级联匹配；/n匹配完成后，基于检测的结果更新行人的卡尔曼滤波预测的检测框，更新后的预测框即为将要输出的行人的检测框；/n如果跟踪到的是同一个行人，将使用同一个ID进行标识；/nS106:行人穿越马路逻辑判定/n对于每一个行人，将维护一个历史轨迹列表，每个列表保存5个位置信息，第一次和第二次越过标注线的位置点，以及位于两条标注线内每隔1/4间距的位置点，具体判断逻辑如下；/n判定行人检测框是否位于辅助检测区域Aux1或Aux2区域内，如果既不在Aux1，也不在Aux2中，则再判断是否在Aux3中；/n如果行人位于辅助检测区域Aux1或Aux2内，构造行人当前帧与前一帧之间的位置点连线，并计算此连线线段是否与当前的标注线是否相交，如果相交，抓拍一张图片并继续判断；否则判断是否位于Aux3内，如果不在，则继续检测下一个行人；/n如果行人位于检测区域Aux3内，则检查之前是否已经越过L1或L2，如已越过，则计算当前行人位于两条标注线之间的位置，如果位于中间1/4、2/4、3/4处，则缓存此位置点；并且当位于2/4的位置时，缓存一张图片作为违法抓拍图片；/n如果当前行人越过L1或L2，抓拍一张图片，此时再判断行人之前是否已经越过L2或L1，以及是否已完成抓拍两张图片，如果上述两个条件也满足，则说明发生了行人穿越马路事件，需要上报平台；否则，继续判断下一个行人。/n...

【技术特征摘要】
1.一种基于视频分析的行人穿越马路实时识别方法，其特征在于：包括
S101:道路监控设备配置与违法穿越马路标注线设置
配置道路监控设备，并且对此路设备中行人违法越线进行标注，标注线设置两条，检测到行人从道路一侧穿越到了另一侧，并且借以用来抓拍三张图片，包括越线时的两张，以及位于两条标注线中间的抓拍图片；
S102:构造辅助检测区域
一种快速剔除无关行人的检测方法，分别构造标注线L1和L2的辅助检测区域，首先判断行人检测框的中心点是否位于两个矩形区域内，如果在内部，则再进行线段之间的相交判断；
S103:接入视频通道
从监控接入实时视频流，并应用基于GPU的硬件解码器解码视频帧数据，从而得到解码后的图像数据；
S104:行人检测
将解码后的图像数据一帧一帧传入行人检测模块，检测模块将会输出每一帧中行人的位置信息；
S105:行人跟踪
一种基于Deepsort的行人跟踪技术，用于精准跟踪行人运动轨迹，即使行人在前行的过程中在视野中被前方的大车遮挡，仍然可以正确匹配并跟踪每个行人的轨迹，方法如下：
针对每一帧的图像数据，首先使用卡尔曼滤波器进行预测，基于历史的数据，预测一个行人在当前帧的的轨迹位置；
基于检测模块输出的真实的检测结果，与预测的confirmed行人检测框使用匈牙利算法进行数据级联匹配；
匹配完成后，基于检测的结果更新行人的卡尔曼滤波预测的检测框，更新后的预测框即为将要输出的行人的检测框；
如果跟踪到的是同一个行人，将使用同一个ID进行标识；
S106:行人穿越马路逻辑判定
对于每一个行人，将维护一个历史轨迹列表，每个列表保存5个位置信息，第一次和第二次越过标注线的位置点，以及位于两条标注线内每隔1/4间距的位置点，具体判断逻辑如下；
判定行人检测框是否位于辅助检测区域Aux1或Aux2区域内，如果既不在Aux1，也不在Aux2中，则再判断是否在Aux3中；
如果行人位于辅助检测区域Aux1或Aux2内，构造行人当前帧与前...

【专利技术属性】
技术研发人员：王光超，赵永胜，闪宇，刘浩，
申请(专利权)人：青岛图灵科技有限公司，
类型：发明
国别省市：山东;37