用于车辆驾驶舱的攻击性行为检测系统与方法技术方案

本发明专利技术涉及一种用于检测车辆驾驶舱内的攻击性行为的系统，其中，该系统包括：一个或多个摄像头，用于获取驾驶舱的图像信息；和控制电路板，用于根据由所述一个或多个摄像头获取的图像信息检测驾驶舱内是否发生攻击性行为，其中，所述控制电路板包括：目标提取模块，用于从驾驶舱的图像信息中提取出目标对象；姿势识别模块，用于识别所提取的目标对象的姿势；以及行为检测模块，用于将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。本发明专利技术还涉及一种对应的用于车辆驾驶舱内的攻击性行为检测方法。

An Aggressive Behavior Detection System and Method for Vehicle Cockpit

【技术实现步骤摘要】
用于车辆驾驶舱的攻击性行为检测系统与方法
本专利技术涉及行为识别领域，更具体而言，本专利技术涉及一种用于车辆驾驶舱的攻击性行为检测系统与方法。
技术介绍
近年来，乘客在公交车上殴打司机、抢夺方向盘的事件常有发生，这种极端行为不仅将公交车上的所有乘行人员都置于危险之中，而且还会危及到道路上的其它车辆和行人，严重危害了公共安全。随着视频监控系统的普遍使用，在许多领域已出现了基于视频的暴力行为检测方案的应用。例如，来自英国剑桥大学、印度国家技术研究院和印度科学理工学院的研究人员研发了一种利用无人机的“暴力行为”检测系统，其能够识别人群中踢打、刺伤或掐脖子等暴力动作，准确率高达到85％以上。但是，目前尚无应用于车辆上的一整套完善的暴力监测和应急系统，在有些公共交通工具中虽然安装有监控摄像头，但其大多用于对驾驶员进行身份鉴定和监控车辆上乘客的存在。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出将攻击性行为检测方案应用于车辆的封闭驾驶舱场景内。具体地，本专利技术提出了一种用于车辆驾驶舱的攻击性行为检测系统与方法，其能够利用摄像头信息检测车内特定对象(驾驶员和乘客)及其行为，易于实现暴力行为监控；此外，根据本专利技术的攻击性行为检测系统借助CAN总线与车辆的电子控制单元进行通信连接，从而能够在发生攻击行为的情况下，及时控制车辆采取对应的应急操作，降低了交通事故的发生率，减少了由于攻击行为所造成的人员伤亡和财产损失，该系统尤其适用于公共交通工具中。根据本专利技术的第一方面，提供了一种用于检测车辆驾驶舱内的攻击性行为的系统，其中，该系统包括：一个或多个摄像头，用于获取驾驶舱的图像信息；和控制电路板，用于根据由所述一个或多个摄像头获取的图像信息检测驾驶舱内是否发生攻击性行为，其中，所述控制电路板包括：-目标提取模块，用于从驾驶舱的图像信息中提取出目标对象；-姿势识别模块，用于识别所提取的目标对象的姿势；以及-行为检测模块，用于将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。根据一有利的实施方案，所述行为检测模块与车辆的电子控制单元进行通信连接，所述电子控制单元适于根据行为检测模块的检测结果控制车辆执行相应的应急操作。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为时，所述电子控制单元启动车辆的双跳灯以提醒道路上的其它车辆和行人。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为且所述攻击性行为不涉及方向盘时，所述电子控制单元对车辆执行制动或限速操作。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为且所述攻击性行为涉及方向盘时，所述电子控制单元启动车辆的车道保持系统，或者所述电子控制单元根据当前车速限制车辆的转向角度。根据一有利的实施方案，所述系统还包括用于存储预先训练好的学习模型的存储器。根据一有利的实施方案，所述攻击性行为包括争夺方向盘、恶意破坏驾驶舱内的仪器设备以及对驾驶员施加人身攻击。根据一有利的实施方案，所述目标提取模块利用特征金字塔网络从驾驶舱的图像信息中提取出目标对象。根据本专利技术的第二方面，提供了一种用于检测车辆驾驶舱内的攻击性行为的方法，其中，该方法包括如下步骤：获取驾驶舱内的图像信息；从所获取的图像信息中提取出目标对象；识别所提取的目标对象的姿势；以及将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为时，借助电子控制单元启动车辆的双跳灯以提醒道路上的其它车辆和行人。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为且所述攻击性行为不涉及方向盘时，借助电子控制单元对车辆执行制动或限速操作。根据一有利的实施方案，当检测到驾驶舱内发生攻击性行为且所述攻击性行为涉及方向盘时，借助电子控制单元激活车辆的车道保持系统，或者根据当前车速限制车辆的转向角度。通过纳入本文的附图以及随后与附图一起用于说明本专利技术的某些原理的具体实施方式，本专利技术的系统所具有的其它特征和优点将变得清楚或更为具体地得以说明。附图说明图1示出了根据本专利技术的攻击性行为检测系统的结构图；图2示出了根据本专利技术的攻击性行为检测系统的示意图；以及图3示出了响应于根据本专利技术的攻击性行为检测结果车辆所采取的应急措施的实施流程。具体实施方式下面将参照附图并通过实施例来描述根据本专利技术的用于驾驶舱的攻击性行为检测系统与方法。在下面的描述中，阐述了许多具体细节以便使所属
的技术人员更全面地了解本专利技术。但是，对于所属
内的技术人员明显的是，本专利技术的实现可不具有这些具体细节中的一些。相反，可以考虑用下面的特征和要素的任意组合来实施本专利技术，而无论它们是否涉及不同的实施例。因此，下面的各个方面、特征、实施例和优点仅作说明之用而不应被看作是权利要求的要素或限定，除非在权利要求中明确提出。图1示出了根据本专利技术的用于车辆驾驶舱内的攻击性行为检测系统的结构图。如图1中所示，该系统可包括一个或多个监控摄像头，其安装在驾驶舱的顶棚上以用于获取驾驶舱内的图像信息。摄像头将其获取的图像信息传送至控制电路板，控制电路板具有用于确定乘行人员的姿势和行为的视觉分析芯片，和用于存储训练好的数据集的eMMC设备(嵌入式存储器)，以通过离线的匹配方式来提高行为检测和应急响应速度。在接收到来自摄像头的图像信息之后，视觉分析芯片执行如下操作：首先，利用特征金字塔网络(一种卷积神经网络)从车内驾驶舱拍摄的画面中检测出驾驶员和乘客(即“目标对象”)；然后，利用ScatterNet网络来分析和确定图像中每个对象的姿势；最后，将对象的身体轮廓分解成若干关键点，由此计算出对象的手臂、腿和脸的位置并基于这些位置识别出训练过程中指定的不同类型的攻击性行为。具体地，视觉分析芯片可包括目标提取模块、姿势识别模块和行为检测模块。其中，目标提取模块用于从驾驶舱的图像信息中提取出目标对象(驾驶员或乘客)；姿势识别模块用于识别由目标提取模块所提取的目标对象的姿势；行为检测模块用于将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。可以理解的是，学习模型通过对驾驶员和乘客的激烈互动行为进行训练而获得，训练过程可对不同的动行为进行分类，包括但不限于：拳打、撕扯、争夺方向盘、脚踢等等，训练好的学习模型可存储在eMMC设备中。控制电路板连接至车辆的电子控制单元(ECU)，该电子控制单元适于根据控制电路板中的行为检测模块的检测结果控制车辆执行相应的应急操作。例如，当检测到驾驶舱内发生攻击性行为时，所述行为检测模块向车辆ECU发送预警信号。在接收到来自所述行为检测模块的预警信号时，ECU通过发送CAN报文启动车辆的双跳灯以提醒道路上的其它车辆和行人。根据一优选实施例，目标提取模块还可从驾驶舱的图像信息中提取出方向盘的轮廓特征，并且行为检测模块不仅可基于乘客的姿势判断驾驶舱内是否发生攻击性行为，而且还可以进一步确定攻击性行为是否涉及方向盘，即，确定在驾驶舱内是否发生抢夺方向盘动作。其中，当检测到驾驶舱内发生攻击性行为且所述攻击性行为不涉及方向盘时，借助车辆的电子控制单元对车辆执行制动或限速操作(例如启动车辆的定速巡航系统)；当检测到驾驶舱内发生攻击性行为且所述攻击本文档来自技高网...

【技术保护点】
1.一种用于检测车辆驾驶舱内的攻击性行为的系统，其中，该系统包括：一个或多个摄像头，用于获取驾驶舱内的图像信息；和控制电路板，用于根据由所述一个或多个摄像头获取的图像信息检测驾驶舱内是否发生攻击性行为，其中，所述控制电路板包括：‑目标提取模块，用于从由所述一个或多个摄像头获取的图像信息中提取出目标对象；‑姿势识别模块，用于识别所提取的目标对象的姿势；以及‑行为检测模块，用于将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。

【技术特征摘要】
1.一种用于检测车辆驾驶舱内的攻击性行为的系统，其中，该系统包括：一个或多个摄像头，用于获取驾驶舱内的图像信息；和控制电路板，用于根据由所述一个或多个摄像头获取的图像信息检测驾驶舱内是否发生攻击性行为，其中，所述控制电路板包括：-目标提取模块，用于从由所述一个或多个摄像头获取的图像信息中提取出目标对象；-姿势识别模块，用于识别所提取的目标对象的姿势；以及-行为检测模块，用于将所识别的目标对象的姿势输入至预先训练好的学习模型中，以检测驾驶舱内是否发生攻击性行为。2.根据权利要求1所述的系统，其中，所述行为检测模块与车辆的电子控制单元进行通信连接，所述电子控制单元适于根据行为检测模块的检测结果控制车辆执行相应的应急操作。3.根据权利要求2所述的系统，其中，当检测到驾驶舱内发生攻击性行为时，所述电子控制单元启动车辆的双跳灯以提醒道路上的其它车辆和行人。4.根据权利要求2所述的系统，其中，当检测到驾驶舱内发生攻击性行为且所述攻击性行为不涉及方向盘时，所述电子控制单元对车辆执行制动或限速操作。5.根据权利要求2所述的系统，其中，当检测到驾驶舱内发生攻击性行为且所述攻击性行为涉及方向盘时，所述电子控制单元启动车辆的车道保持系统，或者所述电子控制单元根据当前车...

【专利技术属性】
技术研发人员：赵明，
申请(专利权)人：大陆投资中国有限公司，
类型：发明
国别省市：上海,31