一种车载智能避险系统及方法技术方案

本发明专利技术公开了车载智能避险系统及方法，系统中内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元，中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；预警器包括车载音响；云端服务器通过4G模组将信息上传至SIP服务器；智能终端调控预警阈值。本发明专利技术通过使用智能检测对车辆及驾驶员情况进行控制，避免了过多复用开关和控制单元的设置，提高驾驶的安全性。全性。全性。

【技术实现步骤摘要】
一种车载智能避险系统及方法


[0001]本专利技术属于电子信息与人工智能
，涉及车载智能避险系统及方法。

技术介绍

[0002]根据数据显示，近五年来，我国汽车交通事故发生数一直居高不下，每年发生的汽车交通事故数超过十三万九千起，每年造成的死亡人数超过四万三千人，每年因汽车交通事故造成的直接财产损失超过十亿元。
[0003]对于频繁发生并造成众多人员伤亡与巨额财产损失的汽车交通事故现状，如何有效地降低汽车交通事故地发生频率，减少事故造成的人员伤亡与财产损失就显得尤为重要。但通常预防汽车交通事故的发生的方法非常有限，只能依靠驾驶员的自觉和交警系统的检查。这些方法耗时耗力，极度依赖于驾驶员的个人素质，具有极强的不确定性。且由于智能手机的普及和空闲时间的碎片化，一部分驾驶员会在开车时使用手机，这进一步加剧了预防交通事故发生的困难程度。
[0004]随着科技的发展，造成的不仅是智能手机的普及，人工智能技术也越发成熟，一些汽车公司已开始在汽车内加入数字控制系统，辅助驾驶员驾驶，降低汽车的驾驶难度，这在一定程度上降低了汽车交通事故的发生频率，但由于驾驶汽车的主体依然是驾驶员，所以国内外汽车在向着人工智能辅助驾驶员驾驶汽车的方向发展。
[0005]目前市场上已有的对汽车避障降低事故风险方面的产品不多，只有基础的倒车提醒和行车记录仪这类功能单一的产品，缺少基于人工智能的辅助驾驶员驾驶车辆的产品。而且对于汽车交通事故的发生都没有较好的预防方法，而且现有的方法不仅效果有限，还会耗费大量的人力和时间。
>
技术实现思路

[0006]本专利技术要解决的技术问题是驾驶员在车内需要关注的控制单元较多，在进行驾驶操作时对车外情况的观察有遗漏，以及在某些时刻驾驶员将注意力放在驾驶以外的地方如打电话，无法对外界的突发情况进行及时的处理，不利于安全驾驶的问题。为解决上述问题，本专利技术提出了车载智能避险系统，包括控制模块和与控制模块分别连接的监测模块和云端服务器，所述控制模块包括中央控制单元与智能终端；所述中央控制单元包括控制器、信号灯状态检测模块与危险驾驶检测模块；所述监测模块包括毫米波雷达、内置摄像头、外置摄像头与预警器；所述云端服务器包括4G模组与SIP服务器；其中，
[0007]所述内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；
[0008]所述外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；
[0009]所述毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元；
[0010]所述中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；
[0011]所述预警器包括车载音响；
[0012]所述云端服务器通过4G模组将信息上传至SIP服务器；
[0013]所述智能终端调控预警阈值。
[0014]优选地，所述危险驾驶检测模块包括存储单元、危险驾驶检测模型、计算单元和辅助控制单元，其中，存储单元与计算单元连接，危险驾驶检测模型、计算单元和辅助控制单元依次连接，危险驾驶检测模型与内置摄像头或外置摄像头连接。
[0015]优选地，所述控制器包括Atlas 200DK开发者套件，所述智能终端包括智能手机。
[0016]优选地，所述毫米波雷达为ARS408
‑
21，工作频率为24
‑
24.25GHz，安装在车顶处。
[0017]优选地，所述外置摄像头为ADAS摄像头，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70
°
，安装角度与车辆平行。
[0018]优选地，所述内置摄像头为DMS摄像头，安装在车辆中控台或者仪表盘上，安装角度在驾驶员正前偏右30
°
范围内，内置摄像头与人脸的距离范围为60cm
‑
120cm，并保持左右转动时水平。
[0019]基于上述目的，本专利技术还提供了一种车载智能避险方法，基于上述车载智能避险系统，包括：
[0020]信号灯状态检测：采集目标图像，通过YOLOv5模型识别信号灯状态，并判断是否进行预警提醒；
[0021]内置危险检测：在存储单元对人体特征点信息进行存储，建立Openpose模型识别驾驶时的人体姿态，记录人体特征点信息，分别进行中值滤波并将滤波结果传入计算单元，计算单元通过以下公式计算A、B两特征量之间的距离R、r和偏离度Dev:
[0022][0023][0024][0025]其中,(X
A
，Y
A
)是存储单元中人体特征点A的位置坐标,(X
B
，Y
B
)是存储单元中人体特征点B的位置坐标，R是存储单元中两人体特征点A、B之间的距离，(X
a
，Y
a
)是危险驾驶检测模块滤波结果中人体特征点A的位置坐标,(X
b
，Y
b
)是危险驾驶检测模块滤波结果中人体特征点B的位置坐标，r是危险驾驶检测模块的滤波结果中两人体特征点A、B之间的距离，根据计算出的Dev和r判断人体姿态并决定是否进行提醒；
[0026]外置危险检测：毫米波雷达对周围车辆进行扫描，将返回的信息与阈值比较，判断是否产生预警信号，并决定是否传输事故至SIP服务器。
[0027]优选地，所述信号灯状态检测包括以下步骤：
[0028]S11、车辆行驶至红灯处或出现缓行或停止时，开启外置摄像头进行图片采集，将接收到的图片信息通过局部直方图均衡化进行处理，去除可能存在的由于大雾、雨雪、霾天气因素造成的影响，再通过CLAHE算法提高图片对比度，然后将处理后的图片输入到信号灯检测YOLOv5模型；
[0029]S12、信号灯检测YOLOv5模型中经过两次上采样得到的特征图，再次进行上采样，使特征图进一步扩大；
[0030]S13、将S12获得的特征图与RegNet网络经过one
‑
stage算法处理后的特征图进行concat融合，获取更大的特征图进行小目标检测；
[0031]S14、对输入图像数据进行处理：将外置摄像头获取到的图片平均切分为6张图像，并标记这6张图像在原图像中的相对位置；
[0032]S15、分别将这6张图像送入信号灯检测YOLOv5模型进行检测，并将获取到的结果分别标注在原始图像数据中，并进行判断；
[0033]S16、若检测到存在前车遮挡现象或信号灯状态为红灯，则重新进入S11，若为绿灯则关闭外置摄像头，预警器提示驾驶员尽快起步。
[0034]优选地，所述内置危险检测包括以下步骤：
[0035]S21、存储单元分别录入正常驾驶和异常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手、右手特征点的位置信息；
[0036]S22、内置摄像头采集到的图像经过Openpose人体姿态识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载智能避险系统，其特征在于，包括控制模块和与控制模块分别连接的监测模块和云端服务器，所述控制模块包括中央控制单元与智能终端；所述中央控制单元包括控制器、信号灯状态检测模块与危险驾驶检测模块；所述监测模块包括毫米波雷达、内置摄像头、外置摄像头与预警器；所述云端服务器包括4G模组与SIP服务器；其中，所述内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；所述外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；所述毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元；所述中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；所述预警器包括车载音响；所述云端服务器通过4G模组将信息上传至SIP服务器；所述智能终端调控预警阈值。2.根据权利要求1所述的车载智能避险系统，其特征在于，所述危险驾驶检测模块包括存储单元、危险驾驶检测模型、计算单元和辅助控制单元，其中，存储单元与计算单元连接，危险驾驶检测模型、计算单元和辅助控制单元依次连接，危险驾驶检测模型与内置摄像头或外置摄像头连接。3.根据权利要求1所述的车载智能避险系统，其特征在于，所述控制器包括Atlas 200DK开发者套件，所述智能终端包括智能手机。4.根据权利要求1所述的车载智能避险系统，其特征在于，所述毫米波雷达为ARS408
‑
21，工作频率为24
‑
24.25GHz，安装在车顶处。5.根据权利要求1所述的车载智能避险系统，其特征在于，所述外置摄像头为ADAS摄像头，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70
°
，安装角度与车辆平行。6.根据权利要求1所述的车载智能避险系统，其特征在于，所述内置摄像头为DMS摄像头，安装在车辆中控台或者仪表盘上，安装角度在驾驶员正前偏右30
°
范围内，内置摄像头与人脸的距离范围为60cm
‑
120cm，并保持左右转动时水平。7.一种车载智能避险方法，其特征在于，基于权利要求1
‑
6之一所述的车载智能避险系统，包括：信号灯状态检测：采集目标图像，通过YOLOv5模型识别信号灯状态，并判断是否进行预警提醒；内置危险检测：在存储单元对人体特征点信息进行存储，建立Openpose模型识别驾驶时的人体姿态，记录人体特征点信息，分别进行中值滤波并将滤波结果传入计算单元，计算单元通过以下公式计算A、B两特征量之间的距离R、r和偏离度Dev:单元通过以下公式计算A、B两特征量之间的距离R、r和偏离度Dev:单元通过以下公式计算A、B两特征量之间的距离R、r和偏离度Dev:其中,(X
A
，Y
A
)是存储单元中人体特征点A的位置坐标,(X
B
，Y
B
)是存储单元中人体特征点
B的位置坐标，R是存储单元中两人体特征点A、B之间的距离，(X
a
，Y
a
)是危险驾驶检测模块滤波结果中人体特征点A的位置坐标,...

【专利技术属性】
技术研发人员：陈涧阳，盛庆华，林渤航，王冠乔，杨文韬，王思瀚，黄小芳，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：