本发明专利技术涉及一种智能车载驾驶员辅助系统及其工作方法，包括依次连接的智能传感器系统、驾驶员智能检测系统、驾驶员智能提醒系统及驾驶员数据系统。所述智能传感器系统用于收集人体面部信息、健康信息、情绪信息、车辆信息；所述驾驶员智能检测系统用于对驾驶员驾驶状态进行全面评估，包括疲劳状态、不良情绪状态和不良健康状态；该系统可以全方位检测驾驶员驾驶状态。所述驾驶员智能提醒系统用于：判定为疲劳驾驶时进行提醒；所述驾驶员数据系统用于：传输、储存、分析车辆数据。本系统在运行中产生大量宝贵的车辆和驾驶员数据，可以有效地传输、接收、储存智能传感系统和智能检测系统所产生的宝贵数据，并根据不同客户需求进行数据可视化。数据可视化。数据可视化。
【技术实现步骤摘要】
一种智能车载驾驶员辅助系统及其工作方法
[0001]本专利技术涉及一种智能车载驾驶员辅助系统及其工作方法，属于智慧车载系统、人工智能和移动端硬件
技术介绍
[0002]随着交通规模的扩大，车辆的数量和规模增长显著，其中运输车辆和客运车辆增长显著。例如中国从2005年到2020年卡车出售数量增长了3倍。山东省运输车辆数量从2007年到2018年增长了2.5倍。广东省公交车数量从2010年到2014年增长了1.3倍。另一个方面，这些大型车辆因为驾驶员的疲劳和健康原因也造成了很大的社会财产和生命损失。针对大型车辆和公交车驾驶员的实时辅助系统还是空白，亟需核心技术和产品来弥补。
[0003]目前虽然有针对私家车驾驶员的疲劳驾驶检测系统，但其主要原理是基于驾驶员眼睛开闭动作，很难对驾驶员的整体健康和情绪状态进行评估。现有疲劳驾驶检测系统算法描述的一般流程为：驾驶员视频图像采集，眼部特征检测算法，输出驾驶员提醒信息。这种方法存在的问题有：(1)输入信息单一很难评估整体驾驶员状态和车辆状态。(2)眼部特征检测对于疲劳检测准确率不高。(3)无驾驶员情绪感知。(4)难于避免路怒等带来的驾驶隐患。(5)无健康信息，无法避免驾驶员猝死等健康问题。无针对性高性能硬件设计，硬件浪费，功耗大和算法延迟严重。(6)无数据收集功能，数据浪费。
[0004]现有通用算法需要输入部分固定参数而这部分固定参数并不能适用所有人的面部信息，而且这部分固定参数会根据不同摄像头距离和角度产生变化，并且传统机器学习算法需要较高硬件配置和资源，运行速度缓慢。
技术实现思路
[0005]针对现有技术的不足，本专利技术提供了一种智能车载驾驶员辅助系统。
[0006]本专利技术还提供了上述智能车载驾驶员辅助系统的工作方法。
[0007]本专利技术针对各种车辆设计，可以有效检测、发现、预警由驾驶员疲劳、情绪和健康问题带来的车辆安全问题。
[0008]术语解释：
[0009]1、情绪检测模型，利用深度学习算法将人面部表情进行识别分类，是现有模型。
[0010]2、Yolo 5模型：一种高效物体检测识别模型，只需一次扫描就可以识别图像中物体的类别和位置。其架构如图4所示，包括Backbone-跨阶段局部网络(CSP)，Neck-路径聚合网络(PANET)，输出(output)。
[0011]3、自适应网络剪枝算法，该方法通过引用一个显著性剪枝模块到每个卷积层，来实现不同的剪枝策略。
[0012]4、可迁移结构搜索网络剪枝算法，该方法通过神经网络结构搜索直接获取具有弹性channel和层尺寸的网络信息，这种方法可以小型网络的深度和宽度来寻找一个网络的最佳规模。
[0013]5、目标剪枝算法，通过学习随机初始化权重得到的通道重要性来提高稀疏正则化。
[0014]本专利技术的技术方案为：
[0015]一种智能车载驾驶员辅助系统，包括依次连接的智能传感器系统、驾驶员智能检测系统、驾驶员智能提醒系统及驾驶员数据系统。
[0016]所述智能传感器系统用于：收集人体面部信息、健康信息、情绪信息、车辆信息；面部信息包括人眼尺寸比例、人脸表情和驾驶员面部的实时视频；健康信息包括血压m、心跳n、体温s、心率t；情绪信息包括例如沮丧，惊讶，害怕，高兴，愤怒，中性；车辆信息包括车辆行驶速度、车辆变道次数、车辆离线时间、车辆加速次数。
[0017]所述驾驶员智能检测系统用于：对驾驶员驾驶状态进行全面评估，包括疲劳状态、不良情绪状态和不良健康状态；该系统可以全方位检测驾驶员驾驶状态。
[0018]所述驾驶员智能提醒系统用于：判定为疲劳驾驶时进行提醒。
[0019]所述驾驶员数据系统用于：传输、储存、分析车辆数据。本系统在运行中产生大量宝贵的车辆和驾驶员数据，所述驾驶员数据系统可以有效地传输、接收、储存智能传感系统和智能检测系统所产生的宝贵数据，并根据不同客户需求进行数据可视化。
[0020]根据本专利技术优选的，所述驾驶员智能检测系统包括疲劳检测系统、情绪检测系统及健康检测系统。
[0021]所述疲劳检测系统用于：利用驾驶员眼部开合信息检测驾驶员疲劳状态；所述情绪检测系统用于：利用驾驶员面部视频信息检测驾驶员情绪；所述健康检测系统用于：利用健康信息传感器检测驾驶员健康状态。
[0022]FPGA异构加速计算装置，利用软硬件协同设计的方法，利用FPGA低功耗、平行运算的特点对步骤B.的算法进行硬件加速。其次利用在芯片上高速通讯网络进行数据交换。FPGA异构加速计算装置，采用模块化设计，将传感系统，疲劳，情绪，健康检测系统，和数据交换系统分别在不同模块进行实现。其次，将各个算法进行软硬件协同设计，并且根据不同算法特征定制数据表示位数。再者对于不同算法实现要求调用可扩展的ip核进行实现。最后，根据整个系统资源和性能的要求对算法中冗长的循环运算进行并行化从而提高系统效能。
[0023]进一步优选的，所述智能传感器系统包括摄像头、健康信息传感器、汽车行驶传感器。摄像头嵌入汽车部件。
[0024]根据本专利技术优选的，所述驾驶员数据系统包括车辆驾驶员数据中心和数据可视化中心；
[0025]所述车辆驾驶员数据中心用于：读取、分类、储存摄像头、健康信息传感器、汽车行驶传感器、疲劳检测系统、情绪检测系统、健康检测系统所产生的海量数据；所述数据可视化中心用于：将摄像头、健康信息传感器、汽车行驶传感器、疲劳检测系统、情绪检测系统、健康检测系统所产生的海量数据按照用户的需要进行可视化处理，输出车辆行驶状态地图、热力图、动态状态图。
[0026]上述智能车载驾驶员辅助系统的工作方法，包括步骤如下：
[0027]步骤1：所述智能传感器系统实时收集驾驶员面部信息、健康信息、情绪信息、车辆信息，并发送至所述驾驶员智能检测系统；
[0028]步骤2：所述驾驶员智能检测系统根据步骤1接收到的驾驶员面部信息、健康信息、情绪信息、车辆信息，对驾驶员驾驶状态进行全面评估，包括疲劳状态、不良情绪状态和不良健康状态，并将评估结果实时发送至所述驾驶员数据系统进行存储；若判定驾驶员处于疲劳状态、不良情绪状态或不良健康状态时，所述驾驶员智能提醒系统提醒驾驶员。
[0029]根据本专利技术优选的，步骤2中，所述疲劳检测系统利用驾驶员眼部开合信息检测驾驶员疲劳状态；所述情绪检测系统利用驾驶员面部视频信息检测驾驶员情绪；所述健康检测系统利用健康信息传感器检测驾驶员健康状态。
[0030]根据本专利技术优选的，所述疲劳检测系统利用驾驶员眼部开合信息检测驾驶员疲劳状态，包括步骤如下：
[0031](1)获取驾驶员眼部睁开时眼睛的横向纵向长度比Ropen、驾驶员眼部闭合时眼睛的横向纵向长度比Rclose、视频前30帧内眨眼的帧数n；
[0032](2)实时获取视频前30帧内眨眼的帧数T、驾驶员图像中眼睛长宽比A；当T≥1.5n或A≤Rclose+0.25时，发出驾驶员疲劳提醒信息，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智能车载驾驶员辅助系统，其特征在于，包括依次连接的智能传感器系统、驾驶员智能检测系统、驾驶员智能提醒系统及驾驶员数据系统。所述智能传感器系统用于：收集人体面部信息、健康信息、情绪信息、车辆信息；面部信息包括人眼尺寸比例、人脸表情和驾驶员面部的实时视频；健康信息包括血压m、心跳n、体温s、心率t；车辆信息包括车辆行驶速度、车辆变道次数、车辆离线时间、车辆加速次数；所述驾驶员智能检测系统用于：对驾驶员驾驶状态进行全面评估，包括疲劳状态、不良情绪状态和不良健康状态；所述驾驶员智能提醒系统用于：判定为疲劳驾驶时进行提醒；所述驾驶员数据系统用于：传输、储存、分析车辆数据。2.根据权利要求1所述的一种智能车载驾驶员辅助系统，其特征在于，所述驾驶员智能检测系统包括疲劳检测系统、情绪检测系统及健康检测系统；所述疲劳检测系统用于：利用驾驶员眼部开合信息检测驾驶员疲劳状态；所述情绪检测系统用于：利用驾驶员面部视频信息检测驾驶员情绪；所述健康检测系统用于：利用健康信息传感器检测驾驶员健康状态。3.根据权利要求1所述的一种智能车载驾驶员辅助系统，其特征在于，所述智能传感器系统包括摄像头、健康信息传感器、汽车行驶传感器。4.根据权利要求1所述的一种智能车载驾驶员辅助系统，其特征在于，所述驾驶员数据系统包括车辆驾驶员数据中心和数据可视化中心。所述车辆驾驶员数据中心用于：读取、分类、储存摄像头、健康信息传感器、汽车行驶传感器、疲劳检测系统、情绪检测系统、健康检测系统所产生的海量数据；所述数据可视化中心用于：将摄像头、健康信息传感器、汽车行驶传感器、疲劳检测系统、情绪检测系统、健康检测系统所产生的海量数据按照用户的需要进行可视化处理，输出车辆行驶状态地图、热力图、动态状态图。5.权利要求1-4任一所述智能车载驾驶员辅助系统的工作方法，其特征在于，包括步骤如下：步骤1：所述智能传感器系统实时收集驾驶员面部信息、健康信息、情绪信息、车辆信息，并发送至所述驾驶员智能检测系统；步骤2：所述驾驶员智能检测系统根据步骤A接收到的驾驶员面部信息、健康信息、情绪信息、车辆信息，对驾驶员驾驶状态进行全面评估，包括疲劳状态、不良情绪状态和不良健康状态，并将评估结果实时发送至所述驾驶员数据系统进行存储；若判定驾驶员处于疲劳状态、不良情绪状态或不良健康状态时，所述驾驶员智能提醒系统提醒驾驶员。6.根据权利要求5所述智能车载驾驶员辅助系统的工作方法，其特征在于，步骤2中，所述疲劳检测系统利用驾驶员眼部开合信息检测驾驶员疲劳状态；所述情绪检测系统利用驾驶员面部视频信息检...
【专利技术属性】
技术研发人员：白彧，石玉峰，
申请(专利权)人：石玉峰，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。