【技术实现步骤摘要】
本专利技术属于驾驶辅助系统、危险驾驶预警技术，以及自动驾驶领域的计算机视觉图像处理技术，具体涉及一种基于视频预测的驾驶员驾驶状态监测预警系统。
技术介绍
1、随着社会的不断发展和城市化进程的加速推进，车辆已经逐渐渗透到生活的各个方面。然而，由于驾驶行为的不规范，交通事故频发，给社会带来了严重的安全隐患。
2、目前，对驾驶行为的识别方法主要分为接触式驾驶行为预警方法和基于计算机视觉的方法。接触式驾驶行为预警方法主要是基于对心电图、脑电图和光学标记传感器等生理和生物医学信号的分析方法去识别驾驶员当前状态。这类驾驶姿态识别方法是一种侵入式的检测方法，会降低用户体验并增加硬件成本，在实际应用中存在一定的局限性；第二种方法是基于计算机视觉的驾驶员姿态识别方法，该方法设备成本较低，数据采集对于驾驶员来说是自然无感的，因此越来越多的研究人员对基于计算机视觉的驾驶行为预警方式进行研究。目前的危险驾驶预警方法仅通过判断当前观测到的驾驶员行为特征是否违规进而输出预警信号，以提示驾驶员可能会发生事故。但这些方法缺乏一定的前瞻性和时空推理能力，可能做出预警时已经处于危险驾驶状态，导致预警信号输出不及时、准确性较差。
技术实现思路
1、本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的不足，提供一种基于视频预测的驾驶员驾驶状态监测预警系统。通过视频预测算法预测未来一段时间的驾驶员行为视频序列，将预测的视频序列输送到驾驶状态危险等级分类单元，从而提前预测到驾驶员未来的驾驶行为是否规范，对非规范
2、为实现上述目的，本专利技术实施例提供如下技术方案：
3、一种基于视频预测的驾驶员驾驶状态监测预警系统，所述的监测预警系统包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、挡位传感器、本地处理器、扬声器、服务器和无线通讯模块。
4、进一步地，所述本地处理器分别和所述高清摄像头、车速传感器、挡位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器无线连接；所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶视频，并将其传递给所述本地处理器。
5、进一步地，所述车速传感器、挡位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；所述本地处理器包含服务器连接测试单元、上传单元、本地视频预测模块、本地危险等级评定模块和执行单元；所述服务器包含数据库、远程视频预测模块和远程危险等级评定模块。
6、进一步地，所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元。
7、进一步地，所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶视频、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元。
8、进一步地，所述本地视频预测模块、远程视频预测模块均包含视频预测单元，所述视频预测单元根据采集到的驾驶视频，生成对未来驾驶员所在场景的预测视频帧，并将结果传递给驾驶状态危险等级分类单元。所述本地危险等级评定模块、远程危险等级评定模块均包含驾驶状态危险等级分类单元、判断单元。
9、进一步地，驾驶状态危险等级分类单元的模型基于resnet50网络搭建，输入为视频预测单元输出的视频序列，模型对预测的视频序列进行特征分析，判断出预测的未来视频帧是否有危险行为，并分类输出驾驶员危险行为的危险等级。所述驾驶状态危险等级分类单元根据所述视频预测单元的预测序列进行危险等级分类，判断每一帧的危险程度，得到帧序列的危险程度，并为上述的危险程度序列赋予不同的权重，计算加权后的危险程度，利用扬声器根据危险程度向驾驶者发出不同程度的预警。
10、进一步地，所述本地处理器采用基于arm内核的stm32单片机。所述无线通讯模块采用4g通信技术实现数据传输。
11、一种基于视频预测的驾驶员驾驶状态监测预警方法，包括以下步骤：
12、步骤1)，车辆启动后，高清摄像头拍摄驾驶员的正面驾驶图像并将其传递给所述本地处理器，车速传感器、挡位传感器分别获得车辆的实时车速、挡位状态并将其传递给所述本地处理器；
13、步骤2)，本地处理器测试无线通讯模块是否能够无线连接所述服务器，如果无线通讯模块能够无线连接服务器，将驾驶员的驾驶视频、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断；如果无线通讯模块不能无线连接服务器，本地处理器直接对驾驶员的驾驶状态进行判断。
14、进一步地，对驾驶员的驾驶状态进行判断的具体步骤如下：
15、步骤2.1)，将接收到的驾驶视频输送到视频预测单元，输入视频序列经过编码器进行特征提取，所得到的特征通过gru进行时序特征记忆，最后将记忆的历史信息通过编码器进行解码，得到预测的未来的视频序列。
16、步骤2.2)，将视频预测单元预测生成的视频序列输送到驾驶状态危险等级分类单元，进行驾驶危险等级的分类，如果分类结果为规范驾驶，则继续循环进行状态判断，如果分类为非规范驾驶，则本地处理器控制扬声器对驾驶员进行警告。
17、本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术提供的一种基于视频预测的驾驶员驾驶状态监测预警系统，可以非侵入式地获取驾驶员驾驶姿态视频数据，对驾驶员的干扰较小，硬件要求低，利用视频预测算法预测未来的驾驶员驾驶状态视频序列，根据预测的序列进行危险程度分类预警，可以实现更为及时可靠的评估。本专利技术同时具有离线和在线两种实现，覆盖全面的应用场景。
本文档来自技高网...【技术保护点】
1.一种基于视频预测的驾驶员驾驶状态监测预警系统，其特征在于，所述的监测预警系统包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、挡位传感器、本地处理器、扬声器、服务器和无线通讯模块。
2.如权利要求1所述的监测预警系统，其特征在于，所述本地处理器分别和所述高清摄像头、车速传感器、挡位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器无线连接；所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶视频，并将其传递给所述本地处理器。
3.如权利要求1所述的监测预警系统，其特征在于，所述车速传感器、挡位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；所述本地处理器包含服务器连接测试单元、上传单元、本地视频预测模块、本地危险等级评定模块和执行单元；所述服务器包含数据库、远程视频预测模块和远程危险等级评定模块。
4.如权利要求1所述的监测预警系统，其特征在于，所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元。
5.如权利要求1所述的监测预警系统，其特征
6.如权利要求1所述的监测预警系统，其特征在于，所述本地视频预测模块、远程视频预测模块均包含视频预测单元，所述视频预测单元根据采集到的驾驶视频，生成对未来驾驶员所在场景的预测视频帧，并将结果传递给驾驶状态危险等级分类单元；所述本地危险等级评定模块、远程危险等级评定模块均包含驾驶状态危险等级分类单元、判断单元。
7.如权利要求1所述的监测预警系统，其特征在于，驾驶状态危险等级分类单元的模型基于ResNet50网络搭建，输入为视频预测单元输出的视频序列，模型对预测的视频序列进行特征分析，判断出预测的未来视频帧是否有危险行为，并分类输出驾驶员危险行为的危险等级；所述驾驶状态危险等级分类单元根据所述视频预测单元的预测序列进行危险等级分类，判断每一帧的危险程度，得到帧序列的危险程度，并为上述的危险程度序列赋予不同的权重，计算加权后的危险程度，利用扬声器根据危险程度向驾驶者发出不同程度的预警。
8.如权利要求1所述的监测预警系统，其特征在于，所述本地处理器采用基于ARM内核的STM32单片机，所述无线通讯模块采用4G通信技术实现数据传输。
9.一种基于权利要求8所述的监测预警系统对驾驶员驾驶状态进行监测预警的方法，其特征在于，包括以下步骤：
10.如权利要求9所述的监测预警的方法，其特征在于，对驾驶员的驾驶状态进行判断的具体步骤如下：
...【技术特征摘要】
1.一种基于视频预测的驾驶员驾驶状态监测预警系统，其特征在于，所述的监测预警系统包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、挡位传感器、本地处理器、扬声器、服务器和无线通讯模块。
2.如权利要求1所述的监测预警系统，其特征在于，所述本地处理器分别和所述高清摄像头、车速传感器、挡位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器无线连接；所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶视频，并将其传递给所述本地处理器。
3.如权利要求1所述的监测预警系统，其特征在于，所述车速传感器、挡位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；所述本地处理器包含服务器连接测试单元、上传单元、本地视频预测模块、本地危险等级评定模块和执行单元；所述服务器包含数据库、远程视频预测模块和远程危险等级评定模块。
4.如权利要求1所述的监测预警系统，其特征在于，所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元。
5.如权利要求1所述的监测预警系统，其特征在于，所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶视频、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本...
【专利技术属性】
技术研发人员：金贝贝，李俊义，宋晓辉，李金东，张鹏飞，
申请(专利权)人：河南省科学院物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。