一种智能驾驶车辆的多模态感知系统及方法技术方案

本发明专利技术属于多模态感知技术领域，本发明专利技术公开了一种智能驾驶车辆的多模态感知系统及方法，包括：采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；采集乘车成员动作训练数据；基于眼动综合数据分析生成视线调节指令和疲劳警告指令；基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理

【技术实现步骤摘要】
一种智能驾驶车辆的多模态感知系统及方法


[0001]本专利技术涉及多模态感知
，更具体地说，本专利技术涉及一种智能驾驶车辆的多模态感知系统及方法
。

技术介绍

[0002]模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态
。
多模态数据涉及不同的传感器如视觉
、
听觉
、
触觉与嗅觉所接收到的信息
。
[0003]授权公告号
CN109910900B
的中国专利公开了一种智能驾驶方法，根据驾驶员的人体综合疲劳状况和车辆所处的路况环境来智能地判断采用何种驾驶模式更合适，大大提高了车辆驾驶的安全性，减轻了驾驶员的驾驶压力
。
[0004]但对于人体综合疲劳状况监测过程过于复杂繁琐，佩戴多种传感器在身上时间过长，不能达到快速上车启动车辆的目的，在有紧急事件情况下，启动车辆之前流程过慢，影响驾驶体验，未能考虑到驾驶员视线的注意力，未能多方面评估驾驶员危险驾驶状态，未考虑车辆上其他人员行为对驾驶员的影响
。
[0005]鉴于此，本专利技术提出一种智能驾驶车辆的多模态感知系统及方法以解决上述问题
。

技术实现思路

[0006]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种智能驾驶车辆的多模态感知系统及方法
。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种智能驾驶车辆的多模态感知方法，包括：采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；
[0008]采集乘车成员动作训练数据；
[0009]基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
[0010]基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
[0011]基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理
。
[0012]一种智能驾驶车辆的多模态感知系统，包括：
[0013]第一数据采集模块，采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联；
[0014]第二数据采集模块，采集乘车成员动作训练数据；
[0015]数据分析模块，基于眼动综合数据分析生成视线调节指令和疲劳警告指令；
[0016]模型训练模块，基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；
[0017]控制模块，基于机器学习模型输出结果生成动作警告指令，并基于视线调节指令
和疲劳警告指令进行处理
。
[0018]一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行上述的一种智能驾驶车辆的多模态感知方法
。
[0019]一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行上述的一种智能驾驶车辆的多模态感知方法
。
[0020]本专利技术一种智能驾驶车辆的多模态感知系统的技术效果和优点：
[0021]采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；采集乘车成员动作训练数据；基于眼动综合数据分析生成视线调节指令和疲劳警告指令；基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理；实现了没有额外穿戴传感器的过程，节省启动车辆的时间，使用多模态多传感器对乘车成员的危险动作进行预测预警，实时对驾驶员的视线状态和疲劳状况进行评估分析，降低驾驶员驾驶不专心，驾驶疲劳以及车内危险动作导致的交通事故发生概率
。
附图说明
[0022]图1为本专利技术的一种智能驾驶车辆的多模态感知系统示意图；
[0023]图2为本专利技术的一种智能驾驶车辆的多模态感知方法示意图；
[0024]图3为本专利技术的一种智能驾驶车辆的多模态感知系统电子设备示意图
。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0026]实施例1[0027]请参阅图1所示，本实施例所述一种智能驾驶车辆的多模态感知系统，包括，第一数据采集模块
1、
第二数据采集模块
2、
数据分析模块
3、
模型训练模块4与控制模块5，各个模块之间通过有线和
/
或无线网络方式连接
。
[0028]第一数据采集模块1用于采集眼动数据和头部姿态数据
。
[0029]眼动数据包括注视点坐标和眨眼信息；注视点坐标提供眼睛注视的具体位置坐标，具体的，注视点坐标相对于眼动仪的坐标系；注视点坐标可以用来分析驾驶员的目光在车内环境中的聚焦点和移动轨迹；
[0030]眨眼信息用于记录驾驶员的眨眼动作，包括眨眼的开始时间
、
结束时间
、
频率和持续时间；通过眨眼信息可以评估驾驶员的疲劳程度和注意力水平；
[0031]所述眼动数据由安装在车辆内部的眼动仪监测获取；眼动仪可以直接监测和获取注视点坐标和眨眼信息，是一种专门设计用于追踪和记录眼球运动的眼动追踪技术设备，可以实时地测量眼睛的位置
、
瞳孔大小与眼球运动等参数
。
[0032]眼动追踪技术通过检测角膜反射光的强度变化来确定注视点的坐标，只能提供二
维注视点的坐标，即只能在屏幕坐标系或目标平面的位置上进行定位；在驾驶员驾驶车辆中实用性不强，因为驾驶员需要实时的观测左右以及前后三维空间的来车来了解车辆路况，如果只对正前方平面进行眼动追踪，当驾驶员扭头观测其他方向来车时，可能会误判二维注视点坐标，因此第一数据采集模块1还采集头部姿态数据，将头部姿态数据与眼动数据相关联，获取驾驶员在三维空间中的注视方向
。
[0033]头部姿态数据包括头部旋转角度；头部旋转角度为头部在三维空间中绕各轴旋转的角度，例如俯仰
(
上下
)、
横滚
(
倾斜
)
和偏航
(
左右
)
角度
。
[0034]头部姿态数据是由红外传感器结合计算机视觉技术获取，示例性的，头部姿态数据获取方式如下：
[0035]步骤
S1、
使用红外传感器
(
例如红外摄像头或深度摄像头
)
对驾驶员的头部进行监测和跟踪，得到红外图像；红外传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种智能驾驶车辆的多模态感知方法，其特征在于，包括：采集眼动数据和头部姿态数据，将头部姿态数据与眼动数据相关联生成眼动综合数据；采集乘车成员动作训练数据；基于眼动综合数据分析生成视线调节指令和疲劳警告指令；基于乘车成员动作训练数据训练出实时识别危险动作概率的机器学习模型；基于机器学习模型输出结果生成动作警告指令并基于视线调节指令和疲劳警告指令进行处理
。2.
根据权利要求1所述的一种智能驾驶车辆的多模态感知方法，其特征在于，眼动数据包括注视点坐标和眨眼信息；头部姿态数据包括头部旋转角度；所述将头部姿态数据与眼动数据相关联的过程如下：将头部姿态数据和眼动数据进行时间上的关联，确保两组数据是在同一时间点采集到的；对头部姿态数据进行数学转换，将头部姿态数据映射到与眼动数据相同的坐标系中；关联后的头部姿态数据与眼动数据作为眼动综合数据
。3.
根据权利要求2所述的一种智能驾驶车辆的多模态感知方法，其特征在于，所述采集乘车成员动作训练数据的过程如下：设置驾驶危险动作序列；安排若干人员在车辆中的各个座位就座，依次实施每个危险动作；在某人员实施危险动作时，其他座位的人员保持静止状态，且实施危险动作的人员，除实施危险动作所必要的身体部位执行动作外，其余身体部位保持静止状态；使用车载摄像头实时拍摄车辆内的视频数据，获得每个座位上人员实施每个危险动作的视频数据，将该视频数据标记为预处理视频数据；收集若干与危险动作不同的其他行为视频数据并标记为预处理干扰视频数据，预处理干扰视频数据以及预处理视频数据共同构成乘车成员动作训练数据
。4.
根据权利要求3所述的一种智能驾驶车辆的多模态感知方法，其特征在于，使用眼动数据分析软件，在驾驶员视角图像上标记前挡风玻璃为一级感兴趣区域，侧车窗的区域为二级感兴趣区域；通过公式计算注视偏移评估值
eye_score
；式中，
t1表示注视点坐标不在一级感兴趣区域的时间，
t2表示注视点坐标在二级感兴趣区域的时间，
t3表示注视点坐标既不在一级感兴趣区域，也不在二级感兴趣区域的时间；设置注视偏移评估阈值
eye_safe
，当
eye_score<eye_safe
时，标记为视线正常状态，当
eye_score≥eye_safe
时，标记为视线危险状态，生成视线调节指令
。5.
根据权利要求4所述的一种智能驾驶车辆的多模态感知方法，其特征在于，通过公式计算疲劳评估值
tired
；式中，
V1表示实时每分钟驾驶员眨眼频率；
V2表示正常情况每分钟驾驶员眨眼频率；
U
表示驾驶员每分钟偏头次数；设置疲劳评估阈值
tired_go,
当
tired<tired_go
时，不进行操作；当
tired≥tired_go
时生成疲劳警告指令
。6.
根据权利要求5所述的一种智能驾驶车辆的多模态感知方法，其特征在于，所述机器
学习...

【专利技术属性】
技术研发人员：武丹丹，章广忠，杨煜，徐建杭，
申请(专利权)人：南京项尚车联网技术有限公司，
类型：发明
国别省市：