基于眼部特征的铁路调度员不良状态识别方法技术

本发明专利技术提供基于眼部特征的铁路调度员不良状态识别方法，首先是实验前期的准备工作，然后根据调度实验的要求完成调度任务，实时采集实验所需要的眼部数据；采用聚类算法找到分类效果较好的时间片段，通过设置相同的滑窗提取眼动仪的帧数据和事件数据中的六项眼动特征构成模型输入端数据集，根据不同的工作状态分别标签作为输出端，放入搭建好的机器学习模型进行训练对比分析。本发明专利技术，采用视频情绪识别技术解决了评价指标模糊性的缺点，并且时域的同步性使得对眼动数据的时段划分更加的精准可控。准可控。准可控。

【技术实现步骤摘要】
基于眼部特征的铁路调度员不良状态识别方法


[0001]本专利技术属于机器学习
，具体涉及一种基于眼部特征的铁路调度员不良状态识别方法。

技术介绍

[0002]我国的铁路系统遵循集中领导，统一指挥的原则。而铁路调度系统则是铁路运输的“神经中枢”，负责组织客货运输生产和列车安全运行。铁路行车调度员作为调度指挥的核心，其决策行为将直接影响到铁路行车的安全与效率。
[0003]根据铁路调度作业特点，可以将其归结为正常行车和非正常行车两种类型，正常行车状态下，以视频监督为主容，此时注意力会明显下降，不自主产生厌倦情绪；非正常条件下，调度所内领导一般会上岗盯台，此时的调度员工作压力较大，精神紧张，若面对的事故情形较为复杂，心理压力和时间压力都会提升，则出现易怒情绪。其次根据调度员的工作性质，尤其是夜间工作时，人的生理机能会明显下降，困倦则成为最直接的疲劳呈现状态。并且有大量研究表明，不良情绪和疲劳状态会对人的注意、决策和判断产生影响，调度员在不良状态下继续作业将对列车的运行安全造成巨大威胁。因此对铁路调度员的工作状态进行识别具有高度的研究价值。
[0004]眼动特征信息作为本文对不良状态识别的输入信息具有至关重要的作用。众多关于列车司机及机动车驾驶员注意力与疲劳程度的研究均是对眼部特征信息的记录，记录方式大多是以头戴式仪器或者计算机图像识别技术等形式实现的。头戴式仪器可以实现较高精度的眼部特征信息记录，图像识别技术虽然对被试人员没有较大的干扰，但是记录精度略低于头戴式仪器。因此本人研究通过头戴式眼动仪记录行车调度员的眼动特征信息。
[0005]国内外对疲劳状态与情绪状态的识别预测研究大多集中在驾驶员和司机，通过接触式或非接触式手段结合主观评价或生理测量的方法提取原始数据集，并放入机器学习算法或者回归算法就行有效性分析。但对铁路调度员的疲劳分析主要集中在工作负荷和人因失效概率等需要主观评价的方法，可信度偏低，并且对铁路调度员的情绪状态识别尚未有人研究，
[0006]铁路调度员的工作类型不同于驾驶员等其他行业，该岗位24小时不停歇，事故处理时间比较漫长，人的心理、生理变化浮动比较大。在不同工作情况下会产生不同的状态，疲劳可以作为评判工作时长对调度员的不利影响结果，但不唯一，不良情绪状态也有同样重要研究价值。因此，基于眼部特征对铁路调度员疲劳与不良情绪状态的识别模型将为实际调度员工作提供很重要的理论依据。
[0007]现有技术一为采用BP神经网络和HMM对调度员面部特征进行分析。要求调度员在下午12点至15点头戴眼动仪开始行车调度任务作业，自行根据主观感受填写卡罗琳斯卡嗜睡量表，同时通过人工计数记录哈欠频率。实验结束后在眼动仪的导出原始数据集中提取七项眼动指标并与哈欠频率合并为八项特征指标作为输入端初始数据集。
[0008]然后对铁路调度员的工作任务进行认知功能划分，计算432项人因失效概率的三
角模糊数导入k
‑
means进行聚类分析，得到分3类在2、3、4、5类聚类数中拥有最大轮廓系数，从而确定输出端疲劳状态分为轻、中、重三种状态，采用层次分析法对9级KSS量表与DORATASK负荷值进行权重计算，并输出三种疲劳状态的疲劳程度区间作为输出端数据集。
[0009]通过分析初始数据集的PERSON相关系数以及输入端指标的显著性检验，验证了输入端指标的相互独立性，并筛选出注视时间、平均瞳孔大小、眨眼时长、哈欠频率以及眨眼频率五项强相关指标作为最终输入端数据。
[0010]分别建立基于时段特征和时刻特征下的马尔科夫模型与BP神经网络模型，对比模型准确率和ROC曲线的AUC面积发现，BP神经网络适用于时刻特征数据的疲劳程度判定，HMM适用于时段特征数据的疲劳程度判定。
[0011]该技术的缺点：
[0012]1、卡罗琳斯卡嗜睡量表和人工哈欠计次，都存在间接的人为因素影响。KSS量表的9级分类之间的区别在人主观认知层面较为模糊，监督员和被试人员对此都不易区分，主观影响因素较大。哈欠计次员的存在，势必会对被试产生一定的紧张和警觉从而影响计次结果。
[0013]2、人因失效概率和眼动数据缺乏时空同步性，从调度员的任务出发进行人因失效概率聚类分析从而定义眼动数据分类，具有创新性但缺乏一定的说服性。
[0014]3、两种模型的选择对模型的适用性很好，但通过笔者的模型精度分析，可以发现BP神经网络和HMM都存在对某一种分类识别度特别低甚至为0的情况，这是在数学研究中比较不科学的。
[0015]现有技术二为对煤矿驾驶员的情绪眼动指标进行多元线性回归分析。首先采用山水视频煤矿驾驶员进行5min良好情绪诱导，然后进行30min井巷人车驾驶，休息5min后进行5min不良情绪诱导，重复上述实验过程。在驾驶实验的同时对驾驶员完成10道情绪状态测试题并填写九点情绪量表。
[0016]实验完成后计算得到情绪测评表的不良状情和绪良好情绪评价值1.00、8.75，证明了实验的有效性。然后通过对工作任务的情景和原始数据各项指标的差异性与相关性进行分析，选择注视点个数、扫视速度、反应时间、危险源识别个数四项指标作为输入端数据集。
[0017]建立四元线性回归方程求解得到回归常数、回归参数和随机误差，并验证得到8.16％的平均误差具有很高的预测精度。
[0018]该技术的缺点：
[0019]1、情绪诱导实验可以很好的模拟真实场景情绪，但是同一被试在很短的时间内连续进行不同情绪诱导会使效果产生很大的不稳定性。并且被试在驾驶过程中还需要进行和驾驶无关的10道测试题和情绪量表填写，实验无关项过多，影响因素过于明显。只有主观的情绪验证无法完全消除影响源。
[0020]2、笔者情绪测评题为假设场景题，并不是在实验中设置的实验任务，用于验证被试的真实情绪状态有些不妥，无法直接说明诱导情绪的成功与否。
[0021]现有技术三为基于眼动和眼电数据的驾驶员疲劳性研究，首先对比了视频识别和眼动仪分别提取到的PERCLOS值的差异性，最终选择了眼动仪进行驾驶实验。并以PERCLOS值作为输出端疲劳标注标准。实验的同时使用眼电设备采集人眼的特征指标，并建立“眼电
特征指标—PERCLOS”的映射关系，比较序列特征选择和mRMR特征选择算法对眼电数据特征进行筛选，发现后者具有更高性能，从而确定使用mRMR进行特征排序，并提取排名靠前的特征结合线性核支持向量机与径向基函数核支持向量机进行分类训练，得到了很好的性能验证且对疲劳和清醒两种状态的眼动数据具有很高的标识度，证明了PERCLOS作为评估的可行性。
[0022]该技术的缺点：
[0023]1、在使用PERCLOS作为疲劳评估指标时，阈值的划分是人为设定的，但是文中并未对此部分的是否合理性进行验证说明，也就是说当值达到人为设定阈值以下时，人的状态是否清醒是一个未知量。
[0024]2、笔者在对清醒到疲劳的过渡区间进行标注划分时，沿用的是已经学习好的二分类模型，理论上可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于眼部特征的铁路调度员不良状态识别方法，其特征在于，包括以下步骤：首先是实验前期的准备工作，然后根据调度实验的要求完成调度任务，实时采集实验所需要的眼部数据；采用聚类算法找到分类效果较好的时间片段，通过设置相同的滑窗提取眼动仪的帧数据和事件数据中的六项眼动特征构成模型输入端数据集，根据不同的工作状态分别标签作为输出端，放入搭建好的机器学习模型进行训练对比分析。2.根据权利要求1所述的基于眼部特征的铁路调度员不良状态识别方法，其特征在于，具体包括以下步骤：步骤一：实验前期准备搭建情绪识别模型实地采集铁路调度员工作中，具有紧张、易怒、厌倦情绪下特征明显的人脸表情图片组成本次情绪验证的数据集；采取经典加权法进行图像灰度处理：初始化采样参数，分割每个训练集图片利用labels模型保存包含多个人脸矩阵的序列和对应标签；计算像素在x，y轴上的偏移坐标并利用双线性差值法计算每个区域的像素相邻点之间的灰度值和LBP(0,1)编码值，从而获得全图的LBP编码图；进行降维处理得到ULBP值，将编码图像切割成8*8个区域，利用LBP值和ULBP值得到各区域的子直方图，继而得到全图LBPH图；通过比较不同人脸图像之间的LBPH图得到分类结果；搭建人脸特征检测模型(1)对视频进行帧图像提取，为与眼动仪的30帧/秒的采样率对齐利用for循环函数设置1秒取30张人脸图像；(2)对图像做灰度处理并计算每个像素的大小和方向，分割图像成6*6块提取每块区域不相同的像素获得区域梯度直方图，组合所有的子图即形成整张图像的HOG梯度直方图向量集；(2)设置SVM核函数为线性，此时HOG特征向量为一维矩阵，为满足SVM训练要求，对所有的图像特征集进行向下拼接组成n维矩阵；投入SVM分类器判断每帧人脸数量是否相同；(4)对检测到的人脸调用dlib库的68特征分类器进行切片定位，循环人脸检测的位置，检测出人脸的位置信息，遍历字典中36
‑
47位(x，y)坐标值；(5)计算双眼高宽值，并做高宽比计算；(6)写入excel，实验结束结束运行；步骤二：实验设计与数据采集实验过程中实时记录调度员眼动数据并进行实时视频采集，实验步骤如下:(1)、进行1、2、3组状态诱导并同时进行视频监控；(2)、利用视频识别技术根据视频监控确定调度员情绪诱导效果，并邀请诱导成功的调度员进行调度实验；(3)、第4组进行调度操作，并实时采集面部视频信息；(4)、采集眼动指标，分析调度员工作过程中注视时间、瞳孔大小、平均扫视速度眼动数
据；(5)、利用搭建人脸特征检测模型分析第4组面部视频，提取眼睛高宽比值，并进行聚类分析寻找最优疲劳状态分级与区段；(6)、建立基于机器学习的调度员状态识别模型，对调度员的工作状态进行判定；步骤三：K
‑
means聚类分析采用k均值聚类算法对眼睛高宽比的数据进行聚类，剔除混乱的区段，并标记切割时间点；(1).采用手肘法获得最优聚类数；(2).使用手肘法确定最佳聚类数K后，使用轮廓系数法对聚类结果验证；(3).得到最优聚类数后通过K
‑
means聚类算法确定每个样本的聚类成员，输入样本矩阵，随机选取K个初始聚类中心，找到使每个聚类欧氏距离平方和达到最小的观测点集合；计算以上每个聚类中观测样本的质心作为新的聚类中心；重复以上步骤10次，得到最终聚类中心并保留每个观测样本的聚类成员；(4).提取聚类成员序列做簇状柱形图分析，找到分类较平稳片段，截取该时间段内对应的疲劳组眼动数据；步骤四：眼动仪原始数据提取与处理提取以下六种眼动指标：瞳孔大小：从采样率30hz的原始数据中选取采样率10hz的左、右瞳孔直径的两列时间序列，分别平方后相加求平均，并乘以，获取以为单位的平均瞳孔大小时间序列以及对应的时间戳；扫视速度、扫视次数：从采样率30hz的原始数据中选取标签为Saccade的时间序列，提取其扫视角速度以及时间戳，并以瞳孔大小计算中的10hz的时间戳为对象以5s为窗口，分别统计Saccade序列中时间窗口内数据的扫视角速度平均值以及扫视次数，作为该时刻的扫视速度以及扫视速度；注视时间：从采样率30hz的原始数据中选取标签为Fixation的时间序列，提取其开始时刻与结束时刻，计算注视时长，并以瞳孔大小计算中的10hz的时间戳为对象，以5s为窗口，分别统计Fixation序列中窗口内数据的注视时间平均值，作为该时刻的注视时间；眨眼次数、眨眼时间：从采样率30hz的原始数据中选取标签为Blink的时间序列，提取其开始时刻以及结束时刻，计算眨眼时长，并以瞳孔大小计算中的10hz的时间戳为对象，以5s为窗口，分别统计Blink序列中窗口内数据的眨眼时间平均值以及眨眼次数，作为该时刻的眨眼时间和眨眼次数；步骤五：构建机器学习模型分类数据集是输入端为六个眼动特征指标，输出端为疲劳、紧张、厌倦、易怒四种不良工作状态，依次标签1、2、3、4的七维矩阵；时序数据集是输入端为疲劳状态含有时间特征和六...

【专利技术属性】
技术研发人员：张光远，张帆，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：