一种驾驶员自适应的注视方向估计方法技术

本发明专利技术提供一种驾驶员自适应的注视方向估计方法，包括：模型训练步骤和模型部署步骤。模型训练步骤包括：基于先验数据库训练通用的注视方向差值估计模型。采集特定驾驶员少量的注视区域人脸图像，利用解缠编码解码网络，生成其他的注视区域人脸图像，重新调优训练个性化注视方向差值网络模型。对于特定驾驶员新的人脸图像，将当前的注视区域人眼图像和已知的近邻注视区域人眼图像输入个性化注视方向差值网络模型获取注视方向差值，进行真实注视方向映射，得到最终的驾驶员注视方向。本发明专利技术避免了驾驶员个体差异影响，能够自动生成新驾驶员注视方向标记样本，采集少量注视区域人脸图像，即可快速适配新驾驶员，能够有效地监控驾驶员的注视行为。驶员的注视行为。驶员的注视行为。

【技术实现步骤摘要】
一种驾驶员自适应的注视方向估计方法


[0001]本专利技术涉及驾驶安全和驾驶员监控领域，特别是涉及驾驶员注视方向估计领域，具体来说是一种驾驶员自适应的注视方向估计方法。

技术介绍

[0002]通过获取驾驶员的注视区域，可以掌握驾驶员的注意力，适时给予提醒，提升驾驶安全性。
[0003]近年来，驾驶员注视方向估计技术取得了很大进展，但遥测式的注视方向估计技术尚不成熟。现有基于模型的估计方法无法准确地获取驾驶员个体差异数据，导致眼球模型中视轴和光轴的夹角存在差异性。并且摄像机的成像会发生畸变，造成图像失真，无法提取准确的注视特征。相机、光源和被试之间的位置会发生变化，造成眼球模型上的点、相机坐标系中的投影点和世界坐标系中眼球的点之间的映射关系失效。因此需要注视校准去求解视线追踪中的系数，建立精确的注视估计模型。
[0004]传统驾驶员校准方法花费时间较长并且步骤冗余。在一个驾驶员进入车内后必须按照方法指定的点进行相应的注视校准。由于驾驶员注视场景范围较大，注视校准点数量也众多。校准后如果更换一名驾驶员仍然要重新进行繁琐的校准，这极大地限制了注视方向估计技术的应用。

技术实现思路

[0005]鉴于现有技术的不足，本专利技术提供一种驾驶员自适应的注视方向估计方法，利用驾驶场景中主要注视区域的注视方向差值，构建通用的注视方向差值网络模型，并对特定驾驶员进行模型调优训练和注视区域样本生成，解决注视方向估计受限以及少样本条件下新驾驶员无法适配的问题。
[0006]本专利技术采用的技术手段如下：
[0007]一种驾驶员自适应的注视方向估计方法，包括：模型训练步骤和模型部署步骤，其中，
[0008]所述模型预训练步骤包括：
[0009]S101、构建真实场景先验数据库，所述先验数据库用于存储驾驶员人脸图像以及对应的第一注视方向差值，所述第一注视方向差值为当前注视方向与零角度注视方向的差值，
[0010]S102、基于所述先验数据库获取同一驾驶员不同注视状态下的人眼图像，将所述同一驾驶员不同状态下的人眼图像作为模型输入数据，将第二注视方向差值作为模型输出数据，训练注视方向差值估计模型，所述第二注视方向差值为输入数据之间的数据差值，根据输入数据对应的第一注视方向差值计算获取，
[0011]S103、获取当前驾驶员的注视区域人脸图像，基于解缠编码解码网络合成当前驾驶员的所有划定注视区域的人脸图像，对所述当前驾驶员的所有划定注视区域的人脸图像
进行剪裁生成当前驾驶员不同注视状态下的人眼图像，基于所述当前驾驶员不同注视状态下的人眼图像对所述注视方向差值估计模型进行调优训练，获得个性化注视方向差值网络模型；
[0012]所述模型部署步骤包括：
[0013]S201、采集当前驾驶员新的样本数据，基于头部姿态估计结果，判别当前注视方向可能的近邻注视区域；
[0014]S202、基于个性化注视方向差值估计网络模型，计算得到近邻注视区域人眼图像与当前获取的人眼图像注视方向差值；
[0015]S203、基于真实注视方向映射关系，将注视方向差值转换为最终的注视方向或者注视方向落点。
[0016]进一步地，构建真实场景先验数据库，包括：
[0017]获取真实的驾驶员注视样本数据，包括驾驶员某个注视方向的人脸图像；
[0018]基于真实的驾驶员人脸图像通过解缠编码解码网络自动合成同一驾驶员不同注视方向的人脸图像，所述解缠编码解码网络包括三分支并行连接，第一分支用于提取人脸图像的表征特征，第二分支用于获取头部转动矩阵，第三分支用于生成注视方向向量；
[0019]将所述真实的驾驶员人脸图像和合成的同一驾驶员不同注视方向的人脸图像存储于先验数据库中。
[0020]进一步地，基于所述先验数据库获取同一驾驶员不同状态下的人眼图像，包括：
[0021]获取同一驾驶员不同状态下的人脸图像；设定人眼区域图像宽度为人脸图像宽度，高度为人脸图像高度的五分之一；
[0022]将人脸图像按照图像高度值以垂直方向进行五等分，取上面的三份子图像；
[0023]利用人脸特征点定位方法，定位人眼区域周围的特征点，计算人眼特征点的高度均值；
[0024]将人眼图像区域的中心点定位为高度均值，进行人眼图像区域裁剪。
[0025]进一步地，基于所述当前驾驶员不同注视状态下的人眼图像对所述注视方向差值估计模型进行调优训练，获得个性化注视方向差值网络模型，还包括：
[0026]采用图像特征检索方法，查找与当前驾驶员具有相似深度特征表征的其他驾驶员数据，并利用所述其他驾驶员数据调优训练所述个性化注视方向差值网络模型。
[0027]进一步地，采集当前驾驶员新的样本数据，基于头部姿态估计结果，判别当前注视方向可能的近邻注视区域，包括：
[0028]利用人脸图像特征点检测方法定位特征点；
[0029]利用比例正交投影迭代变换算法和人脸模型，计算头部转动矩阵，将其转换为头部姿态值。
[0030]进一步地，采集当前驾驶员新的样本数据，基于头部姿态估计结果，判别当前注视方向可能的近邻注视区域，还包括：
[0031]将已标记的注视区域，按照注视方向中心连接成线，进行三角剖分，划分出多个三角形区域，所述已标记的注视区域包括前方区域、中央后视镜区域、左后视镜区域、右后视镜区域、方向盘区域以及中控台区域；
[0032]计算已标记的注视区域的注视方向，与当前头部姿态角度之间的方向向量，利用
方向向量判断属于哪个三角形区域；
[0033]选取构成三角形区域的三个已标记注视区域作为注视方向近邻注视区域。
[0034]较现有技术相比，本专利技术具有以下优点：
[0035]1、本专利技术提供一种驾驶员自适应的注视方向估计方法，结合特征驱动方法和数据驱动方法的优势，利用特征模型建立注视方向差值的映射关系，利用数据驱动的深度网络求解注视方向差值。由于真实驾驶场景中主要注视区域，前方注视区域、左侧后视镜区域、右侧后视镜区域、中央后视镜区域、仪表盘区域、中控台区域，在归一化的空间中，相互具有稳定的注视方向差值。本专利技术不直接估计当前图像中的驾驶员的注视方向，而是估计当前图像与已知图像中驾驶员的注视方向之间的差值。当使用训练好的模型进行自适应的驾驶员注视方向映射时，只需要小部分样本，将参数进行微调就可以适合一个新的驾驶员样本的注视方向估计。
[0036]2、本专利技术利用近邻注视区域的驾驶员人脸样本图像生成，有效扩充了训练数据集的数量和质量。通过当前注视方向近邻判别，可以有效预测注视方向的变化，并映射至真实场景中的实际注视落点。
[0037]3、本专利技术避免了驾驶员个体差异影响，具有自动生成新驾驶员注视方向标记样本能力，可快速适配新驾驶员，能够有效地监控驾驶员的注视行为，保障驾驶员的安全。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员自适应的注视方向估计方法，其特征在于，包括：模型训练步骤和模型部署步骤，其中，所述模型预训练步骤包括：S101、构建真实场景先验数据库，所述先验数据库用于存储驾驶员人脸图像以及对应的第一注视方向差值，所述第一注视方向差值为当前注视方向与零角度注视方向的差值，S102、基于所述先验数据库获取同一驾驶员不同注视状态下的人眼图像，将所述同一驾驶员不同状态下的人眼图像作为模型输入数据，将第二注视方向差值作为模型输出数据，训练注视方向差值估计模型，所述第二注视方向差值为输入数据之间的数据差值，根据输入数据对应的第一注视方向差值计算获取，S103、获取当前驾驶员的注视区域人脸图像，基于解缠编码解码网络合成当前驾驶员的所有划定注视区域的人脸图像，对所述当前驾驶员的所有划定注视区域的人脸图像进行剪裁生成当前驾驶员不同注视状态下的人眼图像，基于所述当前驾驶员不同注视状态下的人眼图像对所述注视方向差值估计模型进行调优训练，获得个性化注视方向差值网络模型；所述模型部署步骤包括：S201、采集当前驾驶员新的样本数据，基于头部姿态估计结果，判别当前注视方向可能的近邻注视区域；S202、基于个性化注视方向差值估计网络模型，计算得到近邻注视区域人眼图像与当前获取的人眼图像注视方向差值；S203、基于真实注视方向映射关系，将注视方向差值转换为最终的注视方向或者注视方向落点。2.根据权利要求1中所述的一种驾驶员自适应的注视方向估计方法，其特征在于，构建真实场景先验数据库，包括：获取真实的驾驶员注视样本数据，包括驾驶员某个注视方向的人脸图像；基于真实的驾驶员人脸图像通过解缠编码解码网络自动合成同一驾驶员不同注视方向的人脸图像，所述解缠编码解码网络包括三分支并行连接，第一分支用于提取人脸图像的表征特征，第二分支用于获取头部转动矩阵，第三分支用于生成注视方向向量；将所述真实的驾驶员人脸图像和合成的同一驾驶员不同注视方向的人脸图...

【专利技术属性】
技术研发人员：王亚飞，袁国良，张浩，闫惠珠，王广元，付先平，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：