视线预测模型的训练、估计方法、装置、系统及介质制造方法及图纸

本公开实施例中提供视线预测模型的训练、估计方法、装置、系统及介质，训练方法包括获取包含各预识别人脸关键点的每个原始人脸图像；所述各预识别人脸关键点包括每个眼睛的瞳孔中心；基于预设尺寸的截取窗口，以每个瞳孔中心为图像中心对每个原始人脸图像进行预设尺寸的图像截取，以得到每个原始人脸图像对应的至少一对特征图像；基于每个特征图像进行头部姿态信息、眼睛关键点信息、及视线角度信息的标注，且基于特征图像形成训练数据；将每个训练数据输入到视线预测模型；利用损失函数，基于视线预测模型根据训练数据的输出结果计算损失并根据损失更新视线预测模型的模型参数。通过构造简洁但特征丰富的训练数据，从而训练得到高预测准确度的视线预测模型。得到高预测准确度的视线预测模型。得到高预测准确度的视线预测模型。

【技术实现步骤摘要】
视线预测模型的训练、估计方法、装置、系统及介质


[0001]本公开涉及视线估计
，尤其涉及视线预测模型的训练、估计方法、装置、系统及介质。

技术介绍

[0002]视线状态估计技术有助于确定人在目标上的注视位置，反馈眨眼频率以及瞳孔对不同刺激的反应。因此，它有助于确定一个人的视线方向，从而判断眼睛的状态是否困倦、以及眼球的聚焦点等。
[0003]疲劳驾驶在行车交通中是会有极高风险引起事故的事件。因此，在智能汽车领域，会通过视线追踪、头部姿态跟踪技术实时监测驾驶员注视的区域，例如主驾挡风玻璃、副驾挡风玻璃、左后视镜等以判断盲区，及时提醒可能存在的危险。当驾驶员眼皮下垂(犯困)或眨眼次数减少(走神)等，给出及时提醒。
[0004]然而，视线状态估计方法需要兼顾效率和准确度，但目前的方案在兼顾准确度和效率上仍然存在可提升空间。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本公开的目的在于提供视线预测模型的训练、估计方法、装置、系统及介质，解决相关技术中的问题。
[0006]本公开第一方面提供一种视线预测模型的训练方法，包括：获取包含各预识别人脸关键点的每个原始人脸图像；所述各预识别人脸关键点包括每个眼睛的瞳孔中心；基于预设尺寸的截取窗口，以每个所述瞳孔中心为图像中心对每个原始人脸图像进行预设尺寸的图像截取，以得到每个原始人脸图像对应的至少一对特征图像；所述至少一对特征图像包括：左眼特征图像和右眼特征图像；基于每个所述特征图像进行头部姿态信息、眼睛关键点信息、及视线角度信息的标注，以得到携带标注的每一对特征图像，且基于每一对所述特征图像形成训练数据；将每个训练数据输入到视线预测模型；其中，所述视线预测模型被配置成基于人脸输入图像输出所预测的头部姿态信息、眼睛关键点信息、及视线角度信息；利用损失函数，基于所述视线预测模型根据训练数据的输出结果计算损失并根据损失更新所述视线预测模型的模型参数。
[0007]在第一方面的实施例中，获取包含各预识别人脸关键点的每个原始人脸图像；所述各预识别人脸关键点包括每个眼睛的瞳孔中心，包括：确定标注于眼睛轮廓的预识别人脸关键点所围几何图形的中心点，作为所述瞳孔中心。
[0008]在第一方面的实施例中，所述基于预设尺寸的截取窗口，以每个所述瞳孔中心为图像中心对每个原始人脸图像进行预设尺寸的图像截取，以得到每个原始人脸图像对应的至少一对特征图像，包括：基于所述图像截取结果同原始人脸图像的非重叠区域相对于所述图像中心在上、下、左、右的四个方向上的相对位置，确定从重叠区域边界分别沿所述四个方向填充所需像素数量，并执行预设像素值的填充以得到所述特征图像；对于所述特征
图像转换至视线预测模型的输入尺寸，以得到所述训练数据。
[0009]在第一方面的实施例中，每个所述特征图像包含至少3/4的原始人脸图像的图像区域。
[0010]在第一方面的实施例中，所述视线预测模型包括：第一图像特征编码模块、第二图像特征编码模块、图像特征融合模块、及图像解码模块；
[0011]在第一方面的实施例中，用于基于左眼特征图像进行特征提取以得到第一特征数据；
[0012]在第一方面的实施例中，用于基于右眼特征图像进行特征提取以得到第二特征数据；
[0013]在第一方面的实施例中，用于融合所述第一特征数据和第二特征数据以得到融合特征结果；所述图像解码模块，用于解码所述融合特征结果以得到所述输出结果。
[0014]在第一方面的实施例中，所述图像特征编码模块包括至少两个卷积层、至少一激活层、及至少一批量归一化层；其中，每个所述激活层位于两个卷积层之间，每个所述批量归一化层位于一卷积层和激活层之间；和/或，所述图像解码模块包括：依次连接的至少两个卷积层、至少两个空洞卷积层、及全连接层。
[0015]在第一方面的实施例中，所述损失函数计算的损失包括：预测的头部姿态信息相对于标注的头部姿态信息的第一损失部分、预测的眼睛关键点信息相对于标注的眼睛关键点信息的第二损失部分、及预测的视线角度信息相对于标注的视线角度信息的第三损失部分的加权和；其中，第三损失部分的权重高于第二损失部分的权重，第二损失部分的权重高于第一损失部分的权重。
[0016]本公开第二方面提供一种视线估计方法，包括：获取待预测人脸图像，并基于待预测人脸图像得到待预测的至少一对特征图像；所述至少一对特征图像包括左眼特征图像和右眼特征图像；输入所述待预测的至少一对特征图像至已训练的视线预测模型，得到对应所预测的头部姿态信息、眼睛关键点信息、及视线角度信息；其中，所述视线预测模型通过如第一方面中任一项所述的训练方法训练得到；基于所预测的头部姿态信息、眼睛关键点信息、及视线角度信息进行视线状态估计。
[0017]在第二方面的实施例中，所述基于所预测的头部姿态信息、眼睛关键点信息、及视线角度信息进行视线状态估计，包括：基于头部姿态信息判断是否头部姿态异常；若头部姿态异常，则判断视线状态异常；若头部姿态正常，则基于眼睛关键点信息判断是否异常、且基于视线角度信息判断是否异常；若基于眼睛关键点信息判断异常、以及基于视线角度信息判断异常，则判断视线状态异常；否则，判断视线状态正常。
[0018]在第二方面的实施例中，包括以下至少一种：1)所述头部姿态信息包括：头部航向角、头部俯仰角、及头部滚转角；所述基于头部姿态信息判断是否头部姿态异常，包括：判断头部航向角、头部俯仰角、及头部滚转角中的任意一个是否超出预设角度阈值范围；若超出，则判断头部姿态异常；2)所述视线角度信息包括眼睛航向角和眼睛俯仰角；所述基于视线角度信息判断是否异常，包括：分别判断所述眼睛航向角和眼睛俯仰角是否超出预设角度阈值范围，若均未超出预设角度阈值范围，则判断视线状态正常；否则，判断视线状态异常；3)所述眼睛关键点信息包括瞳孔中心位置信息；所述基于眼睛关键点信息判断是否异常，包括：分别对应左眼和右眼，判断预测的瞳孔中心位置信息与对应的瞳孔中心的位置信
息之间偏差距离是否大于预设距离阈值；若左眼和右眼的所述偏差距离均大于预设距离阈值，则判断视线状态异常；否则，判断视线状态正常；4)所述眼睛关键点信息包括：至少绘出眼睛轮廓的各眼睛关键点；所述基于眼睛关键点信息判断是否异常，包括：分别对应左眼和右眼，基于各所述眼睛关键点计算眼睛的宽高比并与预设宽高比阈值比较；若左眼和右眼的宽高比均大于预设宽高比阈值，则判断视线状态异常；否则，判断视线状态正常；5)在3)和4)均判断视线状态异常的情况下，确定基于眼睛关键点信息判断异常；6)所述视线状态估计方法周期性地执行；在预设时间范围内判断得到的视线状态异常状态的数量占总数量超过预设比例，形成警告信息。
[0019]本公开第三方面提供一种视线预测模型的训练装置，包括：图像获取模块，用于获取包含各预识别人脸关键点的每个原始人脸图像；所述各预识别人脸关键点包括每个眼睛的瞳孔中心；图像截取模块，用于基于预设尺寸的截取窗口，以每个所述瞳孔中心为图像中心对每个原始人脸图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线预测模型的训练方法，其特征在于，包括：获取包含各预识别人脸关键点的每个原始人脸图像；所述各预识别人脸关键点包括每个眼睛的瞳孔中心；基于预设尺寸的截取窗口，以每个所述瞳孔中心为图像中心对每个原始人脸图像进行预设尺寸的图像截取，以得到每个原始人脸图像对应的至少一对特征图像；所述至少一对特征图像包括：左眼特征图像和右眼特征图像；基于每个所述特征图像进行头部姿态信息、眼睛关键点信息、及视线角度信息的标注，以得到携带标注的每一对特征图像，且基于每一对所述特征图像形成训练数据；将每个训练数据输入到视线预测模型；其中，所述视线预测模型被配置成基于人脸输入图像输出所预测的头部姿态信息、眼睛关键点信息、及视线角度信息；利用损失函数，基于所述视线预测模型根据训练数据的输出结果计算损失并根据损失更新所述视线预测模型的模型参数。2.根据权利要求1所述的训练方法，其特征在于，所述基于预设尺寸的截取窗口，以每个所述瞳孔中心为图像中心对每个原始人脸图像进行预设尺寸的图像截取，以得到每个原始人脸图像对应的至少一对特征图像，包括：基于所述图像截取结果同原始人脸图像的非重叠区域相对于所述图像中心在上、下、左、右的四个方向上的相对位置，确定从重叠区域边界分别沿所述四个方向填充所需像素数量，并执行预设像素值的填充以得到所述特征图像；对于所述特征图像转换至视线预测模型的输入尺寸，以得到所述训练数据。3.根据权利要求1所述的训练方法，其特征在于，每个所述特征图像包含至少3/4的原始人脸图像的图像区域。4.根据权利要求1所述的训练方法，其特征在于，所述视线预测模型包括：第一图像特征编码模块、第二图像特征编码模块、图像特征融合模块、及图像解码模块；所述第一图像特征编码模块，用于基于左眼特征图像进行特征提取以得到第一特征数据；所述第二图像特征编码模块，用于基于右眼特征图像进行特征提取以得到第二特征数据；所述图像特征融合模块，用于融合所述第一特征数据和第二特征数据以得到融合特征结果；所述图像解码模块，用于解码所述融合特征结果以得到所述输出结果。5.根据权利要求1所述的训练方法，其特征在于，所述损失函数计算的损失包括：预测的头部姿态信息相对于标注的头部姿态信息的第一损失部分、预测的眼睛关键点信息相对于标注的眼睛关键点信息的第二损失部分、及预测的视线角度信息相对于标注的视线角度信息的第三损失部分的加权和；其中，第三损失部分的权重高于第二损失部分的权重，第二损失部分的权重高于第一损失部分的权重。6.一种视线估计方法，其特征在于，包括：获取待预测人脸图像，并基于待预测人脸图像得到待预测的至少一对特征图像；所述至少一对特征图像包括左眼特征图像和右眼特征图像；输入所述待预测的至少一对特征图像至已训练的视线预测模型，得到对应所预测的头
部姿态信息、眼睛关键点信息、及视线角度信息；其中，所述视线预测模型通过如权利要求1至5中任一项所述的训练方法训练得到；基于所预测的头部姿态信息、眼睛关键点信息、及视线角度信息进行视线状态估计。7.根据权利要求6所述的视线估计方法，其特征在于，所述基于所预测的头部姿态信息、眼睛关键点信息、及视线角度信息进行视线状态估计，包括：基于头部姿态信息判断是否头部姿态异常；若头部姿态异常，则判断视线状态异常；若头部姿态正常，则基于眼睛关键点信息判断是否异常、且基于视线角度信息判断是否异常；若基于眼睛关键点信息判断异常、以及基于视线角度信息判断异常，则判断视线状态异常；否则，判断视线状态正常。8.根据权利要求7所述的视线估计方法，其特征在于，包括以下至少一种：1)所述头部姿态信息包括：头部航向角、头部俯仰角、及头部滚转角；所述基于头部姿态信息判断是否头部姿态异常，包括：判断头部航向角、头部俯仰角、及头部滚转...

【专利技术属性】
技术研发人员：齐丹阳，田俊，贺伦，蒋鑫，
申请(专利权)人：上海保隆领目汽车科技有限公司，
类型：发明
国别省市：