注意力判定方法、模型训练方法及对应装置制造方法及图纸

本申请涉及人工智能技术领域，提供一种注意力判定方法、模型训练方法及对应装置。其中，注意力判定方法包括：获取待判定的人眼图像；将人眼图像输入至预训练的神经网络模型，获得神经网络模型输出的视线估计结果以及眼睛状态；判断眼睛状态是否满足注意力判定条件，若眼睛状态满足注意力判定条件，则根据视线估计结果确定第一注意力判定结果。该方法并非直接使用视线估计结果进行注意力判定，而是先对眼睛状态进行判断，仅在眼睛状态满足注意力判定条件时，才会根据视线估计结果进行注意力判定，从而有效避免了在某些非正常的眼睛状态下得到的视线估计结果并不能有效地进行注意力判定的问题，显著提高的注意力判定的准确性。显著提高的注意力判定的准确性。显著提高的注意力判定的准确性。

【技术实现步骤摘要】
注意力判定方法、模型训练方法及对应装置


[0001]本专利技术涉及人工智能
，具体而言，涉及一种注意力判定方法、模型训练方法及对应装置。

技术介绍

[0002]人的注意力判定通常是通过人眼完成的。越来越多的智能系统中开始加入人的注意力判定功能。例如，在广告效果监测系统中，可以通过人眼注视点的移动来判断人的偏好；在智能驾驶辅助系统中，可以通过追踪驾驶员的视线及时预警，避免安全事故的发生等。现有方法普遍直接使用视线估计结果进行注意力判定，导致判定结果不够准确。

技术实现思路

[0003]本申请实施例的目的在于提供一种注意力判定方法、模型训练方法及对应装置，以改善上述技术问题。
[0004]为实现上述目的，本申请提供如下技术方案：
[0005]第一方面，本申请实施例提供一种注意力判定方法，包括：获取待判定的人眼图像；将所述人眼图像输入至预训练的神经网络模型，获得所述神经网络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或眼睛遮挡状态；判断所述眼睛状态是否满足注意力判定条件，若所述眼睛状态满足所述注意力判定条件，则根据所述视线估计结果确定第一注意力判定结果。
[0006]在上述方法中，并非直接使用视线估计结果进行注意力判定，而是先对眼睛状态进行判断，仅在眼睛状态满足注意力判定条件时，才会根据视线估计结果进行注意力判定，从而有效避免了在某些非正常的眼睛状态(例如，闭眼、被遮挡)下得到的视线估计结果并不能有效地进行注意力判定的问题，显著提高的注意力判定的准确性。
[0007]在第一方面的一种实现方式中，所述眼睛状态包括眼睛开闭状态和眼睛遮挡状态，所述判断所述眼睛状态是否满足注意力判定条件，若所述眼睛状态满足所述注意力判定条件，则根据所述视线估计结果确定第一注意力判定结果，包括：判断所述眼睛开闭状态是否为眼睛睁开；若所述眼睛开闭状态为眼睛睁开，则判断所述眼睛遮挡状态是否为未被遮挡；若所述眼睛遮挡状态为未被遮挡，则根据所述视线估计结果确定第一注意力判定结果；其中，所述眼睛开闭状态为眼睛睁开且所述眼睛遮挡状态为未被遮挡，表明所述眼睛状态满足所述注意力判定条件。
[0008]若眼睛状态包括眼睛开闭状态和眼睛遮挡状态，在上述实现方式中，仅在眼睛睁开且眼睛未被遮挡时，才根据视线估计结果进一步判定注意力，此举有利于提高注意力判定的准确性。
[0009]在第一方面的一种实现方式中，所述根据所述视线估计结果确定第一注意力判定结果，包括：判断所述视线估计结果是否处于正常视线范围内；若所述视线估计结果处于所述正常视线范围内，则将所述第一注意力判定结果确定为第一结果，否则将所述第一注意
力判定结果确定为第二结果，所述第一结果表示视线正常，所述第二结果表示视线偏离。
[0010]上述实现方式给出了一种根据视线估计结果进行注意力判定的具体方法：由于视线估计结果可以量化表示(例如，用姿态角表示视线)，从而可以设定一个阈值范围(即上面的正常视线范围)来判定视线是否正常。
[0011]在第一方面的一种实现方式中，在所述判断所述眼睛开闭状态是否为眼睛睁开之后，所述方法还包括：若所述眼睛开闭状态为眼睛闭合，则将所述第一注意力判定结果确定为所述第二结果；在所述判断所述眼睛遮挡状态是否为未被遮挡之后，所述方法还包括：若所述眼睛遮挡状态为被遮挡，则将所述第一注意力判定结果确定为第三结果，所述第三结果表示注意力不可判断。
[0012]上述实现方式给出了一种在眼睛闭合或者眼睛被遮挡时的注意判定方法。此外，考虑对多帧图像进行注意力判定的情况，由于在判断眼睛状态时，先判断眼睛是否睁开，再判断眼睛是否被遮挡，因此有利于得到更多的明确判定结果(第二结果)，从而能够增强注意力判定方法在实际系统中的可用性。相对地，如果先判断眼睛是否被遮挡，再判断眼睛是否睁开，则注意力判定结果中可能包含更多的非明确判定结果(第三结果)，不容易为实际系统所采纳。
[0013]在第一方面的一种实现方式中，所述获取待判定的人眼图像，包括：获取人脸图像；从所述人脸图像中裁剪出所述人眼图像。
[0014]摄像头往往拍摄范围较大，很难只采集人眼图像，从而可以先采集人脸图像(指包含人脸的图像)，再在从人脸图像中裁剪出人眼图像。裁剪方法有多种，例如可基于人脸图像的特征点检测结果进行裁剪，或者根据人脸图像的目标检测结果(目标为眼睛)进行裁剪等。
[0015]在第一方面的一种实现方式中，所述从所述人脸图像中裁剪出所述人眼图像，包括：检测得到所述人脸图像中人物的头部姿态；根据所述头部姿态，从所述人脸图像中裁剪出更靠近摄像头的眼睛的图像作为所述人眼图像。
[0016]此种实现方式针对的是采用单眼图像进行注意力判定的情况。人物的头部姿态不同时，两只眼睛的图像也具有不同的质量(此处的质量是针对视线估计和眼睛状态预测这两项任务而言)，更靠近摄像头的眼睛图像具有较高的质量，选择其作为人眼图像有利于获得更精确的视线估计结果和眼睛状态预测结果，从而提高后续注意力判定的准确性。例如，人物正对摄像头时，若头部向自己的左侧偏转，则左眼将远离并侧对着摄像头，左眼图像在人脸图像中的面积也显著缩小，不利于对左眼进行视线估计以及眼睛状态预测，此时根据人物的头部姿态可选择右眼图像作为人眼图像，进行后续的注意力判定依据。
[0017]在第一方面的一种实现方式中，所述将所述人眼图像输入至预训练的神经网络模型，获得所述神经网络模型输出的视线估计结果以及眼睛状态，包括：检测得到所述人脸图像中人物的头部姿态；所述将所述人眼图像及其对应的头部姿态输入至预训练的神经网络模型，获得所述神经网络模型输出的视线估计结果以及眼睛状态。
[0018]人物的头部姿态对于人眼图像的质量存在影响，从而在利用神经网络模型进行视线估计以及眼睛状态预测时，可将头部姿态作为模型的一项输入，以改善视线估计结果和眼睛状态预测结果。
[0019]在第一方面的一种实现方式中，所述方法还包括：检测得到所述人脸图像中人物
的头部姿态；判断所述头部姿态是否处于正常姿态范围内；所述从所述人脸图像中裁剪出所述人眼图像，包括：若所述头部姿态处于所述正常姿态范围内，则从所述人脸图像中裁剪出所述人眼图像；所述方法还包括：若所述头部姿态处于所述正常姿态范围外，则将所述第一注意力判定结果确定为第二结果，所述第二结果表示视线偏离。
[0020]在上述实现方式中，仅在头部姿态正常时，才进一步进行人眼图像裁剪，头部姿态非正常时则直接判定为视线偏离，从而有效避免了在某些非正常的头部姿态(例如，偏转角度过大)下得到的人眼图像质量较差，并不能有效进行视线估计和眼睛状态预测的问题，有利于提高注意力判定的准确性。并且，由于头部姿态可以量化表示(例如，用姿态角表示视线)，从而可以设定一个阈值范围(即上面的正常姿态范围)来判定头部姿态是否正常。
[0021]在第一方面的一种实现方式中，所述神经网络模型被训练为专门处理灰度图像，所述获取待判定的人眼图像，包括：获取原始人眼图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注意力判定方法，其特征在于，包括：获取待判定的人眼图像；将所述人眼图像输入至预训练的神经网络模型，获得所述神经网络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或眼睛遮挡状态；判断所述眼睛状态是否满足注意力判定条件，若所述眼睛状态满足所述注意力判定条件，则根据所述视线估计结果确定第一注意力判定结果。2.根据权利要求1所述的注意力判定方法，其特征在于，所述眼睛状态包括眼睛开闭状态和眼睛遮挡状态，所述判断所述眼睛状态是否满足注意力判定条件，若所述眼睛状态满足所述注意力判定条件，则根据所述视线估计结果确定第一注意力判定结果，包括：判断所述眼睛开闭状态是否为眼睛睁开；若所述眼睛开闭状态为眼睛睁开，则判断所述眼睛遮挡状态是否为未被遮挡；若所述眼睛遮挡状态为未被遮挡，则根据所述视线估计结果确定第一注意力判定结果；其中，所述眼睛开闭状态为眼睛睁开且所述眼睛遮挡状态为未被遮挡，表明所述眼睛状态满足所述注意力判定条件。3.根据权利要求2所述的注意力判定方法，其特征在于，所述根据所述视线估计结果确定第一注意力判定结果，包括：判断所述视线估计结果是否处于正常视线范围内；若所述视线估计结果处于所述正常视线范围内，则将所述第一注意力判定结果确定为第一结果，否则将所述第一注意力判定结果确定为第二结果，所述第一结果表示视线正常，所述第二结果表示视线偏离。4.根据权利要求2所述的注意力判定方法，其特征在于，在所述判断所述眼睛开闭状态是否为眼睛睁开之后，所述方法还包括：若所述眼睛开闭状态为眼睛闭合，则将所述第一注意力判定结果确定为第二结果；在所述判断所述眼睛遮挡状态是否为未被遮挡之后，所述方法还包括：若所述眼睛遮挡状态为被遮挡，则将所述第一注意力判定结果确定为第三结果，所述第三结果表示注意力不可判断。5.根据权利要求1所述的注意力判定方法，其特征在于，所述获取待判定的人眼图像，包括：获取人脸图像；从所述人脸图像中裁剪出所述人眼图像。6.根据权利要求5所述的注意力判定方法，其特征在于，所述从所述人脸图像中裁剪出所述人眼图像，包括：检测得到所述人脸图像中人物的头部姿态；根据所述头部姿态，从所述人脸图像中裁剪出更靠近摄像头的眼睛的图像作为所述人眼图像。7.根据权利要求5所述的注意力判定方法，其特征在于，所述将所述人眼图像输入至预训练的神经网络模型，获得所述神经网络模型输出的视线估计结果以及眼睛状态，包括：检测得到所述人脸图像中人物的头部姿态；所述将所述人眼图像及其对应的头部姿态输入至预训练的神经网络模型，获得所述神
经网络模型输出的视线估计结果以及眼睛状态。8.根据权利要求5所述的注意力判定方法，其特征在于，所述方法还包括：检测得到所述人脸图像中人物的头部姿态；判断所述头部姿态是否处于正常姿态范围内；所述从所述人脸图像中裁剪出所述人眼图像，包括：若所述头部姿态处于所述正常姿态范围内，则从所述人脸图像中裁剪出所述人眼图像；所述方法还包括：若所述头部姿态处于所述正常姿态范围外，则将所述第一注意力判定结果确定为第二结果，所述第二结果表示视线偏离。9.根据权利要求1所述的注意力判定方法，其特征在于，所述神经网络模型被...

【专利技术属性】
技术研发人员：赵姗，徐昊，刘帅成，
申请(专利权)人：成都旷视金智科技有限公司，
类型：发明
国别省市：