一种关注区域检测方法、装置、可读存储介质及终端设备制造方法及图纸

本申请属于图像处理技术领域，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。所述方法获取待检测的目标人脸图像；计算所述目标人脸图像的头部姿态；提取所述目标人脸图像中的左眼图像和右眼图像；根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对人脸图像的图像分析处理来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。

【技术实现步骤摘要】
一种关注区域检测方法、装置、可读存储介质及终端设备
本申请属于图像处理
，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。
技术介绍
线下屏幕主要包含电视机、楼宇屏幕、影院取票机、影院LED、楼宇屏幕、超市/便利店POS机屏、出租车车载屏幕、投影机以及快递屏等。涉及到用户生活的各个方面。基于线下屏幕的线下广告方式在吸引消费者注意力方面有着天然的优势，但是线下广告的设计和内容是否更吸引消费者，广告商无法迅速知道，这导致线下广告好坏的反馈往往不如线上迅速和准确。这些造成了某些广告投放不够精准，效率不高的问题。现有技术中可以使用眼动仪设备等精密仪器来跟踪眼部运动，确定其关注区域，但其价格十分昂贵，难以进行广泛应用。
技术实现思路
有鉴于此，本申请实施例提供了一种关注区域检测方法、装置、计算机可读存储介质及终端设备，以解决现有的关注区域检测方法价格十分昂贵，难以进行广泛应用的问题。本申请实施例的第一方面提供了一种关注区域检测方法，可以包括：获取待检测的目标人脸图像；计算所述目标人脸图像的头部姿态；提取所述目标人脸图像中的左眼图像和右眼图像；根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。进一步地，所述根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域包括：根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；根据所述眼部关注点的坐标确定眼部关注区域。进一步地，所述根据所述眼部关注点的坐标确定眼部关注区域包括：根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；将所述像素位置所处的屏幕区域确定为所述眼部关注区域。进一步地，所述根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换包括：根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。进一步地，所述根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向包括：将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；所述视线预测模型的处理过程包括：分别在所述左眼图像和所述右眼图像中进行特征信息提取，得到左眼特征信息和右眼特征信息；将所述左眼特征信息和所述右眼特征信息进行融合处理，得到双眼特征信息；将所述双眼特征信息和所述头部姿态进行融合处理，得到所述视线关注方向。进一步地，在将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理之前，所述方法还可以包括：构造训练样本集，其中，所述训练样本集中包括SN个训练样本，每个训练样本均包括预先采集的受试者的左眼图像、右眼图像和头部姿态，且每个训练样本对应的标签均为预先标定的视线关注方向，SN为正整数；使用所述训练样本集对初始状态的视线预测模型进行训练，得到所述预训练好的视线预测模型。进一步地，在根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域之后，所述方法还可以包括：提取所述目标人脸图像中的人脸特征信息；根据所述人脸特征信息确定与所述目标人脸图像对应的用户信息；确定与所述眼部关注区域对应的屏幕展示信息；建立所述用户信息与所述屏幕展示信息之间的对应关系。本申请实施例的第二方面提供了一种关注区域检测装置，可以包括：人脸图像获取模块，用于获取待检测的目标人脸图像；头部姿态计算模块，用于计算所述目标人脸图像的头部姿态；眼部图像提取模块，用于提取所述目标人脸图像中的左眼图像和右眼图像；视线关注方向确定模块，用于根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；眼部关键点检测模块，用于分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；眼部关注区域确定模块，用于根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。进一步地，所述眼部关注区域确定模块可以包括：中心点坐标计算子模块，用于根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；点面距离计算子模块，用于根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；眼部关注点坐标计算子模块，用于根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；眼部关注区域确定子模块，用于根据所述眼部关注点的坐标确定眼部关注区域。进一步地，所述眼部关注区域确定子模块可以包括：坐标转换单元，用于根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；像素位置判断单元，用于根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；屏幕区域确定单元，用于若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；眼部关注区域确定单元，用于将所述像素位置所处的屏幕区域确定为所述眼部关注区域。进一步地，所述坐标转换单元可以包括：距离计算子单元，用于根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；第一像素位置计算子单元，用于根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；第二像素位置计算子单元，用于根据所述第二距离和预设的第本文档来自技高网...

【技术保护点】
1.一种关注区域检测方法，其特征在于，包括：/n获取待检测的目标人脸图像；/n计算所述目标人脸图像的头部姿态；/n提取所述目标人脸图像中的左眼图像和右眼图像；/n根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；/n分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；/n根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。/n

【技术特征摘要】
1.一种关注区域检测方法，其特征在于，包括：
获取待检测的目标人脸图像；
计算所述目标人脸图像的头部姿态；
提取所述目标人脸图像中的左眼图像和右眼图像；
根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向；
分别在所述左眼图像和所述右眼图像中进行眼部关键点检测，得到左眼瞳孔中心点的坐标和右眼瞳孔中心点的坐标；
根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域。


2.根据权利要求1所述的关注区域检测方法，其特征在于，所述根据所述视线关注方向、所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标确定眼部关注区域包括：
根据所述左眼瞳孔中心点的坐标和所述右眼瞳孔中心点的坐标计算双眼瞳孔中心点的坐标；
根据所述双眼瞳孔中心点的坐标计算所述双眼瞳孔中心点与预设的屏幕之间的点面距离；
根据所述视线关注方向、所述双眼瞳孔中心点的坐标和所述点面距离计算眼部关注点的坐标；
根据所述眼部关注点的坐标确定眼部关注区域。


3.根据权利要求2所述的关注区域检测方法，其特征在于，所述根据所述眼部关注点的坐标确定眼部关注区域包括：
根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换，得到所述眼部关注点在所述屏幕中的像素位置；
根据预设的屏幕分辨率判断所述像素位置是否处于所述屏幕的范围内；
若所述像素位置处于所述屏幕的范围内，则根据预设的屏幕区域划分规则确定所述像素位置所处的屏幕区域；
将所述像素位置所处的屏幕区域确定为所述眼部关注区域。


4.根据权利要求3所述的关注区域检测方法，其特征在于，所述根据预设的基准像素点的坐标对所述眼部关注点的坐标进行转换包括：
根据所述基准像素点的坐标和所述眼部关注点的坐标分别计算第一距离和第二距离，所述第一距离为所述基准像素点和所述眼部关注点在预设的第一坐标轴方向上的距离，所述第二距离为所述基准像素点和所述眼部关注点在预设的第二坐标轴方向上的距离；
根据所述第一距离和预设的第一转换系数计算所述眼部关注点在所述第一坐标轴方向上的像素位置；
根据所述第二距离和预设的第二转换系数计算所述眼部关注点在所述第二坐标轴方向上的像素位置。


5.根据权利要求1所述的关注区域检测方法，其特征在于，所述根据所述左眼图像、所述右眼图像和所述头部姿态确定视线关注方向包括：
将所述左眼图像、所述右眼图像和所述头部姿态输入到预训练好的视线预测模型中进行处理，得到所述视线关注方向；

【专利技术属性】
技术研发人员：王杉杉，胡文泽，王孝宇，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44