一种人眼图像增强方法技术

本公开的实施例公开了人眼图像增强方法。该方法的一具体实施方式包括：获取参考人眼图像集合和目标人眼图像；对参考人眼图像集合进行人眼区域分割；对关键区域组集合进行像素值采样；对关键区域组集合构建直方图向量，得到直方图向量组集合；对直方图向量组集合进行数据拟合，得到高斯混合模型集合；对直方图向量组集合进行重采样，得到参考直方图向量集合；对目标人眼图像进行人眼区域分割，得到目标关键区域组；对目标关键区域组构建像素直方图向量，得到像素直方图向量组；将像素直方图向量组映射到参考直方图向量集合；对目标关键区域组的像素值进行增强，得到增强人眼图像。该实施方式可以实现快速实时的人眼图像增强。施方式可以实现快速实时的人眼图像增强。施方式可以实现快速实时的人眼图像增强。

【技术实现步骤摘要】
一种人眼图像增强方法


[0001]本公开的实施例涉及数据增强
，具体涉及人眼图像增强方法。

技术介绍

[0002]视线跟踪技术作为新颖的人机交互方式，对理解用户行为意图具有重要意义。目前的视线跟踪技术主要分为传统方法和基于深度学习的方法。基于深度学习的方法需要学习大量的训练样本，来分割人眼的瞳孔、虹膜、巩膜区域，但是真实的人眼数据集标注成本昂贵，虽然有部分人眼数据集有较丰富的标签，但是其采集场景较为单一，进行跨数据集测试时，神经网络的表现不佳。此外，由于虚拟图像和真实图像分布之间的差距，如真实人眼图像虹膜和巩膜边界模糊，虚拟图像不够真实等，导致神经网络仅学习存在于虚拟图像中的细节，而无法在真实图像上很好的泛化。此时，人眼图像的数据增强技术就显得尤为重要。

技术实现思路

[0003]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]本公开的一些实施例提出了人眼图像增强方法，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0005]获取参考人眼图像集合和目标人眼图像；对上述参考人眼图像集合中的每个参考人眼图像进行人眼区域分割以生成关键区域组和与上述关键区域组对应的分割置信度图组，得到关键区域组集合和分割置信度图组集合；根据上述分割置信度图组集合，对上述关键区域组集合中的各个关键区域组中的每个关键区域进行像素值采样以生成像素值，得到像素值组集合；基于上述像素值组集合，对上述关键区域组集合中的各个关键区域组中的每个关键区域构建直方图向量，得到直方图向量组集合，其中，上述直方图向量组集合中的直方图向量组是对应不同类型关键区域的直方图向量；对上述直方图向量组集合中的各个直方图向量组中的相同类型的关键区域对应的直方图向量进行数据拟合以生成高斯混合模型，得到高斯混合模型集合；利用上述高斯混合模型集合，对上述直方图向量组集合中的各个直方图向量组中的相同类型的关键区域对应的直方图向量进行重采样以生成参考直方图向量，得到参考直方图向量集合；对上述目标人眼图像进行人眼区域分割，得到目标关键区域组；对上述目标关键区域组中的每个目标关键区域构建像素直方图向量，得到像素直方图向量组；利用直方图匹配算法，将上述像素直方图向量组映射到上述参考直方图向量集合，得到映射函数；利用上述映射函数，对上述目标关键区域组的像素值进行增强，得到增强人眼图像。
[0006]传统数据增强方法对虚拟数据集的增强效果不佳。使用生成对抗网络(GAN，Generative Adversarial Networks)来增强虚拟数据集的真实性，虽然能够保留视线标注
信息，但是增强前后的瞳孔、虹膜、眼睑位置发生了变化。另外，生成对抗网络输入图像的分辨率较小，例如55
×
35，训练高分辨率的人眼图像如320
×
240则非常耗时。还可以将虚拟图像和目标图像用Lab颜色空间来表示。然后在每一个颜色通道上，使用直方图匹配算法，对齐虚拟图像和目标图像的直方图。该方法采用全局对齐，没有考虑不同物体的颜色不一样，会导致图像整体颜色发生偏移。就像通过“有色玻璃”拍摄的图像，真实性仍不足。此外，该方法参考的直方图，都是现存图像对应的直方图，无法生成新的目标直方图，导致对齐后的图像的颜色较为单一。在此前提下，本专利技术提供了一种人眼图像增强方法，结合参考直方图的重采样和各人眼关键区域的独立映射，主要用于使增强后的图像的各个关键区域都符合参考图像的特点，也保证了增强前后瞳孔、虹膜、眼睑位置不发生变化，进而实现快速实时的人眼图像增强。
附图说明
[0007]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0008]图1是根据本公开的人眼图像增强方法的一些实施例的流程图；
[0009]图2是参考人眼图像及人眼关键区域图；
[0010]图3是人眼关键区域对应直方图和累积分布图；
[0011]图4是直方图匹配流程图；
[0012]图5是累积分布函数的映射示意图。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0014]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0015]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0016]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0017]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0018]下面将参考附图并结合实施例来详细说明本公开。
[0019]图1是根据本公开的人眼图像增强方法的一些实施例的流程图。
[0020]步骤101，获取参考人眼图像集合和目标人眼图像。
[0021]在一些实施例中，人眼图像增强方法的执行主体可以通过有线连接方式或者无线连接方式获取参考人眼图像集合和目标人眼图像。其中，上述参考人眼图像集合中的参考
人眼图像可以是能够尽可能的表征人眼特征的图像。上述目标人眼图像可以包括但不限于以下至少一项：合成的人眼图像和真实的人眼图像。上述目标人眼图像是包括关键区域标注信息的图像。
[0022]在一些实施例的一些可选的实现方式中，上述获取参考人眼图像集合，可以包括以下步骤：
[0023]第一步，获取人眼图像集合。其中，上述人眼图像集合中的人眼图像所在空间为K维空间。K＝W
×
H。K表示人眼图像所在空间的维度。W表示人眼图像的宽。H表示人眼图像的高。其中，上述人眼图像集合的采集方式可以是利用红外相机或者彩色相机进行采集。红外相机或者彩色相机的位置可以放置于距离人眼第一距离的近眼位置，或者放置于距离人眼第二距离的远端位置。对于放置于距离人眼第二距离的远端位置，可以对红外相机或者彩色相机采集的人脸图像进行人眼图像提取，得到人眼图像。
[0024]第二步，对上述人眼图像集合中的各个人眼图像进行图像采样，得到采样后的人眼图像集合作为参考人眼图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人眼图像增强方法，包括：获取参考人眼图像集合和目标人眼图像；对所述参考人眼图像集合中的每个参考人眼图像进行人眼区域分割以生成关键区域组和与所述关键区域组对应的分割置信度图组，得到关键区域组集合和分割置信度图组集合；根据所述分割置信度图组集合，对所述关键区域组集合中的各个关键区域组中的每个关键区域进行像素值采样以生成像素值，得到像素值组集合；基于所述像素值组集合，对所述关键区域组集合中的各个关键区域组中的每个关键区域构建直方图向量，得到直方图向量组集合，其中，所述直方图向量组集合中的直方图向量组是对应不同类型关键区域的直方图向量；对所述直方图向量组集合中的各个直方图向量组中的相同类型的关键区域对应的直方图向量进行数据拟合以生成高斯混合模型，得到高斯混合模型集合；利用所述高斯混合模型集合，对所述直方图向量组集合中的各个直方图向量组中的相同类型的关键区域对应的直方图向量进行重采样以生成参考直方图向量，得到参考直方图向量集合；对所述目标人眼图像进行人眼区域分割，得到目标关键区域组；对所述目标关键区域组中的每个目标关键区域构建像素直方图向量，得到像素直方图向量组；利用直方图匹配算法，将所述像素直方图向量组映射到所述参考直方图向量集合，得到映射函数；利用所述映射函数，对所述目标关键区域组的像素值进行增强，得到增强人眼图像。2.根据权利要求1所述的方法，其中，所述增强人眼图像包括像素值增强后的目标关键区域组；以及所述方法还包括：对所述增强人眼图像包括的像素值增强后的目标关键区域组中的各个像素值增强后的目标关键区域做模糊处理，得到融合人眼图像，其中，所述融合人眼图像是各个像素值增强后的目标关键区域的融合程度达到第一预设阈值的图像，模糊处理是把各个像素值增强后的目标关键区域作为整体区域，对整体区域做高斯模糊处理的处理；将所述融合人眼图像发送至显示器终端以供显示。3.根据权利要求2所述的方法，其中，所述获取参考人眼图像集合，包括：获取人眼图像集合，其中，所述人眼图像集合中的人眼图像所在空间为K维空间，K＝W
×
H，K表示人眼图像所在空间的维度，W表示人眼图像的宽，H表示人眼图像的高；对所述人眼图像集合中的各个人眼图像进行图像采样，得到采样后的人眼图像集合作为参考人眼图像集合，其中，所述人眼图像集合中人眼图像的数量为M，所述参考人眼图像集合中参考人眼图像的数量为N，图像采样包括以下步骤：将所述人眼图像集合所在空间的维度K降维到D维空间，得到降维后的人眼图像集合和表征所述降维后的人眼图像集合的点集，其中，降维采用以下至少一种方式：主成分分析法PCA和t分布随机邻域嵌入t
‑
SNE，K的取值为(K＞＞D)；
从所述点集中确定满足预设条件的点X，利用以下公式，得到需剔除的点再从M
‑
1个点中重新确定X，累积重复M
‑
N次，将剩余的N个点对应的降维后的人眼图像作为参考人眼图像，得到参考人眼图像集合，其中，N表示用于表征M个点对应的降维后的人眼图像的特征的点的数量，N个点在D维空间下两两之间的距离之和大于第二预设阈值：其中，表示需剔除的点，表示对函数求参数的函数，X表示所述点集中满足所述预设条件的点，F(X)表示求X和所述点集中的点的距离的和，F( )表示求任意一点和所述点集中的点的距离的和，M表示所述点集中的点的数量，j表示序号，j的取值为j≤M，d( )表示两点之间的距离，P
j
表示所述点集中第j个的点，P表示所述点集中的点。4.根据权利要求3所述的方法，其中，所述对所述参考人眼图像集合中的每个参考人眼图像进行人眼区域分割以生成关键区域组和与所述关键区域组对应的分割置信度图组，包括：利用深度学习网络，确定所述参考人眼图像中的每个像素的所属区域，得到所属区域集合，其中，所述所属区域集合中的所属区域包括椭圆结构的瞳孔区域、被眼皮遮挡的虹膜区域、未被眼皮遮挡的巩膜区域和眼部皮肤区域；将所述所属区域集合中相同的所属区域对应的像素确定为关键区域，得到关键区域组。5.根据权利要求4所述的方法，其中，所述对所述参考人眼图像集合中的每个参考人眼图像进行人眼区域分割以生成关键区域组和与所述关键区域组对应的分割置信度图组，还包括：利用深度学...

【专利技术属性】
技术研发人员：陆峰，王智敏，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：