基于虹膜大小估计深度制造技术

示例实施例涉及基于虹膜大小来估计深度信息。计算系统可以获得描绘人的图像，并基于人的面部的特征来确定该面部的面部网格。在一些情况下，面部网格包括面部标志和眼睛标志的组合。因此，计算系统可以基于面部网格的眼睛标志来估计眼睛的虹膜像素尺寸，并且基于虹膜像素尺寸、平均值虹膜尺寸和相机的固有矩阵来估计面部的眼睛相对于相机的距离。计算系统可以基于估计的距离进一步修改图像。以基于估计的距离进一步修改图像。以基于估计的距离进一步修改图像。

【技术实现步骤摘要】
【国外来华专利技术】基于虹膜大小估计深度
[0001]相关申请的交叉引用
[0002]本申请要求2020年1月13日提交的美国临时申请第62/960,514号的优先权，其全部内容通过引用结合于此。

技术介绍

[0003]许多现代计算设备，诸如移动电话、个人计算机和平板计算机，包括图像捕获设备(例如，静态和/或视频相机)。图像捕获设备可以捕获能够描绘各种场景(包括涉及人、动物、风景和/或对象的场景)的图像。
[0004]当捕获图像时，图像捕获设备通常生成三维场景(3D)的二维表示。为了获得关于场景的三维(3D)信息，通常使用多个组件。例如，立体相机设置是一种用于为场景生成3D信息的常用技术。立体相机涉及使用两个或更多个图像捕获组件，这些图像捕获组件同时捕获多个图像以创建或模拟3D立体图像。尽管立体相机可以产生关于场景的深度信息，但是使用多个图像捕获组件可能会增加与获取深度信息相关联的成本和复杂性。

技术实现思路

[0005]本文呈现的示例实施例涉及深度估计技术，该技术涉及单个图像捕获组件的使用。具体地，智能手机或另一类型的处理设备(例如，计算系统)可以在由图像捕获组件捕获的图像中识别人的面部的存在，并且随后生成表示人的面部的轮廓和特征的面部网格。基于指示面部的一只或两只眼睛的外形特征的面部网格的眼睛标志，设备可以估计至少一只眼睛的一个或多个眼睛像素尺寸。例如，该设备可以估计图像中表示的眼睛的虹膜的像素大小。使用一个或多个估计的眼睛像素尺寸、捕获图像的图像捕获组件的固有矩阵以及对应于估计的眼睛像素尺寸的平均值眼睛尺寸，可以估计表示图像捕获组件和人的面部之间的距离的深度。深度估计然后可以用于使用各种技术来增强原始图像，诸如生成聚焦于人的原始图像的新版本，同时以类似于散景效应(Bokeh effect)的方式模糊图像的其他部分。
[0006]因此，在第一示例实施例中，提供了一种方法。该方法包括在计算系统处从相机获得描绘人的图像，并基于人的面部的一个或多个特征来确定该面部的面部网格。面部网格包括面部标志和眼睛标志的组合。该方法还包括基于面部网格的眼睛标志来估计面部的至少一只眼睛的眼睛像素尺寸，以及由计算系统基于眼睛像素尺寸和相机的固有矩阵来估计至少一只眼睛相对于相机的距离。该方法还包括基于至少一只眼睛相对于相机的距离来修改图像。
[0007]在第二示例实施例中，提供了一种系统。该系统包括具有固有矩阵的相机和被配置为执行操作的计算系统。这些操作包括从相机获得描绘人的图像，并基于人的面部的一个或多个特征来确定该面部的面部网格。面部网格包括面部标志和眼睛标志的组合。这些操作还包括基于面部网格的眼睛标志来估计面部的至少一只眼睛的眼睛像素尺寸，以及基于眼睛像素尺寸和相机的固有矩阵来估计至少一只眼睛相对于相机的距离。这些操作还包
括基于至少一只眼睛相对于相机的距离来修改图像。
[0008]在第三示例实施例中，提供了一种被配置为存储指令的非暂时性计算机可读介质。程序指令可以存储在数据存储器中，并且在由计算系统执行时可以使得计算系统执行根据第一和第二示例实施例的操作。
[0009]在第四示例实施例中，系统可以包括用于执行上述示例实施例的每个操作的各种装置。
[0010]通过阅读以下详细描述，并适当参考附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员来说将变得明显。此外，应当理解，此处提供的本概述和其他描述和附图旨在仅通过示例的方式来说明实施例，并且同样地，许多变化是可能的。例如，结构元素和过程步骤可以被重新排列、组合、分布、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。
附图说明
[0011]图1A描绘了根据示例实施例的数码相机设备的前视图和侧视图。
[0012]图1B描绘了根据示例实施例的数码相机设备的后视图。
[0013]图2描绘了根据示例实施例的具有图像捕获能力的计算系统的框图。
[0014]图3是根据示例实施例的流程图。
[0015]图4示出了根据示例实施例的面部网格的眼睛部分。
[0016]图5描绘了根据示例实施例的图像捕获组件捕获人的图像的简化表示。
[0017]图6描绘了根据示例实施例的相机和眼睛之间的深度估计的简化表示。
[0018]图7描绘了根据示例实施例的相机和眼睛之间的深度估计的另一简化表示。
[0019]图8描绘了根据示例实施例修改使用单个图像捕获组件捕获的图像。
具体实施方式
[0020]本文描述了示例方法、设备和系统。应当理解，本文使用的词语“示例”和“示例性的”表示“用作示例、实例或说明”。本文作为“示例”或“示例性”描述的任何实施例或特征不一定被解释为比其他实施例或特征更优选或更有利。在不脱离本文呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。
[0021]因此，本文描述的示例实施例不意味着是限制性的。如在本文一般描述的和在附图中示出的，本公开的各方面可以以多种不同的配置来布置、替换、组合、分离和设计，所有这些在本文都是预期的。
[0022]此外，除非上下文另有暗示，否则附图中的每个图中所示的特征可以彼此结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，应理解并非所有示出的特征对于每个实施例都是必要的。
[0023]取决于上下文，“相机”可以指单独的图像捕获组件，或者包含一个或多个图像捕获组件的设备。一般地，图像捕获组件可以包括光圈、镜头、记录表面和快门，如下所述。此外，在一些实施方式中，本文描述的图像处理步骤可以由相机设备执行，而在其他实施方式中，图像处理步骤可以由与一个或多个相机设备通信(并且可能控制一个或多个相机设备)的计算设备执行。
之前，传感器可以被复位以去除其感光点中的任何残留信号。当电子快门保持打开时，感光点可以积累电荷。当快门关闭时或快门关闭之后，这些电荷可以转移到长期数据存储中。机械和电子快门的组合也是可能的。
[0033]不管是哪种类型，快门都可以由快门按钮之外的东西来激活和/或控制。例如，快门可以由软键、定时器或一些其他触发器激活。在本文中，术语“图像捕获”可以指能够导致一个或多个图像被记录的任何机械和/或电子快门过程，而不管快门过程是如何被触发或控制的。
[0034]捕获的图像的曝光可以由光圈的大小、进入光圈的光的亮度和快门周期的长度(也称为快门长度或曝光长度)的组合来确定。附加地，可以将数字和/或模拟增益应用于图像，从而影响曝光。在一些实施例中，术语“曝光长度”、“曝光时间”或“曝光时间间隔”可以指快门长度乘以特定光圈大小的增益。因此，这些术语可以在某种程度上互换使用，并且应该被解释为可能是快门长度、曝光时间和/或控制由到达记录表面的光产生的信号响应的量的任何其他度量。
[0035]每次触发图像捕获时，静态相机可以捕获一个或多个图像。只要图像捕获保持被触发(例如，当快门按钮被按下时)，视频相机就可以以特定速率(例如，每秒24幅图像或帧)连续捕获图像。当相机设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在计算系统处从相机获得描绘人的图像；基于所述人的面部的一个或多个特征来确定所述面部的面部网格，其中，所述面部网格包括面部标志和眼睛标志的组合；基于所述面部网格的眼睛标志，估计所述面部的至少一只眼睛的眼睛像素尺寸；由所述计算系统基于所述眼睛像素尺寸和所述相机的固有矩阵来估计所述至少一只眼睛相对于所述相机的距离；以及基于所述至少一只眼睛相对于所述相机的距离来修改所述图像。2.根据权利要求1所述的方法，其中，所述相机是单目相机。3.根据权利要求1所述的方法，其中，估计所述至少一只眼睛相对于所述相机的距离还基于平均值眼睛尺寸。4.根据权利要求1所述的方法，还包括：响应于获得描绘所述人的图像，使用至少一种图像处理技术来识别所述图像中的人的面部。5.根据权利要求4所述的方法，其中，所述至少一种图像处理技术包括使用经训练的神经网络来检测所述面部的一个或多个特征。6.根据权利要求1所述的方法，其中，确定所述面部的面部网格包括：基于所述图像将所述面部标志标出为表示所述面部的轮廓；以及基于所述图像将所述眼睛标志标出为表示所述面部的所述至少一只眼睛的轮廓。7.根据权利要求6所述的方法，其中，将所述眼睛标志标出为表示所述面部的至少一只眼睛的轮廓包括：将所述眼睛标志定位在所述至少一只眼睛的虹膜周围。8.根据权利要求7所述的方法，其中，估计所述面部的至少一只眼睛的眼睛像素尺寸包括：基于位于所述至少一只眼睛的虹膜周围的眼睛标志来估计所述至少一只眼睛的虹膜的像素大小。9.根据权利要求8所述的方法，其中，估计所述至少一只眼睛的虹膜的像素大小包括：估计指示所述图像中所表示的所述至少一只眼睛的虹膜的水平直径的像素的数量。10.根据权利要求1所述的方法，其中，基于所述至少一只眼睛相对于所述相机的距离来修改所述图像包括：基于所述至少一只眼睛相对于所述相机的距离，将部分模糊应用于所述图像的一个或多个背景部分。11.一种系统，包括：相机，具有固有矩阵；和计算系统，被配置为：从所述相机获得描绘人的图像；基于所述人的面部的一个或多个特征来确定所述面部的面部网格，其中所述面部网格包括面部标志和眼睛标志的组合；基于所述面部网格的眼睛标志，估计所述面部的至少一只眼睛的眼睛像素尺寸；
基于所述眼睛像素尺寸和所述相机的固有矩阵，估计所述面部的所述至少一只眼睛相对于所述相机的距离；以及...

【专利技术属性】
技术研发人员：M雍，A瓦库诺夫，I格里什钦科，D拉贡，M格伦德曼，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：