一种装置，其包括接口、光投射器以及处理器。所述接口可以被配置为：接收像素数据。所述光投射器可以被配置为：生成结构光图案。所述处理器可以被配置为：对所述像素数据进行处理，所述像素数据被布置为包括所述结构光图案的视频帧；执行计算机视觉操作以检测所述视频帧的面部区域的尺寸；响应于所述面部区域的所述尺寸，确定缩放比率；从所述视频帧中提取所述结构光图案；生成经缩减的结构光图像；以及响应于所述经缩减的结构光图像和经缩减的参考图像，生成深度图。可以响应于所述缩放比率执行缩减操作以生成所述经缩减的结构光图像。所述缩放比率可以使得能够生成具有足够深度像素的所述经缩减的结构光图像。像素的所述经缩减的结构光图像。像素的所述经缩减的结构光图像。
【技术实现步骤摘要】
自适应面部深度图生成
[0001]概括地说，本专利技术涉及计算机视觉，并且更具体地说，本专利技术涉及用于实施自适应面部深度图生成的方法和/或装置。
技术介绍
[0002]机器视觉、光学技术和人工智能得到了快速发展。由于机器人技术和深度学习技术的进步，三维(3D)重建已成为机器视觉的一个重要分支。传统的3D重构技术在实时应用方面存在问题。3D 重构的速度不够快，并且3D重构的精度不够准确。
[0003]基于机器视觉的3D重构方法主要有主动视觉方法和被动视觉方法两种。主动视觉方法包括飞行时间方法、结构光方法、全息干涉法、莫尔纹方法等。被动视觉方法包括双目立体视觉、运动视觉、散焦法、明暗法、聚焦法等。
[0004]主动3D重构的一种方法是通过使用单目散斑结构光系统生成深度图来执行的。由于3D重构的速度和精度不足，应用一般仅限于对精度要求不高的场景，例如三维人脸识别，以及人脸活体检测等。
[0005]使用结构光的深度图生成的速度与深度图分辨率密切相关。深度图计算通常使用块匹配方法。使用块匹配的深度图的计算时间与结构光图像的输入尺寸成线性比例。因此，与较小的面部区域(即 100x100像素)上的深度图计算相比，在较大的面部区域(即500x500像素)上的深度图计算将花费 25倍的时间。
[0006]在靠近摄像机传感器捕获面部时通常会产生较大的面部区域，而当距离摄像机传感器较远捕获面部时通常会产生较小的面部区域。例如，如果面部距离1920x1080摄像机0.3米，则面部区域可能包括多达0.5兆像素。执行计算以生成0.5兆像素的面部区域的深度图可能需要花费大约数百毫秒。数百毫秒的计算时间在实际产品中是不可接受的。另一方面，执行计算以生成微小面部区域的深度图只需要花费几毫秒。不同尺寸的面部区域的性能不一致是产品开发和用户体验中面临的问题。计算速度取决于面部区域而异。此外，各种分辨率的面部深度图成为了活体(liveness)算法训练的一个问题。
[0007]活体检测算法使用一系列所需数量的深度信息来实施，以区分真人面部和假人面部。提供大量深度信息的大面部区域可能会超过活体检测的输入需求，从而导致不必要的计算。不必要的计算增加了创建深度图的时间，并且不仅增加了深度图计算的工作负载，而且增加了整体活体检测的工作负载。
[0008]实施自适应面部深度图生成将是期望的。
技术实现思路
[0009]专利技术涉及一种装置，该装置包括接口、结构光投射器以及处理器。所述接口可以被配置为：接收像素数据。所述结构光投射器可以被配置为：生成结构光图案。所述处理器可以被配置为：对所述像素数据进行处理，所述像素数据被布置为包括所述结构光图案的视频帧；对所述视频帧执行计算机视觉操作以检测所述视频帧的面部区域的尺寸；响应于所
述面部区域的所述尺寸，确定缩放比率；从所述视频帧中提取所述结构光图案；生成经缩减的结构光图像；以及响应于所述经缩减的结构光图像和经缩减的参考图像，生成深度图。可以响应于所述缩放比率和所述结构光图案执行缩减操作以生成所述经缩减的结构光图像。可以计算所述缩放比率以使得能够生成具有足够数量的深度像素的所述经缩减的结构光图像。
附图说明
[0010]通过下面的详细描述以及所附的权利要求书和附图，本专利技术的实施例将变得显而易见。
[0011]图1是示出根据本专利技术的示例实施例的可以利用被配置为实现自适应面部深度图生成的处理器的边缘设备的示例的图。
[0012]图2是示出实现本专利技术的示例实施例的示例摄像头的图。
[0013]图3是示出摄像头系统的框图的图。
[0014]图4是示出了实现被配置为执行3D重构的卷积神经网络的摄像头系统的处理电路的图。
[0015]图5是示出包括大的面部区域和小的面部区域的示例视频帧的图。
[0016]图6是示出用于自适应面部深度图生成的处理器的操作的框图。
[0017]图7是示出提取IR视频帧以用于缩减的图。
[0018]图8是示出缩减结构光图案的图。
[0019]图9是示出缩减IR视频帧的图。
[0020]图10是示出用于生成自适应面部深度图的方法的流程图。
[0021]图11是示出用于确定每个视频帧的缩放比率的方法的流程图。
[0022]图12是示出用于对具有一致目标尺寸的深度图执行后处理的方法的流程图。
[0023]图13是示出用于预先计算经缩减的参考图像的方法的流程图。
具体实施方式
[0024]本专利技术的实施例包括提供自适应面部深度图生成，其可以(i)减少用于生成深度图的计算数量，(ii)使得能够实时执行活体检测，(iii)提供一致的深度图计算时间，(iv)提供一致的深度图用于训练活体检测，(v)在确保足够数量的深度像素的同时缩减结构光图案图像，(vi)基于用于活体检测的深度像素的数量的预期范围提供足够的深度像素，(vii)动态创建各种分辨率的深度图，(viii) 响应于面部区域的尺寸和预期深度像素来计算缩放比率，(ix)执行缩减操作，该缩减操作增加的计算量少于用于从经缩减的图像生成深度图而减少的计算量，和/或(vi)被实施为一个或多个集成电路。
[0025]本专利技术的实施例可以被配置为：自适应地生成深度图。在示例中，可以针对面部活体检测生成自适应深度图。深度图的分辨率可以取决于实时结构光图案图像的分辨率。可以对实时结构光图案图像和参考结构光图像进行缩减。通过对实时结构光图案图像和参考结构光图像进行缩减，可以动态创建任何分辨率的深度图。可以响应于捕获的不同尺寸的面部来动态创建任何分辨率的自适应深度图。
[0026]与使用全分辨率结构光图像(例如，全实时和参考光图像)来生成深度图相比，自
适应地生成深度图可以缩短深度计算时间。自适应地生成深度图可以降低执行具有固定深度面部分辨率(例如，一致的面部深度密度)的活体检测技术的复杂度。通常，活体检测技术可以使用被认为足以区分真实面部和虚假面部的多个深度信息的范围来操作。本专利技术的实施例生成的自适应深度图可以一致地创建具有用于活体检测的足够数量的深度像素的面部深度。
[0027]自适应深度图的足够数量的深度像素可以在用于活体检测技术的深度像素的数量范围内。可以提供足够数量的深度像素以避免在提供基于大的面部区域的深度图时将执行的不必要的计算。对结构光图案图像进行缩减可以提供足够数量的深度像素，这可以减少针对深度图计算执行的计算数量以及针对活体检测执行的计算数量。一致地创建具有足够数量的深度像素的面部深度图可以防止浪费时间计算过多的深度信息(例如，可以避免不必要的计算)。
[0028]可以选择对实时结构光图案图像和/或参考图像执行的缩减量，以确保可以成功地执行块匹配。例如，可以智能地选择缩减以允许不导致块匹配失败的精度下降。响应于导致去除结构光图案的特定特征的大的缩减因子，可能会发生块匹配失败。本专利技术的实施例可以控制用于缩减操作的缩放因子。可以将缩放因子控制在可接受的范围内(例如，[1，1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种装置，包括：接口，其被配置为接收像素数据；结构光投射器，其被配置为生成结构光图案；以及处理器，其被配置为(i)对所述像素数据进行处理，所述像素数据被布置为包括所述结构光图案的视频帧，(ii)对所述视频帧执行计算机视觉操作以检测所述视频帧的面部区域的尺寸，(iii)响应于所述面部区域的所述尺寸，确定缩放比率，(iv)从所述视频帧中提取所述结构光图案，(v)生成经缩减的结构光图像，以及(vi)响应于所述经缩减的结构光图像和经缩减的参考图像，生成深度图，其中(i)所述缩减操作响应于所述缩放比率和所述结构光图案而被执行以生成所述经缩减的结构光图像，并且(ii)所述缩放比率被计算以使得所述经缩减的结构光图像能够被生成为具有足够数量的深度像素。2.根据权利要求1所述的装置，其中，所述经缩减的结构光图像被生成为具有所述足够数量的深度像素，以防止当使用所述经缩减的结构光图像时的块匹配失败。3.根据权利要求1所述的装置，其中，所述足够数量的深度像素为活体检测操作提供深度像素数量的预期范围。4.根据权利要求1所述的装置，其中，所述缩减操作被执行用于：与为从来自所述视频帧的所述结构光图案生成所述深度图而执行的第二数量的计算相比，使用所述经缩减的结构光图像减少由所述处理器执行的用于生成所述深度图的计算数量。5.根据权利要求1所述的装置，其中，所述经缩减的参考图像是响应于对参考图像执行的缩减操作而生成的。6.根据权利要求1所述的装置，其中，(i)所述经缩减的参考图像是响应于对多个参考图像执行的缩减操作而生成的，(ii)所述多个参考图像是以固定的缩减比率而被预先计算的，并且(iii)所述处理器还被配置为(a)将所述缩放比率与所述固定缩减比率进行比较，以及(b)修改所述缩放比率以匹配所述固定缩减比率之一。7.根据权利要求1所述的装置，其中，所述处理器被配置为实施面部深度图的自适应生成。8.根据权利要求1所述的装置，其中，确定所述缩放比率使得所述深度图能够在与所述面部区域的所述尺寸相对应的分辨率的范围内动态地被创建。9.根据权利要求1所述的装置，其中，所述面部区域的所述尺寸是在所述视频帧的每个视频帧中的基于人物与捕获所述像素数据的图像传感器的距离的可变尺寸。10.根据权利要求1所述的装置，其中，(i)所述处理器被配置为对所述视频帧执行面部检测操作以确...
【专利技术属性】
技术研发人员：汤坚，邱井洋，刘涛，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。