使用具有结构光的RGB-IR传感器得到无污染视频流的计时机构制造技术

一种装置包括RGB

【技术实现步骤摘要】
使用具有结构光的RGB-IR传感器得到无污染视频流的计时机构


[0001]本专利技术总体上涉及3D感测系统，并且更具体地涉及一种用于实现使用具有结构光的RGB-IR传感器得到无污染视频流的计时机构的方法和/或装置。

技术介绍

[0002]常规的3D感测系统包括两个图像传感器，以便获取红外(IR)结构光图案和RGB图像进行存在性检测。可以设计具有单个RGB-IR传感器的相机，但是，结构光图案会在传感器曝光期间污染RGB图像，因为RGB-IR传感器包含RGB和IR像素两者，因此当开启结构光投影仪时，RGB像素将会受到IR图案的影响。
[0003]期望实现一种定时机构以使用具有结构光的RGB-IR传感器得到无污染的视频流。

技术实现思路

[0004]本专利技术涵盖涉及一种装置的方面，该装置包括：RGB-IR图像传感器、结构光投影仪和控制电路。该控制电路可以被配置为控制RGB-IR图像传感器的快门曝光时间和结构光投影仪的开启时间，以获得由RGB-IR图像传感器捕获的图像序列，其中，该图像序列包括：包括结构光图案的至少一个图像，以及其中不存在结构光图案的至少一个图像。
[0005]在上面描述的装置方面的一些实施例中，控制电路还可以被配置为：生成指示图像序列中的哪个图像包含结构光图案的信号。
[0006]在上面描述的装置方面的一些实施例中，图像序列包括多个组，每个组包括：包括结构光图案的一个或多个图像，以及其中不存在结构光图案的两个或更多图像。
[0007]在上面描述的装置方面的一些实施例中，该控制电路还可以被配置为：响应于图像序列和指示图像序列中的哪个图像包含结构光图案的信号来控制安全性系统的一个或多个特征。在一些实施例中，该安全性系统的一个或多个特征可以包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。
[0008]在上面描述的装置方面的一些实施例中，该装置包括低功率相机。
[0009]在上面描述的装置方面的一些实施例中，该控制电路还可以被配置为执行以下各项中的一个或多个：深度信息生成、存在性确定(liveness determination)以及面部识别。在一些实施例中，面部识别包括利用深度信息的3D面部识别。
[0010]在上面描述的装置方面的一些实施例中，结构光投影仪包括垂直腔表面发射激光器的阵列。在结构光投影仪包括垂直腔表面发射激光器的阵列的一些实施例中，垂直腔表面发射激光器的阵列发射波长在800到1000纳米范围内的光。在结构光投影仪包括垂直腔表面发射激光器的阵列的一些实施例中，结构光投影仪还包括镜头，其被配置为将来自垂直腔表面发射激光器的阵列的激光图案分解为密集的点图案阵列。
[0011]在上面描述的装置方面的一些实施例中，装置还包括红外(IR)光源或可见光源中的一个或多个。在包括红外(IR)光源或可见光源的一些实施例中，IR光源和所述可见光源
包括一个或多个发光二极管。
[0012]本专利技术还包括涉及一种实现低成本的基于结构光的3D感测系统的方法的方面，该方法包括：基于预定的值来设置RGB-IR图像传感器的曝光时间；控制结构光投影仪的开启时间；以及使用RGB-IR图像传感器来捕获图像序列，其中，该图像序列包括：包括结构光图案的至少一个图像，以及其中不存在结构光图案的至少一个图像。
[0013]在上面描述的方法方面的一些实施例中，结构光投影仪的开启时间由计时器控制。
[0014]在上面描述的方法方面的一些实施例中，该方法还包括：在白天模式下，在结构光投影仪被关闭以进行编码、面部检测和面部识别中的一项或多项时，使用由RGB-IR图像传感器捕获的彩色图像数据和红外图像数据中的一项或多项。
[0015]在上面描述的方法方面的一些实施例中，该方法还包括：在夜晚模式下，在结构光投影仪被关闭以进行编码、面部检测和面部识别中的一项或多项时，使用由RGB-IR图像传感器捕获的红外图像数据。
[0016]在上面描述的方法方面的一些实施例中，该方法还包括：在结构光投影仪被开启时，使用由RGB-IR图像传感器捕获的红外图像数据以生成深度信息，以用于深度确定、存在性(liveness)确定和3D脸部识别中的一项或多项。
附图说明
[0017]通过下面的详细描述以及所附的权利要求书和附图，本专利技术的实施例将变得显而易见。
[0018]图1是示出根据本专利技术的示例实施例的监测系统的图。
[0019]图2是示出根据本专利技术的示例实施例的3D感测系统的元件的图。
[0020]图3是示出根据本专利技术的示例实施例的示例帧序列的图。
[0021]图4是示出在白天和夜晚操作模式期间的示例输出的图。
[0022]图5是示出提供面部解除特征的示例安全性面板的图。
[0023]图6是示出示例访问控制面板的图。
[0024]图7是示出使用密码的示例访问控制面板的图。
[0025]图8是示出使用面部识别的示例访问控制面板的图。
[0026]图9是示出根据本专利技术的示例实施例的示例过程的流程图。
[0027]图10是示出图1的传感器系统的示例操作的时序图。
[0028]图11是示出根据本专利技术的另一示例实施例的装置的图。
具体实施方式
[0029]本专利技术的实施例包括提供一种计时机构以使用具有结构光的RGB-IR传感器得到无污染的视频流，该计时机构可以(i)利用单个RGB-IR图像传感器在白天和夜晚模式下捕获彩色和红外图像，(ii)忽略在红外(IR)结构光源被开启时捕获的彩色图像数据，(iii)提供可选IR和可见光源，以提高夜晚模式下的图片质量，(iv)向具有和不具有结构光图案(SLP)的图像序列提供可编程性，(v)利用具有结构光图案的IR图像数据生成深度信息，以进行存在性确定和3D面部识别，(vi)利用不具有结构光图案的彩色图像和红外图像进行面
部检测和识别，和/或(vii)被实现为一个或多个集成电路。
[0030]在各种实施例中，可以提供低成本的3D感测平台。低成本的3D感测平台可以促进智能访问控制系统和智能安全性产品(例如，智能视频门铃和门锁、支付系统、警报系统等)的开发。在各种实施例中，低成本的3D感测平台可以包括视觉片上系统(SoC)、结构光投影仪和RGB-IR图像传感器。在各种实施例中，单个RGB-IR图像传感器可以用于获得可见光图像以及具有和不具有结构光图案的红外(IR)图像两者。在各种实施例中，可见光图像可以用于白天模式下的观看、对象(例如，面部等)检测、对象辨识和/或面部识别。不具有结构光图案的IR图像可以用于夜晚模式下的观看、对象(例如，面部等)检测、对象辨识和/或面部识别。具有结构光图案的IR图像可以在白天模式和夜晚模式下用于深度感测和存在性确定。
[0031]在示例中，视觉SoC可以在单个芯片上尤其提供深度处理、反欺骗算法、结构光控制、对象检测/辨识算法、面部检测/识别算法、3D面部检测/识别算法以及视频编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，其包括：RGB-IR图像传感器；结构光投影仪；以及控制电路，其被配置为控制所述RGB-IR图像传感器的快门曝光时间和所述结构光投影仪的开启时间，以获得由所述RGB-IR图像传感器捕获的图像序列，其中，所述图像序列包括：包括结构光图案的至少一个图像，以及其中不存在所述结构光图案的至少一个图像。2.根据权利要求1所述的装置，其中，所述控制电路还被配置为：生成指示所述图像序列中的哪个图像包含所述结构光图案的信号。3.根据权利要求1所述的装置，其中，所述图像序列包括多个组，每个组包括：包括所述结构光图案的一个或多个图像，以及其中不存在所述结构光图案的两个或更多个图像。4.根据权利要求1所述的装置，其中，所述控制电路还被配置为：响应于所述图像序列和指示所述图像序列中的哪个图像包含所述结构光图案的所述信号来控制安全性系统的一个或多个特征。5.根据权利要求4所述的装置，其中，所述安全性系统的所述一个或多个特征包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。6.根据权利要求1所述的装置，其中，所述装置包括低功率相机。7.根据权利要求1所述的装置，其中，所述控制电路还被配置为执行以下各项中的一个或多个：深度信息生成、存在性确定以及面部识别。8.根据权利要求7所述的装置，其中，面部识别包括利用所述深度信息的3D面部识别。9.根据权利要求1所述的装置，其中，所述结构光投影仪包括垂直腔表面发射激光器的阵列。10.根据权利要求9所述的装置，其中，所述垂直腔表面发射激光器的阵列发射波长在800纳米至...

【专利技术属性】
技术研发人员：张喆，杨志侃，许瑞桉，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：