用于RGB-IR传感器的智能自动曝光控制制造技术

一种包括光投影仪、传感器以及处理器的装置。所述光投影仪可以被配置为：切换光图案。所述传感器可以被配置为：生成像素数据。所述处理器可以被配置为：对布置为视频帧的所述像素数据进行处理；从所述视频帧中提取具有所述光图案的IR图像、不具有所述光图案的IR图像以及RGB图像；响应于具有所述光图案的IR图像和所述RGB图像生成控制信号；响应于不具有所述光图案的IR图像和所述RGB图像计算IR干扰测量；以及响应于所述IR干扰测量而选择用于IR通道控制和RGB通道控制的操作模式。所述控制信号可以被配置为：调整所述传感器的曝光。调整所述传感器的曝光。调整所述传感器的曝光。

【技术实现步骤摘要】
用于RGB
‑
IR传感器的智能自动曝光控制


[0001]概括地说，本专利技术涉及视频和图像捕获，并且更具体地说，本专利技术涉及用于实现用于RGB
‑
IR传感器的智能自动曝光控制的方法和/或装置。

技术介绍

[0002]机器视觉、光学技术和人工智能得到了快速发展。由于机器人技术和深度学习技术的进步，三维(3D)重构已成为机器视觉的一个重要分支。主动3D重构的一种方法是通过使用单目散斑结构光系统生成深度图来执行的。RGB
‑
IR传感器可用于捕获红外数据、颜色数据和单目散斑结构光。
[0003]RGB
‑
IR传感器是可暴露于可见(RGB)光和红外(IR)光二者的单个相机传感器。RGB和IR图像由单个传感器捕获。由于物理限制，相机的传感器控制(即快门和增益)由RGB和IR通道共享。在各种环境下，可见光和IR光的光照条件不同，导致同时捕获的RGB图像和IR图像具有不一致的亮度。固定自动曝光(AE)调整方法在处理不同RGB和IR通道上的不同照明条件时存在缺点。
[0004]此外，IR通道对IR干扰非常敏感。如果AE控制不当，则少量红外光(即来自阳光)很容易导致IR图像过度曝光。在没有适当的AE控制的情况下，当快门值太小时，RGB通道可能会曝光不足。在各种光照条件下，RGB图像通道和IR图像通道的亮度之间的平衡成为RGB
‑
IR传感器的一个问题。
[0005]实现RGB
‑
IR传感器的智能自动曝光控制将是期望的。

技术实现思路

[0006]本专利技术涉及一种装置，所述装置包括结构光投射器、图像传感器以及处理器。所述结构光投射器可以被配置为：响应于定时信号切换结构光图案。所述图像传感器可以被配置为：生成像素数据。所述处理器可以被配置为：对被布置为视频帧的所述像素数据进行处理；从所述视频帧中提取具有所述结构光图案的IR图像、不具有所述结构光图案的IR图像以及RGB图像；响应于具有所述结构光图案的IR图像和所述RGB图像生成传感器控制信号；响应于不具有所述结构光图案的IR图像和所述RGB图像计算IR干扰测量；以及响应于所述IR干扰测量选择用于IR通道控制和RGB通道控制的操作模式。所述传感器控制信号可以被配置为：对用于具有所述结构光图案的IR图像和所述RGB图像二者的所述图像传感器的曝光进行调整。所述IR通道控制可以被配置为：对具有所述结构光图案的IR图像的曝光进行调整。所述RGB通道控制可以被配置为：对所述RGB图像和不具有所述结构光图案的IR图像的所述曝光进行调整。
附图说明
[0007]通过下面的详细描述以及所附的权利要求书和附图，本专利技术的实施例将变得显而易见。
[0008]图1是示出根据本专利技术的示例实施例的、可以利用被配置为实现用于RGB
‑
IR传感器的智能自动曝光控制的处理器的边缘设备的示例的图。
[0009]图2是示出实现本专利技术的示例实施例的示例相机的图。
[0010]图3是示出相机系统的框图。
[0011]图4是示出了实现被配置为执行3D重构的卷积神经网络的摄像头系统的处理电路的图。
[0012]图5是示出智能自动曝光控制系统的框图。
[0013]图6是示出被配置为对具有结构光图案的IR视频帧、不具有结构光图案的IR视频帧和RGB视频帧进行提取的处理器的图。
[0014]图7是示出被配置为确定环境中的IR干扰量的IR干扰模块的框图。
[0015]图8是示出响应于从视频帧测量的统计来对IR通道控制和RGB通道控制进行调整的框图。
[0016]图9是示出视频帧的曝光结果的图。
[0017]图10是示出用于执行针对RGB
‑
IR传感器的智能自动曝光控制的方法的流程图。
[0018]图11是示出用于执行IR干扰测量的方法的流程图。
[0019]图12是示出用于在快门优先操作模式中自动曝光控制的方法的流程图。
[0020]图13是示出用于在数字增益优先操作模式中自动曝光控制的方法的流程图。
[0021]具体实现
[0022]本专利技术的实施例包括提供RGB
‑
IR传感器的智能自动曝光控制，其可以(i)自动地调整传感器控制、IR通道和RGB通道，(ii)生成关于IR图像通道和RGB图像通道的统计，(iii)跨各种照明条件提供IR图像和RGB图像的一致亮度，(iv)使得能够根据用户输入来调谐参数，(v)防止由于IR干扰而对IR图像的过度曝光，(vi)响应于检测到的IR干扰量而选择不同的自动曝光操作模式，(vii)将不具有结构光图案的IR图像与RGB图像进行比较，以确定环境中的IR干扰量，(viii)克服RGB
‑
IR传感器的物理限制和/或(ix)实现为一个或多个集成电路。
[0023]本专利技术的实施例可以被配置为：实现用于RGB
‑
IR传感器的智能和动态自动曝光(AE)调整系统。代替单独对每个通道执行自动曝光，所实现的AE调整可以响应于RGB统计和IR统计来自动调整各种曝光设置。实现的AE调整可以被配置为：同时协调传感器控制、RGB通道调整和IR通道调整。
[0024]可以通过将AE调整划分为传感器控制、IR通道控制和RGB通道控制来实现本专利技术的实施例。RGB通道和IR通道可以共享相同的传感器控制逻辑。RGB通道和IR通道可以各自具有单独的通道控制逻辑。通道控制逻辑可以被配置为：自动调整曝光参数(例如，数字增益、色调曲线调整、其他后处理参数等)。通过针对RGB通道和IR通道实现单独的通道控制逻辑，即使在具有不同可见光和IR光的条件下，RGB图像和IR图像也可以被调谐到相似的亮度水平。
[0025]本专利技术的实施例可以被配置为：在多种不同的操作模式下操作以避免IR干扰灵敏度的问题。可以检测IR干扰量。响应于检测到的IR干扰量，AE调整可以被配置为：确定是在数字增益优先操作模式还是快门优先操作模式下操作。可以接收进取值(aggressiveness value)作为用户输入以用于额外的手动调谐以确定操作模式如何被应用和/或起作用。
[0026]在示例中，在阳光充足的条件下(例如，来自阳光的IR干扰可能导致未实现智能AE调整的RGB
‑
IR传感器的过度曝光)，AE调整系统可以选择数字增益优先操作模式。数字增益优先操作模式可以将快门时间调整为低值(例如，取决于进取值)并允许数字增益首先增加图像亮度。数字增益优先模式可以使IR通道能够减少来自太阳光的IR干扰的影响。可能具有高输出功率的IR补光(例如，结构光图案)可能仍会暴露在IR通道中。减少太阳光的量可能会导致暗RGB图像。但是，AE调整系统可以实现数字增益和色调曲线调整，以增强RGB图像通道中的亮度。一旦数字增益达到最大值，如果单独调整数字增益不足，则可能会增加快门时间。
[0027]在另一示例中，在低IR干扰环境中，A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，其包括：结构光投射器，其被配置为：响应于定时信号而切换结构光图案；图像传感器，其被配置为：生成像素数据；以及处理器，其被配置为：(i)对布置为视频帧的像素数据进行处理，(ii)从所述视频帧中提取(a)具有所述结构光图案的IR图像，(b)不具有所述结构光图案的IR图像以及(c)RGB图像，(iii)响应于具有所述结构光图案的IR图像和所述RGB图像生成传感器控制信号，(iv)响应于不具有所述结构光图案的IR图像和所述RGB图像而计算IR干扰测量，以及(v)响应于所述IR干扰测量而选择用于IR通道控制和RGB通道控制的操作模式，其中(a)所述传感器控制信号被配置为：针对具有所述结构光图案的IR图像和所述RGB图像二者，对所述图像传感器的曝光进行调整，(b)所述IR通道控制被配置为：对具有所述结构光图案的IR图像的曝光进行调整，并且(c)所述RGB通道控制被配置为：对所述RGB图像和不具有所述结构光图案的IR图像的曝光进行调整。2.根据权利要求1所述的装置，其中，所述操作模式包括数字增益优先操作模式或快门优先操作模式。3.根据权利要求2所述的装置，其中，所述数字增益优先操作模式基于进取值来选择低快门时间并且增加数字增益值。4.根据权利要求3所述的装置，其中，在所述数字增益优先操作模式中，(i)所述IR通道控制被配置为：曝光具有所述结构光图案的IR图像的结构光图案，并且所述RGB通道控制被配置为：调整数字增益和色调曲线以增加亮度，以及(ii)所述低快门时间在所述数字增益达到最大值之后增加。5.根据权利要求2所述的装置，其中，所述快门优先操作模式(i)基于进取值选择高快门时间以增加亮度并且曝光所述结构光图案，以及(ii)在所述高快门时间达到最大值之后调整数字增益和色调曲线。6.根据权利要求2所述的装置，其中，(i)所述处理器被配置为：接收进取值，并且(ii)所述进取值是用户输入，所述用户输入被配置为：针对所述数字增益优先操作模式和所述快门优先操作模式二者选择快门调整量和数字增益值的除法或比率。7.根据权利要求1所述的装置，其中，所述处理器被配置为：使所述图像传感器在可见光和红外光的各种光照条件下能够具有一致的性能。8.根据权利要求1所述的装置，其中，所述IR干扰测量包括(i)确定不具有所述结构光图案的IR图像中的一个和所述RGB图像中的一个的平均强度，以及(ii)将所述平均强度与预定阈值进行比较。9.根据权利要求8所述的装置，其中，所述平均强度是响应于以下各项而确定的：(i)确定不具有所述结构光图案的IR图像中的一个的强度，(ii)确定所述RGB...

【专利技术属性】
技术研发人员：汤坚，邱井洋，刘涛，
申请(专利权)人：安霸国际有限合伙企业，
类型：发明
国别省市：