三维飞行时间视觉系统技术方案

技术编号：44523976 阅读：1 留言：0更新日期：2025-03-07 13:15

示例实施例与涉及三维飞行时间/可见图像传感器的设备、系统和方法相关。示例实施例包括一种设备，该设备包括多个飞行时间传感器(ToF)像素和多个可见图像传感器(VIS)像素。该设备还包括ToF通信信道和VIS通信信道，该ToF通信信道被配置为提供指示一个或多个ToF像素的ToF图像数据，该VIS通信信道被配置为提供指示一个或多个VIS像素的VIS图像数据。多个ToF像素和多个VIS像素沿平面布置。多个ToF像素设置在多个VIS像素之间的布置中。

全部详细技术资料下载

【技术实现步骤摘要】

技术介绍

1、除非本文另有说明，否则本节中的描述不是本申请中的权利要求的现有技术，并且不因包括在本节中而被承认是现有技术。

2、图像传感器将光转换成电信号。它们用于各种各样的应用中，包括相机、智能手机和医学成像设备。

3、飞行时间(tof)系统是一种类型的成像系统，其通过使用时间调制的光发射器和具有一定量的时间分辨率的tof图像传感器来测量光从系统行进到对象并返回所花费的时间。该信息可以用于计算到视场中的对象的距离。

4、与没有调制源的被动3d成像相比，tof传感器可以在低光条件下使用。tof传感器的不同实例可以具有影响其对环境光的敏感性的不同调制格式。例如，间接tof(itof)系统通常在itof成像器像素上使用高占空比调制光发射器和快速电子快门。直接tof(dtof)系统通常使用低占空比脉冲光发射器和单光子雪崩检测器(例如，spad、gmapd)。因此，tof传感器在诸如增强现实、机器人和自动驾驶汽车的各种应用中变得越来越流行。然而，tof传感器也具有一些限制。它们可能是昂贵的、笨重的，并且可能易受其他对象的干扰。许多tof系统可以收集低质量的无源图像，但是与传统的无源成像器(例如，cmos成像器)相比，它们往往具有较差的空间分辨率、有限的无源低光灵敏度以及不能收集可见光彩色图像。因此，用于机器人、自主车辆和其他应用的系统设计者通常具有tof系统和具有重叠视场的相机(无源成像)系统。

5、因此，需要将可见和tof图像传感器的有益方面组合在紧凑、廉价的硬件封装中的系统和方法。</p>

技术实现思路

1、本公开涉及可以有利地改善感测性能同时潜在地降低可见和深度感测应用中的成本和重量的系统和方法。例如，在自主车辆领域中，与涉及单独系统的常规解决方案相比，本文描述的系统和方法可以通过在单个设备内集成两个重要的感测功能来减少事故，例如车辆-车辆碰撞。其他潜在益处包括降低不同系统之间的交互的复杂性、利用共享的光轴和视场以及更紧凑的硬件占用空间(footprint)。

2、在第一方面，提供了一种设备。该设备包括多个飞行时间传感器(tof)像素和多个可见图像传感器(vis)像素。该设备还包括tof通信信道，该tof通信信道被配置为提供指示一个或多个tof像素的tof图像数据。该设备还包括vis通信信道，该vis通信信道被配置为提供指示一个或多个vis像素的vis图像数据。多个tof像素和多个vis像素沿平面布置。多个tof像素设置在多个vis像素之间的布置中。

3、在第二方面，提供了一种装置。该装置包括设备，该设备包括被配置为检测预定波长范围内的光的多个飞行时间传感器(tof)像素。该设备还包括多个可见图像传感器(vis)像素。多个tof像素和多个vis像素沿着第一平面布置。多个tof像素以多个vis像素之间的布置来设置。该装置还包括一个或多个致动器，其被配置为沿着第一平面移位该设备。该装置另外包括一个或多个垂直腔表面发射激光器(vcsel)，其被配置为发射预定波长范围内的光。附加地或替代地，该装置可以包括边缘发射激光二极管。

4、在第三方面，提供了一种系统。该系统包括感测层。感测层包括多个飞行时间传感器(tof)像素，其被配置为检测来自视场的光以形成tof图像数据。感测层还包括多个可见图像传感器(vis)像素，其被配置为检测来自视场的光以形成vis图像数据。该系统还包括读出层，该读出层包括被配置为接收tof图像数据和vis图像数据的读出电路。该系统还包括具有处理电路的处理层，该处理电路被配置为基于tof图像数据或vis图像数据中的至少一个来提供至少一个复合图像。感测层和读出层通信地链接。读出层和处理层通信地链接。

5、在第四方面，提供了一种方法。该方法包括使一个或多个垂直腔表面发射激光器(vcsel)发射光脉冲。光脉冲包括预定波长范围内的光。该方法还包括基于由第一位置处的一个或多个tof像素接收的反射光脉冲来确定第一tof图像数据。所接收的光在预定波长范围内。该方法还包括基于由第一位置处的一个或多个vis像素接收的光来确定第一vis图像数据。该方法还包括使致动器将一个或多个tof像素和一个或多个vis像素从第一位置移位到第二位置。该方法另外包括基于由第二位置处的一个或多个tof像素接收的反射光脉冲来确定第二tof图像数据。该方法包括基于由第二位置处的一个或多个vis像素接收的光来确定第二vis图像数据。该方法另外包括从第一vis图像数据和第二vis图像数据确定复合vis图像数据。该方法还包括从第一tof图像数据和第二tof图像数据确定复合tof图像数据。该方法还包括从复合tof图像数据产生至少一个对象深度图估计。该方法包括通过通信接口提供指示复合vis图像数据和至少一个对象深度图估计的数据。

6、通过在适当的情况下参考附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得显而易见。

本文档来自技高网...

【技术保护点】

1.一种设备，包括：

2.根据权利要求1所述的设备，其中所述ToF像素被配置为检测以下中的至少一个的光波长：850nm或940nm。

3.根据权利要求1所述的设备，其中，所述ToF像素的测量长度或宽度不超过10μm。

4.根据权利要求1所述的设备，其中，所述VIS像素被配置为检测380nm和700nm之间的波长。

5.根据权利要求1所述的设备，其中，所述VIS像素以不超过2.1μm的像素间距设置。

6.根据权利要求1所述的设备，其中所述ToF像素和所述VIS像素的布置被配置为提供复合信息帧，其中所述复合信息帧由在所述ToF像素和所述VIS像素处于第一位置的情况下捕获的第一部分信息帧和在所述ToF像素和所述VIS像素处于第二位置的情况下捕获的第二部分信息帧形成。

7.根据权利要求1所述的设备，其中，所述布置包括在VIS像素的5×5正方形阵列和单个ToF像素之间交替的二维网格。

8.根据权利要求1所述的设备，其中所述布置包括晶格。

9.根据权利要求8所述的设备，其中，所述晶格包括菱形晶格、

10.根据权利要求1所述的设备，其中，所述VIS像素提供8.29兆像素的复合分辨率。

11.根据权利要求1所述的设备，还包括至少一个光学元件。

12.根据权利要求11所述的设备，其中，所述至少一个光学元件包括一个或多个透镜。

13.根据权利要求11所述的设备，其中，所述至少一个光学元件包括滤色器阵列(CFA)。

14.根据权利要求13所述的设备，其中所述CFA是拜耳滤色器。

15.根据权利要求13所述的设备，其中所述CFA是RCCC滤色器。

16.根据权利要求13所述的设备，其中所述CFA是RCCB滤色器或RCCG滤色器。

17.一种系统，包括：

18.根据权利要求17所述的系统，其中所述读出层被配置为执行与以下中的至少一个相关的功能：模数转换(ADC)、高动态范围图像捕获或高速缓存存储器存储。

19.根据权利要求17所述的系统，还包括通信接口，其中所述通信接口被配置为提供指示在所述图像中识别的对象的信息。

20.根据权利要求17所述的系统，其中，所述处理层包括：

...

【技术特征摘要】

1.一种设备，包括：

2.根据权利要求1所述的设备，其中所述tof像素被配置为检测以下中的至少一个的光波长：850nm或940nm。

3.根据权利要求1所述的设备，其中，所述tof像素的测量长度或宽度不超过10μm。

4.根据权利要求1所述的设备，其中，所述vis像素被配置为检测380nm和700nm之间的波长。

5.根据权利要求1所述的设备，其中，所述vis像素以不超过2.1μm的像素间距设置。

6.根据权利要求1所述的设备，其中所述tof像素和所述vis像素的布置被配置为提供复合信息帧，其中所述复合信息帧由在所述tof像素和所述vis像素处于第一位置的情况下捕获的第一部分信息帧和在所述tof像素和所述vis像素处于第二位置的情况下捕获的第二部分信息帧形成。

7.根据权利要求1所述的设备，其中，所述布置包括在vis像素的5×5正方形阵列和单个tof像素之间交替的二维网格。

8.根据权利要求1所述的设备，其中所述布置包括晶格。

9.根据权利要求8所述的设备，其中，所述晶格包括菱形晶格、正方形晶格、六边形晶格、矩形晶格、倾斜晶格或...

【专利技术属性】
技术研发人员：N·S·K·达里亚，L·艾恩，S·韦尔盖塞，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人