【技术实现步骤摘要】
【国外来华专利技术】
本技术涉及一种传感器设备和一种用于操作传感器设备的方法，具体地，涉及一种允许捕获可见光视频流以及经由红外光提供的额外的信息的传感器设备和用于操作传感器设备的方法。
技术介绍
1、通常的数字摄像机例如用作独立的传感器设备或集成到其他电子设备(诸如移动电话)中，以例如通过使用红色r滤色器、绿色g滤色器和蓝色b滤色器等捕获显示可见光的强度值的视频帧。例如，捕获这样的rgb视频以传输到其他电子设备并在其上显示，例如用于视频会议、用于监视、用于工业或物流过程的监控、用于计算机游戏等。
2、以此方式捕获的帧显示二维图像，即观察到的三维场景投影到相应的传感器设备的敏感表面上。通常，期望从捕获的二维图像中生成所观察场景的三维模型。例如，在视频会议应用中，可能期望正确地减去视频会议参与者的背景，为代表视频会议参与者的化身/动画表情制作动画，或者校正视频会议参与者的视点，例如，使其类似于成员互相看着眼睛的印象。所有这些功能均可以通过重建至少视频会议参与者头部的三维模型来实现。
3、虽然原则上可以从捕获的二维图像生成所观察场景的三维模型，但是这样的三维虚拟化在实践中通常需要太多的计算能力。此外，基于rgb图像帧的虚拟化通常太慢，无法将二维图像流实时转换为所观察场景的三维模型。
4、另一方面，已知例如通过使用结构光方法生成指示场景的每个部分到传感器设备的距离的深度图，其中，投影到场景上的预定和已知图案的成像失真允许推断场景中可见物体的距离。使用这样的深度图，可以生成所观察场景的期望三维模型。
5、但这里也
6、因此，虽然原则上可以使用用于深度重建的方法，但是如果捕获的rgb图像没有劣化，则这些方法不能直接实现。
7、此外，如果传感器设备的成像功能使得能够接收除捕获的rgb视频流之外的额外的信息，在捕获的rgb图像没有劣化的情况下，这将通常是有帮助的。这可能有助于监视和监控任务，在这些任务中，捕获某些过程或物体将触发自动接收图像数据中的额外的信息。
8、因此，期望提供一种允许捕获图像数据的传感器设备，从中可以检索到没有干扰的rgb视频流以及额外的数据。
技术实现思路
1、为此，提供了一种用于观察场景的传感器设备，包括：多个像素，每个像素被配置为接收来自场景的光并执行光电转换以生成电信号；事件检测电路系统，其被配置为在事件数据强度改变超过由第一子集的像素中的每一个接收的红外光的预定阈值时进行检测；像素信号生成电路系统，其被配置为生成像素信号，该像素信号指示由第二子集的像素中的每个像素接收的可见光的强度值；以及控制单元，其被配置为从在所接收红外光内检测到的事件数据中提取额外的信息，该额外的信息不同于关于所观察场景的二维强度信息。
2、此外，提供了一种用于操作用于观察场景的传感器设备的方法，该方法包括：接收来自场景的光，并执行光电转换以利用传感器设备的多个像素中的每一个来生成电信号；利用传感器设备的事件检测电路系统，在事件数据强度改变超过由第一子集的像素中的每一个接收的红外光的预定阈值时进行检测；利用像素信号生成电路系统生成像素信号，该像素信号指示由第二子集的像素中的每个像素接收的可见光的强度值；以及从在所接收红外光内检测到的事件数据中提取额外的信息，该额外的信息不同于关于所观察场景的二维强度信息。
3、因此，生成表示所接收光的强度的像素信号的传统的摄像机像素(第二子集的像素)(也称为有源像素传感器aps像素)利用对超过某一阈值的强度改变(其也称为事件)敏感的动态/基于事件的视觉传感器dvs/evs像素(第一子集的像素)来补充。当摄像机像素生成表示可见光谱中的所接收强度的像素信号时，evs像素对红外光进行操作，即它们对所接收红外光的强度改变敏感。传感器设备能够从检测到的事件流中查看并提取红外光中编码的额外的信息。
4、因此，除了推断电磁光谱的红外部分的二维强度分布的时间序列的功能之外，传感器设备还能够过滤掉除二维强度分布之外的额外的信息。具体地，可以使用红外结构光来允许根据检测到的事件重建深度图。或者，可以解码由场景上可见的红外发射器发送的消息。由于红外光谱用于对指向传感器设备的该额外的信息进行编码，因此通过aps像素观察的可见光谱不受该信息的影响。
5、另外，由于通过事件检测产生的数据速率远小于针对全强度帧检测产生的数据速率，因此evs像素保证额外的信息足够快地可用，以实时利用额外的信息补充全强度像素信号。
本文档来自技高网...【技术保护点】
1.一种用于观察场景(S)的传感器设备(10)，所述传感器设备(10)包括：
2.根据权利要求1所述的传感器设备(10)，其中，
3.根据权利要求2所述的传感器设备(10)，其中，
4.根据权利要求1所述的传感器设备(10)，还包括：
5.根据权利要求4所述的传感器设备(10)，还包括：
6.根据权利要求4所述的传感器设备(10)，其中，
7.根据权利要求1所述的传感器设备(10)，还包括：
8.根据权利要求7所述的传感器设备(10)，其中，
9.根据权利要求7所述的传感器设备(10)，其中，
10.根据权利要求1所述的传感器设备(10)，还包括：
11.根据权利要求10所述的传感器设备(10)，其中，
12.根据权利要求10所述的传感器设备(10)，其中，
13.根据权利要求10所述的传感器设备(10)，其中，
14.根据权利要求10所述的传感器设备(10)，其中，
15.一种用于操作用于观察场景(S)的传感器设
...【技术特征摘要】
【国外来华专利技术】
1.一种用于观察场景(s)的传感器设备(10)，所述传感器设备(10)包括：
2.根据权利要求1所述的传感器设备(10)，其中，
3.根据权利要求2所述的传感器设备(10)，其中，
4.根据权利要求1所述的传感器设备(10)，还包括：
5.根据权利要求4所述的传感器设备(10)，还包括：
6.根据权利要求4所述的传感器设备(10)，其中，
7.根据权利要求1所述的传感器设备(10)，还包括：
8.根据权利要求7所述的传感器设备...
【专利技术属性】
技术研发人员：克里斯蒂安·彼得·布伦德利，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。