基于事件的视觉传感器的动态感兴趣区域（ROI）制造技术

一种基于事件的像素传感器系统采用感兴趣区域或不感兴趣区域，感兴趣区域和不感兴趣区域优选地是动态的，以隔离变化事件并减少来自不感兴趣事件的数据。自不感兴趣事件的数据。自不感兴趣事件的数据。

【技术实现步骤摘要】
【国外来华专利技术】基于事件的视觉传感器的动态感兴趣区域（ROI）


[0001]本申请要求于2019年7月1日提交的美国临时申请号62/869,311在 35USC 119(e)下的权益，其全部内容通过引用结合于此。

技术介绍

[0002]今天，机器视觉主要是基于传统相机及其相关的基于帧的空间分辨光学传感器。对于某些机器视觉任务，如目标识别，这些传统的基于帧的相机及其基于图像的光学传感器是非常适合的。然而，对于其他任务，如监视、跟踪或位置和运动估计，传统的图像传感器存在缺陷。
[0003]传统相机的主要缺点是产生大量冗余和不必要的数据，这些数据必须被捕获、传送和处理。这种高数据负载通过降低时间分辨率来减慢反应时间，导致功耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器存在动态范围有限、弱光性能差和运动模糊等问题。
[0004]另一方面，所谓的动态视觉传感器(DVS)克服基于帧的编码的局限性。参见Lichtsteiner等人的题为“用于检测时间依赖的图像数据的光阵列”的美国专利申请公开号US 2008/0135731，其通过引用并入本文。这些空间分辨光学传感器使用像素内数据压缩来消除数据冗余。它们还可以实现高时间分辨率、低延迟、低功耗和高动态范围，且运动模糊很小。因此， DVS型光学传感器非常适合于特别是太阳能或电池供电的压缩感测或移动机器视觉应用，在这些应用中必须估计系统的位置并且由于电池容量有限而处理能力有限。
[0005]DVS在本地对视觉信息进行预处理。DVS不生成清晰的图像，而是为计算机应用生成智能数据。传统的图像传感器将电影捕捉为一系列静止图像，而DVS只检测并传输场景中变化的位置。它编码视觉信息的效率比传统相机要高得多，因为它是通过像素内数据压缩来实现的。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续跟踪视觉特征，从而克服对应问题。此外，DVS 的架构允许高动态范围和良好的弱光性能。
[0006]基于事件的视觉传感器(EVBS)通常是但并不总是原始DVS架构的变体。作为一般规则，EVBS的像素至少在它们的像素的部分中异步地操作而没有周期性采样率，并且一旦它们感知到亮度变化超过可调阈值，就发射所谓的DVS地址事件。在其他示例中，它们产生二值(或三值)图像。ON事件与亮度的增加超过阈值相关联；并且OFF事件与给定像素处亮度超过阈值的降低相关联。

技术实现思路

[0007]基于事件的视觉传感器允许处理效率，因为它们只传输关于场景变化的数据。因此，基于事件的视觉传感器特别擅长跟踪运动或变化的物体。然而，通常并不是场景的所有对象和其他特征都是有趣的/用于进一步处理的。本专利技术涉及避免无兴趣的场景特征数据
的传输，以提高整个系统的性能和效率。
[0008]根据一个方面，本专利技术的传感器仅发送具有一个(或几个)动态感兴趣区域(dROI)内的地址的事件，该动态感兴趣区域小于基于总事件的像素阵列。dROI的位置通常将跟随活动(使用某种活动跟踪和/或对象跟踪算法)。通常，dROI的位置可以由控制器不时地控制/校准。该控制器可以与传感器位于同一芯片上、在片上系统中、在封装系统中、或者可以在单独的设备/组件中实现。此外，控制器可以实现为在处理器上执行的软件代码，或者可以在硬件中实现。可以通过诸如卡尔曼滤波的预测算法来更新 dROI的位置。并且，dROI的位置可以通过经常更新的简单算法和较不经常运行的较复杂算法的组合来控制。此外，dROI的大小往往会随着被跟踪对象位置不确定性的增加而增加。通常，dROI可以具有任意的形状和分辨率，并且可以是连续的、也可以不是连续的。
[0009]一般而言，本专利技术的特征在于基于事件的像素传感器系统，该系统采用感兴趣区域和/或不感兴趣区域，这些区域优选地是动态的，以隔离变化事件并减少来自不感兴趣事件的数据。
[0010]通常，根据一个方面，本专利技术的特征在于基于事件的像素传感器系统，其包括基于事件的像素阵列和动态感兴趣区域块，该基于事件的像素阵列包括检测变化事件的基于事件的像素，该动态感兴趣区域块定义阵列内的一个或多个区域以隔离变化事件。
[0011]在一些示例中，动态感兴趣区域块定义从其处理变化事件的一个或多个感兴趣区域和/或定义从其忽略变化事件的一个或多个不感兴趣区域。
[0012]作为许多EBVS的特征，每个像素包括用于检测光的感光器和用于将感光器的输出与参考电压进行比较的比较器。每个像素通常还包括用于记忆来自感光器的过去信号的电容器。在操作中，每个像素解析ON变化事件和/或OFF变化事件。
[0013]在一些示例中，动态感兴趣区域块基于一个或多个区域对从基于事件的像素阵列读取的变化事件进行过滤。
[0014]在许多情况下，在动态感兴趣区域块和/或单独的处理单元中实现的一个或多个活动跟踪器用于更新一个或多个区域。
[0015]优选地，动态感兴趣区域块在与基于事件的像素阵列位于的同一芯片中实现。这样，在传感器中对事件进行过滤，例如减少了处理单元必须执行的处理。
[0016]总的来说，根据一个方面，本专利技术的特征在于用于基于事件的像素传感器系统的方法。该方法包括检测基于事件的像素阵列中的变化事件，以及定义阵列内的一个或多个区域以隔离变化事件。
[0017]本专利技术的上述和其它特征，包括结构的各种新颖细节和部件的组合，以及其它优点，现在将参考附图更具体地描述并在权利要求中指出。将理解，体现本专利技术的特定方法和装置是通过说明而不是作为本专利技术的限制来示出的。在不脱离本专利技术的范围的情况下，本专利技术的原理和特征可用于各种和许多实施例中。
附图说明
[0018]在附图中，附图标记指的是贯穿不同视图的相同部分。附图不一定是按比例绘制的；相反，重点放在说明本专利技术的原理上。在附图中：
[0019]图1示意性地示出基于事件的光学传感器系统：基于事件的光学传感器从光检测
像素阵列生成数据(变化事件)，并将该数据发送到接收和保存该数据的处理单元，并且该处理单元也是对相同数据进行细化的同一处理单元。这种基于事件的光学传感器系统采用动态感兴趣区域块(DRB)， DRB是EBVS的一部分，以用于隔离变化事件。
[0020]图2示意性地示出基于事件的光学传感器系统，该系统采用作为 EBVS的一部分的动态感兴趣区域块DRB，其与在处理单元PU上实现的复杂的活动跟踪器协同工作。
[0021]图3是示出基于事件的光学传感器的现有像素实现的电路图，例如根据PCT/IB2017/058526和美国公开号2018/0191972。
[0022]图4A是示出其中动态感兴趣区域块DRB用活动跟踪器312和dROI 事件过滤器310实现的传感器系统的示意图。来自读出电路的输出由活动跟踪器和由活动跟踪器控制的dROI事件过滤器处理。
[0023]图4B是示出传感器系统的另一实施例的示意图，其中来自读出电路的输出由活动跟踪器处理。在该实施例中，活动跟踪器的位置和本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种基于事件的像素传感器系统，包括：基于事件的像素阵列，包括检测变化事件的基于事件的像素；和动态感兴趣区域块，所述动态感兴趣区域块定义所述阵列内的一个或多个区域以隔离变化事件。2.根据权利要求1所述的系统，其中，所述动态感兴趣区域块定义变化事件被处理的一个或多个感兴趣区域。3.根据权利要求1或2所述的系统，其中，所述动态感兴趣区域块定义变化事件被忽略的一个或多个不感兴趣区域。4.根据权利要求1至3中任一项所述的系统，其中，每个所述像素包括：感光器，用于检测光；和比较器，用于将所述感光器的输出与参考电压进行比较。5.根据权利要求4所述的系统，其中，每个所述像素还包括用于记忆来自所述感光器的过去信号的电容器。6.根据权利要求1至5中任一项所述的系统，其中，每个所述像素解析ON变化事件和OFF变化事件。7.根据权利要求1至6中任一项所述的系统，其中，所述动态感兴趣区域块基于所述一个或多个区域对从所述基于事件的像素阵列读取的变化事件进行过滤。8.根据权利要求1至7中任一项所述的系统，还包括一个或多个活动跟踪器以用于更新所述一个或多个区域，所述活动跟踪器在所述动态感兴趣区域块和/或单独的处理单元中实现。9.根据权利要求1至...

【专利技术属性】
技术研发人员：拉斐尔，
申请(专利权)人：索尼高级视觉传感股份公司，
类型：发明
国别省市：