处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法技术

处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。所述系列中的每一事件包括从其接收所述事件的所述阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值。所述方法包括：将数据结构存储于第一存储器中，所述数据结构包含用于所述阵列的至少一些所述像素的事件数据，用于像素的所述事件数据与最近从所述像素接收的至少一个事件相关；在时隙期间，当接收到所述系列中的所述事件时在具有比所述第一存储器更快访问的第二存储器中构建所述阵列中的所述像素的映射，所述映射包含用于所述阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及使用所述映射在所述时隙之后更新所述数据结构。数据结构。数据结构。

【技术实现步骤摘要】
【国外来华专利技术】处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法


[0001]本专利技术涉及机器视觉，尤其涉及处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。

技术介绍

[0002]机器视觉是包含用于获取、处理、分析和理解图像以供在例如以下多种类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、对象检测、面部辨识等)、环境用途应用(例如，照明控制)、对象检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可以与许多不同系统集成。
[0003]在本领域中，上述应用通过使用基于帧的图像传感器实现，所述基于帧的图像传感器从场景中依序获取每个传感器元件(像素)或每个像素线/列的视觉信息，或以各种模式获取像素平行，但总是以某一有限帧速率进行时间采样的视觉信息。因此，基于帧的图像传感器在许多应用中具有限制，例如在呈现快速运动和立体匹配中。
[0004]已经开发基于事件的传感器来克服基于帧的图像传感器的局限性。代替以所有像素同时的方式捕获图像且试图补偿伪影和抑制信息，基于事件的图像传感器获取由每一像素从由传感器观察到的场景感测到的时间明度特征曲线。基于事件的传感器可以捕获由于由像素个别地获取的信息的高时间分辨率而引起的视觉场景中的快速改变的信息。在论文Posch,C.、Serrano
‑
Gotarredona,T.、Linares
‑
Barranco,B.和Delbruck,T.(2014年)，“视网膜形态基于事件的视觉传感器：具有尖峰信号输出的生物激发相机(Retinomorphic event
‑
based vision sensors:bioinspired cameras with spiking output)”(IEEE会刊，102(10)，1470
‑
1484)中论述此基于事件的机器视觉技术的更多细节。
[0005]由于基于事件的传感器输出异步事件，因此需要时间流的一些表示来实现各种应用。此种表示可能与常规相机中使用的“帧”不相同。
[0006]一般来说，对于传感器的每个像素，存储关于在时间窗期间从像素接收的一个或多个事件的一些数据。此类数据可以包含直方图数据，即在时间窗期间从像素接收到多少事件、从像素接收到的最新事件的时间戳等。数据可以存储在两个通道中以区分正或负极性的事件，即指示由像素感测的光强度增加或减小。可以存储更复杂的数据类型，例如在“EV
‑
SegNet：用于基于事件的相机的语义分段”，I.Alonso和A.C.Murillo,arXiv：1811.12039v1，2018年11月29日中公开的数据类型。
[0007]因此从事件流导出的数据结构可以对事件之间的空间关系进行编码，因为所述数据结构可以使用像素地址来访问。所述数据结构通常存储于与处理传入事件流的处理器相关联的RAM(随机存取存储器)中。处理器从阵列中空间上不相关的像素按时间顺序接收事件。这表示每当接收到事件时访问RAM，这样会消耗大量处理资源。无法方便地使用例如高速缓存的本地存储器方案。
[0008]需要一种新方法来处理基于事件的数据以改进使用计算资源的效率，尤其关于存
储器访问的效率。

技术实现思路

[0009]提出一种处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法。所述系列中的每一事件包括从其接收事件的阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值。所述方法包括：
[0010]存储数据结构，所述数据结构包含用于阵列的至少一些像素的事件数据，用于像素的事件数据与最近从所述像素接收的至少一个事件相关；
[0011]在时隙期间，当接收到系列中的事件时构建阵列中的像素的映射，所述映射包含用于阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及
[0012]使用所述映射在所述时隙之后更新数据结构。
[0013]在时隙中对事件进行分组具有去除群组内的任何时间顺序的基本益处。因此，它允许使用更方便的排序来满足计算和架构需求。
[0014]通常，时隙相对较短，例如，小于2毫秒。一旦所述时隙结束，映射就用于更新数据结构。由于用于映射和数据结构两者的寻址方案基于像素位置(不按事件的时间顺序)，因此可以使用与负责执行所述方法的处理器相关的合适存储器架构有效地进行更新。访问存储数据结构的存储器区以分批进行更新。即使时隙较短，也大幅度减少存储器访问的数目。
[0015]通常，数据结构存储于第一存储器中，并且在具有比第一存储器更快访问的第二存储器中构建映射。
[0016]例如，构建映射的存储器可以是本地存储器，而数据结构存储于全局存储器中。本地存储器还可以称为1级(L1)存储器或片上存储器。在一个可能实施例中，全局存储器是随机存取存储器、RAM、存储器并且本地存储器是高速缓存存储器。
[0017]非限制性地，使用映射在时隙之后更新数据结构可以包括以光栅扫描次序访问所存储的数据结构。
[0018]时隙可以具有基于从像素阵列接收的事件调适的其持续时间。
[0019]在实施例中，使用映射在时隙之后更新数据结构包括改变每个像素的事件数据，其中映射具有带有除了零值之外的值的信息元素。
[0020]例如，改变像素的事件数据可以包括通过参考针对时隙定义的时间戳来设置像素的事件数据。在这种情况下，由于忽略时隙内的事件定时变化，因此会损失一些时间精度。然而，如果适当地选择时隙持续时间，则不会对应用有害。参考针对时隙定义的时间戳具有减少事件时间戳上的噪声的有利效果
[0021]在实施例中，在时隙期间构建映射包括：
[0022]通过用于阵列中的所有像素的信息元素的零值初始化映射；
[0023]在时隙期间从其中包含在映射中的信息元素具有零值的像素接收事件后，基于所接收事件的属性值设置包含在所述像素的映射中的信息元素的值；以及
[0024]当时隙结束时，输出映射。
[0025]在时隙期间构建映射可以进一步包括：在时隙期间从其中包含在映射中的信息元素具有除了零值之外的值的像素接收事件后，基于所接收事件的属性值设置包含在所述像
素的映射中的信息元素的值。
[0026]如果从阵列中的像素接收的事件的属性值包括事件的极性，其在由所述像素感测到的光增加时具有第一值，例如+1以及在由所述像素感测到的光减少时具有第二值，例如
‑
1，则在时隙期间从其接收事件的像素的映射中所包含的信息元素可以包括所述事件的极性。
[0027]如果从阵列中的像素接收的事件的属性值包括由所述像素感测到的光强度量度，则在时隙期间从其接收事件的像素的映射中所包含的信息元素可以包括取决于所述事件的光强度量度的元素。
[0028]本专利技术的另一方面涉及一种用于耦合到基于事件的光传感器的像素阵列的处理器。所述处理器被配置成实施如本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理从基于事件的光传感器(10)的像素阵列异步地接收的一系列事件的方法，其中，所述系列中的每一事件包括从其接收所述事件的所述阵列中的像素的地址，以及取决于由所述像素感测到的入射光的属性值，所述方法包括：存储数据结构，所述数据结构包括用于所述阵列的至少一些所述像素的事件数据，用于像素的所述事件数据与最近从所述像素接收的至少一个事件相关；在时隙期间，当接收到所述系列中的所述事件时构建所述阵列中的所述像素的映射，所述映射包括用于所述阵列的每个像素的信息元素，所述信息元素具有多个值中的一个，包含指示在所述时隙期间不存在事件的零值；以及使用所述映射在所述时隙之后更新所述数据结构。2.根据权利要求1所述的方法，其特征在于，所述数据结构存储于第一存储器(16)中，并且在具有比所述第一存储器(16)更快访问的第二存储器(18)中构建所述映射。3.根据前述权利要求中任一项所述的方法，其特征在于，所述数据结构存储于全局存储器(16)中并且在本地存储器(18)中构建所述映射。4.根据权利要求3所述的方法，其特征在于，所述全局存储器(16)是随机存取存储器、RAM、存储器，而所述本地存储器(18)是高速缓存存储器。5.根据前述权利要求中任一项所述的方法，其特征在于，使用所述映射在所述时隙之后更新所述数据结构，包括以光栅扫描次序访问所述所存储数据结构。6.根据前述权利要求中任一项所述的方法，其特征在于，所述时隙为至多2毫秒长。7.根据前述权利要求中任一项所述的方法，其特征在于，所述时隙具有持续时间，所述持续时间基于从像素阵列接收的事件而调适。8.根据前述权利要求中任一项所述的方法，其特征在于，使用所述映射在所述时隙之后更新所述数据结构包括改变每个像素的所述事件数据，其中，所述映射具有带有除了所述零值之外的值的信息元素。9.根据权利要求7所述的方法，其特征在于，改变像素的所述事件数据包括通过参考针对所述时隙定义的时间戳来设置所述像素的事件数据。10.根据前述权利要求中任一项所述的方法，其特征在于，在时隙期间构建...

【专利技术属性】
技术研发人员：达尼埃莱，
申请(专利权)人：普罗费塞公司，
类型：发明
国别省市：