噪声处理装置、方法、芯片、事件成像装置及电子设备制造方法及图纸

本发明专利技术公开了一种噪声处理装置、方法、芯片、事件成像装置及电子设备。为解决事件成像过程中的噪声问题，本发明专利技术噪声过滤方案包括实时接收动态传感器输出的新事件，对接收的新事件进行预处理，获取事件数据信息，所述事件数据信息包括坐标信息；基于坐标信息对新事件进行噪声处理。本发明专利技术的噪声过滤技术基于硬件实现，具有并行性、实时性，处理速度快、功耗低等特点，在不影响现有事件成像的优良性能的基础上，噪声过滤手段简洁有效、在硬件上可实施性高、资源占用少且功耗低。资源占用少且功耗低。资源占用少且功耗低。

【技术实现步骤摘要】
噪声处理装置、方法、芯片、事件成像装置及电子设备


[0001]本专利技术涉及一种噪声处理装置、方法、芯片、事件成像装置及电子设备，具体涉及一种基于坐标的、实时有限聚类识别的噪声处理装置、方法、芯片、事件成像装置及电子设备。

技术介绍

[0002]事件成像是当前热门研究方向，其不需要采集视线内的所有元素，仅采集场景内发生变化的事件，每个像素独立且异步运行，具有实时、低功耗的特点，典型的事件成像装置有动态视觉传感器（Dynamic Vision Sensor，DVS）以及核医学成像。
[0003]DVS是一种仿生视觉传感器，采用事件驱动的方式来采集环境中的动态变化，具有极高的时间分辨率和动态范围。与传统的帧相机不同，DVS相机不是以固定的速率捕捉图像，而是异步地测量每像素的亮度变化，并输出一系列事件，编码时间、位置和亮度变化的标志，因此能够快速捕捉环境中的运动目标。
[0004]噪声过滤是事件成像领域一个十分重要且基础的课题。正常情况下，只有当检测画面中的物体发生位移时，DVS相机才会产生事件，然而，在具体的应用中，DVS相机通常会受到设计工艺、环境等原因产生的噪声干扰，比如hot pixel、白噪声以及黑暗条件下特殊的黑噪等问题。常见的一些噪声类型有：图1a中均匀分布的噪声称为白噪声，图1b中若干经常出现的特殊点称为hot pixel，图1c中在无光条件下出现的噪声称之为黑噪。
[0005]这些非事件噪声对于DVS设备的图像识别，信号获取与甄别分析产生较大的困扰。例如，在静息状态时，DVS设备仍然会产生一些间隔很远、没有关联的离散噪声事件，在激活状态时，噪声的影响仍然存在，严重影响了输出图像质量，这些噪声事件消耗了不必要的网络带宽和存储资源，且增加了脉冲神经网络处理这些噪声事件所需的能耗，严重影响芯片整体功耗和商业应用。因此，对DVS输出事件进行噪声处理具有重要的意义。
[0006]现有技术中存在一些针对事件成像的噪声过滤技术，例如，通过存储或积累一定时间窗口内的事件以生成帧图像（或称事件帧），由此可以利用常规的噪声过滤算法进行去噪，但事件成像（如DVS）最大的优势就是不以帧形式输出，从而具有实时、低功耗、高分辨率的特点，而将事件生成事件帧的形式后处理，增加了延时和功耗，使DVS的优点不能得到有效发挥，此外该方法忽略了事件的空间关联性，噪声过滤效果并不佳。
[0007]一些方法使用K
‑
SVD字典对图像去噪，但该方法无法满足对DVS输出进行实时噪声处理的需求，以及一些优化的算法中，进一步对事件帧图像进行图像分组，之后对每个区域进行噪声处理，该方法计算过程复杂，需要较高的运算能力，且资源占用大。一些方法采用复杂的数学运算求取距离关系，如平方、平方根运算，然而复杂的运算在硬件中实现难度大，实际应用价值不高。
[0008]此外，一些方法基于事件邻域进行噪声处理，比较邻域内事件发生时间与邻域内下一事件发生时间的时间差，并设置时间窗口阈值，若时间差大于时间窗口阈值，则认为该事件为噪声事件并过滤。然而，限定邻域会导致该邻域内事件数量不确定，尤其在目标运动
时，事件成像具有很强的连续性，强行限制邻域大小会导致有效事件被过滤，从而造成误判。
[0009]一些方法将空间上不孤立、时间上连续的信号进行累加，累加到阈值时输出脉冲信号。然而，累加会产生一定的延迟，降低事件分辨率。同时，一些方法基于时间窗或邻域密度进行噪声处理，通过固定时间窗口，获取一定时间段内的事件，需要统计预定邻域内和预定时间窗内的事件，该方法会造成信息冗余，资源开销大，例如CN107220942A。同时采用邻域密度的方法，确定事件的邻域内和时间窗内的事件密度，在资源有限的情况下难以实施，且延时高。
[0010]由此可见，现有技术中针对事件成像的噪声过滤技术运算复杂，且多数还停留在软件或算法层面，复杂的数学运算在硬件中实现困难，实际应用价值不高，且对硬件资源的占用多导致额外的功耗。而计算资源、存储资源和功耗对于事件成像的相机来说是极其宝贵的，DVS的核心竞争力是其低功耗、数据传输带宽小，而大量的硬件存储资源被占用，对硬件（如芯片）设计的功耗、实时性方面，都将大大折扣，额外的功耗和存储资源，对于DVS而言是难以接受的，同时现有的硬件实现方法虽然速度快、实时性高，但空间信息利用不全，导致效果欠佳。
[0011]该领域普遍希望针对事件成像的噪声处理技术不影响现有事件成像的优良性能，能够简洁有效，实施性高，在硬件上容易实现，资源占用少，通过消除噪声的事件有效降低系统低功耗。

技术实现思路

[0012]为了解决或缓解上述部分或全部问题，本专利技术提出一种基于坐标分析的实时噪声处理技术，其具体是通过如下方式实现的：一种噪声处理装置，该噪声处理装置接收事件成像装置输出的新事件，该新事件的数据信息至少包括新事件的坐标信息，所述噪声处理装置包括：第一存储空间：用于先入先出地存储若干历史事件的数据信息，所述历史事件的数据信息至少包括历史事件的坐标信息；计算模块：分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离；第一判断模块：判断所述坐标距离是否在第一预设范围内，并基于判断结果得到新事件与每个历史事件之间的关系值；求和模块：将第一判断模块得到的新事件与每个历史事件之间的关系值相加，得到所述新事件与所述若干历史事件之间关系值总和；第二判断模块：根据求和模块输出的所述关系值总和与第二预设值之间的大小关系，判定所述新事件为有效事件或者噪声事件。
[0013]在某类实施例中，在判断所述新事件是有效事件或者噪声事件之后，从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息。
[0014]在某类实施例中，从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息之后，将所述新事件的数据信息存储至所述第一存储空间，其中所述新事件的数据信息至少包括新事件的坐标信息。
[0015]在某类实施例中，若所述新事件是有效事件，从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息，并将该新事件的数据信息存储至所述第一存储空间。
[0016]在某类实施例中，所述第一存储空间是移位寄存器阵列。
[0017]在某类实施例中，所述噪声处理装置还包括输入级缓冲器，用于缓存接收到的新事件；当经所述第二判断模块判定新事件为噪声事件时，则从输入级缓冲器中丢弃或滤除该新事件。
[0018]在某类实施例中，所述计算模块，利用加法或/和减法运算，并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。
[0019]在某类实施例中，所述新事件和若干历史事件的数据信息还包括时间信息；所述噪声处理装置还包括带通滤波模块，所述带通滤波模块基于新事件发生的时间间隔进行带通滤波。
[0020]在某类实施例中，所述新事件的时间信息和若干历史事件的时间信息均是事件的时间戳；将新事件的时间戳与所述第一存储空间存储的若干本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种噪声处理装置，该噪声处理装置接收事件成像装置输出的新事件，该新事件的数据信息至少包括新事件的坐标信息，其特征在于，所述噪声处理装置包括：第一存储空间：用于先入先出地存储若干历史事件的数据信息，所述历史事件的数据信息至少包括历史事件的坐标信息；计算模块：分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离；第一判断模块：判断所述坐标距离是否在第一预设范围内，并基于判断结果得到新事件与每个历史事件之间的关系值；求和模块：将第一判断模块得到的新事件与每个历史事件之间的关系值相加，得到所述新事件与所述若干历史事件之间关系值总和；第二判断模块：根据求和模块输出的所述关系值总和与第二预设值之间的大小关系，判定所述新事件为有效事件或者噪声事件。2.根据权利要求1所述的噪声处理装置，其特征在于：在判断所述新事件是有效事件或者噪声事件之后，从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息。3.根据权利要求2所述的噪声处理装置，其特征在于：从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息之后，将所述新事件的数据信息存储至所述第一存储空间，其中所述新事件的数据信息至少包括新事件的坐标信息。4.根据权利要求1所述的噪声处理装置，其特征在于：若所述新事件是有效事件，从所述第一存储空间中移出若干历史事件中最早的至少一个事件的数据信息，并将该新事件的数据信息存储至所述第一存储空间。5.根据权利要求1所述的噪声处理装置，其特征在于：所述第一存储空间是移位寄存器阵列。6.根据权利要求1所述的噪声处理装置，其特征在于：所述噪声处理装置还包括输入级缓冲器，用于缓存接收到的新事件；当经所述第二判断模块判定新事件为噪声事件时，则从输入级缓冲器中丢弃或滤除该新事件。7.根据权利要求1
‑
6任意一项所述的噪声处理装置，其特征在于：所述计算模块，利用加法或/和减法运算，并行地计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离。8.根据权利要求1
‑
6任意一项所述的噪声处理装置，其特征在于：所述新事件和若干历史事件的数据信息还包括时间信息；所述噪声处理装置还包括带通滤波模块，所述带通滤波模块基于新事件发生的时间间隔进行带通滤波。9.根据权利要求8所述的噪声处理装置，其特征在于：所述新事件的时间信息和若干历史事件的时间信息均是事件的时间戳；将新事件的时间戳与所述第一存储空间存储的若干历史事件中最新事件的时间戳相比对，当二者的时间戳间隔大于第一阈值且小于第二阈值时，判定该新事件为有效事件。
10.根据权利要求1
‑
6任意一项所述的噪声处理装置，其特征在于：所述第二预设值为4或5或6或7或8。11.一种噪声处理方法，其特征在于，该噪声处理方法包括如下步骤：步骤S1：接收事件成像装置输出的新事件；步骤S2：获取新事件的数据信息，所述新事件的数据信息至少包括新事件的坐标信息；步骤S3：基于若干历史事件的坐标信息和所述新事件的坐标信息，判断所述新事件是有效事件或者噪声事件；其中，历史事件的数据信息先入先出地存储于第一存储空间，所述历史事件的数据信息至少包括历史事件的坐标信息；其中，基于若干历史事件的坐标信息和所述新事件的坐标信息，判断所述新事件是有效事件或者噪声事件，具体包括如下步骤：步骤S301：分别计算所述新事件的坐标信息与所述第一存储空间中的每个历史事件的坐标信息之间的坐标距离；步骤S302：判断所述坐标距离是否在第一预设范围内，并基于判断结果得到新事件与每个历史事件之间的关系值；步骤S303...

【专利技术属性】
技术研发人员：柯凌云，任宇迪，乔宁，柯政，张林，范健均，龚熙文，
申请(专利权)人：深圳时识科技有限公司，
类型：发明
国别省市：