【技术实现步骤摘要】
本公开涉及计算机视觉识别，尤其涉及一种针对异步事件流的分段间隔采样方法、装置及存储介质。
技术介绍
1、神经形态视觉传感器(neuromorphic vision sensing，nvs)输出的异步事件流在三维空间以稀疏、离散的点阵形式呈现，在使用图模型的方法对其进行处理之前，需要对事件流进行采样，而采样算法的设计将直接影响图的内在特性，关系到图卷积网络的表达能力。同时，目前的神经形态数据集数量有限，且样本数量少，可供模型学习的数据不足，设计一个好的事件采样算法，能够充分利用有限的数据，提高图模型的学习能力和泛化能力。
2、目前对于使用图卷积网络对nvs数据进行处理的研究还比较空白，没有经验可以借鉴。针对异步事件流的采样方法，一般有随机采样、均匀采样和截断采样这几种。其中随机采样和均匀采样的方法是在全部事件流中随机抽取或者间隔一定数量抽取事件，这些方法将原本稀疏的事件流变得更加稀疏，破坏了原始数据高分辨率的特性；截断采样则是每次训练都取固定一段区间内的数据，模型每次学习的特征都是高度相似的。
3、相关技术中的这些方法都去除了异步事件流的时空上下文信息，导致在接下来的卷积过程中无法充分挖掘数据的内在特征，大大降低了模型的精度和性能。
技术实现思路
1、有鉴于此，本公开提出了一种针对异步事件流的分段间隔采样方法、装置及存储介质。所述技术方案包括：
2、根据本公开的一方面，提供了一种针对异步事件流的分段间隔采样方法，所述方法包括：
3、通过
4、对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，所述样本事件流用于转化为子图后输入至图模型中进行处理。
5、在一种可能的实现方式中，所述对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，包括：
6、获取预设参数，所述预设参数用于控制所述多个样本事件流的规模和时间维度；
7、根据所述预设参数，对所述多个候选事件流采用动态的所述时间间隔采样策略进行采样，得到所述多个样本事件流。
8、在另一种可能的实现方式中，所述预设参数包括扩张率和偏移量，所述扩张率用于指示采样的节点数量，所述偏移量用于指示采样的时间戳。
9、在另一种可能的实现方式中，所述时间间隔采样策略用于指示保留所述异步事件流的上下文信息。
10、在另一种可能的实现方式中，所述时间间隔采样策略用于指示在不同的训练轮次中对多个分段的所述候选事件流进行融合得到时空结构特征，将所述时空结构特征进行堆叠得到特征表示。
11、在另一种可能的实现方式中，所述事件相机为nvs。
12、根据本公开的另一方面，提供了一种针对异步事件流的分段间隔采样装置，所述装置包括：
13、感知模块，用于通过事件相机对环境光强变化值进行感知，输出得到异步事件流，所述异步事件流包括多个候选事件流；
14、采样模块，用于对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，所述样本事件流用于转化为子图后输入至图模型中进行处理。
15、在一种可能的实现方式中，所述采样模块，还用于：
16、获取预设参数，所述预设参数用于控制所述多个样本事件流的规模和时间维度；
17、根据所述预设参数，对所述多个候选事件流采用动态的所述时间间隔采样策略进行采样，得到所述多个样本事件流。
18、在另一种可能的实现方式中，所述预设参数包括扩张率和偏移量，所述扩张率用于指示采样的节点数量，所述偏移量用于指示采样的时间戳。
19、在另一种可能的实现方式中，所述时间间隔采样策略用于指示保留所述异步事件流的上下文信息。
20、在另一种可能的实现方式中，所述时间间隔采样策略用于指示在不同的训练轮次中对多个分段的所述候选事件流进行融合得到时空结构特征，将所述时空结构特征进行堆叠得到特征表示。
21、在另一种可能的实现方式中，所述事件相机为nvs。
22、根据本公开的另一方面，提供了一种计算设备，所述计算设备包括：处理器；用于存储处理器可执行指令的存储器；
23、其中，所述处理器被配置为：
24、通过事件相机对环境光强变化值进行感知，输出得到异步事件流，所述异步事件流包括多个候选事件流；
25、对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，所述样本事件流用于转化为子图后输入至图模型中进行处理。
26、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面或第一方面的任意一种可能的实现方式提供的方法。
27、本公开实施例设计了一种针对异步事件流的动态时间间隔采样机制，通过事件相机对环境光强变化值进行感知，输出得到异步事件流，异步事件流包括多个候选事件流；对多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，样本事件流用于转化为子图后输入至图模型中进行处理；即通过动态的时间间隔采样策略控制事件处理单元的时域长度，对整个事件流的长程时间结构建模，充分利用了数据集中的样本。
本文档来自技高网...【技术保护点】
1.一种针对异步事件流的分段间隔采样方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，包括：
3.根据权利要求2所述的方法，其特征在于，所述预设参数包括扩张率和偏移量，所述扩张率用于指示采样的节点数量，所述偏移量用于指示采样的时间戳。
4.根据权利要求1至3任一所述的方法，其特征在于，所述时间间隔采样策略用于指示保留所述异步事件流的上下文信息。
5.根据权利要求1至4任一所述的方法，其特征在于，所述时间间隔采样策略用于指示在不同的训练轮次中对多个分段的所述候选事件流进行融合得到时空结构特征，将所述时空结构特征进行堆叠得到特征表示。
6.根据权利要求1至5任一所述的方法，其特征在于，所述事件相机为神经形态视觉传感器NVS。
7.一种针对异步事件流的分段间隔采样装置，其特征在于，所述装置包括：
8.一种计算设备，其特征在于，所述计算设备包括：处理器；用于存储处理器可执行指令的存储器；
...
【技术特征摘要】
1.一种针对异步事件流的分段间隔采样方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述多个候选事件流采用动态的时间间隔采样策略进行采样，得到多个样本事件流，包括：
3.根据权利要求2所述的方法，其特征在于，所述预设参数包括扩张率和偏移量，所述扩张率用于指示采样的节点数量，所述偏移量用于指示采样的时间戳。
4.根据权利要求1至3任一所述的方法，其特征在于，所述时间间隔采样策略用于指示保留所述异步事件流的上下文信息。
5.根据权利要求1至4任一所述的方法，其特征在于，所述时间间隔采样策...
【专利技术属性】
技术研发人员：熊剑平，于秋爽，马骋，王松，裴京，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。