基于AER图像传感器的实时多物体追踪方法和装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，为实时处理从AER图像传感器采集的图像信息，对多目标同时检测并能准确提供各目标位置参数等信息。本发明专利技术，基于AER图像传感器的实时多物体追踪方法和装置，利用地址—事件表示的图像传感器采集数据并进行实时处理，监测光强变化，当变化达到指定阈值即会输出，同时利用传感器滤除无用的背景信息，减少传输数据量和冗余信息；传感器数据并行传输到仲裁机制中，通过仲裁机制判断传输的先后顺序并形成时间标签，其中包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或‑1；然后对时间标签进行处理，实现实时追踪。本发明专利技术主要应用于图像处理、追踪。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种基于事件驱动的实时处理算法，自动精确地捕获有用信息，具有低数据量，高处理速度，高识别精度的优势，实现多物体识别追踪的智能视觉图像应用。具体涉及基于AER图像传感器的实时多物体追踪方法和装置。
技术介绍
随着通信、网络、计算机和微电子技术的发展，计算机视觉技术被应用在各个领域，监控系统在生产生活中的应用也逐渐增大，传统的监控系统需要人员值守，耗费人力且存在一定的局限性，因此研究智能化监控系统就显得尤为重要。在智能化监控系统领域中，对运动目标实现无人检测、监控是当今研究的热点问题，涉及到图像获取、图像处理、模式识别和人工智能等多领域的核心技术，其在交通监控、周界防护、虚拟现实、人机交互及移动机器人导航等领域都有着广泛的应用。而智能监控系统中，运动物体追踪算法的性能直接影响着目标追踪的准确性和鲁棒性。传统运动物体追踪是通过分析视频中每一帧图像信息，进行数据挖掘，对目标行为进行大量的动作捕捉，通过一系列的信息处理后，计算并标记出所追踪目标在图像中相应的位置。传统运动物体追踪研究算法主要分为两类：自底向上和自顶向下。自底向上的方法有很多，如光流场法、帧间差分法、背景差法，先将目标物体部分分割出来，找出追踪算法中所需要使用的部分建立目标物体模型，再对模型进行追踪，参考图1。分割主要由纯外部因素决定，如颜色、方向、纹理、二维或三维空间中物体的连接特征等。自顶向下的方法则是使用图片的内容，根据当前视觉行为有关的先验知识来预测和感知目标，通过评估的方法判断物体的位置。追踪方法依靠定位目标在每帧图像中的位置，可以生成物体的长期运动轨迹，并将检测到的物体和每帧图片中的目标实例一一对应。传统的运动物体追踪系统往往存在一些不足。如：图像传感器将采集的大量原始图像数据传送到处理系统中进行追踪，由于是串行传送，导致存在严重的带宽限制，处理速度无法满足高速实时性需求。并且，面对复杂目标和背景噪声干扰大的图像时，会产生大量冗余信息，导致追踪结果不够理想。此外，被追踪的物体本身形状具有多样性，在运动过程中可能伴随一系列变化，如形变，颜色变化、运动方向变化等，都会影响追踪结果，使得运动物体追踪算法在很多方面的研究存在着一定的挑战。因此，设计一种高识别率，低复杂度的运动物体追踪算法是非常必要的。
技术实现思路
为克服现有技术的不足，解决传统图像采集及运动物体追踪算法所存在的问题，本专利技术旨在提供一种基于AER图像传感器的实时多物体追踪算法。该算法实时处理从AER图像传感器采集的图像信息，实现多目标同时检测并能准确提供各目标位置参数等信息。本专利技术采用的技术方案是，基于AER图像传感器的实时多物体追踪方法，利用地址—事件表示(Address-Event Representation,AER)的图像传感器采集数据并进行实时处理，监测光强变化，当变化达到指定阈值即会输出，同时利用传感器滤除无用的背景信息，减少传输数据量和冗余信息；利用传感器仲裁机制判断传输的先后顺序并形成时间标签，其中包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或-1；追踪算法对时间标签进行处理，实现实时追踪。通过地址—事件表示的图像传感器进行数据采集，其像素尺寸为M×M，根据经验设定追踪目标的个数n，即追踪器个数，当算法检测到追踪器不足时，会自动添加追踪器个数；设置各追踪器初始位置p1,p2…pn；在图像传感器M×M的位置均匀分布，防止各追踪器之间距离过近。对时间标签进行处理的具体步骤如下：依次接收由AER图像传感器传输的时间标签ei(pi，ti，poli)，ei为第i个时间标签，计算每个追踪器与时间标签ei的高斯分布概率密度函数： f i ( p m ) = 1 2 π | Σ m | - 1 2 e - 1 2 ( p i - p m ) T Σ t - 1 - 1 ( p i - p m ) - - - ( 1 ) ]]> Σ m = σ x m 2 σ x m y m 本文档来自技高网...

【技术保护点】
一种基于AER图像传感器的实时多物体追踪方法，其特征是，利用地址—事件表示的图像传感器采集数据并进行实时处理，监测光强变化，当变化达到指定阈值即会输出，同时利用传感器滤除无用的背景信息，减少传输数据量和冗余信息；利用传感器仲裁机制判断传输的先后顺序并形成时间标签，其中包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或‑1；追踪算法对时间标签进行处理，实现实时追踪。

【技术特征摘要】
1.一种基于AER图像传感器的实时多物体追踪方法，其特征是，利用地址—事件表示的图像传感器采集数据并进行实时处理，监测光强变化，当变化达到指定阈值即会输出，同时利用传感器滤除无用的背景信息，减少传输数据量和冗余信息；利用传感器仲裁机制判断传输的先后顺序并形成时间标签，其中包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或-1；追踪算法对时间标签进行处理，实现实时追踪。2.如权利要求1所述的基于AER图像传感器的实时多物体追踪方法，其特征是，通过地址—事件表示的图像传感器进行数据采集，其像素尺寸为M×M，根据经验设定追踪目标的个数n，即追踪器个数，当算法检测到追踪器不足时，会自动添加追踪器个数；设置各追踪器初始位置p1,p2…pn；在图像传感器M×M的位置均匀分布，防止各追踪器之间距离过近。3.如权利要求1所述的基于AER图像传感器的实时多物体追踪方法，其特征是，对时间标签进行处理的具体步骤如下：依次接收由AER图像传感器传输的时间标签ei(pi，ti，poli)，ei为第i个时间标签，计算每个追踪器与时间标签ei的高斯分布概率密度函数： f i ( p m ) = 1 2 π | Σ m | - 1 2 e - 1 2 ( p i - p m ) T Σ t - 1 - 1 ( p i - p m ) - - - ( 1 ) ]]> Σ m = σ x m 2 σ x m y m σ x m y m σ y m 2 - - - ( 2 ) ]]>其中pm＝[xm,ym]T为第m个追踪器的坐标位置，xm为横坐标，ym为纵坐标，pi＝[xi,yi]T第i个时间标签的坐标位置，xi为横坐标,yi纵坐标，∑m∈R2×2，为第m个追踪器的协方差矩阵,∑t-1为最近一次时间标签被判定为属于该追踪器的协方差矩阵，当第i个时间标签之前无时间标签被判定为属于该追踪器时，∑t-1为∑0；判断各追踪器正态分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，则说明第i个时间标签属于第m个追踪器，反之则不属于，若属于第m个追踪器，则更新第m个追踪器的位置：pt＝α1pt-1+(1-α1)pi (3)Σt＝α2Σt-1+(1-α2)ΔΣ (4) Δ Σ = ( x i - x m ) 2 ( x i - x m ) ( y i - y m ) ( x i - x m ) ( y i - y m ) ( y i - y m ) 2 - - - ( 5 ) ]]>其中，α1和α2为更新参数，与AER图像传感器产生的事件率和被测场景复杂度有关，pt为此时第m个追踪器的位置，即目标此时所处位置，pt-1为目标未移动前的位置，∑t为目标移动后该追踪器的协方差矩阵，Δ∑则为协方差差值。若时间标签不属于任何一个追踪器，则第m个追踪器的位置及协方差矩阵均保持不变，新建一个追踪器，位置为该时间标签的位置，新建追踪器协方差矩阵为∑0，若有时间标签属于多个追踪器，则根据概率密度函数fi的大小判断，时间标签归属于函数值较大的追踪器，更新后的追踪器位置即为运动物体位置。4.如权利要求3所述的基于AER图...

【专利技术属性】
技术研发人员：徐江涛，王含宇，高志远，聂凯明，高静，马建国，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12