基于压缩感知多视角目标跟踪和3D目标重建系统及方法技术方案

本发明专利技术属于图像处理领域。为实现不仅降低编码端复杂度，降低传输数据带宽，同时提高算法自适应性和信号抗噪性，对背景变化具有鲁棒性，本发明专利技术采取的技术方案是，基于压缩感知多视角目标跟踪和3D目标重建系统及方法，包括下列步骤：使摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，通过对观测区域采样后，先进行压缩采样，再通过两次移动平均进行背景更新，采用能够抗噪的算法得到背景减除图像的压缩采样值；将得到的背景减除图像的压缩采样值，通过阈值测试检测感兴趣的目标；对感兴趣的目标则执行分析算法。本发明专利技术主要应用于图像传感器的设计制造。

【技术实现步骤摘要】

本专利技术属于图像处理领域，尤其涉及一种基于压缩感知多视角目标跟踪和3D目标重建系统及方法。
技术介绍
随着摄像机技术的进步，广泛应用于监控系统、医学、智能房间等的摄像机网络不断发展。利用多个摄像机获取的信息可以对目标进行定位，从而追踪遮蔽目标或者重建3D目标。在这个背景下，设计对观测区域背景变化有鲁棒性的、通信开销低的、且相机数量可变的分布式算法显得尤为重要。传统方法中，由摄像机捕获大量结构完整但冗余度很高的数据，之后，若是可以进行本地处理的智能摄像机，会在将数据传送至通信信道前对获取的图像进行预处理，如利用传统的压缩方法等，这样就可以提取出有用的信息，只传送少数观测值就可以达到通信需求，但数据量仍然很大，占用带宽也较多，且对摄像机的性能要求很高，耗电量加大，并且这些算法的复杂度都会随着摄像机数量的增长而线性增长。如果再对观测区域背景的变化进行检测更新，则会占用更多资源，加重编码器负担，进一步加大耗电量，而实际中背景变化的情况很多见。摄像机处只传送目标的剪影信息是对传统算法的改进，它是在摄像机端对获取的数据进行背景减除算法的处理，获得只包含前景目标的剪影信息并传送。这样可以有效减少数据传输带宽，但是没有进一步利用剪影信息的稀疏性，由于加入了背景减除算法使得数据处理性能要求更高，耗电量更大，算法的复杂度还是会随着摄像机数量的增长而线性增长，对背景的变化若有鲁棒性仍然需要消耗过多资源。传统的多视角视频分析系统传输数据带宽大、编码端(摄像机)较复杂且耗电量大、算法复杂度没有自适应性、信号抗噪性弱、实际应用中可扩展性不强。
技术实现思路
本专利技术旨在克服现有技术的不足，避免传统的多视角视频分析系统传输数据带宽大、摄像机端较复杂且耗电量大、算法复杂度没有自适应性、抗噪性弱、实际应用中可扩展性不强的缺点，实现不仅降低编码端复杂度，降低传输数据带宽，同时提高算法自适应性和信号抗噪性，对背景变化具有鲁棒性，为达到上述目的，本专利技术采取的技术方案是，基于压缩感知多视角目标跟踪和3D目标重建系统及方法，包括下列步骤使摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，通过对观测区域采样后，先进行压缩采样，再通过两次移动平均进行背景更新，采用能够抗噪的算法得到背景减除图像的压缩采样值；将得到的背景减除图像的压缩采样值，通过阈值测试检测感兴趣的目标；对感兴趣的目标则执行分析算法，即·恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在2D的情况时将观测区域划分成N个紧凑不重叠子区域，第η个子区域有位置坐标(xn，yn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标位置一一对应，联合η个摄像机的数据找到其在观测区域中的准确位置；在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域，第η个子区域有位置坐标(xn，yn, zn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标上的点一一对应，联合η个摄像机的数据找到其在观测区域中的准确形态。送入背景更新模块中先进行压缩采样，再通过两次移动平均进行背景更新具体是，采用SRM算法压缩采样得到yt(j)，yt(j)分两路，一路通过yt (j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出，yd(j)是背景图像的压缩采样值，SRM是结构化随机矩阵；一路与缓存器I中的移动平均值yma(j)以学习率Y完成第一次移动平均，b代表背景，如下式 yma(j+l) = Y yt(j) + (i-y )yma(j)得到新的的移动平均值yma(j+l)并存入缓存器I以供下次使用，第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值JUj')的差，和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成，如下式yh (j +1) = a{yt (j) - ye (./)) + (I - a)yb (j)得到新的背景的压缩采样值存入缓存器2供下次使用，这样就完成了对背景突变时的背景鲁棒更新，背景突变的情况就有某物体进入背景后静止或者光照变化，j代表当前中贞，j+Ι代表下一中贞。先通过阈值测试检测感兴趣的目标即运动目标具体为，由于bg||少^ W(A，<)以及log||>’w - #(/&, <)，其中ybi是背景图像的多组测量值，yb是其均值，前景目标较小时，会有W#/%)，做简单的阈值测试就可判断有无感兴趣的目标存在，bg是background的缩写,/&、是背景期望和背景方差，若％2、差别较大比较下式_7] IogIIjdII^ -Mbg >cabg其中c是设定常数，若成立，表示有目标出现，其中表示正态分布，μ t是期望，CTi2是方差，σ bg是标准差，I I I I下角标2是2范数。借助于下列组成部分实现包括若干摄像机，背景更新模块，中心数据处理点，摄像机、背景更新模块、中心数据处理点依次相连，η个数字摄像头通过复用32条数据线连接至背景更新模块，背景更新模块外接一个Flash或者SRAM来存取数据；背景更新模块通过PCI总线连接至上位机，背景更新模块由DSP构成，DSP包括如下子模块SRM算法压缩模块用于采用SRM算法压缩采样得到yt(j)分两路，一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出，yd(j)是背景图像的压缩采样值，SRM是结构化随机矩阵,一路输出到第一次移动平均模块；第一次移动平均模块用于将yt(j)与缓存器I中的移动平均值yma(j)以学习率Y完成第一次移动平均，如下式yma(j+i) = Y yt(j) + (i-y )yma(j)得到新的的移动平均值yt (j+1)并存入缓存器I以供下次使用；第二次移动平均模块用于将yt (j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值兔(J')的差，和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成，如下式V,{j +1) = a{y,O)- ve(j)) + (I-a)yb(j)得到新的背景的压缩采样值存入缓存器2供下次使用。本专利技术的有益效果在于本专利技术是将压缩感知编码端和压缩感知解码端融入多视角目标跟踪和3D目标重建系统，相比于传统的多视角视频分析系统，本系统可以实现减少编码端复杂度，以较少的数据量采样目标剪影并传输，提高算法对于摄像机个数的自适应 性以及数据在信道传输的抗噪性，使算法对于观测区域的背景变化具有鲁棒性。附图说明图I是本专利技术的基于压缩感知的多视角目标跟踪和3D目标重建系统的总体工作原理结构示意图。图2是本专利技术的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件I工作原理结构示意图。图3是本专利技术的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件2工作原理结构示意图。 图4是本专利技术DSP程序流程图。图5是本专利技术硬件结构整体框图。具体实施例方式一种基于压缩感知的多视角目标跟踪和3D目标重建系统，包含η个摄像机，所有摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，2D、3D本文档来自技高网...

【技术保护点】
一种基于压缩感知多视角目标跟踪和3D目标重建系统及方法，其特征是，包括下列步骤：使摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，通过对观测区域采样后，先进行压缩采样，再通过两次移动平均进行背景更新，采用能够抗噪的算法得到背景减除图像的压缩采样值；将得到的背景减除图像的压缩采样值，通过阈值测试检测感兴趣的目标；对感兴趣的目标则执行分析算法，即：恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在2D的情况时将观测区域划分成N个紧凑不重叠子区域，第n个子区域有位置坐标(xn，yn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标位置一一对应，联合n个摄像机的数据找到其在观测区域中的准确位置；在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域，第n个子区域有位置坐标(xn，yn，zn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标上的点一一对应，联合n个摄像机的数据找到其在观测区域中的准确形态。

【技术特征摘要】

【专利技术属性】
技术研发人员：胡晓莉，郭继昌，
申请(专利权)人：天津大学，
类型：发明
国别省市：