基于FPGA的高光谱目标跟踪系统及方法技术方案

本发明专利技术公开了一种基于FPGA的高光谱目标跟踪系统及方法，将高光谱数据传输到FPGA上进行并行处理，可以实现高光谱图像的实时跟踪。本发明专利技术包括数据输入/输出模块，图像数据存储模块，特征提取模块和CPU核心模块；所述CPU核心模块包含FPGA；数据输入/输出模块与PC端上位机通讯连接，将PC端上位机上的图像导入到CPU核心模块的FPGA中采用图像数据存储模块进行存储，并在每帧跟踪结束后将跟踪结果上传到PC端上位机进行显示；图像输入/输出模块的输入端连接PC端上位机，图像输入/输出模块的输出端连接图像数据存储模块；数据经由PLB总线传输到FPGA后，再传输到特征提取模块，特征提取模块的输出端连接CPU核心模块。

Hyperspectral Target Tracking System and Method Based on FPGA

【技术实现步骤摘要】
基于FPGA的高光谱目标跟踪系统及方法
本专利技术涉及一种高光谱目标跟踪技术，具体涉及基于FPGA的高光谱目标跟踪系统及方法。
技术介绍
目前目标跟踪技术成为一个研究热点，基于相关滤波的跟踪方法由于其实时性和准确性得到了非常广泛的应用，但其在外观变形，目标遮挡、背景干扰、目标快速移动等情况下的鲁棒性仍有待提高。随着光谱成像技术的发展，高光谱成像由于其获得的图形具有图谱合一的特征，即采用高光谱技术采集的图形同时具有空间信息和光谱信息两大基本特点，其被广泛应用于目标检测和分类等领域。为解决现有目标跟踪方法中存在的问题，本专利技术采用高光谱成像技术采集目标的高光谱图像，以提供更多的目标信息，以增强的目标特征来提高目标跟踪的精确度。相对于传统的基于灰度图像或彩色图像的目标跟踪方法，它能提供更丰富的光谱成分信息和空间信息。现有的目标跟踪方法一般是基于PC机实现，但由于高光谱图像具有巨大的数量级，对于图像的实时性处理会造成很大的障碍。因此，为了满足跟踪的实时性，一些基于硬件实现的目标跟踪系统相继被提出，但由于高光谱图像的高维度以及目标跟踪算法的复杂性，这对硬件加速提出了非常高的要求。FPGA硬件处理器是当今运用极为广泛的可编程逻辑器件，具有处理速度快，并行处理等优点，这对高光谱数据等数量级大的数据处理非常有利；另外和其它一些高性能的计算机系统（例如多核处理器、GPU等）相比，FPGA拥有较小的尺寸、重量以及较低的功耗，方便搭载于其它硬件平台使用；并且FPGA的内部硬件资源可根据算法要求进行重构，对于比较复杂的算法，可使用MicroBlaze软核进行C语言编程，降低了硬件实现的复杂度。因此，本专利技术提出在FPGA上实现目标跟踪系统，提高高光谱图像跟踪的速率，实时的对高光谱目标进行跟踪。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于FPGA的高光谱目标跟踪系统及方法，采用的跟踪方法是目标使用较为广泛的目标跟踪算法，将高光谱数据传输到FPGA上进行并行处理，可以实现高光谱图像的实时跟踪。为了达到上述目的，本专利技术采用以下技术方案予以实现：基于FPGA的高光谱目标跟踪系统，包括数据输入/输出模块，图像数据存储模块，特征提取模块和CPU核心模块；所述CPU核心模块包含FPGA；数据输入/输出模块与PC端上位机通讯连接，将PC端上位机上的图像导入到CPU核心模块的FPGA中采用图像数据存储模块进行存储，并在每帧跟踪结束后将跟踪结果上传到PC端上位机进行显示；图像输入/输出模块的输入端连接PC端上位机，图像输入/输出模块的输出端连接图像数据存储模块；数据经由PLB总线传输到FPGA后，再传输到特征提取模块，特征提取模块的输出端连接CPU核心模块。作为本专利技术的一种优选实施方式：数据输入/输出模块在每帧跟踪前将PC端上位机7读取的TIF格式高光谱图像数据导入FPGA中进行存储，在每帧跟踪结束后，将跟踪结果-目标位置和尺度上传到PC端上位机进行显示；采用千兆以太网进行数据传输且只传输搜索区域图像。作为本专利技术的一种优选实施方式：特征提取模块用来提取图像中目标的特征、输入搜索区域图像数据，输出提取的图像特征数据。特征提取模块包括依照高光谱图像总波段数依次排序的多个特征提取模块；所述特征提取模块还包含特征存储模块；多个特征提取模块1-n并行工作，分别提取波段1-n的高光谱图像数据特征，并将特征存储至特征存储模块相应地址。作为本专利技术的一种优选实施方式：每个特征提取模块均包括：减法模块，用来计算像素横向、纵向梯度值；乘法模块，用来计算梯度的乘方；加法模块，用来将横向、纵向梯度的乘方进行求和；开方模块，用来对加法模块的输出结果进行开方运算。作为本专利技术的一种优选实施方式：CPU核心模块采用KC705中内嵌的MicroBlaze软核处理器；MicroBlaze软核处理器为嵌入在FPGA中的RISC处理器软核；所述图像数据存储模块采用第三代DDR内存，通过MicroBlaze控制DMA将高光谱图像数据导入DDR3中进行存储。本专利技术还公开了基于FPGA的高光谱目标跟踪方法，采用任一上述的系统执行如下步骤：步骤1：初始化。在MicroBlaze软核中，通过编译C语言程序，对以下参数进行初始化：（1）目标在初始帧中的位置，（2）目标在初始帧中的尺度，（3）图像帧数等；步骤2：通过MicroBlaze软核控制输入/输出模块，将当前帧目标位置、尺度信息（x,y,w,h）发送至PC端上位机；PC端上位机显示当前帧目标跟踪结果，然后读取下一帧图像数据并将搜索区域数据发送至FPGA；步骤3：在FPGA中，通过MicroBlaze控制DMA将上位机传来的数据导入图像处理模块中的DDR3中进行存储；步骤4：数据存储完毕后，特征提取模块开始提取图像的特征；令im(x,y)表示坐标为(x,y)下的像元，将im(x,y)，im(x+1,y)和im(x,y+1)在n个波段的像素值分别传入特征提取模块1至n，然后，特征提取模块1至n分别提取像元im(x,y)在n个波段下的特征值并存入特征存储模块相应地址下；步骤5：在MicroBlaze软核中，通过编译C程序读取特征存储模块的特征数据，完成目标跟踪运算过程，得到目标在当前帧的位置和尺度大小；步骤6：返回步骤2，直至完成对所有帧图像进行跟踪。本专利技术有益效果是：（1）针对现有基于相关滤波的目标跟踪方法存在的问题，利用高光谱成像技术采集同时具有空间信息和光谱信息的高光谱图像，增强了目标的特征表述，能有效提高目标跟踪的鲁棒性。（2）系统基于具有并行计算性能的FPGA实现，在对高光谱数据进行特征提取时，对其并行计算处理，并采用硬件语言实现运算过程，提高了系统运算性能。对于目标跟踪过程中较为复杂的算法，可使用MicroBlaze软核进行C语言编程，降低了硬件实现的复杂度，相比基于PC机的方法大大提高了数据处理速度，保证了跟踪的实时性。附图说明图1为本专利技术的系统的硬件系统结构图；图2为本专利技术的系统的一种具体实施方式的结构示意图；图3为本专利技术的特征提取模块设计框架图；图4为本专利技术的单波段特征提取模块设计框架图；图5为本专利技术的方法的目标跟踪流程图。附图标记说明：1-程序数据存储模块，2-CPU核心模块，3-图像数据存储模块，4-DMA模块，5-PLB总线，6-特征提取模块，7-PC端上位机，8-数据输入/输出模块。具体实施方式下面结合附图及实施例描述本专利技术具体实施方式：如图1～5所示，其示出了本专利技术的具体实施方式，如图所示，本专利技术公开的基于FPGA的高光谱目标跟踪系统及方法，是为了解决高光谱目标跟踪时PC机的计算效率不能满足实时性要求的问题，采用的跟踪方法是目标使用较为广泛的目标跟踪算法，将高光谱数据传输到FPGA上进行并行处理，可以实现高光谱图像的实时跟踪。具体的，本专利技术公开的基于FPGA的高光谱目标跟踪系统包括数据输入/输出模块8，图像数据存储模块3，特征提取模块6，CPU核心模块2。数据输入/输出模块8主要将PC端上位机7上的图像导入到FPGA中采用图像数据存储模块1进行存储，并在每帧跟踪结束后将跟踪结果上传到PC端上位机7进行显示，图像输入/输出模块8的输入端连接PC端上位机7，输出端连接图像数据存储模块3本文档来自技高网...

【技术保护点】
1.基于FPGA的高光谱目标跟踪系统，其特征在于：包括数据输入/输出模块，图像数据存储模块，特征提取模块和CPU核心模块；所述CPU核心模块包含FPGA；数据输入/输出模块与PC端上位机通讯连接，将PC端上位机上的图像导入到CPU核心模块的FPGA中采用图像数据存储模块进行存储，并在每帧跟踪结束后将跟踪结果上传到PC端上位机进行显示；图像输入/输出模块的输入端连接PC端上位机，图像输入/输出模块的输出端连接图像数据存储模块；数据经由PLB总线传输到FPGA后，再传输到特征提取模块，特征提取模块的输出端连接CPU核心模块。

【技术特征摘要】
1.基于FPGA的高光谱目标跟踪系统，其特征在于：包括数据输入/输出模块，图像数据存储模块，特征提取模块和CPU核心模块；所述CPU核心模块包含FPGA；数据输入/输出模块与PC端上位机通讯连接，将PC端上位机上的图像导入到CPU核心模块的FPGA中采用图像数据存储模块进行存储，并在每帧跟踪结束后将跟踪结果上传到PC端上位机进行显示；图像输入/输出模块的输入端连接PC端上位机，图像输入/输出模块的输出端连接图像数据存储模块；数据经由PLB总线传输到FPGA后，再传输到特征提取模块，特征提取模块的输出端连接CPU核心模块。2.如权利要求1所述的基于FPGA的高光谱目标跟踪系统，其特征在于：数据输入/输出模块在每帧跟踪前将PC端上位机7读取的TIF格式高光谱图像数据导入FPGA中进行存储，在每帧跟踪结束后，将跟踪结果-目标位置和尺度上传到PC端上位机进行显示；采用千兆以太网进行数据传输且只传输搜索区域图像。3.如权利要求1所述的基于FPGA的高光谱目标跟踪系统，其特征在于：特征提取模块用来提取图像中目标的特征、输入搜索区域图像数据，输出提取的图像特征数据，特征提取模块包括依照高光谱图像总波段数依次排序的多个特征提取模块；所述特征提取模块还包含特征存储模块；多个特征提取模块1-n并行工作，分别提取波段1-n的高光谱图像数据特征，并将特征存储至特征存储模块相应地址。4.如权利要求3所述的基于FPGA的高光谱目标跟踪系统，其特征在于：每个特征提取模块均包括：减法模块，用来计算像素横向、纵向梯度值；乘法模块，用来计算梯度的乘方；加法模块，用来将横向、纵向梯度的乘方进行求和；开方模块，用来对加法模块...

【专利技术属性】
技术研发人员：赵永强，陈家新，陈路路，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61