基于SOPC的双目视频拼装置及双目视频拼接方法制造方法及图纸

本发明专利技术的基于SOPC的双目视频拼接装置，包括以NiosII软核处理器为核心的SOPC系统，其一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。本发明专利技术的双目视频拼接方法，通过欧氏距离法对特征点进行粗匹配，然后使用KNN法提出部分误匹配点，最后采用RANSAC计算出单应性矩阵，再经由柱面空间转换及线型加权融合，实现一帧双目视频数据的实时拼接。

【技术实现步骤摘要】
基于SOPC的双目视频拼装置及双目视频拼接方法
本专利技术涉及双目视觉技术，具体是一种基于SOPC的双目视频拼接装置及双目视频拼接方法。
技术介绍
双目视觉技术作为机器视觉的重要组成部分，一直是视频拼接、工业检测及三维重建等领域的研究热点。近年来随着双目视觉技术的不断发展，基于视频采集卡与上位机的传统解决方案由于成本高、通用性差、处理速度慢等缺点已无法满足用户需求，尤其在双目视频采集传输部分，无论是采用轮询还是时分复用的方式，现有的设计方法都无法满足系统在同步性和实时性上的设计要求。专利文件“一种基于SOPC的双路视频融合处理装置及其融合方法”(专利号CN102523389A)提出了一种通过SOPC系统实现双路视频融合的方法，但是其仍然使用传统的设计方法，没有将FPGA的并行性和SOPC在可编程性上的优势发挥出来，同步性及实时性无法保证，双路视频融合仅使用双线性插值法，融合效果不佳。现阶段双目视频拼接装置大多上位机参与处理，无法实现真正意义上的嵌入式双目视频拼接装置，且又上位机软件实现视频拼接算法，执行效率不高，在实时性和拼接效果上无法平衡。
技术实现思路
本专利技术的目的旨在解决上述技术缺陷。为此，本专利技术的第一个目的在于提出一种以FPGA为核心基于SOPC的双目视频拼接装置，该装置通过NiosII软核处理器控制以Avalon-MM模块形式封装的各功能模块，将采集到的双路视频数据实时拼接并显示。本专利技术的基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于：一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。其中，双目视频采集模块主要包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器，二者通过Avalon总线连接。一对双目视频采集模块分别连接至一对CMOS图像传感器CMOS_1和CMOS_2对应的DMA控制器DMA_1和DMA_2。所述的双目视频显示模块主要包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连接；VGA显示时序发生器通过D/A转换芯片连接VGA显示器。所述的双目视频输出模块主要包括异步FIFO缓存器和与之连接的Avalon流模式视频输出控制器。将USB芯片通过FPGA端口与双目视频输出模块连接，设置USB芯片为SlaveFIFO从机模式。所述的双目视频存储模块主要是以两片SDRAM为核心的与之对应的两组DMA控制器DMA_1和DMA_2。双目视频存储模块通过FPGA端口与两片SDRAM相连。所述的特征提起协处理器包括低通滤波模块及其后顺序连接的求导计算模块、兴趣值计算及邻域非极大值抑制模块；低通滤波器模块采用改进后的模块：求导计算模块采用将X与Y方向的求导模板[-1，-2，0，2，1]和[-1，-2，0，2，1]T合并成的5×5的模板：兴趣值的邻域非极大值抑制模块使用3条LineBuffer和一个3×3的D触发器阵列。本专利技术将SOPC(SystemonaProgrammableChip，片上可编程系统)技术与FPGA(FieldProgrammableGateArray，现场可编程门阵列)相结合，提出了一种以NiosII处理器为核心的软硬件协同设计的双目同步视频采集及实时显示系统，由DMA(DirectMemoryAccess,直接内存存取)控制器和Avalon-MM(AvalonMemoryMap，Avalon存储器映射接口)模块组成的DTFC(DataTransferFastChannel，数据快速传输通道)完成视频数据采集和输出，破除处理器与外设在数据交换上的瓶颈，实现双目视频的实时拼接。双目视频采集器，由一对CMOS图像传感器组成双目视频采集模块，CMOS传感器按照规范结构(canonicalconfiguration)结构布置，基线与水平轴重合，传感器的光轴是平行的，极点移至无限远处，极线平行，两传感器间相距5-7厘米距离(模仿人眼间距)，双目CMOS传感器通过FPGA端口与双目视频采集模块相连接。双目视频存储器，由两片容量为64MB的SDRAM组成，采用高速电路设计中近端摆放方式，将两片SDRAM平行布置在与FPGA等距的位置上，通过FPGA端口与双目视频存储模块相连，作为系统运行空间和帧缓冲器(FrameBuffer)。双目视频显示器，与双目视频显示模块通过FPGA端口相连，通过高速D/A转换芯片将双路视频数据转换为模拟信号，输出至VGA显示器显示。双目视频输出器，将USB2.0设备通过FPGA端口与双目视频输出模块连接，设置USB2.0设备为SlaveFIFO从机模式，FPGA可以直接访问和读/写端点对应的FIFO，方式与读/写普通FIFO相同，不涉及任何传输协议，FPGA作为外部控制器产生数据传输所需的驱动信号、握手信号(空/满标志位等)和使能信号，支持热插拔，实现上位机对SOPC系统初始化及采集数据存储。FPGA核心系统，包括FPGA芯片、EPCS16存储器及JTAG接口，EPCS16的非易失保证系统在上电后可以正常运行，而不用重新下载程序，JTAG接口用于下载和调试程序。双目视频采集模块包括图像传感器初始化控制器与Avalon流模式视频采集控制器，采集过程由NiosII处理器控制，处理器首先发出传感器初始化信号，对两片CMOS图像传感器进行初始化，在收到初始化成功信号后启动Avalon流模式视频采集控制器和对应的DMA控制器，将双路视频信号采集至指定的FramerBuffer，充分利用FPGA的并行性与NiosII处理器的可编程性，实现双路视频数据的同步采集与实时存储。双目视频存储模块主要是以两片SDRAM为核心，配合与之对应的DMA控制器，实现数据的乒乓传输，SDRAM作为单口器件只能进行串行传输，无法同时对数据进行采集和输出，如果使用传统的乒乓传输设计方法，双目视频传输需要四片SDRAM，PCB布线难度极大。本设计应用SOPC在控制性上的优势，操作两组DMA控制器(DMA_1，DMA_2)配合两片SDRAM实现了双目视频数据的乒乓传输。双目视频输出模块包括异步FIFO缓存器与Avalon流模式视频输出控制器。由于SOPC系统时钟(120MHz)高于USB芯片(CY7C68013A)时钟(48MHz)，所以加入异步FIFO缓存器暂存数据，并在控制模块中引入反压机制(BackPush)，将异步FIFO的almost_full信号作为反压信号发送至DMA控制器，DMA控制器根据该信号终止或继续数据传输，为达到USB芯片最高传输速率，将USB芯片设置为SlaveFIFO从机模式，Avalon流模式视频输出控制器作为外部主控制器产生写USB芯片内部F本文档来自技高网...

【技术保护点】
基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于：一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。

【技术特征摘要】
1.基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于：一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器；所述一对CMOS布置结构具体限定为一对CMOS图像传感器按照基线与水平轴重合的方式布置，传感器的光轴是平行的，极点移至无线远处，极线平行，两传感器间距5-7厘米；一对双目视频采集模块分别连接至一对CMOS图像传感器CMOS_1和CMOS_2对应的DMA控制器DMA_1和DMA_2；双目视频采集模块包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器，二者通过Avalon总线连接；双目视频显示模块包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连...

【专利技术属性】
技术研发人员：欧阳宁，张彤，莫建文，首照宇，吕东欢，袁华，陈利霞，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：