基于ZYNQ的实时双目立体视觉软硬件协同设计方法技术

本发明专利技术涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：利用ZYNQ中PL完成双目立体匹配的实时计算处理；利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。本发明专利技术能够正确高效的实现ZYNQ FPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。

【技术实现步骤摘要】
基于ZYNQ的实时双目立体视觉软硬件协同设计方法
本专利技术涉及计算机视觉应用
，特别是涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法。
技术介绍
双目立体视觉是计算机视觉研究领域的一个重要课题，利用位置不同的两个摄像头拍摄两张图像，从中获得深度信息。双目视觉所需设备简单，精度合适、系统结构简单等优点，被广泛应用于视觉导航、目标检测与跟踪、目标测量、目标识别以及三维场景感知等场合中。双目立体视觉的相关算法实现复杂，计算量大，复杂的处理算法使得用CPU的指令集串行处理运算速度缓慢，无法达到实时效果。通常采用的是GPU加速或者FPGA加速实现。采用GPU处理的方法有一定的加速比，但处理帧率低、一般需要大体积的服务器，能耗也相当高。相比之下FPGA的并行计算和低功耗等特点，更适合嵌入式设备的实时性实现。但FPGA只擅长并行计算，相对功能单一，控制管理能力差，基于FPGA搭建人机交互系统复杂，系统工作量大，开发难度高，需要采用软硬件协同设计的方法。软硬件协同设计是通过软件和硬件的并发设计，充分发挥软件和硬件的协同作用，来达到系统级的设计目标。在早期针对嵌入式系统设计面临的问题与挑战，研究者们探索出新的设计方法学--软硬件协同设计方法。它的核心思想是在设计过程中协调软件子系统和硬件子系统，每一步都是硬件和软件综合考虑的最优结果。相对于传统独立设计软硬件体系结构的弊端，软硬件协同设计方法依据系统目标要求，通过综合分析系统软硬件功能及现有资源，最大限度的挖掘系统软硬件之间的并发性，协同设计软硬件体系结构，以便系统能够达到最佳性能。随着技术的不断发展，软硬件协同设计的主要研究对象从可配置的嵌入式计算机系统转变为集成嵌入式系统的单个芯片。ZYNQ(XilinxALLProgrammableZynq-7000Soc)是Xilinx公司研制出的一款融合了高性能ARM处理器与大容量FPGA的嵌入式处理器芯片，具有软硬件同时可编程特性。但是在ZYNQ芯片上如何合理的进行软硬件的划分以及高效地使用内存，总线以及处理器来完成数据的交互和控制始终是软硬件协同设计中的一大挑战。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，能够正确高效的实现ZYNQFPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果。本专利技术解决其技术问题所采用的技术方案是：提供一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，包括以下步骤：(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。所述步骤(1)中的实时计算处理包括双目立体校正算法处理、双目立体匹配计算处理和VDMA视频图像传输处理，其中，所述双目立体校正算法处理和双目立体匹配计算处理通过自定义IP实现，所述VDMA视频图像传输处理通过Xilinx官方IP实现。所述PL包括算法处理加速通道和实时显示通道；在算法处理加速通道中，双目立体校正IP中通过相关寄存器的定义使得PS端通过指令配置来读写寄存器的值进而达到数据交互时控制信号的交流；正确交流之后，DDR中的双目图像数据将内存映射数据转化成流数据格式，然后将数据传递给自定义的数据转换IP核，其将流格式数据转化成视频数据，然后传送到立体校正和立体匹配的算法IP核；在立体校正时，当立体匹配IP得到视差图数据后通过左接口的数据转换模块将视频格式数据转化成流格式的数据，然后将流数据转化成内存映射数据并送至DDR3；校正算法IP将校正后的双目左图以同样的处理过程通过右接口的数据转换模块送至DDR3；在实时显示通道中，DDR3中的图像数据通过数据转换模块以算法处理加速通道中相同的数据处理方式将视频数据送至HDMI控制器，并通过显示器进行实时显示。所述步骤(2)中的PS完成多任务管理以及数据存储控制包括摄像头图像数据采集、图像数据交互和数据传输；其中，摄像头图像数据采集在PS编码中使用V4L2视频采集接口驱动USB控制器来完成；图像数据交互在PS编码中使用V4L2驱动接口来控制PL端的VDMA实现；数据传输通过在PS编码中使用UDP通信协议驱动以太网口控制器将系统处理的有用的相关图像数据传输到PC上。所述PS包括系统初始化，图像采集线程，数据交互线程，数据显示线程以及UDP传输处理线程；其中，系统初始化是在开始执行各个线程之前完成一些系统配置；图像采集线程主要完成双目图像的快速采集，通过V4L2视频采集驱动接口的ioctl命令VIDIOC_QBUF抓取帧数据放到已经映射到用户空间的缓存区队列中，然后通过ioctl命令VIDIOC_DQBUF不断的从队列中取出帧数据；数据交互线程分为数据发送子线程和数据接收子线程，在数据接收子线程中软件编码通过V4L2的直接传输视频驱动接口控制VDMA传输数据到DDR3，ioctl命令VIDIOC_DQBUF使得VDMA将接收到的数据主动写入DDR3缓存区中，然后通过ioctl命令VIDIOC_QBUF清空缓存区以方便下一帧数据的继续写入该缓存区中，在数据发送子线程中，软件编码中使用内存映射机制直接配置PL端的寄存器作为数据控制的标志信号来完成数据交互的控制；数据显示线程主要完成图像数据的实时显示以及通过按钮来控制系统的执行以达到人机交互的效果；UDP传输处理线程主要是通过以太网口将系统处理的相关图像数据快速传输到PC上。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术结合软硬件的各自优势找到它们的最佳结合点，通过高效的软硬件数据交互控制方法使系统有最佳的性能。并且本专利技术基于ZYNQ芯片对其进行软硬件协同实现，实验结果也表明系统有较好的交互能力和较高的加速比。系统处理速度完全可以达到实时性的要求，可以将其应用到高级辅助驾驶中有一定的现实意义。附图说明图1是软硬件协同系统架构框图；图2是PL部分的逻辑架构框图；图3是PS部分的体系架构图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，能够正确高效的实现ZYNQFPGA中的PL端和PS端的图像数据的交互、控制、处理，达到实时双目立体视觉的效果，包括以下操作：利用ZYNQ中PL完成双目立体匹配的实时计算处理；利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。本专利技术基于ZYNQ系列FPGA+ARM集成芯片提出了一种软硬件协同设计方法，来搭建整个实时双目立体视觉系统。利用FPGA来完成复杂算法加速处理过程，简记为PL端。利用ARM来完成图像的采集，程序逻辑控制及图像的显示等工作，并增强系统的交互性，简记为PS端。并采用PS指令配置PL的寄存器来进行相应的软硬件接口设计以完成系统的搭建，正本文档来自技高网...

【技术保护点】
1.一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，包括以下步骤：(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。

【技术特征摘要】
1.一种基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，包括以下步骤：(1)利用ZYNQ中PL完成双目立体匹配的实时计算处理；(2)利用ZYNQ的PS完成多任务管理以及数据存储控制，完成与PL的数据交互与协同设计，共同完成双目立体视觉的处理与数据传输。2.根据权利要求1所述的基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，所述步骤(1)中的实时计算处理包括双目立体校正算法处理、双目立体匹配计算处理和VDMA视频图像传输处理，其中，所述双目立体校正算法处理和双目立体匹配计算处理通过自定义IP实现，所述VDMA视频图像传输处理通过Xilinx官方IP实现。3.根据权利要求2所述的基于ZYNQ的实时双目立体视觉软硬件协同设计方法，其特征在于，所述PL包括算法处理加速通道和实时显示通道；在算法处理加速通道中，双目立体校正IP中通过相关寄存器的定义使得PS端通过指令配置来读写寄存器的值进而达到数据交互时控制信号的交流；正确交流之后，DDR中的双目图像数据将内存映射数据转化成流数据格式，然后将数据传递给自定义的数据转换IP核，其将流格式数据转化成视频数据，然后传送到立体校正和立体匹配的算法IP核；在立体校正时，当立体匹配IP得到视差图数据后通过左接口的数据转换模块将视频格式数据转化成流格式的数据，然后将流数据转化成内存映射数据并送至DDR3；校正算法IP将校正后的双目左图以同样的处理过程通过右接口的数据转换模块送至DDR3；在实时显示通道中，DDR3中的图像数据通过数据转换模块以算法处理加速通道中相同的数据处理方式将视频数据送至HDMI控制器，并通过显示器进行实时显示。4.根据权利要求1所述的基于ZYNQ的实时双目立...

【专利技术属性】
技术研发人员：罗炬锋，潘雨坤，翟华伟，尚素绢，郑春雷，
申请(专利权)人：上海物联网有限公司，
类型：发明
国别省市：上海,31