一种基于云桌面技术的FPGA音视频处理方法及系统技术方案

本发明专利技术提供了一种基于云桌面技术的FPGA音视频处理方法及系统，云主机采集音视频数据传输给现场可编程门阵列(FPGA)，FPGA对音视频数据进行预处理并复制成多路音视频流，然后用VCU编码器进行压缩编码，最后打包上传到云终端上，云终端接收解码播放音视频。本发明专利技术用独立的FPGA芯片和硬件编码，大大提高了音视频处理的效率，能实现4K高清音视频无卡顿。能实现4K高清音视频无卡顿。能实现4K高清音视频无卡顿。

【技术实现步骤摘要】
一种基于云桌面技术的FPGA音视频处理方法及系统


[0001]本专利技术属于云桌面
，尤其涉及一种基于云桌面技术的FPGA音视频处理方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着云计算的发展速度越来越快，云桌面广泛应用于具有高数据安全管控、高性能计算等要求的安全办公、金融、设计、影视、教育等领域，特别是教育领域，满足学校智慧校园建设的需求，解决电脑教室、电子阅览室、培训室、实验室、考试中心等公共PC运行速度慢、故障率高、维护难度大、桌面可靠性差等问题，通过云桌面的功能，可以满足对学习资源的系统化管理，增强教学资源的共享能力，保障教学资源的最大化利用。
[0004]在实际应用过程中，在学校办公、教学、培训环节会形成独特的微环境，非常容易形成集中运算风暴，对服务器造成巨大的运算压力；同时由于数据交互量巨大，形成的高码流对网络带宽提出了相当高的要求，极易导致系统崩溃，在云终端分配运算能力以及解决音视频特殊高码流的处理能力，成为解决云桌面技术中性能问题的一个研究方向。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种基于云桌面技术的FPGA音视频处理方法及系统，基于FPGA逻辑设计和嵌入式软件设计，实现独立FPGA不占用CPU资源处理专业音视频业务，硬解码高码流同步推送4K高清音视频无卡顿。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：/>[0007]一种基于云桌面技术的FPGA音视频处理系统，包括云主机和云终端：
[0008]云主机包括第一现场可编程门阵列、加速处理器，所述第一现场可编程门阵列包括VCU编码器；
[0009]云主机接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
[0010]云终端包括第二现场可编程门阵列；
[0011]云终端接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
[0012]所述第一现场可编程门阵列使用HDMI IP核完成对音视频流的提取。
[0013]所述第一现场可编程门阵列采用音视频处理IP核(VPSS)进行预处理。
[0014]所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用
FramebufWriteIP核以DMA的方式将流数据存入内存中。
[0015]所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
[0016]所述第二现场可编程门阵列，采用MPEG2解码器进行硬件解码。
[0017]一种基于云桌面技术的FPGA音视频处理方法，包括：
[0018]接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；
[0019]VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；
[0020]加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；
[0021]接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。
[0022]所述第一现场可编程门阵列使用HDMI IP核完成对音视频流的提取。
[0023]所述第一现场可编程门阵列采用音视频处理IP核(VPSS)进行预处理。
[0024]所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。
[0025]所述加速处理器，安装有嵌入式Linux系统，执行Linux应用程序，为音视频预处理和压缩编码传递参数和命令。
[0026]所述第二现场可编程门阵列，采用MPEG2解码器进行硬件解码。
[0027]以上一个或多个技术方案存在以下有益效果：
[0028]1、独立的FPGA芯片，是并行处理架构，能够同时对多路音视频信号并行处理，而且各路音视频信号输入与输出互相独立，大大提高了音视频处理的效率，同时又满足架构简单、易于实现、系统稳定、低成本等优点。
[0029]2、MPEG2解码器是硬件解码，相比传统的用CPU解码的软件解码方案，效率高，功耗低、热功耗低。
[0030]3、通过FPGA、VCU、APU及云技术的相互配合，实现云主机对音视频信号的高效采集和处理，实现多个云终端并发点播4K高清音视频无卡顿。
[0031]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0032]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0033]图1为学校机房结构图。
[0034]图2为本专利技术的基于云桌面技术的FPGA音视频处理系统结构图。
[0035]图3为本专利技术的基于云桌面技术的FPGA音视频处理方法流程图。
具体实施方式
[0036]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0037]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。
[0038]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0039]云桌面是利用虚拟技术对各种物理设备进行虚拟化处理，从而使资源的利用率得到有效提升，目前在学校教室、企业办公、医院等场景得到广泛的应用，现阶段，在高校教学应用中，大多数采用传统的音视频采集编解码传输方法，随着视频的清晰度增加，数据量变得更大，传统方法越来越不能满足高分辨率视频的实时编解码传输要求。
[0040]基于此，本专利技术提供了一种基于云桌面技术的FPGA音视频处理方法及系统，采用Xilinx推出的ZYNQ UltraScale+MPSoc EG系列芯片，该芯片集成了ARM处理器、EPGA逻辑资源及硬核编码器，通过独立FPGA处理音视频数据，用硬件编解码器进行编解码，避免大量占用CPU，提高编解码的效率和速度。
[0041]所图1所示，学校机房配置有一个老师用的云主机和多个学生用的智能终端，还配置有DVD播放器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云桌面技术的FPGA音视频处理系统，其特征是：包括云主机和云终端：云主机包括第一现场可编程门阵列、加速处理器，所述第一现场可编程门阵列包括VCU编码器；云主机接收音视频信号，通过高清多媒体接口传输给第一现场可编程门阵列，第一现场可编程门阵列提取音视频流并进行色彩空间转换、分辨率缩放预处理，复制多路相同的流存入内存中；VCU编码器从内存中读取音视频流数据进行压缩编码，压缩编码完再将音视频流存储到内存中；加速处理器对VCU编码器压缩编码后的音视频流进行打包，通过以太网口发送至云终端；云终端包括第二现场可编程门阵列；云终端接收云主机打包的音视频流，用第二现场可编程门阵列对其进行硬件解码，获得并播放音视频数据。2.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用HDMIIP核完成对音视频流的提取。3.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列采用音视频处理IP核进行预处理。4.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述第一现场可编程门阵列使用BroadcasterIP核进行音视频流的复制，用FramebufWriteIP核以DMA的方式将流数据存入内存中。5.如权利要求1所述的一种基于云桌面技术的FPGA音视频处理系统，其特征是：所述加速处理器，安装有嵌入...

【专利技术属性】
技术研发人员：冯彧，崔红，赵昕，王华，林德举，高晋，张本腾，
申请(专利权)人：华特数字科技有限公司，
类型：发明
国别省市：