一种基于5G的无人机多路视频传输与拼接系统技术方案

本发明专利技术涉及一种基于5G的无人机多路视频传输与拼接系统，其包括4个子系统：无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统；本发明专利技术实现了构建无人机多路视频实时传输与视频拼接技术结合的系统整体架构，利用5G技术高速率、大带宽、低时延的特点，实现对多路视频数据的高实时性传输，并于服务器端实现高质量的视频拼接技术，解决了无人机视频传输业务在4G通信条件下存在的发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题，为用户提供无人机视频采集业务的新的解决方案，实现多路视频流的实时视频拼接，并为日后无人机视频采集业务的发展提供支撑。提供支撑。提供支撑。

【技术实现步骤摘要】
一种基于5G的无人机多路视频传输与拼接系统


[0001]本专利技术涉及航空通信
，针对在无人机多路视频数据采集与拼接的应用场景中目前存在的问题，提出了一种基于5G的无人机多路视频传输与拼接系统设计方案。

技术介绍

[0002]无人机由于其体积小、机动性强等特点，无人机在视频探测领域的应用拥有可靠的应用前景与广阔的商业投资价值。但同时，在4G通信条件下，无人机视频传输具有以下几点问题：(1)无人机承重有限，视频采集设备首先考虑重量问题；(2)发射设备功率受限，当承载本地分组网络数据包时，有较大的延迟，会对于指令下发与无人机控制造成干扰；(3)无人机功耗较大，续航时间受限制；(4)无人机视频传输对通信速率与带宽有着相当高的要求，4G网络情况下无人机传输1080P高清图像会出现延时、卡顿、数据丢失等问题。
[0003]5G技术因其技术本身的优势，能较好地解决现有的无人机视频传输系统中诸多方面的问题。它打破了传统技术的限制，大大提高了传输速率，有效降低了时延，使得利用无人机进行高清视频图像的实时传输成为可能。同时利用5G网络能让无人机更加节约电力资源，可有效延长了无人机的续航时间。另外，由于5G网络广连接的特性，无人机的视频图像传输距离也可进一步增大。
[0004]目前国内涌现许多对5G环境下的无人机视频传输业务的研究，其中关于无人机视频传输与视频拼接技术结合研究越来越多。然而其中缺少对5G环境下无人机多路视频实时传输与视频拼接技术结合的系统整体架构研究。
[0005]总之，目前在4G通信条件下，无人机视频传输存在着承载有限、发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题。5G技术的出现可以较好解决上述问题，而目前国内缺少对5G环境下无人机多路视频实时传输与视频拼接技术结合的系统整体架构研究。

技术实现思路

[0006]本专利技术技术解决问题：克服现有技术的不足，提供一种基于5G的无人机多路视频传输与拼接系统，该系统实现了构建无人机多路视频实时传输与视频拼接技术结合的系统整体架构，利用5G技术高速率、大带宽、低时延的特点，实现对多路视频数据的高实时性传输，并于服务器端实现高质量的视频拼接技术，解决了无人机视频传输业务在4G通信条件下存在的发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题，为用户提供无人机视频采集业务的新的解决方案，实现多路视频流的实时视频拼接，并为日后无人机视频采集业务的发展提供支撑。
[0007]本专利技术技术解决方案：一种基于5G的无人机多路视频传输与拼接系统，包括4个子系统：无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统。
[0008]所述的无人机视频数据采集传输子系统包括十二个单元：视频数据采集单元A、视频数据采集单元B、视频数据采集单元C、视频数据采集单元D、帧同步管理单元、视频数据编
码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D、视频数据整流单元、RTMP协议处理单元与5G通信信号输出接口单元；
[0009]所述的视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D，共四路视频数据采集单元，在同一摄影环境的四个不同角度，实现将环境转换为原始视频数据，并分别将原始视频数据传送至视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，所述的摄影环境定义为可被摄像机进行影像记录的环境；
[0010]所述的帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的管理。在系统上电时，帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化。当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据。此操作便于服务器子系统中视频拼接单元的功能实现；
[0011]所述的视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，共四路视频数据编码单元，采用H.265编码方式，将各自接收到的来自对应视频数据采集单元的源视频数据进行视频图像编码，并分别将编码后的视频数据传送至视频数据整流单元；
[0012]所述的视频数据整流单元，实现对来自四路视频数据编码单元的编码视频数据进行整流处理，整合为一路数据，并将数据转发至RTMP协议处理单元；
[0013]所述的RTMP协议处理单元按照RTMP协议，实现对来自视频数据整流单元的数据进行分包，加帧处理，将数据转换成RTMP协议数据流并传送至5G通信信号输出接口单元；
[0014]所述的5G通信信号输出接口单元实现对来自RTMP协议处理单元的数据进行信源/信道编码、调制与上变频等处理，将RTMP协议数据流转换成可用于5G通信的射频信号，并将信号辐射至5G公网通信子系统；
[0015]所述的5G公网通信子系统包括五个单元：5G公网通信基站单元A，5G公网通信核心网单元，5G终端远程控制单元，5G公网通信基站单元B与5G公网通信交换机单元；
[0016]所述的5G公网通信基站单元A实现接收来自无人机视频数据采集传输子系统的5G通信信号输出接口单元辐射的可用于5G通信的射频信号，通过低噪声放大，下变频，模数转换等处理，将可用于5G通信的射频信号转换为RTMP协议数据流并传送至5G公网通信核心网单元；
[0017]所述的5G公网通信核心网单元实现接收来自5G公网通信基站单元A的RTMP协议数据流并传送至5G公网通信交换机单元；
[0018]所述的5G终端远程控制单元通过发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；
[0019]所述的5G公网通信交换机单元实现接收来自5G公网通信核心网单元的RTMP协议数据流并传送至服务器子系统的交换机接口单元；
[0020]所述的服务器子系统包括二十个单元：交换机接口单元、RTMP协议解析单元、视频
数据分流单元、视频数据解码单元A、视频数据解码单元B、视频数据解码单元C、视频数据解码单元D、视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D、视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D、视频拼接单元、拼接视频编码单元、拼接视频封装单元、存储器单元与用户接口单元；
[0021]所述的交换机接口单元实现接收来自5G公网通信子系统的RTMP协议数据流并传送至RTMP协议解析单元；
[0022]所述的RTMP协议解析单元对RTMP协议数据流进行解帧，组包处理，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于5G的无人机多路视频传输与拼接系统，其特征在于：包括4个子系统，无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统；无人机视频数据采集传输子系统的功能为：1)视频数据采集：实现采集同一环境的四个不同角度的视频数据；2)视频数据处理：对采集得到的多路视频数据进行H.265编码，对编码后的多路视频数据整合为一路视频流，并通过RTMP协议处理将一路视频流转换为RTMP协议数据流；3)视频数据传输：实现将RTMP协议数据流通过5G通信信号输出接口单元转换为可用于5G通信的射频信号，并传输至5G公网通信子系统；4)帧同步管理：在系统上电时，实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化；当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据，便于服务器子系统中视频拼接单元的功能实现；5G公网通信子系统的功能为：1)数据转发：实现接收来自无人机视频数据采集传输子系统的可用于5G通信的射频信号，将其转换为RTMP协议数据流，并通过5G公网通信核心网单元，5G公网通信交换机单元将数据转发至服务器子系统；2)子系统控制：通过5G终端远程控制单元发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；服务器子系统的功能为：1)视频数据处理：服务器子系统实现接收来自5G公网通信子系统的RTMP协议数据流，通过RTMP协议解析，视频分流，H.265解码，视频格式转换，将RTMP协议数据流转换为四路RGB格式视频数据，并存储于视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D中；2)视频拼接：服务器子系统结合视频拼接算法，实现对四路存储在视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C与视频数据缓冲区单元D的RGB格式视频数据进行拼接处理，得到一路拼接视频数据；3)视频数据传输：服务器子系统通过拼接视频编码单元与拼接视频封装单元，将一路拼接视频数据转换为MP4/FLV格式视频数据，存储于存储器单元，等待用户子系统通过用户接口单元进行调用；用户子系统实现调用存储位于服务器子系统的存储器单元的MP4/FLV格式视频数据，并实现对拼接视频数据的播放与缓存。2.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述无人机视频数据采集传输子系统包括十二个单元：视频数据采集单元A、视频数据采集单元B、视频数据采集单元C、视频数据采集单元D、帧同步管理单元、视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D、视频数据整流单元、RTMP协议处理单元与5G通信信号输出接口单元；所述视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D，共四路视频数据采集单元，在同一摄影环境的四个不同角度，实现将环境转换为原始视频数据，并分别将原始视频数据传送至视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，所述的摄影环境定义为可被摄像机进行影像记录的环境；
所述帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的管理；在系统上电时，帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化；当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据，此操作便于服务器子系统中视频拼接单元的功能实现；所述视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，共四路视频数据编码单元，采用H.265编码方式，将各自接收到的来自对应视频数据采集单元的源视频数据进行视频图像编码，并分别将编码后的视频数据传送至视频数据整流单元；所述视频数据整流单元，实现对来自四路视频数据编码单元的编码视频数据进行整流处理，整合为一路数据，并将数据转发至RTMP协议处理单元；所述RTMP协议处理单元按照RTMP协议，实现对来自视频数据整流单元的数据进行分包，加帧处理，将数据转换成RTMP协议数据流并传送至5G通信信号输出接口单元；所述的5G通信信号输出接口单元实现对来自RTMP协议处理单元的数据进行信源/信道编码、调制与上变频处理，将RTMP协议数据流转换成用于5G通信的射频信号，并将信号辐射至5G公网通信子系统。3.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述5G公网通信子系统包括五个单元：5G公网通信基站单元A、5G公网通信核心网单元、5G终端远程控制单元、5G公网通信基站单元B与5G公网通信交换机单元；所述5G公网通信基站单元A实现接收来自无人机视频数据采集传输子系统的5G通信信号输出接口单元辐射的5G通信信号，通过低噪声放大，下变频，模数转换等处理，将5G通信信号转换为RTMP协议数据流并传送至5G公网通信核心网单元；所述5G公网通信核心网单元实现接收来自5G公网通信基站单元A的RTMP协议数据流并传送至5G公网通信交换机单元；所述5G终端远程控制单元通过发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；所述5G公网通信交换机单元实现接收来自5G公网通信核心网单元的RTMP协议数据流并传送至服务器子系统的交换机接口单元。4.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述服务器子系统包括二十个单元：交换机接口单元、RTMP协议解析单元、视频数据分流单元、视频数据解码单元A、视频数据解码单元B、视频数据解码单元C、视频数据解码单元D、视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D、视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D、视频拼接单元、拼接视频编码单元、拼接视频封装单元、存储器单元与用户接口单元；所述交换机接口单元实现接收来自5G公网通信子系统的RTMP协议数据流并传送至
RTMP协议解析单元；所述RTMP协议解析单元对RTMP协议数据流进行解帧，组包处理，得到经过视频数据整流单元整合得到的一路数据并传送至视频数据分流单元；所述视频数据分流单元实现对来自RTMP协议解析单元的一路数据进行数据分流处理，得到四路经H.265编码处理的视频数据，并分别将四路数据传送至视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D；所述视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D实现将四路来自视频数据分流单元，经...

【专利技术属性】
技术研发人员：周强，王龙杰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：