【技术实现步骤摘要】
本专利技术涉及音视频图像传输，尤其涉及一种基于rdma的半纠错视频图像透传装置、方法和系统。
技术介绍
1、音视频图像的传输，因其应用领域在历史技术背景下产生的割裂，现有技术主要分为如下两类：
2、第一类是基于广播电视领域的方案技术，要求低延迟。请参考图1，图1为广播电视领域常规方案的架构图，其所采用的方法为：音视频信号采用流的方式进行传播，音视频数据基本不压缩处理；商用近端传输介质基本以同轴电缆为主，民用近远端传输介质基本采用四屏蔽射频线。客户端基本采用专用硬件电路，使用专用asic芯片或者fpga芯片等做信号的传输和处理，比如生活中常见的有线电视信号线+数字机顶盒+电视机模式。许多高成本预算的场景，比如演唱会，大型体育赛事直播、高清数字化手术室等视频图像传播技术基本都是基于广播电视领域的传统方案。广播电视领域的同轴电缆sdi（serial digitalinterface的缩写）接口+数据流的模式在实时性和音视频信号质量上都有较好的保障，但是其实现成本昂贵。以一根50米的信号线缆做对比，同轴信号线的商业采购价格基本上是6类千兆网线的5倍左右，也是光纤信号线的5倍左右。另外随着图像（说明：这里及以下图像均是指静态图片或动态视频的简称）分辨率和色深的提高，数据传输需要的带宽呈几何级增长。此种情况，也是造成技术上4k、8k分辨率的视频都已经成熟，但在实际应用中，连1080p分辨率的视频都未能在民用广播电视领域普及的重大原因之一。另外，在工业相机领域中带有多根内芯（包含下行的数据信号线和上行的控制信号线）的定制同轴电缆屏
3、第二类是基于信息
的方案技术。音视频的传播作为多媒体应用技术中的一种，基本都采用网络信号线（或电口或光纤或无线传输）+cpu控制和数据算法处理+内存+gpu图像处理+音视频传输接口）的模式，比如生活中常见的远程监控、网络音视频电话等。该类技术方案的音视频传输，所需设备成本低廉，普及性高，适用面广，但是在信息
，传统的广域网和局域网对数据处理，都需要经过多道网关，数据需要在不同的协议层下多次进出内存。一般情况下，数据的延迟都在几十ms级别。另外，终端cpu在处理数据的时候，需要多次读写内存里的数据，在终端也造成了一定的延迟性，加上cpu可能存在的多任务处理，需要不断按照时间片，对任务进行切换。而且，网络信号不稳定也很常见。因此，在实际应用体验中，比如我们生活中的音视频电话，要么延迟卡顿，要么就是图像分辨率较低、色深较少，整体不能呈现理想的状态。而且，如果仅仅为了音视频的应用，而单独配置一颗通用的cpu，这也是一笔不小的硬件成本。
4、目前，在音视频领域出现的通用技术，像网络电话的voip(voice over internetprotocol)，流媒体传输协议rtp(real-time transport protocol)，确实在一定程度上提高了多媒体网络传输的实时性和低延迟特征。但是，他们使用的方法主要是针对多媒体传输的特点，通过简化传输协议、将数据包转换成数据流，对音视频信号进行一定程度的高质量数据压缩和解压，而在这过程中cpu也是实时参与其中的。从目前市面上，大多数中高端网络专用音视频的实际体验效果上看，在画面分辨率为1080p、画面色深为8bit、画面流畅度为30fps下，即便采用专用网络，理想情况下，实测延迟平均也要达到1-30ms。
技术实现思路
1、为解决如何实现低成本且低延时的音视频数据传输的技术问题，本专利技术提出了一种基于rdma的半纠错视频图像透传装置、方法和系统。
2、第一方面，本专利技术实施例提供一种基于rdma的半纠错视频图像透传装置，包括特殊采集网卡和内存，所述特殊采集网卡包括网络接口模块、半纠错管理模块和rdma内存管理模块，所述半纠错管理模块包括ecc校验模块和区域错误统计管理模块，其中：
3、所述网络接口模块用于接收udp透传的网络数据包，所述网络数据包内的网络数据包括音频数据，和/或二维图像数据，和/或三维坐标信息；
4、所述ecc校验模块用于对接收到的网络数据包依次进行ecc校验；
5、所述区域错误统计管理模块用于在当前的网络数据包经过ecc校验出错时，将当前的网络数据包的包号记录在预设的出错包记录表中，同时在所述出错包记录表中查询与当前的网络数据包的包号相邻的包号，若与当前网络数据包的包号相邻的包号全部被查询到，则请求对当前的网络数据包进行重传；其中，与当前的网络数据包的包号相邻的包号的确定策略包括：根据当前的网络数据包的包号和预设定的一行网络数据划分的数据包的个数，确定位于当前的网络数据包的包号前一位的网络数据包的包号，以及位于当前网络数据包的包号的前一行且同列的网络数据包的包号；
6、所述rdma内存管理模块用于将经过ecc校验未出错的网络数据包，或者经过ecc校验出错但未请求重传的网络数据包，实时通过rdma通信方式存至所述内存的指定内存区域。
7、在一些实现方式中，所述rdma内存管理模块包括：
8、第一rdma模块，用于通过rdma通信方式将二维图像数据存至所述内存的第一指定内存区域；
9、第二rdma模块，用于通过rdma通信方式将三维坐标信息存至所述内存的第二指定内存区域。
10、在一些实现方式中，所述装置还包括音视频同步校准模块，所述音视频同步校准模块用于检查从所述内存中提取到的音频数据和图像数据的帧头同步包号是否一致，若两者的帧头同步包号一致，则认为音频数据和图像数据是同步的；若两者的帧头同步包号不一致，则以音频数据和图像数据中的任一路信号源作为基准，通过插入无效信号或者丢掉部分数据信号的方式对另一路信号源的数据进行处理，以使两路信号源同步。
11、在一些实现方式中，所述装置还包括存算一体模块，所述存算一体模块包括算法协处理器和所述内存；所述算法协处理器用于提取所述内存中新存入的网络数据，并对提取到的网络数据进行解码处理，然后将解码后的网络数据返还至所述内存内的原内存区域。
12、第二方面，本专利技术实施例提供一种基于rdma的半纠错视频图像透传方法，应用于上位机，所述方法包括：
13、对接收到的udp透传的网络数据包依次进行ecc校验，所述网络数据包内的网络数据包括音频数据，和/或图像数据，和/或三维坐标信息；
14、在当前的网络数据包经过ecc校验出错时，将当前的网络数据包的包号记录在预设的出错包记录表中，同时在所述出错包记录表中查询与当前的网络数据包的包号相邻的包号，若与当前网络数据包的包号相邻的包号本文档来自技高网...
【技术保护点】
1.一种基于RDMA的半纠错视频图像透传装置，其特征在于，包括特殊采集网卡和内存，所述特殊采集网卡包括网络接口模块、半纠错管理模块和RDMA内存管理模块，所述半纠错管理模块包括ECC校验模块和区域错误统计管理模块，其中：
2.根据权利要求1所述的一种基于RDMA的半纠错视频图像透传装置，其特征在于，所述RDMA内存管理模块包括：
3.根据权利要求1至2任一项所述的基于RDMA的半纠错视频图像透传装置，其特征在于，还包括音视频同步校准模块，所述音视频同步校准模块用于检查从所述内存中提取到的音频数据和图像数据的帧头同步包号是否一致，若两者的帧头同步包号一致，则认为音频数据和图像数据是同步的；若两者的帧头同步包号不一致，则以音频数据和图像数据中的任一路信号源作为基准，通过插入无效信号或者丢掉部分数据信号的方式对另一路信号源的数据进行处理，以使两路信号源同步。
4.根据权利要求1至2任一项所述的基于RDMA的半纠错视频图像透传装置，其特征在于，还包括存算一体模块，所述存算一体模块包括算法协处理器和所述内存；所述算法协处理器用于提取所述内存中新存入的网络
5.一种基于RDMA的半纠错视频图像透传方法，其特征在于，应用于上位机，所述方法包括：
6.根据权利要求5所述的基于RDMA的半纠错视频图像透传方法，其特征在于，还包括：
7.一种基于RDMA的半纠错视频图像透传系统，其特征在于，包括网络接口型摄像设备、中继设备和上位机，所述上位机包括如权利要求1至4任一项所述的基于RDMA的半纠错视频图像透传装置，其中，所述网络接口型摄像设备包括：
8.一种电子设备，其特征在于，包括存储器和至少一个处理器，所述存储器上存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现如权利要求5至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时，实现如权利要求5至6任一项所述的方法。
...【技术特征摘要】
1.一种基于rdma的半纠错视频图像透传装置，其特征在于，包括特殊采集网卡和内存，所述特殊采集网卡包括网络接口模块、半纠错管理模块和rdma内存管理模块，所述半纠错管理模块包括ecc校验模块和区域错误统计管理模块，其中：
2.根据权利要求1所述的一种基于rdma的半纠错视频图像透传装置，其特征在于，所述rdma内存管理模块包括：
3.根据权利要求1至2任一项所述的基于rdma的半纠错视频图像透传装置，其特征在于，还包括音视频同步校准模块，所述音视频同步校准模块用于检查从所述内存中提取到的音频数据和图像数据的帧头同步包号是否一致，若两者的帧头同步包号一致，则认为音频数据和图像数据是同步的；若两者的帧头同步包号不一致，则以音频数据和图像数据中的任一路信号源作为基准，通过插入无效信号或者丢掉部分数据信号的方式对另一路信号源的数据进行处理，以使两路信号源同步。
4.根据权利要求1至2任一项所述的基于rdma的半纠错视频图像透传装置，其特征在于，还包括存算一体模块，所述存算一体模块包括算法协处...
【专利技术属性】
技术研发人员：朱敏，薛林海，
申请(专利权)人：无锡沐创集成电路设计有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。