提升编解码与传输并行的方法、装置及系统制造方法及图纸

本发明专利技术公开了一种提升编解码与传输并行的方法、装置及系统，属于视频处理领域，包括步骤：首先对图像进行空间划分，划分成多个图像区块；在编码过程中，分别将每个图像区块分别送入编码器做独立编码，得到每个图像区块的码流数据；然后将码流数据附带相应的时间戳信息和图像区块编号信息形成视频媒体流，在传输过程中利用SRT协议中报文的边界字段和消息编号字段来进行编码数据的传输；再在解码端对收到的码流数据按区域划分结构进行相应完整视频数据的还原。本发明专利技术充分保留传输过程中SRT的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。整个流程中的延迟大大降低。整个流程中的延迟大大降低。

【技术实现步骤摘要】
提升编解码与传输并行的方法、装置及系统


[0001]本专利技术涉及视频处理
，更为具体的，涉及一种提升编解码与传输并行的方法、装置及系统。

技术介绍

[0002]SRT是(Secure Reliable Transport)的简称，是由Haivision和Wowza共同创建的SRT联盟所发起的开源互联网传输协议，是近几年非常受欢迎的开源视频传输协议，具有低延迟，安全可靠的特点。
[0003]在目前的SRT传输应用中，MPEG
‑
TS over SRT基本已作为标准流程来应用（由于SRT只是单纯的一个数据传输协议，在视音频传输过程中我们还需要封装成相应的容器格式来携带例如音视频的时间戳信息，以及将视音频数据交织在一起等），整体常规传输流程我们可以简化为以下几个步骤：1)发送端将基带视音频数据通过视音频编码器编码成码流数据；2)码流数据通过相应的MPEG
‑
TS标准封装成TS数据流；3)TS数据流通过SRT进行相应的传输发送到接收端；4)接收端接收到SRT数据后进行相应的MPEG
‑
TS解封装；5)对解封装后的码流数据，进行相应的视音频解码还原得到基带视音频数据。
[0004]上述现有方案，仍然存在延迟的技术问题：1.编码一帧完整数据后才能开始传输，通常一帧画面的编码耗时较多；2.传输后在接收侧必须等待完整的一帧码流数据后才可以开始解码。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种提升编解码与传输并行的方法、装置及系统，充分保留传输过程中SRT的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。
[0006]本专利技术的目的是通过以下方案实现的：一种提升编码与传输并行的方法，包括步骤：预先对视频图像进行空间划分为多个图像区域并编号；多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；利用SRT协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的IP报文编号n，且k、n在发送报文中封装。
[0007]进一步地，每个所述图像区域对应一个独立的编码器，按图像区域的大小设置对应编码器的幅面参数，根据传输的视频带宽设置相应的码率参数。
[0008]进一步地，所述利用SRT协议中报文的边界字段和消息编号字段来传输所述视频
媒体流，包括步骤：每个编码数据分成多个SRT报文，同一个编码数据的各个报文分配同一个消息编号和不同的报文编号，报文编号按序递增，同时报文中边界字段携带编码数据的起始/中间/结束标记。
[0009]进一步地，所述k通过SRT报文中的消息编号字段表示；消息编号字段共26位，第1到2位表示媒体类型，第3到10位表示图像分块序号，第11到26位表示视频帧序号。
[0010]一种提升解码与传输并行的方法，包括步骤：接收如上所述方法传输的视频媒体流，对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
[0011]进一步地，所述解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建，包括步骤：SRT的报文中携带了一个完整消息块的起始/中间/结束标记，同时通过消息编号来标记一个消息块，消息块对应到一个图像区域的编码数据；每个SRT报文都携带了一个编号，按序递增，接收侧按序重组报文后即能够快速恢复完整的编码数据。
[0012]进一步地，所述多个编码器同时编码对应的图像区域数据，包括步骤：多个编码器同时并行或者串行编码对应的图像区域数据。
[0013]一种提升编码与传输并行的装置，包括：图像划分单元，用于预先对视频图像进行空间划分为多个图像区域并编号；编码单元，用于多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；传输单元，用于利用SRT协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的IP报文编号n，且k、n在发送报文中封装。
[0014]一种提升解码与传输并行的装置，包括：接收单元，用于接收如上所述方法传输的视频媒体流；解码单元，用于对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
[0015]一种提升编解码与传输并行的系统，包括如上所述的提升编码与传输并行的装置和如上所述的提升解码与传输并行的装置。
[0016]本专利技术的有益效果包括：本专利技术简化传输过程中的容器设计，优化流程中容器的解封包效率和延迟，同时使用帧切片编解码方式，突破常规编码流程中的硬件性能限制，相比现有方案能够实现提升编码与传输并行程度，边编码边传输，降低延迟。本专利技术的技术方案充分保留传输过程中SRT的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。
[0017]本专利技术实施例技术方案还具有如下优点：1）只需要编码部分画面后就可以开始传输；2）接收侧也只需要接收到部分码流后就可以开始解码，传输和编解码同时工作；3）同时通过SRT报文边界字段可以快速的恢复识别恢复一个图像区块的完整码流。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例的传输流程示例图。
具体实施方式
[0020]本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0021]针对背景中的技术问题，本专利技术的专利技术人经过创造性的分析思考后，发现在整个过程中，延迟主要来源于以下几个方面：1）SRT传输延迟，这部分完全是取决于当前的网络状态，基本属于固化参数，延迟的优化空间极小；2）编解码器延迟，这部分取决于当前的硬件平台性能；3）MPEG
‑
TS解封装流程的延迟，在解封装流程中我们需要参照MPEG
‑
TS标准先从TS包中解析出PES包数据，由于MPEG
‑
TS标准的限制，导致目前我们无法准确的获取到PES长度信息（PES长度信息最大只能到65535，所以目前长度信息值基本为0），所以在解码前需要加一个帧解析流程来拆分出完整的单帧数据来进行解码，这就导致了整体的延迟提升。
[0022]在认识到上述技术问题之后，本专利技术的专利技术人提出了一种技术方案，简化传输过程中的容器设计，优先流程中容器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升编码与传输并行的方法，其特征在于，包括步骤：预先对视频图像进行空间划分为多个图像区域并编号；多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；利用SRT协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的IP报文编号n，且k、n在发送报文中封装。2.根据权利要求1所述的提升编码与传输并行的方法，其特征在于，每个所述图像区域对应一个独立的编码器，按图像区域的大小设置对应编码器的幅面参数，根据传输的视频带宽设置相应的码率参数。3.根据权利要求1所述的提升编码与传输并行的方法，其特征在于，所述利用SRT协议中报文的边界字段和消息编号字段来传输所述视频媒体流，包括步骤：每个编码数据分成多个SRT报文，同一个编码数据的各个报文分配同一个消息编号和不同的报文编号，报文编号按序递增，同时报文中边界字段携带编码数据的起始/中间/结束标记。4.根据权利要求1所述的提升编码与传输并行的方法，其特征在于，所述k通过SRT报文中的消息编号字段表示；消息编号字段共26位，第1到2位表示媒体类型，第3到10位表示图像分块序号，第11到26位表示视频帧序号。5.根据权利要求1所述的提升编码与传输并行的方法，其特征在于，所述多个编码器同时编码对应的图像区域数据，包括步骤：多个编码器同时并行或者串行编码对应的图像区域数据。6.一种提升解码与传输并行的方法，其特征在于，包括步骤：接收如权利要求1所述方法传输的视频媒体流，对视频媒体流拆...

【专利技术属性】
技术研发人员：罗天，张旭，高江杰，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：