TS流时间同步信息插入方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供一种TS流时间同步信息插入方法、装置、设备及可读存储介质，其不需要对码流进行编解码，在不拆解上层TS分片的情况下，直接对TS分片中所包含的底层HEVC码流结构进行操作，并使用内存操作的方式实现在TS流中插入时间同步信息，同时，不需要完整解析获取TS分片头部所有字段的信息，效率高，节省了时间开销，码流延时低，不需要消耗大量CPU资源，适用面广。面广。面广。

【技术实现步骤摘要】
TS流时间同步信息插入方法、装置、设备及可读存储介质


[0001]本专利技术属于帧同步
，尤其涉及一种TS流时间同步信息插入方法、装置、设备及可读存储介质。

技术介绍

[0002]在使用HEVC编码码流(HEVC编码的二进制流数据)的行业中，通过插入时间同步信息(SEI字段，HEVC编码协议中的二进制字段，该字段开放给用户用于自定义信息的插入)来实现帧同步是非常普遍的，但往往插入时间同步信息的步骤是早于视频编码阶段。而如果需要对一路已经编码的HEVC码流，且已经复用为TS流(Transport Stream，传输流)的视频流进行时间同步信息的插入，一般来说需要采取以下操作：
[0003]1.通过与NTP服务器的通信获得一个时间基准。
[0004]2.解复用TS流，得到HEVC编码未经格式封装的裸流。
[0005]3.对HEVC编码的裸流进行解码，得到画面的原始帧。
[0006]4.对原始帧进行重新编码，同时在编码每一帧的过程中插入包含有时间同步信息的SEI字段，得到插入了时间同步信息的HEVC裸流。
[0007]5.对包含有时间同步信息的HEVC裸流进行TS流复用。
[0008]可见，上述插入操作存在以下弊端：
[0009]1.HEVC码流的编码和解码需要消耗大量的时间，对于实时流来说，会增加相当多的延时，码流延时是实时流中最重要的考虑因素之一，重新编解码所带来的延时往往是难以接受的。
[0010]2.由于HEVC复杂的编解码算法，在编解码的过程中需要消耗大量的CPU资源，在CPU资源有限的情况下，难以达到编解码所需要的性能门槛。

技术实现思路

[0011]基于此，针对上述技术问题，提供一种TS流时间同步信息插入方法、装置、设备及可读存储介质。
[0012]本专利技术采用的技术方案如下：
[0013]作为本专利技术的第一方面，提供一种TS流时间同步信息插入方法，包括：
[0014]基于HEVC码流结构，从目标视频帧的TS流中确定所述目标视频帧的画面信息的头部所在的目标TS分片；
[0015]在所述画面信息的头部前，将所述时间同步信息插入所述目标TS分片的载荷，并将所述目标TS分片及其后的各TS分片的载荷中的相应原信息顺次后移；
[0016]若所述各TS分片的最后一个TS分片中后移的有效信息未超出该TS分片，则根据该TS分片的剩余无效信息长度相应修改其头部，反之，则在所述最后一个TS分片之后增加一个新的TS分片，将后移的有效信息的超出部分填充入所述新的TS分片的载荷，在该载荷的未填满部分填充无效信息，并相应的设置所述新的TS分片的头部。
[0017]作为本专利技术的第二方面，提供一种TS流时间同步信息插入装置，包括：
[0018]目标TS分片确定模块，用于基于HEVC码流结构，从目标视频帧的TS流中确定所述目标视频帧的画面信息的头部所在的目标TS分片；
[0019]信息插入模块，用于在所述画面信息的头部前，将所述时间同步信息插入所述目标TS分片的载荷，并将所述目标TS分片及其后的各TS分片的载荷中的相应原信息顺次后移；
[0020]若所述各TS分片的最后一个TS分片中后移的有效信息未超出该TS分片，则根据该TS分片的剩余无效信息长度相应修改其头部，反之，则在所述最后一个TS分片之后增加一个新的TS分片，将后移的有效信息的超出部分填充入所述新的TS分片的载荷，在该载荷的未填满部分填充无效信息，并相应的设置所述新的TS分片的头部。
[0021]作为本专利技术的第三方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述第一方面的一种TS流时间同步信息插入方法。
[0022]作为本专利技术的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述第一方面的一种TS流时间同步信息插入方法。
[0023]本专利技术不需要对码流进行编解码，在不拆解上层TS分片的情况下，直接对TS分片中所包含的底层HEVC码流结构进行操作，并使用内存操作的方式实现在TS流中插入时间同步信息，同时，不需要完整解析获取TS分片头部所有字段的信息，效率高，节省了时间开销，码流延时低，不需要消耗大量CPU资源，适用面广。
附图说明
[0024]下面结合附图和具体实施方式对本专利技术进行详细说明：
[0025]图1为本专利技术实施例提供的一种TS流时间同步信息插入方法的流程图；
[0026]图2为本专利技术实施例应用的系统的示意图；
[0027]图3为本专利技术实施例提供的一种TS流时间同步信息插入装置的示意图；
[0028]图4为本专利技术实施例提供的一种电子设备的示意图；
[0029]图5为TS流的格式示意图；
[0030]图6为HEVC编码协议规定的SEI字段的位置示意图。
具体实施方式
[0031]以下将结合说明书附图对本专利技术的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本专利技术的唯一实施方式。以下相应的实施例只是为了清楚的说明本专利技术专利的
技术实现思路
，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本专利技术的技术构思和
技术实现思路
并且显而易见的变化或变动也在本专利技术的保护范围之内。
[0032]图2示出了本专利技术实施例应用的系统。该系统可以包括多台处理主机110以及导播台服务器120，不同摄像机拍摄的视频由对应的处理主机110进行HEVC编码、封装、复用，形成TS流，在TS流中插入时间同步信息后传输给导播台服务器120，导播台服务器120汇总各
路TS流，根据时间同步信息进行帧同步，由于不同摄像机拍摄的画面在编码和传输等过程中会带来时间误差，故需要在时间上进行同步。
[0033]如图1所示，本专利技术实施例提供一种TS流时间同步信息插入方法，其具体流程如下：
[0034]S101、基于HEVC码流结构，从目标视频帧的TS流中确定目标视频帧的画面信息的头部所在的目标TS分片。
[0035]其中，一个TS分片的容量为188字节，一个视频帧的数据远远大于188字节，故经复用后一帧数据被拆分成多个TS分片，每一个TS分片均具有头部(也可称为首部，Header)和载荷(也可称为负载，Payload)，头部为4个字节，如图5所示，包含固定字节(同步字节，0x47)、PID(每一路视频流或音频流的唯一标识)、载荷是否含有适应字段的标识(适应字段控制)、适应字段长度以及用于检测分片顺序的连续计数器等等。
[0036]考虑到目标视频帧的TS流中可能存在其它TS分片(如音频帧的分片等等)，且这些分片可能被分散插在了视频帧的TS分片之间，故需要解析TS流中每个TS分片的头部，获得每个TS分片的PID，通过PID对TS流进行过滤，即将上述其它本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种TS流时间同步信息插入方法，其特征在于，包括：基于HEVC码流结构，从目标视频帧的TS流中确定所述目标视频帧的画面信息的头部所在的目标TS分片；在所述画面信息的头部前，将所述时间同步信息插入所述目标TS分片的载荷，并将所述目标TS分片及其后的各TS分片的载荷中的相应原信息顺次后移；若所述各TS分片的最后一个TS分片中后移的有效信息未超出该TS分片，则根据该TS分片的剩余无效信息长度相应修改其头部，反之，则在所述最后一个TS分片之后增加一个新的TS分片，将后移的有效信息的超出部分填充入所述新的TS分片的载荷，在该载荷的未填满部分填充无效信息，并相应的设置所述新的TS分片的头部。2.根据权利要求1所述的一种TS流时间同步信息插入方法，其特征在于，还包括：解析所述TS流中每个TS分片的头部，获得每个TS分片的PID，通过PID对所述TS流进行过滤。3.根据权利要求2所述的一种TS流时间同步信息插入方法，其特征在于，所述从目标视频帧的TS流中确定所述目标视频帧的画面信息的头部所在的目标TS分片，进一步包括：由前至后遍历所述TS流中的每个TS分片；在遍历到的当前TS分片的载荷中寻找承载画面信息的NAL单元；若寻找到承载画面信息的NAL单元，遍历停止，将当前TS分片作为目标TS分片。4.根据权利要求3所述的一种TS流时间同步信息插入方法，其特征在于，所述将所述时间同步信息插入所述目标TS分片的载荷，进一步包括：获取标准时间，根据HEVC协议生成时间同步信息。5...

【专利技术属性】
技术研发人员：赵鹏，刘志强，张林，
申请(专利权)人：上海高骏科技有限公司，
类型：发明
国别省市：