数据去重方法、装置及存储介质制造方法及图纸

本申请提供一种数据去重方法、装置及存储介质，该方法通过获取待处理直播数据流，该数据流包括至少一个音视频包，对于该音视频包中的一个音视频包执行以下操作，该至少一个音视频包中的音视频包携带音视频标识，该音视频标识根据音视频包在待处理直播数据流中的顺序确定：根据音视频包的音视频标识，判断音视频包是否为重复获取的音视频包，如果是，则丢弃音视频包。即本申请实施例利用音视频标识来唯一性标记每一个音视频包，从而，通过音视频包的音视频标识来判断和丢弃重复的音视频数据，保证发给用户的是不重复数据，解决了在直播过程中，因中间链路重新连接，导致用户获取部分重复的数据，播放重复数据发生的音视频回退的现象。现象。现象。

【技术实现步骤摘要】
数据去重方法、装置及存储介质


[0001]本申请涉及互联网
，尤其涉及一种数据去重方法、装置及存储介质。

技术介绍

[0002]随着互联网技术的发展，以及人们互动需求的增加，网络直播成为人们进行信息传递、交流互动的一种常用互通方式。
[0003]目前，用户可以在直播平台上申请成为主播，向其他用户分享直播数据流。例如主播通过推流设备将相应的直播数据流上传至直播服务器，其他用户通过拉流设备从直播服务器拉流，获取相应的直播数据流，从而，可以在终端上观看主播所分享的信息。
[0004]然而，当前网络直播方式不再局限于室内直播，户外直播，移动直播也是常用的直播方式。这样，在户外或移动状态下，网络不稳定，在直播过程中，拉流设备与直播服务器之间的部分链路出现断连重新连接，由于直播服务器的快启模式，最终会发送一部分缓存数据给拉流设备。在这种场景下，对于拉流设备来说获取的数据中有部分重复数据，用户获取重复数据，在播放重复数据时会发生音视频回退的现象，影响用户的观看体验。

技术实现思路

[0005]为解决现有技术中存在的问题，本申请提供一种数据去重方法、装置及存储介质。
[0006]第一方面，本申请实施例提供一种数据去重方法，包括：
[0007]获取待处理直播数据流，所述待处理直播数据流包括至少一个音视频包；
[0008]对于所述至少一个音视频包中的一个音视频包执行以下操作，其中，所述至少一个音视频包中的音视频包携带音视频标识，所述音视频标识根据所述至少一个音视频包中的音视频包在所述待处理直播数据流中的顺序确定：
[0009]根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包；
[0010]若判断所述至少一个音视频包中的一个音视频包为重复获取的音视频包，则丢弃所述至少一个音视频包中的一个音视频包。
[0011]在一种可能的实现方式中，所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：
[0012]判断已获取的所述待处理直播数据流的音视频包中，是否有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包；
[0013]若已获取的所述待处理直播数据流的音视频包中，有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包，则确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包。
[0014]在一种可能的实现方式中，在所述确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包之前，还包括：
[0015]判断所述至少一个音视频包中的一个音视频包的音视频标识，是否是所述待处理直播数据流中音视频包的音视频标识达到预设结束标识后重置的音视频标识；
[0016]所述确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包，包括：
[0017]若所述至少一个音视频包中的一个音视频包的音视频标识，不是所述待处理直播数据流中音视频包的音视频标识达到所述预设结束标识后重置的音视频标识，则确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包。
[0018]在一种可能的实现方式中，所述至少一个音视频包中的音视频包的音视频标识根据所述至少一个音视频包中的音视频包在所述待处理直播数据流中的顺序单调递增；
[0019]所述判断已获取的所述待处理直播数据流的音视频包中，是否有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包，包括：
[0020]根据已获取的所述待处理直播数据流的音视频包，确定已获取的音视频包的最大音视频标识；
[0021]判断所述至少一个音视频包中的一个音视频包的音视频标识，是否小于或等于所述已获取的音视频包的最大音视频标识；
[0022]若所述至少一个音视频包中的一个音视频包的音视频标识，小于或等于所述已获取的音视频包的最大音视频标识，则确定已获取的所述待处理直播数据流的音视频包中，有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包。
[0023]在一种可能的实现方式中，所述至少一个音视频包中的一个音视频包的音视频标识根据所述至少一个音视频包中的一个音视频包在所述待处理直播数据流中的顺序单调递增；
[0024]所述判断所述至少一个音视频包中的一个音视频包的音视频标识，是否是所述待处理直播数据流中音视频包的音视频标识达到预设结束标识后重置的音视频标识，包括：
[0025]获取所述待处理直播数据流中在所述至少一个音视频包中的一个音视频包的第一预设方向的间隔预设数目个音视频包的第一音视频包的音视频标识，以及所述待处理直播数据流中在所述至少一个音视频包中的一个音视频包的第二预设方向的间隔所述预设数目个音视频包的第二音视频包的音视频标识，其中，所述第二预设方向和所述第一预设方向相反；
[0026]若所述第一音视频包的音视频标识大于或等于所述第二音视频包的音视频标识，则确定所述至少一个音视频包中的一个音视频包的音视频标识，是所述待处理直播数据流中音视频包的音视频标识达到所述预设结束标识后重置的音视频标识。
[0027]在一种可能的实现方式中，在所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包之前，还包括：
[0028]判断所述待处理直播数据流是否为新的推流；
[0029]所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：
[0030]若所述待处理直播数据流不为新的推流，则根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的
音视频包。
[0031]在一种可能的实现方式中，所述待处理直播数据流携带推流时间戳；
[0032]所述判断所述待处理直播数据流是否为新的推流，包括：
[0033]根据所述推流时间戳，判断是否出现推流时间戳变更；
[0034]若判断出现推流时间戳变更，则确定所述待处理直播数据流为新的推流。
[0035]在一种可能的实现方式中，在所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包之前，还包括：
[0036]确定所述至少一个音视频包中的一个音视频包的音视频标识是否为空；
[0037]所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：
[0038]若所述至少一个音视频包中的一个音视频包的音视频标识不为空，则根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据去重方法，其特征在于，包括：获取待处理直播数据流，所述待处理直播数据流包括至少一个音视频包；对于所述至少一个音视频包中的一个音视频包执行以下操作，其中，所述至少一个音视频包中的音视频包携带音视频标识，所述音视频标识根据所述至少一个音视频包中的音视频包在所述待处理直播数据流中的顺序确定：根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包；若判断所述至少一个音视频包中的一个音视频包为重复获取的音视频包，则丢弃所述至少一个音视频包中的一个音视频包。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：判断已获取的所述待处理直播数据流的音视频包中，是否有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包；若已获取的所述待处理直播数据流的音视频包中，有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包，则确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包。3.根据权利要求2所述的方法，其特征在于，在所述确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包之前，还包括：判断所述至少一个音视频包中的一个音视频包的音视频标识，是否是所述待处理直播数据流中音视频包的音视频标识达到预设结束标识后重置的音视频标识；所述确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包，包括：若所述至少一个音视频包中的一个音视频包的音视频标识，不是所述待处理直播数据流中音视频包的音视频标识达到所述预设结束标识后重置的音视频标识，则确定所述至少一个音视频包中的一个音视频包为重复获取的音视频包。4.根据权利要求2或3所述的方法，其特征在于，所述至少一个音视频包中的音视频包的音视频标识根据所述至少一个音视频包中的音视频包在所述待处理直播数据流中的顺序单调递增；所述判断已获取的所述待处理直播数据流的音视频包中，是否有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包，包括：根据已获取的所述待处理直播数据流的音视频包，确定已获取的音视频包的最大音视频标识；判断所述至少一个音视频包中的一个音视频包的音视频标识，是否小于或等于所述已获取的音视频包的最大音视频标识；若所述至少一个音视频包中的一个音视频包的音视频标识，小于或等于所述已获取的音视频包的最大音视频标识，则确定已获取的所述待处理直播数据流的音视频包中，有与所述至少一个音视频包中的一个音视频包的音视频标识相同的音视频包。5.根据权利要求3所述的方法，其特征在于，所述至少一个音视频包中的音视频包的音视频标识根据所述至少一个音视频包中的音视频包在所述待处理直播数据流中的顺序单
调递增；所述判断所述至少一个音视频包中的一个音视频包的音视频标识，是否是所述待处理直播数据流中音视频包的音视频标识达到预设结束标识后重置的音视频标识，包括：获取所述待处理直播数据流中在所述至少一个音视频包中的一个音视频包的第一预设方向的间隔预设数目个音视频包的第一音视频包的音视频标识，以及所述待处理直播数据流中在所述至少一个音视频包中的一个音视频包的第二预设方向的间隔所述预设数目个音视频包的第二音视频包的音视频标识，其中，所述第二预设方向和所述第一预设方向相反；若所述第一音视频包的音视频标识大于或等于所述第二音视频包的音视频标识，则确定所述至少一个音视频包中的一个音视频包的音视频标识，是所述待处理直播数据流中音视频包的音视频标识达到所述预设结束标识后重置的音视频标识。6.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包之前，还包括：判断所述待处理直播数据流是否为新的推流；所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：若所述待处理直播数据流不为新的推流，则根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包。7.根据权利要求6所述的方法，其特征在于，所述待处理直播数据流携带推流时间戳；所述判断所述待处理直播数据流是否为新的推流，包括：根据所述推流时间戳，判断是否出现推流时间戳变更；若判断出现推流时间戳变更，则确定所述待处理直播数据流为新的推流。8.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包之前，还包括：确定所述至少一个音视频包中的一个音视频包的音视频标识是否为空；所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包，包括：若所述至少一个音视频包中的一个音视频包的音视频标识不为空，则根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包。9.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据所述至少一个音视频包中的一个音视频包的音视频标识，判断所述至少一个音视频包中的一个音视频包是否为重复获取的音视频包之后，还包括：若判断所述至少一个音视频包中的一个音视频包不为重复获取的音视频包，则记录所述至少...

【专利技术属性】
技术研发人员：刘天一，尤聚军，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：