视频处理方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种视频处理方法、装置、设备及存储介质，该方法包括：获取原始视频的第一视频帧序列；生成第一视频帧序列中的N个视频帧各自的重复帧，N为正整数；将N个视频帧各自的重复帧插入N个视频帧各自之后，以生成第二视频帧序列，其中，N个视频帧各自的参考帧不同于N个视频帧各自的重复帧的参考帧；将N个视频帧各自的重复帧作为与N个视频帧各自不同的视频帧，以对第二视频帧序列进行编码，得到码流；输出码流。从而在降低视频帧内容从服务器端发出到客户端本地播放间的延时的同时，可以保证正常的视频渲染和显示，提高了用户体验感。感。感。

【技术实现步骤摘要】
视频处理方法、装置、设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种视频处理方法、装置、设备及存储介质。

技术介绍

[0002]实时视频流播放应用，例如云游戏、视频直播、视频会议等，往往会要求视频帧内容从服务器端发出到客户端本地播放间的延时低于用户可察觉的延时。这一点和这些应用的用户体验关系密切，甚至直接影响这些应用的使用性。在实际运营过程中发现客户端的解码时间较长是导致视频帧内容从服务器端发出到客户端本地播放间的延时较高的主要原因。许多客户端的解码器有一个特点：解码器的工作频率随着送帧间隔的变化而变化，其中，当送帧间隔过大时，解码器的工作频率会下降，解码一个视频帧会消耗其在高工作频率下解码一个视频帧耗时的数倍。
[0003]相关技术中提出在客户端侧复制其收到的视频帧，并进行连续送帧解码，使客户端的解码器维持在较高的工作频率并保持较高的解码性能。由于在客户端对码流进行解码时，视频帧之间具有依赖性，即每一个视频帧的解码需要依赖参考帧。通常解码器在解码完一个视频帧之后，会留存一份在它的用于缓存参考帧的参考帧缓存中，供后面依赖它的视频帧解码时参考。
[0004]然而，有的客户端其参考帧缓存有限，使得当采用复制视频帧的方式时，连续送入相同帧解码会导致参考帧缓存中的其他参考帧被覆盖，导致后面依赖这些其他参考帧的视频帧无法正常解码，进而导致后续的视频帧均无法正常解码，最终影响了正常的视频渲染和显示，降低了用户体验感。

技术实现思路

[0005]本申请提供一种视频处理方法、装置、设备及存储介质，从而在降低视频帧内容从服务器端发出到客户端本地播放间的延时的同时，可以保证正常的视频渲染和显示，提高了用户体验感。
[0006]第一方面，本申请实施例提供一种视频处理方法，该方法应用于服务器，该方法包括：获取原始视频的第一视频帧序列；生成第一视频帧序列中的N个视频帧各自的重复帧，N为正整数；将N个视频帧各自的重复帧插入N个视频帧各自之后，以生成第二视频帧序列，其中，N个视频帧各自的参考帧不同于N个视频帧各自的重复帧的参考帧；将N个视频帧各自的重复帧作为与N个视频帧各自不同的视频帧，以对第二视频帧序列进行编码，得到码流；输出码流。
[0007]第二方面，本申请实施例提供一种视频处理方法，该方法应用于客户端，该方法包括：获取码流；解析码流，以得到第二视频帧序列；对第二视频帧序列进行视频帧渲染；其中，第二视频帧序列是对原始视频的第一视频帧序列中N个视频帧插入各自的重复帧之后得到的视频帧序列，N为正整数，N个视频帧各自的参考帧不同于N个视频帧各自的重复帧的
参考帧。
[0008]第三方面，本申请实施例提供一种服务器，包括：获取模块、第一生成模块、第二生成模块、编码模块和输出模块，获取模块用于获取原始视频的第一视频帧序列；第一生成模块用于生成第一视频帧序列中的N个视频帧各自的重复帧，N为正整数；第二生成模块用于将N个视频帧各自的重复帧插入N个视频帧各自之后，以生成第二视频帧序列，其中，N个视频帧各自的参考帧不同于N个视频帧各自的重复帧的参考帧；编码模块用于将N个视频帧各自的重复帧作为与N个视频帧各自不同的视频帧，以对第二视频帧序列进行编码，得到码流；输出模块用于输出码流。
[0009]第四方面，本申请实施例提供一种客户端，包括：获取模块、解析模块和渲染模块，获取模块用于获取码流；解析模块用于解析码流，以得到第二视频帧序列；渲染模块用于对第二视频帧序列进行视频帧渲染；其中，第二视频帧序列是对原始视频的第一视频帧序列中N个视频帧插入各自的重复帧之后得到的视频帧序列，N为正整数，N个视频帧各自的参考帧不同于N个视频帧各自的重复帧的参考帧。
[0010]第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面、第二方面或其各实现方式中的方法。
[0011]第六方面，本申请实施例提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
[0012]第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
[0013]第八方面，本申请实施例提供一种计算机程序，计算机程序使得计算机如执行如第一方面、第二方面或其各实现方式中的方法。
[0014]通过本申请提供的技术方案，由于服务器将第二视频帧序列中的各个视频帧作为不同的视频帧进行编码，那么这些视频帧的参考关系不同，基于此，对于客户端来讲，如果其参考帧缓存有限，也不会存在某一视频帧在参考帧缓存中无法找到对应的参考帧。从而在降低视频帧内容从服务器端发出到客户端本地播放间的延时的同时，可以保证正常的视频渲染和显示，提高了用户体验感。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请实施例涉及的一种视频编解码系统的示意性框图；
[0017]图2是本申请实施例提供的视频编码器的示意性框图；
[0018]图3是本申请实施例提供的视频解码器的示意性框图；
[0019]图4为本申请实施例提供的一种视频处理方法的交互流程图；
[0020]图5为原始帧率为60fps时重复帧的插入情况示意图；
[0021]图6为本申请实施例提供的一种服务器600的示意图；
[0022]图7为本申请实施例提供的一种客户端700的示意图；
[0023]图8是本申请实施例提供的电子设备的示意性框图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026]为了便于理解，首先结合图1对本申请实施例涉及的视频编解码系统进行介绍。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法应用于服务器，所述方法包括：获取原始视频的第一视频帧序列；生成所述第一视频帧序列中的N个视频帧各自的重复帧，N为正整数；将所述N个视频帧各自的重复帧插入所述N个视频帧各自之后，以生成第二视频帧序列，其中，所述N个视频帧各自的参考帧不同于所述N个视频帧各自的重复帧的参考帧；将所述N个视频帧各自的重复帧作为与所述N个视频帧各自不同的视频帧，以对所述第二视频帧序列进行编码，得到码流；输出所述码流。2.根据权利要求1所述的方法，其特征在于，所述生成所述第一视频帧序列中的N个视频帧各自的重复帧，包括：确定所述N个视频帧各自的重复帧的数量；基于所述N个视频帧各自的重复帧的数量生成所述N个视频帧各自的重复帧。3.根据权利要求2所述的方法，其特征在于，所述确定所述N个视频帧各自的重复帧的数量，包括：确定所述原始视频的原始帧率；基于所述原始帧率确定所述N个视频帧各自的重复帧的数量。4.根据权利要求3所述的方法，其特征在于，所述基于所述原始帧率确定所述N个视频帧各自的重复帧的数量之前，还包括：确定基于多个预设帧率所划分的多个帧率区间；确定所述多个帧率区间与多个重复帧数量之间的映射关系；所述基于所述原始帧率确定所述N个视频帧各自的重复帧的数量，包括：确定所述原始帧率所属的帧率区间；基于所述原始帧率所属的帧率区间和所述映射关系确定所述N个视频帧各自的重复帧的数量。5.根据权利要求4所述的方法，其特征在于，所述基于所述原始帧率所属的帧率区间和所述映射关系确定所述N个视频帧各自的重复帧的数量，包括：若所述原始帧率小于第一预设帧率，则基于所述原始帧率所属的帧率区间和所述映射关系确定所述N个视频帧各自的重复帧的数量为M1；若所述原始帧率大于或等于所述第一预设帧率且小于第二预设帧率，则基于所述原始帧率所属的帧率区间和所述映射关系确定所述N个视频帧各自的重复帧的数量为M2；若所述原始帧率大于或等于所述第二预设帧率且小于或等于第三预设帧率，则基于所述原始帧率所属的帧率区间和所述映射关系确定所述N个视频帧各自的重复帧的数量为M3；其中，所述第一预设帧率小于第二预设帧率，所述第二预设帧率小于所述第三预设帧率；M1>M2>M3，且M1、M2和M3均为正整数。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述生成所述第一视频帧序列中的N个视频帧各自的重复帧，包括：若终端设备的解码器的工作频率与所述服务器的送帧频率或送帧间隔有关，且所述原始视频的原始帧率小于或等于第三预设帧率，则生成所述N个视频帧各自的重复帧。
7.一种视频处理方法，其特征在于，所述方法应用于客户端，所述方法包括：获取码流；解析所述码流，以得到第二视频帧序列；对所述第二视频帧序列进行视频帧渲染；其中，所述第二视频帧序列是对原始视频的第一视频帧序列中N个视频帧插入各自的重复帧之后得到的视频帧序列，N为正整数，所述N个视频帧各自的参考帧不同于所述N个视频帧各自的重复帧的参考帧。8.根据权利要求7所述的方法，其特征在于，所述对所述第二视频帧序列进行视频帧渲染，包括：确定所述N个视频帧各自的重复帧；对所述第二视频帧序列中除所述N个视频帧各自的重复帧以外的视频帧进行视频帧渲染。9.根据权利要求8所述的方法，其特征在于，所述确定所述N个视频帧各自的重...

【专利技术属性】
技术研发人员：张佳，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：