视频处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例涉及视频领域，公开了一种视频处理方法、装置、电子设备及存储介质，该方法包括：从视频画面的各区域中提取初始画面特征；根据初始画面特征，计算各区域的内容显著度；根据各区域的内容显著度，标记视频画面中的内容显著区域；对内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码；第一方式编码的画面质量高于第二方式编码的画面质量。本发明专利技术实施例中的视频处理方法能够在保证用户感官的前提下，减少视频数据量，减少视频传输时间，满足用户的实时交互需求。满足用户的实时交互需求。满足用户的实时交互需求。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及存储介质


[0001]本申请实施例涉及视频领域，特别涉及一种视频处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，互联网用户对媒体消费的需求日益提高，高质量媒体内容以及一些新兴媒体内容如虚拟现实VR(Virtual Reality，简称“VR”)、云点播逐渐成为主流。
[0003]相关的视频处理技术中，为了保证用户的观看体验，媒体发布方会向用户端发送画面质量高的视频，其中，由于画面质量高的视频数据量大，传输视频必然需要较长的时间。
[0004]因此，相关的视频处理技术存在以下问题：为了保证画面质量，需要传输的视频数据量庞大，与用户的实时交互需求存在矛盾。

技术实现思路

[0005]本申请实施例的主要目的在于提出一种视频处理方法、装置、电子设备及存储介质，实现在保证用户感官的前提下，减少视频数据量，减少视频传输时间，满足用户的实时交互需求。
[0006]为实现上述目的，本申请实施例提供了一种视频处理方法，包括以下步骤：从视频画面的各区域中提取初始画面特征；根据初始画面特征，计算各区域的内容显著度；根据各区域的内容显著度，标记视频画面中的内容显著区域；对内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码；第一方式编码的画面质量高于第二方式编码的画面质量。
[0007]为实现上述目的，本申请实施例还提供了一种视频处理装置，包括：提取模块，用于从视频画面的各区域中提取初始画面特征；计算模块，用于根据初始画面特征，计算各区域的内容显著度；标记模块，用于根据各区域的内容显著度，标记视频画面中的内容显著区域；编码模块，用于对内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码；第一方式编码的画面质量高于第二方式编码的画面质量。
[0008]为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的视频处理方法。
[0009]为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的视频处理方法。
[0010]本申请提出的视频处理方法，根据从视频画面的各区域中提取初始画面特征，计算各区域的内容显著度，根据各区域的内容显著度，标记视频画面中的内容显著区域，对内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码，由于第一方式编码
的画面质量高于第二方式编码，因此内容显著区域的画面质量较高，非内容显著区域的画面质量较低。由于视频画面质量和视频数据量成正比，因此，对非内容显著区域的画面采用质量较低的第二方式编码，可以减少视频编码后非内容显著区域的数据量，进而减少视频整体的数据量；又因为人类视觉系统的注意力主要集中在显著的目标或区域，所以，只要保证内容显著区域的画面质量，即使降低非内容显著区域的画面质量，也可以保证用户的观看体验。因此，本申请的视频处理方法能够在保证用户感官的前提下，减少视频数据量，进而减少视频所需传输时间，满足用户的实时交互需求。
附图说明
[0011]图1是根据本专利技术第一实施方式提供的视频处理方法流程图；
[0012]图2是根据本专利技术第一实施方式提供的掩码示意图；
[0013]图3是根据本专利技术第二实施方式提供的视频处理方法的流程图；
[0014]图4是根据本专利技术第二实施方式提供的算法网络框架的示意图；
[0015]图5是根据本专利技术第二实施方式提供的帧间特征竞争模块的示意图；
[0016]图6是根据本专利技术第二实施方式提供的压缩和激活模型的示意图；
[0017]图7是根据本专利技术第二实施方式提供的自注意力模型的示意图；
[0018]图8是根据本专利技术第二实施方式提供的层级特征竞争模块的示意图；
[0019]图9是根据本专利技术第三实施方式提供的视频处理装置的结构示意图；
[0020]图10是根据本专利技术第四实施方式提供的电子设备示意图。
具体实施方式
[0021]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0022]本专利技术的第一实施方式涉及一种视频处理方法，具体流程如图1所示：
[0023]步骤101，从视频画面的各区域中提取初始画面特征；
[0024]步骤102，根据初始画面特征，计算各区域的内容显著度；
[0025]步骤103，根据各区域的内容显著度，标记视频画面中的内容显著区域；
[0026]步骤104，对内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码；第一方式编码的画面质量高于第二方式编码的画面质量。
[0027]本实施方式的视频处理方法，应用于视频编码器中。视频编码器用于对视频数据进行压缩编码，以满足存储和传输的要求。其中，视频编码器可以是视频点播平台、游戏平台等媒体平台在视频传输前对视频进行编码时使用的视频编码器。当用户通过视频点播平台点播视频，或通过游戏平台进行需要实时交互的游戏，如VR相关的游戏时，视频平台需要向用户发送用户点播的视频或游戏交互需要的视频，若视频清晰度的要求较高，则视频的数据量庞大。本申请的视频处理方法对视频画面中各区域进行非均匀编码，对内容显著区
域，即用户感兴趣区域做质量较高的编码，对非内容显著区域做质量较低的编码，从而得到数据量较小的新视频，将此新视频传输给用户，供用户观看或进行交互。
[0028]下面对本实施方式的视频处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
[0029]本申请的视频处理方法可以通过构造“编码器
‑
门控循环单元
‑
解码器”的算法网络框架实现。其中，门控循环单元(Gate Recurrent Unit，简称“GRU”)是一种轻量型循环神经网络，视频编码器可以采用轻量级网络残差网络18(Residual Network 18,简称“ResNet 18”)和深度可分离卷积(DeepwiseSeperable Convolution)进行算法网络的构建。
[0030]在步骤101中，视频编码器从视频画面的各区域中提取初始画面特征。视频编码器可以通过编码器从视频画面的各区域中提取初始画面特征。编码器通过卷积层、池化层和残差块，对各区域的初始画面特征提取。其中，区域的划分规格可以使用编码器默认设置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：从视频画面的各区域中提取初始画面特征；根据所述初始画面特征，计算所述各区域的内容显著度；根据所述各区域的内容显著度，标记视频画面中的内容显著区域；对所述内容显著区域进行第一方式编码，对非内容显著区域进行第二方式编码；所述第一方式编码的画面质量高于所述第二方式编码的画面质量。2.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述初始画面特征，计算所述各区域的内容显著度，包括：根据所述初始画面特征，获取时间维度特征和空间维度特征；根据所述时间维度特征和所述空间维度特征，计算所述内容显著度。3.根据权利要求2所述的视频处理方法，其特征在于，所述时间维度特征通过以下方式获取：根据所述初始画面特征和前一视频画面对应区域的初始画面特征之间的一致性和差异性，获取一致性特征和差异性特征；将所述一致性特征和所述差异性特征加权融合，得到所述时间维度特征。4.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述初始画面特征和前一视频画面对应区域的初始画面特征之间的一致性和差异性，获取一致性特征和差异性特征，包括：根据所述初始画面特征和前一视频画面对应区域的初始画面特征，计算得到一致性掩膜和差异性掩膜；将所述前一视频画面对应区域的初始画面特征与所述一致性掩膜进行逐像素点点乘，得到所述一致性特征；将所述初始画面特征与所述差异性掩膜进行点乘，得到所述差异性特征。5.根据权利要求2所述的视频处理方法，其特征在于，所述空间维度画面特征通过以下方式获取：根据所述初始画面特征，获取低级特征和高级语义特征；其中，所述低级特征为通过对所述视频画面的浅层识别得到的特征，所述高级语义特征为通过对所述视频...

【专利技术属性】
技术研发人员：徐异凌，晏航，何大治，孙军，黄成，朱兴昌，陈颖川，尹芹，张宇，朱伟，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：