一种基于制造技术

本申请公开了一种基于

【技术实现步骤摘要】
一种基于AI的视频解码方法和系统


[0001]本申请实施例涉及视频编码
，尤其是涉及一种基于
AI
的视频解码方法和系统
。

技术介绍

[0002]视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像
。
由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，看到的就是动作连续的视频
。
由于连续的帧之间相似性极高，为便于储存传输，需要对原始的视频进行编码压缩，以去除空间
、
时间维度的冗余
。
[0003]在视频编码
‑
解码过程中，以
H.264
，
HEVC
，
VVC
为代表的基于块的视频编码标准由于采用了有损压缩技术，原始视频在经过视频编码标准压缩后生成相对原始视频质量较低的图像帧，具体表现为在原始视频编码过程中需要量化变换系数以压缩数据量，在解码环节进行反量化进行解码，量化造成的信息损失导致经过视频编码标准处理过后的视频质量与原始视频质量存在差距
。
[0004]为了解决上述问题，在视频解码阶段，对图像帧进行优化和增强是一种可行方案，而随着
AI
中的图像处理技术的兴起，基于深度学习的图像帧的优化方法不断出现，通过基于深度学习技术对图像帧进行补偿，提升图像帧的解码效果
。
但现有技术还存在缺陷：图像帧的若干帧的质量是参差不齐的，此时若使用同一个卷积神经网络进行优化，那么优化效果也会参差不齐，因此需要一种方式能尽量平衡每一帧的优化效果
。

技术实现思路

[0005]本申请旨在至少解决现有技术中存在的技术问题之一
。
为此，本申请提出一种基于
AI
的视频解码方法和系统，能够使质量参数较低的图像帧和质量参数较高的图像帧达到相同的优化效果，进而提高视频的解码质量
。
[0006]根据本申请的第一方面实施例的基于
AI
的视频解码方法，所述基于
AI
的视频解码方法包括：
[0007]获取目标视频；
[0008]根据所述目标视频每一帧的质量参数，计算出一标准质量参数；
[0009]通过所述目标视频每一帧的质量参数与所述标准质量参数比较，将所述目标视频的所有帧分为第一类图像帧和第二类图像帧；其中，所述第一类图像帧中的任意帧的质量参数均大于所述第二类图像帧的质量参数；
[0010]将所述第一类图像帧通过第一卷积神经网络进行优化，将所述第二类图像帧通过第二卷积神经网络进行优化；其中，同一图像帧经过所述第二卷积神经网络输出的第二图像帧相较于经过所述第一卷积神经网络输出的第一图像帧的质量参数更高
。
[0011]根据本申请实施例的基于
AI
的视频解码方法，至少具有如下有益效果：
[0012]因为现有技术通过基于深度学习技术对图像帧进行补偿，提升图像帧的解码效果
还存在缺陷：编码后的图像帧的质量是参差不齐的，此时若使用同一个卷积神经网络进行优化，那么优化效果必然有所区别
。
因此需要尽可能的平衡每一帧图像的优化效果
。
于是，本申请基于每一帧的质量参数，计算出一个用于划分图像帧质量高低的标准质量参数，然后基于该标准质量参数将目标视频的所有帧分为质量参数较高的第一类图像帧和质量参数较低的第二类图像帧，最后使用网络结构相对简单的卷积神经网络对质量参数较高的第一类图像帧进行优化，使用网络结构相对复杂的卷积神经网络对质量参数较低的第二类图像帧进行优化，以尽可能使质量参数较低的图像帧和质量参数较高的图像帧达到相同的优化效果，进而提高视频的解码质量
。
[0013]根据本申请的一些实施例，所述根据所述目标视频每一帧的质量参数，计算出一标准质量参数，包括：
[0014]获取所述目标视频每一帧的质量参数；
[0015]遍历所述目标视频的每一帧，判断遍历到的当前帧与其相邻帧之间的质量参数的大小，若所述当前帧的质量参数大于所述当前帧的相邻帧的质量参数，则将所述当前帧存放至第一集合中；
[0016]根据所述第一集合中的每一帧的质量参数，计算出一标准质量参数
。
[0017]根据本申请的一些实施例，所述根据所述第一集合中的每一帧的质量参数，计算出一标准质量参数，包括：
[0018]计算所述第一集合中的每一帧的质量参数的平均值；
[0019]将所述平均值作为所述标准质量参数
。
[0020]根据本申请的一些实施例，所述根据所述第一集合中的每一帧的质量参数，计算出一标准质量参数，包括：
[0021]计算所述第一集合中的每一帧的质量参数的中位数；
[0022]将所述中位数作为所述标准质量参数
。
[0023]根据本申请的一些实施例，所述第二卷积神经网络是基于所述第一卷积神经网络改进的神经网络
。
[0024]根据本申请的一些实施例，所述第一卷积神经网络通过如下方式表示：
[0025]F
i
(X)
＝
PReLU(W
i
*F
i
‑1(X)+A
i
)
，
i∈{1
，2，
...
，
N
‑
1}
[0026]F
N
(X)
＝
W
N
*F
N
‑1(X)+A
N
[0027]其中，
i
为所述第一卷积神经网络中的
N
个卷积层的卷积层序号，
F
i
(X)
为所述第一卷积神经网络中第
i
个卷积层的编码结果，
X
为输入的所述第一类图像帧，
W
i
为第
i
个卷积层的权值矩阵，
W
N
为第
N
个卷积层的权值矩阵，
A
i
为第
i
个卷积层的偏置矩阵，
A
N
为第
i
个卷积层的偏置矩阵，
*
为卷积操作，
PReLU
为激活函数
。
[0028]根据本申请的一些实施例，所述第二卷积神经网络通过如下方式表示：
[0029]F
j
(Y)
＝
PReLU(W
j
*F
j
‑1(Y)+B
j
)
，
j∈{1
，2，
…
，
N}
[0030]F
N
(Y)
＝
PReLU(W
N
*Y+B
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
AI
的视频解码方法，其特征在于，所述基于
AI
的视频解码方法包括：获取目标视频；根据所述目标视频中的每一帧的质量参数，计算出一个标准质量参数；通过把所述每一帧的质量参数与所述标准质量参数比较，将所述目标视频的所有帧分为第一类图像帧和第二类图像帧；其中，所述第一类图像帧中的任意帧的质量参数均优于所述第二类图像帧的质量参数；将所述第一类图像帧通过第一卷积神经网络进行优化，将所述第二类图像帧通过第二卷积神经网络进行优化；其中，同一帧经过所述第二卷积神经网络输出的第二图像帧相较于经过所述第一卷积神经网络输出的第一图像帧的质量参数更优
。2.
根据权利要求1所述的基于
AI
的视频解码方法，其特征在于，所述根据所述目标视频中的每一帧的质量参数，计算出一个标准质量参数，包括：获取所述目标视频中的每一帧的质量参数；遍历所述每一帧，判断遍历到的当前帧与其相邻帧之间的质量参数，若所述当前帧的质量参数优于相邻帧的质量参数，则将所述当前帧存放至第一集合中；根据所述第一集合中的每一帧的质量参数，计算出一个标准质量参数
。3.
根据权利要求2所述的基于
AI
的视频解码方法，其特征在于，所述根据所述第一集合中的每一帧的质量参数，计算出一个标准质量参数，包括：计算所述第一集合中的每一帧的质量参数的平均值；将所述平均值作为所述标准质量参数
。4.
根据权利要求2所述的基于
AI
的视频解码方法，其特征在于，所述根据所述第一集合中的每一帧的质量参数，计算出一个标准质量参数，包括：计算所述第一集合中的每一帧的质量参数的中位数；将所述中位数作为所述标准质量参数
。5.
根据权利要求1所述的基于
AI
的视频解码方法，其特征在于，所述第二卷积神经网络是基于所述第一卷积神经网络改进的神经网络
。6.
根据权利要求5所述的基于
AI
的视频解码方法，其特征在于，所述第一卷积神经网络通过如下方式表示：
F
i
(X)
＝
PReLU(W
i
*F
i
‑1(X)+A
i
)
，
i∈{1
，2，
…
，
N
‑
1}F
N
(X)
＝
W
N
*F
N
‑1(X)+A
N
其中，
i
为所述第一卷积神经网络中的
N
个卷积层的卷积层序号，
F
i
(X)
为所述第一卷积神经网络中第
i
个卷积层的编码结果，
X
为输入的所述第一类图像帧，
W
i
为第
i
个卷积层的权值矩阵，
W
N
为第
N
个卷积层的权值矩阵，
A
i
为第
i
个卷积层的偏置矩阵，
A
N
为第
i
个卷积层的偏置矩阵，
*
为卷积操作，
PReLU
为激活函数
。7.
根据权利要求6所述的基于

【专利技术属性】
技术研发人员：钟培文，陈海海，
申请(专利权)人：广西壮族自治区通信产业服务有限公司工程分公司，
类型：发明
国别省市：