System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及编解码,尤其是涉及一种解码、编码方法、装置及其设备。
技术介绍
1、为了达到节约空间的目的,视频图像都是经过编码后才传输的,完整的视频编码可以包括预测、变换、量化、熵编码、滤波等过程。针对预测过程,预测可以包括帧内预测和帧间预测,帧间预测是指利用视频时间域的相关性,使用邻近已编码图像的像素预测当前像素,以达到有效去除视频时域冗余的目的。帧内预测是指利用视频空间域的相关性,使用当前帧图像的已编码块的像素预测当前像素,以达到去除视频空域冗余的目的。
2、随着深度学习的迅速发展,深度学习在许多高层次的计算机视觉问题上取得成功,如图像分类、目标检测等,深度学习也逐渐在编解码领域开始应用,即可以采用神经网络对图像进行编码和解码。虽然基于神经网络的编解码方法展现出巨大性能潜力,但是,基于神经网络的编解码方法,仍然存在解码性能较差和复杂度较高等问题。
技术实现思路
1、本申请提供一种解码、编码方法、装置及其设备,能够提高解码性能,降低复杂度。
2、本申请提供一种解码方法,应用于解码端,所述方法包括:
3、对当前图像块对应的第一码流进行解码,得到所述当前图像块对应的系数超参特征;
4、基于所述系数超参特征确定概率分布参数,基于所述概率分布参数对所述当前图像块对应的第二码流进行解码,得到所述当前图像块对应的重建特征;
5、将所述重建特征输入给合成变换网络,得到所述当前图像块对应的重建图像块;
6、其中,所述合成变换网络
7、本申请提供一种编码方法,应用于编码端,所述方法包括:
8、对当前图像块对应的第一码流进行解码,得到所述当前图像块对应的系数超参特征;
9、基于所述系数超参特征确定概率分布参数,基于所述概率分布参数对所述当前图像块对应的第二码流进行解码,得到所述当前图像块对应的重建特征;
10、将所述重建特征输入给合成变换网络,得到所述当前图像块对应的重建图像块;
11、其中,所述合成变换网络至少包括注意力模块,所述注意力模块为级联混合注意力模块或者并联混合注意力模块;其中,所述级联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为串行的两个子模块;或者,所述并联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为并行的两个子模块。
12、本申请提供一种解码装置,应用于解码端,所述装置包括:
13、解码模块,用于对当前图像块对应的第一码流进行解码,得到所述当前图像块对应的系数超参特征;基于所述系数超参特征确定概率分布参数,基于所述概率分布参数对所述当前图像块对应的第二码流进行解码,得到所述当前图像块对应的重建特征;
14、处理模块,用于将所述重建特征输入给合成变换网络,得到所述当前图像块对应的重建图像块;其中,所述合成变换网络至少包括注意力模块,所述注意力模块为级联混合注意力模块或者并联混合注意力模块;其中,所述级联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为串行的两个子模块;或者,所述并联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为并行的两个子模块。
15、本申请提供一种编码装置,应用于编码端,所述装置包括:
16、解码模块,用于对当前图像块对应的第一码流进行解码,得到所述当前图像块对应的系数超参特征;基于所述系数超参特征确定概率分布参数,基于所述概率分布参数对所述当前图像块对应的第二码流进行解码,得到所述当前图像块对应的重建特征;
17、处理模块,用于将所述重建特征输入给合成变换网络,得到所述当前图像块对应的重建图像块;其中,所述合成变换网络至少包括注意力模块,所述注意力模块为级联混合注意力模块或者并联混合注意力模块;其中,所述级联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为串行的两个子模块;或者,所述并联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为并行的两个子模块。
18、本申请提供一种解码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
19、所述处理器用于执行机器可执行指令,以实现上述的解码方法。
20、本申请提供一种编码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
21、所述处理器用于执行机器可执行指令,以实现上述的编码方法。
22、本申请提供一种电子设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
23、所述处理器用于执行机器可执行指令,以实现上述的解码方法或者编码方法。
24、本申请提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,用于实现上述的解码方法或者编码方法。
25、本申请提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,实现上述的解码方法或者编码方法。
26、由以上技术方案可见,本申请实施例中,针对基于神经网络的编解码技术,提出一种注意力机制的合成变换网络,该合成变换网络包括注意力模块,且注意力模块为级联混合注意力模块或者并联混合注意力模块,通过级联混合注意力模块或者并联混合注意力模块实现合成变换网络时,在保证合成图像质量的同时,有效降低网络复杂度和计算复杂度,提高解码性能,在降低复杂度的同时,有效保证重建图像块的质量,提升编码性能和解码性能。
本文档来自技高网...【技术保护点】
1.一种图像解码方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述合成变换网络包括至少一个注意力模块、至少一个残差层、至少一个反卷积层、至少一个残差激活层和至少一个裁剪层。
3.根据权利要求1或2所述的方法,其特征在于,所述合成变换网络包括残差层、第一反卷积层、第一裁剪层、第一残差激活层、第二反卷积层、第二裁剪层、第二残差激活层、注意力模块、第三裁剪层、第三残差激活层、第三反卷积层、第四裁剪层。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述注意力模块为级联混合注意力模块,所述级联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为串行的两个子模块;
5.根据权利要求4所述的方法,其特征在于,通过所述第一注意力子模块对所述第一注意力子模块的输入特征进行第一处理,得到所述第一注意力子模块的输出特征;
6.根据权利要求4所述的方法,其特征在于,通过所述第二注意力子模块对所述第二注意力子模块的输入特征进行第二处理,得到所述第二注意力子模块的
7.一种图像编码方法,其特征在于,所述方法包括:
8.一种图像解码装置,其特征在于,所述装置包括:
9.一种图像编码装置,其特征在于,所述装置包括:
10.一种图像解码设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
11.一种图像编码设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
12.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现权利要求1-7任一项所述的方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,实现权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种图像解码方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述合成变换网络包括至少一个注意力模块、至少一个残差层、至少一个反卷积层、至少一个残差激活层和至少一个裁剪层。
3.根据权利要求1或2所述的方法,其特征在于,所述合成变换网络包括残差层、第一反卷积层、第一裁剪层、第一残差激活层、第二反卷积层、第二裁剪层、第二残差激活层、注意力模块、第三裁剪层、第三残差激活层、第三反卷积层、第四裁剪层。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述注意力模块为级联混合注意力模块,所述级联混合注意力模块包括第一注意力子模块和第二注意力子模块,且所述第一注意力子模块和所述第二注意力子模块为串行的两个子模块;
5.根据权利要求4所述的方法,其特征在于,通过所述第一注意力子模块对所述第一注意力子模块的输入特征进行第一处理,得到所述第一注意力子模块的输出特征;
6.根据权利要求4所述的方法,其特征在于,通...
【专利技术属性】
技术研发人员:陈方栋,叶宗苗,王莉,武晓阳,陆明,孔玉卓,马展,
申请(专利权)人:杭州海康威视数字技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。