【技术实现步骤摘要】
【国外来华专利技术】
本专利申请涉及文件格式中数字音频视频媒体信息的生成、存储和使用。
技术介绍
1、数字视频占互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备的数量增加，对数字视频使用的带宽需求可能继续增长。
技术实现思路
1、所公开的方面/实施例提供了与基于神经网络的图像和视频压缩方法相关的技术。本专利技术针对当图像或视频序列太大而无法在解码过程中适应存储器因此导致解码失败的存储器不足问题。本专利技术提供了一种片分割方案，该片分割方案提供了不受空域尺寸影响而从比特流中成功解码的可行性，这对于有限的存储器预算或高分辨率图像/视频特别有益。
2、第一方面涉及一种图像处理方法，包括以下步骤：获取重构潜在值将所述重构潜在值输入到合成神经网络中；基于一个或多个位置的参数，将输出特征图片分割成多个部分；将所述多个部分中的各部分分别输入到多个卷积层的下一级中，以在输出端获取空域分割的特征图；以及将所述空域分割的特征图裁剪并在空域上拼接回整体特征图，直到图像被重构。
3、第二方面涉及一种图像处理方法，包括以下步骤：获取量化潜在值；获取片分割的参数；以及将所述潜在值和所述片分割的参数编码成比特流，以使接收所述比特流的解码器能够将空域分割的特征图裁剪并在空域上拼接回整体特征图，直到图像被重构。
4、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割是水平的或垂直的。
5、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述
6、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割是垂直的，并且其中所述片分割被执行超过一次。
7、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割仅是水平的。
8、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割是水平的，并且其中所述片分割被执行超过一次。
9、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割是水平的和垂直的。
10、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割递归地执行。
11、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割对于所有帧是固定的。
12、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割对于序列内的两个或更多个帧是不同的。
13、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述多个部分中与分割边界相邻的第一部分中的特征图值用于填充所述多个部分中的第二部分。
14、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割被插入到所述合成神经网络的一个位置。
15、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述片分割被插入到所述合成神经网络的多个位置。
16、可选地，在前述任一方面中，该方面的另一个实施方式提供：各子部分的填充尺寸是可控的，并且其中不同子部分的填充尺寸是相同的或不同的。
17、可选地，在前述任一方面中，该方面的另一个实施方式提供：将填充尺寸、垂直分割数量和水平分割数量中的一个或多个编码成所述比特流。
18、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括用于解码所述比特流的片的数量。
19、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括第一指示和第二指示，其中所述合成神经网络的一个部分使用所述第一指示进行分割，并且其中所述合成神经网络的另一个部分使用所述第二指示进行分割。
20、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括层标识符，并且其中所述层标识符标识所述合成神经网络的层。
21、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述层标识符指示起始层，所述片分割在所述起始层后执行。
22、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述层标识符指示起始层，所述片分割在所述起始层后停止。
23、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述层标识符指示起始层，在所述起始层后应用规定数量的片，并且其中在所述比特流中指示所述规定数量。
24、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述层标识符指示起始层，在所述起始层后不再应用规定数量的片。
25、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述层标识符包括表的索引，并且其中所述表包括关于所述合成神经网络的索引和层的关联的信息。
26、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示片的尺寸的指示符。
27、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示片的位置的指示符。
28、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示是否应用所述片分割的指示符，并且其中当不应用所述片分割时，执行基于神经网络的图像重构。
29、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示最小片尺寸的指示符，并且其中所述最小片尺寸用于确定片的数量。
30、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述重构图像的尺寸也用于确定所述片的数量。
31、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述输出特征图的尺寸也用于确定所述片的数量。
32、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示所述重构图像的尺寸的指示符，并且其中所述重构图像的尺寸用于确定所述片的数量。
33、可选地，在前述任一方面中，该方面的另一个实施方式提供：要使用的片的数量是基于输入特征图的尺寸。
34、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述合成神经网络的层基于输入特征图的尺寸应用片分割，并且其中在应用所述层之前，确定是否应用所述片分割。
35、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述合成神经网络的层基于输入特征图的尺寸应用片分割，并且在应用所述层之前，确定要使用的所述片的数量。
36、可选地，在前述任一方面中，该方面的另一个实施方式提供：多个片中的两个或更多个被独立地解码。
37、可选地，在前述任一方面中，该方面的另一个实施方式提供：第二片的解码取决于第一片的解码。
38、可选地，在前述任一方面中，该方面的另一个实施方式提供：所述比特流包括指示多个片中的两个或更多个是否被独立地解码的指示符。
39、可选地，在前述任一方面中，该方面的另一个实施方式提供：对两个片的边界进行滤波。
40、可选地，在前述任一方面中，该方面的另一个实施方式提供本文档来自技高网...
【技术保护点】
1.一种图像处理方法，包括以下步骤：
2.一种图像处理方法，包括以下步骤：
3.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的或垂直的。
4.根据权利要求1至2中任一项所述的方法，其中，所述片分割仅是垂直的。
5.根据权利要求1至2中任一项所述的方法，其中，所述片分割是垂直的，并且其中所述片分割被执行超过一次。
6.根据权利要求1至2中任一项所述的方法，其中，所述片分割仅是水平的。
7.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的，并且其中所述片分割被执行超过一次。
8.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的和垂直的。
9.根据权利要求1至8中任一项所述的方法，其中，所述片分割递归地执行。
10.根据权利要求1至9中任一项所述的方法，其中，所述片分割对于所有帧是固定的。
11.根据权利要求1至10中任一项所述的方法，其中，所述片分割对于序列内的两个或更多个帧是不同的。
12.根据权利要求1至1
13.根据权利要求1至12中任一项所述的方法，其中，所述片分割被插入到所述合成神经网络的一个位置。
14.根据权利要求1至12中任一项所述的方法，其中，所述片分割被插入到所述合成神经网络的多个位置。
15.根据权利要求1至14中任一项所述的方法，其中，各子部分的填充尺寸是可控的，并且其中不同子部分的填充尺寸是相同的或不同的。
16.根据权利要求2所述的方法，还包括：将填充尺寸、垂直分割数量和水平分割数量中的一个或多个编码成所述比特流。
17.根据权利要求1至16中任一项所述的方法，其中，所述比特流包括用于解码所述比特流的片的数量。
18.根据权利要求1至17中任一项所述的方法，其中，所述比特流包括第一指示和第二指示，其中所述合成神经网络的一个部分使用所述第一指示进行分割，并且其中所述合成神经网络的另一个部分使用所述第二指示进行分割。
19.根据权利要求1至17中任一项所述的方法，其中，所述比特流包括层标识符，并且其中所述层标识符标识所述合成神经网络的层。
20.根据权利要求19所述的方法，其中，所述层标识符指示起始层，所述片分割在所述起始层后执行。
21.根据权利要求19所述的方法，其中，所述层标识符指示起始层，所述片分割在所述起始层后停止。
22.根据权利要求19所述的方法，其中，所述层标识符指示起始层，在所述起始层后应用规定数量的片，并且其中在所述比特流中指示所述规定数量。
23.根据权利要求19所述的方法，其中，所述层标识符指示起始层，在所述起始层后不再应用规定数量的片。
24.根据权利要求19所述的方法，其中，所述层标识符包括表的索引，并且其中所述表包括关于所述合成神经网络的索引和层的关联的信息。
25.根据权利要求1至24中任一项所述的方法，其中，所述比特流包括指示片的尺寸的指示符。
26.根据权利要求1至25中任一项所述的方法，其中，所述比特流包括指示片的位置的指示符。
27.根据权利要求1至26中任一项所述的方法，其中，所述比特流包括指示是否应用所述片分割的指示符，并且其中当不应用所述片分割时，执行基于神经网络的图像重构。
28.根据权利要求1至27中任一项所述的方法，其中，所述比特流包括指示最小片尺寸的指示符，并且其中所述最小片尺寸用于确定片的数量。
29.根据权利要求28所述的方法，其中，所述重构图像的尺寸也用于确定所述片的数量。
30.根据权利要求28所述的方法，其中，所述输出特征图的尺寸也用于确定所述片的数量。
31.根据权利要求1至30中任一项所述的方法，其中，所述比特流包括指示所述重构图像的尺寸的指示符，并且其中所述重构图像的尺寸用于确定所述片的数量。
32.根据权利要求1至31中任一项所述的方法，其中，要使用的片的数量是基于输入特征图的尺寸。
33.根据权利要求1至32中任一项所述的方法，其中，所述合成神经网络的层基于输入特征图的尺寸应用片分割，并且其中在应用所述层之前，确定是否应用所述片分割。
34.根据权利要求1至32中任一项所述的方法，其中，所述合成神经网络的层基于输入特征图的尺寸应用片分割，并且在应用所述层之前，确定要使用的所述片的数量。<...
【技术特征摘要】
【国外来华专利技术】
1.一种图像处理方法，包括以下步骤：
2.一种图像处理方法，包括以下步骤：
3.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的或垂直的。
4.根据权利要求1至2中任一项所述的方法，其中，所述片分割仅是垂直的。
5.根据权利要求1至2中任一项所述的方法，其中，所述片分割是垂直的，并且其中所述片分割被执行超过一次。
6.根据权利要求1至2中任一项所述的方法，其中，所述片分割仅是水平的。
7.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的，并且其中所述片分割被执行超过一次。
8.根据权利要求1至2中任一项所述的方法，其中，所述片分割是水平的和垂直的。
9.根据权利要求1至8中任一项所述的方法，其中，所述片分割递归地执行。
10.根据权利要求1至9中任一项所述的方法，其中，所述片分割对于所有帧是固定的。
11.根据权利要求1至10中任一项所述的方法，其中，所述片分割对于序列内的两个或更多个帧是不同的。
12.根据权利要求1至11中任一项所述的方法，其中，所述多个部分中与分割边界相邻的第一部分中的特征图值用于填充所述多个部分中的第二部分。
13.根据权利要求1至12中任一项所述的方法，其中，所述片分割被插入到所述合成神经网络的一个位置。
14.根据权利要求1至12中任一项所述的方法，其中，所述片分割被插入到所述合成神经网络的多个位置。
15.根据权利要求1至14中任一项所述的方法，其中，各子部分的填充尺寸是可控的，并且其中不同子部分的填充尺寸是相同的或不同的。
16.根据权利要求2所述的方法，还包括：将填充尺寸、垂直分割数量和水平分割数量中的一个或多个编码成所述比特流。
17.根据权利要求1至16中任一项所述的方法，其中，所述比特流包括用于解码所述比特流的片的数量。
18.根据权利要求1至17中任一项所述的方法，其中，所述比特流包括第一指示和第二指示，其中所述合成神经网络的一个部分使用所述第一指示进行分割，并且其中所述合成神经网络的另一个部分使用所述第二指示进行分割。
19.根据权利要求1至17中任一项所述的方法，其中，所述比特流包括层标识符，并且其中所述层标识符标识所述合成神经网络的层。
20.根据权利要求19所述的方法，其中，所述层标识符指示起始层，所述片分割在所述起始层后执行。
21.根据权利要求19所述的方法，其中，所述层标识符指示起始层，所述片分割在所述起始层后停止。
22.根据权利要求19所述的方法，其中，所述层标识符指示起始层，在所述起始层后应用规定数量的片，并且其中在所述比特流中指示所述规定数量。
23.根据权利要求19所述的方法，其中，所述层标识符指示起始层，在所述起始层后不再应用规定数量的片。
24.根据权利要求19所述的方法，其中，所述层标识符包括表的索引，并且其中所述表包括关于所述合成神经网络的索引和层的关联的信息。
25.根据权利要求1至24中任一项所述的方法，其中，所述比特流包括指示片的尺寸的指示符。
26.根据权利要求1至25中任一项所述的方法，其中，所述比特流包括指示片的位置的指示符。
27.根据权利要求1至26中任一项所述的方法，其中，所述比特流包括指示是否应用所述片分割的指示符，并且其中当不应用所述片分割时，执行基于神经网络的图像重构。
28.根据权利要求1至27中任一项所述的方法，其中，所述比特流包括指示最小片尺寸的指示符，并且其中所述最小片尺寸用于确定片的数量。
29.根据...
【专利技术属性】
技术研发人员：张召宾，S·艾森力克，张凯，张莉，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。