【技术实现步骤摘要】
本申请实施例涉及图像处理领域，尤其涉及一种图像处理网络的训练、编解码方法及电子设备。
技术介绍
1、基于在图像识别、目标检测等诸多领域远超传统图像算法的表现，深度学习也被应用至如图像压缩、图像复原、图像超分等各种图像处理任务。
2、通常，很多图像处理场景(如图像压缩、图像复原、图像超分等)中，经过深度学习网络处理得到的图像都会出现棋盘格效应，即得到的图像的部分区域或整个区域会出现很像棋盘的网格；大大降低了图像处理得到的图像的视觉质量。
技术实现思路
1、本申请提供一种图像处理网络的训练、编解码方法及电子设备。基于该训练方法对图像处理网络训练后，能够一定程度消除经过该图像处理网络进行图像处理得到的图像中的棋盘格效应。
2、第一方面，本申请实施例提供一种图像处理网络的训练方法，该方法包括：首先，获取第一训练图像和第一预测图像，以及获取棋盘格效应的周期，第一预测图像是基于图像处理网络对第一训练图像进行图像处理生成的。接着，按照周期，将第一训练图像划分为m个第一图像块和将第一预测图像划分为m个第二图像块，第一图像块的尺寸和第二图像块的尺寸，均与周期相关，m为大于1的整数。随后，基于m个第一图像块和m个第二图像块，确定第一损失；然后，基于第一损失，对图像处理网络进行训练。
3、由于棋盘格效应是具有周期性的，进而本申请按照棋盘格效应的周期将经过图像处理网络处理前后的图像(第一训练图像是图像处理网络处理前的图像，第一预测图像是图像处理网络处理后的图像)划分为图
4、示例性的，棋盘格效应是图像上的一种周期性噪声(periodic noise)(周期性噪声是一种与空间域、特定频率相关的噪声)，棋盘格效应的周期就是噪声的周期。
5、示例性的，棋盘格效应的周期为二维周期(棋盘格效应是图像的部分区域或整个区域会出现很像棋盘的网格的现象，也就是说棋盘格效应是二维的；二维周期是指棋盘格效应的周期包括两个维度的值，这两个维度对应图像的长和宽)。棋盘格效应的周期数为m。
6、示例性的，棋盘格效应周期的形状可以是矩形，其大小可以采用p*q表示；其中，p和q为正整数，p和q的单位为px(像素)，p和q可以相等，也可以不等，本申请对此不作限制。
7、应该理解的是，棋盘格效应周期还可以是其他形状(如三角形、椭圆、不规则形状等等)，本申请对此不作限制。
8、示例性的，第一损失用于补偿图像的棋盘格效应。
9、示例性的，m个第一图像块中的每个第一图像块的尺寸可以相同，也可以不同，本申请对此不作限制。
10、示例性的，m个第二图像块中的每个第二图像块的尺寸可以相同，也可以不同，本申请对此不作限制。
11、示例性的，第一图像块与第二图像块的尺寸可以相同，也可以不同，本申请对此不作限制。
12、示例性的，第一图像块的尺寸和第二图像块的尺寸，均与周期相关可以是指，第一图像块的尺寸和第二图像块的尺寸，根据棋盘格效应的周期确定。示例性的，第一图像块的尺寸和第二图像块的尺寸，可以均大于、小于或等于棋盘格效应的周期。
13、示例性的，图像处理网络可以应用于图像超分；图像超分即将低分辨率的图像或视频，恢复为高分辨率的图像或视频。
14、示例性的，图像处理网络可以应用于图像复原；图像复原即将局部区域模糊的图像或视频，恢复为局部区域细节清晰的图像或视频。
15、示例性的，图像处理网络可以应用于图像编解码。
16、示例性的，当图像处理网络应用于图像编解码时，可以降低棋盘格效应出现的码率点；也就是说，相对于现有技术而言，采用本申请的训练方法训练后的图像处理网络进行编解码得到的图像，出现棋盘格效应的码率点更低。此外，在中等码率(例如可以是0.15bpp(bits perpixel，像素位数)至0.3bpp之间，具体可以按照需求设置)的情况下，采用本申请的训练方法训练后的图像处理网络进行编解码得到的图像质量更高。
17、示例性的，当图像处理网络包括上采样层时，棋盘格效应的周期可以根据上采样层的数量确定。
18、根据第一方面，基于m个第一图像块和m个第二图像块，确定第一损失，包括：基于m个第一图像块，得到第一特征块，其中，第一特征块中的特征值是基于m个第一图像块中对应位置的像素计算得到的；基于m个第二图像块，得到第二特征块，其中，第二特征块中的特征值是基于m个第二图像块中对应位置的像素计算得到的；基于第一特征块和第二特征块，确定第一损失。这样，通过将m个第一图像块的信息汇总到一个或多个第一特征块中，以及m个第二图像块的信息汇总到一个或多个第二特征块中，再比对第一特征块和第二特征块来计算第一损失，能够对周期性的棋盘格效应进行更具有针对性的补偿，进而消除棋盘格效应的效果更好。
19、应该理解的是，本申请对第一特征块的数量以及第二特征块的数量不作限制。
20、根据第一方面，或者以上第一方面的任意一种实现方式，基于m个第一图像块，得到第一特征块，包括：基于m个第一图像块中的n个第一图像块，得到第一特征块，第一特征块中的特征值是基于n个第一图像块中对应位置的像素计算得到的，n为小于或等于m的正整数；基于m个第二图像块，得到第二特征块，包括：基于m个第二图像块中的n个第二图像块，得到第二特征块，第二特征块中的特征值是基于n个第二图像块中对应位置的像素计算得到的。这样，可以采用部分或全部第一图像块对应位置的像素进行计算，以得到第一特征块；以及采用部分或全部第二图像块对应位置的像素进行计算，以得到第二特征块。当采用部分第一图像块对应位置的像素计算得到第一特征块以及采用部分第二图像块对应位置的像素计算得到第二特征块时，计算第一损失所采用的信息更少，进而能够提高计算第一损失的效率。当采用全部第一图像块对应位置的像素计算得到第一特征块以及采用全部第二图像块对应位置的像素计算得到第二特征块时，计算第一损失采用的信息更全面，进而能够提高第一损失的准确性。
21、根据第一方面，或者以上第一方面的任意一种实现方式，基于m个第一图像块，得到第一特征块，包括：基于m个第一图像块中各第一图像块对应第一位置的第一目标像素计算，以得到第一特征块的对应第一位置的特征本文档来自技高网...
【技术保护点】
1.一种图像处理网络的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述M个第一图像块和所述M个第二图像块，确定第一损失，包括：
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，
5.根据权利要求2所述的方法，其特征在于，
6.根据权利要求2至5任一项所述的方法，其特征在于，所述基于所述第一特征块和所述第二特征块，确定所述第一损失，包括：
7.根据权利要求2至5任一项所述的方法，其特征在于，所述基于所述第一特征块和所述第二特征块，确定所述第一损失，包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述图像处理网络包括编码网络和解码网络；在所述获取第一训练图像和第一预测图像之前，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述第一预测图像是基于预训练后的编码网络对所述第一训练图像编码后再基于预训练后的解码网络对所述第一训练图像的编码结果解码得到的；
10.根据权利要求9所
11.根据权利要求10所述的方法，其特征在于，
12.根据权利要求11所述的方法，其特征在于，所述按照所述周期，将所述第一训练图像划分为M个第一图像块和将所述第一预测图像划分为M个第二图像块，包括：
13.根据权利要求12所述的方法，其特征在于，所述基于所述第一损失，对所述图像处理网络进行训练，包括：
14.一种编码方法，其特征在于，所述方法包括：
15.根据权利要求14所述的方法，其特征在于，所述对所述特征图进行熵编码，以得到第一码流，包括：
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
17.一种解码方法，其特征在于，所述方法包括：
18.根据权利要求17所述的方法，其特征在于，所述方法还包括：
19.一种电子设备，其特征在于，包括：
20.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的程序指令；当所述处理器执行所述程序指令时，使得所述电子设备执行权利要求1至权利要求13中任一项所述的训练方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序运行在计算机或处理器上时，使得所述计算机或所述处理器执行如权利要求1至13任一项所述的训练方法。
22.一种计算机程序产品，其特征在于，所述计算机程序产品包含软件程序，当所述软件程序被计算机或处理器执行时，使得权利要求1至13任一项所述的方法的步骤被执行。
23.一种存储码流的装置，其特征在于，所述装置包括：接收器和至少一个存储介质，
24.一种传输码流的装置，其特征在于，所述装置包括：发送器和至少一个存储介质，
25.一种分发码流的系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种图像处理网络的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述m个第一图像块和所述m个第二图像块，确定第一损失，包括：
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，
5.根据权利要求2所述的方法，其特征在于，
6.根据权利要求2至5任一项所述的方法，其特征在于，所述基于所述第一特征块和所述第二特征块，确定所述第一损失，包括：
7.根据权利要求2至5任一项所述的方法，其特征在于，所述基于所述第一特征块和所述第二特征块，确定所述第一损失，包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述图像处理网络包括编码网络和解码网络；在所述获取第一训练图像和第一预测图像之前，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述第一预测图像是基于预训练后的编码网络对所述第一训练图像编码后再基于预训练后的解码网络对所述第一训练图像的编码结果解码得到的；
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一损失，对所述图像处理网络进行训练，还包括：
11.根据权利要求10所述的方法，其特征在于，
12.根据权利要求11所述的方法，其特征在于，所述按照所述周期，将所述第一训练图像划分为m个第一图像块和将所述第一预测图像划分为m个第二图像块，包括：
13.根据权利要求12所述的方法，其特征在于，所述基于所述第一损失，对所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。