【技术实现步骤摘要】
本申请涉及影像，特别是涉及一种图像模型处理方法和装置、图像处理方法和装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、在图像处理和计算机视觉领域，高倍率图像超分辨率是一项极具挑战性的任务。其目标是在低分辨率（low resolution, lr）图像的基础上，通过计算重建出高分辨率（high resolution, hr）图像，从而显著提升图像的清晰度和细节。这对于应用于卫星成像、医学影像分析以及手机端侧拍照等诸多领域都具有重要的现实意义。
2、通常采用超分模型对低分辨率图像进行超分处理，得到高分辨率图像，那么超分模型是关键。然而，传统的超分模型存在超分处理不准确的问题。
技术实现思路
1、本申请实施例提供了一种图像模型处理方法和装置、图像处理方法和装置、电子设备、计算机可读存储介质和计算机程序产品，可以提供一种超分处理更准确的目标超分模型。
2、第一方面，本申请提供了一种图像模型处理方法，包括：
3、通过目标语义分割模型对第一分辨率图像进行语义分割，并获取语义分割过程中产生的至少两个不同尺度的第一中间语义分割特征；
4、将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵；所述第一语义相关性权重矩阵中的元素表征所述第一中间语义分割特征中所述元素对应位置与其他位置之间的相关性；
5、将各个第一语义相关性权重矩阵注入第一超分模型中，并通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率
6、根据所述超分图像和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型。
7、在其中一个实施例中，所述通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率图像进行超分处理，得到超分图像，包括：
8、通过所述第一超分模型对所述第一分辨率图像进行超分处理，得到第一中间超分特征；
9、获取所述第一中间超分特征对应尺度的第一语义相关性权重矩阵；
10、基于所述第一中间超分特征和对应的第一语义相关性权重矩阵，得到第二中间超分特征；
11、将所述第二中间超分特征作为新的第一中间超分特征，并返回执行所述获取所述第一中间超分特征对应尺度的第一语义相关性权重矩阵的步骤，直至得到超分图像。
12、在其中一个实施例中，所述基于所述第一中间超分特征和对应的第一语义相关性权重矩阵，得到第二中间超分特征，包括：
13、将所述第一中间超分特征进行卷积，得到卷积之后的第一中间超分特征；
14、将所述卷积之后的第一中间超分特征和对应的第一语义相关性权重矩阵进行矩阵相乘，得到第二尺度的中间超分特征。
15、在其中一个实施例中，所述将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵，包括：
16、针对每一个第一中间语义分割特征，将所述第一中间语义分割特征进行卷积和上采样，得到目标尺寸的第一中间语义分割特征；
17、对所述目标尺寸的第一中间语义分割特征进行空间维度的转置处理，得到转置处理后的第一中间语义分割特征；
18、基于所述目标尺寸的第一中间语义分割特征和所述转置处理后的第一中间语义分割特征，得到第一语义相关性权重矩阵。
19、在其中一个实施例中，所述方法还包括：
20、通过所述目标语义分割模型获取所述第一分辨率图像的语义分割结果；
21、所述根据所述超分图像和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型，包括：
22、基于所述语义分割结果将所述超分图像划分为至少两个语义类别的超分图像块；
23、根据所述至少两个语义类别的超分图像块和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型。
24、在其中一个实施例中，所述根据所述至少两个语义类别的超分图像块和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型，包括：
25、针对每个语义类别的超分图像块，基于所述超分图像块和所述第一分辨率图像对应的参考图像，确定所述超分图像块对应的子判别结果；
26、根据各个语义类别的超分图像块对应的子判别结果，确定所述超分图像的判别结果；
27、基于所述判别结果得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型。
28、在其中一个实施例中，所述方法还包括：
29、获取语义分割数据集；
30、采用所述语义分割数据集对初始语义分割模型进行训练，得到训练完成的第一候选语义分割模型；
31、获取不同于所述第一候选语义分割模型的至少一个第二候选语义分割模型；
32、从所述第一候选语义分割模型和所述至少一个第二候选语义分割模型中确定目标语义分割模型。
33、第二方面，本申请还提供了一种图像模型处理装置，包括：
34、第一语义分割模块，用于通过目标语义分割模型对第一分辨率图像进行语义分割，并获取语义分割过程中产生的至少两个不同尺度的第一中间语义分割特征；
35、第一语义相关性权重矩阵获取模块，用于将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵；所述第一语义相关性权重矩阵中的元素表征所述第一中间语义分割特征中所述元素对应位置与其他位置之间的相关性；
36、第一超分处理模块，用于将各个第一语义相关性权重矩阵注入第一超分模型中，并通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率图像进行超分处理，得到超分图像；所述超分图像的分辨率大于所述第一分辨率图像的分辨率；
37、目标超分模型获取模块，用于根据所述超分图像和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型。
38、第三方面，本申请还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39、通过目标语义分割模型对第一分辨率图像进行语义分割，并获取语义分割过程中产生的至少两个不同尺度的第一中间语义分割特征；
40、将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵；所述第一语义相关性权重矩阵中的元素表征所述第一中间语义分割特征中所述元素对应位置与其他位置之间的相关性；
41、将各个第一语义相关性权重矩阵注入第一超分模型中，并通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率图像进行超分处理，得到超分图像；所述超分图本文档来自技高网...
【技术保护点】
1.一种图像模型处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率图像进行超分处理，得到超分图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一中间超分特征和对应的第一语义相关性权重矩阵，得到第二中间超分特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵，包括：
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述至少两个语义类别的超分图像块和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型，包括：
7.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
8.一种图像处理方法，其特征在于，所述方法包括：
9.根据权利要求8所述的方法，其特征在于，所述目标超
10.一种图像模型处理装置，其特征在于，所述装置包括：
11.一种图像处理装置，其特征在于，所述装置包括：
12.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种图像模型处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一超分模型基于所述各个第一语义相关性权重矩阵对所述第一分辨率图像进行超分处理，得到超分图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一中间超分特征和对应的第一语义相关性权重矩阵，得到第二中间超分特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述将每一个第一中间语义分割特征转换为第一语义相关性权重矩阵，包括：
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述至少两个语义类别的超分图像块和所述第一分辨率图像对应的参考图像得到损失，并根据所述损失调整所述第一超分模型，得到训练完成的目标超分模型，包括：
7.根据权利要求1至...
【专利技术属性】
技术研发人员：武超雄，戴强，权威，周玮，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。