具有微结构掩码的多尺度因子图像超分辨率制造技术

包括一种方法和装置，所述方法和装置包括计算机代码，所述计算机代码被配置成使一个或多个处理器执行以下操作：获得包括高度、宽度和通道的数目的输入低分辨率(LR)图像；实现特征学习深度神经网络(DNN)，所述特征学习深度神经网络被配置成基于输入LR图像来计算特征张量；基于由特征学习DNN计算的特征张量，通过放大DNN来生成高分辨率(HR)图像，高分辨率(HR)图像具有比输入LR图像高的分辨率，其中，放大DNN的联网结构根据不同的尺度因子而不同，以及其中，特征学习DNN的联网结构对于不同的尺度因子中的每一个是相同的结构。的尺度因子中的每一个是相同的结构。的尺度因子中的每一个是相同的结构。

【技术实现步骤摘要】
【国外来华专利技术】具有微结构掩码的多尺度因子图像超分辨率
相关申请的交叉引用
[0001]本申请要求于2020年8月14日提交的美国临时申请63/065,608和于2021年6月30日提交的美国申请17/363,280的优先权，这两个申请在此通过引用将其全部内容明确地并入本申请中。

技术介绍
1.

[0002]本公开内容涉及多尺度因子单图像超分辨率(SISR)框架，其中，根据示例性实施方式，例如在来自多个二进制微结构掩码的指导下，可以使用仅一个模型实例来实现不同尺度因子的SISR。2.相关技术的描述
[0003]ISO/IEC MPEG(JTC 1/SC 29/WG 11)已经积极地寻找未来视频编码技术标准化的潜在需求。ISO/IEC JPEG成立了专注于使用深度神经网络(DNN)进行基于AI的神经图像压缩的JPEG
‑
AI小组。中国AVS标准还成立了致力于神经图像和视频压缩技术的AVS
‑
AI专门小组。AI技术和DNN在诸如语义分类、目标检测/识别、目标跟踪、视频质量增强等的大范围视频应用中的成功对DNN模型的压缩提出了强烈的需求，并且MPEG和AVS二者致力于神经网络压缩标准(NNR)，该标准压缩DNN模型以节省存储和计算二者。
[0004]同时，随着诸如4K(3840
×
2160)和8K(7680
×
4320)分辨率的高分辨率(HR)显示器的日益普及，图像/视频SR在业界引起了极大的关注以生成匹配的HR图像/视频内容。SIST旨在从相应的低分辨率(LR)图像生成HR图像，并且其在监控成像、医学成像、沉浸式体验等方面有着广泛的应用。在真实世界场景中，SR系统有必要以针对不同用户定制的各种尺度因子来放大LR图像。
[0005]由于DNN的最新发展，SISR取得了巨大的成功。然而，这些SISR方法将每个尺度因子视为单个任务，并针对每个尺度因子(例如，
×
2、
×
3或
×
4)训练单个模型。因此，所有这些模型实例需要被存储和部署，这太过昂贵而不实用，尤其是对于像移动设备那样具有有限存储和计算资源的情况。
[0006]因此，需要对这些问题的技术解决方案。

技术实现思路

[0007]为了解决一个或更多个不同的技术问题，根据示例性实施方式，本公开内容提供了技术解决方案以减少网络开销和服务器计算开销，同时针对一个或更多个视口边距更新传送沉浸式视频。
[0008]包括一种方法和装置，所述装置包括被配置成存储计算机程序代码的存储器和被配置成访问计算机程序代码并按照计算机程序代码所指示的进行操作的一个或多个处理器。计算机程序包括：获得代码，其被配置成使至少一个处理器获得包括高度、宽度和通道
的数目的输入低分辨率(LR)图像；实现代码，其被配置成使至少一个处理器实现特征学习深度神经网络(DNN)，所述特征学习深度神经网络被配置成基于输入LR图像来计算特征张量；生成代码，其被配置成使至少一个处理器基于由特征学习DNN计算的特征张量，通过放大DNN来生成高分辨率(HR)图像，高分辨率(HR)图像具有比输入LR图像高的分辨率，其中，放大DNN的联网结构根据不同的尺度因子而不同，以及其中，特征学习DNN的联网结构对于不同的尺度因子中的每一个是相同的结构。
[0009]根据示例性实施方式，生成代码在测试阶段还是被配置成使至少一个处理器进行以下操作的代码：基于输入LR图像和目标尺度因子生成特征学习DNN的掩码的权重系数；以及基于所述掩码的权重系数，基于所选择的权重系数为目标尺度因子选择放大DNN的子网络，并通过推理计算来计算特征张量。
[0010]根据示例性实施方式，使用所选择的权重系数基于使特征张量传递通过放大模块来生成HR图像。
[0011]根据示例性实施方式，其中，特征学习DNN和放大DNN中至少之一的权重系数包括大小为c
G
,k1,k2,k3,c2的5维(5D)张量，特征学习DNN和放大DNN中至少之一的层的输入包括大小为h1,w1,d1,c1的4维(4D)张量A，以及层的输出是大小为h2,w2,d2,c2的4D张量B，以及c1、k1、k2、k3、c2、h1、w1、d1、c1、h2、w2、d2和c2中的每一个是大于或等于1的整数，以及h1、w1、d1是张量A的高度、权重和深度，以及h2、w2、d2是张量B的高度、权重和深度，以及c1和c2分别是输入通道和输出通道的数目，以及k1、k2、k3是卷积核的大小，并且分别与高度轴、权重轴和深度轴相对应。
[0012]根据示例性实施方式，还存在再成形代码，其被配置成使至少一个处理器将5D张量再成形为3维(3D)张量以及将5D张量再成形为2维(2D)矩阵。
[0013]根据示例性实施方式，3D张量的大小为c
′1，c
′2，k，其中，c
′1×
c
′2×
k＝c1×
c2×
k1×
k2×
k3，以及2D矩阵的大小为c
′1，c
′2，其中，c
′1×
c
′2＝c1×
c2×
k1×
k2×
k3。
[0014]根据示例性实施方式，在训练阶段还存在：确定代码，其被配置成使至少一个处理器确定被掩蔽的权重系数；获得代码，其被配置成使至少一个处理器通过权重填充模块基于对特征学习DNN的权重和放大DNN的权重的学习过程获得更新的权重系数；以及进行代码，其被配置为使至少一个处理器基于所更新的权重系数进行微结构修剪处理以获得模型实例和掩码。
[0015]根据示例性实施方式，学习过程包括通过将具有零值的权重系数设置为任何随机初始值和先前学习的模型的相应权重来对那些权重系数进行重新初始化。
[0016]根据示例性实施方式，微结构修剪处理包括：计算3D张量和2D矩阵中至少之一的多个微结构块中的每一个的损耗；以及基于所计算的损耗对微结构块进行排序。
[0017]根据示例性实施方式，微结构修剪处理还包括基于失真损耗是否达到阈值来确定停止微结构修剪处理。
附图说明
[0018]根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将更加明显，在附图中：
[0019]图1是根据实施方式的简化示意图示。
[0020]图2是根据实施方式的简化流程图。
[0021]图3是根据实施方式的简化框图。
[0022]图4是根据实施方式的简化框图。
[0023]图5是根据实施方式的简化流程图。
[0024]图6是根据实施方式的简化框图。
[0025]图7是根据实施方式的简化框图。
[0026]图8是根据实施方式的简化框图。
[0027]图9是根据实施方式的简化框图。
[0028]图10是根据实施方式的示意图示。
具体实施方式
[0029]可以单独使用或本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于图像处理的方法，所述方法由至少一个处理器执行并且包括：获得包括高度、宽度和通道的数目的输入低分辨率(LR)图像；实现特征学习深度神经网络(DNN)，所述特征学习深度神经网络被配置成基于所述输入LR图像来计算特征张量；基于由所述特征学习DNN计算的所述特征张量，通过放大DNN来生成高分辨率(HR)图像，所述高分辨率(HR)图像具有比所述输入LR图像高的分辨率，其中，所述放大DNN的联网结构根据不同的尺度因子而不同，以及其中，所述特征学习DNN的联网结构对于所述不同的尺度因子中的每一个是相同的结构。2.根据权利要求1所述的方法，在测试阶段还包括：基于目标尺度因子生成所述特征学习DNN的掩码的权重系数；以及基于所选择的权重系数为所述目标尺度因子选择所述放大DNN的子网络，并通过推理计算来计算所述特征张量。3.根据权利要求2所述的方法，还包括：使用所选择的权重系数基于使所述特征张量传递通过放大模块来生成所述HR图像。4.根据权利要求1所述的方法，其中，所述特征学习DNN和所述放大DNN中至少之一的权重系数包括大小为c1,k1,k2,k3,c2的5维(5D)张量，其中，所述特征学习DNN和所述放大DNN中至少之一的层的输入包括大小为h1,w1,d1,c1的4维(4D)张量A，其中，所述层的输出是大小为h2,w2,d2,c2的4D张量B，以及其中，c1、k1、k2、k3、c2、h1、w1、d1、c1、h2、w2、d2和c2中的每一个是大于或等于1的整数，其中，h1、w1、d1是所述张量A的高度、权重和深度，其中，h2、w2、d2是所述张量B的高度、权重和深度，其中，c1和c2分别是输入通道和输出通道的数目，以及其中，k1、k2、k3是卷积核的大小，并且分别与高度轴、权重轴和深度轴相对应。5.根据权利要求4所述的方法，还包括：将所述5D张量再成形为3维(3D)张量；以及将所述5D张量再成形为2维(2D)矩阵。6.根据权利要求5所述的方法，其中，所述3D张量的大小为c
′1，c
′2，k，其中，c
′1×
c
′2×
k＝c1×
c2×
k1×
k2×
k3，以及其中，所述2D矩阵的大小为c
′1，c
′2，其中，c
′1×
c
′2＝c1×
c2×
k1×
k2×
k3。7.根据权利要求6所述的方法，在训练阶段还包括：确定被掩蔽的权重系数；通过权重填充模块基于对所述特征学习DNN的权重和所述放大DNN的权重的学习过程获得更新的权重系数；以及基于所更新的权重系数进行微结构修剪处理以获得模型实例和掩码。8.根据权利要求7所述的方法，其中，所述学习过程包括通过将具有零值的权重系数设置为任何随机初始值和先前学
习的模型的相应权重来对那些权重系数进行重新初始化。9.根据权利要求7所述的方法，其中，所述微结构修剪处理包括：计算所述3D张量和所述2D矩阵中至少之一的多个微结构块中的每一个的损耗；以及基于所计算的损耗对所述微结构块进行排序。10.根据权利要求9所述的方法，其中，所述微结构修剪处理还包括：基于失真损耗是否达到阈值来确定停止所述微结构修剪处理。11.一种用于图像处理的装置，所述装置包括：至少一个存储器，所述至少一个存储器被配置成存储计算机程序代码；至少一个处理器，所述至少一个处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码所指示的进行操作，所述计算机程序代码包括：获得代码，所述获得代码被配置成使所述至少一个处理器获得包括高度、宽度和通道的数目的输入低分辨率(LR)图像；实现代码，所述实现代码被配置成使所述至少一个处理器实现特征学习深度神经网络(DNN)，所述特征学习深度神经网络被配置成基于所述输入LR图像来计算特征张量；生成代码，所述生成代...

【专利技术属性】
技术研发人员：蒋薇，王炜，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：