一种基于单幅图像进行超分辨率分析的方法及系统技术方案

本发明专利技术实施例公开了一种基于单幅图像进行超分辨率分析的方法及系统，预先创建训练数据库，该训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，其中，该方法包括：将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；对于每个低分辨率测试图像块，在低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；根据最大近邻低分辨率训练图像块，确定高分辨率测试图像块；将所述高分辨率测试图像块拼接成处理后的高分辨率测试图像。通过本发明专利技术，能够提高重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性。

【技术实现步骤摘要】

本专利技术一般地涉及图像处理
，尤其是一种基于单幅图像进行超分辨率分析的方法及系统。
技术介绍
单幅图像超分辨率技术的目标是从一幅低分辨率输入图像恢复出成像过程中损失的高频信息，从而生成一幅与输入图像对 应的高分辨率图像。超分辨率技术拥有广泛的应用领域，例如低分辨率文档复原、遥感卫星图像分析、医学图像分析、图像通信、传输、存储与压缩等等。常用的单幅图像超分辨率方法通常分为三种类别，即插值方法，重建方法，和基于样本学习的方法。其中，基于样本学习的方法具有较强的推广能力，能从输入图像中合成出新的图像细节，因此受到广泛的关注。基于样本学习的超分辨率方法依赖于一个预先收集的由大量低分辨率-高分辨率图像块组成的数据库，这些图像块即学习样本。在处理一幅输入图像(低分辨率)时，首先将其划分为若干图像块，每个图像块在学习数据库中搜索到最相似的低分辨率图像块，数据库中预存的与之对应的高分辨率图像块即作为目标图像(高分辨率)相应位置的图像块。为了进一步提高超分辨率的质量，现有技术提出了一种基于流形进行学习的方法。其中，所谓流形学习，其数学定义是在Rd空间中存在某个随机过程生成的数据{)^(=；^，经过某个函数€可以映射形成妒(0>(1)空间中的观测数据{Xi = f(yi)}。流形学习的目标是在观测数据IxJ中重构f和数据{yj，以达到数据压缩和降维的目的。与机器学习不同的是，流形学习强调整体结构，通过局部和整体相结合来发现和重构数据的内在规律性。基于流形进行学习的基本原理在于在高分辨率图像中的图像块不仅与对应的低分辨率中的图像块有关，而且与其相邻的高分辨率图像块有关。因此，在现有技术中，通常假设低分辨率图像块在特征空间中呈现一种流形分布，同样高分辨率图像块在其特征空间中也呈现一种流形分布，并且高分辨率的图像块与低分辨率图像块的流形结构是相似的。也就是说，如果高分辨率的图像块相邻(相似度高)，那么其降质后的低分辨率图像块(样本库中的低分辨率图像是由高分辨率图像降质后得到的，例如可以通过低通滤波和降采样等技术得到)也相邻。这样，如果获得输入的低分辨率的图像块<与训练样本中的低分辨率图像块見'之间的重建系数(例如，该重建系数可以为权值矩阵W，该系数可以通过流形学习算法LLE等获得)，则保持重建系数不变，即可通过训练样本中的高分辨率图像块< ,重建待复原的高分辨率的图像块方广。上述基于流形的学习方法，是在前述假设条件成立的情况下进行的，但是，在实际应用中，前述假设条件却往往是不成立的。例如，如图I所示，灰色区域表示低/高分辨率块流形上的局部区域，称为胞元。低分辨率图像块Ix的近邻块分布于低分辨率块流形的某一胞元，而与之对应的高分辨率图像块的近邻块却分散于多个相邻的胞元(已经落在了灰色区域以外)。显然，这一情形与低/高分辨率图像块流形局部区域保形的假设相悖，以至于最终重建出的待复原的高分辨率图像块与真实的高分辨率图像块之间的一致性较低，限制了超分辨率质量及有效性的提高。
技术实现思路
有鉴于此，本专利技术实施例提供了基于单幅图像进行超分辨率分析的方法及系统，能够使得最终重建出的高分辨率图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高超分辨率分析的质量及有效性。根据本专利技术实施例的一个方面，提供一种基于单幅图像进行超分辨率分析的方·法，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述方法包括将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率图像块；按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。根据本专利技术实施例的另一个方面，提供一种基于单幅图像进行超分辨率分析的系统，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述系统包括预处理单元，配置为将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；查找单元，配置为对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；确定单元，配置为根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；后处理单元，配置为按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。另外，根据本专利技术的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本专利技术的上述基于单幅图像进行超分辨率分析的方法。此外，根据本专利技术的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本专利技术的上述基于单幅图像进行超分辨率分析的方法。根据本专利技术实施例的上述方法，通过在训练数据库中保存低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，使得在进行超分辨率分析时，可以利用流形局部区域一致性信息对训练数据库中的低分辨率训练图像块进行筛选，只有流形局部区域一致性信息满足一定条件的低分辨率训练图像块才有可能成为待处理低分辨率测试图像块的最大近邻。这样，相当于既考虑了图像块之间的相似度，还考虑了流形局部区域一致性信息，因此，能够使得最终重建出的高分辨率测试图像块与真实的高分辨率图像块之间的一致性得到提高，进而提高了超分辨率分析的质量及有效性。在下面的说明书部分中给出本专利技术实施例的其他方面，其中，详细说明用于充分地公开本专利技术实施例的优选实施例，而不对其施加限定。附图说明下面结合具体的实施例，并参照附图，对本专利技术实施例的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。图I是示出作为流形局部区域对应不一致时的示意 图2是示出作为本专利技术实施例提供的方法的流程图；图3是示出作为本专利技术实施例提供的实施方式的示意图；图4是示出作为本专利技术实施例提供的第一装置的示意图；图5是示出作为本专利技术实施例提供的第二装置的示意图；图6是示出作为本专利技术实施例提供的第三装置的示意图；和图7是示出作为本专利技术的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。具体实施例方式下面参照附图来说明本专利技术实施例。首先需要说明的是，为了便于描述，将训练样本中的图像块称为训练图像块，根据分辨率不同，分为高分辨率训练图像块以及低分辨率图像块；将需要进行超分辨率处理的图像块称为测试图像块，并且进行超分辨率处理前本文档来自技高网...

【技术保护点】
一种基于单幅图像进行超分辨率分析的方法，预先根据训练集中的高分辨率训练图像块以及低分辨率训练图像块创建训练数据库，所述训练数据库用于保存多个低分辨率训练图像块，以及低分辨率训练图像块与对应的高分辨率训练图像块之间的流形局部区域一致性信息，所述方法包括：将原始低分辨率测试图像进行预处理，得到多个低分辨测试图像块；对于每个低分辨率测试图像块，在训练数据库中的低分辨率训练图像块中，查找流形局部区域一致性信息符合预置条件的最大近邻低分辨率训练图像块；根据所述最大近邻低分辨率训练图像块，确定所述低分辨率测试图像块对应的处理后高分辨率测试图像块；按照低分辨率测试图像块在所述原始低分辨率测试图像中的位置，将所述处理后的高分辨率测试图像块拼接成处理后的高分辨率测试图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：范伟，皆川明洋，孙俊，堀田悦伸，直井聪，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：