一种利用时空马尔科夫随机场模型的视频超分辨方法技术

本发明专利技术公开了一种利用时空马尔科夫随机场模型的视频超分辨方法，包括：收集训练数据，根据训练数据构建第一马尔科夫随机场模型，学习第一马尔科夫随机场模型以获取先验约束；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据构建第二马尔科夫随机场模型；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随机场模型的参数进行优化，以对所述输入视频进行超分辨率运算。本发明专利技术同时利用自然场景图像的空域相关性和视频序列之间的时域相关性进行马尔科夫建模，发掘了视频的内在属性，实现简单、数据采集容易、自动化程度高。

【技术实现步骤摘要】

本专利技术涉及计算机视觉处理领域，特别涉及一种利用时空马尔科夫随机场模型的 视频超分辨方法。
技术介绍
马尔可夫随机场包含两个要素位置(site)，相空间(phase space)。当给每一个 位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。对随机场的每 个位置赋予相空间里不同的值。针对视频的超分辨率问题，现有技术中提出了一系列的算法包括采用数据库中 与输入图像具有类似低频信息的参考图像的高频信息进行超分辨率；采用高频的关键帧来 对其他帧进行超分辨率；对人脸进行分区，采用不同的运动估计算法；利用面部运动的时 域相关性来进行超分辨率；通过引入摄像机的运动来增强分辨率。但是上述现有技术中的算法存在如下问题没有同时利用时空域的相关性，只能 处理特定视频，从而不具有普遍性；设备昂贵，采集时间长，而且只能采集全新的高分辨率 视频，而无法处理已有的低分辨率的视频信息。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一，特别提出一种简单、快速的利用 时空马尔科夫随机场模型的视频超分辨方法。为达到上述目的，本专利技术的实施例提出了一种利用时空马尔科夫随机场模型的视 频超分辨方法，包括如下步骤收集训练数据，根据所述训练数据构建第一马尔科夫随机场模型，学习所述第一 马尔科夫随机场模型以获取先验约束，其中，所述训练数据为高分辨率视频图像；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据 构建第二马尔科夫随机场模型，其中，所述测试视频为低分辨率视频；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随 机场模型的参数进行优化，以对所述输入视频进行超分辨率运算。根据本专利技术实施例的利用时空马尔科夫随机场模型的视频超分辨方法，同时利用 自然场景图像的空域相关性和视频序列之间的时域相关性进行马尔科夫建模，发掘了视频 的内在属性，实现简单、数据采集容易、自动化程度高。并且，本专利技术实施例的视频超分辨方 法一方面可以提高普通拍摄设备拍摄视频的分辨率，提高可视觉效果；另一方面可以作为 数据预处理阶段，有效地帮助计算机视觉中的视频分析等任务。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为根据本专利技术实施例的利用时空马尔科夫随机场模型的视频超分辨方法的 流程图；图2为根据本专利技术实施例的利用时空马尔科夫随机场模型的视频超分辨方法的 实施框架图；图3为根据本专利技术实施例的训练数据的采集示意图；图4为根据本专利技术实施例的构建第一空域马尔科夫随机场模型的示意图；图fe为根据本专利技术实施例的构建运动区域的第一时域马尔科夫随机场模型的示 意图；图恥为根据本专利技术实施例的构建相对静止区域的第一时域马尔科夫随机场模型 的示意图；图6为根据本专利技术实施例的构建第一马尔科夫随机场模型的示意图；图7为根据本专利技术实施例的第一马尔科夫随机场模型的训练示意图；图8为根据本专利技术实施例的时空域高频分量先验统计图；图9为根据本专利技术实施例的学习得到的高通滤波器及其响应统计图；图10为根据本专利技术实施例的对输入视频进行超分辨率运算的流程图；以及图11为根据本专利技术实施例的对第二马尔科夫随机场模型的参数进行优化的示意 图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。下面参考图1和图2描述根据本专利技术实施例的利用时空马尔科夫随机场模型的视 频超分辨方法。如图1所示，根据本专利技术实施例的利用时空马尔科夫随机场模型的视频超分辨方 法，包括如下步骤SlOl 收集训练数据，根据训练数据构建第一马尔科夫随机场模型，学习第一马尔 科夫随机场模型以获取先验约束；如图2所示，首先需要收集训练数据。其中，训练数据需要满足以下两个要求其一，控制训练数据的数据量，降低学习第一马尔科夫随机场模型的难度和代 价；其二，训练样本具有代表性，可以涵盖典型的运动场景，使得学习的第一马尔科夫 随机场模型能够具有较大的适应性。在本专利技术的一个实施例中，训练数据可以为高分辨率视频。如图3所示，作为训练 数据的高分辨率视频图像集可以从高清电影中截取，如DVD格式的电影，并且训练数据选 取具有典型场景配置，涵盖尽可能多的场景种类以具有普遍适用性，如兼顾室内、城市、自然风光等场景，包含近景和远景。此外，高分辨率视频图像集应减少相似场景的数据，从而 保证视频数据的差异性，减少训练过程的代价。由于高分辨率视频图像具有较大的数据量， 从而需要较大的存储空间，因此从高分辨率视频图像集中进行关键帧抽取，并对抽取后的 高分辨率图像及进行分段。从分段后的高分辨率视频图像集中选取一个图像序列的子集， 在该图像序列的子集中进行随机采样，从而获得训练数据。根据以收集的训练数据可以构建第一马尔科夫随机场模型，其中第一马尔科夫随 机场模型包括第一空域马尔科夫随机场模型和第一时域马尔科夫随机场模型。如图4所示，根据自然图像在邻域固有的相关性构建第一空域马尔科夫随机场模 型场。首先，利用图像分割算法对训练数据中的各帧图像进行过分割，得到多个不规则的邻 域以作为多个第一空域簇，从而使得每个超像素内部具有较强的相关性，而相邻超像素之 间具有较大的差异性，即利用空间邻域内像素之间的相关性来描述空域的统计属性。从而 缓解了传统马尔科夫随机场中均一分割方式邻域内部相关性的不足以及对大区域内部像 素之间相关性的破坏。在本专利技术的一个实施例中，将多个不规则的邻域中的每个超像素作为一个第一空 域簇。由于上述第一空域簇可以反映输入图像固有的结构信息，根据多个第一空域簇可 以构建一个具有不规则分割的第一空域马尔科夫随机场模型。根据连续运动带来的时域相关性并结合光流计算结果可以建立第一时域马尔科 夫随机场模型。由于图像帧之间的时域相关性可以归结为运动的连续性与背景的静止性两 个方面，因此分别对运动和静止分别采用不同的方式进行建模。具体而言，第一时域马尔科 夫随机场模型包括运动区域的第一时域马尔科夫随机场模型和相对静止区域的第一时域 马尔科夫随机场模型。其中，相对静止区域可以为背景区域。如图fe所示，对于构建运动区域的第一时域马尔科夫随机场模型，首先利用物体 运动固有的连续性，采用跟踪算法中的光流计算检测训练数据的视频的运动前景区域和运 动轨迹，从而获取前景区域的时域的相关性，即搜索相邻帧之间的对应关系。然后将时间域 内沿着光流方向的图像片序列作为第一运动区域簇来构建运动区域的第一时域马尔科夫 随机场模型。其中，时间域内沿着光流方向的图像片序列可以为预定时间间隔内的图像序 列的对应图像片作为一个第一运动区域簇。如图恥所示，对于构建相对静止区域的第一时域马尔科夫随机场模型，利用相邻 帧的背景区域基本不变的规律，在相对静止区域中的相邻帧之间通过图像匹配来搜索对应 区域，以该对应区域作为候选。然后根据对应区域中的图像序列的相邻帧之间的匹配结果 作为第一相对静止区域簇，以获得相邻帧之间的时本文档来自技高网...

【技术保护点】
一种利用时空马尔科夫随机场模型的视频超分辨方法，包括如下步骤：收集训练数据，根据所述训练数据构建第一马尔科夫随机场模型，学习所述第一马尔科夫随机场模型以获取先验约束，其中，所述训练数据为高分辨率视频图像；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据构建第二马尔科夫随机场模型，其中，所述测试视频为低分辨率视频；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随机场模型的参数进行优化，以对所述输入视频进行超分辨率运算。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，索津莉，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[]