一种实时图像超分补全方法及系统技术方案

本发明专利技术提出了一种实时图像超分补全方法及系统，涉及高度真实感渲染补全和超分技术领域，具体方案包括：获取当前帧的稀疏图像、双运动矢量、传统运动矢量、辅助特征和上一帧的高分辨率补全结果；基于当前帧的双运动矢量和上一帧的高分辨率补全结果，计算上一帧的扭曲重投影；基于当前帧的稀疏图像，对从上一帧的扭曲重投影中提取的历史帧特征进行重加权；将重加权后的历史帧特征、当前帧的稀疏图像及辅助特征拼接为一个张量，联合双运动矢量、传统运动矢量，输入到时空多尺度超分补全网络中，得到当前帧的高分辨率补全结果；本发明专利技术对获得的稀疏低分辨率图像进行实时的超分补全，获得高分辨率、完整、无伪影的高质量补全图像。无伪影的高质量补全图像。无伪影的高质量补全图像。

【技术实现步骤摘要】
一种实时图像超分补全方法及系统


[0001]本专利技术属于高度真实感渲染补全和超分
，尤其涉及一种实时图像超分补全方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]由于显示分辨率的提高和严格的帧率限制，在虚拟现实头戴设备中进行实时真实感渲染依然具有很大挑战性；注视点渲染(Foveated rendering)可以通过自适应分辨率、几何简化、着色简化等技术，根据注视点调整图像的渲染质量，在注视区域保持高质量渲染，而在注视的边缘区域降低图像质量；该技术在视觉质量没有明显损失的情况下，显著节省了计算量并提高了渲染速度。
[0004]近年来，一些基于注视点渲染的图像补全方法被提出，它们基于注视点信息对图像进行稀疏渲染，从每一帧稀疏图像提供的一小部分像素中重建出合理的外围区域；而目前的图像补全方法普遍采用直接预测，将神经网络的最后一层直接转化为图像作为输出结果，然而问题的无约束性和复杂性使优化变得困难，训练过程中计算随机梯度的方差可能很大，导致减慢收敛速度，难以获得较好结果。另外，大多数超分辨率方法在引入历史帧信息以供时间域重用时，不可避免地会导致帧间闪烁，这是因为对于运动遮挡区域，随着运动物体的移动，上一帧被遮挡而在这一帧刚刚出现的背景区域，传统的运动矢量总是指向上一帧的运动前景物体，导致了时间信息不可重用，出现严重的拖尾(ghosting)现象。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种实时图像超分补全方法及系统，对获得的稀疏低分辨率图像进行实时的超分补全，获得高分辨率、完整、无伪影的高质量补全图像。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]本专利技术第一方面提供了一种实时图像超分补全方法。
[0008]一种实时图像超分补全方法，包括：
[0009]获取当前帧的稀疏图像、双运动矢量、传统运动矢量、辅助特征和上一帧的高分辨率补全结果；
[0010]基于当前帧的双运动矢量和上一帧的高分辨率补全结果，计算上一帧的扭曲重投影；
[0011]基于当前帧的稀疏图像，对从上一帧的扭曲重投影中提取的历史帧特征进行重加权；
[0012]将重加权后的历史帧特征、当前帧的稀疏图像及辅助特征拼接为一个张量，联合双运动矢量、传统运动矢量，输入到时空多尺度超分补全网络中，得到当前帧的高分辨率补
全结果；
[0013]其中，所述时空多尺度超分补全网络，计算时空多尺度的逐像素核权重和混合权重，应用生成的运动蒙版，作用于不同尺度当前帧的稀疏图像和上一帧的扭曲重投影，输出高分辨率、完整、无伪影的补全图像。
[0014]进一步的，所述双运动矢量，表示为(m
x
，m
y
)，m
x
和m
y
分别为当前帧中的像素点相对于上一帧在x轴和y轴方向上的偏移；
[0015]所述辅助特征包括当前帧的反照率、深度和法向。
[0016]进一步的，所述计算上一帧的扭曲重投影，具体方法为：
[0017]创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；
[0018]使用所述像素坐标映射关系，将所述上一帧的高分辨率补全结果与当前帧快速对齐，获得上一帧的扭曲重投影。
[0019]进一步的，所述重加权，具体为：
[0020]将历史帧特征与当前帧的深度信息拼接为一个张量；
[0021]基于所述张量，计算上一帧的扭曲重投影的每像素权重，并应用于历史帧特征，得到重加权后的历史帧特征。
[0022]进一步的，所述时空多尺度超分补全网络，包括核预测网络、运动蒙版生成模块和时空多尺度混合网络；
[0023]所述逐像素核权重包括逐像素空间核和逐像素时间核；
[0024]所述混合权重包括时间混合权重和层间混合权重。
[0025]进一步的，所述核预测网络，基于输入的张量，计算逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
[0026]所述运动蒙版生成模块，基于当前帧的双运动矢量和传统运动矢量，计算当前帧的伪影区域，并将其二值化以获得运动蒙版；
[0027]所述时空多尺度混合网络，将所述逐像素空间核应用于当前帧的稀疏图像，并使用所述层间混合权重加权求和，获得空间多尺度混合结果；将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用基于蒙版的时间混合权重，将所述空间多尺度混合结果和所述时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的高分辨率补全结果。
[0028]进一步的，所述时空多尺度超分补全网络的损失函数由空间损失、时间损失、感知损失和SSIM损失组成。
[0029]本专利技术第二方面提供了一种实时图像超分补全系统。
[0030]一种实时图像超分补全系统，包括数据获取模块、扭曲重投影模块、特征加权模块和超分补全模块：
[0031]数据获取模块，被配置为：获取当前帧的稀疏图像、双运动矢量、传统运动矢量、辅助特征和上一帧的高分辨率补全结果；
[0032]扭曲重投影模块，被配置为：基于当前帧的双运动矢量和上一帧的高分辨率补全结果，计算上一帧的扭曲重投影；
[0033]特征加权模块，被配置为：基于当前帧的稀疏图像，对从上一帧的扭曲重投影中提
取的历史帧特征进行重加权；
[0034]超分补全模块，被配置为：将重加权后的历史帧特征、当前帧的稀疏图像及辅助特征拼接为一个张量，联合双运动矢量、传统运动矢量，输入到时空多尺度超分补全网络中，得到当前帧的高分辨率补全结果；
[0035]其中，所述时空多尺度超分补全网络，计算时空多尺度的逐像素核权重和混合权重，应用生成的运动蒙版，作用于不同尺度当前帧的稀疏图像和上一帧的扭曲重投影，输出高分辨率、完整、无伪影的补全图像。
[0036]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种实时图像超分补全方法中的步骤。
[0037]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种实时图像超分补全方法中的步骤。
[0038]以上一个或多个技术方案存在以下有益效果：
[0039]本专利技术提供了一种实时稀疏图像补全和超分的方法，能够同时对输入稀疏图像进行实时的补全和超分，在视觉质量没有明显下降的情况下大幅减少了渲染计算量。
[0040]本专利技术使用了时空多尺度核预测架构，其将逐像素空间核应用于多尺度补全图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，在时间重投影阶段使用双运动矢量的方法，获得合理的上一帧扭曲重投影图像，并将逐像素时间核应用于上一帧的扭曲本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时图像超分补全方法，其特征在于，包括：获取当前帧的稀疏图像、双运动矢量、传统运动矢量、辅助特征和上一帧的高分辨率补全结果；基于当前帧的双运动矢量和上一帧的高分辨率补全结果，计算上一帧的扭曲重投影；基于当前帧的稀疏图像，对从上一帧的扭曲重投影中提取的历史帧特征进行重加权；将重加权后的历史帧特征、当前帧的稀疏图像及辅助特征拼接为一个张量，联合双运动矢量、传统运动矢量，输入到时空多尺度超分补全网络中，得到当前帧的高分辨率补全结果；其中，所述时空多尺度超分补全网络，计算时空多尺度的逐像素核权重和混合权重，应用生成的运动蒙版，作用于不同尺度当前帧的稀疏图像和上一帧的扭曲重投影，输出高分辨率、完整、无伪影的补全图像。2.如权利要求1所述的一种实时图像超分补全方法，其特征在于，所述双运动矢量，表示为(m
x
，m
y
)，m
x
和m
y
分别为当前帧中的像素点相对于上一帧在x轴和y轴方向上的偏移；所述辅助特征包括当前帧的反照率、深度和法向。3.如权利要求1所述的一种实时图像超分补全方法，其特征在于，所述计算上一帧的扭曲重投影，具体方法为：创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；使用所述像素坐标映射关系，将所述上一帧的高分辨率补全结果与当前帧快速对齐，获得上一帧的扭曲重投影。4.如权利要求1所述的一种实时图像超分补全方法，其特征在于，所述重加权，具体为：将历史帧特征与当前帧的深度信息拼接为一个张量；基于所述张量，计算上一帧的扭曲重投影的每像素权重，并应用于历史帧特征，得到重加权后的历史帧特征。5.如权利要求1所述的一种实时图像超分补全方法，其特征在于，所述时空多尺度超分补全网络，包括核预测网络、运动蒙版生成模块和时空多尺度混合网络；所述逐像素核权重包括逐像素空间核和逐像素时间核；所述混合权重包括时间混合权重和层间混合权重。6.如权利要求5所述的一种实时图像超分补全方法，其特征在于，所述核预测网络，基于输入的张量，计算逐像素空间核、逐像素时间核、...

【专利技术属性】
技术研发人员：王璐，李英群，徐延宁，王高源，胡啸，秦学英，孟祥旭，
申请(专利权)人：山东大学，
类型：发明
国别省市：