用于沉浸式视觉体验的相机视图之间的虚拟视图内插制造技术

本申请涉及用于沉浸式视觉体验的相机视图之间的虚拟视图内插。讨论了与从已知输入图像的位置之间的一位置生成场景的虚拟视图以供呈现给观看者有关的技术。此类技术包括将卷积模板应用于虚拟中间梯度图像以为所述位置生成最终虚拟图像，所述卷积模板近似至少表示所述输入图像中的梯度检测的水平卷积矩阵和垂直卷积矩阵的线性组合的逆，所述虚拟中间梯度图像是至少所述位置处的内插虚拟图像、所述位置处的内插水平梯度图和所述位置处的内插垂直梯度图的组合。

【技术实现步骤摘要】
用于沉浸式视觉体验的相机视图之间的虚拟视图内插
本申请总地涉及图像处理的领域，更具体地涉及用于沉浸式视觉体验的相机视图之间的虚拟视图内插。
技术介绍
诸如两个或更多个线状或栅格排列的相机之类的相机的阵列在诸如平板设备、智能电话设备、膝上型设备、显示设备、网真系统(telepresencesystem)和电影摄制和视频制作系统之类的多种设备实现中正变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机位置之间的中间虚拟视图被生成并被提供给用户以便显示。持续目标是在所捕获的相机视图之间的位置处高效地并以最小视觉伪像来渲染逼真的虚拟图像。用于从多个相机图像渲染虚拟视图的当前技术包括根据图像对场景进行体积3D重建以及使用3D图形渲染技术来渲染虚拟视图。然而，3D重建是计算上昂贵的且容易出错，从而在所渲染的图像中产生视觉伪像。基于图像的渲染(IBR)技术避免3D几何的显式重建并且替代地根据所捕获的图像直接地渲染虚拟视图。例如，IBR内插可以使用两个图像及其像素对应图(correspondencemap)来使图像翘曲到期望位置。此类技术假定可用于计算机生成的图像的标准真值对应图、视差图(disparitymap)或光流(opticalflow)、以及虚拟视图与原始图像的较小偏移。然而，在有噪声的视差图和较大的相机偏移导致不希望的图像伪像的现实生活场景中常常不满足此类假设。因此，现有技术尤其在现实生活应用中具有关于计算困难和图像伪像的缺点。改进合成中间图像的视图以得到增强的用户体验可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在相机阵列实现和其他情境中显示这种图像或视频的愿望变得更加普遍，这种改进可能变得关键。
技术实现思路
根据本申请的一方面，提供了一种用于生成场景的虚拟视图的设备，所述设备包括：存储器，所述存储器用于存储第一输入图像和第二输入图像；以及耦合到所述存储器的处理器，所述处理器用于：使用所述第一输入图像和所述第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；并且提供所述最终虚拟图像以呈现给观看者。根据本申请的另一方面，提供了一种用于生成场景的虚拟视图的方法，所述方法包括：使用第一输入图像和第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；以及提供所述最终虚拟图像以呈现给观看者。根据本申请的另一方面，提供了包括多个指令的至少一种机器可读介质，所述多个指令响应于在计算设备上被执行而使所述计算设备执行上述方法。根据本申请的另一方面，提供了一种设备，包括用于执行上述方法的装置。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：图1图示用于生成场景的虚拟视图的示例设备；图2图示示例左图像和右图像；图3图示左图像与右图像之间的示例对应图；图4图示具有遮挡(occlusion)的示例翘曲(wraped)图像；图5图示遮挡被填充但留下孔的示例填充翘曲图像；图6图示具有完全填充像素的示例改良(refined)翘曲图像；图7图示示例虚拟视图混合模块；图8图示示例卷积模板(convolutionmask)和使用可分离滤波器的总和的卷积模板的示例近似；图9图示用于对示例虚拟梯度图像应用示例可分离卷积模板的示例系统；图10是图示用于生成场景的虚拟视图的示例过程的流程图；图11是用于生成场景的虚拟视图的示例系统的说明性图；图12是示例系统的说明性图；以及图13图示全部根据本公开的至少一些实现方式布置的示例设备。具体实施方式现在参考附图描述一个或多个实施例或实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的多种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(system-on-a-chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种体系结构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况下，可能没有详细示出一些素材，例如控制结构和完整软件指令序列，以免模糊本文公开的素材。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(readonlymemory，ROM)；随机访问存储器(randomaccessmemory，RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性，但可本文档来自技高网...

【技术保护点】
1.一种用于生成场景的虚拟视图的设备，所述设备包括：/n存储器，所述存储器用于存储第一输入图像和第二输入图像；以及/n耦合到所述存储器的处理器，所述处理器用于：/n使用所述第一输入图像和所述第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；/n基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；/n确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；/n将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；并且/n提供所述最终虚拟图像以呈现给观看者。/n

【技术特征摘要】
20190326 US 16/365,5391.一种用于生成场景的虚拟视图的设备，所述设备包括：
存储器，所述存储器用于存储第一输入图像和第二输入图像；以及
耦合到所述存储器的处理器，所述处理器用于：
使用所述第一输入图像和所述第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；
基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；
确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；
将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；并且
提供所述最终虚拟图像以呈现给观看者。


2.根据权利要求1所述的设备，其中，所述水平卷积矩阵和所述垂直卷积矩阵的线性组合包括以下二者之和：所述水平卷积矩阵的转置和所述水平卷积矩阵的乘积、所述垂直卷积矩阵的转置和所述垂直卷积矩阵的乘积。


3.根据权利要求2所述的设备，其中，所述线性组合进一步包括加权因子和单位矩阵的乘积，其中，所述加权因子相对于所述最终虚拟图像的水平梯度和垂直梯度与所述水平梯度图和所述垂直梯度图的相似性而对所述最终虚拟图像与所述第一虚拟图像的相似性进行加权。


4.根据权利要求1至3中任一项所述的设备，其中，所述虚拟中间梯度图像包括以下二者之和：所述水平梯度图与所述水平卷积矩阵的转置的卷积、所述垂直梯度图与所述垂直卷积矩阵的转置的卷积。


5.根据权利要求4所述的设备，其中，所述虚拟中间梯度图像进一步包括加权因子和所述第一虚拟图像的乘积，其中，所述加权因子相对于所述最终虚拟图像的水平梯度和垂直梯度与所述水平梯度图和所述垂直梯度图的相似性而对所述最终虚拟图像与所述第一虚拟图像的相似性进行加权。


6.根据权利要求1所述的设备，其中，所述水平卷积矩阵和所述垂直卷积矩阵的线性组合包括以下二者之和：所述水平卷积矩阵的转置和所述水平卷积矩阵的乘积、所述垂直卷积矩阵的转置和所述垂直卷积矩阵的乘积，并且其中，所述虚拟中间梯度图像包括以下各项之和：所述水平梯度图与所述水平卷积矩阵的转置的卷积、所述垂直梯度图与所述垂直卷积矩阵的转置的卷积、以及加权因子和所述第一虚拟图像的乘积。


7.根据权利要求1至3中任一项所述的设备，其中，所述卷积模板包括滤波器模板，所述滤波器模板具有的尺寸不少于15x15个滤波器权重。


8.根据权利要求1至3中任一项所述的设备，其中，所述卷积模板包括至少第一可分离滤波器和第二可分离滤波器，并且所述处理器应用所述卷积模板包括所述处理器进行以下操作：
将所述第一可分离滤波器应用于所述虚拟梯度图像，以生成所得到的第一经滤波梯度图像；
将所述第二可分离滤波器应用于所述虚拟梯度图像，以生成所得到的第二经滤波梯度图像；并且
对所述第一经滤波梯度图像和所述第二经滤波梯度图像求和，以生成所述最终虚拟图像。


9.根据权利要求1所述的设备，其中，所述虚拟中间梯度图像包括宽度W和高度H，其中，所述卷积模板包括可分离为具有宽度M的水平滤波器和具有高度H的垂直滤波器的可分离2D滤波器模板，并且其中，所述处理器应用所述卷积模板包括所述处理器进行如下操作：
跨时间实例，顺序地将所述虚拟中间梯度图像的第一行的仅M个像素缓存到移位寄存器，并且经由行滤波器将所述水平滤波器应用于所述M个像素以生成针对所述第一行的经水平滤波像素值的序列；
将针对所述第一行的经水平滤波像素值的序列存储到N-1个存储器模块中的一个存储器模块，所述N-1个存储器模块各自被配置为存储所述虚拟中间梯度图像的一整行W个经滤波像素值；以及
响应于所述N-1个存储器模块中的每一个均具有一行经滤波像素值，从所述N-1个存储器模块中的每一个中检索一个经水平滤波像素值并从所述行滤波器中检索一个经水平滤波像素值，并且将所述垂直滤波器应用于N个经水平滤波像素以生成经卷积模板滤波的像素值。


10.根据权利要求9所述的设备，所述处理器进一步用于：
跨另外的时间实例顺序地将所述虚拟梯度图像的第二至第N行的仅M个像素缓存到所述移位寄存器，并且应用所述水平滤波器以生成针对所述第二至第N行的经水平滤波像素值的序列；
将针对第二至N-1行的经水平滤波像素值的序列存储到所述N-1个存储器模块中的对应存储器模块；以及
从所述N-1个存储器模块中检索第一至N-1个序列中的每个序列的一个经水平滤波像素值并从所述行滤波器中检索第N个序列的一个经水平滤波像素值，并且将所述垂直滤波器应用于N个检索到的经水平滤波像素值以生成第二经卷积模板滤波的像素值。


11.根据权利要求10所述的设备，其中，所述处理器存储经水平滤波像素值的序列包括：所述处理器将针对所述第一行的经水平滤波像素值的序列移动到所述N-1个存储器模块中的每一个存储器模块。


12.根据权利要求1至3中任一项所述的设备，其中...

【专利技术属性】
技术研发人员：弗拉丹·波波维奇，张帆，奥斯卡·内斯塔雷斯，卡帕娜·塞沙德里纳坦，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US