本公开涉及等量矩形图像的立体对中的准确光流估计。论述了与等量矩形图像的光流估计有关的技术。这种技术包括组合利用输入的一对等量矩形图像生成的光流图谱和利用变换后的一对等量矩形图像生成的光流图谱，其中变换后的对相对于输入对被旋转以将输入对中的极地区域移动到变换后的对中的中心区域。区域移动到变换后的对中的中心区域。区域移动到变换后的对中的中心区域。
【技术实现步骤摘要】
等量矩形图像的立体对中的准确光流估计
[0001]本公开涉及等量矩形图像的立体对中的准确光流估计。
技术介绍
[0002]人们对等量矩形图像(即，等量矩形投影(equirectangular projection，ERP)图像)对之间的光流估计越来越感兴趣，因为等量矩形图像提供了场景的宽阔视野，同时不受通常存在于鱼眼图像中的大镜头畸变的影响。例如，等量矩形图像被用于各种各样的应用中，例如生成用于沉浸式观看体验的内容、人工现实(artificial reality，AR)应用、虚拟现实(virtual reality，VR)应用，等等。ERP图像的立体对之间的准确光流估计是至关重要的，因为它对这种应用的质量有直接影响。然而，由于若干个因素，包括等量矩形图像中的图像失真，等量矩形图像中的光流估计的任务是具有挑战性的。
[0003]当前，ERP图像中的光流估计包括通过改变卷积核的采样位置来将卷积神经网络(convolutional neural network，CNN)操作从常规图像域采用到球体表面，沿着组合3D编码器解码器块将特征图谱直接投影到预定的全局球体上以使用全局情境来计算和规范匹配成本，以及应用CNN的体系结构的各种组合来估计像素位移，这取决于具有全向相机几何结构的图像区域。然而，这些技术并没有解决ERP中的匹配准确性的损失。其他的工作包括实施立体ERP对之间的极线约束作为后期处理步骤，这要求接近其实际匹配的点对应，并且不能够纠正远离其实际匹配的点。
[0004]因此，一直需要对整个ERP图像的光流图谱(optical flow map)的准确估计，避免光流图谱中的伪影。正是考虑到这些和其他考虑事项，所以需要本改进。随着在等量矩形图像中提供光流结果的愿望变得更普遍，这种改进可变得关键。
技术实现思路
[0005]根据本公开的一个实施例，提供了一种系统，包括：存储器，用于存储输入对等量矩形图像的至少一部分；以及一个或多个处理器，与所述存储器耦合，所述一个或多个处理器用于：估计所述输入对等量矩形图像之间的光流以生成第一光流图谱；将所述输入对等量矩形图像中的极地区域投影到第二对等量矩形图像中的中心区域；估计所述第二对等量矩形图像之间的光流以生成第二光流图谱；以及组合所述第一光流图谱和第二光流图谱的区域以为所述输入对等量矩形图像生成结果光流图谱。
[0006]根据本公开的另一个实施例，提供了一种用于估计等量矩形图像对的光流的方法，包括：估计输入对等量矩形图像之间的光流以生成第一光流图谱；将所述输入对等量矩形图像中的极地区域投影到第二对等量矩形图像中的中心区域；估计所述第二对等量矩形图像之间的光流以生成第二光流图谱；以及组合所述第一光流图谱和第二光流图谱的区域以为所述输入对等量矩形图像生成结果光流图谱。
[0007]根据本公开的另一个实施例，提供了一种设备，包括：存储器；以及一个或多个处理器，与所述存储器耦合，所述处理器执行上述方法。
[0008]根据本公开的另一个实施例，提供了至少一个机器可读介质，包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备执行上述方法。
[0009]根据本公开的另一个实施例，提供了一种系统，包括：用于执行上述方法的装置。
附图说明
[0010]在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示出对应的或相似的元素。在附图中：
[0011]图1图示了一种示例系统，用于基于使用输入对和重投影的输入对的多重光流处理，为等量矩形图像的输入对生成光流图谱；
[0012]图2图示了代表示例场景的示例等量矩形图像的示例输入对；
[0013]图3图示了利用图2的等量矩形图像的输入对获得的示例光流图谱；
[0014]图4图示了示例世界坐标系和等量矩形图像的示例几何变换；
[0015]图5图示了基于图2的示例等量矩形图像的示例输入对的几何变换获得的示例变换后等量矩形图像的示例变换对；
[0016]图6图示了利用图5的示例变换后等量矩形图像获得的变换几何结构中的示例光流图谱；
[0017]图7图示了利用图5的示例变换后等量矩形图像在变换到图2的示例输入等量矩形图像的几何结构之后生成的示例光流图谱；
[0018]图8图示了图2的等量矩形图像的示例输入对的示例结果光流图谱；
[0019]图9图示了用于为等量矩形图像对估计光流的示范性过程，包括基于可用计算资源的自适应处理；
[0020]图10是图示出用于为等量矩形图像对估计光流的示例过程的流程图；
[0021]图11是用于为等量矩形图像对估计光流的示例系统的说明图；
[0022]图12是示例系统的说明图；并且
[0023]图13图示了全都根据本公开的至少一些实现方式布置的示例设备。
具体实施方式
[0024]现在参考附图描述一个或多个实施例或实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可被用在与本文所述不同的各种其他系统和应用中。
[0025]虽然接下来的描述阐述了可在诸如片上系统(system
‑
on
‑
a
‑
chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(integrated circuit，IC)芯片和/或封装的各种体系结构，和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(consumer electronic，CE)设备，可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述
许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但可在没有这种具体细节的情况下实现要求保护的主题。在其他情况中，可能没有详细示出一些素材，例如控制结构和完整软件指令序列，以免模糊本文公开的素材。
[0026]可以用硬件、固件、软件或者其任何组合来实现本文公开的素材。本文公开的素材也可被实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可包括只读存储器(read only memory，ROM)；随机访问存储器(random access memory，RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种系统，包括：存储器，用于存储输入对等量矩形图像的至少一部分；以及一个或多个处理器，与所述存储器耦合，所述一个或多个处理器用于：估计所述输入对等量矩形图像之间的光流以生成第一光流图谱；将所述输入对等量矩形图像中的极地区域投影到第二对等量矩形图像中的中心区域；估计所述第二对等量矩形图像之间的光流以生成第二光流图谱；以及组合所述第一光流图谱和第二光流图谱的区域以为所述输入对等量矩形图像生成结果光流图谱。2.如权利要求1所述的系统，其中，所述一个或多个处理器将所述输入对等量矩形图像中的极地区域投影到所述第二对等量矩形图像的中心区域包括所述一个或多个处理器：将来自所述输入对等量矩形图像的每一者的点投影到世界坐标系中的点；在所述世界坐标系中应用旋转参数；以及将经旋转的点重投影到所述第二对等量矩形图像的点。3.如权利要求2所述的系统，其中，所述一个或多个处理器在所述世界坐标系中应用所述旋转参数包括：将与所述输入对等量矩形图像中的极地区域的边缘相对应的顶部或底部图像边界上的位置平移到所述第二对等量矩形图像的水平中心线。4.如权利要求3所述的系统，其中，所述一个或多个处理器在所述世界坐标系中应用所述旋转参数包括：所述一个或多个处理器在所述世界坐标系中相对于所述世界坐标系中的轴来应用90
°
旋转。5.如权利要求1至4中任一项所述的系统，其中，所述一个或多个处理器将所述输入对等量矩形图像中的极地区域投影到所述第二对等量矩形图像的中心区域包括：在与所述输入对等量矩形图像和所述第二对等量矩形图像相对应的世界坐标系中的旋转，并且所述一个或多个处理器组合所述第一光流图谱和第二光流图谱的区域包括：将相对于所述旋转的逆旋转应用到所述第二光流图谱。6.如权利要求5所述的系统，其中，所述结果光流图谱包括来自所述第一光流图谱的中心水平条带和从所述第二光流图谱重投影的顶部和底部水平条带。7.如权利要求6所述的系统，其中，所述顶部水平条带的高度包括不小于所述结果光流图谱的总高度的15％。8.如权利要求1至4中任一项所述的系统，所述一个或多个处理器用于：将所述输入对等量矩形图像中的第二极地区域投影到第三对等量矩形图像中的中心区域；以及估计所述第三对等量矩形图像之间的光流以生成第三光流图谱，其中所述输入对等量矩形图像的结果光流图谱包括所述第一光流图谱、第二光流图谱和第三光流图谱的组合。9.如权利要求1至4中任一项所述的系统，所述一个或多个处理器用于：接收用于处理接收的一对等量矩形图像的可用计算资源的指标；以及响应于所述指标与阈值比较起来不利，在所述估计所述第二对等量矩形图像之间的光流之前，对所述第二对等量矩形图像进行降采样。10.如权利要求1至4中任一项所述的系统，其中，所述一个或多个处理器估计所述输入对等量矩形图像之间的光流或者所述第二对等量矩形图像之间的光流包括：应用卷积神经
网络。11.一种用于为等量矩形图像对估计光流的方法，包括：估计输...
【专利技术属性】
技术研发人员：尼卢法尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。