用于确定像素对应的可学习代价体制造技术

一种方法，包括获得与第一图像相关联的第一多个特征向量和与第二图像相关联的第二多个特征向量。方法还包括由被训练为定义椭圆内积空间的核矩阵通过变换第一多个特征向量的每个相应特征向量来生成多个变换特征向量。方法还包括通过为多个变换特征向量中的每个相应变换特征向量确定多个内积来生成代价体，其中多个内积的每个相应内积在相应变换特征向量和第二多个特征向量的对应子集的对应候选特征向量之间。方法还包括基于代价体确定第一图像和第二图像之间的像素对应。图像和第二图像之间的像素对应。图像和第二图像之间的像素对应。

【技术实现步骤摘要】
【国外来华专利技术】用于确定像素对应的可学习代价体


技术介绍

[0001]两个图像之间的像素对应可以指示第一图像中的像素如何与第二图像中的像素相关。第一图像和第二图像可以在不同的时间和/或从不同的视角捕获，并且因此可以提供环境的不同表示。相互映射的一对像素可表示环境的相同部分，从而指示环境部分相对于相机随时间和/或由于图像的不同视角而产生的明显位移。像素对应可以为多个不同的应用确定以及在多个不同的应用中使用。在一个示例中，可以将在不同时间捕获的两个图像之间的像素对应确定为光流计算的一部分。在另一示例中，两个同时捕获的图像之间的像素对应可以被确定为立体视差计算的一部分。

技术实现思路

[0002]可以基于与第一图像的像素相关联的特征向量和与第二图像的像素相关联的特征向量的比较来确定两个图像之间的像素对应。特征向量的这种比较可以生成代价体，该代价体对于每一对被比较像素指示该对像素之间的相似性。两个像素之间的相似性可以通过与两个像素相关联的特征向量之间的内积来量化。然而，与其使用欧几里德内积，可以使用学习/训练的椭圆内积来生成代价体。具体地，该对像素的第一特征向量可以由学习/训练的核矩阵进行变换，并且变换后的第一特征向量随后可以与该对像素的第二特征向量相乘。可以学习/训练核矩阵来定义椭圆内积空间。基于所学习/训练的椭圆内积生成的代价体随后可用于确定两个图像之间的像素对应。
[0003]在第一示例中，计算机实施的方法包括获得(i)与第一图像相关联的第一多个特征向量和(ii)与第二图像相关联的第二多个特征向量。计算机实施的方法还包括由训练成定义椭圆内积空间的核矩阵通过变换第一多个特征向量的每个相应特征向量来生成多个变换特征向量。计算机实施的方法还包括通过为多个变换特征向量中的每个变换特征向量确定多个内积来生成代价体。多个内积的每个内积可以在相应变换特征向量和第二多个特征向量的对应子集的对应候选特征向量之间。计算机实施的方法还包括基于代价体确定第一图像和第二图像之间的像素对应。
[0004]在第二示例中，系统包括处理器和非暂时性计算机可读存储介质，非暂时性计算机可读存储介质上存储有当由处理器执行时使处理器执行操作的指令。这些操作包括获得(i)与第一图像相关联的第一多个特征向量和(ii)与第二图像相关联的第二多个特征向量。操作还包括由训练成定义椭圆内积空间的核矩阵通过变换第一多个特征向量的每个相应特征向量来生成多个变换特征向量。操作还包括通过为多个变换特征向量的每个变换特征向量确定多个内积来生成代价体。多个内积的每个内积可以在相应变换特征向量和第二多个特征向量的对应子集的对应候选特征向量之间。这些操作还包括基于代价体确定第一图像和第二图像之间的像素对应。
[0005]在第三示例中，提供了非暂时性计算机可读存储介质，其上存储有当由计算系统
执行时使计算系统执行操作的指令。这些操作包括获得(i)与第一图像相关联的第一多个特征向量和(ii)与第二图像相关联的第二多个特征向量。操作还包括由训练成定义椭圆内积空间的核矩阵通过变换第一多个特征向量的每个相应特征向量来生成多个变换特征向量。操作还包括通过为多个变换特征向量的每个变换特征向量确定多个内积来生成代价体。多个内积的每个内积可以在相应变换特征向量和第二多个特征向量的对应子集的对应候选特征向量之间。这些操作还包括基于代价体确定第一图像和第二图像之间的像素对应。
[0006]在第四示例中，提供了系统，其包括用于获得(i)与第一图像相关联的第一多个特征向量和(ii)与第二图像相关联的第二多个特征向量的装置。系统还包括用于由训练成定义椭圆内积空间的核矩阵通过变换第一多个特征向量的每个相应特征向量来生成多个变换特征向量的装置。系统还包括用于通过为多个变换特征向量中的每个变换特征向量确定多个内积来生成代价体的装置。多个内积的每个内积可以在相应变换特征向量和第二多个特征向量的对应子集的对应候选特征向量之间。系统还包括用于基于代价体确定第一图像和第二图像之间的像素对应的装置。
[0007]以下一个或多个特征可应用于上述示例中的一个或每一个。
[0008]核矩阵可以是对称的并且正定的。
[0009]核矩阵可以基于(i)包括多个正对角线值的对角矩阵和(ii)正交矩阵的乘积来定义。
[0010]可以通过确定(i)对角矩阵的转置和正交矩阵之间的第一乘积，以及(ii)第一乘积和对角矩阵之间的第二乘积经由特征分解来定义核矩阵。
[0011]对角矩阵的多个正对角线值的每个正对角线值可以包括应用于第一多个特征向量的每个相应特征向量的对应维度的相应权重。正交矩阵可以被配置为对第一多个特征向量的每个相应特征向量应用旋转。
[0012]多个正对角线值中的每个相应正对角线值可以表示为相应训练参数的函数。函数可以将(i)分配给相应训练参数的实数值映射到(ii)正实数值。通过对每个相应正对角线值迭代地调整分配给对应训练参数的实数值来训练所述核矩阵以定义所述椭圆内积空间。
[0013]正交矩阵可以是特殊正交矩阵组的子集的元素。可以选择子集，使得该子集的矩阵的特征值排除负特征值。
[0014]子集的矩阵可以是连通的。正交矩阵可以使用克雷表示来表示为：(i)单位矩阵和训练矩阵之间的差，以及(ii)单位矩阵和训练矩阵之和的逆的乘积。训练矩阵可以是斜对称的。可以通过将训练矩阵初始化为单位矩阵并迭代调整训练矩阵的值来训练核矩阵以定义椭圆内积空间。
[0015]正交矩阵可以是包括多个方块正交矩阵的斯蒂费尔矩阵流形的元素。可以通过黎曼梯度下降来训练核矩阵以定义椭圆内积空间，黎曼梯度下降包括：确定从斯蒂费尔矩阵流形到正交矩阵处的切线空间的梯度投影，基于梯度投影来调整正交矩阵的值，以及将正交矩阵的缩回确定为调整进入斯蒂费尔矩阵。
[0016]第一多个特征向量的每个相应特征向量可以与第一图像的对应像素相关联。第二多个特征向量中的每个相应特征向量可以与第二图像的对应像素相关联。
[0017]对于与位于第一图像内的特定像素位置处的对应像素相关联的相应变换特征向
量，第二多个特征向量的对应子集可与位于第二图像内的包括特定像素位置的搜索窗口内的多个像素相关联。
[0018]第一图像和第二图像可以各自表示环境。确定第一图像和第二图像之间的像素对应可以包括基于代价体并且对于第一图像中的多个像素中的每个相应像素，确定第二图像中的被确定为表示与相应像素相同的环境部分的对应像素。
[0019]第一图像可以表示第一时间的环境。第二图像可以表示第二时间的环境。确定第一图像和第二图像之间的像素对应可以包括由一个或多个机器学习模型，基于代价体确定第一图像和第二图像之间的光流。
[0020]第一图像和第二图像可以是环境的立体图像。确定第一图像和第二图像之间的像素对应可以包括由一个或多个机器学习模型，基于代价体确定深度图像。
[0021]获取第一多个特征向量和第二多个特征向量可以包括由一个或多个机器学习模型处理第一图像来生成第一多个特征向量，以及由一个或多个机器学习模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，包括：获得(i)与第一图像相关联的第一多个特征向量和(ii)与第二图像相关联的第二多个特征向量；由被训练为定义椭圆内积空间的核矩阵通过变换所述第一多个特征向量的每个相应特征向量来生成多个变换特征向量；通过为所述多个变换特征向量中的每个相应变换特征向量确定多个内积来生成代价体，其中所述多个内积的每个相应内积在相应变换特征向量和所述第二多个特征向量的对应子集的对应候选特征向量之间；以及基于所述代价体确定所述第一图像和所述第二图像之间的像素对应。2.根据权利要求1所述的计算机实施的方法，其中所述核矩阵是对称的并且正定的。3.根据权利要求1
‑
2中任一权利要求所述的计算机实施的方法，其中所述核矩阵基于(i)包括多个正对角线值的对角矩阵和(ii)正交矩阵的乘积来定义。4.根据权利要求3所述的计算机实施的方法，其中所述核矩阵通过确定(i)所述对角矩阵的转置和所述正交矩阵之间的第一乘积，以及(ii)所述第一乘积和所述对角矩阵之间的第二乘积，经由特征分解来定义。5.根据权利要求3
‑
4中任一权利要求所述的计算机实施的方法，其中所述对角矩阵的所述多个正对角线值中的每个相应正对角线值包括应用于所述第一多个特征向量的每个相应特征向量的对应维度的相应权重，并且其中所述正交矩阵被配置为对所述第一多个特征向量的每个相应特征向量应用旋转。6.根据权利要求3
‑
5中任一权利要求所述的计算机实施的方法，其中所述多个正对角线值中的每个相应正对角线值表示为对应训练参数的函数，其中所述函数将(i)分配给对应训练参数的实数值映射到(ii)正实数值，并且其中通过对每个相应正对角线值迭代地调整分配给对应训练参数的实数值来训练所述核矩阵以定义所述椭圆内积空间。7.根据权利要求3
‑
6中任一权利要求所述的计算机实施的方法，其中所述正交矩阵是特殊正交矩阵组的子集的元素，其中所述子集被选择使得所述子集的矩阵的特征值排除负特征值。8.根据权利要求7所述的计算机实施的方法，其中所述子集的矩阵是连通的，其中所述正交矩阵被使用克雷表示表示为以下的乘积：(i)单位矩阵和训练矩阵之间的差，以及(ii)所述单位矩阵和所述训练矩阵之和的逆，其中所述训练矩阵是斜对称的，其中通过将所述训练矩阵初始化为所述单位矩阵并迭代地调整所述训练矩阵的值来训练所述核矩阵以定义所述椭圆内积空间。9.根据权利要求3
‑
6中任一权利要求所述的计算机实施的方法，其中所述正交矩阵是包括多个方块正交矩阵的斯蒂费尔矩阵流形的元素，并且其中所述核矩阵由黎曼梯度下降训练来定义所述椭圆内积空间，所述黎曼梯度下降包括：确定从所述斯蒂费尔矩阵流形到所述正交矩阵的切线空间的梯度投影；基于所述梯度投影调整所述正交矩阵的值；以及将所述正交矩阵的缩回确定为调整进入所述斯蒂费尔矩阵。10.根据权利要求1
‑
9中任一权利要求所述的计算机实施的方法，其中所述第一多个特征向量的每个相应特征向量与所述第一图像的对应像素相关联，其中所述第二多个特征向
量的每个相应特征向量与所述第二图像的对应像素相关联。11.根据权利要求10所述的计算机实施的方法，其中对于与位于所述第一图像内的特定像素位置处的对应像素相关联的相应变换特征向量，所述第二多个特征向量的对应子集与位于包括所述第二图像内的所述特定像素位置的搜索窗口内的多个像素相关联。12.根据权利要求1
‑
11中任一权利要求所述的计算机实施的方法，其中所述第一图像和所述第二图像各自表示环境，并且其中确定所述第一图像和所述第二图像之间的像素对应包括：基于所述代价体并对于所述第一图像中的多个像素中的每个相应像素，确定所述第二图像中的被确定为表示与所述相应像素相同的环境部分的对应像素。13.根据权利要求1
‑
12中任一权利要求所述的计算机实施的方法，其中所述第一图像表示第一时间的环境，其中所述第二图像表示第二时间的环境，并且其中确定所述第一图像和所述第二图像之间的像素对应包括：由一个或多个机器学习模型，基于所述代价体确定所述第一图像和所...

【专利技术属性】
技术研发人员：T肖，D孙，MH杨，Q王，J袁，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：