【技术实现步骤摘要】
【国外来华专利技术】
本申请总体上涉及数据处理技术，包括但不限于用于在扩展现实应用中的同时定位与地图构建(slam)中，从图像数据中确定深度信息的方法、系统和非暂时性计算机可读介质。
技术介绍
1、对于需要在物理环境中为虚拟对象创建遮挡和碰撞效果，并生成环境的密集网格地图的增强现实(ar)应用而言，从单目移动相机中进行深度图像估计是必要的。一些现有的解决方案基于极性校正和立体匹配，并使用来自slam算法的姿态信息。采用基于像素的三角测量算法来生成深度信息，但这种算法不能适用于任意的相机姿态配置，而且可能会在深度估计中引入额外的计算负担和噪声。一些其他解决方案使用稀疏特征点进行密集深度估计，以达到实时渲染的目的。尽管计算速度很快，但这种密集深度估计为生成的深度图像提供的分辨率有限，尤其是当稀疏点的数量不够多时。上述提到的一些解决方案试图用端到端神经网络取代基于slam的深度估计模块，然而，基于slam的模块仍然比需要在大量测试数据集上进行训练的神经网络提供更好的深度估计。如果能有一种深度估计机制，以快速、准确、高效的方式基于图像数据确定深度信息，用于扩展现实应用(例如，ar用户应用程序)，那将是有益的。
技术实现思路
1、本申请的各种实施例旨在确定在扩展现实应用中为slam而捕获的图像相对应的深度图像或深度图。当前图像上的每个当前像素与相应参考图像上的一个参考像素相对应。所述当前图像的极线是根据所述当前图像上捕获到的当前像素位置和参考相机位置确定的。所述参考图像的极线是根据所述参考图像上捕获到的对应的参考
2、在一个方面，在具有一个或多个处理器和存储器的电子设备上实现了一种方法。所述方法包括获取由具有当前相机姿态的相机拍摄的当前图像和由具有参考相机姿态的所述相机拍摄的参考图像，所述当前图像的至少一个子集中的每个当前像素在所述当前图像中具有当前像素位置，并对应于所述参考图像中相应的参考像素。所述方法进一步包括对于所述当前图像的所述子集中的每个当前像素：获取所述当前像素的多个像素转换参数；确定所述当前图像的所述当前像素和当前极点之间的当前距离以及所述参考图像的相应的参考像素和参考极点之间的参考距离之间的视差；以及根据多个像素转换参数，从所述当前距离和所述参考距离的视差中确定所述当前像素的深度值。所述方法进一步包括创建与所述当前图像相对应的深度图，所述深度图包括所述当前图像的所述子集中每个当前像素的深度值。
3、在一些实施例中，所述方法包括根据所述参考相机姿态、所述当前相机姿态、相机内参矩阵和所述当前图像中的极点位置，创建将多个像素位置与多个所述像素转换参数相关联的查找表；其中，获取所述当前像素的多个像素转换参数进一步包括：检查查找表，以识别与所述当前像素对应的多个像素转换参数。此外，在一些实施例中，对于所述当前图像的所述子集中的每个像素，所述查找表包括以下一个或多个：所述当前图像的所述当前像素与所述当前极点之间的所述当前距离、所述参考图像中极线的倾斜角度信息、所述当前距离与所述参考距离之间的所述视差的视差范围，以及多个所述像素转换参数。
4、在另一方面，一些实施例包括一种电子设备，所述电子设备包括一个或多个处理器；以及存储器，其上存储有指令，当所述指令被一个或多个处理器执行时，所述处理器执行上述任一项所述的方法。
5、在另一方面，一些实施例包括一种非临时性计算机可读介质，其上存储有指令，当指令被一个或多个处理器执行时，所述处理器执行上述任一项所述的方法。
6、在一些情况下，提出了一种名为deepvideomvs的神经网络，用于从单目相机的视频中估计深度图。所述神经网络应用平面扫描方法构建3d代价体积，以训练一个u型网络直接估计深度图。基于查找表的方法用来替代了平面扫描代价体积构建步骤。查找表中包含了极线几何信息，代价体积的反深度维度被视差维度所取代，这可以直接反映像素在图像中的准确位置，并避免神经网络学习已经在查找表中给出的极线几何信息。这种替代可以提高使用名为deepvideomvs的神经网络的方法的准确性。
7、这些示例性的实施例和具体实施方式的提及并非为了限制或定义本申请内容，而是为了提供示例以帮助理解本申请内容。在详细描述中讨论了其他的实施例，并提供了进一步的说明。
本文档来自技高网...【技术保护点】
1.一种深度映射的方法，在具有一个或多个处理器和存储器的电子设备上实现，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，其特征在于，对于所述当前图像的所述子集中的每个像素，所述查找表包括以下一个或多个：所述当前图像的所述当前像素和所述当前极点之间的所述当前距离、所述参考图像中极线的倾斜角度信息、所述当前距离与所述参考距离之间的所述视差的视差范围，以及多个所述像素转换参数。
4.根据前述任一权利要求的方法，还包括：根据参考选择标准从多个候选图像中选择所述参考图像。
5.根据权利要求3所述的方法，其特征在于，所述参考选择标准要求满足至少一个条件：
6.根据权利要求3或4所述的方法，其特征在于，所述参考选择标准定义了方位角度阈值，所述参考图像的选择进一步包括：
7.根据权利要求3-5中任一项所述的方法，其特征在于，所述参考选择标准定义了特征点数量范围，所述参考图像的选择进一步包括：
8.根据权利要求3-6中任一项所述的方法，其特征在于，所述参考选择标准定义了姿态误差阈值，所
9.根据前述任一权利要求所述的方法，所述确定所述当前像素的深度值还包括：
10.根据前述任一权利要求中所述的方法，其特征在于，为所述当前图像的每个当前像素确定所述当前距离和所述参考距离的视差进一步包括：
11.根据权利要求10所述的方法，还包括
12.根据权利要求11所述的方法，进一步包括：
13.根据权利要求10所述的方法，还包括通过以下方式估计所述当前图像的所述视差范围：
14.一种电子设备，包括：
15.一种非临时性计算机可读介质，其上存储有指令，当指令被一个或多个处理器执行时，所述处理器执行权利要求1-13中任一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种深度映射的方法，在具有一个或多个处理器和存储器的电子设备上实现，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，其特征在于，对于所述当前图像的所述子集中的每个像素，所述查找表包括以下一个或多个：所述当前图像的所述当前像素和所述当前极点之间的所述当前距离、所述参考图像中极线的倾斜角度信息、所述当前距离与所述参考距离之间的所述视差的视差范围，以及多个所述像素转换参数。
4.根据前述任一权利要求的方法，还包括：根据参考选择标准从多个候选图像中选择所述参考图像。
5.根据权利要求3所述的方法，其特征在于，所述参考选择标准要求满足至少一个条件：
6.根据权利要求3或4所述的方法，其特征在于，所述参考选择标准定义了方位角度阈值，所述参考图像的选择进一步包括：
7.根据权利要求3-5中任一项所述的方法，其特征在于，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。