对图像的视觉数据进行自动化分析以确定建筑物楼层平面图上的图像采集位置制造技术

描述了用于使用计算装置来执行自动化操作以使用对图像视觉内容的分析用于确定图像的采集位置的技术。在至少一些情形中，要分析的图像包括在多房间建筑物的内部中的采集位置处采集的全景图像，并且所确定的采集位置信息包括建筑物的楼层平面图上的位置以及在一些实施方式中的取向方向信息。在至少一些这种情形中，执行采集位置确定，而无需具有或无需使用来自任何距离测量装置的与从图像采集位置到周围建筑物中的物体的距离有关的信息。可以以各种自动化方式使用采集位置信息，包括用于控制装置(例如，自主车辆)的导航，用于在一个或多个客户端装置上的对应的图形用户界面中显示等。中显示等。中显示等。

【技术实现步骤摘要】
对图像的视觉数据进行自动化分析以确定建筑物楼层平面图上的图像采集位置


[0001]以下公开总体上涉及用于基于对图像的视觉数据的分析相对于楼层平面图的分析来自动地确定建筑物楼层平面图上的图像的采集位置并且随后以一种或多种方式使用所确定的采集位置信息(以便使用图像的采集位置来改善建筑物的导航)的技术。

技术介绍

[0002]在各种领域和情况(诸如建筑分析、财产清查、不动产购置和开发、总承包、改造成本估算、自动化导航等)下，可能期望了解房屋、办公室或其他建筑物的内部而无需亲自前往并进入建筑物。然而，可能难以有效地捕获、表示和使用这种建筑物内部信息，包括向在远程位置处的用户显示在建筑物内部内捕获的视觉信息(例如，使得用户能够充分理解内部的布局和其他细节，包括以用户选择的方式控制显示)。另外，尽管建筑物的楼层平面图可以提供与建筑物内部的布局和其他细节有关的信息，但是这样使用楼层平面图具有一些缺点，包括楼层平面图可能难以建造和维护、难以精确地缩放和填充与房间内部有关的信息、难以可视化和以其他方式使用等。
附图说明
[0003]图1包括描绘了用于本公开的实施方式中的示例性建筑物内部环境和计算系统的图示，包括生成并呈现表示建筑物的内部的信息。
[0004]图2A至图2I说明了自动地分析与建筑物的楼层平面图有关的信息和自动地分析在建筑物的内部拍摄的视觉数据的示例，以便以自动地确定图像的采集位置并将其呈现在楼层平面图上。
[0005]图3是说明了适合于执行系统的实施方式的计算系统的框图，该系统执行本公开中所描述的技术中的至少一些。
[0006]图4A至图4B说明了根据本公开的实施方式的用于图像楼层平面图位置测绘管理器(IFPLMM)系统例程的流程图的示例实施方式。
[0007]图5说明了根据本公开的实施方式的用于建筑物地图查看器系统例程的流程图的示例实施方式。
具体实施方式
[0008]本公开描述了用于使用计算装置以执行与至少部分地基于对图像的视觉数据的分析和与对应的经分析的楼层平面图信息的比较来确定图像的采集位置有关的自动化操作并且随后以一种或多种进一步自动化的方式使用所确定的图像采集位置信息的技术。在至少一些实施方式中，待分析的图像包括在多房间建筑物(例如，房屋、办公室等)的内部的一个或多个采集位置采集的一个或多个全景图像或其他图像(例如，直线立体图像)，并且所确定的图像采集位置信息至少包括建筑物的楼层平面图上的位置并且在一些情形中还
包括图像的至少一部分的取向或其他方向信息，在至少一些这种实施方式中，自动化图像采集位置确定进一步在不具有或不使用来自任何深度传感器或其他距离测量装置的关于从图像的采集位置到周围建筑物中的墙壁或其他物体的距离的任何采集的深度数据的情况下执行。在各种实施方式中，还可以以各种方式使用所确定的图像采集位置信息，诸如与对应的建筑物楼层平面图和/或其他生成的测绘相关信息(例如，建筑物内部的三维模型)结合使用，包括用于控制移动装置(例如，自主车辆)的导航、用于在一个或多个客户端装置上的对应GUI(图形用户界面)中显示或其他呈现等。下文包括关于所确定的图像采集位置信息的自动化采集和使用的附加细节，并且在至少一些实施方式中，本文描述的技术中的一些或全部可以经由图像楼层平面图位置测绘管理器(“IFPLMM”)系统的自动化操作来执行，如下面进一步讨论。
[0009]在至少一些实施方式和情形中，对于建筑物的采集的图像中的一些或全部各自是在建筑物中或建筑物周围的采集位置处采集的全景图像，以便以从以下一个或多个生成在多个这种采集位置中的每一个处的全景图像：在该采集位置处的视频(例如，从由用户握持的智能电话或其他移动装置在该采集位置处转动而拍摄的360
°
视频)、或在多个方向上从采集位置采集的多个图像(例如，从由用户握持的智能电话或其他移动装置在该采集位置处转动)、或所有图像信息的同时捕获(例如，使用一个或多个鱼眼镜头)等。将了解，在一些情形中，这种全景图像可以使用等矩形投影来呈现(其中环境中的竖直线和其他竖直信息在投影中被示出为直线，并且其中如果环境中的水平线和其他水平信息位于图像的水平中心的上方或下方，则在投影中以弯曲的方式示出环境中的水平线和其他水平信息，并且其中弯曲量随着与水平中心线的距离增加而增加)，并且提供围绕水平轴和/或竖直轴的高达360
°
覆盖范围，使得查看起始全景图像的用户可以在起始全景图像内将查看方向移动到不同的取向以致使在起始全景图像内渲染不同的图像(或“视图”)(包括使用平面坐标系来呈现被渲染为立体图像的图像)。此外，在一些实施方式中，可以以各种方式获得和使用关于这种全景图像的捕获的采集元数据，诸如在移动装置被用户携带或以其他方式在采集位置之间移动时从IMU(惯性测量单元)传感器或移动装置的其他传感器采集的数据，而在其他实施方式中，不采集或使用这种采集元数据(例如，以便仅基于图像的视觉数据来确定建筑物楼层平面图上的所采集的图像的采集位置)。下面包括与建筑物的全景图像或其他图像的采集和使用相关的另外细节。
[0010]如上所述，IFPLMM系统的自动化操作可以包括至少部分地基于对图像内容中包括的视觉信息的分析来确定在建筑物的限定区域中(例如，在房屋或其他建筑物的房间内)捕获的图像的采集位置。在至少一些实施方式中，对图像的采集位置的这种自动化确定可以包括以下操作中的一些或全部：使用经训练的神经网络(例如，深度卷积神经网络)来分析图像并确定图像内容的视觉数据的特征(例如，基于每个像素的颜色和/或估计深度；基于相关联的像素组的信息，诸如颜色和/或纹理和/或估计深度等，或者更一般地确定由经训练的神经网络生成的一个或多个潜在空间视觉数据特征)；创建具有与图像的视场对应的度数的图像的圆形描述符(例如，表示具有360
°
水平视觉覆盖范围的全景图像的360度的圆形描述符、表示具有180
°
水平视觉覆盖范围的全景图像的180
°
的圆形描述符、表示具有72
°
水平视觉覆盖范围的非全景立体图像的72度的圆形描述符等)并且其中图像圆形描述符的每一度对关于图像视觉数据中的对应度的来自图像的所确定的特征的信息进行编码(例
如，相对于图像内的被指定为0
°
或以其他方式指定为起始角度或方向的方向)；以及将图像圆形描述符与各自表示与建筑物相关联的对应位置的来自建筑物楼层平面图的信息的一个或多个对应的建筑物位置圆形描述符进行比较，其中然后识别一个或多个与建筑物位置圆形描述符最匹配并将其用于确定房间或与建筑物相关联的其他区域中的图像的采集位置。
[0011]出于说明性示例的目的，考虑在建筑物的房间中捕获的全景图像，其中全景图像包括围绕竖直轴的360
°
水平覆盖范围(例如，完整圆从全景图像的采集位置示出房间的所有墙壁，除非墙壁的一部分被房间中的中间物体和/或被另一中间墙壁遮挡，诸如对于不是纯粹矩形的房间形状)，并且其中图像的视觉内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实施的方法，包括：由计算装置并且对于建筑物获得建筑物位置描述信息，所述建筑物位置描述信息包括所述建筑物中的多个建筑物位置的多个建筑物位置圆形描述符，其中，每个建筑物位置圆形描述符与所述建筑物位置中的一个相关联并且具有与在从所关联的建筑物位置的指定角方向上针对所述建筑物的结构元素识别的第一潜在空间特征有关的第一角信息，其中，所述第一潜在空间特征由第一经训练的神经网络使用所述建筑物的二维楼层平面图来识别；由所述计算装置生成全景图像的图像圆形描述符，所述全景图像在所述建筑物的房间中捕获并且包括与所述房间的至少一些墙壁有关的视觉信息，其中，所述图像圆形描述符具有与由第二经训练的神经网络从在指定方向上的所述全景图像的所述视觉信息识别的第二潜在空间特征有关的第二角信息；由所述计算装置比较所述图像圆形描述符与所述建筑物位置圆形描述符，以确定所述建筑物位置圆形描述符中的在所述房间中并且具有与所述图像圆形描述符的所述第二角信息最匹配的第一角信息的一个；由所述计算装置并且基于所述比较，关联所述全景图像与所述房间中的确定的位置和确定的取向，所述确定的位置是基于与所确定的一个建筑物位置圆形描述符相关联的所述建筑物位置，并且所述确定的取向从与所述全景图像中的可见信息的指定部分对应的所述建筑物位置识别至少一个方向；以及由所述计算装置呈现包括所述建筑物的所述二维楼层平面图并且用识别所述全景图像的至少所述确定的位置的视觉指示示出所述房间的信息，从而使用所呈现的信息来导航所述建筑物。2.根据权利要求1所述的计算机实施的方法，其中，呈现楼层平面图还包括在视觉上指示所述确定的取向，并且其中，所述方法还包括：由所述计算装置并且响应于所呈现的楼层平面图上的所述视觉指示的用户选择，呈现所述全景图像的与所述确定的取向对应的至少一部分。3.根据权利要求1所述的计算机实施的方法，其中，所述全景图像的所述视觉信息包括从所述全景图像的采集位置起的360水平度视觉覆盖范围，其中，对于从所述采集位置起的所述360水平度视觉覆盖范围的每一个，所述图像圆形描述符包括与所述第二潜在空间特征中的至少一些第二潜在空间特征有关的信息，所述至少一些第二潜在空间特征与所述房间的从所述采集位置起在与所述水平度视觉覆盖范围对应的方向上可见的任何结构元素相关联，以及其中，对于从与所述建筑物位置圆形描述符相关联的所述建筑物位置起的360水平度中的每一个，所述建筑物位置圆形描述符中的每一个包括与所述第一潜在空间特征中的至少一些第一潜在空间特征有关的信息，所述至少一些第一潜在空间特征与周围房间的从所述建筑物位置起在与所述水平度视觉覆盖范围对应的方向上可见的任何结构元素相关联。4.根据权利要求3所述的计算机实施的方法，其中，所述建筑物的所述结构元素包括至少一个门、至少一个窗和至少一个墙壁间边界，并且其中，获得所述建筑物位置描述信息包括生成所述建筑物位置圆形描述符，其包括从所述二维楼层平面图生成具有多个点的二维点云，其包括将信息与所述点中的每一个相关联，所述信息包括所述点的二维位置信息和
所述点的法向方向信息以及关于与所述点相关联的任何结构元素的语义信息，并且其包括分析所述点和所关联的信息以生成所述第一潜在空间特征，其中，所述点中的每一个与所述第一潜在空间特征中的至少一个相关联。5.根据权利要求3所述的计算机实施的方法，还包括通过执行所述生成和所述比较来确定具有与所述图像圆形描述符中包括的所述信息最匹配的角信息的所述一个建筑物位置圆形描述符，而不使用从任何深度传感器采集的与从所述采集位置到所述房间的任何周围元素的深度有关的任何深度信息。6.根据权利要求3所述的计算机实施的方法，还包括通过指定覆盖所述建筑物的多个房间中的至少一些房间的楼层的建筑物位置的网格来选择所述建筑物中的所述多个建筑物位置。7.根据权利要求6所述的计算机实施的方法，其中，比较所述图像圆形描述符和所述建筑物位置圆形描述符包括：对所述网格的所述建筑物位置执行最近邻搜索，其包括如果所述网格中的至少一个近邻建筑物位置与所述图像圆形描述符的不相似性小于所述网格中的至少一个当前建筑物位置与所述图像圆形描述符的不相似性，则通过从所述网格中的至少一个当前建筑物位置反复移动到所述网格中的至少一个近邻建筑物位置来识别所确定的一个建筑物位置圆形描述符。8.根据权利要求3所述的计算机实施的方法，其中，比较所述图像圆形描述符与所述建筑物位置圆形描述符还包括：对于指定类型的特性，分析所述视觉信息以识别从所述采集位置起的所述360水平度视觉覆盖范围中的存在所述特性的至少一个；对于所述建筑物位置圆形描述符中的至少一些中的每一个，通过以下操作比较所述图像圆形描述符和所述建筑物位置圆形描述符：识别从与所述建筑物位置圆形描述符相关联的所述建筑物位置起的所述360水平度中的存在所述特性的一个或多个；以及将从所述采集位置起的所述360水平度视觉覆盖范围中的所识别的至少一个中的每一个的位置同步到从所述建筑物位置起的所识别的一个或多个360水平度中的每一个的位置，以确定相对于所同步的位置所述图像圆形描述符中的处于其他水平度覆盖范围的信息是否匹配所述建筑物位置圆形描述符中的处于其他水平度覆盖范围的信息；以及基于具有所识别的同步位置的所选择的一个建筑物位置圆形描述符，选择至少一些所述建筑物位置圆形描述符中的一个作为所确定的一个建筑物位置圆形描述符，其中所述建筑物位置圆形描述符中的处于其他水平度覆盖范围的信息与所述图像圆形描述符中的处于其他水平度覆盖范围的信息最匹配，并且使用所识别的同步位置来确定所述全景图像在所述房间中的取向。9.根据权利要求8所述的计算机实施的方法，其中，所述指定类型的特性是以下各项中的一个：正交于沿着所识别的水平度视觉覆盖范围的线的可见墙壁、或者在所识别的水平度视觉覆盖范围下可见的指定类型的墙壁元素。10.根据权利要求1所述的计算机实施的方法，其中，比较所述图像圆形描述符和所述建筑物位置圆形描述符包括对于所述建筑物位置圆形描述符中的至少一些中的每一个：确定所述图像圆形描述符和所述建筑物位置圆形描述符由于差异小于指定阈值是匹配的概
率；以及选择所述至少一些建筑物位置圆形描述符中的具有匹配所述图像圆形描述符的最高概率的一个作...

【专利技术属性】
技术研发人员：闵智翔，纳吉，
申请(专利权)人：MFTB股份有限公司，
类型：发明
国别省市：