System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于增强现实的室内隐藏管线显示系统和方法技术方案_技高网

一种基于增强现实的室内隐藏管线显示系统和方法技术方案

技术编号:41062360 阅读:9 留言:0更新日期:2024-04-24 11:14
本发明专利技术为一种基于增强现实的室内隐藏管线显示系统和方法,采用惯性导航+WiFi+地图约束的室内定位方法缩小模型识别范围,采用计算机视觉对管路外露接口进行识别,实现无标记式增强现实注册,通过增强现实的方法将虚拟管线模型与室内隐藏模型进行叠加,将室内隐藏管线模型通过增强现实进行显示,实现对内部管路的透视功能,方便对室内管线进行维修。

【技术实现步骤摘要】

本专利技术涉及智能传感,主要涉及一种基于增强现实的室内隐藏管线显示系统和方法


技术介绍

1、在室内建筑中,为了建筑的美观性,电路、水管通常隐藏在建筑内部,外露接口仅包括插座、电灯、水龙头等,当发生破损或故障时,维修人员需要对具体位置进行定位,这往往需要拆除一定的结构或进行试错,这样不仅增加了维修的难度和耗时,还可能对建筑物造成不必要的破坏,且隐藏管线的外露接口通常外形相似,因此识别不同位置的外露接口在目前的维修工作中也是一个挑战。

2、最近几年,增强现实己经从新兴技术逐渐走入普通民众的视野。增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界中并不存在的虚拟信息,通过一系列科学技术手段,叠加到现实世界,被人类感官所感知,从而达到超越现实的感官体验,增强现实可广泛应用于娱乐、教育、医疗、军事、展览、工业、建筑等领域,通过增强现实技术,隐藏管线可以与虚拟管线叠加在一起,维修人员可以通过ar设备直接观察到隐藏管线的位置和深度,从而准确而快速地定位和处理破损或故障,因此,一种可靠的基于增强现实的室内隐藏管线显示系统和方法是非常必要的。


技术实现思路

1、为了解决现有技术所存在的上述问题,本申请提供了一种基于增强现实的室内隐藏管线显示系统和方法。

2、本申请的技术方案如下:

3、一种基于增强现实的室内隐藏管线显示系统,所述系统包括室内定位模块、视觉识别模块、跟踪注册模块和显示模块,其中:

4、所述室内定位模块包括imu惯性单元、wifi信号检测单元和地图约束单元,用于获取用户最终室内定位,其中,imu惯性单元包括陀螺仪和加速度计,通过所述imu惯性单元确定用户的移动方向和路径,通过wifi信号检测单元检测室内的wifi信号强度确定用户的移动路径和定位,通过地图约束单元修正用户的移动路径和辅助wifi信号强度定位的功能;

5、所述视觉识别模块通过摄像组件和yolov5算法对用户最终室内定位所在的外露接口进行自动识别,获得识别结果和外露接口的标识;

6、所述跟踪注册模块内部设置有增强现实注册后的虚拟管线模型,根据外露接口的标识匹配对应的识别结果至增强现实注册后的虚拟管线模型中外露接口,所述增强现实注册具体为通过ar注册算法和外露接口的标识将外露接口与初始虚拟管线模型进行叠加完成增强现实的三维注册过程;

7、所述显示模块用于显示增强现实注册后的虚拟管线模型。

8、优选的,所述室内定位模块还包括有初定位单元,所述初定位单元通过扫描用户所在区域的室内二维码确定用户初始位置。

9、优选的,所述识别结果包括外露接口的类型、位置、状态和颜色及形状特征;通过预先对建筑内所有外露接口进行自动识别获得外露接口识别结果数据集,所述跟踪注册模块使用匹配算法计算外露接口识别结果数据集和初始虚拟管线模型中的部件的相似度,找到最佳匹配部件,并对最佳匹配部件进行标记获得外露接口标识。

10、优选的,通过ar注册算法和外露接口的标识将外露接口与初始虚拟管线模型进行叠加完成增强现实的三维注册过程具体为分别提取实际场景和初始虚拟管线模型上的特征点,进行特征点的匹配,根据特征点的匹配构建初始虚拟管线模型的姿态矩阵,通过对姿态矩阵进行矩阵变换将初始虚拟管线模型从模型坐标系变换到设备坐标系,进行初始虚拟管线模型和实际场景的初步对齐;检测和识别外露接口标识,根据外露接口在实际场景中的位置和姿态信息,调整初始虚拟管线模型和实际场景之间的相对位置,确定初始虚拟管线模型和外露接口在系统上的位置是相对关系,将初始虚拟管线模型叠加到摄像组件获取的实际场景中,完成三维注册,获得增强现实注册后的虚拟管线模型。

11、优选的,所述特征点包括角点和边缘点,分别提取实际场景和初始虚拟管线模型上的特征点具体为对包含外露接口的实际场景和初始虚拟管线模型图像进行灰度化和降噪处理后获得对应的灰度图像,使用orb特征检测器在灰度图像中检测潜在的特征点。

12、优选的,使用orb特征检测器在灰度图像中检测潜在的特征点具体为:

13、对灰度图像进行梯度计算,获得灰度图像中每个中心像素点的梯度幅值和方向信息,计算每个中心像素点周围区域的采样点的梯度方向,根据采样点的梯度方向与中心像素点的梯度方向之间的一致性确定采样点是否为特征点候选点,若采样点为特征点候选点,使用亚像素插值算法优化特征点候选点的位置,并通过方向筛选和响应值筛选对特征点候选点进行筛选获得特征点,使用brief描述子生成器为每个特征点生成用于表示特征点的特征信息的描述子。

14、优选的,使用最近邻匹配算法进行特征点的匹配,具体为计算实际场景中的每个特征点的描述子与初始虚拟管线模型中所有特征点描述子之间的距离,选择对应描述子之间距离最近的特征点作为对应匹配点。

15、优选的,所述系统还包括通信模块,所述通信模块用于将增强现实注册后的虚拟管线模型数据传输至外部终端进行ar显示。

16、本申请还提供了一种基于增强现实的室内隐藏管线显示方法,基于所述的基于增强现实的室内隐藏管线显示系统,所述方法包括:

17、扫描用户所在区域的室内二维码确定用户初始位置,通过imu惯性单元确定用户的移动方向和路径,通过wifi信号检测单元检测室内的wifi信号强度确定用户的移动路径和定位,通过地图约束单元修正用户的移动路径和辅助wifi信号强度定位的功能,获得用户最终室内定位;

18、通过摄像组件和图像目标识别算法对用户最终室内定位所在的外露接口进行自动识别,获得识别结果和外露接口的标识,所述识别结果在室内隐藏管线系统中的增强现实注册后的虚拟管线模型中显示,其中,所述增强现实注册具体为通过ar注册算法将外露接口与初始虚拟管线模型进行叠加完成增强现实的三维注册过程,获得增强现实注册后的虚拟管线模型并显示。

19、本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本申请任一实施例所述的一种基于增强现实的室内隐藏管线显示方法。

20、与现有技术相比,本专利技术的有益效果是:

21、1)本专利技术提供了一种基于增强现实的室内隐藏管线显示系统和方法,系统包含的室内定位模块通过多种传感器:imu惯性单元、wifi信号检测单元和地图约束单元的组合,可提供精确的室内定位,实现对用户的精确跟踪和路径规划,为后续的管线显示提供准确的位置信息;

22、2)本专利技术提供了一种基于增强现实的室内隐藏管线显示系统和方法,系统包含的跟踪注册模块使用orb特征检测器和最近邻匹配算法进行特征点的提取和匹配,可以实现对实际场景和虚拟管线模型的特征点匹配,准确计算它们之间的关系,实现虚拟管线模型与实际场景的对齐和注册,提供了提供准确的室内定位和管线显示功能,提高工作效率和安全性。

本文档来自技高网...

【技术保护点】

1.一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述系统包括室内定位模块、视觉识别模块、跟踪注册模块和显示模块,其中:

2.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述室内定位模块还包括有初定位单元,所述初定位单元通过扫描用户所在区域的室内二维码确定用户初始位置。

3.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述识别结果包括外露接口的类型、位置、状态和颜色及形状特征;通过预先对建筑内所有外露接口进行自动识别获得外露接口识别结果数据集,所述跟踪注册模块使用匹配算法计算外露接口识别结果数据集和初始虚拟管线模型中的部件的相似度,找到最佳匹配部件,并对最佳匹配部件进行标记获得外露接口标识。

4.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,通过AR注册算法和外露接口的标识将外露接口与初始虚拟管线模型进行叠加完成增强现实的三维注册过程具体为分别提取实际场景和初始虚拟管线模型上的特征点,进行特征点的匹配,根据特征点的匹配构建初始虚拟管线模型的姿态矩阵,通过对姿态矩阵进行矩阵变换将初始虚拟管线模型从模型坐标系变换到设备坐标系,进行初始虚拟管线模型和实际场景的初步对齐;检测和识别外露接口标识,根据外露接口在实际场景中的位置和姿态信息,调整初始虚拟管线模型和实际场景之间的相对位置,确定初始虚拟管线模型和外露接口在系统上的位置是相对关系,将初始虚拟管线模型叠加到摄像组件获取的实际场景中,完成三维注册,获得增强现实注册后的虚拟管线模型。

5.根据权利要求4所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述特征点包括角点和边缘点,分别提取实际场景和初始虚拟管线模型上的特征点具体为对包含外露接口的实际场景和初始虚拟管线模型图像进行灰度化和降噪处理后获得对应的灰度图像,使用ORB特征检测器在灰度图像中检测潜在的特征点。

6.根据权利要求5所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,使用ORB特征检测器在灰度图像中检测潜在的特征点具体为:

7.根据权利要求4所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,使用最近邻匹配算法进行特征点的匹配,具体为计算实际场景中的每个特征点的描述子与初始虚拟管线模型中所有特征点描述子之间的距离,选择对应描述子之间距离最近的特征点作为对应匹配点。

8.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述系统还包括通信模块,所述通信模块用于将增强现实注册后的虚拟管线模型数据传输至外部终端进行AR显示。

9.一种基于增强现实的室内隐藏管线显示方法,其特征在于,基于权利要求1-8所述的系统,所述方法包括:

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求9所述的一种基于增强现实的室内隐藏管线显示方法。

...

【技术特征摘要】

1.一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述系统包括室内定位模块、视觉识别模块、跟踪注册模块和显示模块,其中:

2.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述室内定位模块还包括有初定位单元,所述初定位单元通过扫描用户所在区域的室内二维码确定用户初始位置。

3.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,所述识别结果包括外露接口的类型、位置、状态和颜色及形状特征;通过预先对建筑内所有外露接口进行自动识别获得外露接口识别结果数据集,所述跟踪注册模块使用匹配算法计算外露接口识别结果数据集和初始虚拟管线模型中的部件的相似度,找到最佳匹配部件,并对最佳匹配部件进行标记获得外露接口标识。

4.根据权利要求1所述的一种基于增强现实的室内隐藏管线显示系统,其特征在于,通过ar注册算法和外露接口的标识将外露接口与初始虚拟管线模型进行叠加完成增强现实的三维注册过程具体为分别提取实际场景和初始虚拟管线模型上的特征点,进行特征点的匹配,根据特征点的匹配构建初始虚拟管线模型的姿态矩阵,通过对姿态矩阵进行矩阵变换将初始虚拟管线模型从模型坐标系变换到设备坐标系,进行初始虚拟管线模型和实际场景的初步对齐;检测和识别外露接口标识,根据外露接口在实际场景中的位置和姿态信息,调整初始虚拟管线模型和实际场景之间的相对位置,确定初始虚拟管线模型和外露接口在系统上的位置是相对关系,将初始虚拟管线模型叠加到...

【专利技术属性】
技术研发人员:王荣陈成军潘通
申请(专利权)人:青岛理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1