一种基于建筑数字孪生语义图的视觉定位方法及装置制造方法及图纸

本申请提供了一种基于建筑数字孪生语义图的视觉定位方法及装置，涉及视觉定位技术领域，包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，确定待定位图像的局部建筑语义图，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。本申请通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。视觉定位模型的计算过程。视觉定位模型的计算过程。

【技术实现步骤摘要】
一种基于建筑数字孪生语义图的视觉定位方法及装置


[0001]本申请涉及视觉定位
，尤其涉及一种基于建筑数字孪生语义图的视觉定位方法及装置。

技术介绍

[0002]视觉定位是一种相对低成本、广泛可得的室内定位方法，视觉定位的主要原理是利用视觉传感器（如智能手机的相机、监控摄像头等）拍摄的图像，估计拍摄点在某个坐标系下的位置和朝向，当前视觉定位方法包括基于三维模型的视觉定位。
[0003]现有技术中，基于三维模型的视觉定位首先采用SfM、SLAM等算法建立三维室内模型，而后建立待定位图像二维特征点和三维室内模型特征点的匹配，最后采用RANSAC+PNP等算法计算位置，此类方法计算复杂度高，定位稳定性较差。

技术实现思路

[0004]有鉴于此，本申请的目的在于至少提供一种基于建筑数字孪生语义图的视觉定位方法及装置，通过建筑语义图实现视觉定位，在保证定位精度的同时，简化视觉定位模型的计算过程。
[0005]本申请主要包括以下几个方面：第一方面，本申请实施例提供一种基于建筑数字孪生语义图的视觉定位方法，视觉定位方法包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从所述目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
[0006]在一种可能的实施方式中，根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建目标建筑的初始全局建筑语义图，初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对初始全局建筑语义图进行近似频繁子图挖掘，排除初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。
[0007]在一种可能的实施方式中，从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图的步骤包括：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局
部建筑语义图之间的目标映射关系矩阵，目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据目标映射关系矩阵，确定局部建筑语义图在全局建筑语义图中的目标匹配语义子图。
[0008]在一种可能的实施方式中，不同实体对应的节点类型不同，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：在该公式中，表示映射关系差异函数，表示目标全局建筑语义图，=（）表示局部建筑语义图，其中，表示局部建筑语义图中的待匹配节点集合，表示局部建筑语义图中的待匹配边集合，表示局部建筑语义图与目标全局建筑语义图之间的目标映射关系矩阵，表示局部建筑语义图中的第个待匹配节点对应的实体类型，表示局部建筑语义图中的第个待匹配节点对应的实体类型的影响权重，表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，表示实体关系类型的影响权重，表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。
[0009]在一种可能的实施方式中，约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对局部建筑语义图中待匹配节点和待匹配边之间的总约束。
[0010]在一种可能的实施方式中，根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵的步骤包括：遍历待定位图像对应的节点约束集合，将目标全局建筑语义图与局部建筑语义图之间的初始映射关系矩阵中，满足节点约束的对应元素的值设置为1，不满足节点约束的对应元素的值设置为0；遍历待定位图像对应的边约束集合，迭代设置初始映射关系矩阵中，满足边约束的对应元素的值设置为1，不满足边约束的对应元素的值设置为0；遍历待定位图像对应的总约束集合，迭代设置初始映射关系矩阵中，满足总约束的对应元素的值设置为1，不满足总约束的对应元素的值设置为0 ，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵。
[0011]在一种可能的实施方式中，根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位的步骤包括：确定局部建筑语义图中各待匹配节点在待定位图像中的第一坐标；确定目标匹配语义子图中各目标匹配节点在目标建筑中的第二坐标；将每个带匹配节点对应的第一坐标和每个目标匹配节点对应的第二坐标输入RANSAC+PNP模型，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
[0012]第二方面，本申请实施例还提供一种基于建筑数字孪生语义图的视觉定位装置，视觉定位装置包括：创建模块，用于根据目标建筑的建筑数字孪生模型，创建目标建筑的目标全局建筑语义图，目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；第一确定模块，用于确定待定位图像的局部建筑语义图，待定位图像为所拍摄的目标建筑内的局部区域的图像，局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；第二确定模块，用于从目标全局建筑语义图中查找与局部建筑语义图相匹配的目标匹配语义子图；第三确定模块，用于根据局部建筑语义图和目标匹配语义子图，确定待定位图像在目标建筑中的拍摄位姿，完成对待定位图像的定位。
[0013]在一种可能的实施方式中，第二确定模块还用于：根据目标全局建筑语义图和局部建筑语义图，创建局部建筑语义图与目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，目标映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于建筑数字孪生语义图的视觉定位方法，其特征在于，所述视觉定位方法包括：根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图，所述目标全局建筑语义图包括多个节点和多条边，其中，每个节点表示所述目标建筑中的实体，通过边将节点与节点进行连接，表示相连接的两个节点之间存在实体关系；确定待定位图像的局部建筑语义图，所述待定位图像为所拍摄的所述目标建筑内的局部区域的图像，所述局部建筑语义图包括多个待匹配节点和多条待匹配边，其中，每个待匹配节点表示所述待定位图像中的实体，通过待匹配边将待匹配节点与待匹配节点进行连接，表示相连接的两个待匹配节点之间存在实体关系；从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图；根据所述局部建筑语义图和所述目标匹配语义子图，确定所述待定位图像在所述目标建筑中的拍摄位姿，完成对待定位图像的定位。2.根据权利要求1所述的视觉定位方法，其特征在于，根据目标建筑的建筑数字孪生模型，创建所述目标建筑的目标全局建筑语义图的步骤包括：根据目标建筑的建筑数字孪生模型，创建所述目标建筑的初始全局建筑语义图，所述初始全局建筑语义图包括目标建筑内部所有实体对应的多个节点以及多条边；对所述初始全局建筑语义图进行近似频繁子图挖掘，排除所述初始全局建筑语义图中大于预设频度的节点以及边，确定经过近似频繁子图挖掘后的目标全局建筑语义图。3.根据权利要求1所述的视觉定位方法，其特征在于，从所述目标全局建筑语义图中查找与所述局部建筑语义图相匹配的目标匹配语义子图的步骤包括：根据所述目标全局建筑语义图和所述局部建筑语义图，创建所述局部建筑语义图与所述目标全局建筑语义图之间的映射关系差异函数；根据待定位图像对应的约束集合，使用过滤法对所述映射关系差异函数进行最优化求解，确定目标全局建筑语义图与局部建筑语义图之间的目标映射关系矩阵，所述目标映射关系矩阵中的每个元素表示局部建筑语义图中的每个待匹配节点与目标全局建筑语义图中的每个节点之间的匹配关系；根据所述目标映射关系矩阵，确定局部建筑语义图在所述全局建筑语义图中的目标匹配语义子图。4.根据权利要求3所述的视觉定位方法，其特征在于，不同类型的节点表示不同类型的实体，不同类型的边表示不同类型的实体关系，其中，通过以下公式表示目标建筑的局部建筑语义图与全局建筑语义图之间的映射关系差异函数：在该公式中，表示映射关系差异函数，表示目标全局建筑语义图，=（）表示局部建筑语义图，其中，表示局部建筑语义图中的待匹配节点集合，表示局部建筑语义图中的待匹配边集合，表示局部建筑语义图与目标全局建筑语义图之间
的目标映射关系矩阵，表示局部建筑语义图中的第个待匹配节点对应的实体类型，表示局部建筑语义图中的第个待匹配节点对应的实体类型的影响权重，表示局部建筑语义图中的第i个待匹配节点与其在目标全局建筑语义图中对应的目标匹配节点之间的节点差异，表示局部建筑语义图中的第i个待匹配节点与第j个待匹配节点之间的边对应的实体关系所属的实体关系类型，表示实体关系类型的影响权重，表示局部建筑语义图中的待匹配边与其在全局建筑语义图中对应的目标匹配边之间的差异。5.根据权利要求3所述的视觉定位方法，其特征在于，所述约束集合包括节点约束集合、边约束集合和总约束集合，其中，节点约束集合包括对局部建筑语义图中的各待匹配节点的节点约束，边约束集合包括对局部建筑语义图中的各待匹配边的边约束，总约束集合包括对所述局部建筑语义图中待匹配节点和待匹配边之间的总约束...

【专利技术属性】
技术研发人员：周小平，王佳，陆一昕，任远，陈丹燕，宋有利，任秀秀，
申请(专利权)人：盈嘉互联上海建筑科技有限公司深圳市盈嘉互联科技有限公司盈嘉互联北京智慧科技有限公司佛山市盈嘉智慧空间科技有限公司深圳前海盈嘉数据服务有限公司嘉兴乌镇盈嘉千镇科技有限公司盈嘉互联科技山东有限公司，
类型：发明
国别省市：