【技术实现步骤摘要】
本专利技术涉及图像处理，适用于增强现实场景，尤其涉及一种基于平面轮廓特征的室内场景重建方法及装置。
技术介绍
1、视觉slam(simultaneous localization and mapping)技术是一种集成了视觉定位、相机追踪以及地图重建的视觉算法。它通过追踪场景中的显著特征，实现相机移动时的实时定位，然后通过位姿图重建场景模型。在机器人导航、自动驾驶、虚拟现实、增强现实以及混合现实中均得到了大量的应用。
2、然而，在空旷室内场景中利用slam算法重建场景模型一直是该领域多年未突破的技术能力瓶颈。在缺乏明显的纹理以及显著的视觉特征的室内场景中，视觉算法缺少有效的相机轨迹追踪手段，导致最终的场景模型重建结果失准。
3、现在亟需一种针对室内空旷场景的视觉重建方法，填补在视觉算法在室内空旷场景中的相机轨迹追踪及场景模型重建能力空白。
技术实现思路
1、为解决现有视觉重建技术无法在空旷室内场景中实用的问题，本专利技术实施例提供了一种基于平面轮廓特征的室内场景重建方法及装置，适用于演播室、演讲室等空旷室内场景，利用语义信息以及平面轮廓特征实现相机在空旷室内场景中的相机轨迹追踪与场景重建功能。
2、为了解决上述技术问题中的任意一种，本专利技术的具体技术方案如下：
3、本专利技术实施例提供了一种基于平面轮廓特征的室内场景重建方法，包括：
4、识别目标室内场景中的平面物体的轮廓目标，并通过相机获取每一帧的所述轮廓目标上的多个点
5、配准相邻两帧对应的轮廓点云模型，计算所述相邻两帧中后一帧的姿态，将每一帧的姿态按照顺序加入到全局姿态图中，所述全局姿态图中包括每一帧的姿态；
6、按照顺序分别将每一帧的轮廓点云模型中的点加入到全局模型中，所述全局模型为所述平面物体的整体轮廓点云模型，并且当所述全局模型中加入一帧对应的轮廓点云模型中的点后，判断所述全局模型是否出现全局轮廓闭环；若未全局轮廓闭环，则继续按照顺序将下一帧对应的轮廓点云模型中的点加入到所述全局模型中；
7、若出现全局轮廓闭环，将全局轮廓闭环对应的帧作为触发帧，在所述全局姿态图中确定所述触发帧的姿态和所述全局模型中加入的首帧的姿态，计算所述触发帧的姿态与所述首帧的姿态之间的姿态转换关系；
8、利用所述姿态转换关系更新所述全局姿态图，得到所述平面物体在世界坐标系下的平面轮廓模型和场景模型。
9、配准相邻两帧对应的轮廓点云模型，计算所述相邻两帧中后一帧的姿态进一步包括：
10、通过点-点icp算法配准相邻两帧对应的轮廓点云模型，预测所述相邻两帧中后一帧的预测姿态；
11、利用所述预测姿态映射所述相邻两帧中前一帧对应的所述全局模型，得到所述后一帧对应的映射模型；
12、通过点云配准算法配准所述前一帧的轮廓点云模型和所述后一帧的映射模型，得到校准姿态差；
13、通过所述校准姿态差对所述预测姿态进行校准，得到所述后一帧的姿态。
14、进一步地，通过所述校准姿态差对所述预测姿态进行校准，得到所述后一帧的姿态的公式为：
15、
16、其中，表示第k+1帧校准后姿态，表示第k+1帧的预测姿态，p*表示校准姿态差。
17、进一步地，按照顺序分别将每一帧的轮廓点云模型中的点加入到全局模型中进一步包括：
18、将待加入全局模型的帧作为目标帧，通过kd-tree最近邻判断所述目标帧的轮廓点云模型中的点是否超出所述全局模型；
19、若超出所述全局模型，则将该点加入到所述全局模型中；
20、若未超出所述全局模型，则判断该点是否与所述全局模型共面；
21、若共面，则将该点加入到所述全局模型中；
22、若不共面，则删除该点。
23、进一步地，在将点加入到所述全局模型中之后，所述方法还包括：
24、对所述全局模型进行密集点云稀疏化，删除所述全局模型中重叠的点。
25、进一步地，判断所述全局模型是否出现全局轮廓闭环进一步包括：
26、当所述全局模型中加入一帧对应的轮廓点云模型中的点后，将下一帧作为第一检测帧，利用所述第一检测帧的姿态映射所述全局模型，得到可观测部分和未观测部分；
27、若所述第一检测帧对应的轮廓点云模型超出所述可观测部分对应的范围，则通过kd-tree算法搜索所述第一检测帧对应的轮廓点云模型中超出所述可观测部分对应的范围的点的数量，并在所述数量超过预定阈值时，对超出所述可观测部分对应的范围的点与所述未观测部分进行距离测量，并判断测量的距离超过标准距离的点相对于超出所述可观测部分对应的范围的点的占比，若占比超过预定比值，则确定所述全局模型出现全局轮廓闭环。
28、进一步地，判断所述全局模型是否出现全局轮廓闭环还包括：
29、当所述全局模型中加入一帧对应的轮廓点云模型中的点后，将最新加入的帧作为第二检测帧；
30、若所述第二检测帧的所述轮廓点云模型中点的数量是否均大于在与所述第二检测帧相邻的预定数量个帧对应的所述轮廓点云模型中点的数量，并且与所述第二检测帧相邻的预定数量个帧对应的所述轮廓点云模型一直被所述第二检测帧对应的所述轮廓点云模型覆盖，则确定所述全局模型出现全局轮廓闭环。
31、进一步地，利用所述姿态转换关系更新所述全局姿态图，得到所述平面物体在世界坐标系下的平面轮廓模型和场景模型进一步包括：
32、将所述全局姿态图中除所述首帧和触发帧之外的所有帧的姿态右乘所述姿态转换关系，得到所述平面物体在世界坐标系下的平面轮廓模型和场景模型。
33、进一步地，所述方法还包括：
34、将每一帧对应的全局模型以及该帧对应的全局姿态图作为该帧的模型碎片；
35、当发生丢失追踪时，将发生丢失追踪的帧作为待优化帧；
36、利用所述待优化帧前一帧的模型碎片和后一帧的模型碎片对待优化帧的姿态进行优化。
37、另一方面，本专利技术实施例还提供了一种基于平面轮廓特征的室内场景重建装置，包括：
38、轮廓点云模型生成单元，用于识别目标室内场景中的平面物体的轮廓目标，并通过相机获取每一帧的所述轮廓目标上的多个点，生成每一帧的轮廓点云模型；
39、姿态计算单元，用于配准相邻两帧对应的轮廓点云模型，计算所述相邻两帧中后一帧的姿态，将每一帧的姿态按照顺序加入到全局姿态图中，所述全局姿态图中包括每一帧的姿态；
40、全局轮廓闭环检测单元，用于按照顺序分别将每一帧的轮廓点云模型中的点加入到全局模型中，所述全局模型为所述平面物体的整体轮廓点云模型，并且当所述全局模型中加入一帧对应的轮廓点云模型中的点后，判断所述全局模型是否出现全局轮廓闭环；若未全局轮廓闭环，则继续按照顺序将下一帧对应的轮廓点云模型中的点加入到所述全局模型中；
<本文档来自技高网...【技术保护点】
1.一种基于平面轮廓特征的室内场景重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，配准相邻两帧对应的轮廓点云模型，计算所述相邻两帧中后一帧的姿态进一步包括：
3.根据权利要求2所述的方法，其特征在于，通过所述校准姿态差对所述预测姿态进行校准，得到所述后一帧的姿态的公式为：
4.根据权利要求1所述的方法，其特征在于，按照顺序分别将每一帧的轮廓点云模型中的点加入到全局模型中进一步包括：
5.根据权利要求4所述的方法，其特征在于，在将点加入到所述全局模型中之后，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，判断所述全局模型是否出现全局轮廓闭环进一步包括：
7.根据权利要求1所述的方法，其特征在于，判断所述全局模型是否出现全局轮廓闭环还包括：
8.根据权利要求1所述的方法，其特征在于，利用所述姿态转换关系更新所述全局姿态图，得到所述平面物体在世界坐标系下的平面轮廓模型和场景模型进一步包括：
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
...【技术特征摘要】
1.一种基于平面轮廓特征的室内场景重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，配准相邻两帧对应的轮廓点云模型，计算所述相邻两帧中后一帧的姿态进一步包括：
3.根据权利要求2所述的方法，其特征在于，通过所述校准姿态差对所述预测姿态进行校准，得到所述后一帧的姿态的公式为：
4.根据权利要求1所述的方法，其特征在于，按照顺序分别将每一帧的轮廓点云模型中的点加入到全局模型中进一步包括：
5.根据权利要求4所述的方法，其特征在于，在将点加入到所述全局模型中之后，...
【专利技术属性】
技术研发人员：严鼎天，李宜儒，李明峰，黄季涛，郑荣，李铮，
申请(专利权)人：上海理想信息产业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。