本申请涉及图像处理和多视角几何技术领域，具体而言，公开了一种三维稀疏重建方法、装置及电子装置，该三维稀疏重建方法包括：获取多目相机采集的城市航拍图像；将所述航拍图像输入全局特征提取网络，提取特征值；采用第一聚类算法对所述特征值进行处理，确定第一图像分区；通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；对所述第一图像分区内的图像进行重建，确定第一相机位姿；基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。本申请可以提高特征匹配和稀疏重建效率。稀疏重建效率。稀疏重建效率。
【技术实现步骤摘要】
三维稀疏重建方法、装置及电子装置
[0001]本申请属于图像处理和多视角几何
，具体地说，涉及三维稀疏重建方法、装置及电子装置。
技术介绍
[0002]随着无人机技术的发展，城市航拍图像的获取变得方便快捷，基于当前数字城市重建工作的需求，采用合适的方法提取航拍图像的特征是实现将大量航拍图像转化为城市三维模型成为重要环节之一，但当前使用SIFT算法提取图像特征存在图像对匹配不准确的问题，使用深度学习算法提取图像特征存在网络训练难度大的问题，因此会导致当使用稀疏重建方法处理大量航拍图像时存在耗时长、稀疏重建结果准确度不高的问题。
[0003]有鉴于此特提出本申请。
技术实现思路
[0004]本申请要解决的技术问题在于克服现有技术的不足，提供一种三维稀疏重建方法、装置及电子装置。
[0005]为解决上述技术问题，本申请采用技术方案的基本构思是：根据本申请实施例的第一方面，提供一种三维稀疏重建方法，所述方法包括：获取多目相机采集的城市航拍图像；将所述航拍图像输入全局特征提取网络，提取特征值；采用第一聚类算法对所述特征值进行处理，确定第一图像分区；通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；对所述第一图像分区内的图像进行重建，确定第一相机位姿；基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。
[0006]可选的，所述全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。
[0007]可选的，所述通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。
[0008]可选的，所述采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率
阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。
[0009]可选的，所述确定聚类中心的数量，包括按照下式确定航拍图像序列重叠数：其中，n
overlap
表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n
cam
表示多目相机的摄像头数量，n
overlap
表示图像序列重叠数。
[0010]可选的，所述通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，包括：对所述第一图像分区内的图像进行两两配对，得到第一图像对集合；对所述第一图像对进行去重处理，得到第二图像对集合；基于分布式并行对所述第二图像对集合中的图像进行局部特征匹配，获取特征匹配点对；基于对所述特征匹配点对的整合，获取所述第二图像对集合中的图像的特征匹配结果。
[0011]可选的，所述对所述第一图像分区内的图像进行重建，确定第一相机位姿，包括：响应于获取的所述特征匹配点对，通过构造对极几何图计算所述第二图像对集合中各个图像对的相对位姿；基于所述相对位姿，通过全局旋转平均计算每张图片对应相机位姿的旋转矩阵；根据RANSAC方法剔除图像的误匹配点对，通过增量式捆绑调整计算图像对应相机中心的坐标，最终确定所述第一图像分区内每张图像的第一相机位姿。
[0012]可选的，所述基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿，包括：采用所述第二聚类算法对所述第一图像分区的特征值进行聚类分析，确定第二图像分区，其中，所述第二聚类算法包括K
‑
means聚类算法；基于对所述第二图像分区内的图像进行重建，确定第二相机位姿；采用K
‑
Means聚类算法对所述全局特征值进行重复迭代聚类，扩大捆绑调整的区域范围，确定相机位姿。
[0013]根据本申请实施例的第二方面，提供一种三维稀疏重建装置，其特征在于，包括：提取模块，用于获取多目相机采集的城市航拍图像，将所述航拍图像输入全局特征提取网络，提取特征值；第一确定模块，用于采用第一聚类算法对所述特征值进行处理，确定第一图像分区；获取模块，用于通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；第二确定模块，用于对所述第一图像分区内的图像进行重建，确定第一相机位姿，并基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。
[0014]可选的，所述提取模块采用的全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，
确定所述锚框的对应图像的样本类型。
[0015]可选的，所述提取模块通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。
[0016]可选的，所述第一确定模块采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。
[0017]可选的，所述第一确定模块采用如下方式确定聚类中心的数量，包括按照下式确定航拍图像序列重叠数：其中，n
overlap
表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维稀疏重建方法，其特征在于，包括：获取多目相机采集的城市航拍图像；将所述航拍图像输入全局特征提取网络，提取特征值；采用第一聚类算法对所述特征值进行处理，确定第一图像分区；通过对所述第一图像分区内的图像对进行特征匹配，获取特征匹配结果，其中，根据所述特征匹配结果可以确定所述第一图像分区内的图像；对所述第一图像分区内的图像进行重建，确定第一相机位姿；基于所述第一图像分区，采用第二聚类算法对所述第一相机位姿进行迭代处理，确定相机位姿。2.根据权利要求1所述的一种三维稀疏重建方法，其特征在于，所述全局特征提取网络的训练采用无监督学习方法，包括：获取航拍图像训练集，并在所述航拍图像训练集中的任意一张图像上构造n*n个锚点；基于预先设置的长宽比，以所述锚点为中心构造锚框，并将获取的所述锚点和所述锚框合称为锚点框集合；通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型。3.根据权利要求2所述的一种三维稀疏重建方法，其特征在于，所述通过计算所述锚点框集合中的任意一个锚框与其他锚框的交并比大小，确定所述锚框的对应图像的样本类型，包括：若所述锚点框集合中的任意一个锚框与其他锚框的交并比大于交并比阈值，则确定所述锚框的对应图像的样本类型属于正类；若所述锚点框集合中的任意一个锚框与其他锚框的交并比小于交并比阈值，则确定所述锚框的对应图像的样本类型属于负类。4.根据权利要求1所述的一种三维稀疏重建方法，其特征在于，所述采用第一聚类算法对所述特征值进行处理，确定第一图像分区，包括：确定聚类中心的数量；输入所述聚类中心的数量和所述特征值至所述第一聚类算法，得到所述特征值对应的航拍图像属于各个聚类中心的概率值，其中，所述第一聚类算法包括模糊C均值聚类算法；在所述特征值对应的航拍图像属于第一聚类中心的概率值大于概率阈值的情况下，确定所述特征值对应的航拍图像属于第一图像分区。5.根据权利要求4所述的一种三维稀疏重建方法，其特征在于，所述确定聚类中心的数量，包括：按照下式确定航拍图像序列重叠数：其中，n
overlap
表示图像序列重叠数，[]表示取整，t表示相似度阈值，r表示航拍图像连续两张图片的重叠度；基于所述航拍图像序列重叠数，按照下式确定聚类中心的数量：
其中，K表示聚类中心的数量，[]表示取整，N表示航拍图像的数量，n
cam
表示多目相机的摄像头数量，n<...
【专利技术属性】
技术研发人员：刘继超，詹慧媚，金岩，吕昌昌，贾学兵，邱敏，甘琳，胡国锋，冯谨强，唐至威，付晓雪，
申请(专利权)人：青岛海纳云智能系统有限公司青岛海纳云数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。