一种全景图像拼接方法及装置制造方法及图纸

本发明专利技术提出了一种全景图像拼接方法，包括：步骤一，分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集；步骤二，把图像划分为N*N的网格，通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集；步骤三，在每个被划分的网格上都运行RANSAC算法，并根据每个网格的中心离特征点的距离，对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离，然后选取合适的阈值得到网格的局部一致集；步骤四，采用非线性最小二乘法最小化图像特征点的重投影误差；步骤五，将图像进行像素融合。本发明专利技术的方法可以在摄像机非纯旋转或者整个拼接场景不是一个平面的条件下，拼接出自然的全景图像。

【技术实现步骤摘要】
一种全景图像拼接方法及装置
本专利技术涉及图像处理
，尤其涉及一种全景图像拼接方法及装置。
技术介绍
现有技术中的全景拼接方法采用一个全局单应矩阵，即以一个单应矩阵来表示输入的图像之间的透视变换关系。以两个图像拼接为例，首先获的两个图像的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点，求解单应矩阵，最后，根据该单应矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所在平面的对应位置，即得到两幅图的拼接结果。然后再对图像进行颜色融合等处理，得到较好的拼接图。但是这种拼接方法只能适用于摄像机纯旋转或者整个拼接场景是一个平面的条件下拍摄的图像。如果不能满足上述的条件则拼接出的全景图像会出现明显的模糊或者重影。目前，为了解决上述问题，一般的方法是引入如增益补偿技术、多带像素融合、羽化等后处理技术来尽可能地消除重影。但是，这些后处理技术会占用大量的计算资源，且影响用户的体验。为此，本专利技术提出了一种新的全景图像拼接方法及装置，可以在摄像机非纯旋转或者整个拼接场景不是一个平面的条件下，拼接出自然的全景图像。
技术实现思路
本专利技术提供了一种全景图像拼接方法及装置，该方法能够在摄像机非纯旋转、存在位移时对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。为了实现上述目的，根据本专利技术的一个方面，提供了一种全景图像拼接方法，包括步骤：步骤一，分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集；步骤二，把待拼接的两幅图像划分为N*N的网格，通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集；步骤三，在每个被划分的网格上都运行RANSAC算法，并根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离，然后选取合适的阈值得到网格的局部一致集；步骤四，采用非线性最小二乘法最小化图像特征点的重投影误差；以及步骤五，将待拼接的两幅图像进行像素融合。优选地，自适应的局部单应估计为针对不同的内点特征自动地拟合出它服从的最优局部单应。优选地，特征点提取采用RootSIFT算法。优选地，步骤三中，在每个被划分的网格上都运行RANSAC算法时，采用能够加速局部RANSAC的半随机采样的方法，半随机采样的方法包括以下步骤：步骤一，根据特征点对匹配分数的高低对所有的特征点对进行排序；步骤二，定义一个用于指定数据子集大小的生长函数；以及步骤三，在数据子集中随机采样三对匹配的数据点，然后根据生长函数给出的索引再采样一个相应的点对。优选地，用于排序的所述匹配分数根据RootSIFT的描述子相似度来定义。优选地，半随机采样的过程为：定义一个增长函数G(n)，n＝4，5，6，7，...，N，其中N为所有的特征点对的数目；数据子集的大小为所述增长函数G(n)的上取整；以及在数据子集中随机采样三对匹配的数据点。优选地，步骤三中，在每个被划分的网格上都运行RANSAC算法后，还包括使用LOSAC来优化RANSAC每一次迭代结果的步骤，所述LOSAC为在当前找到的所有局部一致集里面运行一次内部RANSAC。优选地，LOSAC步骤包括：步骤一，判断局部一致集是否为目前最好的，如果否，则进入下一次RANSAC循环；如果是，则进行一次随机采样，此时的样本数目不必再限于最小样本数目；步骤二，采用最小二乘法拟合出一个由采样数据生成的单应矩阵；步骤三，使用单应矩阵计算新的局部一致集，返回步骤一。根据本专利技术的另一个方面，提供了一种全景图像拼接装置，所述全景图像拼接装置包括：提取单元，用于分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集；局部对准单元，用于把待拼接的两幅图像划分为N*N的网格，并通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集；计算单元，用于在每个被划分的网格上都运行RANSAC算法，并根据每个网格的中心离特征点的距离对特征点进行加权，来计算局部单应矩阵到每个加权后的特征点的距离；构建单元，用于构建所述多个矩形区域的顶点坐标的全局能量函数，并优化全局能量函数以得到最符合特征点分布的局部单应集合，然后选取合适的阈值得到网格的局部一致集；优化单元，采用非线性最小二乘法最小化图像特征点的重投影误差；以及拼接单元，用于将经过所述变换单元得到所述多幅变换后的待拼接图像进行像素融合。本专利技术的优点在于：(1)通过在拼接流程中的图像配准阶段做出了改进，将使用一个全局摄影变化矩阵(单应矩阵)来对准两幅图片，变换为使用局部自适应的单应矩阵来对准两幅图片，使得像素的内插能够尽可能得贴近局部图像特征点的分布，同时又能使像素外插保持全局射影的趋势，因此能够克服视差效应的不利影响。(2)由于自适应局部单应是建立在APAP变换的基础上，且针对不同的局部单应自适应地筛选出对应的局部内点特征，而不再是像APAP那样采用统一的全局外点特征，因此，规避了相机位移后带来的视差效应，改善了有视差场景下的拼接效果，且不需要繁琐的后处理技术就可以得到较为自然的全景。附图说明在下文中将基于实施例并参考附图来对本专利技术进行更详细的描述。其中：图1为本专利技术一种实施方式的全景图像拼接方法流程图；图2为本专利技术一种实施方式的局部单应估计算法的流程图。在附图中，相同的部件使用相同的附图标记。附图并未按照实际的比例。具体实施方式下面将结合附图对本专利技术作进一步说明。图1为本专利技术一种实施方式的全景图像拼接方法流程图。首先，采用RootSIFT算法分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集。RootSIFT将特征匹配中的相似度度量方式由欧氏距离改为了Hellinger核，在一定程度上减少了误匹配的发生，同时使得匹配算法对仿射失真的抵抗力显著增强。最重要的是Hellinger对描述子向量进行了L1归一化，可以显著提高运算速度进而加速特征匹配的过程。之后，把待拼接的两幅图像划分为N*N的网格，通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集。在这种情况下，图像配准阶段由传统的全局射影变换改为了自适应局部单应。具体地，本专利技术的自适应的局部单应估计的想法来源于APAP配准的思想，即，通过把图像划分为网格集合然后进行局部对准的思想。但APAP配准存在的问题是采用的内点特征仍然服从于全局射影变换，而本专利技术中的自适应局部单应，其选用的内点特征是服从于局部单应。这样，使得像素的内插能够尽可能得贴近局部图像特征点的分布，同时又能使像素外插保持全局射影的趋势，因此能够克服视差效应的不利影响。为了防止图像特征匹配算法给出误匹配的结果，在每个被划分的网格上都运行RANSAC算法。RANSAC是一个迭代算法，其基本思想是随机采样一个最小样本拟合出相应的模型，然后在数据集中计算所有的匹配点到这个模型的距离。具体地，本专利技术根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离，然后选取合适的阈值得到网格的局部一致集。之后，采用光束平差法BundleAdjustment最小化图像特征点的重投影误差。最后，将待拼接的两幅图像进行像素融合。本专利技术的图像拼接方法由于需要在每个网格本文档来自技高网...

【技术保护点】
1.一种全景图像拼接方法，其特征在于，所述全景图像拼接方法包括以下步骤：步骤一，分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集；步骤二，把待拼接的两幅图像划分为N*N的网格，通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集；步骤三，在每个被划分的网格上都运行RANSAC算法，并根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离，然后选取合适的阈值得到网格的局部一致集；步骤四，采用非线性最小二乘法最小化图像特征点的重投影误差；以及步骤五，将所述待拼接的两幅图像进行像素融合。

【技术特征摘要】
1.一种全景图像拼接方法，其特征在于，所述全景图像拼接方法包括以下步骤：步骤一，分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集；步骤二，把待拼接的两幅图像划分为N*N的网格，通过自适应的局部单应估计进行局部对准，得到局部单应矩阵集；步骤三，在每个被划分的网格上都运行RANSAC算法，并根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离，然后选取合适的阈值得到网格的局部一致集；步骤四，采用非线性最小二乘法最小化图像特征点的重投影误差；以及步骤五，将所述待拼接的两幅图像进行像素融合。2.根据权利要求1所述的全景图像拼接方法，其特征在于，所述自适应的局部单应估计为针对不同的内点特征自动地拟合出它服从的最优局部单应。3.根据权利要求1所述的全景图像拼接方法，其特征在于，所述特征点提取采用RootSIFT算法。4.根据权利要求1所述的全景图像拼接方法，其特征在于，所述步骤三中，在每个被划分的网格上都运行RANSAC算法时，采用能够加速局部RANSAC的半随机采样的方法，所述半随机采样的方法包括以下步骤：步骤一，根据特征点对匹配分数的高低对所有的特征点对进行排序；步骤二，定义一个用于指定数据子集大小的生长函数；以及步骤三，在数据子集中随机采样三对匹配的数据点，然后根据生长函数给出的索引再采样一个相应的点对。5.根据权利要求4所述的全景图像拼接方法，其特征在于，用于排序的所述匹配分数根据RootSIFT的描述子相似度来定义。6.根据权利要求4所述的全景图像拼接方法，其特征在于，所述半随机采样的过程为：定义一个增长函数G(n)，n=4,5,6,7,…,...

【专利技术属性】
技术研发人员：商慧亮，潘峰，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31