全景图合成方法及装置制造方法及图纸

本发明专利技术公开了一种全景图合成方法及装置。该方法包括：获取同一场景的多个原始图像，对多个原始图像进行折叠变化和坐标变换，确定多个原始图像的重叠区域；建立多个原始图像的数学模型，将多个原始图像的重叠区域对准，并将多个原始图像转换到参考图像的坐标系下；根据参考图像的坐标系获取多个原始图像之间的空间变换关系，选择合适的图像合成策略，完成图像的合成。借助于本发明专利技术的技术方案，能够在不降低图像分辨率的条件下获取大视野范围的场景照片。

【技术实现步骤摘要】

本专利技术涉及图像合成
，特别是涉及一种全景图合成方法及装置。
技术介绍
目前，随着移动设备技术的飞速发展，移动设备的各项功能也越来越人性化，但 是，目前移动设备终端照相机只能实现对单张图片的拍摄，在使用普通移动设备照相机来 获取视野的场景图像时，必须调节相机的焦距，通过缩放镜头才可以摄取完整的场景，因为 相机的分辨率是一定的，拍摄的场景越大分辨率越低，因此按照上述方法获取的照片的分 辨率会非常低；为了获取高分辨率的场景照片就需要通过缩放相机镜头来减小拍摄的视 野，但这又得不到完整的场景照片。在上述场景下，用户虽然可以直接通过专门相机拍摄获取场景的全景图像，但是 均需要昂贵的硬件来支持，不适用于普通用户。如果普通用户想拍摄全景普片，只能拍摄一张低 分辨率的单张全景图片，或者拍 摄多张高分辨率的非全景图片，使得用户在使用移动设备终端照相机时，在上述场景下不 能满足用户的需要。因此，现有技术中存在由于移动设备终端照相机的视角和大小的局限， 不能获得高分辨率的大视野图片的问题。
技术实现思路
本专利技术提供一种全景图合成方法及装置，以解决现有技术中由于移动设备终端照 相机的视角和大小的局限，不能获得高分辨率的大视野图片的问题。本专利技术提供一种全景图合成方法，用于移动设备照相机，包括获取同一场景的多个原始图像，对多个原始图像进行折叠变化和坐标变换，确定 多个原始图像的重叠区域；建立多个原始图像的数学模型，将多个原始图像的重叠区域对准，并将多个原始 图像转换到参考图像的坐标系下；根据参考图像的坐标系获取多个原始图像之间的空间变换关系，选择合适的图像 合成策略，完成图像的合成。本专利技术还提供了一种全景图合成装置，设置于移动设备照相机，包括图像获取模块，用于获取同一场景的多个原始图像；图像预处理模块，用于对多个原始图像进行折叠变化和坐标变换，确定多个原始 图像的重叠区域；图像配准模块，用于建立多个原始图像的数学模型，将多个原始图像的重叠区域 对准，并将多个原始图像转换到参考图像的坐标系下；图像合成模块，用于根据参考图像的坐标系获取多个原始图像之间的空间变换关 系，选择合适的图像合成策略，完成图像的合成。本专利技术有益效果如下通过对多个单张图像进行配准等操作，将一系列单张图片合称为一幅全景图像， 解决了现有技术中由于移动设备终端照相机的视角和大小的局限，不能获得高分辨率的大 视野图片的问题，能够在不降低图像分辨率的条件下获取大视野范围的场景照片，本专利技术 实施例利用相机处理器进行自动匹配，构造一个无缝的、高清晰的图像，它具有比单个图像 更高的分辨率和更大的视野，能够更好的满足移动设备用户的需求。附图说明图1是本专利技术实施例的全景图合成装置的结构示意图；图2是本专利技术实施例的全景图像拼接流程的示意图；图3是本专利技术实施例的图像配准模块处理流程的示意图；图4是本专利技术实施例的RANSAC算法的详细流程图；图5是本专利技术实施例的几何距离示意图；图6是本专利技术实施例的图像合成算法示意图；图7是本专利技术实施例的全景图合成方法的流程图。具体实施例方式为了解决现有技术中由于移动设备终端照相机的视角和大小的局限，不能获得高 分辨率的大视野图片的问题，本专利技术提供了一种全景图合成方法及装置，通过移动设备照 相机将所拍不同角度及大小的图片实现全景拼接，将一组相互间重叠部分的图像序列进行 空间匹配对准，经过采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高 清晰的新图像。以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处 所描述的具体实施例仅仅用以解释本专利技术，并不限定本专利技术。装置实施例根据本专利技术的实施例，提供了一种全景图合成装置，设置于移动设备照相机，图1 是本专利技术实施例的全景图合成装置的结构示意图，如图1所示，根据本专利技术实施例的全景 图合成装置包括图像获取模块10、图像预处理模块12、图像配准模块14、图像合成模块16 四部分。以下对上述各个模块进行详细说明。图2是本专利技术实施例的全景图像拼接流程的示意图，如图2所示，图像获取模块10 获取图像1和图像2后，发送给图像预处理模块12进行拼凑预处理，随后，图像配准模块14 进行图像配准，图像合成模块16进行图像合成，最终获取目标全景图。从图2所示的全景图像拼接流程示意图可以看出，图像的获取是图像处理的第一 步，图像获取模块10用于获取同一场景的多个原始图像。也就是说，图像获取模块10主要 用来获取所要拍摄的图片，为实现获取图像的目的，需要相应的摄像头装置，包括摄像头、 以及驱动装置。在开启摄像头后，将摄像头采集到的图像信息传送到图像预处理模块12，然 后图像预处理模块12对采集到的图像信息进行分析处理，验证图像信息的有效性。需要说 明的是，在实际应用中，由于图像获取的方式不同会导致输入原始图像的不同，最终使用的 图像拼接方法也会不同。图像预处理的目的是保证图像配准的精度，图像预处理模块12用于对多个原始 图像进行折叠变化和坐标变换，确定多个原始图像的重叠区域；具体地，图像预处理模块12对多个原始图像进行图像处理的基本操作，建立图像的匹配模板，对图像进行预订变换、 以及提取图像的特征点集合，确定多个原始图像的重叠区域，其中，图像处理的基本操作包 括直方图处理、以及图像的平滑滤波，预订变换包括以下至少之一傅里叶变换、小波变 换、伽柏变换。也就是说，图像预处理模块12需要对原始图像做一些折叠变化和坐标变换，包括 图像处理的基本操作(例如，直方图处理、图像的平滑滤波等)、建立图像的匹配模板、对图 像进行某种变换(例如，傅立叶变换、小波变换、Gabor变换等)以及提取图像的特征集合 等操作，图像预处理模块12进行初略定位，找到大致的重叠区域，缩小匹配范围，提高图像 合成速度。拼接图像的质量主要依赖图像的配准精度，图像配准模块14用于建立多个原始 图像的数学模型，将多个原始图像的重叠区域对准，并将多个原始图像转换到参考图像的 坐标系下；图像配准的核心问题是寻找一个变换，找到待拼接图像中的模板或特征点在参考 图像中对应的位置，根据模板或者图像特征之间的对应关系，可以计算出数学模型中的各 参量值，从而建立两幅图像的数学模型，使图像间相互重叠部分对准，将待拼接图像转换到 参考图像的坐标系，以此构成完整的图像。精确配准的关键是要有很好地描述两幅图像之 间的转换关系的数学模型。图像配准模块14依据相似性度量来决定图像间的变换参数，使从不同传感器、不 同视角、不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下，在像素层上得 到最佳匹配的过程。具体实现方法为本专利技术实施例首先改进了 Harris角点检测算法，有 效提高所提取特征点的速度和精度。然后利用相似测度归一化互相关(normalized cross correlation，简称为NCC)，通过双向最大相关系数匹配的方法提取出初始特征点对，用随 机采样法(Random SampleConsensus，简称为RANSAC)来剔除伪特征点对，实现特征点对的 精确匹配。最后用正确匹配特征点对实现图像的配准。图3是本专利技术实施例的图像配准模块处理流程的示意图，如图3所示，图像配准模 块14需要对获取的图像进行特征提取、特征匹配、变换模型参数估计、图像重新本文档来自技高网...

【技术保护点】
一种全景图合成方法，用于移动设备照相机，其特征在于，包括：获取同一场景的多个原始图像，对所述多个原始图像进行折叠变化和坐标变换，确定所述多个原始图像的重叠区域；建立所述多个原始图像的数学模型，将所述多个原始图像的所述重叠区域对准，并将所述多个原始图像转换到参考图像的坐标系下；根据所述参考图像的坐标系获取所述多个原始图像之间的空间变换关系，选择合适的图像合成策略，完成图像的合成。

【技术特征摘要】
一种全景图合成方法，用于移动设备照相机，其特征在于，包括获取同一场景的多个原始图像，对所述多个原始图像进行折叠变化和坐标变换，确定所述多个原始图像的重叠区域；建立所述多个原始图像的数学模型，将所述多个原始图像的所述重叠区域对准，并将所述多个原始图像转换到参考图像的坐标系下；根据所述参考图像的坐标系获取所述多个原始图像之间的空间变换关系，选择合适的图像合成策略，完成图像的合成。2.如权利要求1所述的方法，其特征在于，对所述多个原始图像进行折叠变化和坐标 变换，确定所述多个原始图像的重叠区域包括对所述多个原始图像进行图像处理的基本操作，建立图像的匹配模板，对图像进行预 订变换，提取图像的特征点集合，确定所述多个原始图像的重叠区域，其中，所述图像处理 的基本操作包括直方图处理、以及图像的平滑滤波，所述预订变换包括以下至少之一傅 里叶变换、小波变换、伽柏变换。3.如权利要求2所述的方法，其特征在于，所述建立所述多个原始图像的数学模型包括获取所述多个原始图像中所述匹配模板或所述特征点集合在所述参考图像中对应的 位置，根据所述位置计算所述数学模型中的各参量值，建立所述多个原始图像的数学模型。4.如权利要求3所述的方法，其特征在于，将所述多个原始图像的所述重叠区域对准， 并将所述多个原始图像转换到参考图像的坐标系下包括通过特定方式提取所述多个原始图像的特征点；利用相似测度归一化相互关NCC，通过双向最大相关系数匹配方法提取初始特征点对；通过随机采样法随机抽样一致性RANSAC剔除伪特征点对，获取精确匹配的特征点对； 根据投影变换矩阵对所述多个原始图像进行逆向映射变换，将所述多个原始图像转换 到所述参考图像的坐标系下，并根据所述精确匹配的特征点对进行图像的配准。5.如权利要求4所述的方法，其特征在于，所述特征点为角点，所述特定方式为角点检 测算法；所述通过特定方式提取所述多个原始图像的特征点包括对所述多个原始图像中每个原图像中的每一点计算该点在横向和纵向的一阶导数，并 计算横向一阶导数和纵向一阶导数的乘积，获取与每个原图像对应的3幅新的图像，利用 3X3卷积核与所述原图像进行卷积，获取所述原图像每一点的偏导数，并对所述3幅新的 图像进行高斯滤波；根据角点响应函数式即公式1计算所述原图像上对应的每个像素的R值，6.如权利要求5所述的方法，其特征在于，所述利用相似测度归一化相互关NCC，通过 双向最大相关系数匹配方法提取初始特征点对包括 根据公式2建立一个相似测度NCC，7.如权利要求6所述的方法，其特征在于，在根据公式2建立一个相似测度NCC之前， 所述方法还包括采用7X7的中值滤波器将所述图像进行平滑，并将原图像与经过滤波的图像相减的 结果作为操作对象。8.如权利要求6所述的方法，其特征在于，所述RANSAC包括重复N次随机采样，其中，N大于等于1 ；随机选取4对匹配点，线性地计算所述投影变换矩阵，其中，所述4对匹配点应保证样 本中的任意三点不在同一直线上；计算每个匹配点经过所述投影变换矩阵变换后到对应匹配点的距离；根据内点距离小于距离阈值t的原则计算所述投影变换矩阵的内点，选取一个包含内 点最多的点集，并在此内点域上重新计算所述投影变换矩阵，其中，所述内点为满足估计参 数的点。9.如权利要求8所述的方法，其特征在于，根据所述参考图像的坐标系获取所述多个 原始图像之间的空间变换关系，选择合适的图像合成策略，完成图像的合成包括根据公式3和公式4计算两图像重叠区域中像素点的灰度值f(x，y)，10.一种全景图合成装置，设置于移动设备照相机，其特征在于，包括图像获取模块，用于获取同一场景的多个原始图像；图像预...

【专利技术属性】
技术研发人员：刘冬梅，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]