一种移动平台上的实时全景跟踪与拼接方法技术

本发明专利技术提出了一种移动平台上的实时全景跟踪与拼接方法。1）每一帧通过相机捕获的图像，先做特征跟踪，然后计算当前相机在三维空间的旋转姿态；2）在进行实时的相机姿态估计的同时，还检测相机的中心是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；3)添加关键帧和三维特征点，以及利用集束调整的方法优化相关的参数，更新整个Map。4）全景离线合成：后台离线将多张图片实时拼接在一起，实现对图像的曝光补偿和多频带融合，高质量的生成几何一致的全景图；结果表明，本发明专利技术的基于多视角全景的场景表达方式具有非常好的场景表达能力。

【技术实现步骤摘要】

本专利技术设及一种全景的场景表达方法，尤其设及一种移动平台上的实时全景跟踪 与拼接方法。 技术背景 全景图是一种常见的场景浏览方式，可W看作是普通广角镜头的推广，具有更大 的视角和更广的场景信息。全景图W其特有的视觉表现形式可W广泛应用于场景漫游，虚 拟现实，纹理映射，增强现实等各个领域。 传统的全景图生成方法，包括化vidLowe的基于尺度不变特征（SIFT) (Lowe,DavidG.DistinctiveImageFeaturesfromScale-InvariantKeypoints. InternationalJournalofComputerVision60. 2,2004:91-110.)的照片图像拼接方法 (MatthewBrown,DavidG.Lowe.AutomaticPanoramicImageStitchingusingInvariant Features.InternationalJournalofComputerVision, 2007, 74(1):59-73)，Google 的基于巧螺仪的全景拍摄App-化otoS地ere(ht1:ps://www.google,com/maps/油out/ contribute/地otos地ere/)，微软的基于图像特征拍摄的全景App-化otoSynthOittps: // photosynth.net/)。其中化vid的全景生成算法是基于SIFT特征匹配的，借助于SIFT算法 强大的特征描述能力和匹配精度，David的算法可W在大场景下，生成无边缝，无色差，几何 一致的全景图。但是由于SIFT的计算非常耗时，使得该种算法不适合在移动平台上使用。 Google的全景拍摄App是基于巧螺仪得到的旋转参数的，在移动平台上，巧螺仪该些传感 器的信息可W做到每秒60帖的更新频率，因为可W在移动平台上做到实时预览的效果。然 而内置的传感器会有很大的噪音，尤其当该些传感器的噪音映射到图像上之后，在图像上 会看到明显的边界和缝隙，一些基本的几何结构不能保持一致性，例如线段会在图像交接 处断开等。微软的化otoSynth用到图像的特征信息，因而在图像上能够保持比较明显的几 何一致性，边缘部分相对于Google的化otoS地ere有比较好的融合度。但是化otoSynth 虽然是假设相机的纯旋转运动，却并没有严格的限制手持用户的操作，即使用户有比较明 显的平移操作，即相机的中屯、移动了，还是会把图像加进来，该样做图像合成就会有比较明 显的几何误差，尤其是在室内场景中，由于物体的景深比较小，相机上微弱的移动反映在图 像上都是较大的偏移。因此非常有必要对相机的平移做一个检测，同时及时的给出反馈，保 证加入全景的图像不存在较大的平移，只有输入的原始图像符合纯旋转的几何属性，最终 生成的全景图才可能是几何一致的。传统的处理全景图的方法大都把注意力集中在如何去 消除相机中屯、移动造成的图像之间的几何误差上，而没有人去从源头检查输入的图像是否 满足纯旋转的约束。 该专利技术首先设计一种在移动终端上实现的实时全景跟踪系统，实现了快速相机姿 态（3DCF)的估计，同时还能在跟踪的过程中，实时的检测每一帖的相机是否有平移运动， 并及时的做出反馈，指导用户按照纯旋转的方法进行拍摄。实验结果显示：通过该种实时的 检测和反馈的形式，普通用户能够很好的拍摄出无偏差的全景图。
技术实现思路
本专利技术的目的在于针对传统全景制作方法的不足，提出一种移动平台上的实时全 景跟踪与拼接方法。 包括如下步骤： 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态；[000引2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束； 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算； 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。 所述的步骤1)具体为： a)将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测 FAST特征点； b)在每一帖的特征跟踪开始之前，基于上一帖相机的姿态W及当前帖的图像信 息，预估计当前帖的相机姿态； C)用估计的相机姿态，将Map里的=维特征点投影到当前帖图像上，作为特征点 跟踪的初始位置，并将特征点捜索限制在距离当前特征点半径为10像素的窗口范围内；d)选用FAST来做特征检测，采用图像Patch来做特征跟踪和匹配，并进行图像亮 度变化和图像崎变处理； e)定义能量函数估计相机姿态的增量，引入MEstimator剔除outliers,然后利用 加权最小二乘迭代优化，求解出当前帖的相机参数； f)将图像分成四层金字塔，在最高两层估计初始相机姿态，在下面两层进行优化。 [001引所述步骤3)具体为： 1)选取特征匹配达到30%W上，与之前添加关键帖有至少20帖距离的关键帖，且 严格控制相机中屯、做旋转运动，利用参考帖和当前帖的单应性关系扩展Map; 2)将多个关键帖与多个特征点之间的投影约束关系放到一个能量函数里面，利用 球面模型的集束调整进行整体优化，更新整个Map,整个Mapping过程放在后台线程来计 算。 本专利技术的优点在于；在移动终端上设计并实现了实时全景跟踪与生成系统，相比 较传统的全景系统，在进行实时的相机姿态估计的同时，还检测相机的中屯、是否发生位移， 当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，最大程度上减小捕 获的图像之间的平移误差，保证图像最大可能满足在一个球面上的约束。利用集束调整的 方法优化相关的参数，更新整个Map,最终生成的全景图的质量也能得到保证。【附图说明】 图1是移动平台上实时全景跟踪系统框架图； 图2是实时全景跟踪与Map扩展过程。【具体实施方式】 包括如下步骤： 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态； 2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束； 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算；[002引 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。 图1为移动平台上的实时全景跟踪系统框架。 所述的基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然 后计算当前相机在=维空间的旋转姿态的具体步骤为： 1)图像获取 首先从设备上获取640x480分辨率的RGBA格式图像，将图像转为8比特（256级） 本文档来自技高网...

【技术保护点】
一种移动平台上的实时全景跟踪与拼接方法，其特征在于包括如下步骤：1）基于球面模型的实时跟踪：每一帧通过相机捕获的图像，先做特征跟踪，然后计算当前相机在三维空间的旋转姿态；2）快速鲁棒的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中心是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；3）Map扩展和更新：添加关键帧和三维特征点，利用集束调整的方法进行优化，更新整个Map，整个Mapping过程放在后台线程来计算；4）全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和多频带融合, 高质量的生成几何一致的全景图。

【技术特征摘要】

【专利技术属性】
技术研发人员：章国锋，鲍虎军，王楠，刘宇，林根，
申请(专利权)人：浙江大学，杭州深粉象数字科技有限公司，
类型：发明
国别省市：浙江;33