一种快速的高质量图像拼接方法、装置和系统制造方法及图纸

本发明专利技术涉及计算机视觉技术领域，本发明专利技术提供一种快速的高质量图像拼接方法、装置和系统，其中，方法包括：对两幅具有内容重叠的第一图像和第二图像进行预处理；将第一图像和第二图像的预处理结果输入到掩码预测模块；通过掩码预测模块预测第一图像和第二图像的接缝；依据第一图像和第二图像的接缝对第一图像和第二图像进行拼接得到第三图像；将第三图像输入到损失计算模块，使得第三图像收敛到第一图像和第二图像的最佳接缝位置。本发明专利技术解决了现有图像拼接过程中接缝预测方法难以平衡计算速度和接缝质量的技术问题，在保证接缝质量的同时提升接缝预测的速度，兼具高速和高质量的优点，可用于全景相机、视频监控和自动驾驶等多个领域，应用范围广。应用范围广。应用范围广。

【技术实现步骤摘要】
一种快速的高质量图像拼接方法、装置和系统


[0001]本专利技术涉及计算机视觉
，特别是涉及一种快速的高质量图像拼接方法、装置和系统。

技术介绍

[0002]图像拼接是一项实用且具有挑战性的计算机视觉任务，它以多视图图像作为输入并恢复它们的全景图像。
[0003]通常，图像拼接可以分为两个步骤：图像配准和图像融合。图像配准估计两个输入图像的单应性参数以对齐它们，而图像融合通过融合两个对齐的图像来获得自然的拼接图像。但是，由于单应变换不能完美对齐两幅图像，拼接结果中经常出现融合重影，导致视觉体验不佳，接缝驱动策略是图像拼接中最常用的策略，可以有效地消除融合重影，它预测一条避开像素错位区域的接缝，这样就可以在接缝附近进行图像融合，而不会造成融合重影。
[0004]目前，最常用的接缝预测方法分为两类：基于DP（Dynamic Programming，动态规划）和基于GraphCut（图割），DP通过路径搜索来预测接缝，速度快但接缝质量差，GraphCut将接缝预测转化为最小割问题，通过迭代优化能量函数预测高质量的接缝，但速度太慢，无法适应很多应用场景。上述接缝预测方法分别体现了对接缝预测的高速、高质量的要求，然而，这两个要求在现有方法中无法平衡，为了同时满足它们，需要提出一种新型的接缝预测方法，它需要同时具有DP 的高速和 GraphCut的高质量。
[0005]鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。

技术实现思路

[0006]本专利技术为图像拼接过程的中的接缝预测提供一种新型的预测方法，用以解决目前现有的接缝预测方法难以平衡计算速度和接缝质量的技术问题，从而改进图像拼接效果，提升图像视觉体验。
[0007]为了解决上述技术问题，本专利技术采用如下技术方案：第一方面，本专利技术提供一种快速的高质量图像拼接方法，包括：对两幅具有内容重叠的第一图像和第二图像进行预处理；将第一图像和第二图像的预处理结果输入到掩码预测模块；通过掩码预测模块预测第一图像和第二图像的接缝；依据第一图像和第二图像的接缝对第一图像和第二图像进行拼接得到第三图像。
[0008]优选的，所述对两幅具有内容重叠的第一图像和第二图像进行预处理，包括：将第一图像和第二图像进行配准，得到第一图像和第二图像的单应变换模型；依据单应变换模型，将第一图像和第二图像投影到同一坐标系下的公共平面，并使得第一图像和第二图像对齐。
[0009]优选的，所述将第一图像和第二图像进行配准，包括：将第一图像和第二图像缩放至标准大小，并将第一图像和第二图像转化为灰度
图；对第一图像和第二图像的灰度图进行边缘提取得到第一图像和第二图像的边缘图像；将第一图像和第二图像的边缘图像作差，得到第一图像和第二图像的差值图像。
[0010]优选的，所述通过掩码预测模块预测第一图像和第二图像的接缝，包括：将第一图像和第二图像的差值图像输入到掩码预测模块，通过掩码预测模块预测第一图像和第二图像的有效区域掩码；提取第一图像和第二图像的有效区域，将第一图像和第二图像的有效区域掩码的公共边界作为第一图像和第二图像拼接的接缝。
[0011]优选的，所述掩码预测模块包括依次连接的编码器、解码器和掩码预测头，所述通过掩码预测模块预测第一图像和第二图像的有效区域掩码，包括：将第一图像和第二图像的差值图像输入到编码器进行特征编码，得到包含有层次图像特征的图像特征金字塔；将图像特征金字塔输入到解码器进行解码，得到特征张量；将特征张量输入到掩码预测头对第一图像和第二图像的有效区域掩码进行预测。
[0012]优选的，在所述依据第一图像和第二图像的接缝对第一图像和第二图像进行拼接得到第三图像，之后还包括：将第三图像输入到损失计算模块得到选择一致性损失，使得第三图像收敛到第一图像和第二图像的最佳接缝位置。
[0013]优选的，所述使得第三图像收敛到第一图像和第二图像的最佳接缝位置，包括：通过损失计算模块，分别计算第三图像在第一图像和第二图像的非重叠区域的像素损失，以及，第三图像在第一图像和第二图像的重叠区域的像素损失；通过计算的像素损失结果，对第一图像和第二图像的接缝进行完整定义；对完整定义后的第一图像和第二图像的接缝进行优化。
[0014]优选的，所述对完整定义后的第一图像和第二图像的接缝进行优化，包括：以第一图像和第二图像的接缝为中心划定一条图像带，以图像带内第一图像和第二图像的局部相似性作为接缝质量的评价标准；对第一图像和第二图像以及第三图像进行均值滤波；对均值滤波后的第一图像和第二图像以及第三图像应用选择一致性损失。
[0015]第二方面，本专利技术提供一种快速的高质量图像拼接装置，使用第一方面所述的快速的高质量图像拼接方法，装置包括：用于对第一图像和第二图像的接缝进行预测的掩码预测模块；所述掩码预测模块包括依次连接的编码器、解码器和掩码预测头，其中，所述编码器中的特征提取单元和所述解码器中的反卷积元逐层连接；以及，用于对第一图像和第二图像的接缝进行优化的损失计算模块；利用所述损失计算模块使得第三图像收敛到第一图像和第二图像的最佳接缝位置。
[0016]第三方面，本专利技术提供一种快速的高质量图像拼接系统，系统包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至
少一个处理器执行的指令，所述指令被所述处理器执行，用于执行第一方面所述的快速的高质量图像拼接方法。
[0017]针对现有技术中的不足，本专利技术所能取得的有益效果为：本专利技术将接缝预测问题转化为掩码预测问题，通过掩码预测方式预测接缝，将图像的有效区域掩码的公共边界定义为接缝线，有效提升了接缝预测速度，融合局部信息使得在定义接缝的同时能够评价接缝的质量，使得拼接图像能收敛到最佳接缝位置，有效提高了接缝的质量，兼具高速和高质量的优点。
[0018]进一步的，本专利技术通过应用选择一致性损失，使得拼接图像在重叠区域只与输入图像二者之一保持一致，有效避免了融合鬼影的出现；另外，对输入图像进行边缘提取，在过滤掉无用信息的同时突出了对接缝预测更重要的边缘信息，能进一步提高预测接缝的质量。
[0019]实验结果表明，使用本专利技术提出的接缝预测方法，预测接缝的质量接近GraphCut方法，同时计算速度达到了170 FPS，是GraphCut方法的15倍左右，能适应更多的有高速高质量要求的任务场景。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例1提供的一种快速的高质量图像拼接方法的流程图；图2是本专利技术实施例1提供的还一种快速的高质量图像拼接方法的流程图；图3是本专利技术实施例1提供的另一种快速的高质量图像拼接方法的流程图；图4是本专利技术实施例1提供的又一种快本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速的高质量图像拼接方法，其特征在于，包括：对两幅具有内容重叠的第一图像和第二图像进行预处理；将第一图像和第二图像的预处理结果输入到掩码预测模块；通过掩码预测模块预测第一图像和第二图像的接缝；依据第一图像和第二图像的接缝对第一图像和第二图像进行拼接得到第三图像。2.根据权利要求1所述的快速的高质量图像拼接方法，其特征在于，所述对两幅具有内容重叠的第一图像和第二图像进行预处理，包括：将第一图像和第二图像进行配准，得到第一图像和第二图像的单应变换模型；依据单应变换模型，将第一图像和第二图像投影到同一坐标系下的公共平面，并使得第一图像和第二图像对齐。3.根据权利要求2所述的快速的高质量图像拼接方法，其特征在于，所述将第一图像和第二图像进行配准，包括：将第一图像和第二图像缩放至标准大小，并将第一图像和第二图像转化为灰度图；对第一图像和第二图像的灰度图进行边缘提取得到第一图像和第二图像的边缘图像；将第一图像和第二图像的边缘图像作差，得到第一图像和第二图像的差值图像。4.根据权利要求3所述的快速的高质量图像拼接方法，其特征在于，所述通过掩码预测模块预测第一图像和第二图像的接缝，包括：将第一图像和第二图像的差值图像输入到掩码预测模块，通过掩码预测模块预测第一图像和第二图像的有效区域掩码；提取第一图像和第二图像的有效区域，将第一图像和第二图像的有效区域掩码的公共边界作为第一图像和第二图像拼接的接缝。5.根据权利要求4所述的快速的高质量图像拼接方法，其特征在于，所述掩码预测模块包括依次连接的编码器、解码器和掩码预测头，所述通过掩码预测模块预测第一图像和第二图像的有效区域掩码，包括：将第一图像和第二图像的差值图像输入到编码器进行特征编码，得到包含有层次图像特征的图像特征金字塔；将图像特征金字塔输入到解码器进行解码，得到特征张量；将特征张量输入到掩码预测头对第一图像和第二图像的有效区域掩码进行预测。6.根据权利要求1所述的快速的高质量图像拼接方法，其特征...

【专利技术属性】
技术研发人员：陶文兵，程森茂，刘李漫，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：