一种图像的拼接方法和装置制造方法及图纸

本发明专利技术提供了一种图像的拼接方法和装置，本发明专利技术根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵。由于对应的像素点的偏移值是区分近景物体和远景物体的主要特征，远景物体对应的偏移值较小，近景物体对应的偏移值较大。此外，根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接时，选取的是差异值较小的拼接缝，而差异值较小时，对应的偏移值也较小，此时最优拼接缝会在图像中的远景物体处形成，不会在图像中的近景物体处形成，进而使拼接的效果较自然。

Method and device for splicing images

The present invention provides a method and apparatus for image stitching, the invention according to the offset corresponding to the pixel points in the overlapping region of the first overlap region and the second in value, and pre calculated corresponding in the overlap region of the first and the second overlapping regions in the pixel value and color difference the edge difference value, construct the difference matrix. Because the offset of the corresponding pixel is the main feature to distinguish the close range object and the prospective object, the offset value of the prospective object is smaller, and the offset value of the close range object is larger. In addition, according to the difference matrix, the overlapped area of the first overlap region and the second mosaic, select the small discrepancy seam, and the difference is small, the corresponding offset value is smaller, the best fight scene object at joints will be in the image formation, not forming close range of objects in the image, and the mosaic effect is natural.

【技术实现步骤摘要】
一种图像的拼接方法和装置
本专利技术涉及图像处理
，更具体的说，涉及一种图像的拼接方法和装置。
技术介绍
随着智能显示设备的普及，多目摄像头的全景图像拍照已经成为了很多硬件智能显示设备所必须配备的功能。现有技术中，当通过多目摄像头拍摄得到两幅图像时，再将两幅图像的重叠区域进行拼接时，首先求取每幅图像的重叠区域上的每个像素点的灰度值和边缘值(索贝尔sobel边缘值或者canny边缘值)，将两幅图像中的重叠区域对应的像素点的灰度值的差值作为颜色差异值，将两幅图像中的重叠区域对应的像素点的边缘值的差值作为边缘差异值，根据每幅图像的重叠区域对应的像素点的颜色差异值和边缘差异值构建差异矩阵，进而根据差异矩阵得到最优拼接缝，能够将两幅图像进行拼接。在图像拼接完成后，发现当两幅图像的重叠区域中有近景物体时，最优拼接缝一般会穿过近景物体，造成图像拼接不自然。因此，亟需一种当两幅图像的重叠区域有近景物体时，图像拼接较自然的方法。
技术实现思路
有鉴于此，本专利技术提供一种图像的拼接方法和装置，以解决现有技术中当两幅图像的重叠区域有近景物体时，图像拼接不自然的问题。为解决上述技术问题，本专利技术采用了如下技术方案：一种图像的拼接方法，包括：计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值；根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵；根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接。优选地，计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值，包括：将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对；根据每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标，计算每个所述匹配特征点对的差异向量；将在所述第一重叠区域中提取的多个第一预设特征点与在所述第二重叠区域中提取的多个第二预设特征点进行匹配，得到多个预设匹配特征点对；根据每个所述匹配特征点对的差异向量以及每个所述预设匹配特征点对的预设差异向量，计算在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值。优选地，将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对之前，还包括：分别获取所述第一重叠区域和所述第二重叠区域；分别将所述第一重叠区域和所述第二重叠区域均匀划分成n个区域，其中，n为正整数且n>1；对所述第一重叠区域划分的每个区域提取预设数量的第一特征点以及对所述第二重叠区域划分的每个区域提取所述预设数量的第二特征点。优选地，将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对，包括：采用尺度不变特征变换SIFT算法，对在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行SIFT特征匹配，得到多个匹配特征点对。优选地，根据每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标，计算每个所述匹配特征点对的差异向量，包括：将每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标的差值作为每个所述匹配特征点对的差异向量。优选地，根据每个所述匹配特征点对的差异向量以及每个所述预设匹配特征点对的预设差异向量，计算在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值，包括：采用Delaunay三角剖分算法，将所述第一重叠区域对应的拓扑结构划分成m个三角形；其中，划分得到的每个三角形的每个顶点为所述匹配特征点对内的第一特征点、或者为所述预设匹配特征点对内的第一预设特征点，且每个三角形内部有且仅包含一个像素点，m为正整数且m>1；根据划分得到的每个三角形的三个顶点分别对应的匹配特征点对的差异向量或者每个预设匹配特征点对的预设差异向量，采用双性差值算法，计算位于每个三角形内部的像素点的偏移值；根据位于每个三角形边上的每个像素点所在的三角形边的两个顶点分别对应的匹配特征点对的差异向量或者每个预设匹配特征点对的预设差异向量，采用双性差值算法，计算位于每个三角形边上的像素点的偏移值。优选地，根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵，包括：根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、颜色差异值和边缘差异值，计算得到在所述第一重叠区域和所述第二重叠区域中对应的像素点的差异值；根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的差异值，构建差异矩阵。一种图像的拼接装置，包括：计算模块，用于计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值；构建模块，用于根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵；拼接模块，用于根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接。优选地，所述计算模块包括：第一匹配子模块，用于将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对；第一计算子模块，用于根据每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标，计算每个所述匹配特征点对的差异向量；第二匹配子模块，用于将在所述第一重叠区域中提取的多个第一预设特征点与在所述第二重叠区域中提取的多个第二预设特征点进行匹配，得到多个预设匹配特征点对；第二计算子模块，用于根据每个所述匹配特征点对的差异向量以及每个所述预设匹配特征点对的预设差异向量，计算在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值。优选地，还包括：获取模块，用于所述第一匹配子模块将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对之前，分别获取所述第一重叠区域和所述第二重叠区域；划分模块，用于分别将所述第一重叠区域和所述第二重叠区域均匀划分成n个区域，其中，n为正整数且n>1；提取模块，用于对所述第一重叠区域划分的每个区域提取预设数量的第一特征点以及对所述第二重叠区域划分的每个区域提取所述预设数量的第二特征点。优选地，所述第一匹配子模块包括:匹配单元，用于采用尺度不变特征变换SIFT算法，对在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行SIFT特征匹配，得到多个匹配特征点对。优选地，所述第一计算子模块包括:计算单元，用于将每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标的差值作为每个所述匹配特征点对的差异向量。优选地，所述第二计算子模块包括：三角形划分单元，用于采用Delaunay三角剖分算法，将所述第一重叠区域对应的拓扑结构划分成m个三角形；其中，划分得到的每个三角形的每个顶点为所述匹配特征点对内的第一特本文档来自技高网...

【技术保护点】
一种图像的拼接方法，其特征在于，包括：计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值；根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵；根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接。

【技术特征摘要】
1.一种图像的拼接方法，其特征在于，包括：计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值；根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵；根据所述差异矩阵，将所述第一重叠区域和所述第二重叠区域进行拼接。2.根据权利要求1所述的拼接方法，其特征在于，计算在第一重叠区域和第二重叠区域中对应的像素点的偏移值，包括：将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对；根据每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标，计算每个所述匹配特征点对的差异向量；将在所述第一重叠区域中提取的多个第一预设特征点与在所述第二重叠区域中提取的多个第二预设特征点进行匹配，得到多个预设匹配特征点对；根据每个所述匹配特征点对的差异向量以及每个所述预设匹配特征点对的预设差异向量，计算在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值。3.根据权利要求2所述的拼接方法，其特征在于，将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对之前，还包括：分别获取所述第一重叠区域和所述第二重叠区域；分别将所述第一重叠区域和所述第二重叠区域均匀划分成n个区域，其中，n为正整数且n>1；对所述第一重叠区域划分的每个区域提取预设数量的第一特征点以及对所述第二重叠区域划分的每个区域提取所述预设数量的第二特征点。4.根据权利要求2所述的拼接方法，其特征在于，将在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行匹配，得到多个匹配特征点对，包括：采用尺度不变特征变换SIFT算法，对在所述第一重叠区域中提取的多个第一特征点与在所述第二重叠区域中提取的多个第二特征点进行SIFT特征匹配，得到多个匹配特征点对。5.根据权利要求2所述的拼接方法，其特征在于，根据每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标，计算每个所述匹配特征点对的差异向量，包括：将每个所述匹配特征点对内第一特征点的空间位置坐标与第二特征点的空间位置坐标的差值作为每个所述匹配特征点对的差异向量。6.根据权利要求2所述的拼接方法，其特征在于，根据每个所述匹配特征点对的差异向量以及每个所述预设匹配特征点对的预设差异向量，计算在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值，包括：采用Delaunay三角剖分算法，将所述第一重叠区域对应的拓扑结构划分成m个三角形；其中，划分得到的每个三角形的每个顶点为所述匹配特征点对内的第一特征点、或者为所述预设匹配特征点对内的第一预设特征点，且每个三角形内部有且仅包含一个像素点，m为正整数且m>1；根据划分得到的每个三角形的三个顶点分别对应的匹配特征点对的差异向量或者每个预设匹配特征点对的预设差异向量，采用双性差值算法，计算位于每个三角形内部的像素点的偏移值；根据位于每个三角形边上的每个像素点所在的三角形边的两个顶点分别对应的匹配特征点对的差异向量或者每个预设匹配特征点对的预设差异向量，采用双性差值算法，计算位于每个三角形边上的像素点的偏移值。7.根据权利要求1所述的拼接方法，其特征在于，根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、以及预先计算得到的在所述第一重叠区域和所述第二重叠区域中对应的像素点的颜色差异值和边缘差异值，构建差异矩阵，包括：根据在所述第一重叠区域和所述第二重叠区域中对应的像素点的偏移值、颜色差异值和边缘差异值，计算得到在所述第一重叠区域和所述第二重叠区域中对...

【专利技术属性】
技术研发人员：王琳，王西颖，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11