【技术实现步骤摘要】
本公开属于全景拼接，具体涉及全景拼接方法和装置、电子设备和存储介质。
技术介绍
1、全景拼接技术旨在将全景相机在同一场景中捕获的、具有相互重叠区域的图像或视频，拼接成既满足需求又兼具宽视野和高分辨率的全景图像或视频。选择合适的拼接模型对于获取高质量的全景拼接视图至关重要。如果拼接模型中设定的拼接距离与实际场景相对相机的距离不一致，将不可避免地导致拼接图像出现对齐错误，具体表现为错位、拼缝以及鬼影等现象，从而影响全景拼接的视觉效果。
2、目前，全景拼接技术的大部分方案通常关注于相机之间的三维旋转关系，而忽略了相机之间的三维位移，从而引发视差问题。有些方案考虑相机之间的三维位移并引入拼接距离参数的做法，来消除指定距离下的视差问题，但依旧无法同时处理所有距离范围内的视差问题。另外，也有些方案使用场景纹理内容并采用计算机视觉方法来对齐图像的方法，以此处理视差问题，但此方法计算资源消耗巨大，且对于弱纹理场景不鲁棒，在处理深度突变的场景时变得尤为困难。此外，现有的技术能够实现空间域的图像拼接，而无法实现时域的视频拼接，这限制了动态场景下的全景拼接效果。再者，全景相机重叠区域的前景视差校正可能会引起背景的变化，给观看者带来视觉上的突兀感。
技术实现思路
1、本公开的目的在于提供全景拼接方法和装置、电子设备和存储介质，其能够减少相机视差和拼接对齐错误，显著提升全景拼接质量。
2、第一方面，本公开提供一种全景拼接方法。所述全景拼接方法包括：获取来自同一场景中多个相机的拍摄图像
3、在第一方面的一种实现方式中，所述半球的球心为所述虚拟相机坐标系的原点，所述半球的半径为最远拼接距离，所述圆柱的上底面的圆心为所述虚拟相机坐标系的原点，所述圆柱的下底面的圆心为世界坐标系的原点，所述圆柱的半径为所述最远拼接距离，所述圆柱的高为所述多个相机的离地高度。
4、在第一方面的一种实现方式中，基于所述重映射查找表和所述融合查找表对所述拍摄图像相继进行映射和融合以得到全景拼接输出图像包括：基于所述重映射查找表对所述拍摄图像的各重叠区域进行纹理映射，以得到第一映射图像；基于所述重映射查找表对所述拍摄图像的各非重叠区域进行纹理映射，以得到第二映射图像；基于所述融合查找表对所述第一映射图像进行图像融合，以得到融合图像；以及对所述第二映射图像和所述融合图像进行拼接，以得到所述全景拼接输出图像。
5、在第一方面的一种实现方式中，所述全景拼接方法还包括：基于所述拼接模型生成所述重映射查找表和所述融合查找表，包括：标定所述多个相机以确定所述多个相机的内参和外参；配置第一拼接参数和第二拼接参数，其中所述第一拼接参数为输出图像的成像参数，所述第二拼接参数与所述拼接模型有关；基于所述内参、所述外参、所述第一拼接参数和所述第二拼接参数，构建所述重映射查找表和所述融合查找表；以及保存所述重映射查找表和所述融合查找表。
6、在第一方面的一种实现方式中，所述第一拼接参数包括输出图像的宽、输出图像的高、输出图像的水平视场角、输出图像的垂直视场角、输出图像的中心点水平偏移量、输出图像的中心点垂直偏移量和输出图像的投影方式中的至少一项，所述第二拼接参数包括所述多个相机的离地高度和最远拼接距离。
7、在第一方面的一种实现方式中，基于所述内参、所述外参、所述第一拼接参数和所述第二拼接参数，构建所述重映射查找表包括：遍历所述输出图像中的坐标(x,y)；将所述坐标(x,y)反投影到以虚拟相机坐标系的原点oc为球心的球面上，并记投影点为pc，射线为
8、基于所述第一拼接参数，计算所述射线的方向向量为基于所述第二拼接参数，确定所述方向向量的模长s；根据公式计算所述投影点pc在所述虚拟相机坐标系下的坐标[pcx pcy pcz]t；基于所述外参和所述坐标[pcx pcy pcz]t，计算所述投影点pc在不同物理相机坐标系下的坐标[xc yc zc]t；以及基于所述内参，将所述坐标[xc yc zc]t转换为输入图像上的像素坐标(u,v)。
9、在第一方面的一种实现方式中，基于所述第一拼接参数，计算所述射线的方向向量为包括采用如下公式：
10、
11、
12、其中dst_center_x表示输出图像的中心点水平偏移量，dst_center_y表示输出图像的中心点垂直偏移量，dst_fov_x表示输出图像的水平视场角，dst_fov_y表示输出图像的垂直视场角，dst_width表示输出图像的宽，dst_height表示输出图像的高。
13、在第一方面的一种实现方式中，基于所述第二拼接参数，确定所述方向向量的模长s包括：
14、当时，s＝r
15、当且时，
16、当且时，
17、其中表示所述方向向量的x向坐标点，表示所述方向向量的y向坐标点，表示所述方向向量的z向坐标点，r表示最远拼接距离，h表示虚拟相机的离地高度。
18、在第一方面的一种实现方式中，基于所述外参和所述坐标[pcx pcy pcz]t，计算所述投影点pc在不同物理相机坐标系下的坐标[xc yc zc]t包括采用如下公式：
19、
20、其中pc表示投影点pc在虚拟相机坐标系下的坐标[pcx pcy pcz]t，t0c表示外参矩阵，t01表示相机1相对于相机0的外参，t02表示相机2相对于相机0的外参，p0表示投影点pc在相机0坐标系下的坐标，p1表示投影点pc在相机1坐标系下的坐标，p2表示投影点pc在相机2坐标系的坐标。
21、在第一方面的一种实现方式中，基于所述内参，将所述坐标[xc yc zc]t转换为输入图像上的像素坐标(u,v)包括采用如下公式：
22、
23、r2＝x'2+y'2,
24、
25、其中k1、k2、k3、k4、k5和k6表示径向畸变系数，p1和p2表示切向畸变系数，fx、fy表示相机的焦距，cx、cy表示图像中心点的偏移量。
26、在第一方面的一种实现方式中，基于所述重映射查找表和所述融合查找表对所述拍摄图像相继进行映射和融合以得到全景拼接输出图像包括：将输入的所述拍摄图像划分为重叠区域和非重叠区域；对于所述重叠区域，先基于所述重映射查找表进行纹理映射，再基于所述融合查找表对经过纹理映射的所述重叠区域进行图像融合，得到处理后的重叠区域；对于所述非重叠区域，基于所述重映射查找表进行纹理映射，得到处理后的非重叠区域；以及组合所述处理后的重叠区域和所述处理后的非重叠区域，得到所述全景拼接输出图像。
27、在第一方面的一种实现方式中，对于所述重叠本文档来自技高网...
【技术保护点】
1.一种全景拼接方法，其特征在于，包括：
2.根据权利要求1所述的全景拼接方法，其特征在于，所述半球的球心为所述虚拟相机坐标系的原点，所述半球的半径为最远拼接距离，
3.根据权利要求1所述的全景拼接方法，其特征在于，基于所述重映射查找表和所述融合查找表对所述拍摄图像相继进行映射和融合以得到全景拼接输出图像包括：
4.根据权利要求1所述的全景拼接方法，其特征在于，还包括：基于所述拼接模型生成所述重映射查找表和所述融合查找表，包括：
5.根据权利要求4所述的全景拼接方法，其特征在于，所述第一拼接参数包括输出图像的宽、输出图像的高、输出图像的水平视场角、输出图像的垂直视场角、输出图像的中心点水平偏移量、输出图像的中心点垂直偏移量和输出图像的投影方式中的至少一项，
6.根据权利要求4所述的全景拼接方法，其特征在于，基于所述内参、所述外参、所述第一拼接参数和所述第二拼接参数，构建所述重映射查找表包括：
7.根据权利要求6所述的全景拼接方法，其特征在于，基于所述第一拼接参数，计算所述射线的方向向量为包括采用如下公式：p>
8.根据权利要求6所述的全景拼接方法，其特征在于，基于所述第二拼接参数，确定所述方向向量的模长S包括：
9.根据权利要求6所述的全景拼接方法，其特征在于，基于所述外参和所述坐标[Pcx PcyPcz]T，计算所述投影点Pc在不同物理相机坐标系下的坐标[Xc Yc Zc]T包括采用如下公式：
10.根据权利要求6所述的全景拼接方法，其特征在于，基于所述内参，将所述坐标[XcYc Zc]T转换为输入图像上的像素坐标(u,v)包括采用如下公式：
11.根据权利要求1所述的全景拼接方法，其特征在于，基于所述重映射查找表和所述融合查找表对所述拍摄图像相继进行映射和融合以得到全景拼接输出图像包括：
12.根据权利要求11所述的全景拼接方法，其特征在于，对于所述重叠区域，先基于所述重映射查找表进行纹理映射包括：
13.根据权利要求11所述的全景拼接方法，其特征在于，基于所述融合查找表对经过纹理映射的所述重叠区域进行图像融合包括：
14.根据权利要求13所述的全景拼接方法，其特征在于，基于Alpha融合算法对经过纹理映射的重叠区域进行图像融合包括：
15.根据权利要求14所述的全景拼接方法，其特征在于，基于所述alpha(x,y)和所述像素值Image c(x,y)，计算融合像素值包括采用如下公式：
16.根据权利要求4所述的全景拼接方法，其特征在于，标定所述多个相机以确定所述多个相机的内参和外参包括：
17.一种全景拼接装置，其特征在于，包括：
18.根据权利要求17所述的全景拼接装置，其特征在于，还包括：
19.一种电子设备，其特征在于，包括：
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现根据权利要求1至16中任一项所述的全景拼接方法。
...【技术特征摘要】
1.一种全景拼接方法，其特征在于，包括：
2.根据权利要求1所述的全景拼接方法，其特征在于，所述半球的球心为所述虚拟相机坐标系的原点，所述半球的半径为最远拼接距离，
3.根据权利要求1所述的全景拼接方法，其特征在于，基于所述重映射查找表和所述融合查找表对所述拍摄图像相继进行映射和融合以得到全景拼接输出图像包括：
4.根据权利要求1所述的全景拼接方法，其特征在于，还包括：基于所述拼接模型生成所述重映射查找表和所述融合查找表，包括：
5.根据权利要求4所述的全景拼接方法，其特征在于，所述第一拼接参数包括输出图像的宽、输出图像的高、输出图像的水平视场角、输出图像的垂直视场角、输出图像的中心点水平偏移量、输出图像的中心点垂直偏移量和输出图像的投影方式中的至少一项，
6.根据权利要求4所述的全景拼接方法，其特征在于，基于所述内参、所述外参、所述第一拼接参数和所述第二拼接参数，构建所述重映射查找表包括：
7.根据权利要求6所述的全景拼接方法，其特征在于，基于所述第一拼接参数，计算所述射线的方向向量为包括采用如下公式：
8.根据权利要求6所述的全景拼接方法，其特征在于，基于所述第二拼接参数，确定所述方向向量的模长s包括：
9.根据权利要求6所述的全景拼接方法，其特征在于，基于所述外参和所述坐标[pcx pcypcz]t，计算所述投影点pc在不同物理相机坐标系下的坐标[xc yc zc]t包括采用如下公式：
【专利技术属性】
技术研发人员：徐达，谢阳铭，
申请(专利权)人：瑞芯微电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。