【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种鱼眼图像矫正拼接方法及系统。
技术介绍
1、鱼眼镜头是一种广角摄像头，其镜头设计使其能够捕捉到更广泛的视野区域，消除了传统摄像头中存在的盲区问题，提高了监测的全面性。因此，在安装时只需要较少的摄像头，很大程度下降低了安装和维护的成本。随着城市交通压力不断加大，车辆迅速增多，在交通路口、高速公路和停车场等地方使用鱼眼摄像头可以提高交通监管的效率，帮助减少交通事故和提高交通流畅度。因此，鱼眼镜头的广阔视野使其成为监控系统中的理想选择，为各种领域的监控提供了更加灵活和综合的解决方案，为社会的安全和发展提供可靠的支持。
2、尽管鱼眼镜头在提供极广视角方面具有独特的优势，但其特殊视角使得其捕捉到的图像呈现出球面投影的特性，这种畸变不仅影响了图像的外观，还可能导致对物体尺寸和形状的误解。因此，鱼眼图像矫正和拼接成为至关重要的技术，以克服这些潜在的视觉问题。通过鱼眼图像矫正能够消除或最小化这些畸变，使图像更符合实际场景，有效提高图像质量和准确性，同时，拼接技术允许将多个鱼眼图像巧妙地无缝融合，创造出连续而完整的全景图。通过拼接，用户可以获得更全面、更完整的视野，而不受单一摄像头视角的限制。这在监控系统、虚拟导航以及特定环境下的数据采集等方面发挥着重要作用。
3、综上所述，在鱼眼镜头应用背景下，鱼眼图像矫正和拼接是一个值得关注的问题。为了提高鱼眼图像质量和准确性，研究人员正努力探索和发展鱼眼图像矫正技术、鱼眼图像拼接技术以及深度学习算法等方法，以期为各种领域的监控提供更有效的技术手段。p>
技术实现思路
1、为了解决上述鱼眼镜头受图像畸变和变形的问题，本专利技术提出了一种鱼眼图像矫正拼接方法及系统，基于自监督表示学习，为编码鱼眼图像中细粒度畸变表征引入了一种有效的方法对矫正鱼眼图像网络进行微调，再使用基于像素扭转的方法处理大视差问题，将已经矫正的鱼眼图像进行拼接，得到无缝且连贯的全景图，获得更全面、更完整的视野。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供了一种鱼眼图像矫正拼接方法，包括以下步骤：
4、s1、鱼眼图像数据集构建：收集鱼眼镜头拍摄到的鱼眼图像构建鱼眼图像数据集，并将鱼眼图像划分为2d图像块；
5、s2、自监督预训练：采用自监督预训练模块进行自监督预训练，提取鱼眼图像的细粒度畸变表征；
6、s3、鱼眼图像矫正：使用提取到的细粒度畸变表征，通过鱼眼图像矫正模块学习全尺度映射流，获得矫正后的鱼眼图像对；
7、s4、像素级图像映射：将矫正后的鱼眼图像对分为目标图像和参考图像，利用映射矢量将目标图像的像素重新定位到参考图像平面上，对目标图像中的重叠区域直接估算二维映射矢量；对非重叠区域上像素的损失进行正则化，得到映射后的目标图像；
8、s5、鱼眼图像拼接：将映射后的目标图像与参考图像馈送到siamesemae网络混合以生成最终的全景拼接图像。
9、作为本专利技术的进一步技术方案，步骤s1所述鱼眼图像为，将鱼眼图像划分的2d图像块为，其中h和w是图像 的高度和宽度，s是图像块的大小，表示2d图像块的数量。
10、作为本专利技术的进一步技术方案，步骤s2的具体过程为：
11、s21、将2d图像块战平并使用线性投影将其映射到d维度，得到图像块嵌入 ；
12、s22、对鱼眼图像设计特定的畸变位置图，畸变位置图中的每个值表示对应的图像块的畸变程度，畸变位置图中的值从图像块半径中获得；
13、s23、将图像块嵌入 的第一维度任意打乱后，将位置嵌入添加到打乱的图像块嵌入得到新的图像块嵌入 ，再将新的图像块嵌入输入到visiontransformer网络中，得到抽象图像块表示；
14、s24、采用与步骤s23相同的方式对畸变位置图 进行打乱和重塑，得到畸变度标注，畸变度标注对应于抽象图像块表示；
15、s25、将畸变度相同的图像块视为正例，将畸变度不同的图像块视为负例，使用对比学习将不同抽象图像块表示中的局部独特畸变进行编码，对比学习过程中的损失函数定义如下：
16、，
17、其中，代表 中的第i个抽象图像块表示，是第i个抽象图像块的正例索引集合，表示是否计算的评估指标函数，总体对比损失在个抽象图像块表示上计算得到的，；
18、s26、使用鱼眼图像数据集对自监督预训练模块进行预训练端到端优化，训练目标为，通过预训练好的自监督预训练模块提取鱼眼图像的细粒度畸变表征。
19、作为本专利技术的进一步技术方案，步骤s3的具体过程为：
20、s31、将鱼眼图像通过与步骤s21相同的过程得到图像块嵌入 后，直接输入到vision transformer网络中，得到抽象图像块表示 ；
21、s32、将抽象图像块表示 调整形状为，估计其相邻像素的权重以进行上采样，具体流程如下：
22、s321、使用两个卷积层产生尺度为 的映射流 ，其中第一维代表图像在x方向的偏移，第二维代表图像在y方向的偏移，2代表x，y两个方向；
23、s322、使用两个卷积层预测维度为的mask矩阵，并对中每个像素的邻域的权重执行归一化（softmax）操作，获得的维度为的图；
24、s323、将通过上述步骤获得的维度为的图进行排列和调正为全尺度映射流；
25、s324、使用双线性采样得到矫正图像：
26、，
27、其中，表示矫正图像中的像素坐标，表示鱼眼图像中预测的像素坐标。
28、作为本专利技术的进一步技术方案，步骤s3所述鱼眼图像矫正模块的训练目标为：，其中，是预测的全尺度映射流，是给定的真实映射流，表示矫正图像的真实有效前景区域，代表预测的全尺度映射流和给定的真实映射流之间的l1距离。
29、作为本专利技术的进一步技术方案，步骤s4的具体过程为：
30、s41、选定一对矫正后的鱼眼图像，定义目标图像为，参考图像为，先使用特征编码器将目标图像和参考图像分别映射到较低分辨率的密集特征图得到图像特征 和 ，其中d=256，同时应用一个与结构相同的上下文网络从目标图像中提取上下文特征；
31、s42、对图像特征 和 ，通过取所有特征向量对之间的点积形成视觉相关量，具体计算如下：
32、，
33、其中i、j、k、l、h的含义为其中 i、j是图像特征中特征的空间位置，k、l是中特征的空间位置，h是特征向量中的分量索引，是图像特征中特征张量在位置 (i，j) 处的第 h个通道的值，是图像特征中特征张量在位置 (k，l) 处的第 h个通道的值；
34、s43、从目标图像的上下文特征中，使用视觉相关量中进行索引生成相关特征图m；
35、s44、给定当前的映射估计，将相关特征图m中的每个像素映射到中的估计位置；
36、s4本文档来自技高网...
【技术保护点】
1.一种鱼眼图像矫正拼接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述鱼眼图像矫正拼接方法，其特征在于，步骤S1所述鱼眼图像为，将鱼眼图像划分的2D图像块为，其中H和W是图像 的高度和宽度，S是图像块的大小，表示2D图像块的数量。
3.根据权利要求2所述鱼眼图像矫正拼接方法，其特征在于，步骤S2的具体过程为：
4.根据权利要求3所述鱼眼图像矫正拼接方法，其特征在于，步骤S3的具体过程为：
5.根据权利要求4所述鱼眼图像矫正拼接方法，其特征在于，步骤S3所述鱼眼图像矫正模块的训练目标为：，其中，是预测的全尺度映射流，是给定的真实映射流，表示矫正图像的真实有效前景区域，代表预测的全尺度映射流和给定的真实映射流之间的L1距离。
6.根据权利要求5所述鱼眼图像矫正拼接方法，其特征在于，步骤S4的具体过程为：
7.根据权利要求6所述鱼眼图像矫正拼接方法，其特征在于，步骤S5得到的全景拼接图像为，其中为SiameseMAE网络，所述SiameseMAE网络采用基于transformer架构的网络，先将两张图像转
8.一种鱼眼图像矫正拼接系统，其特征在于，能完成如权利要求1-7任一项所述方法，包括：
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7任一项所述方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-7任一项所述方法。
...【技术特征摘要】
1.一种鱼眼图像矫正拼接方法，其特征在于，包括以下步骤：
2.根据权利要求1所述鱼眼图像矫正拼接方法，其特征在于，步骤s1所述鱼眼图像为，将鱼眼图像划分的2d图像块为，其中h和w是图像 的高度和宽度，s是图像块的大小，表示2d图像块的数量。
3.根据权利要求2所述鱼眼图像矫正拼接方法，其特征在于，步骤s2的具体过程为：
4.根据权利要求3所述鱼眼图像矫正拼接方法，其特征在于，步骤s3的具体过程为：
5.根据权利要求4所述鱼眼图像矫正拼接方法，其特征在于，步骤s3所述鱼眼图像矫正模块的训练目标为：，其中，是预测的全尺度映射流，是给定的真实映射流，表示矫正图像的真实有效前景区域，代表预测的全尺度映射流和给定的真实映射流之间的l1距离。
6.根据权利要求5所述鱼眼图像矫正拼接方法，其特征在于，步骤s4的具体过程为：
7.根据权利要求6所述鱼眼图像矫正拼接方法，其特征在于，步骤s5得到的全景拼接图像为，其中为siamesemae网...
【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，李越，李贤超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。