一种鱼眼图像径向畸变校正方法、设备及存储设备技术

本发明专利技术公开了一种鱼眼图像径向畸变校正方法，方法包括：通过鱼眼相机进行图像信号采集，获取深度可分离的畸变系数预测模型的输入图像；将原始鱼眼图像输入深度可分离的畸变系数预测模型进行训练，并经调优处理，最后得到训练好的畸变系数预测模型；将鱼眼图像输入已训练好的畸变系数预测模型中，从而得到图像畸变系数值，最后根据畸变系数完成对鱼眼图像的校正。本发明专利技术有益效果是：避免了繁琐的标定过程，提高了校正效率和精度。提高了校正效率和精度。提高了校正效率和精度。

【技术实现步骤摘要】
一种鱼眼图像径向畸变校正方法、设备及存储设备


[0001]本专利技术涉及图像校正领域，尤其涉及一种鱼眼图像径向畸变校正方法、设备及存储设备。

技术介绍

[0002]鱼眼镜头相对于普通镜头具有视角大、场景宽的优点，只需要两个或三个鱼眼镜头就可以获取设备周围360
°
的场景。鱼眼镜头能够捕获超大视角的图像，在自动驾驶、视频监控、智慧交通等全视角任务中应用广泛。大视角在看到更大范围的同时让鱼眼图像出现了严重的畸变现象，使得现实世界中的物体位置和图像中物体的位置不匹配，不符合人眼的视觉习惯，很难直接将鱼眼图像应用到视觉任务中，因此利用畸变校正技术将鱼眼图像恢复为正常视角图像就变得相当重要。
[0003]传统的校正精度较高的方法是基于标定板的校正方法，通常该方法需要利用棋盘格等作为标定模板拍摄不同角度下的照片，利用标定板角点的图像平面坐标点与真实三维世界坐标点之间的映射关系估计出最佳的鱼眼相机内外参数和畸变参数，从而校正图像。
[0004]这种基于外界场景的标定算法需要具有鲜明特征的标定物体如棋盘格、点状格等，虽然可以获得不错的校正效果，但是成本高、比较耗时，很难进行实际应用。也有一些人提出了基于图像特征的自标定校正方法，但是这种方法十分依赖图像质量和特征检测精度，在缺乏直线特征等情况下并不能达到理想的校正效果。

技术实现思路

[0005]为了解决传统的畸变校正方法存在过程繁琐、过于依赖标定板以及直线特征的技术问题，本专利技术提出一种鱼眼图像径向畸变校正方法，基于深度可分离网络的畸变系数预测模型，直接利用鱼眼图像作为输入，避免了繁琐的标定过程，提高了校正效率和精度。
[0006]具体的，本专利技术提供一种鱼眼图像径向畸变校正方法、设备及存储设备，方法包括以下步骤：
[0007]S1、通过鱼眼相机进行图像信号采集，获取深度可分离的畸变系数预测模型的输入图像；
[0008]S2、将原始鱼眼图像输入深度可分离的畸变系数预测模型进行训练，并经调优处理，最后得到训练好的畸变系数预测模型；
[0009]S3、将鱼眼图像输入已训练好的畸变系数预测模型中，从而得到图像畸变系数值，最后根据畸变系数完成对鱼眼图像的校正。
[0010]一种存储设备，所述存储设备存储指令及数据用于实现一种鱼眼图像径向畸变校正方法。
[0011]一种鱼眼图像径向畸变校正设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种鱼眼图像径向畸变校正方法。
[0012]本专利技术提供的有益效果是：避免了繁琐的标定过程，提高了校正效率和精度。
附图说明
[0013]图1是本专利技术方法流程示意图；
[0014]图2是将鱼眼图像输入至模型中得到畸变系数的过程；
[0015]图3是本专利技术实施例的硬件设备工作示意图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0017]请参考图1～图2，图1是本专利技术装置结构示意图；图2是本专利技术装置俯视图。
[0018]本专利技术提供了一种鱼眼图像径向畸变校正方法，包括：
[0019]S1、通过鱼眼相机进行图像信号采集，获取深度可分离的畸变系数预测模型的输入图像；
[0020]S2、将原始鱼眼图像输入深度可分离的畸变系数预测模型进行训练，并经调优处理，最后得到训练好的畸变系数预测模型；
[0021]本专利技术将直接利用采集的鱼眼图像作为模型的输入，同时根据公式(1)即具有四个畸变系数的通用多项式模型来近似代替鱼眼畸变模型；
[0022]θ
d
＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)
ꢀꢀ
(1)
[0023]式中：θ表示光线入射角，θ
d
表示相机光轴与折射光线之间的夹角，k1、k2、k3和k4表示畸变系数。
[0024]所述深度可分离的畸变系数预测模型采用Keras框架进行训练，采用Adam优化方法进行调优，采用早停法收敛。
[0025]具体的，通过反向传播对所述畸变系数预测模型进行训练，根据误差值和各梯度调整训练参数，最后再根据代价函数循环迭代不断更新各个参数以让差值最小找到最优参数模型。
[0026]本专利技术中，将原始鱼眼图像作为模型的输入是因为鱼眼相机通常会遵守一定的投影规则，因此可以利用深度学习模型直接建立从图像像素信息到畸变系数的非线性映射，从而实现对畸变系数的预测。
[0027]因为模型参数越多，训练就越困难，因为网络参数的微小变化会放大输出并增加错误的成本(即损失)，同时也为了让模型的效率更高，就本申请也引入了深度可分离网络用于对鱼眼图像的特征提取。这也让模型更加的轻量化，便于实际的应用。
[0028]与传统的卷积操作不同，深度可分离卷积将其分解为深度卷积和点卷积。深度卷积进行空间感知特征的提取，点卷积则用于增强通道信息的组合，这种方式减小了参数量，但并不会降低网络的性能，提高了模型的推理速度。
[0029]S3、将鱼眼图像输入已训练好的畸变系数预测模型中，从而得到图像畸变系数值，最后根据畸变系数完成对鱼眼图像的校正。
[0030]作为一种实施例，请参考图2，图2是将鱼眼图像输入至模型中得到畸变系数的过程；
[0031]鱼眼图像，经过深度可分离网络模块和全连接网络模块，最终得到畸变系数；
[0032]利用畸变系数，最后得到校正图像。
[0033]请参见图3，图3是本专利技术实施例的硬件设备工作示意图，所述硬件设备具体包括：一种鱼眼图像径向畸变校正设备401、处理器402及存储设备403。
[0034]一种鱼眼图像径向畸变校正设备401：所述一种鱼眼图像径向畸变校正设备401实现所述一种鱼眼图像径向畸变校正方法。
[0035]处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种鱼眼图像径向畸变校正方法。
[0036]存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种鱼眼图像径向畸变校正方法。
[0037]本专利技术的有益效果是：
[0038]1、克服了传统标定校正方法存在的效率低、精度不足等问题；
[0039]2、采用深度可分离网络作为主体特征提取模块，在模型推理过程中该网络块中由于训练参数和结构单一，能较好地节省硬件资源，便于硬件加速，有助于模型能更好地部署到硬件上；
[0040]3、有助于提高模型的收敛速度和减小训练误差。
[0041]以上所述仅为本专利技术的较佳实施例，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鱼眼图像径向畸变校正方法，其特征在于：包括以下步骤：S1、通过鱼眼相机进行图像信号采集，获取深度可分离的畸变系数预测模型的输入图像；S2、将原始鱼眼图像输入深度可分离的畸变系数预测模型进行训练，并经调优处理，最后得到训练好的畸变系数预测模型；S3、将鱼眼图像输入已训练好的畸变系数预测模型中，从而得到图像畸变系数值，最后根据畸变系数完成对鱼眼图像的校正。2.如权利要求1所述的一种鱼眼图像径向畸变校正方法，其特征在于：所述深度可分离的畸变系数预测模型包括5个深度可分离卷积块、5个池化层和2个全连接层。3.如权利要求1所述的一种鱼眼图像径向畸变校正方法，其特征在于：所述图像畸变系数值包括四个畸变系数，分别为k1、k2、k3和k4；其中，完成鱼眼图像校正过程中，采用的鱼眼畸变模型用上述畸变系数表示如下：θ
d
＝θ(1+k1θ2+k2θ4+k3θ6+k4θ...

【专利技术属性】
技术研发人员：余永升，郭焕，
申请(专利权)人：海纳科德湖北科技有限公司，
类型：发明
国别省市：