一种基于神经网络的相机畸变标定方法、系统和存储介质技术方案

本发明专利技术公开了一种基于神经网络的相机畸变标定方法、系统和存储介质，本发明专利技术首先获取多张待标定相机的标定板图；然后提取所述标定板图中的特征点；计算出特征点的世界坐标，利用张正友标定法进行相机内外参数的标定；由特征点的世界坐标，根据外参的变换得到特征点的理想相机坐标；然后提取特征点的像素坐标，根据内参的反变换得到畸变的相机坐标；将理想的相机坐标与畸变的相机坐标一一对应，并构建神经网络，另外，神经网络参数初始化过程加入了极限学习机的思想，隐含层与输出层的初始参数通过最小二乘来得到，这种方式能够减小训练时网络迭代次数，而且能够尽可能避免网络陷入局部最优。部最优。部最优。

【技术实现步骤摘要】
一种基于神经网络的相机畸变标定方法、系统和存储介质


[0001]本专利技术属于图像处理
，具体涉及一种基于神经网络的相机畸变标定方法、系统和存储介质。

技术介绍

[0002]计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
[0003]目前相机标定方法大方向上可分为传统相机标定法，主动视觉相机标定法，相机自标定方法等。传统相机标定方法适用任意摄像机模型，标定精度相对较高；其不足之处为需要标定参照物，且标定参照物的尺寸已知，某些应用中难以实现。主动视觉相机标定法算法简单，往往能够获得线性解，鲁棒性较高；不过其系统实现成本高，实验设备昂贵，实验条件要求高。自标定方法灵活性强，可对相机进行在线标定；不过其缺陷为鲁棒性差。
[0004]摄像机成像过程中主要存在两种不同类型的畸变，一种是由透镜的形状引起的畸变称为镜像畸变，另一种是相机组装过程中透镜和成像面不能严格平行引起的畸变成为切向畸变。通常做法为针对这两种畸变分别构建了数学畸变模型，其中常用的径向畸变模型之一为：<br/>[0005][0006]常用的切向畸变模型之一为：
[0007][0008]传统方法中公式(1)与公式(2)的数学模型只是对相机主要畸变情况的近似模拟，而实际情况中，相机成像时产生的畸变是由多种因素引起，且以上两个公式并不能完全描述出实际的畸变状况。某些情况下，畸变状况并不呈现出以上两个公式的分布规律。因此在用求解得到畸变参数进行相机的畸变矫正时会产生较大的偏差。
[0009]有鉴于此，有必要开发一种基于神经网络的相机畸变标定方法来解决上述技术问题。

技术实现思路

[0010]本专利技术的目的在于克服现有技术的不足，提供一种基于神经网络的相机畸变标定
方法、系统和存储介质。解决现有的相机标定方法在进行相机的畸变矫正时会产生较大的偏差等问题。
[0011]本专利技术的一个目的在于提供一种基于神经网络的相机畸变标定方法。
[0012]一种基于神经网络的相机畸变标定方法，包括如下步骤：
[0013]S1、获取多张待标定相机的标定板图；
[0014]S2、提取所述标定板图中的特征点；
[0015]S3、以所述标定板图所在平面为零平面，计算出特征点的世界坐标，利用张正友标定法进行相机内外参数的标定；
[0016]S4、由特征点的世界坐标，根据外参的变换得到特征点的理想相机坐标；然后提取特征点的像素坐标，根据内参的反变换得到畸变的相机坐标；将理想的相机坐标与畸变的相机坐标一一对应，并构建神经网络；通过神经网络训练得到畸变矫正模型，通过畸变矫正模型，对相机进行畸变矫正。
[0017]进一步地，步骤S1中，所述标定板图是从多个角度拍摄获取的，并且所述标定板图的个数大于3。
[0018]进一步地，步骤S2中，提取标定板图中的特征点的具体方法如下：
[0019]S21、通过模板匹配寻找标定板图中的区域；
[0020]S22、根据区域生长方法提取标定板图中的所有圆形区域；
[0021]S23、找到所有圆形区域的圆形边界点，进行圆形拟合，得到圆心，即为标定板图的特征点。
[0022]进一步地，步骤S3中，利用张正友标定法进行相机内外参数的标定具体方法如下：求出特征点的世界坐标到图像坐标的单应矩阵；根据小孔成像模型，计算出相机内参；根据相机内参，求出对应的相机外参。
[0023]进一步地，步骤S4中，所述神经网络的构建过如下所示：
[0024]1)将神经网络分为三层，分别为输入层、隐含层和输出层；
[0025]2)记输入层与隐含层的参数为W＝{w
i，j
}；i＝1，
…
，m；j＝1，
…
，l，隐含层与输出层的参数为α＝{α
i，j
}；i＝1，
…
，l；j＝1，
…
，n，其中m，l，n分别为输入节点个数，隐含节点个数，输出节点个数；随机初始化W，隐含层得到为H＝f(P*W+b)，其中b为偏置，f(
·
)为激活函数；
[0026]3)输出A＝H*α，H为隐含层，A为训练样本的输出，基于极限学习机的计算方式，通过最小二乘法得到α，由此得到神经网络的初始值；
[0027]4)初始化后再通过误差反馈的方式进行神经网络的训练优化。
[0028]进一步地，步骤S4中，所述畸变矫正模型的建立方法如下：将畸变的相机坐标作为神经网络输入，理想的相机坐标作为学习标准，通过误差反馈的方式训练神经网络，得到畸变矫正神经网络模型；所述畸变矫正具体为：将标定板图中的每个像素坐标，通过内参反变换得到畸变的相机坐标，作为神经网络的输入，经过神经网络矫正后，输出点处的坐标像素值赋给输入点处的坐标处，即完成了畸变矫正。
[0029]本专利技术还提供一种基于神经网络的相机畸变标定系统，所述标定系统包括：
[0030]待标定相机的标定板图获取模块：获取多张待标定相机的标定板图；
[0031]标定板图中的特征点提取模块：提取所述标定板图中的特征点；
[0032]相机内外参数的标定模块：以所述标定板图所在平面为零平面，计算出特征点的世界坐标，利用张正友标定法进行相机内外参数的标定；
[0033]相机畸变矫正模块：由特征点的世界坐标，根据外参的变换得到特征点的理想相机坐标；然后提取特征点的像素坐标，根据内参的反变换得到畸变的相机坐标；将理想的相机坐标与畸变的相机坐标一一对应，并构建神经网络；通过神经网络训练得到畸变矫正模型，通过畸变矫正模型，对相机进行畸变矫正。
[0034]本专利技术最后提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行上述任一项所述的检测方法。
[0035]与现有技术相比，本专利技术具有如下优点：
[0036]本专利技术首先获取多张待标定相机的标定板图；然后提取所述标定板图中的特征点；计算出特征点的世界坐标，利用张正友标定法进行相机内外参数的标定；由特征点的世界坐标，根据外参的变换得到特征点的理想相机坐标；然后提取特征点的像素坐标，根据内参的反变换得到畸变的相机坐标；将理想的相机坐标与畸变的相机坐标一一对应，并构建神经网络，神经网络能够通过自适应的学习，较好地模拟出输入与输出的分布关系，从而提升精度，减少重投影误差；另外，参数初始化加入了极限学习机的思想，隐含层与输出层的初始参数通过最小二乘来得到，这种方式能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的相机畸变标定方法，其特征在于，包括如下步骤：S1、获取多张待标定相机的标定板图；S2、提取所述标定板图中的特征点；S3、以所述标定板图所在平面为零平面，计算出特征点的世界坐标，利用张正友标定法进行相机内外参数的标定；S4、由特征点的世界坐标，根据外参的变换得到特征点的理想相机坐标；然后提取特征点的像素坐标，根据内参的反变换得到畸变的相机坐标；将理想的相机坐标与畸变的相机坐标一一对应，并构建神经网络；通过神经网络训练得到畸变矫正模型，通过畸变矫正模型，对相机进行畸变矫正。2.根据权利要求1所述的基于神经网络的相机畸变标定方法，其特征在于，步骤S1中，所述标定板图是从多个角度拍摄获取的，并且所述标定板图的个数大于3。3.根据权利要求1所述的基于神经网络的相机畸变标定方法，其特征在于，步骤S2中，提取标定板图中的特征点的具体方法如下：S21、通过模板匹配寻找标定板图中的区域；S22、根据区域生长方法提取标定板图中的所有圆形区域；S23、找到所有圆形区域的圆形边界点，进行圆形拟合，得到圆心，即为标定板图的特征点。4.根据权利要求1所述的基于神经网络的相机畸变标定方法，其特征在于，步骤S3中，利用张正友标定法进行相机内外参数的标定具体方法如下：求出特征点的世界坐标到图像坐标的单应矩阵；根据小孔成像模型，计算出相机内参；根据相机内参，求出对应的相机外参。5.根据权利要求1所述的基于神经网络的相机畸变标定方法，其特征在于，步骤S4中，所述神经网络的构建过如下所示：1)将神经网络分为三层，分别为输入层、隐含层和输出层；2)记输入层与隐含层的参数为W＝{w
i，j
}；i＝1，...，m；j＝1，...，l，隐含层与输出层的参数为α＝{α
i，j
...

【专利技术属性】
技术研发人员：朱云龙，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：