一种基于模型的全景弯曲图像畸变矫正的方法技术

本发明专利技术公开了一种基于模型的全景弯曲图像畸变矫正的方法，包括以下步骤：S1.选择畸变矫正的模型：选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正；S2.确定全景弯曲图像的畸变矫正中心：S3.确定全景弯曲图像的畸变矫正的畸变系数：S4.生成全景弯曲图像的畸变矫正的畸变校正映射表。本发明专利技术的全景弯曲图像畸变矫正的方法，算法简单，操作方便，并且不受图像的内容、格式、类型等的限制，可以对主流格式图片进行弯曲矫正，并且效果明显；另外，计算和迭代过程的时间都比较短，可以适用于针对视频监控的图像矫正。

【技术实现步骤摘要】
一种基于模型的全景弯曲图像畸变矫正的方法
本专利技术涉及图像矫正领域，具体涉及一种基于模型的全景弯曲图像畸变矫正的方法。
技术介绍
目前全景相机通常采用多个摄像头采集不同方向上的多幅图像以便获取全景图像，因此，在全景摄像机成像过程中，需要对多个摄像头采集到的不同方向上的多幅图像进行融合拼接以获得全景图像。由于鱼眼摄像头可以获得较广的视野，可以减少拍摄全景的摄像头的数量，因此多采用鱼眼摄像头进行拍摄，但是采用鱼眼摄像头获取的图像为圆球形的弯曲图像，因此又需要将鱼眼图像展开为平面图像。在将曲面图像转化为平面图像的过程中，用的比较多的两种方法：一种是基于畸变模型进行畸变矫正，一种是利用非线性迭代求出最优解的方法。两种算法各有优缺点，畸变模型的畸变矫正，算法简单，操作方便，但是畸变矫正的效果受固定的畸变模型的影响，对一些特殊图像或者不符合畸变模型的畸变图像的效果不是很明显。非线性迭代算法却可以解决这一矫正效果不理想的情况，其矫正结果不受图像的影响，但是其比较突出的缺点是迭代的过程时间比较长且有些时候无法收敛，这对于视频处理情况下是绝对不允许的。因此需要开发一种新的算法来规避其他方法所带来的不足。
技术实现思路
为了解决上述技术问题，本专利技术的提供一种可以对特殊图像或者不符合畸变模型的畸变图像进行矫正，矫正效率高，收敛性好的于模型的全景弯曲图像畸变矫正的方法。为实现上述目的，本专利技术采取的技术方案如下：一种基于模型的全景弯曲图像畸变矫正的方法，该方法用于对全景弯曲图像进行畸变矫正，该方法包括以下步骤：S1.选择畸变矫正的模型：选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正，所述高阶多项式径向畸变模型表达式：其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前全景弯曲图像的半径；S2.确定全景弯曲图像的畸变矫正中心：首先将棋盘格世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点，此过程方程表达式如下：xu-xc＝(xd-xc)(1)所述棋盘格世界坐标设计为以1为单位间隔的棋盘格对应的坐标，Z方向为1；方程(1)两边同乘[xc]x并且把表达式Xiu＝HXig带入，则得到如下等式：[xc]xxid＝[xc]xHxig(2)；等式(2)再两边同乘xid，得到方程:xid([xc]xH)xig＝0(3)；设定F＝[xc]xH,则图像中心对应极点e，根据Fe＝0，求解方程(3)得到畸变中心xc；S3.确定全景弯曲图像的畸变矫正的畸变系数：利用opencv中的找角点的函数，得到一条直线上的点个数为m，对于这m个点畸变的坐标，其无畸变点也在一条直线上，无畸变点满足：xcosa+ysina＝d，其中d是原点到直线的距离，a是直线和水平坐标轴的夹角；设定棋盘格世界坐标系有M条直线，则我们可以利用下面的式子(4)进行迭代，求出畸变系数：方程式(4)中xu，yu需要把模型运算表达式带入；根据S3计算得到的畸变中心，加快迭代的速度，其中初始值设计K1,K2,K3为零，am和pm根据畸变坐标，用最小二乘法进行直线拟合计算出初始值；S4.生成全景弯曲图像的畸变矫正的畸变校正映射表：逆向坐标是根据无畸变图像的坐标(xu,yu)求出畸变图像的坐标(xd,yd)，无畸变图像的坐标点的模型表达式为：根据无畸变图像的坐标(xu,yu)值再结合以上表达式(5)和(6)，计算出对应的畸变坐标点(xd,yd)，再根据实际无畸变坐标的畸变比率求出映射坐标。优选地，步骤S4中实际无畸变坐标的畸变比率通过以下方法获得：S4-1：先根据畸变图像中畸变中心最远的半径rd，离散取出一组畸变半径rd，并计算对应的畸变比率和无畸变半径ru；S4-2：在计算无畸变点(xiu,yiu)时，计算出实际无畸变半径riu；S4-3：利用前面计算的无畸变半径ru数组，得到在畸变比率数组上对应的位置piu；S4-4：再利用邻近插值的办法，得到对应于实际无畸变坐标的畸变比率。优选地：还包括步骤S5:采用双线性插值，取其周围的四个点像素值，进行插值得到最后的畸变矫正的结果。本专利技术有益的技术效果：本专利技术的全景弯曲图像畸变矫正的方法，算法简单，操作方便，并且不受图像的内容、格式、类型等的限制，可以对主流格式图片进行弯曲矫正，并且效果明显；另外，计算和迭代过程的时间都比较短，可以适用于针对视频监控的图像矫正。附图说明图1为本专利技术的一种基于模型的全景弯曲图像畸变矫正的方法步骤流程图。图2为本专利技术的棋盘格世界坐标的示意图。图3为本专利技术的全景弯曲图像矫正前的示意图。图4为本专利技术的全景弯曲图像矫正后的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明，但本专利技术要求保护的范围并不局限于下述具体实施例。本专利技术属于一种图像矫正的方法，具体来说是属于一种基于模型的全景弯曲图像矫正方法，该办法主要用来矫正由多个摄像头拼接而成的鱼眼图像，将弯曲的全景图，通过该方法实时将图像矫正为二维平面图像。该方法主要应用于优化针对全景摄像机的监控效果，提高视频标签的实景标注效果。在对本专利技术方法进行详细说明之前先解释几个本领域的专业术语(在实施例里面会提及，到时就不再重复解释)：全景图：通过多个摄像头对实景进行拍摄并将拍摄的图像进行拼接，尽可能全面的在一张图中展示实际环境。视频标签：通过视频AR技术，在监控实景图像中进行标签标注，使实际环境更加直观。Hartley算法：主要思想是将外极点映射到水平方向上的无穷远点，使图像上的外极线相互平行，并且平行于图像的水平扫描线，使得变换后图像上的对应点之间视差最小化。如图1-4所示，本专利技术的目的在于提供一种基于模型的全景弯曲图像畸变矫正的方法，该方法的具体步骤如下：S1:选择模型：几何图像的畸变包括径向畸变和切向畸变，由于径向畸变远大于切向畸变，所以在本专利技术中主要以径向畸变矫正为主。根据高阶多项式径向畸变模型，得到模型表达式：其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前图像的半径。S2:畸变中心的确定:根据Hartley算法原理，其成像过程可以分为两步，首先将世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点。可以用表达式表示为：xu-xc＝(xd-xc)假设棋盘格世界坐标系的坐标集合的点Xig和对应无畸变图像的坐标Xiu。由小孔成像原理模型可以知道,Xig和Xiu之间存在着单本文档来自技高网...

【技术保护点】
1.一种基于模型的全景弯曲图像畸变矫正的方法，该方法用于对全景弯曲图像进行畸变矫正，其特征在于，该方法包括以下步骤：/nS1.选择畸变矫正的模型：/n选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正，所述高阶多项式径向畸变模型表达式：/n

【技术特征摘要】
1.一种基于模型的全景弯曲图像畸变矫正的方法，该方法用于对全景弯曲图像进行畸变矫正，其特征在于，该方法包括以下步骤：
S1.选择畸变矫正的模型：
选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正，所述高阶多项式径向畸变模型表达式：



其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前全景弯曲图像的半径；
S2.确定全景弯曲图像的畸变矫正中心：
首先将棋盘格世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点，此过程方程表达式如下：
xu-xc＝(xd-xc)(1)
所述棋盘格世界坐标设计为以1为单位间隔的棋盘格对应的坐标，Z方向为1；
方程(1)两边同乘[xc]x并且把表达式Xiu＝HXig带入，则得到如下等式：
[xc]xxid＝[xc]xHxig(2)；
等式(2)再两边同乘xid，得到方程:
xid([xc]xH)xig＝0(3)；
设定F＝[xc]xH,则图像中心对应极点e，根据Fe＝0，求解方程(3)得到畸变中心xc；
S3.确定全景弯曲图像的畸变矫正的畸变系数：
利用opencv中的找角点的函数，得到一条直线上的点个数为m，对于这m个点畸变的坐标，其无畸变点也在一条直线上，
无畸变点满足：xcosa+ysina＝d，其中d是原点到直线的距离，a是直线和水平坐标轴的夹角；
设定棋盘格世界坐标系有M条直线...

【专利技术属性】
技术研发人员：钟由彬，谭志标，陈志敏，刘显阳，罗煜铭，
申请(专利权)人：视云融聚广州科技有限公司，
类型：发明
国别省市：广东;44