一种基于显性与隐性线段检测的平面文档图像透视矫正方法技术

本发明专利技术涉及一种基于显性与隐性线段检测的平面文档图像透视矫正方法，本发明专利技术通过将获取的透视畸变图像变换为灰度图像，并提取灰度图像的显性线段或者隐性线段、以及相应线段的端点坐标，建立透视图像畸变复原模型，并通过将线段的两端点坐标引入代价函数，并通过LM算法估算出相机焦距f及其旋转角度θ，得到单应变换矩阵H

An image perspective correction method based on the detection of explicit and recessive line segments

The invention relates to a document image plane of explicit and implicit perspective correction method based on line detection, the invention by the perspective distortion image is converted into gray image, and extract the gray image of the dominant or recessive line segment, and the corresponding segment endpoint coordinates, the establishment of X-ray image distortion restoration model, and the coordinates of the two points the line into the cost function, and through the LM algorithm to estimate the camera focal length f and rotation angle, get the homography transformation matrix H

【技术实现步骤摘要】
一种基于显性与隐性线段检测的平面文档图像透视矫正方法
本专利技术涉及一种图像处理
，尤其是一种基于显性与隐性线段检测的平面文档图像透视矫正方法。
技术介绍
纸质文档数字化加工是利用扫描仪或数码相机将纸质实体转化为数字图像进而转换成完全可编辑的数字化文档的过程，是机器视觉领域的一项重要应用。传统的纸质文档数字化加工过程中，出于效率与成本的考量，一般采用非接触式的相机拍照来实现。由于在相机成像的过程中相机与被拍摄平面文档的相对位置的变化，如相机与被拍摄平面图像的距离、角度的变化，尤其是针对大幅面的图像，通常会得到具有透视形变的数字图像，而透视矫正操作的含义就是把具有透视变形的图像通过单应变换转化为无透视形变的图像。传统的文档图像透视变形矫正一般都是基于灭点检测来实现的，即对于原本水平方向(竖直方向)的平行线在透视形变图中会相交于一点，称之为水平方向(竖直方向)的灭点。然而这种透视失真会严重影响到后续的文档图像版面分析，OCR(光学字符识别)等过程。因此如何消除文档成像的透视形变问题，尤其是在相机参数未知的情况下，仅仅根据图像的性质消除文档图像的透视形变对于文档分析与识别至关重要。目前针对平面图像的透视矫正问题的解决方法有图像边界法、低秩矩阵纹理分析法、相机标定法、深度学习法等。但是，图像边界法只针对矩形边界的文档而设计，仅考虑图像的边界作为变换信息并未考虑到图像的内容，这种方法往往会带来图像内容更严重的失真。低秩矩阵纹理分析的方法能够充分发掘图像的几何纹理特征，但是这种方法的实际效果与图像内容相关，并且计算量较大，从而直接导致图像处理速度较慢。相机标定的方法通过图像的几何线分析来估计灭点坐标，再通过灭点建模来估计相机内外参数，进而得到图像矫正的单应变换矩阵，该方法计算繁琐尤其是灭点估计的误差会导致最终的变换矩阵不够精确，如中国专利2007100883550，透视变形文档图像的矫正装置和矫正方法，通过以透视变形的文档图像为对象，对二值化图像采用连通域分析提取线段结构来估计出水平方向与竖直方向的灭点，首先这种方法得到的线段端点坐标与其所在直线方程都不够精确，加上灭点计算的误差累积，最终导致该方案并不理想；另外中国专利2011104358411，一种平面目标图像透视变形的矫正方法和系统，通过摄像环境参数计算垂直变形系数与水平变形系数，该解决方案并没有考虑图像透视投影畸变的同时还伴随着图像的旋转与错切变换，最终导致该方案的应用场景非常有限。而深度学习的方法如空间变换网络(SpatialTransformerNetwork，STN)可以在一定程度上解决图像的透视问题，但是对图像内容的还原性较差。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于显性与隐性线段检测的平面文档图像透视矫正方法，从而解决针对大幅面平面文档图像高分辨率相机成像的过程中，由于相机与被拍摄平面图像的距离、角度等因素造成的透视畸变问题。本专利技术的技术方案为：一种基于显性与隐性线段检测的平面文档图像透视矫正方法，包括以下步骤：S1)、通过相机采集纸质文档图片，记为透视畸变图像；S2)、获取透视畸变图像的宽和高，宽为w，高为h，通过灰度变换将透视畸变图像变换为单通道的灰度图像；S3)、通过LSD(LineSegmentDetection)梯度聚类算法提取灰度图像内部的所有显性线段，并记录相应显性线段两端点的坐标，并用齐次坐标表示，若提取的显性线段数量小于4，或者不存在显性线段数，则通过自适应局部连接图(ALCM)提取文本行的隐性线段，并记录相应隐性线段的两端点的坐标，并用齐次坐标表示，如果显性线段的数量大于4，则无需再提取隐性线段，并将提取的显性线段或隐性线段存储到线段集合L＝{l1,l2,....li}中，其中，li＝{pi,qi}，pi、qi为线段li两端点的坐标；S4)、对步骤S3)中提取的显性线段或隐形线段进行长度、斜率的筛选，若线段长度满足L＝{li|li≥5}，以及斜率满足则保留该线段，否则删除该线段；S5)、根据透视畸变复原图像上任意一像素点b′＝[x′,y′,0]T与其透视畸变图像上对应的像素点b＝[x,y]T满足单应变换，具体如下：从而得到透视畸变复原图像到透视畸变图像的单应变换矩阵H，即：H＝KR[e1e2-t]＝KR{I-(t+e3)e3T}，其中，λ为齐次坐标点归一化带来的系数，为相机内部参数矩阵，R∈SO(3)为旋转矩阵，为相机姿态矩阵，为平移向量，I为3阶单位矩阵，T为矩阵转置，f为相机焦距，e1、e2、e3为坐标系中X、Y、Z轴的单位向量；S6)、通过变换得到单应变换矩阵H的逆矩阵该逆矩阵H-1表示从透视畸变图像到透视畸变复原图像的变换关系；S7)、将线段li的两端点坐标pi、qi引入代价函数，并通过LM(Levenberg-Marquardt)算法估算出相机焦距f及其在三维空间中的旋转角度θ＝[θ1θ2θ3]，从而得到单应变换矩阵H的逆矩阵H-1，最终得到畸变图像复原模型：其中，代价函数的表达式具体为：式中，W(pi,qi)∝d2(pi,qi)归一化的线段权重，pi＝(pi1,pi2,pi3)T，qi＝(qi1,qi2,qi3)T为线段li两端点的齐次坐标，diμ(pi,qi)＝min(|pi1/pi3-qi1/qi3|,|pi2/pi3-qi2/qi3|)表示表示线段在图像坐标系中在X轴或Y轴方向的最小投影长度，η为平衡两项设置的权重，a＝max(w,h)，w、h分别为图像的宽度与高度。上述技术方案中，步骤S2)中，通过提取YUV色彩空间的Y通道图像作为灰度图像；上述技术方案中，步骤S3)中，所述的显性线段为表格线、分隔符、图像边缘；本专利技术的有益效果为：(1)成像时无需固定相机，从而进一步提高了相机与被拍摄对象之间的距离角度的自由度；(2)本专利技术不需要再针对相机与被拍摄物体建立复杂的空间几何关系，简化了数学模型；(3)本专利技术不需要估计出灭点的坐标位置，直接通过图像内在的几何线统计特性来实现透视单应矩阵的估计，无需再区分水平方向线段与竖直方向的线段，进一步简化了计算过程；(4)文档图像几何线段的检测包括显性线段与隐性线段均不需要针对二值化图像，而直接处理灰度图，另外基于LSD算法的线段检测能够快速有效的检测到线段的端点坐标，相对于传统的霍夫变换效率更高；(5)能够充分考虑到图像的内容，得到的单应变换矩阵参数更加精确；(6)能够高效精确地实现文档图像的透视矫正，矫正后的图像接近原生数字图像，是一种快速鲁棒的透视畸变文档图像矫正方法。附图说明图1为专利技术的流程示意图；图2为本专利技术相机采集的透视畸变图像与透视畸变复原图像及其以相机为原点的相机坐标系的变化示意图，水平方向为X轴，竖直方向为Y轴，垂直于图像方向的为Z轴；其中，a为透视畸变图像，b为透视畸变复原图像。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：如图1和图2所示，一种基于显性与隐性线段检测的平面文档图像透视矫正方法，包括以下步骤：S1)、通过相机采集纸质文档图片，记为透视畸变图像；S2)、获取透视畸变图像的宽和高，宽为w，高为h，通过灰度变换提取YUV色彩空间的Y通道图像作为灰度图像；S3)、通过LSD(LineSegmentDetect本文档来自技高网...

【技术保护点】
一种基于显性与隐性线段检测的平面文档图像透视矫正方法，包括以下步骤：S1)、通过相机采集纸质文档图片作为透视畸变图像；S2)、获取透视畸变图像的宽w和高h，通过灰度变换将透视畸变图像变换为单通道的灰度图像；S3)、通过LSD(Line Segment Detection)梯度聚类算法提取灰度图像内部的所有显性线段，并记录相应显性线段两端点的坐标，并用齐次坐标表示，若提取的显性线段数量小于4，或者不存在显性线段数，则通过自适应局部连接图(ALCM)提取文本行的隐性线段，并记录相应隐性线段的两端点的坐标，并用齐次坐标表示，如果显性线段的数量大于4，则无需再提取隐性线段，并将提取的显性线段或隐性线段存储到线段集合L＝{l1,l2,....li}中，其中，li＝{pi,qi}，pi、qi为线段li两端点的坐标；S4)、对步骤S3)中提取的显性线段或隐形线段进行长度、斜率的筛选，若线段长度满足L＝{li|li≥5}，以及斜率满足

【技术特征摘要】
1.一种基于显性与隐性线段检测的平面文档图像透视矫正方法，包括以下步骤：S1)、通过相机采集纸质文档图片作为透视畸变图像；S2)、获取透视畸变图像的宽w和高h，通过灰度变换将透视畸变图像变换为单通道的灰度图像；S3)、通过LSD(LineSegmentDetection)梯度聚类算法提取灰度图像内部的所有显性线段，并记录相应显性线段两端点的坐标，并用齐次坐标表示，若提取的显性线段数量小于4，或者不存在显性线段数，则通过自适应局部连接图(ALCM)提取文本行的隐性线段，并记录相应隐性线段的两端点的坐标，并用齐次坐标表示，如果显性线段的数量大于4，则无需再提取隐性线段，并将提取的显性线段或隐性线段存储到线段集合L＝{l1,l2,....li}中，其中，li＝{pi,qi}，pi、qi为线段li两端点的坐标；S4)、对步骤S3)中提取的显性线段或隐形线段进行长度、斜率的筛选，若线段长度满足L＝{li|li≥5}，以及斜率满足则保留该线段，否则删除该线段；S5)、根据透视畸变复原图像上任意一像素点b′＝[x′,y′,0]T与其透视畸变图像上对应的像素点b＝[x,y]T满足单应变换，具体如下：从而得到透视畸变复原图像到透视畸变图像的单应变换矩阵H，即：H＝KR[e1e2-t]＝KR{I-(t+e3)e3T}，其中，λ为齐次坐标点归一化系数，为相机内部参数矩阵，R∈SO(3)为旋转矩阵...

【专利技术属性】
技术研发人员：应自炉，朱健菲，陈鹏飞，陈俊娟，甘俊英，翟懿奎，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东,44