【技术实现步骤摘要】
本专利技术涉及图像畸变校正，尤其涉及一种针对复杂环境的水尺图像畸变校正方法和系统。
技术介绍
1、目前，在港口船舶载重量测量的实际应用中，通常采用船舶水尺计重法，即人工目测船舶吃水线对照读数，其不仅受限于人工测量的主观性，而且在观测船舶吃水时受环境因素制约显著，容易受到风浪、海水周期波动、测量角度偏差的影响，对船舶载重的测量难度很大，不利于装卸货物的精细化管理。近年来推广了使用机器视觉辅助测量载重量的方法，但由于拍摄角度不固定或者环境光照条件变化，对船舶测重图像中的水尺字符畸变校正增加了难度。
2、基于传统的图像畸变校正方法较为单一，包括透视变换和错切变换等，这种只由一次矩阵变换和投影所做的空间坐标变换鲁棒性差，且只适用于单一平面成像，其他的平面则会产生非真实的形变。在水尺刻度校正中，不仅要校正水尺刻度，而且要使得水线与校正后的刻度平齐，实际图像数据情况复杂，校正复杂度较高，采用现有方法对数据处理效果较差，还原难度高。
技术实现思路
1、本专利技术提供了一种针对复杂环境的水尺图像畸变校正方法和系统，用以解决现有技术存在的问题，本专利技术提供的技术方案如下：
2、一方面，提供了一种针对复杂环境的水尺图像畸变校正方法，所述方法包括：
3、s1、在多个复杂环境中对水尺图像数据进行采集并进行预处理；
4、s2、使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
5、s3、根据所述自适应阈值获取所述待
6、s4、对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
7、s5、在所述船舶水尺刻度直线的局部roi区域的多个尺度使用基于transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
8、s6、借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像。
9、可选地，所述s1中的预处理，具体包括：
10、采用图像滤波对采集的原始图片进行图片毛刺去除；
11、对于图片毛刺去除后的图片进行明场光照均衡，包括：
12、将图片转换为灰度图，并采集所述灰度图边界的200个像素值，计算所述200个像素值的中位数m；
13、利用10x10的滑动窗口对所述灰度图整体进行像素遍历，得到每个10x10区域的区域像素均值和灰度图整体像素均值n；
14、筛选出区域像素均值大于灰度图整体像素均值n的较亮区域，对较亮区域的各个像素值进行如下明场光照均衡：
15、光照均衡后区域像素值=原较亮区域像素值××校正系数，median(x)函数代表取中位数x，为当前进行明场光照均衡的区域像素均值。
16、可选地，所述s2，具体包括：
17、对于所述待校正水尺图像的前后若干帧图片，使用3x3的卷积计算局部均值、局部标准差以及所有区域标准差均值；
18、筛选出局部标准差大于所有区域标准差均值的3x3区域，将筛选出的区域中具有相似均值以及相似局部标准差的3x3区域合并成一个集合；
19、增大这个集合的感受野，在以5x5区域增大映射的区域，计算每个5x5区域的边界像素均值，采用排序得到的序列中边界像素均值的中位数，作为各帧图片的阈值；
20、对各帧图片的阈值取平均值作为所述待校正水尺图像的自适应阈值。
21、可选地，所述s3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关roi区域，具体包括：
22、根据所述自适应阈值对所述待校正水尺图像进行二值化处理，将大于所述自适应阈值的像素值赋值255，表示水尺刻度的白色；将小于所述自适应阈值的像素值赋值0，表示水尺图像的其他部分的黑色，并将表示水尺刻度的白色表示为竖直投影直方图，在所述竖直投影直方图上得到水平方向的白色像素分布；
23、在所述竖直投影直方图上进行滑动窗口搜索，将所述竖直投影直方图上白色像素个数最多的x轴坐标作为5x5滑动窗口搜索的起点，起点的y坐标为图片的顶部或图片的底部，筛选像素信息，根据滑动窗口内总的白色像素个数是否大于一个预设阈值判断当前窗口是否为有效窗口，如果是，对当前滑动窗口内的所有白色像素的横坐标取均值，将这个均值所在的横坐标作为下一个窗口的起点，继续搜索，最后将所有搜索到的有效窗口位置拼接，获得所述roi区域。
24、可选地，所述s3中在获取的roi区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
25、sobel算子在水平和垂直方向上分别进行卷积操作，得到所述roi区域中每个像素点的梯度值，并选出梯度变化幅度大的像素点，将选出的梯度变化幅度大的像素点和所述自适应阈值比较，将大于所述自适应阈值的像素点作为提取出的边缘点；
26、将提取出的边缘点变换到参数空间，得到一系列的曲线，检测这些曲线相交的点进而确定包含冗余的水尺刻度线段的线段集合；
27、获取各个线段中心点对应的坐标，将各个线段依次作为当前线段，以当前线段中心点为圆心，半径为20像素的范围内，计算其他各个线段中心点到当前线段中心点的距离并求均值s；
28、对比线段集合中和当前线段中心点y轴方向坐标分量相近，但x轴方向坐标分量之间距离小于均值距离的线段，作为当前线段的对应水尺线段；
29、分别将各对应水尺线段拼接作为拟合的船舶水尺刻度直线。
30、可选地，所述s4，具体包括：
31、对所述待校正水尺图像的前后若干帧图片运动的区域进行相似性匹配，包括：
32、将每一张图片划分为多个不同的20x20区域，计算每个区域中的像素点在0-360°中均分为8份上的梯度方向的个数，构建图像梯度直方图，将图像梯度直方图中的极值点作为每张图片的特征点进行匹配；
33、构建各个特征点的位置编码，位置编码方式如下：
34、，，为输入的维度，为特征点的索引，，分别为特征点的横坐标、纵坐标，得到每张图片的特征描述子，包含特征点和特征点的位置编码信息；
35、引入时序注意力机制捕捉本文档来自技高网...
【技术保护点】
1.一种针对复杂环境的水尺图像畸变校正方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述S1中的预处理，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述S2，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述S3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述S3中在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
6.根据权利要求1所述的方法，其特征在于，所述S4，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述S5中的特征提取器由三个特征提取子模块组成，每个特征提取子模块分别提取局部区域、、尺度的结构特征信息，并进行融合，每个特征提取子模块为标准的 Transformer 编码层，包含层标准化层、三个特征映射层、自注意力层、残差连
8.根据权利要求1所述的方法，其特征在于，所述S5中对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵，具体包括：
9.根据权利要求1所述的方法，其特征在于，所述S6中借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，具体包括：
10.一种针对复杂环境的水尺图像畸变校正系统，所述系统用于实现如权利要求1至9中任一项所述的方法，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种针对复杂环境的水尺图像畸变校正方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述s1中的预处理，具体包括：
3.根据权利要求1所述的方法，其特征在于，所述s2，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述s3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关roi区域，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述s3中在获取的roi区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
6.根据权利要求1所述的方法，其特征在于，所述s4，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述s5中的特征提取器由三个特征提取子模块组成，每个特征提取子模块分别提取局部区域、、尺度的结构特征信息，并进行融合，每个特征提取子模块为标准...
【专利技术属性】
技术研发人员：张博，阴雨蒙蒙，杨光，马克富，王化阳，金波，陈宝华，毛光剑，尤秀全，杨金祥，郭宇鹏，
申请(专利权)人：煤炭科学技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。