一种针对AIS和港口视频监控的对齐方法技术

本发明专利技术公开了一种针对AIS和港口视频监控的对齐方法，包括以下步骤：基于透视变换原理，人工标定4组监控画面坐标和AIS记录中经纬度坐标对应点，建立监控画面坐标和经纬度坐标的低精度映射关系；使用深度学习目标检测模型，检测出监控视频中船只，生成船只检测框；将AIS记录中的船只经纬度坐标点通过低精度映射关系映射到监控视频画面中，生成船只先验框；利用KM算法，实现船只检测框与船只先验框的匹配，得到匹配对的集合；使用梯度下降的优化方法，根据匹配对集合，进一步优化低精度映射关系，建立监控画面坐标和经纬度坐标高精度的映射关系。本发明专利技术可以在监控相机参数未知的情况下，建立AIS和港口视频监控之间精确的映射关系。系。系。

【技术实现步骤摘要】
一种针对AIS和港口视频监控的对齐方法


[0001]本专利技术涉及港口船只监控和数据对齐领域，具体涉及一种针对AIS和港口视频监控的对齐方法。

技术介绍

[0002]近年来，随着信息化基础设施的不断完善，海洋感知的手段也不断得到丰富和加强。对于港口船只监测这一现实需求而言，除了依赖港口监控视频外，由岸基(基站)设施和船载设备共同组成的AIS系统，也能较为方便地提供船只地识别码、船名、类型、位置、航向、船速等信息。将这两种信息结合起来，更有助于实现对水路航运船只的管理。
[0003]AIS与港口视频监控对齐是指，给定某一具体时刻(时间戳)，同时获取该时刻(时间戳)的AIS记录和监控视频画面，建立起来AIS记录中经纬度坐标和监控视频画面坐标的对应关系。
[0004]在现有的结合AIS的船只监测系统中，要实现AIS经纬度坐标和监控画面坐标的对齐，需要依赖全景监控相机的焦距和云台的角度等物理参数。而获取这些参数值，增加了AIS经纬度坐标和监控画面坐标对齐的难度。
[0005]针对上述方法的不足，目前亟待提出一种更加简便、有效的对齐方法。

技术实现思路

[0006]本专利技术的目的是为了解决现有的结合AIS的船只监控系统中的上述问题，提供了一种针对AIS和港口视频监控的对齐方法，该方法基于透视变换原理，只需手动选择少量对应点，即可建立了AIS中经纬度坐标和监控画面坐标的映射关系，并且通过梯度下降的方法降低了船只检测框和先验框的误差，进一步优化了映射关系，实现了AIS中经纬度坐标和监控画面坐标的精确对齐。
[0007]本专利技术的目的可以通过采取如下技术方案达到：
[0008]一种针对AIS和港口视频监控的对齐方法，具体如图1所示，本专利技术所采用的技术方案包含以下具体步骤：
[0009]S1、基于透视变换原理，人工标定4组监控画面坐标和AIS记录中经纬度坐标对应点，建立监控画面坐标与经纬度坐标的低精度映射关系；
[0010]S2、使用基于深度学习的目标检测模型，检测出监控视频中船只，生成船只检测框；
[0011]S3、根据监控摄像头和所述控画面坐标与经纬度坐标的低精度映射关系，将AIS记录中的船只经纬度坐标点映射到监控视频画面中，生成船只先验框；
[0012]S4、使用KM算法，实现船只检测框与船只先验框的匹配，得到匹配对的集合；
[0013]S5、使用梯度下降的优化方法，根据匹配对集合，优化所述控画面坐标与经纬度坐标的低精度映射关系，建立监控画面坐标和经纬度坐标高精度的映射关系。
[0014]进一步地，所述步骤S1过程如下：
[0015]S101、在高德地图API工具中，截取包含监控画面可见范围的矩形区域，并取一帧监控视频的画面。
[0016]S102、人工选择地图API工具截取的矩形区域和监控视频画面中的4组显著对应点对。对应点的选取方法为在监控画面中选取岛屿边角点，并在地图API工具中选出与之对应的点。
[0017]S103、基于透视变换原理，将选取的4组对应点对代入透视变换公式。透视变换公式如下所示：
[0018]透视变换的坐标变换关系如下：
[0019][0020]其中，x,y分别表示透视变换前二维平面中的X轴坐标和Y轴坐标，扩增维度上1表示坐标位于二维平面；X,Y,Z分别表示透视变换过程中生成的三维空间中的X轴、Y轴和Z轴坐标，X
′
,Y
′
分别表示将三维空间坐标重新投影到二维平面的坐标，Z
′
数值为1表示投影到了二维平面中；矩阵{a
ij
}表示透视变换矩阵，其中1<＝i<＝3,1<＝j<＝3，a
ij
表示透视变换矩阵第i行第j列的元素。
[0021]根据上述公式，求解透视变换矩阵{a
ij
}，记作M，该透视变换矩阵表示监控画面坐标和经纬度坐标的低精度映射关系。
[0022]进一步地，步骤S1是基于透视变换原理。透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系。AIS记录经纬度坐标和监控画面坐标可分别被视作俯视坐标系和水平坐标系，因此可以通过透视变换进行关联。
[0023]进一步地，所述步骤S2过程如下：
[0024]S201、对采集到的监控视频，每隔一秒采集一帧图像，并将图像中的时间信息转换为时间戳，使用时间戳为图像命名，标识采集图像的时间信息。
[0025]S202、利用在公开数据集上预训练的目标检测模型YOLOv3，对采集到的图像帧进行船只检测，并记录目标检测模型YOLOv3输出的船只检测框集合，记作D；
[0026]S203、统计船只检测框集合D中船只的平均宽高像素值，并记录为(width,height)。
[0027]进一步地，步骤S202中使用了公开数据集上预训练的目标检测模型YOLOv3。该模型作者为Joseph Redmon，于2018年提出的论文《YOLOv3:An Incremental Improvement》，
作者以科技报告的形式公开了该论文，虽然没有正式发表，但仍被广泛引用。YOLOv3模型是对于之前YOLO系列目标检测模型的延续，整合了当时主流网络的优点，成为了被广泛使用的目标检测模型。该模型通过骨干部分的卷积神经网络提取图像特征，再将图像特征通过检测头部分输出检测到的物体以及类别，能够对输入图像中的物体进行检测，其能够检测的类别包括船只(ship)这一类型，因而可以用来对采集到的图像帧进行自动船只检测，生成船只检测框。
[0028]进一步地，所述步骤S3过程如下：
[0029]S301、对采集到的AIS数据按照时间戳分组，并通过地图API工具，将AIS记录中的经纬度，转为截取区域的像素点，将像素点的集合记作S。
[0030]S302、使用低精度映射关系矩阵M，将获取的经纬度像素点集合S映射到监控视频画面中，作为先验框的中心坐标，并使用统计得到的船只平均宽高像素值(width,height)生成船只先验框集合P，该映射为一一映射，记作f∶S
·
M
±
(width/2,height/2)
→
P。
[0031]进一步地，步骤S3中所使用的低精度映射关系矩阵M本质上是透视变换矩阵，而透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系。AIS经纬度坐标和监控画面坐标可分别被视作俯视坐标系和水平坐标系，因此可以通过低精度映射关系矩阵M，将经纬度像素点坐标变换为监控画面坐标，再结合统计到的(width,height)生成船只先验框。
[0032]进一步地，所述步骤S4过程如下
[0033]S401、针对每一个时间戳t，构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对AIS和港口视频监控的对齐方法，其特征在于，所述对齐方法包括以下步骤：S1、基于透视变换原理，人工标定4组监控画面坐标和AIS记录中经纬度坐标对应点，建立监控画面坐标与经纬度坐标的低精度映射关系；S2、使用基于深度学习的目标检测模型，检测出监控视频中船只，生成船只检测框；S3、根据监控摄像头和所述监控画面坐标与经纬度坐标的低精度映射关系，将AIS记录中的船只经纬度坐标点映射到监控视频画面中，生成船只先验框；S4、使用KM算法，实现船只检测框与船只先验框的匹配，得到匹配对的集合；S5、使用梯度下降的优化方法，根据匹配对集合，优化所述控画面坐标与经纬度坐标的低精度映射关系，建立监控画面坐标和经纬度坐标高精度的映射关系。2.根据权利要求1所述的一种针对AIS和港口视频监控的对齐方法，其特征在于，所述步骤S1过程如下：S101、在地图API工具中，截取包含监控摄像头可见范围的矩形区域，并取一帧监控视频中的画面；S102、人工选择地图API工具截取区域中和监控视频画面中的4组显著对应点对。对应点的选取方法为在监控画面中选取岛屿边角点，并在地图API工具中选出与之对应的点；S103、基于透视变换原理，将选取的4组对应点对代入透视变换公式，透视变换公式如下所示：透视变换的坐标变换关系如下：其中，x,y分别表示透视变换前二维平面中的X轴坐标和Y轴坐标，扩增维度上1表示坐标位于二维平面；X,Y,Z分别表示透视变换过程中生成的三维空间中的X轴、Y轴和Z轴坐标，X
′
,Y
′
分别表示将三维空间坐标重新投影到二维平面的坐标，Z
′
取值为1表示投影到了二维平面中；矩阵{a
ij
}表示透视变换矩阵，其中1<＝i<＝3,1<＝j<＝3，a
ij
表示透视变换矩阵第i行第j列的元素；根据上述公式，求解透视变换矩阵{a
ij
}，记作M，该透视变换矩阵表示监控画面坐标和经纬度坐标的低精度映射关系。3.根据权利要求1所述的一种针对AIS和港口视频监控的对齐方法，其特征在于，所述步骤S2过程如下：S201、对采集到的监控视频，每隔一秒采集一帧图像，并将图像中的时间信息转为时间戳，使用时间戳对图像进行命名；
S202、利用在公开数据集上预训练的目标检测模型YOLOv3，对采集到的图像帧进行船只检测，并记录目标检测模型YOLOv3输出的船只检测框集合，记作D；S203、统计船只检测框集合D中船只的平均宽高像素值，并记录为(width,height)，供后续生成船只先验框使用。4.根据权利要求1所述的一种针对AIS和港口视频监控的对齐方法，其特征在于，所述步骤S3过程如下：S301、对采集到的AIS记录按照时间戳分组，并通过地图API工具，将AIS记录中的经纬度坐标，转为截取区域的像素点，将像素点的集合记作S；S302、使用低精度映射关系矩阵M，将获取的经纬度像素点集合S映射到监控视频画面中，作为先验框的中心坐标，并使用统计得到的船只平均宽高像素值(width,height)生成船只先验框集合P，该映射为一一映射，记作f∶S
·
M
±
(width/2,height/2)
→
P，符号
“→”
表示映射关系。5.根据权利要求1所述的一种针对AIS和港...

【专利技术属性】
技术研发人员：吕建明，李博，黄星杰，吴思琦，王亚权，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：