本发明专利技术提供一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质，该方法包括：基于有效AIS数据确定船舶当前时刻所处位置，并将其投影到图像中，得到船舶视觉运动轨迹；基于视频监控数据得到多个船舶对应的目标检测框；基于上一时刻多个船舶的目标检测框确定遮挡区域，确定遮挡区域的预测检测框，将预测检测框的外观特征加载为遮挡前最后时刻提取的外观特征；将预测检测框、实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，得到当前时刻的视觉跟踪轨迹；将多个船舶分别的有效AIS数据融合至视频监控数据中，确定船舶身份。本发明专利技术可以解决在严重遮挡和完全遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的问题。对船舶进行抗遮挡跟踪的问题。对船舶进行抗遮挡跟踪的问题。
【技术实现步骤摘要】
多船舶目标的跟踪识别方法、装置、电子设备及存储介质
[0001]本专利技术涉及船舶追踪
，具体涉及一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质。
技术介绍
[0002]海上运输已成为经济贸易的主流渠道之一，对于水上交通系统的监管效率要求也日益提升。在视觉监控中，多船舶目标重叠造成的船舶遮挡，导致在视觉数据中无法获得视野范围内所有船舶目标的位置及运动特征。此外，多船舶目标场景下的精准身份识别问题仍未得到有效解决。
[0003]在水上交通场景中，由于船舶的移动速度较慢，遮挡时间往往较长，且遮挡比例大。针对严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下的目标抗遮挡跟踪仍难以实现。
技术实现思路
[0004]有鉴于此，有必要提供一种多船舶目标的跟踪识别方法、装置、电子设备及存储介质，用以解决难以在严重遮挡、完全遮挡以及长时间遮挡等复杂船舶航行场景下对船舶进行抗遮挡跟踪的技术问题。
[0005]为了实现上述目的，本专利技术提供了一种多船舶目标的跟踪识别方法，包括：获取视频监控数据和初始AIS数据；对所述初始AIS数据进行筛选，得到有效AIS数据；基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
[0006]进一步地，所述基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：基于所述船舶视觉运动轨迹，提取所述有效AIS数据在所述视频监控数据中的运
动特征；将所述有效AIS数据在所述视频监控数据中的运动特征与所述当前时刻的船舶视觉跟踪轨迹的运动特征进行相似性度量，得到相似性度量结果；基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
[0007]进一步地，所述基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：基于所述相似性度量结果和预设的权重系数，构建总相似度函数；基于所述总相似度函数的输出结果构建成本矩阵；基于匈牙利算法确定所述成本矩阵的最优匹配结果；基于所述最优匹配结果将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
[0008]进一步地，所述将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹，包括：基于用于获取所述视频监控数据对应相机的参数，基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，从投影后的数据中提取所述有效AIS数据在所述视频监控数据中的运动特征，并基于所述有效AIS数据在所述视频监控数据中的运动特征，得到所述船舶视觉运动轨迹；其中，所述相机的参数，包括：所述相机的位置、所述相机的朝向、所述相机的水平视场角、所述相机的垂直视场角、所述相机的距水面高度以及所述相机拍摄所述视频监控数据的分辨率。
[0009]进一步地，所述基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，包括：基于所述相机的参数、所述小孔成像模型和所述船舶的特征信息，构建所述相机的横向纵向视场角与所述船舶当前时刻所处位置之间的几何关系式；基于所述几何关系式，确定所述船舶在所述有效AIS数据对应图像中的横坐标和纵坐标，基于所述船舶在所述视频监控数据对应图像中的横坐标和纵坐标，将所述船舶当前时刻所处位置投影至所述图像坐标系。
[0010]进一步地，所述基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，包括：将上一时刻所述多个船舶对应的目标检测框中，与其他目标检测框的重叠度高于设定阈值的目标检测框，确定为所述遮挡区域。
[0011]进一步地，所述有效AIS数据，包括：船舶航速、船舶航向以及船舶经纬度坐标。
[0012]本专利技术还提供一种多船舶目标的跟踪识别装置，包括：获取模块，用于获取视频监控数据和初始AIS数据；筛选模块，用于对所述初始AIS数据进行筛选，得到有效AIS数据；提取模块，用于基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；检测模块，用于将所述视频监控数据输入至目标检测网络，得到多个船舶对应的
目标检测框；确定模块，用于基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；跟踪模块，用于将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；融合模块，用于基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。
[0013]本专利技术还提供一种电子设备，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如上述任意一项所述的多船舶目标的跟踪识别方法中的步骤。
[0014]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的多船舶目标的跟踪识别方法。
[0015]采用上述实现方式的有益效果是：本专利技术提供的多船舶目标的跟踪识别方法、装置、电子设备及存储介质，通过获取视频监控数据和初始AIS数据；对初始AIS数据进行筛选，得到有效AIS数据；基于有效AIS数据确定船舶当前时刻所处位置，将船舶当前时刻所处位置投影至视频监控数据对应的图像中，得到船舶视觉运动轨迹；将视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；基于上一时刻多个船舶对应的目标检测框确定遮挡区域，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多船舶目标的跟踪识别方法，其特征在于，包括：获取视频监控数据和初始AIS数据；对所述初始AIS数据进行筛选，得到有效AIS数据；基于所述有效AIS数据确定船舶当前时刻所处位置，将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹；将所述视频监控数据输入至目标检测网络，得到多个船舶对应的目标检测框；基于上一时刻所述多个船舶对应的目标检测框确定遮挡区域，将当前时刻所述多个船舶对应的目标检测框中落到所述遮挡区域的部分进行删除后，基于上一时刻船舶视觉跟踪轨迹确定所述遮挡区域的预测检测框，并基于所述预测检测框的遮挡前外观特征确定实时外观特征；将所述预测检测框、所述实时外观特征以及当前时刻非遮挡状态下的目标检测框输入至预设的DeepSORT算法模型，以基于所述预设的DeepSORT算法模型对船舶进行抗遮挡跟踪，得到当前时刻的船舶视觉跟踪轨迹；基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。2.根据权利要求1所述的多船舶目标的跟踪识别方法，其特征在于，所述基于所述船舶视觉运动轨迹和所述当前时刻的船舶视觉跟踪轨迹，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：基于所述船舶视觉运动轨迹，提取所述有效AIS数据在所述视频监控数据中的运动特征；将所述有效AIS数据在所述视频监控数据中的运动特征与所述当前时刻的船舶视觉跟踪轨迹的运动特征进行相似性度量，得到相似性度量结果；基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。3.根据权利要求2所述的多船舶目标的跟踪识别方法，其特征在于，所述基于所述相似性度量结果，将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份，包括：基于所述相似性度量结果和预设的权重系数，构建总相似度函数；基于所述总相似度函数的输出结果构建成本矩阵；基于匈牙利算法确定所述成本矩阵的最优匹配结果；基于所述最优匹配结果将所述多个船舶分别对应的有效AIS数据融合至所述视频监控数据中，以确定所述多个船舶的身份。4.根据权利要求1所述的多船舶目标的跟踪识别方法，其特征在于，所述将所述船舶当前时刻所处位置投影至所述视频监控数据对应的图像中，得到船舶视觉运动轨迹，包括：基于用于获取所述视频监控数据对应相机的参数，基于所述相机的参数，结合小孔成像模型，将所述船舶当前时刻所处位置投影至所述视频监控数据对应图像的图像坐标系，从投影后的数据中提取所述有效AIS数据在所述视频监控数据中的运动特征，并基于所述有效AIS数据在所述视频监控数据中的运动特征，得到所述船舶视觉运动轨迹；其中，所述相机的参数，包括：所述相机的位置、所述相机的朝向...
【专利技术属性】
技术研发人员：刘文，瞿晶祥，郭彧，鲍梦薇，赵晨洁，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。