【技术实现步骤摘要】
本专利技术涉及图像视频处理，特别是涉及一种基于计算机视觉的飞机停机坪泊位过程智能监视与告警系统。
技术介绍
1、2020年中国民用航空局发布的《中国民航四型机场建设行动纲要(2020-2035年)》明确指出，充分利用技术手段提高机坪运行管制能力，在智能视频分析和节点时间数据自动化采集等领域取得突破，逐步向全行业推广。然而，现有的场面监视手段无法完成关键节点的自动化采集和飞机碰擦问题的规避。飞行器体积大、形状不规则，运动状态复杂多变，现有监视手段如场面监视雷达和ads-b无法精确定位飞机的易碰擦部位。因此，迫切需要一种能够实现飞机停机坪泊位过程中的关键节点自动化识别和碰擦规避的智能监视与告警系统。
技术实现思路
1、本专利技术提供了一种基于场面监控视频的机场协同决策系统，旨在提高机场场面运行的效率和安全性。
2、一种飞机停机坪泊位过程智能监视与告警系统，包括：
3、(1)场面目标物检测模块，用于检测飞机、客梯车、加油车、牵引车及配餐车等场面目标物，并输出检测结果；
4、(2)目标关联匹配模块，采用马尔可夫模型对检测结果进行目标关联匹配，形成场面目标物的运动轨迹；
5、(3)关键时间节点识别与采集模块，利用dg-sta模型识别并采集关键时间节点，输出关键时间节点类别和发生的时序区间；
6、(4)目标物精细化定位模块，基于目标检测结果进行多类别关键点检测，并使用sqpnp算法进行姿态估计，输出目标物的三维空间位置；
8、(6)数据处理与显示模块，用于汇总上述模块的输出结果，并在图形用户界面上进行实时显示和交互。
9、进一步的其中场面目标物检测模块使用改进后的yolov7目标检测器，通过添加biformer注意力机制和将置信度损失替换为focalloss，提高检测精度和实时性。
10、进一步的，其中目标关联匹配模块采用byte算法，通过两次关联匹配过程，将高分检测框和低分检测框分别与预测框进行匹配，形成场面目标物的运动轨迹。
11、进一步的，其中关键时间节点识别与采集模块利用dg-sta模型提取场面目标物的时空运动特征，并结合滑动时间窗的方法，识别并采集关键时间节点。
12、进一步的，其中目标物精细化定位模块通过目标检测器和hrnet进行多类别关键点检测，并使用sqpnp算法进行姿态估计，输出目标物的三维空间位置。
13、进一步的其中告警模块包括：
14、(1)飞机廊桥相接判断与告警子模块，用于识别航空器与廊桥的位置，标记关键部位，监测廊桥位置是否偏离可移动区域或出现碰撞风险，并在航空器出港后判断廊桥是否回归原始位置，执行告警；
15、(2)发动机吸入告警区划设子模块，根据航空器速度信息计算发动机安全区大小，形成圆形安全区，并在人员或设备靠近时执行告警；
16、(3)乘客活动告警区划设子模块，通过识别乘客和工作人员的活动区域，监测乘客是否进入禁区，并执行告警；
17、(4)场面人员数量、车辆及反光锥放置核验子模块，通过检测安全区内的人员和设备数量，核验反光锥放置情况，发现异常时执行告警。
18、进一步的，其中数据处理与显示模块基于pyqt界面开发，用于实时显示和交互，提供用户友好的操作界面。
19、进一步的，包括以下步骤：
20、(1)使用改进的yolov7目标检测器对场面目标物进行检测；
21、(2)采用马尔可夫模型对检测结果进行目标关联匹配，形成运动轨迹；(3)利用dg-sta模型识别并采集关键时间节点；
22、(4)进行多类别关键点检测，并使用sqpnp算法进行姿态估计，输出三维空间位置；
23、(5)实时监控飞机廊桥相接及机场场面告警区，执行告警操作；
24、(6)汇总上述步骤的输出结果，并在图形用户界面上进行实时显示和交互。
25、进一步的，其中目标关联匹配步骤具体包括：
26、(1)初始化轨迹；
27、(2)遍历视频序列的每一帧，使用马尔可夫模型估计目标在当前帧中的新位置；
28、(3)通过两次关联匹配过程，将高分检测框和低分检测框分别与预测框进行匹配，形成场面目标物的运动轨迹。
29、进一步的，其中关键时间节点识别与采集步骤具体包括：
30、(1)将连续的检测框及其对应的类别信息送入dg-sta模型；
31、(2)使用时空掩码操作，减少计算成本，分类出视频中出现的关键时间节点；
32、其中目标物精细化定位步骤具体包括：
33、(1)使用目标检测器和hrnet进行多类别关键点检测，得到高分辨率的关键点热力图；
34、(2)使用sqpnp算法，通过非线性最小二乘问题，最小化重投影误差，得到相机位姿变换矩阵；
35、其中告警步骤具体包括：
36、(1)利用处理后视频的三个视角识别航空器与廊桥位置，标记关键部位，监测廊桥位置是否偏离可移动区域或出现碰撞风险，并在航空器出港后判断廊桥是否回归原始位置，执行告警；
37、(2)根据航空器速度信息计算发动机安全区大小，形成圆形安全区，并在人员或设备靠近时执行告警；
38、(3)通过识别乘客和工作人员的活动区域，监测乘客是否进入禁区，并执行告警；
39、(4)检测安全区内的人员和设备数量，核验反光锥放置情况，发现异常时执行告警。
40、系统通过采集和分析场面监控视频，获取关键时间节点信息和目标物关键位置信息，进而实现对机场场面各类目标物的精细化定位和预警。系统由两个主要模块构成：基于场面监视视频的关键时间节点采集模块和场面目标物精细化定位与告警模块。关键时间节点信息和目标物位置信息将及时上报至机场协同决策系统，帮助其完成相应的实施方案。
本文档来自技高网...【技术保护点】
1.一种飞机停机坪泊位过程智能监视与告警系统，包括：
2.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中场面目标物检测模块使用改进后的YOLOv7目标检测器，通过添加BiFormer注意力机制和将置信度损失替换为FocalLoss，提高检测精度和实时性。
3.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中目标关联匹配模块采用BYTE算法，通过两次关联匹配过程，将高分检测框和低分检测框分别与预测框进行匹配，形成场面目标物的运动轨迹。
4.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中关键时间节点识别与采集模块利用DG-STA模型提取场面目标物的时空运动特征，并结合滑动时间窗的方法，识别并采集关键时间节点。
5.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中目标物精细化定位模块通过目标检测器和HRNet进行多类别关键点检测，并使用SQPnP算法进行姿态估计，输出目标物的三维空间位置。
6.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系
7.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中数据处理与显示模块基于PyQt界面开发，用于实时显示和交互，提供用户友好的操作界面。
8.一种飞机停机坪泊位过程智能监视与告警方法，包括以下步骤：
9.根据权利要求8所述的一种飞机停机坪泊位过程智能监视与告警方法，其中目标关联匹配步骤具体包括：
10.根据权利要求8所述的一种飞机停机坪泊位过程智能监视与告警方法，其中关键时间节点识别与采集步骤具体包括：
...【技术特征摘要】
1.一种飞机停机坪泊位过程智能监视与告警系统，包括：
2.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中场面目标物检测模块使用改进后的yolov7目标检测器，通过添加biformer注意力机制和将置信度损失替换为focalloss，提高检测精度和实时性。
3.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中目标关联匹配模块采用byte算法，通过两次关联匹配过程，将高分检测框和低分检测框分别与预测框进行匹配，形成场面目标物的运动轨迹。
4.根据权利要求1所述的一种飞机停机坪泊位过程智能监视与告警系统，其中关键时间节点识别与采集模块利用dg-sta模型提取场面目标物的时空运动特征，并结合滑动时间窗的方法，识别并采集关键时间节点。
5.根据权利要求1所述的一...
【专利技术属性】
技术研发人员：汪雪婷，刘宇轩，陆轶，康鸣翠，黄晨昱，薛金凯，崔节轩，严锦添，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。