一种航班地面保障作业规范流程检测系统技术方案

本发明专利技术提供一种航班地面保障作业规范流程检测系统，包括视频获取模块、深度学习检测模块和数据分析模块；视频获取模块获取机场停机坪的监控视频，拍摄的视频保存在机场本地数据中心，开放API供其他模块调取；深度学习检测模块预先使用标注数据训练目标检测模型并保存，从视频获取模块提供的API接口调取监控视频，经目标检测模型逐帧检测后，将检测结果通过API传递给数据分析模块；数据分析模块从API获取视频图像帧检测结果，使用状态机模型分析视频中的流程进行状态并可视化显示，对不符合地面保障作业规范流程的异常状态发出警告信息，并将关键事件的时间段导出到ACDM数据库。本发明专利技术实时、不间断，节省人力、财力，提高管理效率。

A Flow Detection System for Flight Ground Support Operation Specification

The invention provides a process detection system for flight ground support operation specifications, including video acquisition module, depth learning detection module and data analysis module; video acquisition module obtains airport apron monitoring video, saves the captured video in the local airport data center, opens API for other modules to access; depth learning detection module pre-uses labeled data training target. The detection model is saved, and the monitoring video is fetched from the API interface provided by the video acquisition module. After frame-by-frame detection of the target detection model, the detection results are transmitted to the data analysis module through API. The data analysis module obtains the detection results of the video image frame from API, uses the state machine model to analyze the status of the process in the video and visually display it, which does not conform to the operation rules of ground support. The abnormal state of the normative process sends out warning information and exports the time period of key events to the ACDM database. The invention is real-time and uninterrupted, saves manpower and financial resources, and improves management efficiency.

【技术实现步骤摘要】
一种航班地面保障作业规范流程检测系统
本专利技术涉及机场流程检测
，具体涉及一种航班地面保障作业规范流程检测系统。
技术介绍
随着现代交通的飞速发展，机场需要更多的航空运输任务，机场自身的管理任务也变得越来越复杂繁琐。尽管如今机场大多已经引入数据库技术对重要时间节点进行管理，但是地面保障作业仍然需要专门的监管人员，不定时地对停机坪监控视频进行抽查，确认各类人员、设备、车辆的操作规范。这种方式需要耗费额外的人力去调取、分析长时间的监控视频，而且抽查的监管方式也无法完全地排除安全隐患，一旦出现了未发现的隐患，往往会给机场带来巨大的经济损失。针对人工抽查这种方式的弊端，急需现有技术改进发展，用机器代替人工抽查来对航班地面保障作业的流程操作是否规范进行更加全面的评价监管。
技术实现思路
本专利技术的目的是提供一种可以实时、不间断地判断机场地面保障中各类人员、设备、车辆的操作是否规范、基于深度学习的航班地面保障作业规范流程检测系统。为了达到上述目的，本专利技术通过以下技术方案来实现：一种航班地面保障作业规范流程检测系统，包括视频获取模块、深度学习检测模块和数据分析模块；视频获取模块获取机场停机坪的监控视频，视频来自停机坪三个不同位置的相机，其中两个相机分别固定在飞机的右侧和左前方，另一个可旋转相机安装在飞机前方；拍摄的视频保存在机场本地数据中心，开放API供其他模块调取；深度学习检测模块预先使用标注数据训练目标检测模型并保存，使用检测工具复检保证数据标注的可靠性，在darknet框架下构建目标检测深度学习模型，使用标注数据进行训练，保存训练好的模型参数；从视频获取模块提供的API接口调取监控视频，经目标检测模型逐帧检测后，将检测结果通过API传递给数据分析模块；数据分析模块从API获取视频图像帧检测结果，对检测结果进行数据预处理，使用状态机模型分析视频中的流程进行状态并可视化显示，对不符合地面保障作业规范流程的异常状态发出警告信息，并将关键事件的时间段导出到ACDM数据库。进一步地，视频获取模块中采集到的视频按照不同视角分类存储，视频分辨率为1080P。进一步地，深度学习检测模块中，使用目标检测标注工具对提取出的图像帧进行数据标注，标注目标包括飞机、人、警示锥、轮档、客梯车、装卸货车、配餐车、加油车、清/污水车、客舱门供10种地面保障流程对象；目标的位置信息采用矩形边界框表示，每个矩形边界框用左上角坐标和右下角坐标定义。进一步地，数据分析模块对从深度学习检测模块API获取的检测结果进行数据预处理，联合物体的当前位置信息、运动信息、环境信息对当前的流程状态进行判断；深度学习检测模块API提供物体的当前位置信息，采用KCF跟踪算法获取物体的运动信息，采用传统机器视觉方法获取物体的环境信息。进一步地，状态机模型可根据数据预处理获取的信息推断得到物体的下一个状态，并综合判断物体的位置和运动是否符合流程规范。进一步地，针对物体的当前位置信息、运动信息和环境信息，状态机模型可以分析得到关键事件的时间点。本专利技术与现有技术相比，具有以下优点：本专利技术一种航班地面保障作业规范流程检测系统，首次将深度学习应用在机场地面保障作业流程的检测上，可以实时、不间断地判断机场地面保障中各类人员、设备、车辆的操作是否规范，排查潜在的安全隐患，尽量避免事故的发生，节省人力、财力，提高管理效率，实现更加全面的检测监管。附图说明图1是本专利技术一种航班地面保障作业规范流程检测系统的模块示意图。图2是本专利技术一种航班地面保障作业规范流程检测系统的停机坪示意图。图3是本专利技术一种航班地面保障作业规范流程检测系统的矩形边界框示意图。图4是本专利技术一种航班地面保障作业规范流程检测系统的边界框标注示意图(一)。图5是本专利技术一种航班地面保障作业规范流程检测系统的边界框标注示意图(二)。图6是本专利技术一种航班地面保障作业规范流程检测系统的实际效果图。具体实施方式下面结合附图，对本专利技术的实施例作进一步详细的描述。如图1所示，一种航班地面保障作业规范流程检测系统，包括视频获取模块、深度学习检测模块和数据分析模块。视频获取模块获取机场停机坪的监控视频，视频来自停机坪三个不同位置的相机，如图2所示，相机1、相机2分别固定在飞机的左前方和右侧，相机3为可旋转相机且安装在飞机前方；这种相机部署方法可以拍摄到飞机客舱门、货舱门等地面保障任务的操作位置，保证飞机在监控当中没有盲点。视频获取模块中采集到的视频按照不同视角分类存储，视频分辨率为1080P，以保证画面细节清晰度。拍摄的视频保存在机场本地数据中心，开放API供外部其他模块调取。深度学习检测模块预先使用标注数据训练目标检测模型并保存，使用检测工具复检保证数据标注的可靠性，在darknet框架下构建目标检测深度学习模型，使用标注数据进行训练，保存训练好的模型参数；从视频获取模块提供的API接口调取监控视频，经训练好的目标检测模型逐帧检测后，将检测结果通过API传递给数据分析模块。在长时间的监控视频中截取出属于地面保障流程的片段，以适宜的采样率从中提取出图像帧。使用专门的目标检测标注工具对提取出的图像帧进行图像数据标注，标注目标包括飞机、人、警示锥、轮档、客梯车、装卸货车、配餐车、加油车、清/污水车、客舱门共10种地面保障流程对象。如图3所示，目标的位置信息采用矩形边界框表示，每个矩形框用左上角坐标和右下角坐标定义。如图4所示，标注工具在选定待标注图片、指定保存路径后，显示第一张图片，用户点击功能区域的创建边界框选项即可为图像中的目标标注出矩形边界框，边界框定位完成后，需要在飞机、人、警示锥、轮档、客梯车、装卸货车、配餐车、加油车、清/污水车、客舱门共10种给定标签中选择其中一种。若需修改边界框，则在图像中选中边界框后点击功能区域的删除选项，重新创建边界框和标签。重复创建边界框-选择标签的操作直至图像中不存在未框选目标，点击功能区域的保存选项，标注工具为当前标注图像生成PASCALVOC格式的xml标签文件，其中包含每个目标边界框的种类信息(10个分类使用数字0-9编码)和位置信息(左上角坐标(x1，y1)和右下角坐标(x2，y2))。点击功能区域下一张，重复第一张的操作，直至标注完成所需数据。如图5所示，检测工具加载原始图像和xml标签文件，并在窗口中同时显示图像和边界框。功能区域提供上一张、下一张、删除当前图片操作。深度学习目标检测模型使用darknet和pytorch框架编写，使用标注数据训练完成后，存储模型参数。使用存储的最优模型实时检测输入视频图像帧，得到图像帧中各类目标的检测结果，检测结果通过API传输至数据分析模块。数据格式如下：目标1位置信息位置置信度分类分类置信度目标2位置信息位置置信度分类分类置信度……………数据分析模块从API获取视频图像帧检测结果，使用状态机模型分析视频中的流程进行状态并可视化显示，对不符合地面保障作业规范流程的异常状态发出警告信息，并将关键事件的时间段导出到ACDM数据库作为数据补充。具体来说，数据分析模块对从深度学习检测模块API获取的检测结果进行数据预处理，联合物体的当前位置信息、运动信息、环境信息对当前的流程状态进行判断，对于需要分析运动状态的目标，跟踪其运动轨迹，并对跟踪结果进行滤波，本文档来自技高网...

【技术保护点】
1.一种航班地面保障作业规范流程检测系统，其特征在于：包括视频获取模块、深度学习检测模块和数据分析模块；视频获取模块获取机场停机坪的监控视频，视频来自停机坪三个不同位置的相机，其中两个相机分别固定在飞机的右侧和左前方，另一个可旋转相机安装在飞机前方；拍摄的视频保存在机场本地数据中心，开放API供其他模块调取；深度学习检测模块预先使用标注数据训练目标检测模型并保存，使用检测工具复检保证数据标注的可靠性，在darknet框架下构建目标检测深度学习模型，使用标注数据进行训练，保存训练好的模型参数；从视频获取模块提供的API接口调取监控视频，经目标检测模型逐帧检测后，将检测结果通过API传递给数据分析模块；数据分析模块从API获取视频图像帧检测结果，对检测结果进行数据预处理，使用状态机模型分析视频中的流程进行状态并可视化显示，对不符合地面保障作业规范流程的异常状态发出警告信息，并将关键事件的时间段导出到ACDM数据库。

【技术特征摘要】
1.一种航班地面保障作业规范流程检测系统，其特征在于：包括视频获取模块、深度学习检测模块和数据分析模块；视频获取模块获取机场停机坪的监控视频，视频来自停机坪三个不同位置的相机，其中两个相机分别固定在飞机的右侧和左前方，另一个可旋转相机安装在飞机前方；拍摄的视频保存在机场本地数据中心，开放API供其他模块调取；深度学习检测模块预先使用标注数据训练目标检测模型并保存，使用检测工具复检保证数据标注的可靠性，在darknet框架下构建目标检测深度学习模型，使用标注数据进行训练，保存训练好的模型参数；从视频获取模块提供的API接口调取监控视频，经目标检测模型逐帧检测后，将检测结果通过API传递给数据分析模块；数据分析模块从API获取视频图像帧检测结果，对检测结果进行数据预处理，使用状态机模型分析视频中的流程进行状态并可视化显示，对不符合地面保障作业规范流程的异常状态发出警告信息，并将关键事件的时间段导出到ACDM数据库。2.根据权利要求1所述的一种航班地面保障作业规范流程检测系统，其特征在于：视频获取模块中采集到的视频按照不同视角分类存储，视频分辨率为1080P。3.根据权利要求1所...

【专利技术属性】
技术研发人员：刘勇，邓淳方，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33