【技术实现步骤摘要】
本专利技术属于但不限于智慧机场，尤其涉及一种基于多尺度注意力的飞机舱门检测方法及系统。
技术介绍
1、登机桥是机场用以连接候机厅与飞机之间的可移动升降的通道。随着机场及整个运输系统的发展，机场的规模越来越大，旅客运载量也与日俱增，登机桥的使用率也随之大幅增长，登机桥作为连接机场与飞机的纽带在机场运行中承担着至关重要的作用，登机桥对接效率会直接影响机场的运行效率。
2、人工驾驶登机桥需要耗费大量的培训成本，同时容易出现误操作导致机场安全事故的发生。无人驾驶登机桥利用自身的高精度传感器以及智能感知算法，完成对周围环境的感知和与飞机舱门的对接，可以实现更安全、高效的舱门对接过程，是目前智慧机场的发展趋势之一。
3、随着人工智能、计算机视觉的发展，目前基于深度学习的实时目标检测器yolo已经被应用于无人驾驶登机桥的飞机舱门检测中，是与本专利技术最接近的实现方案。yolo通过基于cnn的主干网络提取特征飞机舱门图像中的局部特征，如舱门边框、舱门踏板、手柄、观察窗等，用基于特征金字塔结构的颈部网络融合多尺度特征，最后在不同尺度的特征图上检测不同大小的舱门目标，通过卷积检测头输出目标的位置信息，可以在简单涂装舱门检测上达到较高的精度。
4、机身复杂涂装会对舱门检测带来极大的干扰，复杂涂装具有较高的随机性，含有丰富的边缘信息、色彩信息，对飞机舱门的局部特征提取影响严重。目前，yolo在常规涂装飞机舱门检测上能达到90%以上的准确率，在复杂涂装飞机舱门上却经常出现漏检情况，准确率不及80%。
5、现
6、鉴于上述分析，现有技术存在的急需解决的技术问题为：
7、（1）现有的飞机舱门检测模型yolo主要利用图像中的局部特征识别舱门，在机身带有复杂涂装的情况下，飞机舱门的局部特征难以提取，yolo在这种情况下精度不足。
8、（2）现有的基于transformer的目标检测模型普遍存在实时性不足的特点，难以满足无人驾驶登机桥自动对接舱门的实时性要求。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于多尺度注意力的飞机舱门检测方法及系统。
2、本专利技术是这样实现的，一种基于多尺度注意力的飞机舱门检测方法，该方法具体包括：
3、s1：搭建基于多尺度注意力和可变形注意力的视觉transformer舱门检测模型。
4、s2：采集包含多种涂装样式的飞机舱门数据集，训练复杂涂装飞机舱门检测模型。
5、s3：将训练好的舱门检测模型部署在无人驾驶登机桥，实时检测登机桥桥头摄像头传输的画面。
6、进一步，所述s1，模型包括主干网络、编码器、解码器三个部分：
7、（1）主干网络：主干网络用于对输入舱门图像进行初步的特征提取，同时进行逐层下采样，为颈部网络提供多尺度特征图，现有的能输出多尺度特征图的主流网络模型如resnet、mobilenet、vision tranformer等均可作为主干网络。
8、（2）编码器：编码器是一个包含多尺度transformer编码器和多尺度特征金字塔的架构，多尺度transformer编码器包括一个多尺度注意力模块、一个前馈网络模块以及两个残差归一化层，多尺度注意力模块将图像按通道分割成多组，不同组特征图分给不同的注意力头部，在不同头部上进行不同的扩展率的滑动窗口自注意操作，从而提取图像中的不同大小舱门目标的边缘信息，多尺度特征金字塔接收多尺度transformer编码器的输出和主干网络的浅层输出，通过一条上采样路径和下采样路径融合不同的多尺度特征。
9、（3）解码器：用于从编码器输出的特征图中预测目标，采用的解码器是一个多层的可变形transformer解码器，每个解码器层由一个多头自注意力模块、一个可变形注意力模块和一个前馈网络模块组成，这些模块的输出在进入到下一个模块之前进行残差连接和层归一化。
10、进一步，所述s2，训练阶段的具体步骤如下：
11、（1）利用搭载在登机桥桥头的摄像头，在不同的位置、天气、光照等条件下采集多种涂装样式的飞机舱门图片，也可采集网络上的图片对数据集进行扩充。
12、（2）对图片进行几何变换增广如平移、裁剪、翻转、旋转以及颜色变换增广如亮度变换、加入噪声、对比度调节、饱和度调节等，通过数据增广扩充训练样本数量。
13、（3）对数据集标注标签，每张图片对应一个txt文本文件，txt文本文件的每一行对应图片中的一个舱门，每行内容包括目标类别、目标边界框的中心坐标以及尺寸。
14、（4）将数据集按一定比例拆分为训练集和测试集，将训练集输入到检测模型中，通过反向传播算法进行训练模型参数，用测试集测试模型的检测精度、推理速度，当精度和推理速度达到要求后，就可以将训练好的目标检测模型用于舱门检测。
15、进一步，所述s3，在检测阶段，启动搭载在登机桥桥头的摄像头，对机身进行实时的视频采集，利用训练好的舱门检测模型实时检测每一帧画面中的舱门位置，所述检测阶段的具体步骤如下：
16、（1）将训练好的模型部署到无人驾驶登机桥的工控机上。
17、（2）启动搭载在登机桥桥头的摄像头，采集飞机舱门视频数据。
18、（3）将视频流输入训练好的舱门检测模型中，实时检测每一帧视频画面中的舱门，输出舱门的检测框的中心坐标、长度、宽度信息。
19、本专利技术另一目的在于提供一种基于多尺度注意力的飞机舱门检测系统，该系统具体包括：
20、视觉transformer舱门检测模型，该模型基于多尺度注意力和可变形注意力，包含主干网络、编码器和解码器，用于对飞机舱门图像进行特征提取和检测。
21、数据采集装置，用于在不同位置、天气和光照条件下采集多种涂装样式的飞机舱门图片，并对数据集进行几何和颜色变换增广。
22、训练模块，用于对采集到的数据进行标注，将数据集拆分为训练集和测试集，通过反向传播算法训练模型参数。
23、部署模块，用于将训练好的舱门检测模型部署在无人驾驶登机桥的工控机上，实现实时检测。
24、进一步，所述视觉transformer舱门检测模型包括：
25、主干网络，用于对输入的飞机舱门图像进行初步特征提取，逐层下采样，输出多尺度特征图，主流网络模型如resnet、mobilenet、vision transformer均可作为主干网络。
26、编码器，包括多尺度transformer编码器和多尺度特征金字塔，用于通过多尺度注意力模块和前馈网本文档来自技高网...
【技术保护点】
1.一种基于多尺度注意力的飞机舱门检测方法，其特征在于，该方法包括：
2.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述S1，基于多尺度注意力和可变形注意力的视觉Transformer舱门检测模型包括主干网络、编码器、解码器三个部分：
3.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述S2，训练阶段的具体步骤如下：
4.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述S3，在检测阶段，启动搭载在登机桥桥头的摄像头，对机身进行实时的视频采集，利用训练好的舱门检测模型实时检测每一帧画面中的舱门位置，所述检测阶段的具体步骤如下：
5.一种如权利要求1-4所述方法的基于多尺度注意力的飞机舱门检测系统，其特征在于，该系统具体包括：
6.如权利要求5所述的系统，其特征在于，所述视觉Transformer舱门检测模型包括：
7.如权利要求5所述的系统，其特征在于，所述数据采集装置包括：
8.如权利要求5所述的系统，其特征在于，所述部署模块包括：p>...
【技术特征摘要】
1.一种基于多尺度注意力的飞机舱门检测方法，其特征在于，该方法包括：
2.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述s1，基于多尺度注意力和可变形注意力的视觉transformer舱门检测模型包括主干网络、编码器、解码器三个部分：
3.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述s2，训练阶段的具体步骤如下：
4.如权利要求1所述基于多尺度注意力的飞机舱门检测方法，其特征在于，所述s3，在检测阶段，启动搭载...
【专利技术属性】
技术研发人员：丁卓越，张成，余泰霆，黄磊，叶润，黄庆洪，蔡梓洋，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。