一种基于BERT-CRF词向量模型的空管指令复诵检验方法技术

本发明专利技术涉及一种基于BERT

【技术实现步骤摘要】
一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法


[0001]本专利技术涉及语言分析
，更具体地说，涉及一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法。

技术介绍

[0002]空管指令是空中交通管制过程中传递信息的关键载体，空管员通过空管指令对空域中的飞行活动实施统一的监督、管理和调度。在执行飞行任务时，管制员通过语音电台向飞行员发送空管指令，飞行员收到指令后会对其内容进行复诵，由人工确认双方复诵内容是否基本一致，当复诵无误时，飞行员执行相应的飞行动作。
[0003]由于语音信号在信道传递的过程中会受到各种噪声的干扰，导致飞行员接收到的空管指令出现偏差，进而复诵错误的空管指令。如果管制员和飞行员不能及时发现复诵错误，将会对飞行任务造成极大的安全隐患。为了减少相关风险，本专利技术提出一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，运用人工智能方法对空管指令实施复诵校验，实现自动化的空管指令复诵预警。

技术实现思路

[0004]本专利技术的目的在于提供一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，解决了空中交通管制作业中，空管指令复诵的一致性只能由人工判断的问题，实现了自动化、智能化的空管指令复诵检验。
[0005]本专利技术提供一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，包括以下步骤：
[0006]S1：采集空管指令数据，对其进行数据清洗和标注；
[0007]S2：挖掘其语法规则、分词规则，构建空管指令复诵数据库，用于后续训练；
[0008]S3：搭建BERT网络结构和CRF网络结构；
[0009]S4：整合BERT网络结构和CRF网络结构，形成BERT
‑
CRF模型；
[0010]S5：使用空管指令复诵数据库对BERT
‑
CRF模型进行训练，空管指令文本作为训练输入，分词标签作为模型的输出；
[0011]S6：使用测试集对BERT
‑
CRF模型进行评估，当评估结果超过预设阈值时，固定模型结构执行步骤S6，否则组织数据重复步骤S5；
[0012]S7：通过BERT
‑
CRF词向量模型将空管指令和复诵指令转化为词向量序列。
[0013]进一步地，所述步骤S5中的分词标签作为模型的输出仅针对模型训练过程，复诵一致性判断所使用的特征为模型中间层的词向量。
[0014]进一步地，所述步骤S3中包括使用基于多头注意力机制和位置编码的组合结构来提取特征信息；多头注意力机制提取特征的计算公式为：
[0015]MultiHead(Q,K,V)＝Concat(head1,...,head
n
)W
O
[0016]head
i
＝Attention(XW
iQ
,XW
iK
,XW
iV
)
[0017][0018]进一步地，所述步骤S3中还包括对BERT在空管指令复诵语料库中进行预训练。
[0019]进一步地，所述预训练包括以下步骤：
[0020]S31：屏蔽训练，随机遮挡输入中的一些词汇，并基于上下文预测被遮挡的词汇，使得文本表示当前语境；
[0021]S32：下一句预测，判断两句话是否连续。
[0022]进一步地，所述步骤S3中还包括计算每一种位置标签序列的得分，所述得分的计算公式如下：
[0023][0024]其中，n为句子的长度，X＝(X1，X2，
…
，X
n
)为输入空管复诵指令文字序列，Y＝(Y1，Y2，
…
，Y
n
)为其对应的位置标签序列；A表示位置标签之间的转移概率，表示第i个字对应的位置标签Yi的概率。
[0025]进一步地，所述步骤S3中还包括对所有的位置标签序列分数进行归一化，并使得正确序列分数最大，计算方法如下式所示：
[0026][0027]进一步地，所述步骤S5中还包括计算相邻两轮迭代结束后词向量层网络节点数值之差的平方和，达到局部极小值时即停止训练。
[0028]进一步地，所述步骤S7中还包括将待处理的空管指令文本输入上述词向量模型，计算得到词向量层网络节点的输出数值即为表征文本指令的词向量。
[0029]进一步地，所述基于BERT
‑
CRF词向量模型的空管指令复诵检验方法还包括构建包含输入模块、信息交互模块、语义表征模块和语义判断模块的孪生网络，使用BERT
‑
CRF生成的词向量模型作为孪生网络的输入，判断空管指令复诵文本组合是否一致。
[0030]本专利技术提供的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，使用人工智能方法对空管指令实施复诵校验，实现自动化、智能化的空管指令复诵预警，解决了空中交通管制作业中，空管指令复诵的一致性只能由人工判断的问题，以提升空中交通管制作业的安全性，提高管制员的工作效率。
附图说明
[0031]图1为本专利技术实施例提供的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法的流程示意图。
[0032]图2为基于BERT
‑
CRF空管指令词向量生成模型结构示意图。
[0033]图3(a)
‑
图3(b)为BERT模型的结构说明图。
[0034]图4为CRF模型的结构说明图。
[0035]图5为初始预训练后BERT
‑
CRF模型生成的词向量在二维空间中的映射图。
[0036]图6为经过10轮迭代后BERT
‑
CRF模型生成的词向量在二维空间中的映射图。
[0037]图7为经过20轮迭代后BERT
‑
CRF模型生成的词向量在二维空间中的映射图。
[0038]图8为空管指令复诵相似度计算孪生网络模型结构示意图。
具体实施方式
[0039]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0040]本专利技术的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0041]实施例1
[0042]空中交通管制指令是一种典型的调度指令，有着严格的指令规范要求和指令复诵要求。本实施例依据某机场数据设备中取出的空管指令文字数据，建立了空管指令复诵语料库。语料库能涵盖所有类型的空管指令，具有一定的代表性。
[0043]图1为本专利技术实施例提供的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法的流程示意图。请参照图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，其特征在于，包括以下步骤：S1：采集空管指令数据，对其进行数据清洗和标注；S2：挖掘其语法规则、分词规则，构建空管指令复诵数据库，用于后续训练；S3：搭建BERT网络结构和CRF网络结构；S4：整合BERT网络结构和CRF网络结构，形成BERT
‑
CRF模型；S5：使用空管指令复诵数据库对BERT
‑
CRF模型进行训练，空管指令文本作为训练输入，分词标签作为模型的输出；S6：使用测试集对BERT
‑
CRF模型进行评估，当评估结果超过预设阈值时，固定模型结构执行步骤S6，否则组织数据重复步骤S5；S7：通过BERT
‑
CRF词向量模型将空管指令和复诵指令转化为词向量序列。2.根据权利要求1所述的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，其特征在于，所述步骤S5中的分词标签作为模型的输出仅针对模型训练过程，复诵一致性判断所使用的特征为模型中间层的词向量。3.根据权利要求1所述的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，其特征在于，所述步骤S3中包括使用基于多头注意力机制和位置编码的组合结构来提取特征信息；多头注意力机制提取特征的计算公式为：MultiHead(Q,K,V)＝Concat(head1,...,head
n
)W
O
head
i
＝Attention(XW
iQ
,XW
iK
,XW
iV
)4.根据权利要求1所述的基于BERT
‑
CRF词向量模型的空管指令复诵检验方法，其特征在于，所述步骤S3中还包括对BERT在空管指令复诵语料库中进行预训练。5.根据权利要求4所述的基于BERT
‑
CRF词向量模型...

【专利技术属性】
技术研发人员：张玮，马翼平，付宗宝，田长盛，
申请(专利权)人：中航华东光电上海有限公司，
类型：发明
国别省市：