基于虚拟对抗的地址相关性判断方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种基于虚拟对抗的地址相关性判断方法、装置、设备及介质，包括：获取训练文本数据，对训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；将正则文本向量输入至地址相关性判断模型,对地址相关性判断模型进行无监督训练，得到文本数据的隐含特征向量；使用训练文本数据数据对全连接神经网络进行虚拟对抗预训练；使用训练文本数据数据对全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。在地址相关性任务中，大大提高模型的鲁棒性与泛化能力。模型的鲁棒性与泛化能力。模型的鲁棒性与泛化能力。

【技术实现步骤摘要】
基于虚拟对抗的地址相关性判断方法、装置、设备及介质


[0001]本专利技术涉及人工智能技术、自然语言处理
，尤其涉及一种基于虚拟对抗的地址相关性判断方法、装置、设备及介质。

技术介绍

[0002]目前地址相关性判断系统缺点1:地址相关性的判断系统，往往存在鲁棒性不够强的问题，稍微有些噪声的输入会对模型的判断能力产生严重的影响。
[0003]通过在训练过程引入虚拟对抗技术和适当的规则系统，解决了地址相关性判断系统鲁棒性不够的问题。
[0004]目前址相关性判断系统缺点2:地址相关性的判断系统，泛化能力弱是一大通病，在用户输入的地址关系判断中，往往难以取得良好的效果。
[0005]要解决的技术问题1:地址相关性的判断模型，往往存在鲁棒性不够强的问题，稍微有些噪声的输入会对模型的判断能力产生严重的影响。本专利技术着重解决地址相关性模型鲁棒性不高的问题，提升地址相关性判断的鲁棒性。
[0006]要解决的技术问题2:地址相关性的判断模型，泛化能力弱是一大问题，严重制约了生产环境中的使用。本专利技术着重解决地址相关性模型泛化能力弱的问题，提升地址相关性模型的泛化能力。

技术实现思路

[0007]本专利技术提供一种基于虚拟对抗的地址相关性判断方法、装置、计算机设备及介质，以解决语义匹配模型匹配不准确，匹配能力严重不足，继而使得问答效果不佳的技术问题。
[0008]第一方面，提供了一种基于虚拟对抗的地址相关性判断方法，包括：
[0009]获取训练文本数据，对所述训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；
[0010]将所述正则文本向量输入至地址相关性判断模型,对所述地址相关性判断模型进行无监督训练，得到所述文本数据的隐含特征向量；
[0011]使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练；
[0012]使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。
[0013]在一些实施例中，所述获取训练文本数据，包括：
[0014]获取训练文本数据，识别所述训练文本中的地址命名实体；
[0015]对包含地址命名实体的所述训练文本进行数据扩充增强，得到最终的训练文本数据。
[0016]在一些实施例中，所述对包含地址命名实体的所述训练文本进行数据扩充增强，包括：
[0017]使用训练得到的实体识别模型对每条数据进行地址识别，识别出句子中的地址信
息；
[0018]使用EDA算法对所述训练文本数据进行数据增强；或使用使用Nezha
‑
large模型对所述训练文本数据进行数据增强。
[0019]在一些实施例中，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练，包括：
[0020]对于每轮迭代中的每个过程，从N(0,σ2I)中采样噪声δ；
[0021]通过公式计算虚拟对抗的KL损失对于噪声δ的梯度g
adv
；
[0022]通过δ＝δ+ηg
adv
更新噪声δ，得到最大噪声δ；
[0023]通过公式求得模型这一个过程的更新梯度g
θ
；
[0024]最后对模型进行θ＝θ
‑
γg
θ
参数更新，其中γ为学习率参数。
[0025]在一些实施例中，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，包括：
[0026]对于每轮迭代中的每个过程，通过公式求得反向传播的梯度；
[0027]通过公式δ＝ε
·
g/||g||2求得噪声δ的值；
[0028]再通过公式求得embedding部分加入噪声之后，反向传播的梯度。最后分别通过梯度g和g
δ
分别更新模型参数参数θ。
[0029]在一些实施例中，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练，包括：
[0030]虚拟对抗训练优化的具体目标函数如下所示:
[0031][0032]其中θ表示模型参数，x表示输入y表示真实标签，δ表示噪声，α表示虚拟对抗部分的超参数，l表示交叉熵损失函数，KL表示KL散度损失函数；公式中的max部分是虚拟对抗的损失，我们在模型输入的embedding部分引入噪声δ，噪声δ服从N(0,σ2I)的高斯分布，其中σ表示高斯分布的方差。这里使用embedding部分引入噪声后的模型输出分布f(x+δ；θ)与f(x；θ)进行KL散度计算损失；
[0033]所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，包括：
[0034]引入噪声的方式使用在向量转换部分引入噪声，对抗训练优化的具体目标函数如下所示:
[0035][0036]在向量转换部分引入噪声δ使模型输出与真实标签y的交叉熵损失最大化。
[0037]在一些实施例中，所述方法还包括：
[0038]计算地址相关性判断模型的全连接层输出结果的不确定性；
[0039]将所述不确定与预设阈值进行比较，
[0040]如果所述不确定性大于预设阈值，则模型不需要通过规则库辅助判定；
[0041]如果所述不确定性小于或等于预设阈值，则将所述输出结果与规则库中的规则进行匹配，若匹配中，则按照规则库给定的结果输出，否则按照模型的结果输出。
[0042]第二方面，提供了一种基于虚拟对抗的地址相关性判断装置，包括：
[0043]获取模块，用于获取训练文本数据，对所述训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；
[0044]向量模块，用于将所述正则文本向量输入至地址相关性判断模型,对所述地址相关性判断模型进行无监督训练，得到所述文本数据的隐含特征向量；
[0045]第一训练模块，用于使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练；
[0046]第二训练模块，用于使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。
[0047]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于虚拟对抗的地址相关性判断方法的步骤。
[0048]第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于虚拟对抗的地址相关性判断方法的步骤。
[0049]上述基于虚拟对抗的地址相关性判断方法、装置、计算机设备及存储介质所实现的方案中，可以通过获取训练文本数据，对所述训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；将所述正则文本向量输入至地址相关性判断模型,对所述地址相关性判断模型进行无监督训练，得到所述文本数据的隐含特征向量；使用所述训练文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟对抗的地址相关性判断方法，其特征在于，包括：获取训练文本数据，对所述训练文本数据中各个字对应的字向量并正则化处理，得到正则文本向量；将所述正则文本向量输入至地址相关性判断模型,对所述地址相关性判断模型进行无监督训练，得到所述文本数据的隐含特征向量；使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练；使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，生成用于文本分类的神经网络模型。2.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述获取训练文本数据，包括：获取训练文本数据，识别所述训练文本中的地址命名实体；对包含地址命名实体的所述训练文本进行数据扩充增强，得到最终的训练文本数据。3.如权利要求2所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述对包含地址命名实体的所述训练文本进行数据扩充增强，包括：使用训练得到的实体识别模型对每条数据进行地址识别，识别出句子中的地址信息；使用EDA算法对所述训练文本数据进行数据增强；或使用使用Nezha
‑
large模型对所述训练文本数据进行数据增强。4.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗预训练，包括：对于每轮迭代中的每个过程，从N(0,σ2I)中采样噪声δ；通过公式计算虚拟对抗的KL损失对于噪声δ的梯度g
adv
；通过δ＝δ+ηg
adv
更新噪声δ，得到最大噪声δ；通过公式求得模型这一个过程的更新梯度g
θ
；最后对模型进行θ＝θ
‑
γg
θ
参数更新，其中γ为学习率参数。5.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，其特征在于，所述使用所述训练文本数据数据对所述全连接神经网络进行虚拟对抗微调训练，包括：对于每轮迭代中的每个过程，通过公式求得反向传播的梯度；通过公式δ＝ε
·
g/||g||2求得噪声δ的值；再通过公式求得embedding部分加入噪声之后，反向传播的梯度。最后分别通过梯度g和g
δ
分别更新模型参数参数θ。6.如权利要求1所述的基于虚拟对抗的地址相关性判断方法，...

【专利技术属性】
技术研发人员：邹游，
申请(专利权)人：重庆特斯联启智科技有限公司，
类型：发明
国别省市：