噪声的检测方法、装置及电子设备制造方法及图纸

本申请公开了一种噪声的检测方法、装置及电子设备，属于人工智能技术领域。该方法包括：获取语料集合中的训练样本以及目标模板，其中，所述目标模板为基于所述语料集合和预训练模型确定的提示Prompt模板；对目标对象进行向量化，得到目标词向量；其中，所述目标对象包括：所述目标模板和所述训练样本；将所述目标词向量输入到所述预训练模型，得到所述预训练模型输出的预测标签；基于所述预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况；其中，所述相似词语为与目标标签具有相同语义或相似语义的词语，所述目标标签为对所述训练样本进行标注的标签。标签为对所述训练样本进行标注的标签。标签为对所述训练样本进行标注的标签。

【技术实现步骤摘要】
噪声的检测方法、装置及电子设备


[0001]本申请属于人工智能
，具体涉及一种噪声的检测方法、装置及电子设备。

技术介绍

[0002]深度学习模型的使用过程一般可以分为样本标注、特征抽取、模型训练三个阶段。在实践过程中，样本标注阶段通常需要人工对大量的训练样本进行标注，从而对应每一训练样本生成该训练样本的标签，进而利用训练样本和标注后的标签进行后面两个阶段。
[0003]目前，由于训练数据的情况较为复杂以及一些人为的因素，导致对部分训练数据标注的标签并不准确，即训练数据的标签中存在一定噪声。这就对后续模型的训练造成了一定影响。例如会导致模型的训练时间增长、模型进行预测的准确性较低等问题。为此，只能在样本标注阶段，对标注人员提高要求，以降低训练数据的标签中的噪声。
[0004]然而，上述方法仍不能排除人为因素的影响，对标签噪声的改善有限，因此，现有技术中仍存在训练数据的标签噪声较高，训练数据整体质量较低的问题。

技术实现思路

[0005]本申请实施例的目的是提供一种噪声的检测方法、装置及电子设备，能够解决相关技术中训练数据的标签噪声较大的问题。
[0006]第一方面，本申请实施例提供了一种噪声的检测方法，该方法包括：
[0007]获取语料集合中的训练样本以及目标模板，其中，所述目标模板为基于所述语料集合和预训练模型确定的提示Prompt模板；
[0008]对目标对象进行向量化，得到目标词向量；其中，所述目标对象包括：所述目标模板和所述训练样本；
[0009]将所述目标词向量输入到所述预训练模型，得到所述预训练模型输出的预测标签；
[0010]基于所述预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况；其中，所述相似词语为与目标标签具有相同语义或相似语义的词语，所述目标标签为对所述训练样本进行标注的标签。
[0011]第二方面，本申请实施例提供了一种噪声的检测装置，该装置包括：
[0012]获取模块，用于获取语料集合中的训练样本以及目标模板，其中，所述目标模板为基于所述语料集合和预训练模型确定的提示Prompt模板；
[0013]第一向量化模块，用于对目标对象进行向量化，得到目标词向量；其中，所述目标对象包括：所述目标模板和所述训练样本；
[0014]预测模块，用于将所述目标词向量输入到所述预训练模型，得到所述预训练模型输出的预测标签；
[0015]噪声模块，用于基于所述预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况；其中，所述相似词语为与目标标签具有相同语义或相似语义的
词语，所述目标标签为对所述训练样本进行标注的标签。
[0016]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0017]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0018]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0019]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0020]本申请实施例中，可以在获取语料集合中的训练样本的同时，获取一目标模板。其中，该目标模板为语料集合和预训练模型确定的Prompt模板。利用Prompt模板的特性，在将包括目标模板和训练样本在内的目标对象向量化之后，使用预训练模型对目标模板中的空位置进行预测，可以得到与训练数据的语义内容相关联的预测标签。最终将预测标签作为检验目标标签的噪声的基准，基于预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况，其中，目标标签为对训练样本进行标注的标签，相似词语为与目标标签具有相同语义或相似语义的词语。在实现标签噪声的自动检测之后，即可基于目标标签的噪声情况对训练样本进行处理，从而降低训练样本中的标签噪声，提升训练样本的整体质量。
附图说明
[0021]图1是本申请实施例提供的噪声的检测方法的步骤流程图；
[0022]图2是本申请实施例提供的噪声的检测方法的实际应用流程图；
[0023]图3是本申请实施例提供的噪声的检测方法中的数据处理示意图；
[0024]图4是本申请实施例中知识图谱层的转换器的架构示意图；
[0025]图5是本申请实施例中一维单通道卷积层的数据处理流程图；
[0026]图6是本申请实施例提供的噪声的检测装置的结构框图；
[0027]图7是本申请实施例提供的电子设备的硬件结构示意图之一；
[0028]图8是本申请实施例提供的电子设备的硬件结构示意图之二。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0030]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可
以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0031]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的噪声的检测方法进行详细地说明。
[0032]如图1所示，为本申请实施例提供的噪声的检测方法，该噪声的检测方法，包括：
[0033]步骤101：获取语料集合中的训练样本以及目标模板。
[0034]本步骤中，语料集合是为进行模型训练而收集的大量训练样本组成的集合。其中，训练样本的具体内容与所要训练的模型相关，所要训练的模型可以为任意神经网络模型，这里不做限定。例如，所要训练的模型为一对书籍进行分类的神经网络模型，则一条训练数据可以为“Y国才女XX传”。可以理解的是，本申请提供的方法可以检测语料集合中每一条训练样本的标签噪声，且检测不同训练样本的标签噪声的过程相同，本申请及一下实施例仅以检测一条训练样本的标签噪声为例进行说明。
[0035]目标模板为基于语料集合和预训练模型确定的Prompt(提示)模板。关于Prompt模板，其可以理解为一带有空缺/空位置的句子，且其包括填充文本字符本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种噪声的检测方法，其特征在于，所述方法包括：获取语料集合中的训练样本以及目标模板，其中，所述目标模板为基于所述语料集合和预训练模型确定的提示Prompt模板；对目标对象进行向量化，得到目标词向量；其中，所述目标对象包括：所述目标模板和所述训练样本；将所述目标词向量输入到所述预训练模型，得到所述预训练模型输出的预测标签；基于所述预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况；其中，所述相似词语为与目标标签具有相同语义或相似语义的词语，所述目标标签为对所述训练样本进行标注的标签。2.根据权利要求1所述的方法，其特征在于，所述目标对象还包括：样本关联信息；在所述对目标对象进行向量化，得到目标词向量之前，所述方法还包括：抽取所述训练样本中的实体词语；基于知识图谱数据库得到每一所述实体词语关联的领域信息；对所述实体词语和所述实体词语关联的所述领域信息进行拼接，得到所述样本关联信息。3.根据权利要求2所述的方法，其特征在于，所述对目标对象进行向量化，得到目标词向量，包括：将目标数量的预置标志位、所述目标模板和所述训练样本进行拼接，得到目标输入文本；对所述目标输入文本进行向量化，得到初始词向量；针对所述初始词向量，将所述初始词向量中的目标部分替换为领域知识词向量，得到所述目标词向量；其中，所述目标部分为基于所述目标输入文本中的所述目标数量的预置标志位生成的词向量，所述领域知识词向量为基于预设初始向量与所述样本词向量生成的词向量，所述样本词向量为基于所述样本关联信息生成的词向量。4.根据权利要求3所述的方法，其特征在于，基于预设初始向量与所述样本词向量生成所述领域知识词向量的步骤，包括：将预设初始向量与所述样本词向量进行融合，得到目标融合词向量；将所述目标融合词向量，确定为所述领域知识词向量。5.根据权利要求3所述的方法，其特征在于，基于预设初始向量与所述样本词向量生成所述领域知识词向量的步骤，包括：将预设初始向量与所述样本词向量进行融合，得到目标融合词向量；基于长短期记忆网络对所述目标融合词向量进行处理，得到中间词向量；基于多层感知器对所述中间词向量进行处理，得到所述领域知识词向量。6.根据权利要求4或5所述的方法，其特征在于，在所述样本词向量的数量为至少两组的情况下，所述将预设初始向量与所述样本词向量进行融合，得到所述目标融合词向量，包括：将预设初始向量与至少两组所述样本词向量按照预设方式进行向量融合，得到所述目标融合词向量；其中，所述预设方式包括：N次向量融合，第一次向量融合为所述预设初始向量与第一
样本词向量之间的融合，剩余N
‑
1次的向量融合为每一第二样本词向量与前一次向量融合的结果进行融合；所述第一样本词向量包括：至少两组所述样本词向量中的一个所述样本词向量，所述第二样本词向量包括：至少两组所述样本词向量中除所述第一样本词向量之外的所述样本词向量，N为大于1的整数。7.根据权利要求1所述的方法，其特征在于，所述基于所述预测标签与标签词集合中各相似词语的语义相似情况，确定目标标签的噪声情况，包括：对所述预测标签进行向量化，得到第一标签词向量；分别对每一所述相似词语进行向量化，得到每一所述相似词语对应的相似词向量；分别计算每一所述相似词向量与所述第一标签词向量之间的余弦距离，得到每一所述相似词向量的距离值；计算各所述相似词向量的距离值的平均值，得到相似度评分；基于所述相似度评分，确定所述目标标签的噪声情况。8.一种噪声的检测装置，其特征在于，所述装置包括：获取模块，用于获取语料集合中的训练样本以及目标模板，其中，所述目标模板为基于所述语料集合和预训练模型确定的提示Prompt模板；第一向量化模块，用于对目标对象进行向量化，得到目标词向量；其中，所述目...

【专利技术属性】
技术研发人员：张毅，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：