样本生成方法和装置，模型训练方法和系统及存储介质制造方法及图纸

本公开提出一种样本生成方法和装置，模型训练方法和系统及存储介质，涉及机器学习技术领域。本公开的一种样本生成方法，包括：根据第一样本数据，确定第一文本中的目标词，其中，第一样本数据中包括第一文本、问题和答案；将第一文本中预定区域的目标词替换为对应的替换词，根据替换后的文本对模型的扰动能力确定攻击文本；根据攻击文本、问题和答案获取对抗攻击样本数据。通过这样的方法，在提高对抗攻击样本生成效率的同时，提高对问答模型的攻击能力和效率，从而有助于提高问答模型的预测能力，提高问答系统的准确性。提高问答系统的准确性。提高问答系统的准确性。

【技术实现步骤摘要】
样本生成方法和装置，模型训练方法和系统及存储介质


[0001]本公开涉及机器学习
，尤其涉及人工智能
，特别是一种样本生成方法和装置，模型训练方法和系统及存储介质。

技术介绍

[0002]一般机器学习中的样本由输入X和标签Y组成(标签Y一般代表客观事实，由人工标定得到)，机器学习模型F可以根据X预测得到标签Y。对抗攻击(Adversarial Attack)样本指，在给定原始样本(X,Y)的情况下，通过某些方法，如加入噪声，进行修改等，将X转变为X'，但是X'对于人而言其标签仍然为Y，但是机器学习模型F会错误的预测，在此情况下，认为改对抗攻击样本成功地攻击了模型。
[0003]生成对抗攻击样本的作用包括但是不限于以下几点：
[0004]1)对于模型的鲁棒性进行评测，模型鲁棒性越好越不容易被对抗攻击样本成功攻击；
[0005]2)对于模型的弱点进行分析，通过设计特定的对抗攻击样本，可以得到模型是否具有对应的弱点并进行改进；
[0006]3)通过对抗攻击样本结合原有样本对模型进行训练，提升模型的鲁棒性。

技术实现思路

[0007]本公开的一个目的在于提高问答系统的对抗攻击样本生成的效率和攻击能力。
[0008]根据本公开的一些实施例的一个方面，提出一种样本生成方法，包括：根据第一样本数据，确定第一文本中的目标词，其中，第一样本数据中包括第一文本、问题和答案；将第一文本中预定区域的目标词替换为对应的替换词，根据替换后的文本对模型的扰动能力确定攻击文本；根据攻击文本、问题和答案获取对抗攻击样本数据。
[0009]在一些实施例中，该方法还包括：确定目标词的替换次序；将第一文本中预定区域的目标词替换为对应的替换词包括：根据替换次序将第一文本中预定区域的目标词逐个替换为对应的替换词。
[0010]在一些实施例中，确定目标词的替换次序包括：确定每个目标词被掩盖后的第一文本对模型的预测结果的扰动能力；根据扰动能力从大到小的顺序将对应的目标词排序，确定替换次序。
[0011]在一些实施例中，该方法还包括：根据第一样本数据，确定模型的预测结果与答案相符的第一概率；确定每个目标词被掩盖后的第一文本对模型的预测结果的扰动能力包括：
[0012]对于每个目标词，
[0013]在第一文本中将目标词掩盖，确定第二文本；
[0014]根据第二文本、问题和答案确定第二样本数据；
[0015]根据第二样本数据确定模型预测结果与答案相符的第二概率；
[0016]确定第一概率与第二概率的差值，作为第一概率差；
[0017]根据扰动能力从大到小的顺序将对应的目标词排序，确定替换次序包括：按照第一概率差从大到小的顺序对对应的目标词排序，确定替换次序。
[0018]在一些实施例中，该方法还包括：根据第一样本数据，确定模型的预测结果符合答案的第一概率；扰动能力为根据第一概率与模型的预测结果符合答案的概率之间的偏差确定。
[0019]在一些实施例中，将第一文本中预定区域的目标词替换为对应的替换词包括：按照替换次序逐个将第一文本中预定区域的目标词替换为目标词的替换词，直至达到预定停止条件。
[0020]在一些实施例中，按照替换次序逐个将第一文本中预定区域的目标词替换为目标词的替换词，直至达到预定停止条件包括：确定替换次序中排序第一的第一目标词，分别用第一目标词的每个替换词替换第一文本中预定区域的第一目标词，获取第三文本；根据每个第三文本对于模型的预测结果的扰动能力，选择不大于预定第一数量的文本并更新第三文本；根据替换次序，对于后续每个目标词，分别用对应的每个替换词替换每个第三文本中对应的目标词，并更新第三文本，直至达到预定停止条件。
[0021]在一些实施例中，根据替换后的文本对模型的扰动能力确定攻击文本包括：确定达到预定停止条件后的第三文本对模型的预测结果的扰动能力；和根据扰动能力选择预定第二数量的文本，作为攻击文本。
[0022]在一些实施例中，根据替换次序，对于后续每个目标词，分别用对应的每个替换词替换每个第三文本中对应的目标词，并更新第三文本，直至达到预定停止条件包括：根据替换次序确定下一个目标词作为第二目标词；分别用第二目标词的每个替换词替换每个第三文本中预定区域的第二目标词，作为更新后的第三文本；在未达到预定停止条件的情况下，根据每个第三文本对于模型的预测结果的扰动能力，选择不大于预定第一数量的文本并更新第三文本，执行根据替换次序确定下一个目标词作为第二目标词的操作。
[0023]在一些实施例中，预定停止条件包括以下至少一项：每个第三文本对模型的预测结果的扰动能力均大于预定阈值；或第三文本中预定区域的每个目标词均替换为对应的替换词。
[0024]在一些实施例中，该方法还包括：根据第一样本数据，确定模型的预测结果与答案相符的第一概率；根据每个第三文本对于模型的预测结果的扰动能力，选择不大于预定第一数量的文本并更新第三文本包括：对于每个第三文本，
[0025]根据第三文本、问题和答案，生成第三样本数据；
[0026]根据第三样本数据确定模型的预测结果与答案相符的第三概率；和
[0027]确定第一概率与第三概率的差值，作为第二概率差；和
[0028]按照第二概率差从大到小的顺序选择预定第一数量的文本作为更新后的第三文本。
[0029]在一些实施例中，该方法还包括：根据第一样本数据，确定模型的预测结果与答案相符的第一概率；确定达到预定停止条件后的第三文本对模型的预测结果的扰动能力包括：对于每个第三文本，
[0030]根据第三文本、问题和答案，生成第三样本数据；
[0031]根据第三样本数据确定模型的预测结果与答案相符的第三概率；和
[0032]确定第一概率与第三概率的差值，作为第三概率差；
[0033]根据扰动能力选择预定第二数量的文本，作为攻击文本包括：按照第三概率差从大到小的顺序选择预定第二数量的文本作为攻击文本。
[0034]在一些实施例中，预定区域为第一文本的答案句，答案句为答案在第一文本中位于的语句。
[0035]在一些实施例中，确定第一文本中的目标词包括：根据答案确定第一文本中的答案句；和提取答案句中符合预定规则的目标词。
[0036]在一些实施例中，预定规则包括：答案句中与问题重叠、且符合预定词性的词语，预定词性包括名词、动词、形容词或副词中的至少一种。
[0037]根据本公开的一些实施例的一个方面，提出一种模型训练方法，包括：根据上文中任意一种样本生成方法获取对抗攻击样本数据；和通过对抗攻击样本数据训练模型，以便通过训练后的模型提供问答服务。
[0038]根据本公开的一些实施例的一个方面，提出一种样本生成装置，包括：目标词确定单元，被配置为根据第一样本数据，确定第一文本中的目标词，其中，第一样本数据中包括第一文本、问题和答案；攻击文本确定单元，被配置为将第一文本中预定区域的目标词本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种样本生成方法，包括：根据第一样本数据，确定第一文本中的目标词，其中，所述第一样本数据中包括第一文本、问题和所述答案；将所述第一文本中预定区域的目标词替换为对应的替换词，根据替换后的文本对模型的扰动能力确定攻击文本；和根据所述攻击文本、所述问题和所述答案获取对抗攻击样本数据。2.根据权利要求1所述的方法，还包括：确定所述目标词的替换次序；所述将所述第一文本中预定区域的目标词替换为对应的替换词包括：根据所述替换次序将所述第一文本中预定区域的目标词逐个替换为对应的替换词。3.根据权利要求2所述的方法，其中，所述确定目标词的替换次序包括：确定每个目标词被掩盖后的第一文本对所述模型的预测结果的扰动能力；和根据所述扰动能力从大到小的顺序将对应的所述目标词排序，确定所述替换次序。4.根据权利要求3所述的方法，还包括：根据第一样本数据，确定模型的预测结果与答案相符的第一概率；所述确定每个目标词被掩盖后的第一文本对所述模型的预测结果的扰动能力包括：对于每个目标词，在所述第一文本中将所述目标词掩盖，确定第二文本；根据所述第二文本、所述问题和所述答案确定第二样本数据；根据所述第二样本数据确定所述模型预测结果与所述答案相符的第二概率；和确定所述第一概率与所述第二概率的差值，作为第一概率差；所述根据所述扰动能力从大到小的顺序将对应的所述目标词排序，确定所述替换次序包括：按照所述第一概率差从大到小的顺序对对应的所述目标词排序，确定所述替换次序。5.根据权利要求1所述的方法，还包括：根据第一样本数据，确定所述模型的预测结果符合所述答案的第一概率；所述扰动能力为根据所述第一概率与所述模型的预测结果符合所述答案的概率之间的偏差确定。6.根据权利要求2所述的方法，其中，所述将所述第一文本中预定区域的目标词替换为对应的替换词包括：按照所述替换次序逐个将所述第一文本中预定区域的目标词替换为所述目标词的替换词，直至达到预定停止条件。7.根据权利要求6所述的方法，其中，所述按照所述替换次序逐个将所述第一文本中预定区域的目标词替换为所述目标词的替换词，直至达到预定停止条件包括：确定所述替换次序中排序第一的第一目标词，分别用所述第一目标词的每个替换词替换所述第一文本中预定区域的所述第一目标词，获取第三文本；根据每个所述第三文本对于所述模型的预测结果的扰动能力，选择不大于预定第一数量的文本并更新所述第三文本；和根据所述替换次序，对于后续每个目标词，分别用对应的每个替换词替换每个所述第三文本中对应的目标词，并更新所述第三文本，直至达到预定停止条件。8.根据权利要求7所述的方法，其中，
所述根据替换后的文本对模型的扰动能力确定攻击文本包括：确定达到所述预定停止条件后的所述第三文本对所述模型的预测结果的扰动能力；和根据所述扰动能力选择预定第二数量的文本，作为所述攻击文本。9.根据权利要求7所述的方法，其中，所述根据所述替换次序，对于后续每个目标词，分别用对应的每个替换词替换每个所述第三文本中对应的目标词，并更新所述第三文本，直至达到预定停止条件包括：根据所述替换次序确定下一个目标词作为第二目标词；分别用所述第二目标词的每个替换词替换每个所述第三文本中预定区域的所述第二目标词，作为更新后的第三文本；和在未达到所述预定停止条件的情况下，根据每个所述第三文本对于所述模型的预测结果的扰动能力，选择不大于预定第一数量的文本并更新所述第三文本，执行所述根据所述替换次序确定下一个目标词作为第二目标词的操作。10.根据权利要求7～9任意一项所述的方法，其中，所述预定停...

【专利技术属性】
技术研发人员：曹雨，詹忆冰，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：