对抗样本生成方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种对抗样本生成方法、装置、电子设备及存储介质，其中，所述方法包括：针对误导语音识别模型输出的目标结果，生成文本集合；基于文本集合生成声音文件集合，声音文件集合包括多个候选音频；从多个候选音频中筛选出目标结果的参考音频；分析语音识别模型对参考音频的解码结果，得到目标结果的目标发音特征；基于目标发音特征构建目标损失函数；基于原始音频和目标损失函数的损失值确定目标扰动量；基于原始音频和目标扰动量生成对抗样本。采用本申请，能够生成高鲁棒性、高迁移性且良好隐藏性的中文语音识别对抗样本。良好隐藏性的中文语音识别对抗样本。良好隐藏性的中文语音识别对抗样本。

【技术实现步骤摘要】
对抗样本生成方法、装置、电子设备及存储介质


[0001]本申请涉及深度学习、信息安全、人工智能等领域，尤其涉及对抗样本生成方法、装置、电子设备及存储介质。

技术介绍

[0002]采用中文语音识别技术赋能的智能语音系统应用广泛，而现有的对抗样本生成方法主要涉及英文语音命令，无法生成高隐藏性和高迁移性的中文语音识别对抗样本。因此，为了更好地支撑学术界和工业界提出更加可信的语音识别算法，满足服务于智能语音识别系统可靠性与安全性的需求，如何生成高鲁棒性、高迁移性且音质较好的中文语音识别对抗样本，成为亟待解决的技术问题。

技术实现思路

[0003]本申请提供了一种对抗样本生成方法、装置、电子设备及存储介质。
[0004]根据本申请的第一方面，提供了一种对抗样本生成方法，包括：
[0005]针对误导语音识别模型输出的目标结果，生成文本集合；
[0006]基于文本集合生成声音文件集合，声音文件集合包括多个候选音频；
[0007]从多个候选音频中筛选出目标结果的参考音频；
[0008]分析语音识别模型对参考音频的解码结果，得到目标结果的目标发音特征；
[0009]基于目标发音特征构建目标损失函数；
[0010]基于原始音频和目标损失函数的损失值确定目标扰动量；
[0011]基于原始音频和目标扰动量生成对抗样本。
[0012]根据本申请的第二方面，提供了一种对抗样本生成装置，包括：
[0013]第一生成单元，用于针对误导语音识别模型输出的目标结果，生成文本集合；
[0014]第二生成单元，用于基于文本集合生成声音文件集合，该声音文件集合包括多个候选音频；
[0015]筛选单元，用于从多个候选音频中筛选出目标结果的参考音频；
[0016]分析单元，用于分析语音识别模型对参考音频的解码结果，得到目标结果的目标发音特征；
[0017]构建单元，用于基于目标发音特征构建目标损失函数；
[0018]确定单元，用于基于原始音频和目标损失函数的损失值确定目标扰动量；
[0019]第三生成单元，用于基于原始音频和目标扰动量生成对抗样本。
[0020]根据本申请的第三方面，提供了一种电子设备，包括：
[0021]至少一个处理器；以及
[0022]与该至少一个处理器通信连接的存储器；其中，
[0023]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一项实施例所提供的方法。
[0024]根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
[0025]根据本申请的第五方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请任意一项实施例所提供的方法。
[0026]采用本申请，能够使确定出的目标扰动量更加符合目标结果的目标发音特征，从而有助于生成高鲁棒性、高迁移性且良好隐藏性的中文语音识别对抗样本。
[0027]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0028]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0029]图1是根据本申请实施例的对抗样本生成方法的流程示意图；
[0030]图2是根据本申请实施例的选择目标命令和参考音频的流程示意图；
[0031]图3是根据本申请实施例的设计目标损失函数的流程示意图；
[0032]图4是根据本申请实施例的迭代搜索扰动的流程示意图；
[0033]图5是根据本申请实施例的对抗样本误导模型测试的流程图；
[0034]图6是根据本申请实施例的对抗样本在数字世界测试的应用示例；
[0035]图7是根据本申请实施例的对抗样本在物理世界测试的应用示例；
[0036]图8是根据本申请实施例的对抗样本生成系统的架构图；
[0037]图9是根据本申请实施例的对抗样本生成装置的组成结构示意图；
[0038]图10是用来实现本申请实施例的对抗样本生成方法的电子设备的框图。
具体实施方式
[0039]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0040]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
[0041]在对本申请实施例的技术方案进行介绍之前，先对本申请的技术背景做进一步说明。
[0042]根据对抗样本生成者对模型的了解程度，可以将模型分为“白盒模型”和“黑盒模型”。其中，白盒模型指其参数和模型结构均已知；黑盒模型指人们只能得到模型的最终输出结果。目前，针对语音识别的对抗样本主要涉及到新型的端到端(End
‑
to
‑
End)白盒模型、
经典的混合(Hybrid)白盒模型以及商业化的黑盒模型。白盒模型对抗样本生成算法的关键是设计一个特殊的目标损失函数，该目标损失函数主要目的为强化音频中目标文本声学特征的概率。如果一个音频文件能够使得目标损失函数收敛，则模型对该音频的最终解码结果为目标文本，即该音频误导机器识别出目标结果。如果一个样本可以同时误导2个或2个以上的模型，则称该样本在这些模型上具有迁移性。受限于黑盒模型的信息未公开，针对黑盒模型的对抗样本主要利用对抗样本的迁移性。
[0043]针对黑盒模型的对抗样本主要基于对抗样本的迁移性，多数具有鲁棒性和迁移性的样本可以达到人们难以听出目标命令的效果，但是样本可能听觉异常，因此，对抗样本的音质仍待提高。此外，相关技术中，主要针对英文语音控制命令，即误导机器将对抗样本识别为特殊的英文文本，而对于目标结果为中文文本的语音识别对抗样本还未知。相比英文发音，中文语音识别更为复杂，例如，普通话发音中有一、二、三、四及轻声声调，如：八(b
ā
)，拔(b
á
)，把(b<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对抗样本生成方法，其特征在于，所述方法包括：针对误导语音识别模型输出的目标结果，生成文本集合；基于所述文本集合生成声音文件集合，所述声音文件集合包括多个候选音频；从所述多个候选音频中筛选出所述目标结果的参考音频；分析所述语音识别模型对所述参考音频的解码结果，得到所述目标结果的目标发音特征；基于所述目标发音特征构建目标损失函数；基于原始音频和所述目标损失函数的损失值确定目标扰动量；基于所述原始音频和所述目标扰动量生成对抗样本。2.根据权利要求1所述的方法，其特征在于，所述文本集合包括所述目标结果对应的目标命令、以及基于所述目标命令得到的扩充命令，所述针对误导语音识别模型输出的目标结果，生成文本集合，包括：提取所述目标命令的多个关键词；确定所述多个关键词分别对应的等级，所述等级用于表示重要程度；基于所述多个关键词分别对应的等级，确定候选关键词和非候选关键词；对所述非候选关键词进行处理，得到可添加的扩词；基于所述候选关键词和所述扩词，得到所述目标命令的至少一个扩充命令；基于所述目标命令及所述至少一个扩充命令，生成所述文本集合。3.根据权利要求2所述的方法，其特征在于，基于所述目标命令及所述至少一个扩充命令，生成所述文本集合，包括：采用第一翻译软件将每个扩充命令转换成外文版扩充命令；采用第二翻译软件将所述外文版扩充命令转换成中文版扩充命令；确定每个扩充命令与其对应的经转换得到的所述中文版扩充命令之间的语义相似度；将所述语义相似度大于第一门限值的扩充命令，确定为可用扩充命令；基于所述目标命令和所述可用扩充命令，生成所述文本集合。4.根据权利要求1所述的方法，其特征在于，从所述多个候选音频中筛选出所述目标结果的参考音频，包括：若所述语音识别模型基于播放的所述候选音频能得到所述目标结果，则将所述候选音频确定为所述参考音频；或若所述语音识别模型基于播放的所述候选音频能得到所述目标结果，且所述候选音频相对于所述目标结果对应的目标音频的变换程度大于预设阈值，则将所述候选音频确定为所述参考音频。5.根据权利要求1所述的方法，其特征在于，所述分析所述语音识别模型对所述参考音频的解码结果，得到所述目标结果的目标发音特征，包括：提取所述语音识别模型对所述参考音频中每一帧解码得到的音节或字符；确定每一帧解码得到的音节或字符的发音时长和对应的概率密度函数索引；将所述参考音频每一帧解码得到的音节或字符组成目标序列；基于所述目标序列中每一音节或字符的发音时长和对应的概率密度函数索引，得到所述目标结果的目标发音特征。
6.根据权利要求5所述的方法，其特征在于，所述基于原始音频和所述目标损失函数的损失值确定目标扰动量，包括：获取根据原始音频和扰动量确定出的待测音频；基于所述待测音频被所述语音识别模型解码出目标音节或字符的真实概率值，以及所述目标发音特征对目标音节或字符的期望概率值，设计目标损失函数；基于所述目标损失函数的损失值和所述原始音频，确定所述目标扰动量。7.根据权利要求6所述的...

【专利技术属性】
技术研发人员：马振坤，凌欣祺，曾智洋，沈海涛，陈恺，袁雪敬，章江山，魏成安，李瑞源，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：