测试方法、装置、设备、存储介质及产品制造方法及图纸

本申请公开了一种测试方法、装置、设备、存储介质及产品，属于人工智能技术领域。所述方法包括：获取测试样本；对测试样本进行目标识别处理，得到原始样本和对抗样本各自对应的识别信息；获取原始样本与对抗样本各自对应的样本信息；基于样本信息和识别信息，确定目标识别处理对应的至少一种测试性能指标；基于至少一种测试性能指标，确定目标识别处理对应的测试结果。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶、车载应用等各种场景，通过将原始样本和对抗样本各自对应的样本信息和识别信息进行结合，以确定至少一种测试性能指标来综合衡量目标识别处理的鲁棒性，得到全面准确的测试结果，提升了测试性能指标的准确性，以及测试结果的准确性和科学性。以及测试结果的准确性和科学性。以及测试结果的准确性和科学性。

【技术实现步骤摘要】
测试方法、装置、设备、存储介质及产品


[0001]本申请涉及人工智能
，特别涉及一种测试方法、装置、设备、存储介质及产品。

技术介绍

[0002]随着人工智能技术的不断进步，基于深度学习的信息识别处理技术发展迅速，尤其是语音识别技术在实时通信、安全防护、自动驾驶、军事情报等方面广泛应用。目前，越来越多的应用程序中向用户提供智能语音交互服务。
[0003]然而，在实际应用中，出现了针对信息识别处理技术的恶意攻击。其中一种恶意攻击的方式为对抗样本攻击，攻击者通过在原始信息输入中添加不可察觉的干扰信息，导致出现错误的识别结果。因此，需要测试上述信息识别处理技术的鲁棒性。
[0004]相关技术中，通过上述信息识别处理技术，对生成的对抗样本进行识别处理，进而确定上述对抗样本实施攻击的成功率，并以上述成功率来衡量信息识别处理技术的鲁棒性。然而，相关技术中，衡量信息识别处理技术鲁棒性的测试指标单一，测试结果准确性较低。

技术实现思路

[0005]本申请实施例提供了一种测试方法、装置、设备、存储介质及产品，能够确定出至少一种测试性能指标，并且是不同维度上的测试性能指标，从而解决测试指标单一导致测试结果准确性较低的问题，提升了测试结果的准确性和科学性。
[0006]根据本申请实施例的一个方面，提供了一种测试方法，所述方法包括：
[0007]获取测试样本，所述测试样本包括原始样本以及所述原始样本对应的对抗样本；
[0008]对所述测试样本进行目标识别处理，得到所述原始样本和所述对抗样本各自对应的识别信息；
[0009]获取所述原始样本与所述对抗样本各自对应的样本信息；
[0010]基于所述样本信息和所述识别信息，确定所述目标识别处理对应的至少一种测试性能指标，所述至少一种测试性能指标从至少一个维度上表征所述目标识别处理的识别准确程度与识别稳定程度；
[0011]基于所述至少一种测试性能指标，确定所述目标识别处理对应的测试结果。
[0012]根据本申请实施例的一个方面，提供了一种测试装置，所述装置包括：
[0013]样本获取模块，用于获取测试样本，所述测试样本包括原始样本以及所述原始样本对应的对抗样本；
[0014]样本识别模块，用于对所述测试样本进行目标识别处理，得到所述原始样本和所述对抗样本各自对应的识别信息；
[0015]信息获取模块，用于获取所述原始样本与所述对抗样本各自对应的样本信息；
[0016]测试指标确定模块，用于基于所述样本信息和所述识别信息，确定所述目标识别
处理对应的至少一种测试性能指标，所述至少一种测试性能指标从至少一个维度上表征所述目标识别处理的识别准确程度与识别稳定程度；
[0017]测试结果确定模块，用于基于所述至少一种测试性能指标，确定所述目标识别处理对应的测试结果。
[0018]根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述测试方法。
[0019]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述测试方法。
[0020]根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行以实现上述测试方法。
[0021]本申请实施例提供的技术方案可以带来如下有益效果：
[0022]通过对测试样本中的原始样本和对抗样本进行目标识别处理，可以得到原始样本和对抗样本各自对应的识别信息，为使针对上述目标识别处理的测试结果更加准确，避免两种样本本身的样本差异对测试结果产生影响，便将上述得到的两种识别信息与原始样本和对抗样本各自的原始样本信息进行结合，以确定能够同时表征上述目标识别处理的识别准确度和识别稳定度的至少一种测试性能指标，并且是不同维度上的测试性能指标，有效提升了测试性能指标的准确度，最终再以至少一个维度上的至少一种测试性能指标对目标识别处理的鲁棒性进行综合衡量，可以得到更加准确、可靠、全面的测试结果，解决了测试指标单一导致测试结果准确性较低的问题，提升了测试结果的准确性和科学性。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本申请一个实施例提供的应用程序运行环境的示意图；
[0025]图2是本申请一个实施例提供的测试方法的流程图一；
[0026]图3是本申请一个实施例提供的测试方法的流程图二；
[0027]图4是本申请一个实施例提供的测试方法的流程图三；
[0028]图5示例性示出了一种语音识别模型鲁棒性评估平台的技术架构示意图；
[0029]图6是本申请一个实施例提供的测试装置的框图；
[0030]图7是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
[0031]本申请实施例提供的测试方法涉及人工智能技术，下面对此进行简要说明，以便于本领域技术人员理解。
[0032]人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。比如，利用人工智能技术对多媒体信息进行识别处理，执行并完成相关的识别任务，从而为用户提供信息识别服务。
[0033]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
[0034]语音技术(Speech Technology)的关键技术有自动语音识别(Automatic Speech Recognition，ASR)技术和语音合成技术以及声纹识别技术。让计算机能听、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种测试方法，其特征在于，所述方法包括：获取测试样本，所述测试样本包括原始样本以及所述原始样本对应的对抗样本；对所述测试样本进行目标识别处理，得到所述原始样本和所述对抗样本各自对应的识别信息；获取所述原始样本与所述对抗样本各自对应的样本信息；基于所述样本信息和所述识别信息，确定所述目标识别处理对应的至少一种测试性能指标，所述至少一种测试性能指标从至少一个维度上表征所述目标识别处理的识别准确程度与识别稳定程度；基于所述至少一种测试性能指标，确定所述目标识别处理对应的测试结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述样本信息和所述识别信息，确定所述目标识别处理对应的至少一种测试性能指标，包括：基于所述原始样本与所述对抗样本各自对应的样本信息，确定样本差异信息；基于所述原始样本和所述对抗样本各自对应的识别信息，确定识别差异信息；基于所述样本差异信息与所述识别差异信息，确定所述目标识别处理对应的第一测试性能指标。3.根据权利要求2所述的方法，其特征在于，所述样本信息包括原始文本信息，所述识别信息包括识别文本信息，所述基于所述样本信息和所述识别信息，确定所述目标识别处理对应的至少一种测试性能指标，还包括：基于所述原始样本与所述对抗样本各自对应的原始文本信息以及识别文本信息，确定文本差异信息；基于所述文本差异信息与所述识别差异信息，确定所述目标识别处理对应的第二测试性能指标。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述至少一种测试性能指标，确定所述目标识别处理对应的测试结果，包括：获取所述至少一种测试性能指标对应的权重信息；基于所述权重信息与所述至少一种测试性能指标，确定所述目标识别处理对应的鲁棒性得分，所述鲁棒性得分用于从整体上表征所述识别准确程度与所述识别稳定程度；将所述鲁棒性得分作为所述测试结果。5.根据权利要求1所述的方法，其特征在于，所述获取测试样本，包括：获取样本生成参数；获取所述原始样本；根据所述样本生成参数，生成至少一种干扰场景下的识别干扰信息；基于所述原始样本与所述至少一种干扰场景下的识别干扰信息，生成所述原始样本对应的至少一个对抗样本。6.根据权利要求5所述的方法，其特征在于，所述样本生成参数包括对抗扰动模式参数、识别处理参数、干扰信息生成参数中至少一种，所述基于所述样本生成参数，生成至少一种干扰场景下的识别干扰信息，包括：基于所述对抗扰动模式参数，确定对抗扰动模式；在所述对抗扰动模式包括第一对抗扰动模式的情况下，获取所述原始样本经过所述识
别处理参数对应的识别处理后得到的识别结果，所述第一对抗扰动模式是指表征对抗攻击场景的测试模式；对所述识别结果与所述原始样本，进行与所述干扰信息生成参数对应的干扰信息生成处理，得到所述对抗攻击场景下的识别干扰信息。7.根据权利要求6所述的方法，其特征在于，所述原始样本为语音样本，所...

【专利技术属性】
技术研发人员：高海昌，高艺鹏，裴歌，唐梦云，刘水生，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：