测试方法、装置及系统制造方法及图纸

本申请实施例公开了测试方法、装置及系统，所述系统包括：控制子系统，用于在测试过程中播放测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；待测子系统，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号；音频采集子系统，用于在测试过程中进行音频信号进行采集，并将音频采集结果提供给所述控制子系统；所述控制子系统还用于，从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息，根据所述位置信息确定所述待测子系统的响应时间信息。通过本申请实施例，可以获得更准确的测试结果。的测试结果。的测试结果。

【技术实现步骤摘要】
测试方法、装置及系统


[0001]本申请涉及测试
，特别是涉及测试方法、装置及系统。

技术介绍

[0002]随着智能语音技术的发展，人工智能语音系统出现在了人们的生活中，它能够“听懂”人类语音指令，实现智能家居控制、语音购物、音频音乐播放等功能，带来人机交互新体验。
[0003]在人工智能语音系统研发出来之后，通常需要对其在多种可能的应用环境下被唤醒、交互响应时间等进行测试。例如，如果是在用户的客厅等环境中使用，在使用过程中，客厅中的电视机可能正在播放，还可能有其他人正在说话等等，使得环境比较嘈杂。在这种情况下，由于人类发出的语音指令可能会受到周围环境音的影响，终端设备需要从嘈杂的环境音中准确地识别出人类发出的语音指令，之后才能够做出响应。因此，在唤醒以及交互过程中，可能会出现无法唤醒或者唤醒、响应时间延长等问题。而在嘈杂环境中能否被正常唤醒以及正常交互，以及用户可感知到的唤醒以及响应时间长度，是评价一款人工智能语音系统质量的重要指标，因此，对该指标进行有效地测试是很有必要的。
[0004]现有技术中的测试方式通常是，系统对人类语音指令进行识别，完成识别后进行时间埋点，之后对识别到的语音指令进行处理，在生成具体的响应信息后再次进行时间埋点。通过计算两次时间埋点之间的时间间隔，来确定出系统的响应时间。这种方式能够从一定程度上完成测试过程，但是，系统识别出人类语音的时间，是系统认定的人类结束说话的时间，该时间与人类真正结束说话的时间并不是同一概念。因此，现有技术中的测试结果，并不能准确地反映出从人类说话结束，到系统做出响应之间的用时。
[0005]因此，如何更准确地测试出智能语音系统反应时间，成为需要本领域技术人员解决的技术问题。

技术实现思路

[0006]本申请提供了测试方法、装置及系统，可以获得更准确的测试结果。
[0007]本申请提供了如下方案：
[0008]一种测试系统，包括：
[0009]控制子系统，用于在测试过程中播放测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；
[0010]待测子系统，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号；
[0011]音频采集子系统，用于在测试过程中进行音频信号进行采集，并将音频采集结果提供给所述控制子系统；
[0012]所述控制子系统还用于，从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息，根据所述位置信息确定所述待测子系统的响应时间信息。
[0013]一种测试方法，包括：
[0014]获得测试过程中采集的音频采集结果，所述音频采集结果中包括测试语音指令及其关联的超声波信号，以及待测系统在处理测试语音并生成应答语音流的过程中，至少一个处理节点处播放的超声波信号；
[0015]从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息；
[0016]根据所述位置信息确定所述待测子系统的响应时间信息。
[0017]一种测试方法，包括：
[0018]收听测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；
[0019]对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号，以便通过检测超声波信号在音频时间轴上的位置信息，确定所述待测子系统的响应时间信息。
[0020]一种测试方法，包括：
[0021]获得对待测系统进行测试的过程中获得的信息采集结果，所述信息采集结果中包括测试指令及其关联的标记信号，以及待测系统在处理测试指令并生成应答信息的过程中，在至少一个处理节点处插入的标记信号；
[0022]从所述信息采集结果中检测出标记信号在时间轴上的位置信息；
[0023]根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息。
[0024]一种测试方法，包括：
[0025]接收对目标待测对象进行测试的请求；
[0026]根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号，以便所述目标待测对象在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；
[0027]获取测试过程中的信息采集结果，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号；
[0028]从所述信息采集结果中检测出标记信号在时间轴上的位置信息；
[0029]根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；
[0030]返回所述响应时间信息，以用于对所述目标待测对象进行优化。
[0031]一种测试方法，包括：
[0032]向服务端提交针对目标待测对象进行测试的请求，以便所述服务端根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号；
[0033]启动对所述目标待测对象的测试过程，并播放所述测试指令集，以便在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；
[0034]在所述测试过程中进行信息采集，并将信息采集结果提交到所述服务端，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号，以便所述服务端从所述信息采集结果中检测出标记信号在时间轴上的位置信息，并根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息；
[0035]接收所述服务端返回的所述响应时间信息，以便对所述目标待测对象进行优化。
[0036]一种测试装置，包括：
[0037]音频采集结果获得单元，用于获得测试过程中采集的音频采集结果，所述音频采集结果中包括测试语音指令及其关联的超声波信号，以及待测系统在处理测试语音并生成应答语音流的过程中，至少一个处理节点处播放的超声波信号；
[0038]超声波信号检测单元，用于从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息；
[0039]测试结果获得单元，用于根据所述位置信息确定所述待测子系统的响应时间信息。
[0040]一种测试装置，包括：
[0041]收听单元，用于收听测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；
[0042]超声波信号播放单元，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号，以便通过检测超声波信号在音频时间轴上的位置信息，确定所述待测子系统的响应时间信息。
[0043]一种测试装置，包括：
[0044]信息采集结果获得单元，用于获得对待测系统进行测试的过程中获得的信息采集结果，所述信息采集结果中包括测试指令及其关联的标记信号，以及待测系统在处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种测试系统，其特征在于，包括：控制子系统，用于在测试过程中播放测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；待测子系统，用于对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号；音频采集子系统，用于在测试过程中进行音频信号进行采集，并将音频采集结果提供给所述控制子系统；所述控制子系统还用于，从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息，根据所述位置信息确定所述待测子系统的响应时间信息。2.一种测试方法，其特征在于，包括：获得测试过程中采集的音频采集结果，所述音频采集结果中包括测试语音指令及其关联的超声波信号，以及待测系统在处理测试语音并生成应答语音流的过程中，至少一个处理节点处播放的超声波信号；从所述音频采集结果中检测出超声波信号在音频时间轴上的位置信息；根据所述位置信息确定所述待测子系统的响应时间信息。3.根据权利要求2所述的方法，其特征在于，所述处理节点为多个，所述测试语音指令关联的超声波信号以及不同处理节点处播放的超声波信号分别具有不同的频率；所述方法还包括：在检测出超声波信号在音频时间轴上的位置信息后，根据所述超声波信号的频率信息确定对应的测试语音指令类型或处理节点标识。4.根据权利要求2所述的方法，其特征在于，所述待测系统为多个，不同待测系统对应不同的超声波频段，同一待测系统的不同处理节点处播放的超声波信号在对应的频段内选择不同的频率；所述方法还包括：在检测出超声波信号在音频时间轴上的位置信息后，根据所述超声波信号的频率信息确定对应的处理节点，并根据所属的频段确定对应的待测系统。5.根据权利要求2所述的方法，其特征在于，所述测试语音指令包括唤醒指令，所述唤醒指令关联有第一超声波信号；所述处理节点处播放的超声波信号包括：在播放唤醒应答语音之前播放的第二超声波信号；所述根据所述位置信息确定所述待测子系统的响应时间信息，包括：根据所述第一超声波信号与所述第二超声波信号之间的时间间隔，确定所述待测系统的唤醒反馈时间信息。6.根据权利要求2所述的方法，其特征在于，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；所述处理节点处播放的超声波信号包括：在所述待测系统识别出所述语音交互指令，并判断所述语音交互指令播放完毕时，播放的第四超声波信号；所述根据所述位置信息确定所述待测子系统的响应时间信息，包括：
根据所述第三超声波信号与所述第四超声波信号之间的时间间隔，确定所述待测系统的语音识别模型的响应时间信息。7.根据权利要求2所述的方法，其特征在于，所述测试语音指令包括语音交互指令，所述语音交互指令关联有第三超声波信号；所述处理节点处播放的超声波信号包括：所述待测系统播放应答语音流之前播放的第五超声波信号；所述根据所述位置信息确定所述待测子系统的响应时间信息，包括：根据所述第三超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统的全链路响应时间信息。8.根据权利要求7所述的方法，其特征在于，所述处理节点处播放的超声波信号还包括：所述待测系统将所述语音交互指令提交到服务器，并接收到服务器返回的应答语音流中的首个数据包时，播放的第六超声波信号；所述根据所述位置信息确定所述待测子系统的响应时间信息，包括：根据所述第六超声波信号与所述第五超声波信号之间的时间间隔，确定所述待测系统对语音流的播放处理时间信息。9.根据权利要求7所述的方法，其特征在于，所述确定所述待测系统的全链路响应时间信息，包括：确定所述第三超声波信号与所述第五超声波信号之间的时间间隔，并将各处理节点处播放超声波信号的时长扣除后，确定所述待测系统的全链路响应时间信息。10.一种测试方法，其特征在于，包括：收听测试语料，所述测试语料中包括测试语音指令，所述测试语音指令的尾部关联有超声波信号；对收听到的测试语料进行处理以便生成应答语音流，并在处理过程中的至少一个处理节点处播放超声波信号，以便通过检测超声波信号在音频时间轴上的位置信息，确定所述待测子系统的响应时间信息。11.一种测试方法，其特征在于，包括：获得对待测系统进行测试的过程中获得的信息采集结果，所述信息采集结果中包括测试指令及其关联的标记信号，以及待测系统在处理测试指令并生成应答信息的过程中，在至少一个处理节点处插入的标记信号；从所述信息采集结果中检测出标记信号在时间轴上的位置信息；根据所述位置信息确定所述待测系统在目标处理节点的响应时间信息。12.一种测试方法，其特征在于，包括：接收对目标待测对象进行测试的请求；根据所述目标待测对象关联的人机交互方式信息，提供测试指令集，所述测试指令的结尾处关联有标记信号，以便所述目标待测对象在通过执行所述测试指令并生成应答信息进行测试的过程中，在至少一个处理节点处插入标记信号；获取测试过程中的信息采集结果，所述信息采集结果包括所述测试指令及其关联的标记信号，以及所述应答信息的至少一个处理节点处插入的标记信号；从所述信息采集结果中检测出标记信号在时间轴上的位置信息；
根据所述位...

【专利技术属性】
技术研发人员：季庆，卫士明，汪越，钱能锋，韩翀蛟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：