基于图像识别的应用测试方法及设备技术

本公开实施例提供一种基于图像识别的应用测试方法及设备。该方法包括：在测试目标应用的过程中，获取包括目标应用显示的目标界面的目标图像；从目标图像中识别目标界面的结构描述信息；根据结构描述信息确定目标操作；该目标操作是对操作控件的操作；在目标界面的基础上对目标应用触发目标操作，以测试目标应用在目标操作下的响应是否正确。本公开实施例在获取图像时需要保持系统和目标应用之间的通信处于连接状态。而在后面进行的图像识别过程中，不需要保持系统和目标应用之间的通信处于连接状态，也就是说通信处于断开状态不影响图像解析过程。如此，降低了由于通信断开导致的结构描述信息的解析失败率，提高了测试成功率。率。率。

【技术实现步骤摘要】
基于图像识别的应用测试方法及设备


[0001]本公开实施例涉及自动化测试
，尤其涉及一种基于图像识别的应用测试方法及设备。

技术介绍

[0002]随着电子设备的功能日益强大，电子设备上可以运行有各种各样的应用，也可称为应用程序。应用的界面功能正常是保证应用正常使用的前提。其中，界面功能正常包括但不限于：界面中各个控件的操作正常、界面中各个区域的显示正常、不同界面之间的跳转正常。为了保证应用的界面功能正常，在对应用的界面开发完成之后，需要对应用的界面进行测试。具体地，需要对应用的各个界面中的各个控件的操作进行测试，对界面中各个区域的显示进行测试，对界面之间的跳转进行测试。
[0003]在上述界面测试过程中，如何提高测试成功率是亟待解决的问题。

技术实现思路

[0004]本公开实施例提供一种基于图像识别的应用测试方法及设备，以提高测试成功率。
[0005]第一方面，本公开实施例提供一种基于图像识别的应用测试方法，包括：
[0006]在测试目标应用的过程中，获取目标图像，所述目标图像中包括所述目标应用显示的目标界面；
[0007]对所述目标图像进行图像识别得到所述目标界面的结构描述信息；其中，所述结构描述信息用于描述所述目标界面包括的至少一个操作控件；
[0008]根据所述结构描述信息确定目标操作；其中，所述目标操作为所述目标应用在所述目标界面上可被触发的操作，所述目标操作是对所述操作控件的操作；
[0009]在所述目标界面的基础上对所述目标应用触发所述目标操作，以测试所述目标应用在所述目标操作下的响应是否正确。
[0010]第二方面，本公开实施例提供一种基于图像识别的应用测试装置，包括：
[0011]目标图像获取模块，用于在测试目标应用的过程中，获取目标图像，所述目标图像中包括所述目标应用显示的目标界面；
[0012]结构描述信息识别模块，用于对所述目标图像进行图像识别得到所述目标界面的结构描述信息；其中，所述结构描述信息用于描述所述目标界面包括的至少一个操作控件；
[0013]目标操作确定模块，用于根据所述结构描述信息确定目标操作；其中，所述目标操作为所述目标应用在所述目标界面上可被触发的操作，所述目标操作是对所述操作控件的操作；
[0014]测试模块，用于在所述目标界面的基础上对所述目标应用触发所述目标操作，以测试所述目标应用在所述目标操作下的响应是否正确。
[0015]第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
[0016]所述存储器存储计算机执行指令；
[0017]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备实现如上第一方面所述的方法。
[0018]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，使计算设备实现如上述第一方面所述的方法。
[0019]第五方面，本公开实施例提供一种计算机程序，所述计算机程序用于实现如上述第一方面所述的方法。
[0020]本实施例提供的基于图像识别的应用测试方法及设备，该方法包括：在测试目标应用的过程中，获取目标图像，该目标图像中包括目标应用显示的目标界面；从目标图像中识别目标界面的结构描述信息；其中，结构描述信息用于描述目标界面包括的至少一个操作控件；根据结构描述信息确定目标操作；其中，目标操作为目标应用在目标界面上可被触发的操作，该目标操作是对操作控件的操作；在目标界面的基础上对目标应用触发目标操作，以测试目标应用在目标操作下的响应是否正确。本公开实施例可以对包括目标界面的图像进行图像识别得到目标界面的结构描述信息。从而在获取图像时需要保持系统和目标应用之间的通信处于连接状态。而后面进行的图像识别过程中，不需要保持系统和目标应用之间的通信处于连接状态，也就是说通信处于断开状态不影响图像解析过程。如此，降低了由于通信断开导致的结构描述信息的解析失败率，提高了测试成功率。
附图说明
[0021]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其余的附图。
[0022]图1是本公开实施例适用的应用程序的界面示意图；
[0023]图2是本公开实施例提供的一种图像识别的应用测试方法的步骤流程图；
[0024]图3是本公开实施例提供的一种目标界面的列块划分示意图；
[0025]图4是本公开实施例提供的一种目标界面的行块划分示意图；
[0026]图5是本公开实施例提供的一种目标界面的操作控件区域示意图；
[0027]图6是本公开实施例提供的一种目标界面被弹窗界面覆盖的示意图；
[0028]图7是本公开实施例提供的测试工具、目标设备的系统、目标应用之间的交互过程示意图；
[0029]图8是本公开实施例提供的一种图像识别的应用测试装置结构框图；
[0030]图9、图10是本公开实施例提供的两种电子设备的结构框图。
具体实施方式
[0031]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员
在没有作出创造性劳动前提下所获得的所有其余实施例，都属于本公开保护的范围。
[0032]本公开实施例可以应用于应用的界面测试过程中。图1是本公开实施例适用的应用程序的界面示意图。参照图1所示，应用的界面中包括若干操作控件，图中的每个框对应一个操作控件，不同的操作控件的作用不同。例如，操作控件BN1被操作之后不进行页面跳转，而是用户可以接收用户输入的想要的视频信息，操作控件BN2被操作之后显示用户关注的信息，操作控件BN3被操作之后可以显示可以选取的城市，操作控件BN4被操作之后显示一个新的界面，操作控件BN5被操作之后播放该视频。
[0033]为了保证上述用户操作各个操作控件之后应用的响应正常，需要对上述界面进行测试。也就是，通过不断操作上述界面中的各个操作控件，以判断应用对该操作的响应是否正确。
[0034]为了实现上述测试过程，首先，在一目标设备上运行目标应用(也就是被测应用)；然后，识别目标应用的目标界面(也就是目标应用的任一界面)中的各个操作控件；最后，随机选取一个或多个目标操作控件，以分别对这些目标操作控件执行对应的操作，或逐个对所有操作控件执行对应的操作，应用会对这些操作进行响应。
[0035]现有技术中，在识别目标界面中的各个操作控件时，可以采用上述目标设备的系统提供的页面解析能力，识别出来该目标页面包括的各个操作控件。该页面解析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的应用测试方法，其特征在于，包括：在测试目标应用的过程中，获取目标图像，所述目标图像中包括所述目标应用显示的目标界面；对所述目标图像进行图像识别得到所述目标界面的结构描述信息；其中，所述结构描述信息用于描述所述目标界面包括的至少一个操作控件；根据所述结构描述信息确定目标操作；其中，所述目标操作为所述目标应用在所述目标界面上可被触发的操作，所述目标操作是对所述操作控件的操作；在所述目标界面的基础上对所述目标应用触发所述目标操作，以测试所述目标应用在所述目标操作下的响应是否正确。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行图像识别得到所述目标界面的结构描述信息，包括：根据所述目标图像中的第一区域和所述目标图像中的第二区域之间的灰度差，确定弹窗界面在所述第一图像中的弹窗区域，所述第一区域和所述第二区域不重叠；若所述第一区域为所述弹窗区域，则从所述目标图像的其余区域中识别所述目标界面的结构描述信息，所述其余区域是所述弹窗区域之外的区域。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标图像中的第一区域和所述目标图像中的第二区域之间的灰度差，确定弹窗界面在所述第一图像中的弹窗区域，包括：根据所述第一区域中各像素点的灰度值确定所述第一区域的第一灰度值；根据所述第二区域中各像素点的灰度值确定所述第二区域的第二灰度值；若所述第一灰度值和所述第二灰度值之间的差的绝对值大于第一阈值，则将所述第一区域确定为所述弹窗区域。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一区域中各像素点的灰度值确定所述第一区域的第一灰度值，包括：根据所述第一区域中的目标像素点的灰度值确定所述第一区域的第一灰度值，所述目标像素点的像素值大于或等于第二阈值，且小于或等于第三阈值，所述第三阈值大于所述第二阈值。5.根据权利要求2至4任一项所述的方法，其特征在于，所述第一区域位于所述目标图像的中心位置，所述第二区域位于所述目标图像的边缘位置。6.根据权利要求1所述的方法，其特征在于，所述获取目标图像之前，还包括：确定所述目标应用的标识；调用测试工具启动所述标识对应的所述目标应用，所述测试工具和所述目标应用相互独立运行。7.根据权利要求6所述的方法，其特征在于，还包括：在调用所述测试工具启动所述目标应用时，通过所述测试工具获取所述目标应用的信息；通过所述测试工具获取正在显示的界面的应用信息；若所述应用信息是所述目标应用的信息，则确定所述目标应用启动成功。8.根据权利要求6或7所述的方法，其特征在于，还包...

【专利技术属性】
技术研发人员：郭建强，戚嘉懿，张钊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：