用户界面AI自动化测试方法、装置、设备和存储介质制造方法及图纸

本申请实施例提供了一种用户界面AI自动化测试方法、装置、设备和存储介质。其中，方法包括：获取终端设备上显示的应用软件的当前页面的截图，对所述应用软件的当前页面的截图进行识别处理，得到所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息；基于预设的锚点对象与目标对象的对应关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象；根据所确定的目标对象的位置信息，对所述目标对象进行预设的操作，得到用户界面自动化测试的结果。本申请实施例可以准确确定目标对象的位置，实现对目标对象的精确操作，增加用户界面自动化测试的覆盖场景，扩大用户界面自动化测试的应用范围。试的应用范围。试的应用范围。

【技术实现步骤摘要】
用户界面AI自动化测试方法、装置、设备和存储介质


[0001]本申请涉及测试
，尤其涉及一种用户界面(User Interface，简称UI)人工智能(Artificial Intelligence，简称AI)自动化测试方法、用户界面AI自动化测试装置、电子设备和计算机可读存储介质。

技术介绍

[0002]用户界面自动化化测试主要是基于用户界面的功能来进行测试。目前，在进行用户界面自动化测试时，当待操作的用户界面的目标对象在一个用户界面上出现多个，或者待操作的用户界面的目标对象动态变化时，将无法对该目标对象进行精确的操作，使得用户界面自动化测试的覆盖场景有限。

技术实现思路

[0003]本申请实施例提供一种用户界面AI自动化测试方法、用户界面AI自动化测试装置、电子设备和计算机可读存储介质，可以准确确定目标对象的位置，实现对目标对象的精确操作，增加用户界面自动化测试的覆盖场景，扩大用户界面自动化测试的应用范围。
[0004]为了解决上述技术问题，本申请实施例是这样实现的：
[0005]第一个方面，提供了一种用户界面AI自动化测试方法，包括：
[0006]获取终端设备上显示的应用软件的当前页面的截图，对所述应用软件的当前页面的截图进行识别处理，得到所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息；
[0007]基于预设的锚点对象与目标对象的对应关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象；
[0008]根据所确定的目标对象的位置信息，对所述目标对象进行预设的操作，得到用户界面自动化测试的结果。
[0009]第二个方面，提供了一种用户界面AI自动化测试装置，包括：
[0010]识别模块，用于获取终端设备上显示的应用软件的当前页面的截图，对所述应用软件的当前页面的截图进行识别处理，得到所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息；
[0011]定位模块，用于基于预设的锚点对象与目标对象的对应关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象；
[0012]处理模块，用于根据所确定的目标对象的位置信息，对所述目标对象进行预设的操作，得到用户界面自动化测试的结果。
[0013]第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的用户界面AI自动化测试方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的用户界面AI自动化测试方法。
[0015]本申请实施例提供的用户界面AI自动化测试方法、用户界面AI自动化测试装置、电子设备和计算机可读存储介质，通过获取终端设备上显示的应用软件的当前页面的截图，对应用软件的当前页面的截图进行识别处理，得到应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息；基于预设的锚点对象与目标对象的对应关系，根据锚点对象的位置信息，在应用软件的当前页面中确定与锚点对象对应的目标对象；根据所确定的目标对象的位置信息，对目标对象进行预设的操作，得到用户界面自动化测试的结果；利用锚点对象与目标对象的对应关系，基于AI技术对终端设备上显示的应用软件的页面的截图进行识别，在应用软件的页面中根据锚点对象的位置信息确定目标对象的位置信息，从而在应用软件的页面中出现多个目标对象和/或目标对象动态变化时，可以准确确定目标对象的位置，实现对目标对象的精确操作，增加用户界面自动化测试的覆盖场景，扩大用户界面自动化测试的应用范围。
附图说明
[0016]为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例用户界面AI自动化测试方法的一种实现方式的流程示意图；
[0018]图2为本申请实施例通过对页面的截图进行识别得到页面中锚点对象和目标对象的位置的一种实现方式的流程示意图；
[0019]图3为本申请实施例根据识别处理的结果确定页面中锚点对象和目标对象的位置的一种实现方式的流程示意图；
[0020]图4为本申请实施例在应用软件的当前页面中确定与锚点对象对应的目标对象的一种实现方式的流程示意图；
[0021]图5为本申请实施例在应用软件的当前页面中确定与锚点对象对应的目标对象的另一种实现方式的流程示意图；
[0022]图6为本申请实施例用户界面AI自动化测试方法的一种应用场景的示意图；
[0023]图7为本申请实施例用户界面AI自动化测试方法的另一种应用场景的示意图；
[0024]图8为本申请实施例用户界面AI自动化测试装置的一种组成结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0026]图1为本申请实施例用户界面AI自动化测试方法的一种实现方式的流程示意图，图1所示的方法可以由用户界面AI自动化测试装置作为执行主体执行，该用户界面AI自动化测试装置可以安装于通用终端设备，例如，台式计算机、笔记本式计算机、平板电脑、手机、可穿戴设备等，也可以安装于专用测试设备，本申请实施例对此不作限定，如图1所示，该自动化测试方法至少包括：
[0027]S102，获取终端设备上显示的应用软件的当前页面的截图，对应用软件的当前页面的截图进行识别处理，得到应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息。
[0028]在本申请实施例中，用户界面AI自动化测试的对象可以为终端设备上安装的应用软件(application software)，例如，终端设备可以为手机、平板电脑、车载计算机、可穿戴设备等，应用软件可以为应用商店类软件、媒体播放类软件、股票类软件等，本申请实施例对中端设备和应用软件的类型不作限定。可选地，在终端设备上打开应用软件后，可以由终端设备截取应用软件的当前页面的截图，发送给用户界面AI自动化测试装置，获取终端设备上显示的应用软件的当前页面的截图；或者，可以在用户界面AI自动化测试装置上显示终端设备的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户界面AI自动化测试方法，其特征在于，包括：获取终端设备上显示的应用软件的当前页面的截图，对所述应用软件的当前页面的截图进行识别处理，得到所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息；基于预设的锚点对象与目标对象的对应关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象；根据所确定的目标对象的位置信息，对所述目标对象进行预设的操作，得到用户界面自动化测试的结果。2.根据权利要求1所述的自动化测试方法，其特征在于，所述获取终端设备上显示的应用软件的当前页面的截图，对所述应用软件的当前页面的截图进行识别处理，得到所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息，包括：截取所述终端设备上显示的所述应用软件的当前页面的截图；对所述应用软件的当前页面的截图进行文字识别处理和/或图像识别处理；根据所述文字识别处理的结果和/或所述图像识别处理的结果，确定所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息。3.根据权利要求2所述的自动化测试方法，其特征在于，所述根据所述文字识别处理的结果和/或所述图像识别处理的结果，确定所述应用软件的当前页面中锚点对象的位置信息和目标对象的位置信息，包括：根据所述文字识别处理的结果和/或所述图像识别处理的结果，判断在所述应用软件的当前页面中是否存在所述锚点对象；在所述应用软件的当前页面中存在所述锚点对象的情况下，确定所述锚点对象在所述应用软件的当前页面中的位置信息；根据所述文字识别处理的结果和/或所述图像识别处理的结果，确定所述目标对象在所述应用软件的当前页面中的位置信息。4.根据权利要求1至3中任一项所述的自动化测试方法，其特征在于，所述基于预设的锚点对象与目标对象的对应关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象，包括：基于预设的锚点对象与目标对象的方位关系，根据所述锚点对象的位置信息，在所述应用软件的当前页面中确定与所述锚点对象对应的目标对象。5.根...

【专利技术属性】
技术研发人员：王晓磊，王锐，刘明明，齐鹏飞，
申请(专利权)人：北京云聚智慧科技有限公司，
类型：发明
国别省市：