基于人工智能的界面测试方法、装置、设备和介质制造方法及图纸

本申请涉及人工智能，提供一种基于人工智能的界面测试方法、装置、设备和介质。方法包括：接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告。采用本方法能够提高界面测试的效率。此外，本发明专利技术还涉及区块链技术，隐私信息如测试报告可存储于区块链节点中。

【技术实现步骤摘要】
基于人工智能的界面测试方法、装置、设备和介质
本申请涉及人工智能
，特别是涉及一种基于人工智能的界面测试方法、装置、设备和介质。
技术介绍
用户界面测试是指测试用户界面的功能模块是否满足要求，目的是确保用户界面上的功能模块能够为用户提供相应的访问或者浏览功能。但是，基于现在互联网行业产品迭代比较频繁，并且随着待测试产品的测试要求越来越高，对测试人员编写测试代码的要求越来越高。测试人员在编写代码的时候不仅需要人工识别待测试界面中的待测试元素，还需要人工识别待测试元素的类别以及对应的操作动作，使得测试人员利用编码对界面测试的效率低下。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高界面测试效率的基于人工智能的界面测试方法、装置、设备和介质。一种基于人工智能的界面测试方法，方法包括：接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告。在其中一个实施例中，对待测试界面图像进行分割得到待测试元素，包括：获取待测试界面图像对应的待测试界面特征图；对待测试界面特征图进行上采样得到上采样特征图，上采样特征图与待测试界面图像的尺寸一致；利用预先训练的分类算法对上采样特征图的像素进行分类；根据分类后的像素对待测试界面图像进行分割得到与待测试界面图像中的元素尺寸一致的待测试元素。在其中一个实施例中，对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果，包括：对待测试界面上的对应的待测试元素执行操作动作得到反馈页面；对反馈页面进行内容识别得到操作动作对应的操作结果。在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：利用预先训练的文字识别模型识别反馈页面中的反馈文字；获取操作动作对应的预设文字；将反馈文字与预设文字进行文字匹配；根据文字匹配的结果得到操作动作对应的操作结果。在其中一个实施例中，对反馈页面进行内容识别得到操作动作对应的操作结果，包括：获取操作动作对应的预设界面；获取反馈页面对应的反馈页面图像指纹，以及预设界面对应的预设界面图像指纹；计算反馈页面图像指纹与预设界面图像指纹之间的相似度；根据相似度得到操作动作对应的操作结果。在其中一个实施例中，对待测试界面上的对应的待测试元素执行操作动作得到反馈页面，包括：当待测试元素的操作动作对应为输入动作时，接收针对待测试元素的输入信息；当待测试元素的操作动作对应为点击动作时，接收针对待测试元素的点击操作；根据各输入信息以及各点击操作得到反馈页面。在其中一个实施例中，根据操作结果生成待测试界面对应的测试报告，包括：在预设的测试框架中根据各待测试元素、各待测试元素对应的操作动作以及各待测试元素对应的测试结果生成待测试界面对应的测试报告，将测试报告存储于区块链中。一种基于人工智能的界面测试装置，装置包括：请求接收模块，用于接收针对待测试界面的界面测试请求；界面图像获取模块，用于根据界面测试请求获取待测试界面对应的待测试界面图像；分割模块，用于对待测试界面图像进行分割得到待测试元素；动作查找模块，用于识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；结果获取模块，用于对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；报告生成模块，用于根据操作结果生成待测试界面对应的测试报告。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。上述基于人工智能的界面测试方法、装置、计算机设备和存储介质，接收针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；然后利用预先训练的分割算法对待测试界面图像进行分割得到待测试元素；以及利用预设识别算法识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作，实现了对待测试界面中的待测试元素的自动分割以及识别，提高了对待测试元素的识别效率，然后对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告，在对界面测试的过程中完全由计算机自动执行，不需要人工参与，提高了对界面测试的效率。附图说明图1为一个实施例中基于人工智能的界面测试方法的应用环境图；图2为一个实施例中基于人工智能的界面测试方法的流程示意图；图3为一个实施例中提供的一种图像类别识别模型的原理示意图；图4为一个实施例中提供的一种图像分割模型的原理示意图；图5为另一个实施例中提供的一种界面测试方法的流程示意图；图6为一个实施例中提供的一种基于人工智能的界面测试装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的基于人工智能的界面测试方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104接收终端102针对待测试界面的界面测试请求；根据界面测试请求获取待测试界面对应的待测试界面图像；对待测试界面图像进行分割得到待测试元素；识别各待测试元素的元素类别，并从预设数据库中查找各元素类别对应的操作动作；对待测试界面上的对应的待测试元素执行操作动作得到对应的操作结果；根据操作结果生成待测试界面对应的测试报告，进一步地服务器104还可以将测试报告推送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种基于人工智能的界面测试方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤210，接收针对待测试界面的界面测试请求。具体地，服务器接收终端发送的界面测试请求，其中界面测试区请求可以是对终端上的某一个APP的登录界面进行测试的请求。在具体实施中可以将终端连接到电脑设备上并在电脑设备上进行投影，以通过投影在电脑设备上显示终端的界面信息，在电脑设备上完成终端设备中的界面功能的测试。步骤220，根据界面测试请求本文档来自技高网...

【技术保护点】
1.一种基于人工智能的界面测试方法，其特征在于，所述方法包括：/n接收针对待测试界面的界面测试请求；/n根据所述界面测试请求获取所述待测试界面对应的待测试界面图像；/n对所述待测试界面图像进行分割得到待测试元素；/n识别各所述待测试元素的元素类别，并从预设数据库中查找各所述元素类别对应的操作动作；/n对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果；/n根据所述操作结果生成所述待测试界面对应的测试报告。/n

【技术特征摘要】
1.一种基于人工智能的界面测试方法，其特征在于，所述方法包括：
接收针对待测试界面的界面测试请求；
根据所述界面测试请求获取所述待测试界面对应的待测试界面图像；
对所述待测试界面图像进行分割得到待测试元素；
识别各所述待测试元素的元素类别，并从预设数据库中查找各所述元素类别对应的操作动作；
对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果；
根据所述操作结果生成所述待测试界面对应的测试报告。


2.根据权利要求1所述的方法，其特征在于，所述对所述待测试界面图像进行分割得到待测试元素，包括：
获取所述待测试界面图像对应的待测试界面特征图；
对所述待测试界面特征图进行上采样得到上采样特征图，所述上采样特征图与所述待测试界面图像的尺寸一致；
利用预先训练的分类算法对所述上采样特征图的像素进行分类；
根据分类后的像素对所述待测试界面图像进行分割得到与所述待测试界面图像中的元素尺寸一致的待测试元素。


3.根据权利要求1所述的方法，其特征在于，所述对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到对应的操作结果，包括：
对所述待测试界面上的对应的所述待测试元素执行所述操作动作得到反馈页面；
对所述反馈页面进行内容识别得到所述操作动作对应的操作结果。


4.根据权利要求3所述的方法，其特征在于，所述对所述反馈页面进行内容识别得到所述操作动作对应的操作结果，包括：
利用预先训练的文字识别模型识别所述反馈页面中的反馈文字；
获取所述操作动作对应的预设文字；
将所述反馈文字与所述预设文字进行文字匹配；
根据所述文字匹配的结果得到所述操作动作对应的操作结果。


5.根据权利要求3所述的方法，其特征在于，所述对所述反馈页面进行内容识别得到所述操作动作对应的操作结果，包括：
获取所述操作动作对应的预设界面；
获取所述反馈页面对应的反馈页面图像指纹，...

【专利技术属性】
技术研发人员：罗康，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44