用户界面验收方法及装置制造方法及图纸

本发明专利技术涉及计算机领域，提供一种用户界面验收方法及装置。方法包括：获取待处理用户界面图像和所述待处理用户界面对应的模板图像；将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；基于所述差异标注图像进行验收，得到所述待处理用户界面的验收结果。通过差异比对模型实现待处理用户界面图像和模板图像的像素级匹配，输出差异标注图像并进行自动化验收，实现UI验收全流程的自动化。动化。动化。

【技术实现步骤摘要】
用户界面验收方法及装置


[0001]本专利技术涉及计算机领域，尤其涉及用户界面验收方法及装置。

技术介绍

[0002]随着企业数字化的不断深化以及应用程序开发的快速迭代，为了确保开发的用户界面(User Interface，UI)尽可能还原设计稿给出的UI设计方案，UI验收成为了应用程序研发过程中的一个关键环节。
[0003]UI验收，会将样稿与开发的网页UI页面进行比对，往往会存在页面布局，字体字号，线体，色彩等不一致的情况。如果不能及时发现差异，会影响用户体验。传统人工比对效率低下且不易察觉差异所在，极易漏检。因此，催生了一批自动化UI验收平台，支持大批量智能化验收。然而，由于样稿的样式多种多样，难以穷举，同时由于样稿与网页UI存在类似或重复的样式，因此现有的UI验收平台无法有效地去定位异常数据，难以表征两幅图像之间的共性特征，容易造成误匹配。

技术实现思路

[0004]本专利技术旨在至少解决相关技术中存在的技术问题之一。为此，本专利技术提出一种用户界面验收方法，通过差异比对模型实现待处理用户界面图像和模板图像的像素级匹配，输出差异标注图像并进行自动化验收，实现UI验收全流程的自动化。
[0005]本专利技术还提出一种用户界面验收装置。
[0006]本专利技术还提出一种电子设备。
[0007]本专利技术还提出一种非暂态计算机可读存储介质。
[0008]本专利技术还提出一种计算机程序产品。
[0009]根据本专利技术第一方面实施例的一种用户界面验收方法，包括：
[0010]获取待处理用户界面图像和所述待处理用户界面对应的模板图像；
[0011]将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；
[0012]基于所述差异标注图像进行验收，得到所述待处理用户界面的验收结果。
[0013]根据本专利技术实施例的用户界面验收方法，能够自动采集待处理用户界面图像和模板图像，并将其输入差异比对模型得到特征组并进行差异定位。相较于现有技术通过特征描述子的相似度进行匹配的方式，本方法考虑到样稿与网页UI具有整体偏移以及缩放的情况，能够找到两幅图像间的共性特征，在页面存在类似或重复的样式的前提下提高了匹配的精确度。同时，基于匹配结果进行差异标注后，可以方便后续自动化地进行验收并收获验收结果。
[0014]根据本专利技术的一个实施例，所述差异比对模型包括特征提取模块、特征匹配模块、差异定位模块和标注模块；所述将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像，包括：
[0015]将所述待处理用户界面图像和所述模板图像输入至所述特征提取模块中，通过所述特征提取模块对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组；
[0016]将所述第一特征组和所述第二特征组输入至所述特征匹配模块，通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像；
[0017]将所述配准图像与所述模板图像输入至所述差异定位模块进行对比，得到差异坐标；
[0018]将所述变换矩阵和所述差异坐标所述标注模块，得到所述差异标注图像。
[0019]根据本专利技术的一个实施例，所述对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组，包括：
[0020]将所述待处理用户界面图像和所述模板图像通过共享编码结构进行特征提取，得到所述待处理用户界面图像的原始特征图和所述模板图像的原始特征图；
[0021]将所述待处理用户界面图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到所述第一特征组，将所述模板图像的原始特征图通过所述特征点检测分支和所述描述符检测分支进行特征分类，得到所述第二特征组。
[0022]根据本专利技术的一个实施例，所述通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像，包括：
[0023]对所述第一特征组和所述第二特征组分别进行编码，得到对应的第一特征匹配向量和第二特征匹配向量；
[0024]将所述第一特征匹配向量和所述第二特征匹配向量输入所述预设的注意力机制图神经网络，得到目标特征匹配矩阵；
[0025]基于所述目标特征匹配矩阵，得到所述待处理用户界面图像和所述模板图像的变换矩阵，以及所述待处理用户界面图像的配准图像。模板图像模板图像
[0026]根据本专利技术的一个实施例，所述将所述变换矩阵和所述差异坐标所述标注模块，得到所述差异标注图像，包括：
[0027]基于所述变换矩阵，得到所述待处理用户界面图像和所述模板图像的整体差异量；
[0028]将所述差异坐标和所述整体差异量在所述配准图像上标注，得到所述差异标注图像。
[0029]根据本专利技术的一个实施例，所述基于所述差异标注图像，得到所述待处理用户界面的验收结果，包括：
[0030]基于所述差异标注图像，通过预设规则计算所述待处理用户界面图像的缺陷评分，并生成所述待处理用户界面图像的验收报告；
[0031]基于所述待处理用户界面图像的验收报告，确定所述待处理用户界面的验收结果。
[0032]根据本专利技术的一个实施例，所述获取待处理用户界面图像和所述待处理用户界面对应的模板图像，还包括：
[0033]获取初始待处理用户界面图像和所述初始待处理用户界面对应的初始模板图像；
[0034]对所述初始待处理用户界面图像和所述初始模板图像进行重叠校验，得到所述初始待处理用户界面图像相对于所述初始模板图像的重叠偏差量；
[0035]对所述初始重叠偏差量进行修复，得到所述待处理用户界面图像与所述模板图像。
[0036]根据本专利技术第二方面实施例的一种用户界面验收装置，包括：
[0037]采集模块，用于获取待处理用户界面图像和所述待处理用户界面对应的模板图像；
[0038]差异标注模块，用于将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；
[0039]验收模块，用于基于所述差异标注图像进行验收，得到所述待处理用户界面的验收结果。
[0040]根据本专利技术实施例的用户界面验收装置，能够自动采集待处理用户界面图像和模板图像，并将其输入差异比对模型得到特征组并进行差异定位。相较于现有技术通过特征描述子的相似度进行匹配的方式，本装置考虑到样稿与网页UI具有整体偏移以及缩放的情况，能够找到两幅图像间的共性特征，在页面存在类似或重复的样式的前提下提高了匹配的精确度。同时，基于匹配结果进行差异标注后，可以方便后续自动化地进行验收并收获验收结果。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户界面验收方法，其特征在于，包括：获取待处理用户界面图像和所述待处理用户界面对应的模板图像；将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；基于所述差异标注图像，得到所述待处理用户界面的验收结果。2.根据权利要求1所述的用户界面验收方法，其特征在于，所述差异比对模型包括特征提取模块、特征匹配模块、差异定位模块和标注模块；所述将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像，包括：将所述待处理用户界面图像和所述模板图像输入至所述特征提取模块中，通过所述特征提取模块对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组；将所述第一特征组和所述第二特征组输入至所述特征匹配模块，通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像；将所述配准图像与所述模板图像输入至所述差异定位模块进行对比，得到差异坐标；将所述变换矩阵和所述差异坐标所述标注模块，得到所述差异标注图像。3.根据权利要求2所述的用户界面验收方法，其特征在于，所述对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组模板图像，包括：将所述待处理用户界面图像和所述模板图像通过共享编码结构进行特征提取，得到所述待处理用户界面图像的原始特征图和所述模板图像的原始特征图；将所述待处理用户界面图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到所述第一特征组，将所述模板图像的原始特征图通过所述特征点检测分支和所述描述符检测分支进行特征分类，得到所述第二特征组。4.根据权利要求2所述的用户界面验收方法，其特征在于，所述通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像模板图像，包括：对所述第一特征组和所述第二特征组分别进行编码，得到对应的第一特征匹配向量和第二特征匹配向量；将所述第一特征匹配向量和所述第二特征匹配向量输入所述预设的注意力机制图神...

【专利技术属性】
技术研发人员：杨平，罗鑫平，周聪，梁广宇，庄瑞炎，马志斌，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：