【技术实现步骤摘要】
本专利技术涉及自动化数据生成，特别涉及一种基于复用的界面生成方法。
技术介绍
1、当今时代，移动应用发展迅速，我们也见证了移动应用程序和功能的多样性和丰富性。移动应用不仅要考虑能否满足用户的需求和功能的完善性，还要考虑其用户界面的交互性和友好性，良好的用户体验也正在成为开发者亟须考虑的关键因素。如何提供更好的用户体验便成了移动应用程序开发的一个重要课题，目前很多移动应用厂商也在关注相关的技术。
2、用户界面(ui)是移动应用带给用户最直观感受的关键元素，是开发移动应用程序时最重要的方面之一，也是决定应用程序可用性和用户体验的最重要因素之一。
3、对ui进行检测的一种方法是利用机器学习技术进行识别分析，而训练对应的机器学习模型需要大量的训练数据，即大量的移动应用用户界面图片。那么获得如此多的移动应用用户界面图片便是这项工作中的一个重要阶段，也是一项挑战。因此我们希望对移动应用用户界面建模，并可以通过构建的模型自动生成移动应用用户界面图片，以满足训练机器学习模型的需求，实现自动化的ui风格检查，提高ui缺陷检测工作的效率，从而对于提高移动应用程序的可用性和用户体验也起到积极的作用。但是现在对于自动化生成移动应用界面图片的技术还比较少，本专利技术提出的方法便是一种尝试。与目前大多数的建模方法不同，本工作仅关注用户界面的ui特征，不考虑对界面元素与用户的交互和页面跳转等行为进行抽象，在简化与ui特征无关的元素的模型数据的同时。与ui特征相关的元素需要更加细致的抽象和处理；在生成图片这一环节，我们的期望是生成大量的
技术实现思路
1、针对现有技术中普遍存在移动应用界面图片相关任务数据集数量不够的技术问题，本专利技术提供了一种基于复用的界面生成方法，可以在数据模型的层面将一个界面进行转换从而得到更多的界面，该方法分析界面截图和布局信息对界面进行建模，提供了基于元素属性的界面元素相似度比较的思路和策略，并提出一种随机数指导模型转换方法解决了数据模型一生多的问题。本专利技术通过以下技术方案来实现。
2、一种基于复用的界面生成方法，其特征在于，包括如下步骤：
3、步骤1)输入一个移动应用的界面截图和与所述截图对应的布局信息文件作为方法的输入；
4、步骤2)提取界面元素特征，设计表示移动应用界面布局特征的抽象数据结构；
5、步骤3)构建截图和布局信息文件所表示的移动应用界面结构模型；
6、步骤4)设计界面元素相似度比较规则，包括对组件元素的比较和对容器元素的比较；
7、步骤5)设计多种重构移动应用界面数据结构模型的策略，并提出一种基于随机数的模型转换方法；
8、步骤6)实现从界面模型到图片的生成方法。
9、上述的基于复用的界面生成方法，其特征在于，所述步骤1)中的布局信息文件应当包括所述移动应用界面的控件树结构。
10、上述的基于复用的界面生成方法，其特征在于，所述步骤2)提取界面元素特征并设计表示移动应用界面布局特征的抽象数据结构具体包括以下步骤：
11、步骤21)规定表示移动应用界面布局特征的抽象数据结构，即界面模型包括如下性质：界面描述，记为description；界面元素结构树的根节点，记为root；界面的截图，记为screenshot；
12、步骤22)规定表示界面元素的抽象数据结构，即界面元素结构树的每一个节点n拥有如下性质：编号，记为id(n)；类型，记为type(n)；在结构树中的深度，记为depth(n)；位置坐标，记为position(n)；尺寸，记为size(n)；图像，记为image(n)；包含0或多个子节点，记为children(n)。
13、上述的基于复用的界面生成方法，其特征在于，所述步骤3)构建截图和布局信息文件所表示的移动应用界面结构模型具体包括以下步骤：
14、步骤31)通过预处理解析xml文件，主要采用正则表达式匹配的方式获取布局信息文件中的控件树信息并使用树状结构存储在内存中；
15、步骤32)深度优先遍历控件树信息，对每个界面元素执行步骤33)；
16、步骤33)构造该界面元素对象，并写入编号、类型、深度、位置和尺寸信息，其中，所述编号为所在布局信息文件中的行数；接着判断元素的类型，如果元素类型为组件，仅执行步骤34)，如果元素类型为容器，执行步骤35)-步骤37)；
17、步骤34)通过元素在界面的位置和尺寸信息截取截图对应的部分作为图像成员存入组件元素；
18、步骤35)去除容器包含的所有孩子的图像，只留下边框图像存入图像成员，初始化孩子列表；
19、步骤36)如果元素只有一个孩子并且所述元素和孩子二者的位置和尺寸信息相同，使用所述元素的孩子执行所述步骤35)，否则执行步骤37)；
20、步骤37)对元素的每个孩子执行所述步骤33)并存入children。
21、上述的基于复用的界面生成方法，其特征在于，所述步骤4)设计的界面元素相似度比较规则的具体规则包括：
22、41)组件相似度比较规则一：二者是否处于同一容器中，且大小相近、类别相同；
23、42)组件相似度比较规则二：二者是否处于同一容器中，且大小相近；
24、43)容器相似度比较规则一：二者是否处于同一容器中，且大小和类型相同，且孩子分布相似，所述孩子分布相似为依序类型相同、大小相近；
25、44)容器相似度比较规则二：二者是否处于同一容器中，且二者是否大小相近，且孩子集合具有相同数量的容器和组件；
26、45)容器相似度比较规则三：二者是否处于同一容器中，且二者是否大小相近。
27、上述的基于复用的界面生成方法，其特征在于，所述步骤5)设计多种重构移动应用界面数据结构模型的策略，并提出一种基于随机数的模型转换方法具体包括如下步骤：
28、步骤51)通过深度遍历元素结构树和使用相似度比较规则寻找可交换元素对集合s；
29、步骤52)如果需求的转换后数目大于2^len(s)-1，则执行步骤53)，否则执行步骤54)；
30、步骤53)若所述相似度比较规则已经粒度最大，执行步骤54)，否则通过粒度更大的相似度比较规则获取s’并用s’扩充s并执行所述步骤52)；
31、步骤54)生成一个大小为需求数目，范围在[1,2^len(s)-1]的随机数集合r；
32、步骤55)使用所述集合r中的每个随机数r对pm模型进行变换生成界面模型pm’，方式为将随机数r转换为二进制表达，所述r的位数与可交换元素对数目相同，如果某个可交换元素对对应的r的位数为1则执行交换，否则不执行以达到随机交换的效果本文档来自技高网...
【技术保护点】
1.一种基于复用的界面生成方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤1)中的布局信息文件应当包括所述移动应用界面的控件树结构。
3.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤2)提取界面元素特征并设计表示移动应用界面布局特征的抽象数据结构具体包括以下步骤：
4.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤3)构建截图和布局信息文件所表示的移动应用界面结构模型具体包括以下步骤：
5.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤4)设计的界面元素相似度比较规则的具体规则包括：
6.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤5)设计多种重构移动应用界面数据结构模型的策并提出一种基于随机数的模型转换方法具体包括如下步骤：
7.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤6)从界面模型生成图片是通过深度遍历界面模型的元素结构树，根据所述元素结构树的位置
...【技术特征摘要】
1.一种基于复用的界面生成方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤1)中的布局信息文件应当包括所述移动应用界面的控件树结构。
3.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤2)提取界面元素特征并设计表示移动应用界面布局特征的抽象数据结构具体包括以下步骤：
4.根据权利要求1所述的基于复用的界面生成方法，其特征在于，所述步骤3)构建截图和布局信息文件所表示的移动应用界面结构模型具体包括以下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。