【技术实现步骤摘要】
本专利技术涉及研发，适用于金融领域，应用于银行开发网页的ui走查场景，尤其涉及一种页面布局的处理方法、装置、设备及介质。
技术介绍
1、在银行网页的设计与开发过程中，页面布局信息是不可或缺的一部分，它影响着用户体验、开发效率和最终产品的质量。因此在开发网页的ui走查中，页面布局的走查是非常重要的。
2、为了进行高效准确的ui走查，需要进行页面布局构建，开发页面的信息可以简单分为两个层面，第一层面以直观的视觉图像为基础，第二层则以数字化的控件信息为基础，图像直观但是控件信息不能直接表达，控件前端信息精确但是展现不够直观且存在大量嵌套，均难以实现高精度的页面布局还原，影响后续ui走查任务处理的精准性。
技术实现思路
1、鉴于上述现有技术的不足，本专利技术的目的在于提供可应用于金融科技或其它相关领域的一种页面布局的处理方法、装置、设备及介质，其主要目的在于有效结合开发页面的图像和控件信息，实现高精度的页面布局构建，提高ui走查等下游任务的性能。
2、本专利技术的技术方案如下：
3、本专利技术第一方面提供一种页面布局的处理方法，包括：
4、获取开发页面的图像；
5、将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图；
6、获取所述开发页面的控件信息，将所述控件信息与所述控件分割图进行匹配；
7、根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页
8、在一个实施例中，所述将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图，包括：
9、将所述开发页面的图像输入到训练好的图像分割模型，所述图像分割模型包括依次连接的主干网络层、瓶颈层和输出层；
10、利用所述主干网络层对所述开发页面的图像进行特征提取，获得相应的特征图；
11、利用所述瓶颈层捕获所述特征图中的多尺度特征并进行特征聚合与上采样处理；
12、利用所述输出层将上采样后的特征图转换为二值分割图，所述二值分割图中控件区域的像素为前景，其它区域的像素为背景。
13、在一个实施例中，所述瓶颈层包括空间金字塔池化层和上采样层，所述空间金字塔池化层包括若干个不同尺寸的空洞卷积层，所述上采样层包括反卷积层，所述利用所述瓶颈层捕获所述特征图中的多尺度特征并进行特征聚合与上采样处理，包括：
14、将所述主干网络层输出的特征图输入到所述空间金字塔池化层中，通过多个不同尺寸的空洞卷积层分别以不同的空洞率对所述特征图进行特征捕获，得到不同尺度的特征图；
15、将所有尺寸的空洞卷积层输出的不同尺度的特征图进行聚合，得到特征聚合图；
16、将所述特征聚合图输入到所述上采样层中，通过所述反卷积层对所述特征聚合图进行上采样操作，将所述特征聚合图恢复到所述开发页面的图像的原始尺寸。
17、在一个实施例中，所述利用所述输出层将上采样后的特征图转换为二值分割图，所述二值分割图中控件区域的像素为前景，其它区域的像素为背景，包括：
18、对上采样后的特征图的每个通道进行线性组合，生成单通道特征图；
19、确定所述单通道特征图中各像素为控件区域的概率，根据各像素的概率将所述单通道特征图转换为相应的二值分割图，其中控件区域的像素为前景，其它区域的像素为背景。
20、在一个实施例中，所述获取所述开发页面的控件信息，将所述控件信息与所述控件分割图进行匹配，包括：
21、发送http请求以获取所述开发页面的html文档，将接收到的所述开发页面的html文档解析为dom树；
22、对所述dom树进行元素遍历，识别所述dom树中的控件元素并获取所述控件元素的控件信息；
23、确定所述控件分割图中各控件图形的外接矩形位置；
24、将所述控件信息中各控件元素的位置与每个外接矩形位置进行交并比匹配。
25、在一个实施例中，所述根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局，包括：
26、获取各控件元素的位置与每个外接矩形位置的交并比匹配结果；
27、根据所述交并比匹配结果从所有的控件元素中为每个控件图形筛选满足预设条件的开发控件元素，得到开发控件元素集合；
28、根据所述开发控件元素集合中各开发控件元素的位置在空白图像上构建得到所述开发页面的控件布局。
29、在一个实施例中，所述根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局之后，方法还包括：
30、获取与所述开发页面对应的设计页面；
31、对所述设计页面进行设计控件元素提取，获取所述设计页面中设计控件元素的控件信息；
32、将所述开发控件元素的控件信息与所述设计控件元素的控件信息进行比对，得到比对结果。
33、本专利技术第二方面提供一种页面布局的处理装置，包括：
34、获取模块，用于获取开发页面的图像；
35、图像分割模块，用于将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图；
36、匹配模块，用于获取所述开发页面的控件信息，将所述控件信息与所述控件分割图进行匹配；
37、矫正构建模块，用于根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局。
38、本专利技术第三方面提供一种计算机设备，包括至少一个处理器；以及，
39、与所述至少一个处理器通信连接的存储器；其中，
40、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述页面布局的处理方法。
41、本专利技术第四方面提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的页面布局的处理方法。
42、有益效果：本专利技术公开了一种页面布局的处理方法、装置、设备及介质，相比于现有技术，本专利技术实施例获取开发页面的图像；将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图；获取所述开发页面的控件信息，将所述控件信息与所述控件分割图进行匹配；根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局。通过训练好的图像分割模型，可以自动高效地识别和分割开发页面上的控件，在自动分割获取控件分割图的基础上，结合识别到的控件信息与前端的控件分割图进行匹配，实现对开发页面控件位置的精准矫正，构建得到高精度的页面布局构建，结合图像直观性和控件信息的精确性，可以构建更全面的页面本文档来自技高网...
【技术保护点】
1.一种页面布局的处理方法，其特征在于，包括：
2.根据权利要求1所述的页面布局的处理方法，其特征在于，所述将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图，包括：
3.根据权利要求2所述的页面布局的处理方法，其特征在于，所述瓶颈层包括空间金字塔池化层和上采样层，所述空间金字塔池化层包括若干个不同尺寸的空洞卷积层，所述上采样层包括反卷积层，所述利用所述瓶颈层捕获所述特征图中的多尺度特征并进行特征聚合与上采样处理，包括：
4.根据权利要求2所述的页面布局的处理方法，其特征在于，所述利用所述输出层将上采样后的特征图转换为二值分割图，所述二值分割图中控件区域的像素为前景，其它区域的像素为背景，包括：
5.根据权利要求1所述的页面布局的处理方法，其特征在于，所述获取所述开发页面的控件信息，将所述控件信息与所述控件分割图进行匹配，包括：
6.根据权利要求5所述的页面布局的处理方法，其特征在于，所述根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局，包括：
7.根据权利要求6所述的页面布局的处理方法，其特征在于，所述根据匹配结果对所述控件分割图中的控件位置进行矫正，构建得到所述开发页面的控件布局之后，方法还包括：
8.一种页面布局的处理装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括至少一个处理器；以及，
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的页面布局的处理方法。
...【技术特征摘要】
1.一种页面布局的处理方法，其特征在于，包括：
2.根据权利要求1所述的页面布局的处理方法，其特征在于，所述将所述开发页面的图像输入到训练好的图像分割模型，对所述开发页面的图像进行控件分割，得到控件分割图，包括：
3.根据权利要求2所述的页面布局的处理方法，其特征在于，所述瓶颈层包括空间金字塔池化层和上采样层，所述空间金字塔池化层包括若干个不同尺寸的空洞卷积层，所述上采样层包括反卷积层，所述利用所述瓶颈层捕获所述特征图中的多尺度特征并进行特征聚合与上采样处理，包括：
4.根据权利要求2所述的页面布局的处理方法，其特征在于，所述利用所述输出层将上采样后的特征图转换为二值分割图，所述二值分割图中控件区域的像素为前景，其它区域的像素为背景，包括：
5.根据权利要求1所述的页面布局的处理方法，其特征在于，所述获取所述开...
【专利技术属性】
技术研发人员：邹越，苏沁宁，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。