Hybrid移动应用用户界面的检测方法及系统技术方案

本发明专利技术公开了一种Hybrid移动应用用户界面的检测方法及系统，该方法包括：获取待测用户界面和目标用户界面的HTML格式的布局文件；在所述布局文件中提取代表用户界面视觉效果的基础特征，其中，所述代表用户界面视觉效果的基础特征包括：元素类型、元素位置和元素大小；根据所述代表用户界面视觉效果的基础特征计算所述待测用户界面和目标用户界面的相似度。本发明专利技术可以通过静态提取分析视觉特征可用于大规模hybrid移动应用用户界面相似度分析，具有良好可扩展性，相对于传统动态分析方法具有很好的效率增益。

Method and system for detecting Hybrid mobile application user interface

The invention discloses a method and system for detecting a Hybrid mobile application user interface, the method comprises: acquiring user interface layout file to be measured and the target user interface HTML format; basic feature, represents the user interface the visual effect of the extract in the layout file which includes the basic characteristics of the representative visual user interface results: the element type, element size and element position; according to the similarity based features of the user interface on behalf of the visual effect of the computation of the measured target user interface and user interface. The invention can be extracted by static analysis of visual features can be used for the analysis of large scale hybrid mobile application user interface similarity, has good scalability, compared with the efficiency gain good traditional dynamic analysis method.

【技术实现步骤摘要】
Hybrid移动应用用户界面的检测方法及系统
本专利技术涉及网络技术、信息安全
，特别涉及一种Hybrid移动应用用户界面的检测方法及系统。
技术介绍
Hybrid移动应用也称基于HTML5的移动应用，是一种最近流行的移动应用开发模式。它以安卓平台内置的浏览器环境(WebView)为运行环境，通过系统访问插件对上层WebView中的JavaScript代码提供访问安卓系统服务的JavaScriptAPI，其应用程序的逻辑是用JavaScript代码和HTML表述。Hybrid移动应用通过PhoneGap框架解决异构移动终端上应用界面的可定制与自适应等问题。PhoneGap通过系统访问插件，支持将Web应用转换、部署到多种不同移动平台。Hybrid移动应用是一种介于Web应用和Android原生(Native)应用两者之间的应用程序，兼具原生(Native)应用良好的用户体验优势和Web应用跨平台开发的优势。Hybrid移动使用HTML5技术(HTML5+JavaScript+CSS，其中HTML5负责页面内容，JavaScript负责函数逻辑，CSS负责视觉渲染效果)编写，在WebView上解释运行的应用。近些年随着移动互联网的发展，通过GUI(图形用户界面GraphicalUserInterface)与用户进行的交互也越来越多且越来越复杂，很多设计都只考虑了功能性因素而忽视了安全问题。随着Hybrid应用的普及，出现了针对Hybrid应用GUI设计方面的安全漏洞的攻击。从以用户界面(UserInterface，UI)模仿伪造为基础的钓鱼攻击，到专门针对特定UI界面的UI劫持攻击。这些安全问题的本质都是利用UI相似性对用户视觉进行欺骗攻击。目前针对应用UI相似性的检测方法大多针对Web应用或一种是对安卓(Android)原生(Native)应用，检测的方法主要可以分为两种：一种是对安卓(Android)原生(Native)应用渲染后的UI进行图像处理后进行相似度分析，通过动态测试，对应用的UI进行截屏，并且使用图像处理算法通过对截屏的图片进行特征提取，提取出如边缘、颜色和文字内容等信息，并最终利用提取出的这些信息进行相似度计算。如：LuckMalisa等人提出了一种检测相似UI的方法，对应用运行时的UI进行截屏，并且使用图像处理算法提取出UI中的不同元素的边缘信息，将这些边缘信息形成一个特征集。在检测时对两个UI产生的特征集进行相似度计算，从而检测相似的UI。另一种是对Web应用产生UI的源代码文件进行静态分析，通过分析源代码的相似度或者对源代码进行一些处理后分析处理后中间结果的相似度进行相似度检测。如：DOMAntiPhish通过对网站HTML文件的DOMTree(DocumentObjectModelTree，文档对象化树形结构)进行解析，对DOMTree的结构进行相似度计算，并且针对不同标签即DOMTree的叶子结点设计相似度计算算法，最终将相似度从叶子结点计算汇总成总网页结构树的相似度，从而检测结构上相似的网页。相关技术中，基于图像处理算法的UI相似度检测方法虽然能够直接检测呈现给用户的视觉特征，但是图像处理算法占用资源大，运算时间长，无法批量静态分析等缺点同样十分明显。而通过对产生UI的源代码进行分析的方法能够大批量进行静态分析，同时运算效率也比图像处理算法高。但是现有的利用源代码进行分析的方法主要针对Web应用和Native应用，均未能针对Hybrid应用进行检测。同时检测方法上也没有针对表示UI视觉效果的视觉特征进行检测，因此检测常常会偏离真正的问题所在，从而影响检测准确率。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种Hybrid移动应用用户界面的检测方法。该Hybrid移动应用用户界面的检测方法主要针对用户界面视觉特征的静态代码进行分析，通过获取的待测用户界面和目标用户界面的HTML布局文件中，提取视觉特征，并根据这些特征，计算待测用户界面和目标用户界面的相似度。本专利技术的另一个目的在于提出一种Hybrid移动应用用户界面的检测系统。为了实现上述目的，本专利技术的一方面公开了一种Hybrid移动应用用户界面的检测方法，包括：获取待测用户界面和目标用户界面的HTML格式的布局文件；在所述布局文件中提取代表用户界面视觉效果的基础特征，其中，所述代表用户界面视觉效果的基础特征包括：元素类型、元素位置和元素大小；根据所述代表用户界面视觉效果的基础特征计算所述待测用户界面和目标用户界面的相似度。根据本专利技术的Hybrid移动应用用户界面的检测方法，通过获取的待测用户界面和目标用户界面的HTML布局文件中，提取视觉特征，并根据这些特征，计算待测用户界面和目标用户界面的相似度，这种通过静态提取分析视觉特征可用于大规模hybrid移动应用用户界面相似度分析，具有良好可扩展性，相对于传统动态分析方法具有很好的效率增益。另外，根据本专利技术上述实施例的Hybrid移动应用用户界面的检测方法还可以具有如下附加的技术特征：进一步地，具体的相似度计算方式为：S10：将所述待测用户界面和目标用户界面的全部元素两两组合构成多个元素组合，并一一计算元素组合的相似度，其中，计算元素组合的相似度包括：元素类型相似度计算、元素位置相似度计算、元素大小相似度计算；S20：利用元素面积占比一一计算元素组合的加权相似度；S30：选择元素组合加权相似度最大值作为待测用户界面和目标用户界面间的相似度。进一步地，所述在所述布局文件中提取代表用户界面视觉效果的基础特征具体包括：对HTML格式的布局文件进行文档对DOMTree解析计算，获取各个叶子节点的元素类型；根据DOMTree各个叶子节点的属性标签，获取各个叶子节点的元素位置和元素大小。进一步地，还包括：将叶子节点的所述代表用户界面视觉效果的基础特征储存为一个数据元，其中，一个叶子节点对应具有一个数据元；将多个数据元组成一个数据集。进一步地，获取待测用户界面的HTML格式的布局文件具体为从待测hybrid应用的安装包和目标hybrid应用的安装包中获取相关用户界面的HTML格式的布局文件。本专利技术的另一方面公开了一种Hybrid移动应用用户界面的检测系统，包括：布局获取模块，用于获取待测用户界面和目标用户界面的HTML格式的布局文件；视觉特征提取模块，用于在所述布局文件中提取代表用户界面视觉效果的基础特征，其中，所述代表用户界面视觉效果的基础特征包括：元素类型、元素位置和元素大小；用户界面相似度计算模块，用于根据所述代表用户界面视觉效果的基础特征计算所述待测用户界面和目标用户界面的相似度。根据本专利技术的Hybrid移动应用用户界面的检测系统，通过获取的待测用户界面和目标用户界面的HTML布局文件中，提取视觉特征，并根据这些特征，计算待测用户界面和目标用户界面的相似度，这样通过静态提取分析视觉特征可用于大规模hybrid移动应用用户界面相似度分析，具有良好可扩展性，相对于传统动态分析方法具有很好的效率增益。另外，根据本专利技术上述实施例的Hybrid移动应用用户界面的检测系统还可以具有如下附加的技术特征：进一步地，所述用户界面相本文档来自技高网...

【技术保护点】
一种Hybrid移动应用用户界面的检测方法，其特征在于，包括：获取待测用户界面和目标用户界面的HTML格式的布局文件；在所述布局文件中提取代表用户界面视觉效果的基础特征，其中，所述代表用户界面视觉效果的基础特征包括：元素类型、元素位置和元素大小；根据所述代表用户界面视觉效果的基础特征计算所述待测用户界面和目标用户界面的相似度。

【技术特征摘要】
1.一种Hybrid移动应用用户界面的检测方法，其特征在于，包括：获取待测用户界面和目标用户界面的HTML格式的布局文件；在所述布局文件中提取代表用户界面视觉效果的基础特征，其中，所述代表用户界面视觉效果的基础特征包括：元素类型、元素位置和元素大小；根据所述代表用户界面视觉效果的基础特征计算所述待测用户界面和目标用户界面的相似度。2.根据权利要求1所述的Hybrid移动应用用户界面的检测方法，其特征在于，具体的相似度计算方式为：S10：将所述待测用户界面和目标用户界面的全部元素两两组合构成多个元素组合，并一一计算元素组合的相似度，其中，计算元素组合的相似度包括：元素类型相似度计算、元素位置相似度计算、元素大小相似度计算；S20：利用元素面积占比一一计算元素组合的加权相似度；S30：选择元素组合加权相似度最大值作为待测用户界面和目标用户界面间的相似度。3.根据权利要求1所述的Hybrid移动应用用户界面的检测方法，其特征在于，所述在所述布局文件中提取代表用户界面视觉效果的基础特征具体包括：对HTML格式的布局文件进行DOMTree解析计算，获取各个叶子节点的元素类型；根据DOMTree各个叶子节点的属性标签，获取各个叶子节点的元素位置和元素大小。4.根据权利要求3所述的Hybrid移动应用用户界面的检测方法，其特征在于，还包括：将叶子节点的所述代表用户界面视觉效果的基础特征储存为一个数据元，其中，一个叶子节点对应具有一个数据元；将多个数据元组成一个数据集。5.根据权利要求1所述的Hybrid移动应用用户界面的检测方法，其特征在于，获取待测用户界面的HTML格式的布局文件具体为从待测hybrid应用的安装包和目标hybrid应用的安装包中获取相关用户界面的HTML格式的布局文件。6.一种Hybrid...

【专利技术属性】
技术研发人员：毛剑，马寒军，卞京东，刘建伟，关振宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11