一种基于空间布局的钓鱼网页检测及其实现方法技术

一种基于空间布局的钓鱼网页检测方法涉及了一种基于页面视觉布局特征结合空间数据库的设计方案，主要解决了基于网页视觉相似性角度进行快速钓鱼网页检测的问题，系统由５个模块组成，其中最上层是用户界面模块，主要负责获取用户输入并将结果反馈回用户，中间是控制模块，负责调度所有功能模块完成钓鱼网站检测。最核心的是３个功能模块，即：布局特征抽取模块、空间数据库模块、机器学习匹配模块。经大量实验数据检验证明，该方法构建了一种高速高精度钓鱼网页检测系统，在保证高准确率的同时，处理数据容量上有了重大提升，并显著减小网页检测时间。

【技术实现步骤摘要】

本专利技术涉及一种钓鱼页检测的方法，主要从网页视觉布局相似性角度对钓鱼网页 进行匹配和识别，属于信息安全领域。
技术介绍
“钓鱼网站”是随着网络普及和在线交易增加而变得异常猖獗的网络诈骗行为。 “钓鱼网站”是犯罪分子做出的诈骗网站，“钓鱼网站”通常与银行网站或其他知名网站几乎 完全相同，从而引诱网站使用者在“钓鱼网站”上提交出敏感信息(如用户名、口令、帐号 ID、ATM PIN码或信用卡详细信息等)。最典型的网络钓鱼攻击过程如下首先 将用户引诱到一个通过精心设计与目标组织的网站非常相似的钓鱼网站上，然后获取用户 在该钓鱼网站上输入的个人敏感信息，例如银行帐号、银行密码等。通常这个攻击过程不会 让受害者警觉。这些个人信息对钓鱼网站持有者具有非常大的吸引力，通过使用窃取到的 个人信息，他们可以假冒受害者进行欺诈性金融交易，获得极大的经济利益，而受害者们却 因此而遭受到巨大的经济损失，非但如此，被窃取的个人信息还可能被用于其他非法活动。 如何识别钓鱼网站，如何保证网站信息传输的保密完整性，愈发的显示出其重要性和必要 性。当前钓鱼网站识别主要靠计算机自动识别和人工识别两种方式，人工识别采用黑 名单机制，用户对某个网站进行举报，通过人工鉴定是否为钓鱼网站，这样显然速度太慢。 计算机自动识别目前主要是基于页面视觉相似性检测方式判断是否为钓鱼网站，电脑通过 抽取网页的视觉，文字特征与大多数主要的合法网站页面进行相似度对比或进行机器学 习，从而判断是否为钓鱼网站。空间数据库是一种在地理信息方面应用较多的空间查询技术，采用R树为数据结 构。由于网页布局特征信息需要查找视觉上靠近的所有矩形，这里结合空间数据库存储网 页的特征，可快速获取特征库中所有视觉上相似以及位置上靠近的布局特征。 Y. Zhang, J. Hong, and L. Cranor. Cantina :A content-based approach todetecting phishing websites. WWW,2007Anthony Y. Fu, Wenyin Liu, Xiaotie Deng. Detecting Phishing Web Pages withVisual Similarity Assessment based on Earth Mover' s Distance (EMD). IEEETransactions on Dependable and Secure Computing,2006, 3(4), pages 301-31
技术实现思路
技术问题本专利技术的目的是提供一种基于空间布局的钓鱼网页检测及其实现方 法，以往钓鱼网页识别主要通过人工识别，目前现有的计算机识别的钓鱼网页检测技术主 要从网页元素角度对检测网页进行匹配检测，匹配速度往往无法达到实际使用的要求。本 专利技术从网页的布局角度进行特征抽取、特征匹配，大大提高了页面匹配的速度，同时保证了 高精度和低误判率。4技术方案本专利技术结合浏览器渲染引擎，对指定的可疑网页进行视觉布局特征抽 取，再利用空间数据库索引查找空间位置相近、视觉相似的布局特征，经过统计分析找到样 本空间中最为相似的合法网页，从而达到钓鱼网页检测的目的。该方法由5个模块组成，其中最上层是用户界面模块，主要负责获取用户输入并 将结果反馈回用户，中间是控制模块，负责调度所有功能模块完成钓鱼网站检测，最核心的 是3个功能模块，即布局特征抽取模块、空间数据库模块、机器学习匹配模块；其中布局 特征抽取模块抽取块状网页布局特征，该布局特征在训练阶段送交空间数据库模块建立索 引或进行查询，在钓鱼网页检测阶段该模块抽取的布局特征送至空间数据库模块查询相似 特征；空间数据库模块在训练时期对数据特征建立空间索引，在钓鱼网页检测阶段进行相 似特征的快速查询，查询所得相似特征交给机器学习匹配模块进行识别；机器学习匹配模 块在系统训练阶段接收特征提取模块传来的特征数据进行训练，优化网页相似性阀值的参 数；在钓鱼网页检测阶段，接收特征提取模块传来的特征数据，与空间数据库中相似特征， 计算网页之间的相似性，最后根据网页相似性阀值判断钓鱼网页；在钓鱼网页检测过程中通过浏览器内核解析网页源代码并提取空间布局特征，以 此作为钓鱼网页检测的依据，并在特征库中结合空间数据库提高查询速度，具体实现步骤 为步骤1)训练阶段数据准备过程采集至少100个可能被钓鱼网页模仿的正规网 站页面，并抽取出布局特征组织成样本数据；将所有样本数据的布局特征插入空间数据库； 采集至少100个钓鱼网站页面以及100个普通网页，并抽取特征组织成测试数据；布局特征由以下四个数值属性组成^DOM节点的高度这里的高度表示浏览器引擎解析了网页的HTML源代码，ess源代码以及 javascript源代码以后所得网页元素在垂直方向上象素点个数，^DOM节点的宽度这里的宽度表示浏览器引擎解析了网页的HTML源代码，ess源代码以及 javascript源代码以后所得网页元素在水平方向上象素点个数，^DOM节点的X坐标设Web浏览器显示区域最左上角的象素点坐标为(0，0)，这里的X坐标表示浏览器 引擎解析了网页的HTML源代码，ess源代码以及javascript源代码以后所得网页元素的 最左上角象素点相对于(0，0)坐标在水平方向上的距离，其中距离为1表示相差一个象素占，^DOM节点的Y坐标设Web浏览器显示区域最左上角的象素点坐标为(0，0)，这里的X坐标表示浏览器 引擎解析了网页的HTML源代码，ess源代码以及javascript源代码以后所得网页元素的 最左上角象素点相对于(0，0)坐标在垂直方向上的距离，其中距离为1表示相差一个象素占，步骤2)测试数据集的标定过程将测试数据中的所有普通网页标注为“false”， 表示非钓鱼网页；再将测试数据中的所有钓鱼网页标注为“true”，表示钓鱼网页；步骤3)对所有测试网页的特征在空间数据库中查找相似的特征，并统计找到每5一个测试网页在库中最相似的网页，计算它们的相似度作为测试网页与库的相似度；步骤4)将所有测试网页的标注以及测试网页与库的相似度送入机器学习匹配模 ±夬，遍历所有可能的相似度阀值，找到一个值T使得相似度大于T的钓鱼网页数量与相似度 小于T的钓鱼网页数量差值最大，T作为钓鱼网页相似度阀值；步骤5)对疑似钓鱼网页的检测过程对可疑网页采集布局特征；用可疑网页的特 征在空间数据库中查找相似的特征，并统计找到可疑网页在库中最相似的网页，计算它们 的相似度作为可疑网页与库的相似度；将待可疑网页的与库的相似度送入训练好的机器学 习匹配模块进行预测，预测所得结果作为本方法最终的钓鱼网站检测结果。有益效果由于基于网络拓扑采用面相站点分析手段，本专利技术具有以下一些特殊 优点和有益成果高准确率机器学习主要的评价指标为精度(precision)和召回率(recall)，在 钓鱼网站检测识别中，精度表示机器判断为钓鱼网页的所有页面中，确实是钓鱼网页的比 例，召回率表示所有钓鱼网页中被机器识别为钓鱼网页所占比例。显然精度和召回率越高 表示效果越好。经过实验证明，本专利技术提出的钓鱼网页检测采用我们提出的机器学习模型 进行机器学习以后检测精度和召回本文档来自技高网...

【技术保护点】
一种基于空间布局的钓鱼网页检测方法，其特征在于该方法由５个模块组成，其中最上层是用户界面模块，主要负责获取用户输入并将结果反馈回用户，中间是控制模块，负责调度所有功能模块完成钓鱼网站检测，最核心的是３个功能模块，即：布局特征抽取模块、空间数据库模块、机器学习匹配模块；其中布局特征抽取模块抽取块状网页布局特征，该布局特征在训练阶段送交空间数据库模块建立索引或进行查询，在钓鱼网页检测阶段该模块抽取的布局特征送至空间数据库模块查询相似特征；空间数据库模块在训练时期对数据特征建立空间以及测试网页与库的相似度送入机器学习匹配模块，遍历所有可能的相似度阀值，找到一个值Ｔ使得相似度大于Ｔ的钓鱼网页数量与相似度小于Ｔ的钓鱼网页数量差值最大，Ｔ作为钓鱼网页相似度阀值；步骤５）对疑似钓鱼网页的检测过程：对可疑网页采集布局特征；用可疑网页的特征在空间数据库中查找相似的特征，并统计找到可疑网页在库中最相似的网页，计算它们的相似度作为可疑网页与库的相似度；将待可疑网页的与库的相似度送入训练好的机器学习匹配模块进行预测，预测所得结果作为本方案最终的钓鱼网站检测结果。索引，在钓鱼网页检测阶段进行相似特征的快速查询，查询所得相似特征交给机器学习匹配模块进行识别；机器学习匹配模块在系统训练阶段接收特征提取模块传来的特征数据进行训练，优化网页相似性阀值的参数；在钓鱼网页检测阶段，接收特征提取模块传来的特征数据，与空间数据库中相似特征，计算网页之间的相似性，最后根据网页相似性阀值判断钓鱼网页；在钓鱼网页检测过程中通过浏览器内核解析网页源代码并提取空间布局特征，以此作为钓鱼网页检测的依据，并在特征库中结合空间数据库提高查询速度，具体实现步骤为：步骤１）训练阶段数据准备过程：采集至少１００个可能被钓鱼网页模仿的正规网站页面，并抽取出布局特征组织成样本数据；将所有样本数据的布局特征插入空间数据库；采集至少１００个钓鱼网站页面以及１００个普通网页，并抽取特征组织成测试数据；布局特征由以下四个数值属性组成：●ＤＯＭ节点的高度这里的高度表示浏览器引擎解析了网页的ＨＴＭＬ源代码，ｃｓｓ源代码以及ｊａｖａｓｃｒｉｐｔ源代码以后所得网页元素在垂直方向上象素点个数，●ＤＯＭ节点的宽度这里的宽度表示浏览器引擎解析了网页的ＨＴＭＬ源代码，ｃｓｓ源代码以及ｊａｖａｓｃｒｉｐｔ源代码以后所得网页元素在水平方向上象素点个数，●ＤＯＭ节点的Ｘ坐标设Ｗｅｂ浏览器显示区域最左上角的象...

【技术特征摘要】

【专利技术属性】
技术研发人员：张卫丰，贡亮，张迎周，周国强，许碧欢，陆柳敏，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：84[中国|南京]