一种网页信息提取方法及系统、电子设备技术方案

本发明专利技术公开一种网页信息提取方法及系统、电子设备，该方法通过前置预处理过程对目标网页进行处理，获得处理后的目标网页及相应的字段提取规则，生成字段提取规则库，再进一步基于所述字段提取规则库从目标网页中提取对应的字段信息。本发明专利技术还公开一种网页信息提取系统，基于本发明专利技术公开的方法和系统解决了传统人工定制字段提取规则的效率低下的缺陷，也解决了利用现有开源工具包提取网页信息的正确率低稳定性差等问题，在降低人力成本和资源成本的同时,提高了字段信息提取的准确率和稳定性，因此具有明显的技术优势和技术效果。

【技术实现步骤摘要】
一种网页信息提取方法及系统、电子设备
本专利技术涉及数据分析领域，特别涉及一种网页信息提取方法及系统、电子设备。
技术介绍
在大数据时代，网络爬虫是从互联网上采集数据的有利工具，网络爬虫需要爬取相关的上百上千个站点网页以获得与主题有关的信息，比如标题、时间、来源、内容、作者等内容，而鉴于网页开发技术和样式设计的多样化，传统的解决方案是对每一个站点都要定制化提取代码和提取规则。这种解决方案的优势是字段提取的正确率非常高，但明显的缺点是由于网页样式的多样化，同时该方案严重依赖网页结构的稳定性，网页结构的调整就会导致其提取代码和规则也要做相应调整，因此采用该解决方案不具有通用性，开发成本高且持续性和稳定性较差。为了提高效率，另一种现有的技术方案是利用第三方开源的爬虫开发包，例如newspaper，newspaper是一个开源的Python类库，可用于网站内容的提取。利用类似newspaper这样的第三方开源类库进行网页内容的提取，虽然能提高效率，但是由于第三方开源库的框架不够稳定，爬取过程中会有各种bug，且正确率偏低，例如获取不到关键的url、字段信息等，因此难以直接商用，另外第三方开源库的默认的功能复杂，不适用于通用的需求，直接使用会有耗费更多的时间，资源占用过高等缺陷。
技术实现思路
本专利技术的目的在于克服现有技术中存在的上述不足，提供一种网页信息提取方法及系统，用于解决现有网页信息提取过程中，利用定制提取规则出现的人力成本消耗过大、或者利用第三方开源库出现的提取结果不稳定、系统资源占用过高等技术缺陷。为达到上述目的，一种网页信息提取方法，通过前置预处理过程对目标网页进行处理，获得处理后的目标网页及相应的字段提取规则，生成字段提取规则库，再进一步基于所述字段提取规则库从目标网页中提取对应的字段信息。本方案采用前置预处理确定字段提取规则，提高了字段提取规则的效率，同时具有较好的适应性和可扩展性，降低了人力成本。具体的，所述方法包括以下步骤：步骤S1：接收目标网页，对所述目标网页原文进行前置预处理，获取处理后的目标网页和字段提取规则，进一步生成字段提取规则库；步骤S2：基于所述字段提取规则库，读入处理后的目标网页，获得对应的字段信息；步骤S3：对获取的字段信息进行正确性验证。进一步的，步骤S1中所述的前置预处理具体包括以下实现步骤：步骤S1-1:对所述目标网页原文进行清洗，去除干扰信息，获得清洗后的目标网页；步骤S1-2：基于清洗后的目标网页建立网页样本，学习所述网页样本，获得字段提取规则。在本方案中，通过前置预处理阶段，对网页原文进行清洗，去除干扰信息，能进一步提高字段信息提取的效率和准确率。进一步的，所述字段提取规则的格式为正则表达式。进一步的，所述的干扰信息包括注释、脚本代码、预定义的文本。所述步骤S1-2中获得字段提取规则的步骤具体包含以下实现步骤：从所述目标网页中随机选取部分网页作为网页样本，根据所述网页样本获取字段信息，验证获得的字段信息的正确性；如果字段信息出错，则获取对应的字段提取规则，并提交修改所述字段提取规则的请求；接收并替换修改后的字段提取规则。本方案通过在正式提取信息之前，先对网页样本进行初步的信息获取和正确性验证，对出现的错误规则进行修改和纠正，可以进一步提高后续目标网站网页字段信息获取的正确性和效率。进一步的，所述步骤S2包含以下实现步骤：步骤S2-1：读入目标网页，解析出所述目标网页的头部分和正文部分；步骤S2-2：从所述目标网页的头部分中获取meta标签中的元信息；步骤S2-3：从所述目标网页的头部分中获取概况相关的字段信息，所述概况包括标题、来源、时间信息；步骤S2-4：从所述目标网页的正文部分中获取字段信息；步骤S2-5：基于上述步骤S2-2中获得的元信息，对步骤S2-3和步骤S2-4中获得的字段信息进行优化补充。该方案通过读入网页的元信息，作为备份信息，对步骤S2-3和步骤S2-4中获得的字段信息进行优化，进一步提高字段信息提取的正确性。进一步的，在所述的步骤S3中，包括对获得的字段信息进行清洗，去除干扰信息，所述干扰信息包括注释信息、样式标签、预定义的文本。该方案增加了字段信息清洗的步骤，进一步提高字段信息获取的准确性。进一步的，在所述的步骤S3中，还包括检测所述获得的字段信息，判断是否符合字段提取规则。该方案增加了字段输出前进一步自动判断其格式是否符合规则，进一步提高字段信息获取的有效性。基于同样的专利技术构思，本专利技术第二方面公开一种网站字段通用提取系统，所述系统具体包括：A：前置处理模块：用于在字段信息提取之前，对目标网站页面进行前置处理，具体包括：A01：规则确定模块：用于学习网站页面的元素，获取网页的字段提取规则，将所述字段提取规则保存到字段提取规则库；A02：第一清洗模块，所述第一清洗模块用于对网站页面原文或字段信息进行清洗，去除干扰信息；B：字段信息提取模块：用于根据所述字段提取规则库，读取网站页面的内容，分割页面内容，得到字段提取规则相关的字段信息，并对获取的字段信息进行初步正确性验证；C：字段提取规则库，所述字段提取规则库包括多条字段提取规则，用于存储所述规则确定模块获取的的字段提取规则。进一步的，所述系统还包括输出处理模块，所述输出处理模块用于对提取的字段信息进行优化和正确性验证，具体包括：第二清洗模块：用于对提取的字段信息进行清洗，去除干扰信息；检测验证模块：用于检测所述获得的字段信息，判断是否符合字段提取规则。基于同样的专利技术构思，本专利技术还提供一种电子设备，其特征在于，所述设备包括处理器以及存储器，所述存储器用于存储可执行程序；所述处理器用于执行所述可执行程序以实现上述网页信息提取方法。本专利技术中公开的上述一个或多个技术方案，与现有技术相比，具有如下明显的技术优势和技术效果：1）基于本专利技术公开的方法解决了传统人工定制提取字段的效率低下的缺陷，降低了人力成本,提高字段信息提取的效率；2）本方案具有通用性，可以用于解决多样式网页字段提取的问题，避免针对不同网页必须有一套单独的与之相匹配的规则，从而简化了提取工作，降低后续网页改版而带来的维护成本；3）本方案借鉴第三方开源库的优点，同时对功能和流程进行优化和裁剪，提高了效率，降低资源占用，节约了资源成本；4）本方案通过增加前置处理过程和优化验证过程，避免了错误数据的入库对数据后续的使用带来的干扰，提高了字段信息提取的准确度。综上，基于本专利技术公开的方法和系统，不仅降低了人力成本和资源成本，还同时提高提取效率和提取的准确度，因此具有明显的技术优势和技术效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种网页信息提取方法，其特征是，通过前置预处理过程对目标网页进行处理，获得处理后的目标网页及相应的字段提取规则，生成字段提取规则库，再进一步基于所述字段提取规则库从目标网页中提取对应的字段信息。/n

【技术特征摘要】
1.一种网页信息提取方法，其特征是，通过前置预处理过程对目标网页进行处理，获得处理后的目标网页及相应的字段提取规则，生成字段提取规则库，再进一步基于所述字段提取规则库从目标网页中提取对应的字段信息。


2.如权利要求1中所述的网页信息提取方法，其特征是，包括以下步骤：
步骤S1：接收目标网页，对所述目标网页原文进行前置预处理，获取处理后的目标网页和字段提取规则，进一步生成字段提取规则库；
步骤S2：基于所述字段提取规则库，读入处理后的目标网页，获得对应的字段信息；
步骤S3：对获取的字段信息进行正确性验证。


3.如权利要求2中所述的网页信息提取方法，其特征是，步骤S1中所述的前置预处理具体包括以下实现步骤：
步骤S1-1:对所述目标网页原文进行清洗，去除干扰信息，获得清洗后的目标网页；
步骤S1-2：基于清洗后的目标网页建立网页样本，学习所述网页样本，获得字段提取规则。


4.如权利要求2中所述的网页信息提取方法，其特征是，所述字段提取规则的格式为正则表达式。


5.如权利要求3中所述的网页信息提取方法，其特征是，所述的干扰信息包括注释、脚本代码、预定义的文本。


6.如权利要求3中所述的网页信息提取方法，其特征是，所述步骤S1-2中获得字段提取规则的步骤具体包含以下实现步骤：
从所述目标网页中随机选取部分网页作为网页样本，根据所述网页样本获取字段信息，验证获得的字段信息的正确性；
如果字段信息出错，则获取对应的字段提取规则，并提交修改所述字段提取规则的请求；
接收并替换修改后的字段提取规则。


7.如权利要求3中所述的网页信息提取方法，其特征是，所述的步骤S2中，具体包括以下实现步骤：
步骤S2-1：读入目标网页，解析出所述目标网页的头部分和正文部分；
步骤S2-2：从所述目标网页的头部分中获取meta标签中的元信息；
步骤S2-3：从所述目标网...

【专利技术属性】
技术研发人员：何莹瑜，丁明会，许杰，吴桐，
申请(专利权)人：成都数联铭品科技有限公司，
类型：发明
国别省市：四川;51