一种分布式企业信息垂直搜索方法技术

本发明专利技术特别涉及一种分布式企业信息垂直搜索方法。该分布式企业信息垂直搜索方法，采用数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；通过数据索引模块对爬取的相关网页数据进行清洗，并建立索引；通过综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；通过用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。该分布式企业信息垂直搜索方法，是针对企业的专业搜索方法，是对通用搜索引擎的细分和延伸，解决了通用搜索引擎的信息量大、查询不准确、深度不够等问题，能够针对税务领域提供有特定价值的信息和相关服务。

【技术实现步骤摘要】

本专利技术涉及搜索引擎
，特别涉及。
技术介绍
垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。搜索引擎的出现，整合了众多网站信息，恰恰起到了信息导航的作用。通用搜索引擎就如同互联网第一次出现的门户网站一样，大量的信息整合导航，极快的查询，将所有网站上的信息整理在一个平台上供网民使用，于是信息的价值第一次普遍的被众多商家认可，迅速成为互联网中最有价值的领域。互联网的低谷由此演变为第二次高峰。大家熟知的几个搜索引擎是通用搜索引擎现如今的杰出代表，他们为互联网的发展做出了重要的贡献。然而，搜索引擎行业也不是一家公司就可以独撑天下的，如今的搜索引擎大战如同门户网站初期的竞争一样激烈。相信，通用搜索引擎在经历过一段时间的角逐后，也将会继续维持几大服务商各自分控一部分市场的局面。全球企业都对于大数据充满了积极的热情，以后的大数据将变得无处不在。但是从大数据的应用现状来看，无论是是技术、产品还是应用还有待提升。随着Web的快速增长，各种网站也越来越多，通用的传统搜索引擎技术也呈现出了严重局限性，用户如何才能快速，准确、全面的找到与企业相关的准确、全面的信息已经成为一个难题。针对通用搜索引擎的信息量大、查询不准确、深度不够等现有问题，本专利技术提出了，旨在对企业信息进行采集整理，为税务领域提供有特定价值的信息和相关服务。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种能够深入、准确查询的分布式企业?目息垂直搜索方法。本专利技术是通过如下技术方案实现的: ，其特征在于:包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。以税务部门提供的相关纳税人为关键词，所述数据采集模块使用网络爬虫到各搜索引擎百科、招聘网、企业官网、新闻网站、股市信息网站等可能包含与纳税人相关信息的网站爬取相关网页，并将网页源文件保存到hbase数据库中。所述数据采集模块还为每个数据来源网站建立适用的下载更新策略，启动定时更新任务，能够保证网页信息的实时性。hbase分布式数据库可以保证各种类型数据无损失保存，并可根据需求进行横向扩展。所述数据索引模块，对所述网页源文件进行去重、正文提取、分类、解析等清洗、处理工作，并将处理结果信息存储hbase数据库中，同时还要为网页数据及相关类别、行业信息建立全文索引文件。所述数据索引模块网页去重、分类采用自然语言处理中的文本相似性算法进行处理，正文提取采用基于DOM树和文字-链接比以及各种过滤器实现，解析处理采用隐马尔科夫实体词识别等机器学习技术实现。所述数据索引模块采用Solr Cloud建立分布式索引服务体系，使用solr的客户端开发API对网页源数据进行读取、格式化并提交给索引服务器建立索引文件。Solr Cloud具有集中式的配置信息、自动容错、近实时搜索、查询时自动负载均衡、通过MR批量创建索引等优势。所述综合搜索模块查询后返回符合条件的所有网页，并按相关企业，新闻动态，股市行情，相关政策法规4个类别进行分类显示标题，标题链接具体内容。所述企业搜索模块查询后返回符合条件的企业，按照所属行业，从业人数，区域进行搜索结果过滤，并按照综合排名，搜索量，开业日期，关注量进行排序。进入企业链接，可以查看该企业概况、企业联系方式、股市信息、企业动态、采购信息、招投标信息、产品信息、行业动态、招聘信息以及企业关系网信息。本专利技术的有益效果是:该分布式企业信息垂直搜索方法，是针对企业的专业搜索方法，是对通用搜索引擎的细分和延伸，解决了通用搜索引擎的信息量大、查询不准确、深度不够等问题，能够针对税务领域提供有特定价值的信息和相关服务。【附图说明】附图1为本专利技术分布式企业信息垂直搜索方法逻辑流程示意图。【具体实施方式】下面结合附图对本专利技术进行详细说明。该分布式企业信息垂直搜索方法，包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。以税务部门提供的相关纳税人为关键词，所述数据采集模块使用网络爬虫到各搜索引擎百科、招聘网、企业官网、新闻网站、股市信息网站等可能包含与纳税人相关信息的网站爬取相关网页，并将网页源文件保存到hbase数据库中。所述数据采集模块还为每个数据来源网站建立适用的下载更新策略，启动定时更新任务，能够保证网页信息的实时性。hbase分布式数据库可以保证各种类型数据无损失保存，并可根据需求进行横向扩展。所述数据索引模块，对所述网页源文件进行去重、正文提取、分类、解析等清洗、处理工作，并将处理结果信息存储hbase数据库中，同时还要为网页数据及相关类别、行业信息建立全文索引文件。所述数据索引模块网页去重、分类采用自然语言处理中的文本相似性算法进行处理，正文提取采用基于DOM树和文字-链接比以及各种过滤器实现，解析处理采用隐马尔科夫实体词识别等机器学习技术实现。所述数据索引模块采用Solr Cloud建立分布式索引服务体系，使用solr的客户端开发API对网页源数据进行读取、格式化并提交给索引服务器建立索引文件。Solr Cloud具有集中式的配置信息、自动容错、近实时搜索、查询时自动负载均衡、通过MR批量创建索引等优势。所述综合搜索模块查询后返回符合条件的所有网页，并按相关企业，新闻动态，股市行情，相关政策法规4个类别进行分类显示标题，标题链接具体内容。所述企业搜索模块查询后返回符合条件的企业，按照所属行业，从业人数，区域进行搜索结果过滤，并按照综合排名，搜索量，开业日期，关注量进行排序。进入企业链接，可以查看该企业概况、企业联系方式、股市信息、企业动态、采购信息、招投标信息、产品信息、行业动态、招聘信息以及企业关系网信息。【主权项】1.，其特征在于:包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给sol本文档来自技高网...

【技术保护点】
一种分布式企业信息垂直搜索方法，其特征在于：包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。

【技术特征摘要】

【专利技术属性】
技术研发人员：范莹，于治楼，
申请(专利权)人：浪潮集团有限公司，
类型：发明
国别省市：山东;37