多服务器索引的构建方法及装置制造方法及图纸

本发明专利技术公开一种多服务器索引的构建方法及装置，其中，该多服务器索引的构建方法包括如下步骤：接收知识索引构建请求，并对接收的知识索引构建请求进行记录；根据服务器配置的标识提取对应的构建服务，其中，所述构建服务中包含有构建请求；对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及根据索引构建操作的结果生成对应的索引文件。本发明专利技术的技术方案能够提高多服务器索引的构建效率，提高索引构建的可靠性。

【技术实现步骤摘要】

本专利技术涉及一种文件检索
，尤其涉及一种多服务器索引的构建方法及装置。
技术介绍
全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。一般来说，全文检索需要具备建立索引和提供查询的基本功能，此外现代的全文检索系统还需要具有方便的用户接口、面向WWW的开发接口、二次应用开发接口等等。功能上，全文检索系统核心具有建立索引、处理查询返回结果集、增加索引、优化索引结构等等功能，外围则由各种不同应用具有的功能组成。结构上，全文检索系统核心具有索引引擎、查询引擎、文本分析引擎、对外接口等等，加上各种外围应用系统等等共同构成了全文检索系统。最常用的全文搜索引擎有百度、谷歌(Google)等。传统的检测系统中只部署于一台服务器，在一台服务器上生成索引检索索引，一切功能使用正常。后来为承载更大的访问压力，该检测系统采用多服务器负载部署。各服务器上的索引还是在一台服务器上生成，然后通过手工去拷贝到其它服务器。上述的检索系统，每当索引内容变更了就要手工拷贝，如此，加重了现场人员的工作量，而且内容变动是随时进行的，手工拷贝无法跟上，搜索的内容延迟较大。为解决手工拷贝的问题，上述的系统还配置NFS共享，虽然不用人为去拷贝，但是经常出来NFS服务卡死，导致搜索功能完全无法使用。有鉴于此，有必要对上述的多服务器的索引构建方案进行进一步的改进。
技术实现思路
本专利技术的主要目的是提供一种多服务器索引的构建方法，能够提高多服务器索引的构建效率，提高索引构建的可靠性。为实现上述目的，本专利技术采用的一个技术方案为：提供一种多服务器索引的构建方法，包括如下步骤：接收知识索引构建请求，并对接收的知识索引构建请求进行记录；根据服务器配置的标识提取对应的构建服务，其中，所述构建服务中包含有构建请求；对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及根据索引构建操作的结果生成对应的索引文件。优选地，所述接收知识索引构建请求，并对接收的知识索引构建请求进行记录的步骤，具体包括：选择设定数量的服务器；接收内网用户发送的知识索引构建请求，其中，所述知识索引构建请求包括添加、删除、修改以及全量重生成的索引构建请求；对接收的知识索引构建请求进行记录，以及将记录的知识索引构建请求导入数据库中。优选地，所述对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作的步骤，具体包括：对提取的构建服务进行分类处理，形成与知识索引构建请求对应的构建任务，所述构建任务包括添加、删除、修改以及全量重生成的索引构建任务；根据构建任务进行对应的添加、删除、修改以及全量重生成操作。优选地，所述根据构建任务进行对应的添加、删除、修改以及全量重生成操作的步骤中，所述根据添加的构建任务的操作具体包括：根据添加任务列表分批从数据库中提取知识信息并缓存；利用正则表达式去除内容中的HTML标记、空格、换行符，得到有效数据；将有效数据封装成Document,并设置对应的权重和索引列；根据Document及其权重及索引列，调用全文搜索引擎的mommit生成索引。优选地，所述根据构建任务进行对应的添加、删除、修改以及全量重生成操作的步骤中，所述根据全量重生成的构建任务的操作具体包括：创建一个临时目录；根据临时目录生成全量索引；将生成的全量索引替换服务器内的原始索引，并删除临时目录。为实现上述目的，本专利技术采用的另一个技术方案为：提供一种多服务器索引的构建装置，包括：接收模块，用于接收知识索引构建请求，并对接收的知识索引构建请求进行记录；提取模块，用于根据配置的标识提取对应的构建服务，其中，所述构建服务中包含有构建请求；分类构建模块，用于对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及生成模块，用于根据索引构建操作的结果生成对应的索引文件。优选地，所述接收模块，具体包括：选择单元，用于选择设定数量的服务器；接收单元，用于接收内网用户发送的知识索引构建请求，其中，所述知识索引构建请求包括添加、删除、修改以及全量重生成的索引构建请求；记录单元，用于对接收的知识索引构建请求进行记录，以及导入单元，用于将记录的知识索引构建请求导入数据库中。优选地，所述分类构建模块，具体用于：对提取的构建服务进行分类处理，形成与知识索引构建请求对应的构建任务，所述构建任务包括添加、删除、修改以及全量重生成的索引构建任务；根据构建任务进行对应的添加、删除、修改以及全量重生成操作。优选地，所述分类构建模块，还用于：根据添加任务列表分批从数据库中提取知识信息并缓存；利用正则表达式去除内容中的HTML标记、空格、换行符，得到有效数据；将有效数据封装成Document,并设置对应的权重和索引列；根据Document及其权重及索引列，调用全文搜索引擎的mommit生成索引。优选地，所述分类构建模块，还用于：创建一个临时目录；根据临时目录生成全量索引；将生成的全量索引替换服务器内的原始索引，并删除临时目录。本专利技术的技术方案主要包括如下步骤：接收知识索引构建请求，并对接收的知识索引构建请求进行记录；根据配置的标识提取对应的构建服务；对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及根据索引构建操作的结果生成对应的索引文件，通过各服务器配置的标识能够提取对应的索引请求，然后对索引请求进行分类，构建不同的任务后，在对应的物理机上生成对应的索引文件，无需拷贝，就可以对服务器的索引进行更新操作，能够提高多服务器索引的构建效率，提高索引构建的可靠性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术一实施例多服务器索引的构建方法的方法流程图；图2为图1中步骤S10的具体方法流程图；图3为本专利技术一实施例多服务器索引的构建装置的模块方框图；图4为图3中接收模块的模块方框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。请参照图1，在本专利技术实施例中，该多服务器索引的构建方法，包括如下步骤：步骤S10、接收知识索引构建请求，并对接收的知识索引构建请求进行记录；该知识索引构建请求由本文档来自技高网...

【技术保护点】
一种多服务器索引的构建方法，其特征在于，所述多服务器索引的构建方法包括如下步骤：接收知识索引构建请求，并对接收的知识索引构建请求进行记录；根据服务器配置的标识提取对应的构建服务，其中，所述构建服务中包含有构建请求；对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及根据索引构建操作的结果生成对应的索引文件。

【技术特征摘要】
1.一种多服务器索引的构建方法，其特征在于，所述多服务器索引的构建方法包括如下步骤：接收知识索引构建请求，并对接收的知识索引构建请求进行记录；根据服务器配置的标识提取对应的构建服务，其中，所述构建服务中包含有构建请求；对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作，以及根据索引构建操作的结果生成对应的索引文件。2.如权利要求1所述的多服务器索引的构建方法，其特征在于，所述接收知识索引构建请求，并对接收的知识索引构建请求进行记录的步骤，具体包括：选择设定数量的服务器；接收内网用户发送的知识索引构建请求，其中，所述知识索引构建请求包括添加、删除、修改以及全量重生成的索引构建请求；对接收的知识索引构建请求进行记录，以及将记录的知识索引构建请求导入数据库中。3.如权利要求2所述的多服务器索引的构建方法，其特征在于，所述对构建服务进行分类处理，形成不同的构建任务，并根据构建任务进行相应的索引构建操作的步骤，具体包括：对提取的构建服务进行分类处理，形成与知识索引构建请求对应的构建任务，所述构建任务包括添加、删除、修改以及全量重生成的索引构建任务；根据构建任务进行对应的添加、删除、修改以及全量重生成操作。4.如权利要求3所述的多服务器索引的构建方法，其特征在于，所述根据构建任务进行对应的添加、删除、修改以及全量重生成操作的步骤中，所述根据添加的构建任务的操作具体包括：根据添加任务列表分批从数据库中提取知识信息并缓存；利用正则表达式去除内容中的HTML标记、空格、换行符，得到有效数据；将有效数据封装成Document,并设置对应的权重和索引列；根据Document及其权重及索引列，调用全文搜索引擎的mommit生成索引。5.如权利要求3所述的多服务器索引的构建方法，其特征在于，所述根据构建任务进行对应的添加、删除、修改以及全量重生成操作的步骤中，所述根据全量重生成的构建任务的操作具体包括：创建一...

【专利技术属性】
技术研发人员：詹伟胜，华德锋，柯国明，刘昌卿，王明鹏，
申请(专利权)人：广东亿迅科技有限公司，
类型：发明
国别省市：广东;44