索引数据生成方法、信息检索方法、装置及计算机系统制造方法及图纸

技术编号:34998253 阅读:41 留言:0更新日期:2022-09-21 14:47
本公开提供了一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品,可用于大数据、信息安全技术领域或其他领域。其中,索引数据生成方法包括:响应于接收到根据配置文件确定的第一目标数据,将第一目标数据写入分布式全文搜索服务器单元,记录写入结果;响应于检测到表征写入过程失败的目标写入结果,将与目标写入结果相对应的目标配置文件写入消息队列重试模块;响应于确定消息队列重试模块接收到目标配置文件,根据目标配置文件,确定第二目标数据;将第二目标数据写入分布式全文搜索服务器单元;以及根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据,确定索引数据。确定索引数据。确定索引数据。

【技术实现步骤摘要】
索引数据生成方法、信息检索方法、装置及计算机系统


[0001]本公开涉及大数据、信息安全
,更具体地,涉及一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着大数据技术的发展,数据检索被越来越多地应用于工农业生产、建筑、物流、和日常生活等诸多领域。数据检索是将经过选择、整理和评价的数据存入某种载体中,并根据用户需要从某种数据集合中检索出能回答问题的准确数据过程或技术。
[0003]索引是为了加速对表中数据行的检索而创建的一种分散的存储结构。索引是针对表而建立的,它是由数据页面以外的索引页面组成的,每个索引页面中的行都会含有逻辑指针,以便加速检索物理数据。
[0004]在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题,数据检索效率不高。

技术实现思路

[0005]有鉴于此,本公开提供了一种索引数据生成方法、信息检索方法、装置、计算机系统、计算机可读存储介质和计算机程序产品。
[0006]本公开的一个方面提供了一种索引数据生成方法,包括:响应于接收到根据配置文件确定的第一目标数据,将所述第一目标数据写入分布式全文搜索服务器单元,记录写入结果;响应于检测到表征将所述第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果,将与所述目标写入结果相对应的目标配置文件写入消息队列重试模块;响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据;将所述第二目标数据写入所述分布式全文搜索服务器单元;以及根据写入所述分布式全文搜索服务器单元的第一目标数据和第二目标数据,确定索引数据。
[0007]本公开的一个方面提供了一种信息检索方法,包括:获取目标检索词;以及基于索引数据,对所述目标检索词进行检索,得到检索结果;其中,所述索引数据是根据本公开所述的所以数据生成方法确定的。
[0008]本公开的另一个方面提供了一种索引数据生成装置,包括:第一写入模块,用于响应于接收到根据配置文件确定的第一目标数据,将所述第一目标数据写入分布式全文搜索服务器单元,记录写入结果;第二写入模块,用于响应于检测到表征将所述第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果,将与所述目标写入结果相对应的目标配置文件写入消息队列重试模块;第一确定模块,用于响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据;第三写入模块,用于将所述第二目标数据写入所述分布式全文搜索服务器单元;以及第二确定模块,用于根据写入所述分布式全文搜索服务器单元的第一目标数据和第二目标数据,确定索引数据。
[0009]本公开的一个方面提供了一种信息检索装置,包括:信息检索装置,包括:获取模块,用于获取目标检索词;以及检索模块,用于基于索引数据,对所述目标检索词进行检索,得到检索结果;其中,所述索引数据是根据本公开所述的所以数据生成装置确定的。
[0010]本公开的另一方面提供了一种计算机系统,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现根据本公开所述的索引数据生成方法和信息检索方法。
[0011]本公开的另一方面提供了一种计算机可读存储介质,其上存储有计算机可执行指令,所述指令在被执行时用于实现根据本公开所述的索引数据生成方法和信息检索方法。
[0012]本公开的另一方面提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现根据本公开所述的索引数据生成方法和信息检索方法。
[0013]根据本公开的实施例,通过采用了响应于接收到根据配置文件确定的第一目标数据,将第一目标数据写入分布式全文搜索服务器单元,记录写入结果;响应于检测到表征写入过程失败的目标写入结果,将与目标写入结果相对应的目标配置文件写入消息队列重试模块;响应于确定消息队列重试模块接收到目标配置文件,根据目标配置文件,确定第二目标数据;将第二目标数据写入分布式全文搜索服务器单元;以及根据写入分布式全文搜索服务器单元的第一目标数据和第二目标数据,确定索引数据的技术手段,由于能够及时处理写入失败的第一目标数据,可以有效提高数据实时写入的效率,所以至少部分地克服了检索效率低的技术问题,进而达到了提高检索效率的技术效果。
附图说明
[0014]通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
[0015]图1示意性示出了根据本公开实施例的可以应用索引数据生成方法和信息检索方法的示例性系统架构;
[0016]图2示意性示出了根据本公开实施例的索引数据生成方法的流程图;
[0017]图3示意性示出了根据本公开实施例的基于综合智能搜索引擎系统生成检索数据的流程图;
[0018]图4示意性示出了根据本公开实施例的信息检索方法的流程图;
[0019]图5示意性示出了根据本公开实施例的具有生成索引数据以及信息检索功能的综合智能搜索引擎系统的结构图;
[0020]图6示意性示出了根据本公开的实施例的索引数据生成装置的框图;
[0021]图7示意性示出了根据本公开的实施例的信息检索装置的框图;以及
[0022]图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
[0023]以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细
节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
[0024]在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0025]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
[0026]在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种索引数据生成方法,包括:响应于接收到根据配置文件确定的第一目标数据,将所述第一目标数据写入分布式全文搜索服务器单元,记录写入结果;响应于检测到表征将所述第一目标数据写入分布式全文搜索服务器单元的过程失败的目标写入结果,将与所述目标写入结果相对应的目标配置文件写入消息队列重试模块;响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据;将所述第二目标数据写入所述分布式全文搜索服务器单元;以及根据写入所述分布式全文搜索服务器单元的第一目标数据和第二目标数据,确定索引数据。2.根据权利要求1所述的方法,其中,所述目标配置文件包括配置有预定文件名和预定字段信息的配置子文件以及与所述预定文件名相关的数据子文件,所述消息队列重试模块包括消息处理系统单元和消费者应用单元;所述响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据包括:通过所述消息处理系统单元,将所述配置子文件以及与所述配置子文件相关的数据子文件作为一个任务,写入所述消费者应用单元;以及根据所述配置子文件,通过所述消费者应用单元,从与所述配置子文件相关的数据子文件中获得所述第二目标数据。3.根据权利要求1所述的方法,其中,所述目标配置文件包括与要访问的目标数据库相关的访问接口信息、访问用户信息以及检索语句信息其中至少之一,所述消息队列重试模块包括消息处理系统单元和消费者应用单元;所述响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据包括:通过所述消息处理系统单元,将所述访问接口信息、访问用户信息以及检索语句信息其中至少之一作为一个任务,写入所述消费者应用单元;以及根据所述访问接口信息、访问用户信息以及检索语句信息其中至少之一,通过所述消费者应用单元,从所述目标数据库中获得所述第二目标数据。4.根据权利要求1所述的方法,其中,所述响应于确定所述消息队列重试模块接收到所述目标配置文件,根据所述目标配置文件,确定第二目标数据包括:在确定所述消息队列重试模块接收到所述目标配置文件的情况下,响应于接收到针对所述消息队列重试模块中已写入的目标配置文件的修改操作,根据修改后的目标配置文件,确定第二目标数据。5.根据权利要求1所述的方法,其中,所述响应于接收到根据配置文件确定的第一目标数据,将所述第一目标数据写入分布式全文搜索服务器单元,记录写入结果包括:响应于接收到所述配置文件,通过多线程数据处...

【专利技术属性】
技术研发人员:杨冰彦干志勤
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1