一种数据搜索的方法及装置制造方法及图纸

技术编号:10724907 阅读:69 留言:0更新日期:2014-12-04 01:50
本发明专利技术公开了一种数据搜索的方法及装置,用以减少搜索所用时长,提高搜索效率。所述方法包括:将数据分块存储到至少两个设备的存储介质中;接收到搜索任务后,将所述搜索任务发送给所述至少两个设备;指示所述至少两个设备分别对各自存储介质中的数据进行搜索。本发明专利技术能够对数据进行并行搜索操作,实现了负载均衡,提高搜索速度,减少搜索所用时长。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种数据搜索的方法及装置,用以减少搜索所用时长,提高搜索效率。所述方法包括:将数据分块存储到至少两个设备的存储介质中;接收到搜索任务后,将所述搜索任务发送给所述至少两个设备;指示所述至少两个设备分别对各自存储介质中的数据进行搜索。本专利技术能够对数据进行并行搜索操作,实现了负载均衡,提高搜索速度,减少搜索所用时长。【专利说明】一种数据搜索的方法及装置
本专利技术涉及计算机
,特别涉及一种数据搜索的方法及装置。
技术介绍
在现有技术中,进行搜索时,在存储空间中采用串行操作的方式进行搜索。例如,在该1000条数据中进行搜索时,将1000条数据逐一与输入的关键字进行匹配,搜索出结果。如此操作,在数据条数数量很大的情况下,使得搜索所用时间过长,搜索效率较低。
技术实现思路
本专利技术提供一种数据搜索的方法及装置,用以减少搜索所用时长,提高搜索效率。 本专利技术提供一种数据搜索的方法,其特征在于,包括: 将数据分块存储到至少两个设备的存储介质中; 接收到搜索任务后,将所述搜索任务发送给所述至少两个设备; 指示所述至少两个设备分别对各自存储介质中的数据进行搜索。 其中,所述将数据分块存储到至少两个设备的存储介质中具体包括: 将数据进行编号; 利用编号将数据分块存储到所述至少两个设备的存储介质中。 其中,所述方法还包括: 对于所述至少两个设备中各个设备,根据所述设备的内核的数量对所述设备的存储介质进行分区; 所述将数据分块存储到至少两个设备的存储介质中具体包括: 将所述数据分块存储到所述至少两个设备的存储介质的分区中。 其中,所述方法还包括: 对于所述至少两个设备中各个设备,将所述设备的存储介质的分区与所述设备的内核相关联; 所述指示所述至少两个设备分别对各自存储介质中的数据进行搜索具体包括: 指示所述至少两个设备分别将所述搜索任务分配给各自的内核,调用内核对存储介质中与所述内核关联的分区中数据进行搜索。 其中,所述将所述设备的存储介质的分区与所述设备的内核相关联具体包括: 对于所述设备的各个内核,根据所述内核的处理速度将所述设备的存储介质的分区与所述设备的内核相关联; 所述内核的处理速度与关联的存储介质的分区的大小成正比。 本专利技术还公开了一种数据搜索的装置,包括: 数据存储模块,用于将数据分块存储到至少两个设备的存储介质中; 任务发送模块,用于接收到搜索任务后,将所述搜索任务发送给所述至少两个设备; 搜索指示模块,用于指示所述至少两个设备分别对各自存储介质中的数据进行搜索。 其中,所述数据存储模块具体包括: 编号子模块,用于将数据进行编号; 存储子模块,用于利用编号将数据分块存储到所述至少两个设备的存储介质中。 其中,所述装置还包括: 存储分区模块,用于对于所述至少两个设备中各个设备,根据所述设备的内核的数量对所述设备的存储介质进行分区; 所述数据存储模块具体用于将所述数据分块存储到所述至少两个设备的存储介质的分区中。 其中,所述装置还包括: 内核关联模块,用于对于所述至少两个设备中各个设备,将所述设备的存储介质的分区与所述设备的内核相关联; 所述搜索指示模块具体用于指示所述至少两个设备分别将所述搜索任务分配给各自的内核,调用内核对存储介质中与所述内核关联的分区中数据进行搜索。 其中,所述内核关联模块具体用于对于所述设备的各个内核,根据所述内核的处理速度将所述设备的存储介质的分区与所述设备的内核相关联; 所述内核的处理速度与关联的存储介质的分区的大小成正比。 本专利技术的有益效果在于:将数据分块存储到至少两个设备的存储介质中,接收到搜索任务后,将搜索任务发送给至少两个设备,指示至少两个设备分别对各自存储介质中的数据进行搜索;如此能够对数据进行并行搜索操作,实现了负载均衡,提高搜索速度,减少搜索所用时长。 本专利技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。 下面通过附图和实施例,对本专利技术的技术方案做进一步的详细描述。 【专利附图】【附图说明】 附图用来提供对本专利技术的进一步理解,并且构成说明书的一部分,与本专利技术的实施例一起用于解释本专利技术,并不构成对本专利技术的限制。在附图中: 图1为本专利技术一实施例中数据搜索的方法的流程图; 图2为本专利技术另一实施例中数据搜索的方法的流程图; 图3为本专利技术实施例一中数据搜索的方法的流程图; 图4为本专利技术一实施例中数据搜索的装置的框图; 图5为本专利技术另一实施例中数据搜索的装置的框图; 图6为本专利技术另一实施例中数据搜索的装置的框图。 【具体实施方式】 以下结合附图对本专利技术的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本专利技术,并不用于限定本专利技术。 图1为本专利技术一实施例中数据搜索的方法。该方法包括如下步骤: 在步骤SlOl中、将数据分块存储到至少两个设备的存储介质中。 在一【具体实施方式】中,步骤SlOl可实施为:将数据进行编号;利用编号将数据分块存储到至少两个设备的存储介质中。 举例而言,将数据进行编号,对编号进行哈希运算,采用key-value (键值对)的方式存储数据。 如此存储,使得数据编号与数据存储地址一一对应,能够方便查找数据,进一步提高搜索速度。 在步骤S102中、接收到搜索任务后,将搜索任务发送给至少两个设备。 举例而言,利用两个物理设备A和B进行存储,将数据分成两部分,一部分存储到物理设备A的存储介质中,另一部分存储到物理设备B的存储介质中。在步骤S102中,接收到搜索任务后,将搜索任务发送给物理设备A和物理设备B。例如,接收到输入的用于搜索的关键字,将关键字发送给物理设备A和物理设备B。 在步骤S103中、指示至少两个设备分别对各自存储介质中的数据进行搜索。 举例而言,指示物理设备A和物理设备B分别对各自存储介质中的数据进行搜索。 本专利技术的实施例的有益效果在于:将数据分块存储到至少两个设备的存储介质中,接收到搜索任务后,将搜索任务发送给至少两个设备,指示至少两个设备分别对各自存储介质中的数据进行搜索;如此能够对数据进行并行搜索操作,提高搜索数据,减少搜索所用时长。 图2为本专利技术另一实施例中数据搜索的方法,该方法包括如下步骤: 在步骤S201中、对于至少两个设备中各个设备,根据设备的内核的数量对设备的存储介质进行分区。 在一【具体实施方式】中,将设备的存储介质划分出与设备的内核数量相同的分区。如此,便于将分区与内核对应。该实施方式仅为示例性说明,步骤S201的实施方式不限于此。例如,可以将设备的存储介质划分出比设备的内核数量多的分区。 举例而言,利用两个物理设备A和B进行存储,物理设备A中具有2个内核,分为为内核Al和内核A2,物理设备B中具有3个内核,分为为内核B1、内核B2和内核B3。对于物理设备A,将物理设备A的存储介质划分为2个分区;对于物理设备B,将物理设备B的存储介质划分为4个分区。 在步骤S202中、对于至少两个本文档来自技高网...

【技术保护点】
一种数据搜索的方法,其特征在于,包括:将数据分块存储到至少两个设备的存储介质中;接收到搜索任务后,将所述搜索任务发送给所述至少两个设备;指示所述至少两个设备分别对各自存储介质中的数据进行搜索。

【技术特征摘要】

【专利技术属性】
技术研发人员:雷文龙
申请(专利权)人:无锡天脉聚源传媒科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1