数据检索方法技术

本申请公开了一种数据检索方法

【技术实现步骤摘要】
数据检索方法、系统、设备以及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据检索方法
、
系统
、
设备以及存储介质
。

技术介绍

[0002]HBase
是一个分布式的
、
面向列
、
可伸缩的开源数据库
。
现有技术中基于
HBase
进行大数据检索时，尤其是面向海量数据检索时，对于
HBase
非行键
rowkey
的检索过程将会进行全表扫描，进而出现检索性能低，查询速度慢的情况
。
因此，为满足高并发
、
高效率的大数据检索，常使用数据库表行键
rowkey
排序存储数据，基于
rowkey
来实现毫秒级的高速检索
。
[0003]在现有技术中，基于
rowkey
对
HBase
进行大数据检索时，主要有两种检索方案，第一种是基于一个
rowkey
进行检索，这种方式支持高并发，检索效率高，但缺点是检索场景简单且局限，不支持复杂组合场景的检索；第二种是基于二级索引进行检索，这种方式扩展了
rowkey
设计，比如设计
rowkey
＝
X|Y
，
rowkey
＝
Y|Z
，
rowkey
＝
X|Z
，适合针对两两组合后的查询条件进行检索，且依然支持高并发，但该检索方案仍然存在无法满足任意组合条件的检索需求的局限性
。
[0004]因此，针对上述两种方法存在的无法满足任意组合条件的数据检索问题，有必要提出一种解决问题的数据检索方案
。

技术实现思路

[0005]本申请的主要目的在于提供一种数据检索方法
、
系统
、
设备以及存储介质，旨在解决现有技术无法满足任意组合条件的数据检索问题
。
[0006]为实现上述目的，本申请提供一种数据检索方法，应用于搜索引擎服务器，所述搜索引擎服务器与数据库连接，所述数据检索方法包括：
[0007]获取待检索字段和计算函数；
[0008]根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键；
[0009]将所述数据表行键发送至所述数据库，并接收所述数据库根据所述数据表行键返回的检索结果信息
。
[0010]可选地，所述根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键的步骤包括：
[0011]根据所述待检索字段和所述计算函数，与所述索引关系进行匹配；
[0012]在匹配不到索引关系的情况下，判断所述计算函数是否为原子计算；
[0013]若所述计算函数为原子计算，则返回不符合运算规则的提示信息；
[0014]若所述计算函数不为原子计算，则将所述计算函数分解成原子计算，并根据所述待检索字段和分解的原子计算，结合所述索引关系返回所述数据表行键
。
[0015]可选地，所述数据检索方法还包括：
[0016]在返回所述数据表行键的情况下，基于所述数据表行键生成并返回所述待检索字段
、
所述计算函数与所述数据表行键之间的关系
。
[0017]可选地，所述根据所述待检索字段和所述计算函数，与所述索引关系进行匹配的步骤之后，还包括：
[0018]在匹配到索引关系的情况下，根据匹配到的索引关系返回对应的数据表行键
。
[0019]可选地，所述根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键的步骤之前，还包括：
[0020]建立所述索引关系，其中，所述索引关系包括检索字段与数据表行键集合之间的索引关系，以及检索字段
、
计算函数与数据表行键集合之间的索引关系；所述数据表行键集合由若干数据表行键组成
。
[0021]可选地，所述建立所述索引关系的步骤包括：
[0022]导入预先收集的若干数据字段和数据表行键集合，基于所述数据字段和所述数据表行键集合在数据库中的关联，创建得到所述检索字段与数据表行键集合之间的索引关系；
[0023]封装计算函数，基于封装的计算函数
、
所述数据字段和所述数据表行键集合在数据库中的关联，创建得到所述检索字段
、
计算函数与数据表行键集合之间的索引关系
。
[0024]可选地，所述获取待检索字段和计算函数的步骤之前，还包括：
[0025]创建搜索查询页面，其中，所述搜索查询页面以供用户输入所述待检索字段和所述计算函数；
[0026]创建表述性状态传递
Rest
接口，其中，所述
Rest
接口用于连接所述搜索查询页面和所述搜索引擎服务器，所述
Rest
接口还用于约定
http
请求所采用的方法以及请求的链接
。
[0027]可选地，所述搜索引擎服务器包括冷数据区和热数据区，所述将所述数据表行键发送至所述数据库，并接收所述数据库根据所述数据表行键返回的检索结果信息的步骤之后，还包括：
[0028]根据检索用到的索引关系生成检索记录；
[0029]根据所述检索记录更新所述冷数据区和
/
或所述热数据区，其中，所述冷数据区的存储节点用于存储低于预设检索频率的索引关系，所述热数据区的存储节点用于存储高于预设检索频率的索引关系
。
[0030]可选地，所述根据所述检索记录更新所述冷数据区和
/
或所述热数据区的步骤包括：
[0031]判断所述检索记录中索引关系的检索频率是否高于所述预设检索频率；
[0032]若所述索引关系的检索频率高于所述预设检索频率，则将所述索引关系写入所述热数据区；和
/
或，
[0033]若所述索引关系的检索频率低于所述预设检索频率，则将所述索引关系迁移至所述冷数据区
。
[0034]可选地，接收所述数据库根据所述数据表行键返回的检索结果信息的步骤之前，还包括：
[0035]通过所述数据库接收所述搜索引擎服务器发送的所述数据表行键；
[0036]根据所述数据表行键检索得到所述检索结果信息，并向所述搜索引擎服务器返回所述检索结果信息
。
[0037]可选地，接收所述搜索引擎服务器发送的所述数据表行键的步骤之前，还包括：
[0038]将原始数据文件导入所述数据库；
[0039]基于所述原始数据文件提取得到数据字段；
[0040]基于计算函数对所述数据字段进行预运算，得到字段运算结果；
[0041]基于所述字段运算结果建立数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据检索方法，其特征在于，应用于搜索引擎服务器，所述搜索引擎服务器与数据库连接，所述数据检索方法包括：获取待检索字段和计算函数；根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键；将所述数据表行键发送至所述数据库，并接收所述数据库根据所述数据表行键返回的检索结果信息
。2.
根据权利要求1所述的数据检索方法，其特征在于，所述根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键的步骤包括：根据所述待检索字段和所述计算函数，与所述索引关系进行匹配；在匹配不到索引关系的情况下，判断所述计算函数是否为原子计算；若所述计算函数为原子计算，则返回不符合运算规则的提示信息；若所述计算函数不为原子计算，则将所述计算函数分解成原子计算，并根据所述待检索字段和分解的原子计算，结合所述索引关系返回所述数据表行键
。3.
根据权利要求2所述的数据检索方法，其特征在于，所述数据检索方法还包括：在返回所述数据表行键的情况下，基于所述数据表行键生成并返回所述待检索字段
、
所述计算函数与所述数据表行键之间的关系
。4.
根据权利要求2所述的数据检索方法，其特征在于，所述根据所述待检索字段和所述计算函数，与所述索引关系进行匹配的步骤之后，还包括：在匹配到索引关系的情况下，根据匹配到的索引关系返回对应的数据表行键
。5.
根据权利要求1所述的数据检索方法，其特征在于，所述根据所述待检索字段和所述计算函数，结合预先建立的索引关系返回数据表行键的步骤之前，还包括：建立所述索引关系，其中，所述索引关系包括检索字段与数据表行键集合之间的索引关系，以及检索字段
、
计算函数与数据表行键集合之间的索引关系；所述数据表行键集合由若干数据表行键组成
。6.
根据权利要求5所述的数据检索方法，其特征在于，所述建立所述索引关系的步骤包括：导入预先收集的若干数据字段和数据表行键集合，基于所述数据字段和所述数据表行键集合在数据库中的关联，创建得到所述检索字段与数据表行键集合之间的索引关系；封装计算函数，基于封装的计算函数
、
所述数据字段和所述数据表行键集合在数据库中的关联，创建得到所述检索字段
、
计算函数与数据表行键集合之间的索引关系
。7.
根据权利要求1所述的数据检索方法，其特征在于，所述获取待检索字段和计算函数的步骤之前，还包括：创建搜索查询页面，其中，所述搜索查询页面以供用户输入所述待检索字段和所述计算函数；创建表述性状态传递
Rest
接口，其中，所述
Rest
接口用于连接所述搜索查询页面和所述搜索引擎服务器，所述
Rest
接口还用于约定
http
请求所采用的方法以及请求的链接
。8.
根据权利要求1所述的数据检索方法，其特征在于，所述搜索引擎服务器包括冷数据区和热数据区，所述将所述数据表行键发送至所述数据库，并接收所述...

【专利技术属性】
技术研发人员：奉玉丽，何慧敏，帅妮，张泽，陈乐，陈卓，张培栋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：