【技术实现步骤摘要】
本专利技术涉及数据查询，尤其涉及一种数据查询方法、装置、设备及存储介质。
技术介绍
1、数据查询领域提速的常用机制除了索引外，就是缓存。现有的缓存分为事先缓存和事后缓存。事先缓存可以是提供一个界面、或者语句(比如sql客户端)，让用户人工介入，指定哪些语句应该缓存；事后缓存方式大多对用户透明，只要用户执行过的分析语句，按一定测试自动缓存起来。事先缓存方式运维成本高，客户往往很难预见将来的各种分析语句；而事后缓存方式在第一次查询时，必然没缓存。因此，如何提高数据查询的效率成为了亟待解决的技术问题。
2、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种数据查询方法、装置、设备及存储介质，旨在解决现有技术中事先缓存需要事先设置缓存语句或事后缓存中第一次查询没有缓存导致数据查询效率不高的技术问题。
2、为实现上述目的，本专利技术提供了一种数据查询方法，所述方法包括以下步骤：
3、根据接收到的数据查询请求中的数据查询语句确定待查询文件；
4、在所述待查询文件为缓存表中的目标缓存文件时，根据所述目标缓存文件对所述数据查询语句进行重写，生成目标查询语句，所述缓存表中存放有对待查询原始数据进行预算处理后获得的缓存文件；
5、根据所述目标查询语句和所述目标缓存文件，得到数据查询结果。
6、可选地，所述根据接收到的数据查询请求中的数据查询语句确定待查
7、根据接收到的数据同步请求获取待查询原始数据，并根据所述待查询原始数据生成目标列式文件；
8、确定所述目标列式文件对应的预算策略；
9、根据所述预算策略对所述目标列式文件进行预算处理，得到缓存文件；
10、将所述缓存文件存储至缓存表中。
11、可选地，所述根据所述预算策略对所述目标列式文件进行预算处理，得到缓存文件的步骤，包括：
12、获取历史数据查询信息；
13、根据所述历史数据查询信息确定各个字段的查询频率；
14、根据所述查询频率确定预算处理频率；
15、根据所述预算处理频率和所述预算策略对所述目标列式文件进行预算处理，得到缓存文件。
16、可选地，所述确定所述目标列式文件对应的预算策略的步骤，包括：
17、确定所述目标列式文件对应的数据类型和历史查询信息；
18、根据所述数据类型和所述历史查询信息确定所述目标列式文件对应的预算策略。
19、可选地，所述根据接收到的数据同步请求获取待查询原始数据，并根据所述待查询原始数据生成目标列式文件的步骤之后，还包括：
20、将所述目标列式文件存储至预设存储集群中。
21、可选地，所述将所述目标列式文件存储至预设存储集群中的步骤之后，还包括：
22、接收用户发送的缓存预算任务；
23、确定所述缓存预算任务对应的待缓存文件；
24、根据所述缓存预算任务对所述待缓存文件进行预算处理，得到缓存文件，并将所述缓存文件存储至所述缓存表中。
25、可选地，所述将所述缓存文件存储至所述缓存表中的步骤，包括：
26、确定所述缓存文件占用的目标存储空间；
27、确定所述缓存表剩余存储空间；
28、判断所述剩余存储空间是否大于或等于所述目标存储空间；
29、若是，则将所述缓存文件存储至所述缓存表中。
30、可选地，所述判断所述剩余存储空间是否大于或等于所述目标存储空间的步骤之后，还包括：
31、若所述剩余存储空间小于所述目标存储空间，则将所述缓存文件存储至所述预设存储集群中。
32、可选地，所述将所述缓存文件存储至缓存表中的步骤之后，还包括：
33、获取缓存表中的各个缓存文件的被查询次数；
34、在所述被查询次数小于预设查询次数时，从所述缓存表中删除所述缓存文件。
35、可选地，所述根据接收到的数据查询请求中的数据查询语句确定待查询文件的步骤之后，还包括：
36、在所述待查询文件不为缓存表中的目标缓存文件时，根据所述数据查询语句查询待查询原始数据，得到数据查询结果。
37、此外，为实现上述目的，本专利技术还提供一种数据查询装置，所述装置包括：
38、待查询文件确定模块，用于根据接收到的数据查询请求中的数据查询语句确定待查询文件；
39、重写模块，用于在所述待查询文件为缓存表中的目标缓存文件时，根据所述目标缓存文件对所述数据查询语句进行重写，生成目标查询语句，所述缓存表中存放有对待查询原始数据进行预算处理后获得的缓存文件；
40、查询模块，用于根据所述目标查询语句和所述目标缓存文件，得到数据查询结果。
41、可选地，所述待查询文件确定模块，还用于根据接收到的数据同步请求获取待查询原始数据，并根据所述待查询原始数据生成目标列式文件；
42、确定所述目标列式文件对应的预算策略；
43、根据所述预算策略对所述目标列式文件进行预算处理，得到缓存文件；
44、将所述缓存文件存储至缓存表中。
45、可选地，所述待查询文件确定模块，还用于获取历史数据查询信息；
46、根据所述历史数据查询信息确定各个字段的查询频率；
47、根据所述查询频率确定预算处理频率；
48、根据所述预算处理频率和所述预算策略对所述目标列式文件进行预算处理，得到缓存文件。
49、可选地，所述待查询文件确定模块，还用于确定所述目标列式文件对应的数据类型和历史查询信息；
50、根据所述数据类型和所述历史查询信息确定所述目标列式文件对应的预算策略。
51、可选地，所述待查询文件确定模块，还用于将所述目标列式文件存储至预设存储集群中。
52、可选地，所述待查询文件确定模块，还用于接收用户发送的缓存预算任务；
53、确定所述缓存预算任务对应的待缓存文件；
54、根据所述缓存预算任务对所述待缓存文件进行预算处理，得到缓存文件，并将所述缓存文件存储至所述缓存表中。
55、可选地，所述待查询文件确定模块，还用于确定所述缓存文件占用的目标存储空间；
56、确定所述缓存表剩余存储空间；
57、判断所述剩余存储空间是否大于或等于所述目标存储空间；
58、若是，则将所述缓存文件存储至所述缓存表中。
59、可选地，所述待查询文件确定模块，还用于若所述剩余存储空间小于所述目标存储空间，则将所述缓存文件存储至所述预设存储集群中。
60、可选地，所述待查询文件确定模块，还用于获取缓存表中的各个缓存文件的被查询次数；
61、在所述本文档来自技高网...
【技术保护点】
1.一种数据查询方法，其特征在于，所述数据查询方法包括以下步骤：
2.如权利要求1所述的数据查询方法，其特征在于，所述根据接收到的数据查询请求中的数据查询语句确定待查询文件的步骤之前，还包括：
3.如权利要求2所述的数据查询方法，其特征在于，所述根据所述预算策略对所述目标列式文件进行预算处理，得到缓存文件的步骤，包括：
4.如权利要求2所述的数据查询方法，其特征在于，所述确定所述目标列式文件对应的预算策略的步骤，包括：
5.如权利要求2所述的数据查询方法，其特征在于，所述根据接收到的数据同步请求获取待查询原始数据，并根据所述待查询原始数据生成目标列式文件的步骤之后，还包括：
6.如权利要求5所述的数据查询方法，其特征在于，所述将所述目标列式文件存储至预设存储集群中的步骤之后，还包括：
7.如权利要求6所述的数据查询方法，其特征在于，所述将所述缓存文件存储至所述缓存表中的步骤，包括：
8.一种数据查询装置，其特征在于，所述数据查询装置包括：
9.一种数据查询设备，其特征在于，所述设备包括
10.一种存储介质，其特征在于，所述存储介质上存储有数据查询程序，所述数据查询程序被处理器执行时实现如权利要求1至7任一项所述的数据查询方法的步骤。
...【技术特征摘要】
1.一种数据查询方法，其特征在于，所述数据查询方法包括以下步骤：
2.如权利要求1所述的数据查询方法，其特征在于，所述根据接收到的数据查询请求中的数据查询语句确定待查询文件的步骤之前，还包括：
3.如权利要求2所述的数据查询方法，其特征在于，所述根据所述预算策略对所述目标列式文件进行预算处理，得到缓存文件的步骤，包括：
4.如权利要求2所述的数据查询方法，其特征在于，所述确定所述目标列式文件对应的预算策略的步骤，包括：
5.如权利要求2所述的数据查询方法，其特征在于，所述根据接收到的数据同步请求获取待查询原始数据，并根据所述待查询原始数据生成目标列式文件的步骤之后，还包括：
6.如权利要...
【专利技术属性】
技术研发人员：万晓川，
申请(专利权)人：三六零数字安全科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。