【技术实现步骤摘要】
本申请涉及数据处理领域，具体而言，涉及一种查询数据表生成方法、数据查询方法、装置及电子设备。
技术介绍
1、在各个行业领域，企业会通过各个指标将客户的各个能力数值化，以提供更精准的决策和服务。在指标计算时，需要访问数据库以获得用于指标计算的数据。通常情况下，数据样本越全，数据量越大，计算得到的指标越具备参考意义。
2、但随着数据量的激增，进行指标计算时，查询用于指标计算的数据的速度越来越慢，特别是，当大量指标同时计算时，会导致数据库的负载升高，进而导致查询效率较慢。
技术实现思路
1、本申请实施例的目的在于提供一种查询数据表生成方法、数据查询方法、装置及电子设备，用以生成与原始数据表对应的查询数据表，在执行数据查询时，将部分查询转移到查询数据表进行查询，降低对数据库的访问负载，提高数据查询效率。
2、第一方面，本申请实施例提供一种查询数据表生成方法，该方法包括：按第一预设时间周期获取历史查询记录；历史查询记录包括历史查询语句和历史查询语句的查询属性信息；查询属性信息用于表征历史查询语句在执行过程中产生的行为信息；基于查询属性信息对历史查询语句进行筛选，获得慢查询语句；慢查询语句用于表征执行时长超过第一预设时长阈值的查询语句；根据慢查询语句和慢查询语句查询的数据生成查询数据表。
3、本申请实施例通过利用查询属性信息对历史查询语句进行筛选获得慢查询语句，并基于慢查询语句和慢查询语句查询的数据生成查询数据表，使得在执行数据查询时，将部分查询转移到查询数
4、在一些实施例中，基于查询属性信息对历史查询语句进行筛选，获得慢查询语句，包括：基于查询属性信息中的执行时长对历史查询语句进行第一次筛选，获得第一慢查询语句；利用查询属性信息中的查询对象对第一慢查询语句进行第二次筛选，获得慢查询语句；查询对象包括查询的数据表、查询的字段和过滤条件中的至少一种。
5、本申请实施例通过两次筛选，大大降低了慢查询语句的数量，从而使得只基于少量的查询语句生成对应的查询数据表。不仅降低对原数据库的访问压力，也提高了数据查询效率
6、在一些实施例中，基于查询属性信息中的执行时长对历史查询语句进行第一次筛选，获得第一慢查询语句，包括：将执行时长大于第二预设时长阈值的历史查询语句作为第一慢查询语句；第二预设时长阈值不小于第一预设时长阈值。
7、本申请实施例通过利用执行时长对历史查询语句进行筛选，减少了生成查询数据表的数量，使得不需要额外分配大量的存储资源以对查询数据表进行存储，降低对服务存储资源的影响。
8、在一些实施例中，基于查询属性信息中的执行时长对历史查询语句进行第一次筛选，获得第一慢查询语句，包括：按照执行时长由低到高的顺序依次将历史查询语句插入队列中，将所在队列位置大于预设队列位置的历史查询语句作为第一慢查询语句。
9、本申请实施例通过利用执行时长对历史查询语句进行筛选，减少了生成查询数据表的数量。
10、在一些实施例中，利用查询属性信息中的查询对象对第一慢查询语句进行第二次筛选，获得慢查询语句，包括：若第一慢查询语句中存在：查询的字段的数量小于预设字段数量的第一目标慢查询语句，则将第一目标慢查询语句作为慢查询语句；和/或若第一慢查询语句中存在：查询的数据表存储的数据条数大于预设条数的第二目标慢查询语句，则将第二目标慢查询语句作为慢查询语句；和/或若第一慢查询语句中存在：包括预设过滤条件的第三目标慢查询语句，则将第三目标慢查询语句作为慢查询语句。
11、本申请实施例通过对第一慢查询语句进行再一次筛选，使得只基于少量的查询语句生成对应的查询数据表。不仅降低对原数据库的访问压力，也提高了数据查询效率和服务的资源利用率。
12、在一些实施例中，慢查询语句包括查询的历史数据表名和历史字段名；根据慢查询语句和慢查询语句查询的数据生成查询数据表，包括：基于历史数据表名获取对应数据表的字段信息，以及根据历史数据表名生成第一查询数据表名；利用历史字段名对字段信息进行筛选，获得历史字段名对应的目标字段信息；根据第一查询数据表名和目标字段信息创建初始查询数据表；将慢查询语句查询的数据写入初始查询数据表中，以生成查询数据表。
13、本申请实施例通过基于慢查询语句查询的历史数据表名和历史字段名生成查询数据表，使得查询数据表的数据体量小于对应的原始数据表，若某个查询的原始数据表存在对应的查询数据表，则可直接对查询数据表进行查询，提高了数据查询效率。
14、在一些实施例中，在根据慢查询语句和慢查询语句查询的数据生成查询数据表之后，该方法还包括：接收更新语句；更新语句包括更新数据表名和更新数据；利用更新语句将更新数据写入更新数据表名对应的原始数据表中；基于更新数据表名查询预生成的第一数据关系映射表，获得与更新数据表名对应的第二查询数据表名；第一数据关系映射表用于表征原始数据表和查询数据表之间的更新映射关系；根据第二查询数据表名确定待写入数据的字段名，并根据第二查询数据表名和待写入数据的字段名对更新语句进行改造，生成新的更新语句；基于新的更新语句将更新数据写入第二查询数据表名对应的查询数据表中。
15、本申请实施例通过对原始数据表和查询数据表进行同步更新，提高了数据查询的准确性。
16、在一些实施例中，查询数据表包括查询范围；该方法还包括：按第二预设时间周期将第二查询数据表名对应的查询数据表中不符合查询范围的数据进行删除。
17、本申请实施例通过对查询数据表中不符合查询范围的数据进行删除，使得查询数据表的数据体量保持在一个较小的范围，提高了数据查询的效率。
18、在一些实施例中，在根据慢查询语句和慢查询语句查询的数据生成查询数据表之后，该方法还包括：按第三预设时间周期获取预先生成的复制语句，复制语句包括待复制数据所在的原始数据表名和待存入的目标查询数据表名；执行复制语句，以将待复制数据从原始数据表名对应的原始数据表中复制到目标查询数据表名对应的查询数据表中。
19、本申请实施例通过定时将原始数据表的数据复制到查询数据表，为数据查询的准确性奠定基础。
20、第二方面，本申请实施例提供一种数据查询方法，该方法包括：接收数据查询请求；数据查询请求包括查询语句；查询语句包括查询的第一数据表名、字段名和查询条件；根据第一数据表名、字段名和查询条件生成查询语句的查询特征；利用查询特征查询预生成的第二数据关系映射表；第二数据关系映射表用于表征原始数据表和查询数据表之间的查询映射关系；查询数据表基于第一方面的方法生成；查询数据表包括第二数据表名；若第二数据关系映射表中存在与第一数据表名对应的第二数据表名，则将第二数据表名对应的查询数据表中的数据作为查询结果。
21、本申请实施例中，在原始数据表存在对应的查询数据表时，将数据查询请求重定向到查询数据表进行查询，由于查询数据表的数据本文档来自技高网...
【技术保护点】
1.一种查询数据表生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述查询属性信息对所述历史查询语句进行筛选，获得慢查询语句，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述查询属性信息中的执行时长对所述历史查询语句进行第一次筛选，获得第一慢查询语句，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述查询属性信息中的执行时长对所述历史查询语句进行第一次筛选，获得第一慢查询语句，包括：
5.根据权利要求2所述的方法，其特征在于，所述利用所述查询属性信息中的查询对象对所述第一慢查询语句进行第二次筛选，获得慢查询语句，包括：
6.根据权利要求1所述的方法，其特征在于，所述慢查询语句包括查询的历史数据表名和历史字段名；所述根据所述慢查询语句和所述慢查询语句查询的数据生成查询数据表，包括：
7.根据权利要求1-6任一所述的方法，其特征在于，在所述根据所述慢查询语句和所述慢查询语句查询的数据生成查询数据表之后，所述方法还包括：
8.根据权利要求
9.根据权利要求1-6任一所述的方法，其特征在于，在所述根据所述慢查询语句和所述慢查询语句查询的数据生成查询数据表之后，所述方法还包括：
10.一种数据查询方法，其特征在于，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，在所述利用所述查询特征查询预生成的第二数据关系映射表之后，所述方法还包括：
12.一种查询数据表生成装置，其特征在于，所述装置包括：
13.一种数据查询装置，其特征在于，所述装置包括：
14.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1-11任一所述的方法。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-11任一所述的方法。
16.一种计算机程序产品，其特征在于，包括：计算机程序，所述计算机程序被处理器运行时执行如权利要求1-11任一所述的方法。
...【技术特征摘要】
1.一种查询数据表生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述查询属性信息对所述历史查询语句进行筛选，获得慢查询语句，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述查询属性信息中的执行时长对所述历史查询语句进行第一次筛选，获得第一慢查询语句，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述查询属性信息中的执行时长对所述历史查询语句进行第一次筛选，获得第一慢查询语句，包括：
5.根据权利要求2所述的方法，其特征在于，所述利用所述查询属性信息中的查询对象对所述第一慢查询语句进行第二次筛选，获得慢查询语句，包括：
6.根据权利要求1所述的方法，其特征在于，所述慢查询语句包括查询的历史数据表名和历史字段名；所述根据所述慢查询语句和所述慢查询语句查询的数据生成查询数据表，包括：
7.根据权利要求1-6任一所述的方法，其特征在于，在所述根据所述慢查询语句和所述慢查询语句查询的数据生成查询数据表之后，所述方法还包括：
8.根据权利要求7所述的方法，其特征在...
【专利技术属性】
技术研发人员：文严，李雪梅，王发修，高斌，
申请(专利权)人：成都新希望金融信息有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。