数据管理方法、装置、计算机可读介质和电子设备制造方法及图纸

本发明专利技术提供了一种数据管理方法、装置、计算机可读介质和电子设备。该数据管理方法包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与所述数据存储系统的预分区范围相关联；将所述增量数据存储至所述数据存储系统的预分区范围内。本发明专利技术的技术方案能够在数据库分库分表的场景下，有效提高数据查询效率，保证数据库具有良好的性能。

【技术实现步骤摘要】
数据管理方法、装置、计算机可读介质和电子设备
本专利技术涉及数据处理
，具体而言，涉及一种数据管理方法、装置、计算机可读介质和电子设备。
技术介绍
目前，很多大型互联网企业日益递增的数据量导致数据库查询效率减慢，为了解决查询效率的问题，很多企业采用分库分表的策略，该策略是对数据进行业务分片拆分，查询场景限制在将分片字段的数据散列到不同库和表中，在一定程度上提升了查询效率。在分库分表的策略下，由于分表的查询数据不确定，因此相关技术中在做分页操作时需汇总所有分表数据再进行分页操作，每增加一页的查询操作，需获得其之前所有页面的数据集，导致分页操作越靠后查询效率越低，至最后一页需查出所有分表的数据，严重影响了数据库的查询效率和数据库性能。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种数据管理方法、装置、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的第一方面，提供了一种数据管理方法，包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与所述数据存储系统的预分区范围相关联；将所述增量数据存储至所述数据存储系统的预分区范围内。在本专利技术的一些实施例中，基于前述方案，还包括：接收数据查询请求；基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围；在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。在本专利技术的一些实施例中，基于前述方案，获取数据库的增量数据的步骤，包括：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。在本专利技术的一些实施例中，基于前述方案，基于所述数据查询索引对数据存储系统进行预分区处理的步骤，包括：通过随机散列算法确定所述数据存储系统的预分区范围；根据确定的预分区范围，对所述数据存储系统进行预分区处理，并将所述数据查询索引与所述数据存储系统的预分区范围进行关联。在本专利技术的一些实施例中，基于前述方案，将所述增量数据存储至所述数据存储系统的预分区范围内的步骤，包括：基于所述数据查询索引构成的随机散列算法将所述增量数据存储至所述预分区范围内。在本专利技术的一些实施例中，基于前述方案，所述数据存储系统为HBase，所述预分区范围为行键范围。在本专利技术的一些实施例中，基于前述方案，所述增量数据包括：对所述数据库进行操作的SQL语句及相关联的元数据信息。根据本专利技术的第二方面，提供了一种数据管理装置，包括：获取单元，用于获取数据库的增量数据；生成单元，用于根据所述增量数据生成数据查询索引；处理单元，用于基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与所述数据存储系统的预分区范围相关联；存储单元，用于将所述增量数据存储至所述数据存储系统的预分区范围内。根据本专利技术的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述的数据管理方法。根据本专利技术的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面所述的数据管理方法。在本专利技术的一些实施例所提供的技术方案中，通过基于数据查询索引对数据存储系统进行预分区处理，且数据查询索引与数据存储系统的预分区范围相关联，并将增量数据存储至数据存储系统的预分区范围内，使得在进行数据查询时，能够基于数据查询索引和预分区范围来缩小数据查询范围，进而在缩小后的数据查询范围内来快速查询数据。可见，本专利技术实施例的技术方案能够在数据库分库分表的场景下，有效提高数据查询效率，保证数据库具有良好的性能。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性示出了根据本专利技术的第一个实施例的数据管理方法的流程图；图2示意性示出了根据本专利技术的第二个实施例的数据管理方法的流程图；图3示意性示出了根据本专利技术的第三个实施例的数据管理方法的流程图；图4示意性示出了根据本专利技术的实施例的数据管理系统的架构图；图5示意性示出了根据本专利技术的实施例的数据管理装置的框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示意性示出了根据本专利技术的第一个实施例的数据管理方法的流程图。参照图1，根据本专利技术的第一个实施例的数据管理方法，包括：步骤S10，获取数据库的增量数据。在本专利技术的实施例中，当对数据库执行DML(DataManipulationLanguage，数据操纵语言)操作后，可以获取数据库的增量数据。其中，DML操作包括数据表的插入(Insert)、删除(delete)和更新(update)操作等。在本专利技术的实施例中，所述的增量数据包括：对所述数据库进行操作的SQL(StructuredQueryLanguage，结构化查询语言)语句及相关联的元数据信息。根据本专利技术的示例性实施例，步骤S10具体包括：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。步骤S12，根据所述增量数据生成数据查询索引。在本专利技术的实施例中，数据查询索引的目的是为了能够快速找到需要查询的数据。步骤S14，基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与数据存储系统的预分区范围相关联。根据本专利技术的示例性实施例，步骤S14具体包本文档来自技高网...

【技术保护点】
一种数据管理方法，其特征在于，包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与所述数据存储系统的预分区范围相关联；将所述增量数据存储至所述数据存储系统的预分区范围内。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储系统进行预分区处理，其中，所述数据查询索引与所述数据存储系统的预分区范围相关联；将所述增量数据存储至所述数据存储系统的预分区范围内。2.根据权利要求1所述的数据管理方法，其特征在于，还包括：接收数据查询请求；基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围；在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。3.根据权利要求1所述的数据管理方法，其特征在于，获取数据库的增量数据的步骤，包括：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。4.根据权利要求1所述的数据管理方法，其特征在于，基于所述数据查询索引对数据存储系统进行预分区处理的步骤，包括：通过随机散列算法确定所述数据存储系统的预分区范围；根据确定的预分区范围，对所述数据存储系统进行预分区处理，并将所述数据查询索引与所述数据存储系统的预分区范围进行关联。5.根据权利要求1所述的数据管理方法，其特征在于，将所述增量数据存储至所述数据存储系...

【专利技术属性】
技术研发人员：陆坚，刘设伟，
申请(专利权)人：泰康保险集团股份有限公司，泰康在线财产保险股份有限公司，
类型：发明
国别省市：北京,11