本发明专利技术提供了一种基于树形模型的分布式数据的批量更新方法，应用于数据更新技术领域，该方法根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表；再根据数据聚合的逻辑关系构建树形配置文件；然后获取消息队列中的队列数据，根据队列数据的标识和树形配置文件检索虚拟表；最后根据检索结果生成数据更新标识，并根据数据更新标识实现数据的批量更新。其中，虚拟表的主外键关系构成树形的层级结构，层级结构与数据聚合的逻辑关系一致，标识包括：表名和主键。本发明专利技术不需要遍历和聚合全量数据，为规模数据在较小时间间隔内的增量更新提供了数据标识，从而大幅度提高了大数据场景下的聚合数据更新效率。据场景下的聚合数据更新效率。据场景下的聚合数据更新效率。
【技术实现步骤摘要】
一种基于树形模型的分布式数据的批量更新方法及装置
[0001]本专利技术涉及数据更新
，尤其涉及一种基于树形模型的分布式数据的批量更新方法、装置、电子设备及存储介质。
技术介绍
[0002]现有案例是通过自定义自增主键和主键全量比对的方式获取增量标识，自增主键方式对非自增业务时不能适用，主键全量比对形成增量标识需要做全量数据的扫描，效率无法保证，很难实现秒、分钟级间隔的批量数据更新，在聚合后数据量达到一定量时，数据更新效率很难解决。
技术实现思路
[0003]本专利技术提供了一种基于树形模型的分布式数据的批量更新方法、装置、电子设备及存储介质。本专利技术可以通过读取更新标识实现数据的聚合后批量更新，不需要遍历和聚合全量数据，为规模数据在较小时间间隔内的增量更新提供了数据标识，从而大幅度提高了大数据场景下的聚合数据更新效率。
[0004]第一方面，本专利技术的实施例提供了一种基于树形模型的分布式数据的批量更新方法，该方法包括：
[0005]根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表；
[0006]其中，虚拟表的主外键关系构成树形的层级结构，层级结构与数据聚合的逻辑关系一致；
[0007]根据数据聚合的逻辑关系构建树形配置文件；
[0008]获取消息队列中的队列数据，根据队列数据的标识和树形配置文件检索虚拟表；
[0009]其中，标识包括：表名和主键；
[0010]根据检索结果生成数据更新标识，并根据数据更新标识实现数据的批量更新。
[0011]通过上述技术方案，可以通过读取更新标识实现数据的聚合后批量更新，为规模数据在较小时间间隔内的增量更新提供了数据标识，从而大幅度提高了大数据场景下的聚合数据更新效率。
[0012]可选地，获取消息队列中的数据，根据数据的标识和树形配置文件检索虚拟表，包括：
[0013]若在虚拟表中没有检索到队列数据，则将队列数据作为主键数据插入虚拟表并写入最后更新时间；
[0014]若在虚拟表中检索到队列数据，则修改队列数据在虚拟表中对应的最后更新时间。
[0015]可选地，根据检索结果生成数据更新标识，并根据数据更新标识实现数据的批量更新，包括：
[0016]根据预设数据更新周期，逐条或逐批遍历虚拟表中的数据；
[0017]为最后更新时间在预设更新周期内的数据设置更新标识；
[0018]根据更新标识读取表名和主键值，并根据表名和主键值实现数据的批量更新。
[0019]可选地，该数据的批量更新方法还包括：
[0020]根据一项或多项需要更新的数据查询树形配置文件，确定与第一虚拟表存在主外键关系的所有第二虚拟表；
[0021]其中，第一虚拟表为一项或多项需要更新的数据所在的虚拟表；
[0022]根据一项或多项需要更新的数据，更新第二虚拟表中的数据，实现数据的微批量更新。
[0023]第二方面，本专利技术的实施例提供了一种基于树形模型的分布式数据的批量更新装置，该方法包括：
[0024]构建模块，用于根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表；
[0025]其中，虚拟表的主外键关系构成树形的层级结构，层级结构与数据聚合的逻辑关系一致；
[0026]构建模块，还用于根据数据聚合的逻辑关系构建树形配置文件；
[0027]检索模块，用于获取消息队列中的队列数据，根据队列数据的标识和树形配置文件检索虚拟表；
[0028]其中，标识包括：表名和主键；
[0029]更新模块，用于根据检索结果生成数据更新标识，并根据数据更新标识实现数据的批量更新。
[0030]可选地，该数据的批量更新装置，还包括：
[0031]微批量更新模块，用于根据一项或多项需要更新的数据查询树形配置文件，确定与第一虚拟表存在主外键关系的所有第二虚拟表；再根据一项或多项需要更新的数据，更新第二虚拟表中的数据，实现数据的微批量更新；
[0032]其中，第一虚拟表为一项或多项需要更新的数据所在的虚拟表。
[0033]第三方面，本专利技术的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一实现方式所述的方法。
[0034]第四方面，本专利技术的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一实现方式所述的方法。
[0035]本专利技术提供了一种基于树形模型的分布式数据的批量更新方法、装置、电子设备及存储介质，该方法根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表；再根据数据聚合的逻辑关系构建树形配置文件；然后获取消息队列中的队列数据，根据队列数据的标识和树形配置文件检索虚拟表；最后根据检索结果生成数据更新标识，并根据数据更新标识实现数据的批量更新。其中，虚拟表的主外键关系构成树形的层级结构，层级结构与数据聚合的逻辑关系一致，标识包括：表名和主键。本专利技术不需要遍历和聚合全量数据，为规模数据在较小时间间隔内的增量更新提供了数据标识，从而大幅度提高了大数据场景下的聚合数据更新效率。
[0036]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或
重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。
附图说明
[0037]结合附图并参考以下详细说明，本专利技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
[0038]图1为本专利技术实施例的一种基于树形模型的分布式数据的批量更新方法的流程图；
[0039]图2为本专利技术实施例的一种基于树形模型的分布式数据的批量更新装置的结构示意图；
[0040]图3为本专利技术实施例的一种电子设备的结构图。
具体实施方式
[0041]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0042]需要说明的是，本专利技术实施例描述的仅仅是为了更加清楚的说明本专利技术实施例的技术方案，并不构成对本专利技术实施例提供的技术方案的限定。
[0043]图1为本专利技术实施例的一种基于树形模型的分布式数据的批量更新方法的流程图。如图1所示，该方法包括：
[0044]S101、根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表。
[0045]其中，虚拟表的主外键关系构成树形的层级结构，层级结构与数据聚合的逻辑关系一致。
[0046]示例性地，聚合的数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于树形模型的分布式数据的批量更新方法，其特征在于，包括：根据数据聚合的逻辑关系，以树形逻辑在内存数据库中构建虚拟表；所述虚拟表的主外键关系构成树形的层级结构，所述层级结构与所述数据聚合的逻辑关系一致；根据所述数据聚合的逻辑关系构建树形配置文件；获取消息队列中的队列数据，根据所述队列数据的标识和所述树形配置文件检索所述虚拟表；所述标识包括：表名和主键；根据检索结果生成数据更新标识，并根据所述数据更新标识实现数据的批量更新。2.根据权利要求1所述的方法，其特征在于，所述获取消息队列中的数据，根据所述数据的标识和所述树形配置文件检索所述虚拟表，包括：若在所述虚拟表中没有检索到所述队列数据，则将所述队列数据作为主键数据插入所述虚拟表并写入最后更新时间；若在所述虚拟表中检索到所述队列数据，则修改所述队列数据在所述虚拟表中对应的最后更新时间。3.根据权利要求1所述的方法，其特征在于，所述根据检索结果生成数据更新标识，并根据所述数据更新标识实现数据的批量更新，包括：根据预设数据更新周期，逐条或逐批遍历所述虚拟表中的数据；为最后更新时间在所述预设更新周期内的数据设置更新标识；根据所述更新标识读取表名和主键值，并根据所述表名和所述主键值实现数据的批量更新。4.根据权利要求1所述的方法，其特征在于，还包括：根据一项或多项需要更新的数据查询所述树形配置文件，确定与第一虚拟表存在主外键关系的所有第二虚拟表；所述第一虚拟表为所述一项或多项...
【专利技术属性】
技术研发人员：曹宸铭，陈新昆，杨建朋，
申请(专利权)人：北京北铃专用汽车有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。