一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提出了一种数据处理方法、装置、电子设备和计算机存储介质，该方法包括：获取数据库中的数据表；所述数据表用于存储业务数据；在所述数据表中至少一条记录的数据发生变更的情况下，将变更数据的主键ID存储到预先建立的中间存储介质；基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据。至少一个主键ID对应记录的数据。至少一个主键ID对应记录的数据。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据处理方法、装置、电子设备和计算机存储介质。

技术介绍

[0002]在用户日常的系统应用或者业务场景中，会遇到需要在数据库中筛选出发生变化的数据的情况；对于这种情况，常规方法是在存储这种数据的数据库的数据表中，增加一个字段，用来标识数据是否发生了变化，如果数据发生了变化就将该字段设定为一个值，进而，在数据查询过程中根据这个字段的值，来筛选出发生变化的数据，将发生变化的数据处理后再将该字段重置为默认的状态值。
[0003]然而，上述方法在数据表中数据量较大的情况下，仅通过这一个字段标识来筛选变更数据，使得结构化查询语言(Structured Query Language，SQL)执行效率会很低；另外，由于这个字段的离散度很低，即使添加索引也无法起到明显优化作用，并且还占用存储空间；因此，需要一种能够在大数据量的情况下准确且高效地筛选出变更数据的方法。

技术实现思路

[0004]本申请提供一种数据处理方法、装置、电子设备和计算机存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]本申请实施例提供了一种数据处理方法，所述方法包括：
[0007]获取数据库中的数据表；所述数据表用于存储业务数据；
[0008]在所述数据表中至少一条记录的数据发生变更的情况下，将变更数据的主键身份标识号(Identity Document，ID)存储到预先建立的中间存储介质；r/>[0009]基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据。
[0010]在一些实施例中，所述方法还包括：
[0011]在对所述至少一个主键ID对应记录的数据使用完成时，删除所述中间存储介质中使用完成的变更数据对应的主键ID。
[0012]在一些实施例中，所述基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据，包括：
[0013]基于所述中间存储介质中的主键ID，从所述数据表中筛选出所述中间存储介质中的主键ID对应记录的数据。
[0014]在一些实施例中，所述基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据，包括：
[0015]按照预设条件从所述中间存储介质中的主键ID筛选出至少一个主键ID；
[0016]从所述数据表中筛选出所述至少一个主键ID对应记录的数据。
[0017]在一些实施例中，所述中间存储介质包括：中间表或分布式缓存中间件。
[0018]本申请实施例还提出了一种数据处理装置，所述装置包括获取模块、存储模块和筛选模块，其中，
[0019]获取模块，用于获取数据库中的数据表；所述数据表用于存储业务数据；
[0020]存储模块，用于在所述数据表中至少一条记录的数据发生变更的情况下，将变更数据的主键ID存储到预先建立的中间存储介质；
[0021]筛选模块，用于基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据。
[0022]本申请实施例提供一种电子设备，所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述一个或多个技术方案提供的数据处理方法。
[0023]本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后能够实现前述一个或多个技术方案提供的数据处理方法。
[0024]本申请实施例提出了一种数据处理方法、装置、电子设备和计算机存储介质，该方法包括：获取数据库中的数据表；所述数据表用于存储业务数据；在所述数据表中至少一条记录的数据发生变更的情况下，将变更数据的主键ID存储到预先建立的中间存储介质；基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据；如此，在数据表中数据量较大的情况下，只需要从数据量较少的中间存储介质中查询出变更数据的主键ID，进而，通过主键ID直接筛选出数据表中对应记录的数据；即，不需要在拥有海量业务数据的数据表中直接搜索变更数据，极大地提高了筛选变更数据的效率；另外，由于主键ID的唯一性，通过主键ID查询数据表中对应记录的数据，能够确保查询结果的准确性。
附图说明
[0025]图1是本申请实施例中的一种数据处理方法的流程示意图；
[0026]图2a为本申请实施例中的存储变更数据的流程示意图；
[0027]图2b为本申请实施例中的查询变更数据的流程示意图；
[0028]图3为本申请实施例的数据处理装置的组成结构示意图；
[0029]图4为本申请实施例的电子设备的结构示意图。
具体实施方式
[0030]以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本申请，并不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。
[0031]需要说明的是，在本申请实施例中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其它要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如
的单元可以是部分电路、部分处理器、部分程序或软件等等)。
[0032]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，I和/或J，可以表示：单独存在I，同时存在I和J，单独存在J这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括I、J、R中的至少一种，可以表示包括从I、J和R构成的集合中选择的任意一个或多个元素。
[0033]例如，本申请实施例提供的数据处理方法包含了一系列的步骤，但是本申请实施例提供的数据处理方法不限于所记载的步骤，同样地，本申请实施例提供的数据处理装置包括了一系列模块，但是本申请实施例提供的数据处理装置不限于包括所明确记载的模块，还可以包括为获取相关时序数据、或基于时序数据进行处理时所需要设置的模块。
[0034]本申请实施例可以应用于终端设备和服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取数据库中的数据表；所述数据表用于存储业务数据；在所述数据表中至少一条记录的数据发生变更的情况下，将变更数据的主键身份标识号ID存储到预先建立的中间存储介质；基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在对所述至少一个主键ID对应记录的数据使用完成时，删除所述中间存储介质中使用完成的变更数据对应的主键ID。3.根据权利要求1所述的方法，其特征在于，所述基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据，包括：基于所述中间存储介质中的主键ID，从所述数据表中筛选出所述中间存储介质中的主键ID对应记录的数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述中间存储介质中的至少一个主键ID，从所述数据表中筛选出所述至少一个主键ID对应记录的数据，包括：按照预设条件从所述中间存储介质中的主键ID筛选出至少一个主键ID；从所述数据表中筛选出所述至少一个主键ID对应记录的数据。5.根据权利要求1所述的方法，其特征在于，所述中间存储介质包括：中间表或分布式缓存中间件。6.一种数据处理装置，其特征在于，所述装置包括：获...

【专利技术属性】
技术研发人员：徐纪伟，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：