数据处理方法及装置制造方法及图纸

本申请提供了一种数据处理方法、装置、电子设备及计算机可读存储介质；涉及云技术中的数据库和存储，方法包括：接收增量数据，并将所述增量数据写入数据存储系统中；根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；接收数据查询请求；根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。通过本申请，能够提高在数据存储系统中进行数据过滤的效率。

【技术实现步骤摘要】
数据处理方法及装置
本申请涉及云技术中的数据库
，尤其涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
互联网特别是移动互联网时代，数据产生的速度越来越快，对数据的存储和处理(例如查询)的性能要求越来越高。当基于新产生的数据批量更新数据存储系统时，相关技术提供了数据过滤的方案，通过给要删除的数据打上一个删除(Delete)标记，从而避免在查询的时候返回。基于这种方式，首先需要新老两个批次的数据按照数据表的一行的键值(RowKey)进行汇合(Join)，即将两份数据按照RowKey关联在一起，比对老批次有但新批次没有的数据打上Delete标记。然而，由于Join操作比较耗时，服务器在后续响应数据查询请求时，会由于Join操作的耗时，进而影响响应数据查询请求的效率。
技术实现思路
本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质，能够提高数据过滤的效率，进而确保响应数据查询请求的效率。本申请实施例的技术方案是这样实现的：本申请实施例提供一种数据处理方法，包括：接收增量数据，并将所述增量数据写入数据存储系统中；根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；接收数据查询请求；根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。本申请实施例提供一种数据处理装置，包括：接收模块，用于接收增量数据；写入模块，用于将所述增量数据写入数据存储系统中；更新模块，用于根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；所述接收模块，还用于接收数据查询请求；查询模块，用于根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；比较模块，用于将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。上述方案中，所述比较模块，还用于当所述数据所在列的列级别的最新时间戳大于所述数据的时间戳时，返回不包含所述数据的查询结果；以及用于当所述数据所在列的列级别的最新时间戳小于或者等于所述数据的时间戳时，返回包含所述数据的查询结果。上述方案中，所述更新模块，还用于根据所述增量数据在所述数据存储系统中的存储地址，更新对应的索引文件，并在所述索引文件中记录所述增量数据包含的所有列。上述方案中，所述更新模块，还用于当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。上述方案中，所述更新模块，还用于在同一锁的存活期间执行以下操作：针对所述索引文件执行加载操作；从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。上述方案中，所述更新模块，还用于针对所述增量数据包含的所有列中的任一列，执行以下处理：将所述任一列对应的列级别的时间戳更新为与所述增量数据的时间戳相同。上述方案中，所述写入模块，还用于当所述增量数据由多个数据源分别提供，且基于所述增量数据对所述数据存储系统中的不同列分别对应的数据进行更新时，在所述数据存储系统中的对应地址写入所述增量数据。上述方案中，所述写入模块，还用于当所述增量数据由多个数据源分别提供，且基于所述增量数据对所述数据存储系统中的相同列对应的数据进行更新时，在所述数据存储系统中的对应地址写入所述增量数据；所述装置还包括添加模块，用于针对所述数据存储系统中的不同键名，为每个所述键名添加唯一对应的标签；以及用于根据所述标签，在索引文件中记录与所述标签对应的列级别的时间戳。上述方案中，所述查询模块，还用于根据所述键名在索引文件中查询对应的存储地址，并基于所述存储地址查询所述数据存储系统，以获取与所述键名对应的数据。本申请实施例提供一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的数据处理方法。本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的数据处理方法。本申请实施例具有以下有益效果：根据增量数据的时间戳，对增量数据包含的所有列分别对应的列级别的时间戳进行更新，如此，通过将数据的时间戳与数据所在列的列级别的最新时间戳进行比较的方式即可达到数据过滤的目的，由于节约了进行实质性的数据删除的操作时间，提升了数据过滤的效率，进而保证了响应数据查询请求的效率。附图说明图1是本申请实施例提供的数据处理系统的架构示意图；图2是本申请实施例提供的服务器的结构示意图；图3是本申请实施例提供的数据处理方法的流程示意图；图4是本申请实施例提供的数据处理方法的流程示意图；图5是本申请实施例提供的数据处理方法的应用示意图；图6是相关技术提供的查询结果示意图；图7是本申请实施例提供的查询结果示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。相关技术在进行数据过滤操作时，通常是通过给要删除的数据打上一个Delete标记，查询的时候不返回。基于这种方式，首先需要新老两个批次的数据按照RowKey做Join，比对老批次有但新批次没有的数据打上Delete标记。然而，Join操作比较耗时，服务器在后续响应数据查询请求时，会由于Join操作的耗时而大大影响响应数据查询请求的效率。鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备和计算机可读存储介质，能够提高数据过滤的效率，进而确保响应数据查询请求的效率。下面说明本申请实施例提供的应用数据处理方法的电子设备的示例性应用，本申请实施例提供的应用数据处理方法的电子设备可以实施为笔记本电脑、台式计算机等各种类型的用户终端、也可以实施为服务器，例如独立的物理服务器，多个物理服务器构成的服务器集群或分布式系统，还可以是提供云计算服务的云服务器。下面，将结合图1说明应用数据处理方法的电子设备实施为服务器时的示例性应用。参见图1，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n接收增量数据，将所述增量数据写入数据存储系统中；/n根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；/n接收数据查询请求；/n根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；/n将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
接收增量数据，将所述增量数据写入数据存储系统中；
根据所述增量数据的时间戳，对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新；
接收数据查询请求；
根据所述数据查询请求携带的键名查询所述数据存储系统，以获取与所述键名对应的数据；
将所述数据的时间戳与所述数据所在列的列级别的最新时间戳进行比较，根据比较结果返回相应的查询结果。


2.根据权利要求1所述的方法，其特征在于，所述根据比较结果返回相应的查询结果，包括：
当所述数据所在列的列级别的最新时间戳大于所述数据的时间戳时，返回不包含所述数据的查询结果；
当所述数据所在列的列级别的最新时间戳小于或者等于所述数据的时间戳时，返回包含所述数据的查询结果。


3.根据权利要求1所述的方法，其特征在于，在将所述增量数据写入数据存储系统中之后，所述方法还包括：
根据所述增量数据在所述数据存储系统中的存储地址，更新对应的索引文件，并在所述索引文件中记录所述增量数据包含的所有列。


4.根据权利要求3所述的方法，其特征在于，所述对所述增量数据包含的所有列分别对应的列级别的时间戳进行更新，包括：
当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。


5.根据权利要求4所述的方法，其特征在于，所述当针对所述索引文件执行加载操作时，从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作，包括：
在同一锁的存活期间执行以下操作：
针对所述索引文件执行加载操作；
从所述索引文件中读取所述增量数据包含的所有列，并对所述所有列分别对应的列级别的时间戳进行更新操作。


6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：林兆祥，李晓松，马妍娇，李彪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44