一种数据处理方法和设备技术

本申请公开了一种数据处理方法和设备，该方法应用于包括数据持久化设备和多个通道处理设备的系统中，多个通道处理设备之间相互独立，包括：通道处理设备接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位；通道处理设备处理数据，并记录处理完成的数据的时间点位；当达到预设上报条件时，通道处理设备向数据持久化设备上报所处理的数据的时间点位；通过设置通道处理设备之间并行处理数据，从而保证了数据处理的效率，另外设置通道处理设备独立上报自身处理完成的数据的时间点位，以便通道处理设备在进行数据处理时，还可以异步并行上报时间点位，以此在进行时间点位的上报时，可以保证数据的处理不被中断。

【技术实现步骤摘要】

本申请实施例涉及通信
，特别涉及一种数据处理方法和设备。
技术介绍
由于数据流需要定期的持久化数据点位(即当前同步进度)便于服务重启后可以基于数据点位进行数据定位，从而使得服务可以从保存的同步进度来启动，而不会必须全部重新开始。现有技术中的数据持久化处理的过程中，dispatcher(发报)模块在接收到数据后，会将数据进行分配，分配到不同的通道设备来进行传输，且当通道设备传输数据时，dispatcher模块将阻塞数据的接收，而不同的通道设备之间是串行的方式来进行数据传输的，这样导致必须所有的通道设备都完成数据传输，dispatcher模块才会完成上一次的数据点位持久化处理，并继续接收数据，使得数据流出现周期性尖峰状态，流量波动比较大，且导致通道设备的效率很低。
技术实现思路
针对现有技术中在传输数据时阻塞数据的接收，且数据在通道设备中传输是采用的串行的方式，导致数据流出现周期性尖峰组状态，且使得通道设备的效率低下的缺陷，本申请提出了一种数据处理方法和设备，用以提高效率，且避免数据流出现周期性尖峰状态。本申请提出了一种数据处理方法，应用于包括数据持久化设备和多个通道处理设备的系统中，所述多个通道处理设备之间相互独立，包括：通道处理设备接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位；所述通道处理设备处理所述数据，并记录处理完成的数据的时间点位；当达到预设上报条件时，所述通道处理设备定时向所述数据持久化设备上报所处理的数据的时间点位。可选的，当达到预设上报条件时，所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位，具体包括：所述通道处理设备设置定时器；当所述定时器超时时，所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位；所述通道处理设备确定获取的时间点位中时间最早的时间点位；所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位；或所述通道处理设备统计处理的数据；当处理的数据的数据量超过阈值时，所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位；所述通道处理设备确定获取的时间点位中时间最早的时间点位；所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位。本申请还提出了一种数据处理方法，应用于包括数据持久化设备和多个通道处理设备的系统中，该方法包括：数据持久化设备接收待处理的数据，并将所述数据发送给通道处理设备，其中，每条数据都设置有时间点位；所述数据持久化设备接收所述通道处理设备返回的时间点位；所述数据持久化设备确定返回的时间点位中时间最早的时间点位，并将时间最早的时间点位持久化到数据库中。可选的，所述数据持久化设备接收待处理的数据，并将所述数据发送给通道处理设备，具体包括：所述数据持久化设备接收待处理的数据，并对所述数据进行hash计算，以确定每条数据所对应的通道处理设备；所述数据持久化设备基于hash计算的结果将所述数据分配到对应的通道处理设备。可选的，所述数据持久化设备确定返回的时间点位中时间最早的时间点位，并将时间最早的时间点位持久化到数据库中，具体包括：所述数据持久化设备确定接收到的时间点位所对应的时间；所述数据持久化设备获取所述时间中最早的时间，并确定所述最早的时间所对应的时间点；所述数据持久化设备将所述最早的时间所对应的时间点位存储到数据库中。本申请还提出了一种通道处理设备，包括：接收模块，用于接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位；处理模块，用于处理所述数据，并记录处理完成的数据的时间点位；上报模块，用于当达到预设上报条件时，向所述数据持久化设备上报所处理的数据的时间点位。可选的，所述上报模块，具体用于：设备设置定时器；当所述定时器超时时，获取在当前时间之前的预定时间长度内所处理的数据的时间点位；确定获取的时间点位中时间最早的时间点位；向所述数据持久化设备上报所述时间最早的时间点位；或统计处理的数据；当处理的数据的数据量超过阈值时，获取在当前时间之前的预定时间长度内所处理的数据的时间点位；确定获取的时间点位中时间最早的时间点位；向所述数据持久化设备上报所述时间最早的时间点位。。本申请还提出了一种数据持久化设备，包括：转发模块，用于接收待处理的数据，并将所述数据发送给通道处理设备，其中，每条数据都设置有时间点位；接收模块，用于接收所述通道处理设备返回的时间点位；持久化模块，用于确定返回的时间点位中时间最早的时间点位，并将时间最早的时间点位持久化到数据库中。可选的，所述转发模块，具体用于：接收待处理的数据，并对所述数据进行hash计算，以确定每条数据所对应的通道处理设备；基于hash计算的结果将所述数据分配到对应的通道处理设备。可选的，所述持久化模块，具体用于：确定接收到的时间点位所对应的时间；获取所述时间中最早的时间，并确定所述最早的时间所对应的时间点；将所述最早的时间所对应的时间点位存储到数据库中。与现有技术相比，本申请中通过设置通道处理设备之间并行处理数据，从而保证了数据处理的效率，另外设置通道处理设备独立上报自身处理完成的数据的时间点位，以便通道处理设备在进行数据处理时，还可以异步并行上报时间点位，以此在进行时间点位的上报时，可以保证数据的处理不被中断，且避免数据流出现周期性尖峰状态。附图说明图1为本申请实施例提出的一种数据处理方法的流程示意图；图2为本申请实施例提出的一种数据处理方法的流程示意图；图3为本申请实施例提出的一种具体场景下的数据处理的示意图；图4为本申请实施例提出的一种通道处理设备的结构示意图；图5为本申请实施例提出的一种数据持久化设备的结构示意图。具体实施方式如
技术介绍
，针对现有技术中的缺陷，本申请中提出了一种数据处理方法，应用于包括数据持久化设备和多个通道处理设备的系统中，如图1所示，包括以下步骤：步骤101、通道处理设备接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位。由于是需要对处理完成的数据进行持久化处理的，因此首先就为每条数据设置时间点位，用于标识该数据，其中时间点位可以是数据记录在数据库中的时间，每个数据都有唯一的一个时间，也即时间点位是唯一的。例如为数据1设置的时间点位为2013.03.21.06.23(即表示2013年3月21日6点23分)，当然也可以根据需要进行继续精确，例如精确到秒，甚至毫秒，微秒等除此以外，时间点位还可以是其他的形式，并不限于上述一种，只要能唯一标识数据，且能标识数据的顺序即可。而时间点位可以存储在每条数据的属性字段中，以便随着数据的传递而一并传递。步骤102、通道处理设备处理数据，并记录处理完成的数据的时间点位。通道处理设备接收到数据之后，就处理接收的数据，例如接收到数据1，处理该数据1，当处理完数据1时，记录该数据1的时间点位，与此同时，继续接收其他的数据，例如数据2，和处理数据2，以及记录处理完成的数据2的时间点位，至于数据3等等其他数据，与此相同，在此不再进行赘叙。步骤103、当达到预设上报条件时，通道处理设备向数据持久化设备上报所处理的数据的时间点位。具体的，上报时间点位的过程，具体包括：通道处理设备设置定时器；当定时器本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，应用于包括数据持久化设备和多个通道处理设备的系统中，所述多个通道处理设备之间相互独立，该方法包括：通道处理设备接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位；所述通道处理设备处理所述数据，并记录处理完成的数据的时间点位；当达到预设上报条件时，所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于包括数据持久化设备和多个通道处理设备的系统中，所述多个通道处理设备之间相互独立，该方法包括：通道处理设备接收数据持久化设备转发的待处理的数据，其中每条数据都设置有时间点位；所述通道处理设备处理所述数据，并记录处理完成的数据的时间点位；当达到预设上报条件时，所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位。2.如权利要求1所述的方法，其特征在于，所述当达到预设上报条件时，所述通道处理设备向所述数据持久化设备上报所处理的数据的时间点位，具体包括：所述通道处理设备设置定时器；当所述定时器超时时，所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位；所述通道处理设备确定获取的时间点位中时间最早的时间点位；所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位；或所述通道处理设备统计处理的数据；当处理的数据的数据量超过阈值时，所述通道处理设备获取在当前时间之前的预定时间长度内所处理的数据的时间点位；所述通道处理设备确定获取的时间点位中时间最早的时间点位；所述通道处理设备向所述数据持久化设备上报所述时间最早的时间点位。3.一种数据处理方法，其特征在于，应用于包括数据持久化设备和多个通道处理设备的系统中，该方法包括：数据持久化设备接收待处理的数据，并将所述数据发送给通道处理设备，
\t其中，每条数据都设置有时间点位；所述数据持久化设备接收所述通道处理设备返回的时间点位；所述数据持久化设备确定返回的时间点位中时间最早的时间点位，并将时间最早的时间点位持久化到数据库中。4.如权利要求1所述的方法，其特征在于，所述数据持久化设备接收待处理的数据，并将所述数据发送给通道处理设备，具体包括：所述数据持久化设备接收待处理的数据，并对所述数据进行hash计算，以确定每条数据所对应的通道处理设备；所述数据持久化设备基于hash计算的结果将所述数据分配到对应的通道处理设备。5.如权利要求1所述的方法，其特征在于，所述数据持...

【专利技术属性】
技术研发人员：张冬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY