The invention discloses a data processing method comprises the following steps: step one, get the current user behavior data; step two, determine the maximum throughput is user behavior data acquisition data beyond the first data processing applications, or if the opening of the first data processing application processing the user behavior data, and end the process if it is, step three; step three, will be part of the data is equivalent to the maximum throughput of the user behavior data into normal data queue, the data into a data retry queue; step four, the opening of the first data processing is applied to extract the normal data in the queue of data and data processing, and enable retry data processing application data extraction retry queue in data and data processing; the purpose of the invention is to provide a can and A data processing method for processing new user behavior data, speeding up processing efficiency and improving user experience comfort is processed.
【技术实现步骤摘要】
一种数据处理方法
本专利技术属于互联网数据处理方法设计
,具体涉及一种可以加快处理效果和保证用户体验效果的数据处理方法。
技术介绍
随着互联网行业的发展,基于大量用户访问数据,避免网站奔溃成了各大互联网公司的主要研究方向,现有技术的对实时处理用户方式中,当出现一段时间内待处理的数据量突然增大超过当前应用的处理能力或处理过程中产生一些失败时,通常是通过在处理过程中慢慢排队处理或对失败的处理进行重试。这样的方式易导致当前处理过程被占用,后续产生的用户行为数据得不到实时处理的缺陷,影响用户体验。
技术实现思路
本专利技术的目的在于提供一种可以及时处理新产生用户行为的数据,加快处理效率并提高用户体验舒适度的数据处理方法。本专利技术技术方案的一种数据处理方法,包括以下步骤:步骤一、获取当前的用户行为数据;步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量,若否则启用第一数据处理应用处理所述用户行为数据,并结束流程,若是则执行步骤三;步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中,将其余数据放入重试数据队列中;步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理,并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。优选的,所述数据处理方法还包括以下步骤:步骤五、实时获取数据处理的结果,并将处理失败的数据放入到重试数据队列中。优选的,所述步骤二及步骤四中的数据处理包括数据的分析、筛选和/或存储。优选的,所述第一数据处理应用和重试数据处理应用基于不同的硬件设备实施。优选的,所述用户行为数据包括 ...
【技术保护点】
一种数据处理方法,其特征在于,包括以下步骤:步骤一、获取当前的用户行为数据;步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量,若否则启用第一数据处理应用处理所述用户行为数据,并结束流程,若是则执行步骤三;步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中,将其余数据放入重试数据队列中;步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理,并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理。
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括以下步骤:步骤一、获取当前的用户行为数据;步骤二、判断获取的用户行为数据的数据量是否超出第一数据处理应用的最大处理量,若否则启用第一数据处理应用处理所述用户行为数据,并结束流程,若是则执行步骤三;步骤三、将所述用户行为数据中相当于所述最大处理量的部分数据放入正常数据队列中,将其余数据放入重试数据队列中;步骤四、启用第一数据处理应用提取正常数据队列中的数据并进行数据处理,并启用重试数据处理应用提取重试数据队列中的数据并进行数据处理...
【专利技术属性】
技术研发人员:徐乐,
申请(专利权)人:合肥市乐腾科技咨询有限公司,
类型:发明
国别省市:安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。