业务数据的处理方法及设备技术

技术编号:14945047 阅读:48 留言:0更新日期:2017-04-01 11:31
本发明专利技术的实施例公开了一种业务数据的处理方法及设备。该方法包括:从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;基于该业务数据,生成日志数据;以及将该日志数据分别存储在与该业务数据相应的服务器的相应位置处。本发明专利技术的实施例能够获得规范和统一的日志数据并且将其直接用于大数据应用,从而提高大数据应用特别是大数据收集和大数据解析的工作效率。

【技术实现步骤摘要】

本专利技术的实施例涉及数据处理,具体涉及一种业务数据的处理方法及设备
技术介绍
随着互联网的迅猛发展,各个互联网企业每天都会产生海量业务数据。通过对这些业务数据进行大数据应用,例如进行大数据收集、大数据解析和大数据分析等操作,互联网企业能够有效进行企业战略决策。然而,各种业务的业务数据之间可能不规范和不统一从而不适于直接用于大数据应用。例如,用于出租车业务的业务数据更关注于出租车和乘客的距离,于是按照一种格式生成业务数据,而用于专车业务的业务数据更关注于专车的支付流程,于是按照另外一种格式生成业务数据,这就使得它们的业务数据在数据格式上存在一定差异,这些差异将降低大数据应用特别是大数据收集和大数据解析的工作效率。
技术实现思路
本专利技术的实施例旨在提供一种业务数据的处理方法及设备,能够解决相关技术中大数据应用的工作效率不高的问题。根据本专利技术的一个方面,提供了一种业务数据的处理方法。该方法包括:从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;基于该业务数据,生成日志数据;以及将该日志数据分别存储在与该业务数据相应的服务器的相应位置处。根据本专利技术的一个方面,还提供了一种业务数据的处理方法。该方法包括:从多个服务器的相应位置处获取多个日志文件;以及将多个日志文件分别存储到多个文件夹中,其中多个服务器分别用于多种业务,多个日志文件分别基于相应的日志数据而生成,这些日志数据分别基于从多个服务器获取的相应的业务数据而生成。根据本专利技术的另一个方面,提供了一种业务数据的处理设备。该设备包括:获取装置,用于从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;第一生成装置,用于基于该业务数据,生成日志数据;以及存储装置,用于将该日志数据分别存储在与该业务数据相应的服务器的相应位置处,以用于大数据应用。根据本专利技术的另一个方面,还提供了一种业务数据的处理设备。该设备包括:第一获取装置,用于从多个服务器的相应位置处获取多个日志文件;以及存储装置,用于将多个日志文件分别存储到多个文件夹中,其中多个服务器分别用于多种业务,多个日志文件分别基于相应的日志数据而生成,该日志数据分别基于从多个服务器获取的相应的业务数据而生成。本专利技术的实施例能够获得规范和统一的日志数据并且将其直接用于大数据应用,从而提高大数据应用特别是大数据收集和大数据解析的工作效率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解,构成本申请的一部分,本专利技术的示意性实施例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。在附图中:图1是图示了本专利技术的实施例可实现于其中的网络架构100的图;图2是根据本专利技术的实施例的业务数据的处理方法200的流程图;图3是根据本专利技术的实施例的业务数据的处理方法300的流程图;图4是根据本专利技术的实施例的业务数据的处理设备400的结构框图;以及图5是根据本专利技术的实施例的业务数据的处理设备500的结构框图。具体实施方式下面将参考附图中示出的若干示例性实施方式来描述本专利技术的原理和精神。应当理解,描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术,而并非以任何方式限制本专利技术的范围。参考图1,其图示了本专利技术的实施例可实现于其中的网络架构100的图。该网络架构100包括由网络120连接的多个服务器102、104、106、112、114和116。这些服务器可以分别用于不同的业务。例如,服务器102、104和106可以分别用于出租车业务,而服务器112、114和116可以分别用于专车业务。另外,该网络架构100还可以包括用于大数据应用的大数据服务器122。这些服务器中的每个服务器都可以包括处理设备和数据库,该数据库用于存储相应的计算机指令和业务数据,该处理设备用于执行在相应的数据库中所存储的计算机指令以执行例如根据本专利技术的实施例的业务数据处理的功能。本领域技术人员可以理解,上述服务器既可以代表比如计算机服务器的单个计算设备,也可以代表一起工作以执行功能的多个计算设备(例如云服务器hadoop)。同时,上述网络120既可以是公用通信网络(例如因特网、蜂窝数据网络、通过电话的拨号调制解调器网络),也可以是私有通信网络(例如私有局域网、专线)。应当理解,图1中的网络架构100仅仅用于说明目的,并非旨在限制本专利技术的实施例的范围。在某些情况下,某些组件可以按照具体需要而增加或者减少。图2是根据本专利技术的实施例的业务数据的处理方法200的流程图。本领域技术人员可以理解,该方法200可以由参考图1所示的服务器中的处理设备来执行。为讨论方便,下文将参考图1所示的网络结构100来描述该方法200。在方法200开始之后,在步骤S202,从多个服务器获取相应的业务数据,其中这些服务器分别用于多种业务。例如,在图1中的网络架构100中,可以分别从服务器102、104和106获取用于出租车业务的业务数据,和/或分别从服务器112、114和116获取用于专车业务的业务数据。这种获取既可以由该服务器内部的处理设备来执行,也可以由该服务器外部的处理设备来执行。本领域技术人员可以理解,由该服务器内部的处理设备来执行是简便地从而是可选地,这可以减少业务数据在网络中的传输量。接下来,该方法200进行到步骤S204,基于该业务数据,生成日志数据。如本专利技术
技术介绍
部分所说明的,各种业务的业务数据由于不规范和不统一因而不适于直接用于大数据应用。因此,本发明的实施例基于这些业务数据而生成具有特定格式的日志数据从而使得该日志数据规范和统一。例如,如下文将更加详细描述的,如果需要将用于出租车业务的业务数据和用于专车业务的业务数据都用于微信支付的大数据应用,则所生成的日志数据可以包括这些业务数据所共有的数据,例如支付时间、支付总额、利用微信红包所支付的金额以及利用现金所支付的金额,从而避免由于业务数据不规范和不统一所产生的影响。该方法200继而进行到步骤S206,将上述日志数据分别存储在与上述业务数据相应的服务器的相应位置处。例如,在图1中的网络架构100中,对于从服务器102所获取的业务数据,在通过上述步骤S204生成相应的日志数据之后,将该日志数据存储在该服务器102的相应位置处。其中,该相应位置既可以与获取本文档来自技高网
...

【技术保护点】
一种业务数据的处理方法,包括:从多个服务器获取相应的业务数据,其中所述多个服务器分别用于多种业务;基于所述业务数据,生成日志数据;以及将所述日志数据分别存储在与所述业务数据相应的服务器的相应位置处,以用于大数据应用。

【技术特征摘要】
1.一种业务数据的处理方法,包括:
从多个服务器获取相应的业务数据,其中所述多个服务器分别
用于多种业务;
基于所述业务数据,生成日志数据;以及
将所述日志数据分别存储在与所述业务数据相应的服务器的相
应位置处,以用于大数据应用。
2.根据权利要求1所述的方法,其中基于所述业务数据,生成
日志数据包括:
从所述业务数据中提取具有特定键名的数据;以及
基于所述提取的数据,生成所述日志数据。
3.根据权利要求2所述的方法,还包括:
生成用于唯一指示所述日志数据的类型的日志前缀;以及
在所述日志数据中的、所述提取的数据之前增加所述日志前缀。
4.根据权利要求2所述的方法,还包括:
如果针对所述日志数据增加键名,则在所述日志数据中的、所
述提取的数据之后增加所述键名。
5.根据权利要求2所述的方法,还包括:
如果针对所述日志数据减少键名,则将所述键名所对应的键值
设置为默认值,而不在所述日志数据中减少所述键名。
6.根据权利要求1至5中任一项所述的方法,其中将所述日志
数据分别存储在与所述业务数据相应的服务器的相应位置处包括:
按照生成所述日志数据的时间所归属的时间区间,分别生成包
括相应的日志数据的多个日志文件,其中每个日志文件的文件名称
与所述时间区间关联;以及
将所述多个日志文件分别存储在与所述业务数据相应的服务器
的相应位置处。
7.一种业务数据的处理方法,包括:
从多个服务器的相应位置处获取多个日志文件;以及
将所述多个日志文件分别存储到多个文件夹中,
其中所述多个服务器分别用于多种业务,所述多个日志文件分
别基于相应的日志数据而生成,所述日志数据分别基于从所述多个
服务器获取的相应的业务数据而生成。
8.根据权利要求7所述的方法,其中从所述多个服务器的所述
相应位置处获取所述多个日志文件包括:
将所述多个服务器的服务器编号和所述相应位置进行组合,以
得到多个存储位置;以及
在所述多个存储位置中分别收集所述多个日志文件。
9.根据权利要求7所述的方法,其中将所述多个日志文件分别
存储到多个文件夹中包括:
按照所述多个日志文件的文件名称,将所述多个日志文件分别
存储到所述多个文件夹中,其中每个文件夹按照生成所述日志数据
的时间所归属的时间区间而建立,所述文件名称与所述时间区间关
联。
10.根据权利要求7至9中任一项所述的方法,还包括:
在所述多个文件夹中获取所述多个日志文件;以及
按照所述多个日志文件中的日志数据的日志前缀输出所述日志
数据,其中所述日志前缀用于唯一指示所述日志数据的类型。
11.一种业务数据的处理设备,包括:
获取装置,用于从多个服务器获取相应的业务数据,其中所述
多个服务器分别用于...

【专利技术属性】
技术研发人员:任长延
申请(专利权)人:北京通达无限科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1