【技术实现步骤摘要】
本专利技术的实施例涉及数据处理,具体涉及一种业务数据的处理方法及设备。
技术介绍
随着互联网的迅猛发展,各个互联网企业每天都会产生海量业务数据。通过对这些业务数据进行大数据应用,例如进行大数据收集、大数据解析和大数据分析等操作,互联网企业能够有效进行企业战略决策。然而,各种业务的业务数据之间可能不规范和不统一从而不适于直接用于大数据应用。例如,用于出租车业务的业务数据更关注于出租车和乘客的距离,于是按照一种格式生成业务数据,而用于专车业务的业务数据更关注于专车的支付流程,于是按照另外一种格式生成业务数据,这就使得它们的业务数据在数据格式上存在一定差异,这些差异将降低大数据应用特别是大数据收集和大数据解析的工作效率。
技术实现思路
本专利技术的实施例旨在提供一种业务数据的处理方法及设备,能够解决相关技术中大数据应用的工作效率不高的问题。根据本专利技术的一个方面,提供了一种业务数据的处理方法。该方法包括:从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;基于该业务数据,生成日志数据;以及将该日志数据分别存储在与该业务数据相应的服务器的相应位置处。根据本专利技术的一个方面,还提供了一种业务数据的处理方法。该方法包括:从多个服务器的相应位置处获取多个日志文件;以及将多个日志文件分别存储到多个文件夹中,其中多个服务器分别用于多种业务,多个日志文件分别 ...
【技术保护点】
一种业务数据的处理方法,包括:从多个服务器获取相应的业务数据,其中所述多个服务器分别用于多种业务;基于所述业务数据,生成日志数据;以及将所述日志数据分别存储在与所述业务数据相应的服务器的相应位置处,以用于大数据应用。
【技术特征摘要】
1.一种业务数据的处理方法,包括:
从多个服务器获取相应的业务数据,其中所述多个服务器分别
用于多种业务;
基于所述业务数据,生成日志数据;以及
将所述日志数据分别存储在与所述业务数据相应的服务器的相
应位置处,以用于大数据应用。
2.根据权利要求1所述的方法,其中基于所述业务数据,生成
日志数据包括:
从所述业务数据中提取具有特定键名的数据;以及
基于所述提取的数据,生成所述日志数据。
3.根据权利要求2所述的方法,还包括:
生成用于唯一指示所述日志数据的类型的日志前缀;以及
在所述日志数据中的、所述提取的数据之前增加所述日志前缀。
4.根据权利要求2所述的方法,还包括:
如果针对所述日志数据增加键名,则在所述日志数据中的、所
述提取的数据之后增加所述键名。
5.根据权利要求2所述的方法,还包括:
如果针对所述日志数据减少键名,则将所述键名所对应的键值
设置为默认值,而不在所述日志数据中减少所述键名。
6.根据权利要求1至5中任一项所述的方法,其中将所述日志
数据分别存储在与所述业务数据相应的服务器的相应位置处包括:
按照生成所述日志数据的时间所归属的时间区间,分别生成包
括相应的日志数据的多个日志文件,其中每个日志文件的文件名称
与所述时间区间关联;以及
将所述多个日志文件分别存储在与所述业务数据相应的服务器
的相应位置处。
7.一种业务数据的处理方法,包括:
从多个服务器的相应位置处获取多个日志文件;以及
将所述多个日志文件分别存储到多个文件夹中,
其中所述多个服务器分别用于多种业务,所述多个日志文件分
别基于相应的日志数据而生成,所述日志数据分别基于从所述多个
服务器获取的相应的业务数据而生成。
8.根据权利要求7所述的方法,其中从所述多个服务器的所述
相应位置处获取所述多个日志文件包括:
将所述多个服务器的服务器编号和所述相应位置进行组合,以
得到多个存储位置;以及
在所述多个存储位置中分别收集所述多个日志文件。
9.根据权利要求7所述的方法,其中将所述多个日志文件分别
存储到多个文件夹中包括:
按照所述多个日志文件的文件名称,将所述多个日志文件分别
存储到所述多个文件夹中,其中每个文件夹按照生成所述日志数据
的时间所归属的时间区间而建立,所述文件名称与所述时间区间关
联。
10.根据权利要求7至9中任一项所述的方法,还包括:
在所述多个文件夹中获取所述多个日志文件;以及
按照所述多个日志文件中的日志数据的日志前缀输出所述日志
数据,其中所述日志前缀用于唯一指示所述日志数据的类型。
11.一种业务数据的处理设备,包括:
获取装置,用于从多个服务器获取相应的业务数据,其中所述
多个服务器分别用于...
【专利技术属性】
技术研发人员:任长延,
申请(专利权)人:北京通达无限科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。