【技术实现步骤摘要】
本申请涉及网络数据处理领域，特别是涉及一种日志数据记录的方法、日志服务器及系统。
技术介绍
随着互联网通讯越来越普及，与网络平台之间通过网络交互的用户数量越来越多，用户与平台之间交互的次数也越来越多。为了便于用户能够查询到已完成的交互的有关信息，通常采用的方式是网络平台将交互信息生成用户的日志数据，然后记录各个用户的各个交互产生的日志数据，这样，在用户需要查询已完成的交互信息时，可以直接在网络平台所记录的日志数据总查找该交互所对应的日志数据，然后再将查找到的日志数据返回给用户，这样查询者就可以获得所需的交互信息。在现有的日志数据记录方法中，每当产生一条用户日志数据，日志服务系统就将该条日志数据插入存储到系统中的某一台存储设备上，这样，为了在用户查询时日志服务系统能在日志存储设备中找到日志数据的存储位置，在将每条日志数据插入的同时都要对日志存储设备中的索引进行一次更新。通过现有技术来记录日志数据，由于每插入一条日志都需要对日志存储设备的索引进行一次更新，所以日志数据记录的速度较慢，导致日志数据记录的效率较低。而进一步的，当前由于网络平台业务量的增大，网络平台上产生的日志数据数量越来越多，通过现有技术来记录日志数据，难以及时地记录产生的大量日志数据，这样，不仅会造成日志数据的丢失，也会致使用户在交互完成之后的较长时间内查询不到交互信息，也即用户查询的延迟时间较长。
技术实现思路
<...
【技术保护点】
一种日志数据记录的方法，其特征在于，包括：将根据日志获取条件获取到的日志数据组成日志集合；确定用于存储所述日志集合的数据存储服务器；在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志集合中的所有日志数据导入所述数据表；在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。
【技术特征摘要】
1.一种日志数据记录的方法，其特征在于，包括：
将根据日志获取条件获取到的日志数据组成日志集合；
确定用于存储所述日志集合的数据存储服务器；
在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志
集合中的所有日志数据导入所述数据表；
在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日
志集合的数据表创建索引。
2.根据权利要求1所述的方法，其特征在于，所述将根据日志获取条
件获取到的日志数据组成日志集合，包括：
从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志
数据；
判断所述日志数据的条数是否达到预设的获取数据数量阈值；
如果否，则等待第一等待时间之后返回所述判断所述获取前一次组成
日志集合时刻之后生成的日志数据的步骤；
如果是，则将所述日志数据组成日志集合；所述日志集合对应的时间
段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
3.根据权利要求1所述的方法，其特征在于，所述将根据日志获取条
件获取到的日志数据组成日志集合，包括：
判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间
为当前时刻与前一次组成日志集合的时刻之间的时间；
如果否，则等待所述第二等待时间之后返回所述判断获取等待时间是
否达到预设的等待时间阈值的步骤；
如果是，则从分布式文件系统中，获取前一次组成日志集合时刻之后
生成的日志数据，并将所述日志数据组成一个日志集合；所述日志集合对
应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。
4.根据权利要求1所述的方法，其特征在于，所述日志获取条件为按
照日志数据的时间顺序获取日志，所述日志集合中所有日志数据的时间属
于同一时间段；
相应的，将根据日志获取条件获取到的日志数据组成日志集合之后，
还包括：将所述日志集合中的日志数据按照业务类型分类，形成至少一个
日志子集合；
相应的，所述在所述数据存储服务器上生成所述日志集合的数据表，
包括：
根据所述日志集合中每个日志子集合中的日志数据，对应生成每个日
志子集合的子数据表；
将所述日志集合中所有日志子集合的子数据表组合成所述日志集合的
数据表。
5.根据权利要求1所述的方法，其特征在于，所述确定用于存储所述
日志集合的数据存储服务器，具体为：确定用于存储所述日志集合的数据
存储服务器中当前未执行写任务的磁盘。
6.根据权利要求1所述的方法，其特征在于，所述在所述数据存储服
务器上生成所述日志集合的数据表之后，还包括：
判断所述数据存储服务器在预设的存储时间内是否返回存储完成信
息；所述存储完成信息为所述存储服务器在完成将所述日志集合中的所有
日志数据导入所述数据表并为所述数据表创建索引之后返回的信息；
如果否，则从未曾被确定用于存储所述日志集合的存储服务器中重新
确定用于存储所述日志集合的数据存储服务器，并返回所述将所述日志集
合存储到所述数据存储服务器的步骤。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
按照预设的删除时间周期性删除所述数据存储服务器中未完成存储的
日志集合。
8.根据权利要求1所述的方法，其特征在于，所述在所述数据存储服
务器上生成所述日志集合的数据表之后，还包括：
按照预设的合并时间周期性判断所述数据存储服务器上是否存在日志
数据数量小于预设的存储数量阈值的数据表；如果是，则将所述日志数据
数量小于存储数量阈值的数据表合并。
9.根据权利要求1所述的方法，其特征在于，所述为所述日志集合的
\t数据表创建索引之后，还包括：
将所述日志集合的数据表存储为独立的数据表文件集合；
复制所述日志集合对应的数据表文件集合中的数据表文件；
从未存储所述数据表文件的存储服务器中确定用于存储所述复制得到
的所述数据表文件的备份存储服务器；
将所述复制得到的数据表文件一一对应的存储到所述备份存储服务器
当前未执行写任务的磁盘中。
10.根据权利要求9所述的方法，其特征在于，所述从未存储所述数
据表文件的存储服务器中确定用于存储所述复制得到的所述数据表文件集
合的备份存储服务器，包括：
将所连接的存储服务器中均未存储所述数据表文件集合的交换机确定
为目标交换机；
从所述目标交换机所连接的存储服务器中确定用于存储所述复制得到
的所述数据表文件的备份存储服务器。
11.根据权利要求9所述的方法，其特征在于，所述将所述复制得到
的数据表文件存储到所述备份存储服务器中之后，还包括：
监测所述日志集合的数据表文件的副本份数；
判断所述数据表文件的副本份数与预设的副本份数阀值之间的大小关
系；
如果所述数据表文件的副本份数大于所述副本份数阈值，则将差值数
量的数据表文件删除；所述差值数量为所述数据表文件的副本份数与所述
副本份数阈值之间的差值；
如果所述数据表文件的副本份数小于所述副本份数阈值，则返回所述
复制所述日志集合对应的数据表文件集合的数据表文件的步骤。
12.一种查询日志数据的方法，其特征在于，通过权利要求1～11任意
一项所述的方法存储日志数据，所述日志集合中所有日志数据的时间都属
于同一时间段；通过权利要求9、10或11所述的方法备份日志数据；记录
所述日志集合与所述数据存储服务器之间、所述日志集合与所述备份存储
服务器之间以及所述日志集合与时间段之间的对应关系；
所述方法包括：
接收日志数据查询请求；
根据所述查询请求中目标日志数据的时间所在的时间段和所述日志集
合与时间段之间的对应关系，确定所述目标日志数据所在的目标日志集合；
根据所述日志集合与数据存储服务器之间的对应关系和/或所述日志
集合与备份存储服务器之间的对应关系，从存储有所述目标日志集合数据
表文件的数据存储服务器和备份存储服务器中，确定用于查询所述目标日
志的查询存储服务器；
在所述查询存储服务器上查找所述目标日志集合的数据表，并在查找
到的数据表中查找所述目标日志数据；
将查找到的目标日志数据合并输出。
13.一种记录日志数据的日志服务器，其特征在于，包括：
日志集合形成模块，用于将根据日志获取条件获取到的日志数据组成
日志集合；
数据存储服务器确定模块，用于确定用于存储所述日志集合的数据存
储服务器；
数据表生成模块，用于在所述数据存储服务器上生成所述日志集合的
数据表；
日志插入模块，用于将所述日志集合中的所有日志数据导入所述数据
表；
索引创建模块，用于在所述日志集合的所有日志数据全部导入所述数
据表之后，为所述日志集合的数据表创建索引。...
【专利技术属性】
技术研发人员：刘宾，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。