服务器及数据处理方法技术

技术编号:14510152 阅读:87 留言:0更新日期:2017-02-01 02:46
本发明专利技术公开了一种服务器,所述服务器包括:处理器以及分布式存储系统;所述处理器用于在所述在分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;对所述二级索引表中的数据进行更新;在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;按照预设的时间顺序依次排列所述二级索引表中各条记录。本发明专利技术还公开了一种数据处理方法。本发明专利技术在数据库中,实现了数据更新的同时,按照时间进行数据的排序。

【技术实现步骤摘要】

本专利技术涉及大数据领域,尤其涉及一种服务器及数据处理方法
技术介绍
目前,互联网公司在日常运营中会生成和累积用户网络行为数据。这些数据的规模非常庞大,以至于不能用G或T来衡量。因为数据存储量大,所以一般现在互联网公司都使用nosql非关系型数据库来存储大数据量的数据,Hbase(分布式存储系统)就是其中的一种。但是在实际使用hbase的过程中,由于hbase中rowkey(行主键)的设计问题,如果需要更新,则需要获知rowkey中的数据,比如使用ID或者其他信息;但是,如果需要按照时间进行数据的排序,则rowkey中需要设置时间字段,这样就又造成不可获知rowkey,导致数据无法更新。因此,现在的hbase无法兼容数据更新和数据排序两种功能。
技术实现思路
本专利技术的主要目的在于提出一种服务器及数据处理方法,旨在解决现在的hbase无法兼容数据更新和数据排序两种功能的技术问题。为实现上述目的,本专利技术提供的一种服务器,所述服务器包括:处理器以及分布式存储系统;所述处理器用于在所述分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;对所述二级索引表中的数据进行更新;在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;按照预设的时间顺序依次排列所述二级索引表中各条记录。可选地,所述处理器还用于:根据主表的行主键,建立所述主表关联的二级索引表,其中,二级索引表中各条记录对应的行主键与所述主表的行主键相同;从所述主表中获取数据,并将获取的数据添加到所述二级索引表的各条记录中;在每条记录的数据添加完成时,生成每条记录对应的时间戳。可选地,所述处理器对所述二级索引表中的数据进行更新包括:在所述数据更新指令为数据添加指令时,在所述二级索引表中添加记录项;从所述二级索引表关联的主表中获取对应的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳。可选地,所述处理器还用于:获取外界输入的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳;将所述新的记录添加到所述二级索引表关联的主表中。可选地,所述处理器还用于:在所述二级索引表的任一条记录中接收到数据修改指令时,获取修改后的数据;根据修改后的数据替换所述记录中的数据,其中,所述记录对应的时间戳保持不变。此外,为实现上述目的,本专利技术提供的一种数据处理装置,所述数据处理装置包括:确定模块,用于在分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;更新模块,用于对所述二级索引表中的数据进行更新;识别模块,用于在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;排列模块,用于按照预设的时间顺序依次排列所述二级索引表中各条记录。可选地,所述数据处理装置还包括:建立模块,用于根据主表的行主键,建立所述主表关联的二级索引表,其中,二级索引表中各条记录对应的行主键与所述主表的行主键相同;处理模块,用于从所述主表中获取数据,并将获取的数据添加到所述二级索引表的各条记录中;生成模块,用于在每条记录的数据添加完成时,生成每条记录对应的时间戳。可选地,所述更新模块包括:添加单元,用于在所述数据更新指令为数据添加指令时,在所述二级索引表中添加记录项;获取单元,用于从所述二级索引表关联的主表中获取对应的数据;生成单元,用于将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳。可选地,所述获取单元,还用于获取外界输入的数据;所述生成单元,还用于将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳;所述添加单元,还用于将所述新的记录添加到所述二级索引表关联的主表中。可选地,所述数据处理装置还包括:获取模块,用于在所述二级索引表的任一条记录中接收到数据修改指令时,获取修改后的数据;替换模块,用于根据修改后的数据替换所述记录中的数据,其中,所述记录对应的时间戳保持不变。此外,为实现上述目的,本专利技术还提出一种数据处理方法,所述数据处理方法包括:在分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;对所述二级索引表中的数据进行更新;在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;按照预设的时间顺序依次排列所述二级索引表中各条记录。可选地,所述在分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表的步骤之前,所述数据处理方法还包括:根据主表的行主键,建立所述主表关联的二级索引表,其中,二级索引表中各条记录对应的行主键与所述主表的行主键相同;从所述主表中获取数据,并将获取的数据添加到所述二级索引表的各条记录中;在每条记录的数据添加完成时,生成每条记录对应的时间戳。可选地,所述对所述二级索引表中的数据进行更新的步骤包括:在所述数据更新指令为数据添加指令时,在所述二级索引表中添加记录项;从所述二级索引表关联的主表中获取对应的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳。可选地,所述在所述数据更新指令为数据添加指令时,在所述二级索引表中添加记录项的步骤之后,所述数据处理方法还包括:获取外界输入的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳;将所述新的记录添加到所述二级索引表关联的主表中。可选地,所述按照预设的时间顺序依次排列所述二级索引表中各条记录的步骤之后,所述数据处理方法还包括:在所述二级索引表的任一条记录中接收到数据修改指令时,获取修改后的数据;根据修改后的数据替换所述记录中的数据,其中,所述记录对应的时间戳保持不变。本专利技术提出的服务器及数据处理方法,在分布式存储系统中接收到数据更新指令时,先确定待处理的二级索引表,然后对所述二级索引表中的数据进行更新,在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳,最终按照预设的时间顺序依次排列所述二级索引表中各条记录,实现了数据更新的同时,按照时间进行数据的排序,提高了数据处理的灵活性和智能性。附图说明图1为实现本专利技术各个实施例一个可选的服务器的硬件结构示意图;图2为本专利技术数据处理装置第一实施例的模块示意图;图3为本专利技术数据处理装置第二实施例的模块示意图;图4为图3中更新模块的细化模块示意图;图5为本专利技术数据处理装置第五实施例的模块示意图;图6为本专利技术数据处理方法第一实施例的流程示意图;图7为本专利技术数据处理方法第二实施例的流程示意图;图8为本专利技术对所述二级索引表中的数据进行更新较佳实施例的流程示意图;图9为本专利技术数据处理方法第五实施例的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。图1为实现本专利技术实施例一个可选的服务器的硬件结构示意。如图1所示,所述服务器包括处理器1001、分布式存储系统1002以及外界接口1003;所述处理器1001用于在所述分布式存储系统1002中接收到数据更新指令时,确定待处理的二级索引表,然后对所述本文档来自技高网...

【技术保护点】
一种服务器,其特征在于,所述服务器包括:处理器以及分布式存储系统;所述处理器用于在所述分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;对所述二级索引表中的数据进行更新;在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;按照预设的时间顺序依次排列所述二级索引表中各条记录。

【技术特征摘要】
1.一种服务器,其特征在于,所述服务器包括:处理器以及分布式存储系统;所述处理器用于在所述分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表;对所述二级索引表中的数据进行更新;在数据更新完成时,若接收到数据排序指令,识别所述二级索引表中各条记录的预置时间戳;按照预设的时间顺序依次排列所述二级索引表中各条记录。2.如权利要求1所述的服务器,其特征在于,所述处理器还用于:根据主表的行主键,建立所述主表关联的二级索引表,其中,二级索引表中各条记录对应的行主键与所述主表的行主键相同;从所述主表中获取数据,并将获取的数据添加到所述二级索引表的各条记录中;在每条记录的数据添加完成时,生成每条记录对应的时间戳。3.如权利要求2所述的服务器,其特征在于,所述处理器对所述二级索引表中的数据进行更新包括:在所述数据更新指令为数据添加指令时,在所述二级索引表中添加记录项;从所述二级索引表关联的主表中获取对应的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳。4.如权利要求3所述的服务器,其特征在于,所述处理器还用于:获取外界输入的数据;将获取的数据添加到所述二级索引表增加的记录项中,以生成新的记录,并生成所述新的记录的时间戳;将所述新的记录添加到所述二级索引表关联的主表中。5.如权利要求1-4任一项所述的服务器,其特征在于,所述处理器还用于:在所述二级索引表的任一条记录中接收到数据修改指令时,获取修改后的数据;根据修改后的数据替换所述记录中的数据,其中,所述记录对应的时间戳保持不变。6.一种数据处理方法,其特征在于,所述数据处理方法包括:在分布式存储系统中接收到数据更新指令时,确定待处理的二级索引表...

【专利技术属性】
技术研发人员:林伟
申请(专利权)人:努比亚技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1