数据处理的方法和系统技术方案

本发明专利技术公开了一种数据处理的方法和系统，属于网络通信技术领域。所述方法包括：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中所述最小存储单元是以所述长关系链用户为单位进行划分的；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。

【技术实现步骤摘要】

本专利技术涉及网络通信
，特别涉及一种数据处理的方法和系统。
技术介绍
随着微博的兴起，越来越多的网络用户加入到微博用户中，甚至出现了一批长关系链用户。长关系链用户是指听众数超过一定数目的用户，如明星认证用户。由于长关系链用户的听众太多，产生的数据量比较大，所以服务端如何提高响应巨量请求的速度，尽快完成服务，是需要解决的基本问题。
技术实现思路
为了提高对长关系链用户的听众信息的处理速度，本专利技术实施例提供了一种数据处理的方法和系统。所述技术方案如下：一方面，提供了一种数据处理的方法，所述方法包括：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中所述最小存储单元是以所述长关系链用户为单位进行划分的；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。所述数据缓冲层将所述操作请求推送到业务层，包括：数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到业务层的所述最小操作单元中。所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，包括：所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中。所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。另一方面，提供了一种数据处理的系统，所述系统包括：数据缓冲层和业务层；所述数据缓冲层，用于接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到所述业务层；所述业务层，用于接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；所述业务层还用于当所述最小存储单元中缓存的数据达到预设条件时，根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。所述数据缓冲层将所述操作请求推送到业务层，包括：数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到所述业务层的所述最小操作单元中。所述业务层包括接收进程和入库进程；所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，包括：所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中。所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作中之后，还包括：所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。本专利技术实施例提供的技术方案带来的有益效果是：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。通过以长关系链用户为单元划分最小存储单元，使得业务层在接收到数据缓冲层推送过来的听众的操作请求时，业务层能够按照最小存储单元存储操作请求，实现对底层数据库的批量操作，减轻了数据的操作负担，提高了对长关系链用户听众信息的处理速度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的一种数据处理的系统示意图；图2是本专利技术实施例一提供的另一种数据处理的系统示意图；图3是本专利技术实施例二提供的一种数据处理的方法流程图；图4是本专利技术实施例三提供的一种数据处理的方法流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。实施例一参见图1，本实施例中提供了一种数据处理的系统，所述系统包括：数据缓冲层101和业务层102；所述数据缓冲层101，用于接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到所述业务层；所述业务层102，用于接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；所述业务层102还用于当所述最小存储单元中缓本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，所述方法包括：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：
数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作
请求推送到业务层；
所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请
求按照所述最小存储单元进行缓存，其中，所述最小存储单元是以所述长关系
链用户为单位进行划分的；
当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设
的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求
对所述指定的数据库进行操作。
2.根据权利要求1所述的方法，其特征在于，所述数据缓冲层将所述操作
请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由
到业务层的所述最小操作单元中。
3.根据权利要求2所述的方法，其特征在于，所述业务层接收所述数据缓
冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓
存，包括：
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，
并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单
元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作
请求缓存到所述最小存储单元中。
4.根据权利要求3所述的方法，其特征在于，所述业务层中的接收进程接
收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到
所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步

\t序号用于标识所述接收进程与所述数据缓冲层的同步进度。
5.根据权利要求4所述的方法，其特征在于，所述业务层中的入库进程读
取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述指定的预设单元的同步序号，判断
所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序
号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序
号用于标识所述入库进程与所述接收进程的同步进度。
6.一种数据处理的系统，其特征在于，所述系统包括：数...

【专利技术属性】
技术研发人员：王辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44