数据智能统计系统技术方案

技术编号:9238506 阅读:134 留言:0更新日期:2013-10-10 02:34
本发明专利技术涉及计算机技术及通信领域,具体而言,涉及一种数据智能统计系统。本发明专利技术将源数据按字段进行分组,通过设置适当的分组个数及设置适当的统计时间粒度及超时时间使数据统计模块对内存的占用处于适当的程度,系统管理模块根据CPU的使用状况增加或减少并行处理的数据统计模块的个数,以实现对CPU的最优化利用。通过CPU及内存的优化利用降低从收到业务数据到生成最终统计结果之间的时延。

【技术实现步骤摘要】

【技术保护点】
一种数据智能统计系统,其特征在于,所述数据智能统计系统包括:系统管理模块、数据接收模块、文件管理模块、数据统计模块、规则解析模块、数据汇总模块;其中:所述系统管理模块用于对其他各模块进行启动、停止、调度管理及运行状态监测;所述规则解析模块包含:源数据抽取字段表、字段映射关系表、汇总定义表、数据映射表、统计文件控制表;所述数据接收模块用于接收源数据并解析该源数据的包头ID,并检查所述数据映射表中是否包含该包头ID,如不包含,则将该源数据返回;如包含,则将该源数据及其数据格式透传到文件管理模块;所述文件管理模块用于接收到该源数据后,根据源数据抽取字段表对该源数据进行数据抽取,并按照设定的统计时间粒度将数据抽取后的源数据按统计文件控制表分组存放到各统计文件中;同时,设定一个超时时间,在存放一次数据之后,如果在一个统计时间粒度加上设定的超时时间之后还是没有该时间粒度的数据到来,则将各组统计文件发送给数据统计模块;所述数据统计模块用于将各统计文件根据字段映射关系表的统计规则进行统计,生成统计表各字段的统计值;所述数据汇总模块用于根据汇总定义表将统计表各字段的统计值还原成单条记录。

【技术特征摘要】

【专利技术属性】
技术研发人员:何立平
申请(专利权)人:深圳市博瑞得科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1