一种海量数据统计方法技术

本发明专利技术提供了一种海量数据统计方法，该方法建有ＭＴ、ＭＣ、ＭＯ三个数据库表，并在三个表中分别建立五个数据表空间。三个表分别分成９１个分区，用于保存连续９０天的数据。数据的查询和统计分析可根据日期计算要查询的分区号，根据分区号查找指定分区的数据。由于每个分区的数据量只相当于总数据的九十分之一，因此查询和保存数据的速度得到了极大的提高。多表关联改为单表查询大大提高了查询速度。查询结果的差集和交集技术又使需处理的数据量极大地减少，从而极大地提高了统计性能。该技术的应用使得对系统的硬件投资大大地降低，充分满足了中国移动对业务的需求。

【技术实现步骤摘要】

本专利技术涉及一种信息技术，尤其涉及。
技术介绍
传统大型应用软件系统对其应用的管理对象采集必要的数据进行统计分析，一般而言，统计分析的数据量都非常巨大，如中国移动在进行业务推广过程中需要针对不同的用户群采用不同的推广策略。目前分析用户群主要是根据用户产生的话单来分析，每个省的短信话单每天就有好几百万甚至上千万，并且数据还要保存3个月。要从如此海量的数据中找出各类用户群，并针对性地开展业务推广，传统的方法是先把话单数据导入数据库，由于许多数据分布在不同的表中，因此需要根据多表关联遍历数据库，当同时关联表超过3-4个时，查询效率明显降低，逐条记录查询、插入用户话单和其他统计报表又将严重影响统计分析性能。况且，用户按其属性分类包括免费用户群(黑名单)，点播业务用户群，点播业务高端用户群，包月业务用户群，包月业务高端用户群，白银用户，黄金用户，钻石用户。每一种用户都有各自的查询条件，每月还需根据上月的话单情况更新用户分类数据，完成如此多的业务统计分析按传统的方法需要单独的系统，而且运行非常低，如和其他业务平台共同运行则会严重影响其他业务的正常运行。免费用户群(黑名单)此类用户只使用SP提供的免费业务或只在业务的免费期使用业务，从不使用付费业务。这些用户对短信业务费用非常敏感，是造成短信业务投诉的主要用户群。我们将其定义为″黑名单″，是指在短信业务推广过程中要尽量避免此类用户。点播业务用户群此类用户只使用SP提供的点播业务，从不使用包月定制业务。这些用户往往对SP的业务非常熟悉，对业务的及时性、专业性要求较高，对短信资费较为敏感，不过一旦业务定位符合其需要，此类用户也极易成为点播业务的高端用户。点播业务高端用户群此类用户是点播业务的高端用户。除了具备点播业务用户的特点之外，此类用户在点播业务上的支出较大，往往也能在短信中获利。他们是点播业务的忠实用户，较易接受短信业务的推广。高端的界定标准是每月点播的条数。可由用户选择。包月业务用户群此类用户只使用SP提供的包月定制业务。这些用户对SP的业务不是非常熟悉，对业务的成熟度要求较高，对短信资费不是非常敏感，较易接受短信业务的推广。包月业务高端用户群此类用户是包月业务的高端用户。这些用户对SP的业务非常熟悉，对业务的接纳程度高，对短信资费不敏感，很容易接受短信业务的推广。高端的界定标准是每月包月业务的总项目数。可由用户选择。白银用户此类用户属于短信业务的高端用户。这些用户在短信业务上的花费较高。是运营商应该采取一定的奖励策略保有的用户群。此类用户的界定标准是每月包月业务的总项目数与点播业务总条数的加权和。可由用户选择。黄金用户此类用户属于短信业务的高端用户。这些用户在短信业务上的花费较白银用户高。是运营商应该采取更高的奖励策略保有的用户群。此类用户的界定标准是每月包月业务的总项目数与点播业务总条数的加权和。可由用户选择。钻石用户此类用户属于短信业务的高端用户。这些用户在短信业务上的花费较黄金用户高。是运营商应该想尽一切办法保有的用户群。此类用户的界定标准是每月包月业务的总项目数与点播业务总条数的加权和。可由用户选择。
技术实现思路
本专利技术的目的，在于提供。本专利技术的目的是这样实现的，包括以下内容A、建立MT、MC、MO三个数据库表结构A1、把MT、MC、MO三个表分别分成多个分区，每个分区相当于一个数据库小表，数据插入按分区进行，按日期划分分区，分区号根据日期产生且值在分区号范围内循环更新；A2、在MT、MC、MO三个表中分别建立五个数据表空间，一个分区使用一个表空间，相隔五个号的分区使用相同的表空间，即第6个分区使用和第1个分区相同的表空间，其他类推；A3、将CDR话单按属性区分为免费用户群、点播用户群和包月用户群，将免费用户群话单数据存放在MT表中、将点播用户群话单数据存放在MC表中、将包月用户群话单数据存放在MO表中；A4、各分区分别根据手机号建立索引；A5、建立免费用户群表，该表包含用户手机号码和状态二个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；A6、建立点播用户群表，该表包含用户手机号码、状态和点播数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；A7、建立包月用户群表，该表包含用户手机号码、状态和包月业务的项目数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；B、对特定属性的用户群从月初到月尾按天统计一个月的数据B1、查询并保存该月CDR中的只使用免费业务的用户并过滤已经存在的记录；B2、查询并保存该月CDR中的只使用点播业务的用户并过滤已经存在的记录； B3、查询并保存该月CDR中的只使用包月业务的用户并过滤已经存在的记录；B4、对免费用户群中有使用过其他业务的记录将其状态设置为无效B5、对点播用户群中有使用过其他业务的记录将其状态设置为无效；B6、对包月用户群中有使用过其他业务的记录将其状态设置为无效。步骤A1中所述的MT、MC、MO三个表分别分成91个分区，用于保存连续90天的数据，每天的数据依序插入各个分区，当90天的数据分别插入90个分区后，第91天的数据插入第91个分区，然后删除第1个分区的数据，实现始终保存最近90天的数据。步骤B1、中所述的查询并保存该月CDR中的只使用免费业务的用户并过滤已经存在的记录、步骤B2中所述的查询并保存该月CDR中的只使用点播业务的用户并过滤已经存在的记录、步骤B3中所述的查询并保存该月CDR中的只使用包月业务的用户并过滤已经存在的记录方法相同，步骤如下a、根据统计任务运行时间，计算上月第一天的日期；b、计算上月最后一天的日期；c、计算上月第一天的分区号；d、初始化参数计算日期＝上月的第一天的日期；e、初始化参数计算分区号＝上月的第一天的分区号；f、根据计算日期是否小于等于上月最后一天的日期的判断按天循环插入用户进行查询。上述步骤f中所述的根据计算日期是否小于等于上月最后一天的日期的判断按天循环插入用户进行查询的方法如下f1、在特定属性的用户群表中根据分区号查询所有特定属性用户的唯一的手机号，该手机号必须同时不在其它用户群表中，该查询结果不包含已存在特定属性用户群表中的手机号；f2、将查询结果每100条作为一批插入数据库，直到全部插完；f3、循环计算下一天的日期；f4、循环计算下一天的分区号直到处理完该月的所有数据；步骤B4中所述的对免费用户群中有使用过其他业务的记录将其状态设置为无效、步骤B5中所述的对点播用户群中有使用过其他业务的记录将其状态设置为无效、步骤B4中所述的对包月用户群中有使用过其他业务的记录将其状态设置为无效的方法相同，步骤如下a、初始化参数计算日期＝上月的第一天的日期；b、初始化参数计算分区号＝上月的第一天的分区号；c、根据计算日期是否小于等于上月最后一天的日期的判断按天循环更新用户群表。上述步骤c中所述的根据计算日期是否小于等于上月最后一天的日期的判断按天循环更新用户群表的方法如下c1、查询特定属性用户群表中状态为有效的手机号，根据分区号查询特定用户群表中其它用户群的用户手机号，取二者查询结果的交集作为查询结果；c2、将查询结果每100条作为一批更新特定属性用户群表的用户手机号对应的状态为无效，直到全部更新本文档来自技高网...

【技术保护点】
一种海量数据统计方法，其特征在于，包括以下内容：　　　　Ａ、建立ＭＴ、ＭＣ、ＭＯ三个数据库表结构　　　　Ａ１、把ＭＴ、ＭＣ、ＭＯ三个表分别分成多个分区，每个分区相当于一个数据库小表，数据插入按分区进行，按日期划分分区，分区号根据日期产生且值在分区号范围内循环更新；　　　　Ａ２、在ＭＴ、ＭＣ、ＭＯ三个表中分别建立五个数据表空间，一个分区使用一个表空间，相隔五个号的分区使用相同的表空间，即第６个分区使用和第１个分区相同的表空间，其他类推；　　　　Ａ３、将ＣＤＲ话单按属性区分为免费用户群、点播用户群和包月用户群，将免费用户群话单数据存放在ＭＴ表中、将点播用户群话单数据存放在ＭＣ表中、将包月用户群话单数据存放在ＭＯ表中；　　　　Ａ４、各分区分别根据手机号建立索引；　　　　Ａ５、建立免费用户群表，该表包含用户手机号码和状态二个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；　　　　Ａ６、建立点播用户群表，该表包含用户手机号码、状态和点播数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；　　　　Ａ７、建立包月用户群表，该表包含用户手机号码、状态和包月业务的项目数三个字段，数据存放在特定的表空间，用户手机号码为主键，并使用索引表空间；　　　　Ｂ、对特定属性的用户群从月初到月尾按天统计一个月的数据　　　　Ｂ１、查询并保存该月ＣＤＲ中的只使用免费业务的用户并过滤已经存在的记录；　　　　Ｂ２、查询并保存该月ＣＤＲ中的只使用点播业务的用户并过滤已经存在的记录；　　　　Ｂ３、查询并保存该月ＣＤＲ中的只使用包月业务的用户并过滤已经存在的记录；　　　　Ｂ４、对免费用户群中有使用过其他业务的记录将其状态设置为无效：　　　　Ｂ５、对点播用户群中有使用过其他业务的记录将其状态设置为无效；　　　　Ｂ６、对包月用户群中有使用过其他业务的记录将其状态设置为无效。...

【技术特征摘要】

【专利技术属性】
技术研发人员：冯谧，
申请(专利权)人：上海全成通信技术有限公司，
类型：发明
国别省市：31[中国|上海]