通信运营信息的大数据采集及存储系统和方法技术方案

本发明专利技术提供了一种通信运营信息的大数据采集及存储系统，在全网中采集和存储运营信息，包括：采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。本发明专利技术提高运营商运维能力，加强上下游的沟通联系，能够使数据分析工作更加精确。

【技术实现步骤摘要】
通信运营信息的大数据采集及存储系统和方法
本专利技术涉及通信网络数据采集领域，尤其涉及一种通信运营信息的大数据采集及存储系统和方法。
技术介绍
电信运营商对现网运行状态需进行监控，按专业不同，现网分为交换网、数据网和移动网三种不同专业的网络。可是运营数据的采集渠道、汇总方式和上报渠道一直因厂家不同存在较大差异。故现阶段各大运营商，均只能通过多个厂商提供的多个专业网络管理系统，分别获取不同专业不同设备的运营情况数据，这不利于网络资源的高效利用，阻碍了运营商自身的发展。同时，各运营商的网络运营信息的数据量级巨大，现有的专业网管系统只能基于单一文件系统对运营数据进行存储和采集，不具备通用性和对海量数据的处理能力。
技术实现思路
为解决上述问题，本专利技术针对电信运营商全网内全专业的不同厂家不同型号的设备提出了一种通信运营信息的大数据采集及存储系统，在通信网络中采集和存储与通信运营相关的指标数据，包括：采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。上述的通信运营信息的大数据采集及存储系统，其中，所述处理存储集群包括页面服务器、通讯机、处理机组和存储机组；所述页面服务器接受所述采集规则和所述采集规则的变更范围并下发至所述通讯机；所述通讯机根据所述采集规则和所述采集规则的变更范围，结合所述通信网络中各设备的基础信息和原有的采集规则生成采集命令、采集周期和压缩算法；所述通讯机将所述采集命令、采集周期和压缩算法下发至所述处理机；所述通讯机与所述采集机组进行SSL认证；所述处理机组按数据类型分别向对应的采集机下发所述采集命令和采集周期，并根据所述压缩算法对经所述采集机组处理的指标数据进行压缩和再处理；所述存储机分类存储经所述处理机压缩和再处理的指标数据；所述采集机组按数据类型分别向对应的处理机发送所述指标数据。上述的通信运营信息的大数据采集及存储系统，其中，所述指标数据包括至少41种。上述的通信运营信息的大数据采集及存储系统，其中，所述指标数据具体包括：局点资源利用数、局点资源分配数、局点状态、当前业务量、当前用户数、设备上行流量、设备下行流量、在线用户数、设备状态、线路上行流量、线路下行流量、线路状态、用户名、当前流量信息、用户类型、带宽类型、用户总数、用户数量占比、带宽速率占比、话务量、DO数据总量、1x数据总量、当日VLR开机用户数、A口语音话务量、HLR用户数、集群话务量、集群组呼业务、集群单呼业务、1x当前用户数、DO当前用户数、4G本地在线用户数、4G放号用户数、LTE数据总流量、DO数据总流量、1x数据总流量、MME附着用户数、4G本地在线用户数、4G漫入在线用户数、4G漫出在线用户数、PDCP层上行用户面流量字节数和PDCP层下行用户面流量字节数。上述的通信运营信息的大数据采集及存储系统，其中，所述采集机组对所述指标数据的处理包括根据数据类型的不同分别归整和清洗所述指标数据。上述的通信运营信息的大数据采集及存储系统，其中，所述采集机组对所述指标数据的处理包括在本地保存副本以及将所述指标数据上传至所述处理机组。本专利技术还提出了一种通信运营信息的大数据实时采集及存储方法，应用于上述的系统中，包括如下步骤：S1、处理存储集群根据采集规则和所述采集规则的变更范围生成采集命令和采集周期，以对采集机组进行配置；S2、所述采集机组根据所述采集命令和采集周期从电信网络中采集指标数据；S3、所述采集机组对所述指标数据进行归整和清洗后发送至所述处理存储集群；其中，所述步骤S2和S3按所述采集周期循环进行，所述步骤S1随机发生，新生成的采集命令和/或采集周期在下一采集周期中生效。上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S1具体包括：S11、所述页面服务器接受所述采集规则和所述采集规则的变更范围，下发至所述通讯机；S12、所述通讯机与所述采集机组进行SSL认证，通过则执行S13，未通过则将该信息反馈至所述页面服务器，由所述页面服务器进行错误提示；S13、所述通讯机判断所述采集规则和所述采集规则的变更范围是否有变更，有变更则执行S14，无变更则按现有采集规则和采集周期下发任务至所述处理机组并与所述采集机组建立通信通道；S14、若所述采集规则变更了欲采集的数据类型，则所述通讯机下发采集命令给相应变更范围内的处理机，所述处理机将所述采集命令下发至相应采集机，使采集机更新采集命令；若所述采集规则变更了采集周期，则所述通讯机下发采集周期给相应变更范围内的处理机，所述处理机将所述采集周期下发至相应采集机，使采集机更新采集周期和线程。上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括页面服务器、通讯机和处理机组，所述步骤S2具体包括：S21、所述采集机组判断当前的采集任务是否结束，是则执行S22，否则等待当前任务结束；S22、所述采集机组更新采集命令、采集周期及相关线程；S23、所述采集组按所述采集周期定期向所述通信网络下发所述采集命令，并接受所述通信网络上传的指标数据；S24、如所述指标数据为文本格式则执行S25，如所述指标数据为非文本格式则执行S28；S25、所述采集机组将所述指标数据存入本地作为副本；S26、所述采集机组将所述指标数据中的废数据删除；S27、所述采集机组对所述指标数据进行格式归整，剔除无用内容，并将归整后的指标数据导入内存数据库，执行S210；S28、所述采集机组剔除所述指标数据中的无用内容，并导入内存数据库；S29、所述采集机组删除所述指标数据中的废数据，并以数据文件格式存入本地作为副本；S210、所述采集机组将所述指标数据上传至相应的处理机。上述的通信运营信息的大数据实时采集及存储方法，其中，所述处理存储集群包括处理机组和存储机组，所述步骤S3具体包括：S31、所述处理机组对所述指标数据进行压缩和再处理；S32、所述处理机组将经S31处理的所述指标数据下发至所述存储机组，由所述存储机组保存。与现有技术相比，本专利技术的技术方案具有以下有益效果：1、全网统一的运营信息采集和存储方法，使得运营商的运维能力大大提升，可以降低工作成本，简化工作流程，增加工作效率，节约工作时间。2、全网统一的运营信息采集和存储系统，留出了拓展空间，使运营商具备了继续发展其他业务的物理基础。3、全网数据通用化、规范化可以支撑更加深入的数据挖掘技术，能够使得数据分析工作更加的精确到位，更准确地反应出市场需求，可以为企业发展决策提供更多的科学依据。附图说明图1是本专利技术一实施例的网络连接关系示意图；图2是本专利技术一实施例的数据流向示意图；图3是本专利技术一实施例的流程示意图；图4是本专利技术又一实施例的流程示意图；图5是本专利技术一实施例的网络部署结构图。具体实施方式为使本专利技术的目的、特征更明显易懂，下面结合附图对本专利技术的具体实施方式作进一步的说明，然而，本专利技术可以用不同的形式实现，不应只是局限在所述的实施例。结合本文档来自技高网...

【技术保护点】
1.一种通信运营信息的大数据采集及存储系统，其特征在于，在通信网络中采集和存储与通信运营相关的指标数据，包括：采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。

【技术特征摘要】
1.一种通信运营信息的大数据采集及存储系统，其特征在于，在通信网络中采集和存储与通信运营相关的指标数据，包括：采集机组，设置于所述通信网络的接入网络端或汇聚网络端，按采集周期向所述通信网络下达采集命令，并对采集到的指标数据进行处理；处理存储集群，设置于所述通信网络的汇聚层和核心网络中；与所述采集机组进行SSL认证；根据采集规则和所述采集规则的变更范围配置管理所述采集机组；接收、处理以及保存所述采集机组处理过的指标数据。2.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述处理存储集群包括页面服务器、通讯机、处理机组和存储机组；所述页面服务器接受所述采集规则和所述采集规则的变更范围并下发至所述通讯机；所述通讯机根据所述采集规则和所述采集规则的变更范围，结合所述通信网络中各设备的基础信息和原有的采集规则生成采集命令、采集周期和压缩算法；所述通讯机将所述采集命令、采集周期和压缩算法下发至所述处理机；所述通讯机与所述采集机组进行SSL认证；所述处理机组按数据类型分别向对应的采集机下发所述采集命令和采集周期，并根据所述压缩算法对经所述采集机组处理的指标数据进行压缩和再处理；所述存储机分类存储经所述处理机压缩和再处理的指标数据；所述采集机组按数据类型分别向对应的处理机发送所述指标数据。3.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述指标数据包括至少41种。4.如权利要求3所述的通信运营信息的大数据采集及存储系统，其特征在于，所述指标数据具体包括：局点资源利用数、局点资源分配数、局点状态、当前业务量、当前用户数、设备上行流量、设备下行流量、在线用户数、设备状态、线路上行流量、线路下行流量、线路状态、用户名、当前流量信息、用户类型、带宽类型、用户总数、用户数量占比、带宽速率占比、话务量、DO数据总量、1x数据总量、当日VLR开机用户数、A口语音话务量、HLR用户数、集群话务量、集群组呼业务、集群单呼业务、1x当前用户数、DO当前用户数、4G本地在线用户数、4G放号用户数、LTE数据总流量、DO数据总流量、1x数据总流量、MME附着用户数、4G本地在线用户数、4G漫入在线用户数、4G漫出在线用户数、PDCP层上行用户面流量字节数和PDCP层下行用户面流量字节数。5.如权利要求1所述的通信运营信息的大数据采集及存储系统，其特征在于，所述采集机组对所述指标数据的处理包括根据数据类型的不同分别归整和清洗所述指标数据。6.如权利要求5所述的通信运营信息的大数据采集及存储系统，其特征在于，所述采集机组对所述指标数据的处理还包括在本地保存副本以及将所述指标数据上传至所述处理机组。7.一种通信运营信息的大数据实时采集及存储方法，其特征在于，应用于如权利要求1-6任一项所述的系统，包括如下步骤：S1、处理存储集群根据采...

【专利技术属性】
技术研发人员：葛欣竹，干益，魏宾宾，庄晓光，唐征，
申请(专利权)人：电信科学技术第一研究所有限公司，
类型：发明
国别省市：上海,31