数据处理系统及方法技术方案

本公开提供了一种数据处理系统及方法，涉及大数据技术领域

【技术实现步骤摘要】
数据处理系统及方法


[0001]本公开涉及大数据
，尤其涉及一种数据处理系统及方法
。

技术介绍

[0002]数据处理系统需要处理多种来源的数据
。
但是，相关技术中，数据处理系统的算力一般都集中在中心，在对不同来源的数据做汇聚计算时，对中心算力是一个极大的挑战，且大量数据传回中心，容易阻塞网络
。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息
。

技术实现思路

[0004]本公开提供一种数据处理系统及方法，至少在一定程度上解决相关技术中在对不同来源的数据做汇聚计算时，大量数据传回中心，容易阻塞网络的问题
。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得
。
[0006]根据本公开的一个方面，提供一种数据处理系统，系统包括：
[0007]数据采集层，用于根据各业务侧需求，在预设采集点采集原始数据，并将原始数据发送至边缘层；
[0008]边缘层，包括多个边缘节点；边缘节点采用存储和计算一体化的架构，每个边缘节点用于存储原始数据，以及将原始数据中的目标数据发送至中心层；
[0009]中心层，用于存储来自边缘节点的目标数据，以及响应于数据处理指令，调度边缘层的边缘节点协同中心层处理数据
。
[0010]在本公开的一个实施例中，预设采集点，包括如下采集点中的至少一种：
[0011]物联网数据采集点
、
专业公司数据采集点
、
政企网关数据采集点
、DPI
网关数据采集点
。
[0012]在本公开的一个实施例中，原始数据包括如下数据中的至少一种：
[0013]流量数据
、
话单数据
、
感知数据
、
业务使用数据
。
[0014]在本公开的一个实施例中，数据采集层还用于对原始数据进行预处理；
[0015]预处理包括如下处理中的至少一种：
[0016]对原始数据进行统计分析
、
识别原始数据中的流量
、
对原始数据进行分流处理
。
[0017]在本公开的一个实施例中，边缘层用于执行如下步骤：
[0018]缓存来自数据采集层的原始数据；
[0019]封装原始数据，得到多个数据包；
[0020]将数据包分级分类存储于边缘节点
。
[0021]在本公开的一个实施例中，封装原始数据之前，方法还包括：
[0022]对缓存的原始数据进行如下处理中的至少一种：
[0023]对原始数据进行清洗处理
、
对原始数据进行脱敏处理
、
对原始数据进行确权处理
、
标识原始数据
。
[0024]在本公开的一个实施例中，目标数据，包括如下原始数据中的至少一种：
[0025]核心网数据
、
边缘层的非核心数据
、
需要中心层进行计算和处理的边缘中间数据，中心层分析结果数据
。
[0026]在本公开的一个实施例中，目标数据，还包括隐私级别大于预设级别的原始数据
。
[0027]在本公开的一个实施例中，边缘节点还用于将数据确权和标识信息通过区块链进行链上存证
。
[0028]在本公开的一个实施例中，中心层包括中心节点；中心节点与边缘节点之间通过
SD
‑
WAN
连接
。
[0029]根据本公开的另一个方面，提供一种数据处理方法，方法包括：
[0030]数据采集层根据各业务侧需求，在预设采集点采集原始数据，并将原始数据发送至边缘层中的边缘节点，边缘节点采用存储和计算一体化的架构；
[0031]边缘节点接收原始数据后，存储原始数据；
[0032]边缘节点将原始数据中的目标数据发送至中心层；
[0033]中心层接收目标数据后，存储目标数据；
[0034]中心层响应于数据处理指令，基于预设调度方法，调度边缘层的边缘节点协同中心层处理数据
。
[0035]本公开的实施例所提供的数据处理系统，包括数据采集层
、
边缘层和中心层；数据采集层根据各业务侧需求，在预设采集点采集原始数据，并将原始数据发送至边缘层的边缘节点；边缘节点采用存储和计算一体化的架构，每个边缘节点用于存储原始数据，以及将原始数据中的目标数据发送至中心层；中心层接收并存储来自边缘节点的目标数据，响应于数据处理指令，调度边缘层的边缘节点协同中心层处理数据
。
如此，在处理数据时，可以充分发挥边缘计算的优势，实现了中心层与边缘层的协同；边缘层接收中心层的调度，进而实现资源全网优化，有效降低延迟，提升性能
。
[0036]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开
。
附图说明
[0037]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理
。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0038]图1本公开实施例中一种数据处理系统示意图之一；
[0039]图2本公开实施例中一种数据采集层示意图；
[0040]图3本公开实施例中一种数据处理系统示意图之二；
[0041]图4本公开实施例中一种数据处理系统示意图之三；
[0042]图5本公开实施例中数据处理系统区块链基础设施示意图；
[0043]图6本公开实施例中一种数据处理方法流程示意图；和
[0044]图7本公开实施例中另一种数据处理方法流程示意图
。
具体实施方式
[0045]现在将参考附图更全面地描述示例实施方式
。
然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员
。
所描述的特征
、
结构或特性可以以任何合适的方式结合在一个或更多实施方式中
。
[0046]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制
。
图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述
。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应
。
可以采用软件形式来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理系统，其特征在于，所述系统包括：数据采集层，用于根据各业务侧需求，在预设采集点采集原始数据，并将所述原始数据发送至边缘层；所述边缘层，包括多个边缘节点；所述边缘节点采用存储和计算一体化的架构，每个所述边缘节点用于存储所述原始数据，以及将所述原始数据中的目标数据发送至中心层；所述中心层，用于存储来自所述边缘节点的目标数据，以及响应于数据处理指令，调度所述边缘层的边缘节点协同中心层处理数据
。2.
根据权利要求1所述的系统，其特征在于，所述预设采集点，包括如下采集点中的至少一种：物联网数据采集点
、
专业公司数据采集点
、
政企网关数据采集点
、DPI
网关数据采集点
。3.
根据权利要求1所述的系统，其特征在于，所述原始数据包括如下数据中的至少一种：流量数据
、
话单数据
、
感知数据
、
业务使用数据
。4.
根据权利要求1所述的系统，其特征在于，所述数据采集层还用于对所述原始数据进行预处理；所述预处理包括如下处理中的至少一种：对所述原始数据进行统计分析
、
识别所述原始数据中的流量
、
对所述原始数据进行分流处理
。5.
根据权利要求1所述的系统，其特征在于，所述边缘层用于执行如下步骤：缓存来自数据采集层的原始数据；封装所述原始数据，得到多个数据包；将所述数据包分级分类存储于所述边缘节点
。6.
根据权利要求5所述的系统，其...

【专利技术属性】
技术研发人员：杨明川，赵君，梁伟，李馨迟，刘康，夏晓晴，王憬晗，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：