数据处理方法技术

本公开是关于一种数据处理方法

【技术实现步骤摘要】
数据处理方法、数据处理装置、存储介质及服务器


[0001]本公开涉及新能源车
，尤其涉及一种数据处理方法
、
数据处理装置
、
存储介质及服务器
。

技术介绍

[0002]流式数据指的是实时或接近实时的时效性处理的大数据流
。
流式数据处理的应用领域集中在实时性较强的互联网和移动互联网
、
物联网等领域
。
例如在在线个性化推荐系统
、
网站用户实时行为采集和分析
、
物联网机器日志实时分析
、
金融实时消费反欺诈
、
实时异常人员识别等领域中均有应用
。
其中，由于流式数据数据量较大，在应用时有时需要进行数据分流，以便于更好的进行数据提取和应用
。

技术实现思路

[0003]有鉴于此，本公开实施例期望提供一种数据处理方法
、
数据处理装置
、
存储介质及服务器
。
[0004]本公开的技术方案是这样实现的：
[0005]第一方面，本公开提供一种数据处理方法
。
[0006]本公开实施例提供的数据处理方法，包括：
[0007]基于预定时间设置，周期性读取数据库中的数据分流配置表，并更新所述数据分流配置表中的流式数据分流规则至内存区域；
[0008]基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据；
[0009]基于
Flink
框架中的数据分流存储组件，存储所述维度数据至目标数据库内及存储所述事实数据至消费中间件的主题内
。
[0010]在一些实施例中，所述基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据，包括：
[0011]获取
N
条所述流式数据中的变量数据；
[0012]基于所述流式数据分流规则，对所述变量数据进行实时分流，得到所述维度数据和所述事实数据；其中，
[0013]所述流式数据分流规则确定为：
[0014]若所述
N
条所述流式数据中变量数据的变化频次，小于预定值
M
，则确定所述变量数据为所述维度数据；
[0015]若所述
N
条所述流式数据中变量数据的变化频次，大于或等于预定值
M
，则确定所述变量数据为所述事实数据；其中，
N
＞
M。
[0016]在一些实施例中，所述基于所述流式数据分流规则，对所述变量数据进行实时分流，得到所述维度数据和所述事实数据后，所述方法包括：
[0017]对所述维度数据和所述事实数据进行打标签，得到具有第一标签特征的所述维度
数据和具有第二标签特征的所述事实数据；其中，所述第一标签特征不同于所述第二标签特征
。
[0018]在一些实施例中，所述基于预定时间设置，周期性读取数据库中的数据分流配置表，包括：
[0019]若所述数据库中不存在所述数据分流配置表，则基于所述流式数据分流规则，创建所述数据分流配置表
。
[0020]在一些实施例中，所述基于预定时间设置，周期性读取数据库中的数据分流配置表前，所述方法包括：
[0021]初始化连接；
[0022]通过所述初始化连接，建立
Flink
框架与所述数据库间的连接，及建立所述目标数据库内与所述消费中间件间的连接
。
[0023]在一些实施例中，所述基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据，包括：
[0024]基于流式数据分流规则，通过
Flink
框架中
FlinkStream
主流与
Flink
侧输出流的分流方式，对客户端产生的流式数据进行实时分流，得到主流数据和侧输出流数据；
[0025]将所述主流数据作为所述维度数据，及将所述侧输出流数据作为所述事实数据
。
[0026]在一些实施例中，所述基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据，包括：
[0027]基于预定过滤条件，对所述客户端产生的流式数据进行数据过滤，得到目标变量数据；
[0028]基于所述流式数据分流规则，对所述目标变量数据进行实时分流，得到维度数据和事实数据；其中，所述目标变量数据确定为用于支持目标业务服务的变量数据
。
[0029]第二方面，本公开提供一种数据处理装置，包括：
[0030]数据读取模块，用于基于预定时间设置，周期性读取数据库中的数据分流配置表，并更新所述数据分流配置表中的流式数据分流规则至内存区域；
[0031]数据分流模块，用于基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据；
[0032]数据存储模块，用于基于
Flink
框架中的数据分流存储组件，存储所述维度数据至目标数据库内及存储所述事实数据至消费中间件的主题内
。
[0033]第三方面，本公开提供一种计算机可读存储介质，其上存储有数据处理程序，该数据处理程序被处理器执行时，实现上述第一方面所述的数据处理方法
。
[0034]第四方面，本公开提供一种服务器，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的数据处理程序，所述处理器执行所述数据处理程序时，实现上述第一方面所述的数据处理方法
。
[0035]根据本公开实施例的数据处理方法包括基于预定时间设置，周期性读取数据库中的数据分流配置表，并更新数据分流配置表中的流式数据分流规则至内存区域；基于内存区域更新的流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据；基于
Flink
框架中的数据分流存储组件，存储维度数据至目标数据库内及存储事实数据至消费中间件的主题内
。
本申请中，通过定期周期性更新内存区域的流式数据分流
规则，实现对客户端产生的流式数据实时分流，得到维度数据和事实数据，并进行数据存储
。
如此可实现对流式数据按照最新的分流规则进行实时分流存储，从而提高流式数据分流效率，便于后续数据应用
。
[0036]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到
。
附图说明
[0037]图1是根据一示例性实施例示出的数据处理方法流程图；
[0038]图2是根据一示例性实施例示出的数据处理流程示意图一；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：基于预定时间设置，周期性读取数据库中的数据分流配置表，并更新所述数据分流配置表中的流式数据分流规则至内存区域；基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据；基于
Flink
框架中的数据分流存储组件，存储所述维度数据至目标数据库内及存储所述事实数据至消费中间件的主题内
。2.
根据权利要求1所述的数据处理方法，其特征在于，所述基于所述内存区域更新的所述流式数据分流规则，对客户端产生的流式数据进行实时分流，得到维度数据和事实数据，包括：获取
N
条所述流式数据中的变量数据；基于所述流式数据分流规则，对所述变量数据进行实时分流，得到所述维度数据和所述事实数据；其中，所述流式数据分流规则确定为：若所述
N
条所述流式数据中变量数据的变化频次，小于预定值
M
，则确定所述变量数据为所述维度数据；若所述
N
条所述流式数据中变量数据的变化频次，大于或等于预定值
M
，则确定所述变量数据为所述事实数据；其中，
N
＞
M。3.
根据权利要求2所述的数据处理方法，其特征在于，所述基于所述流式数据分流规则，对所述变量数据进行实时分流，得到所述维度数据和所述事实数据后，所述方法包括：对所述维度数据和所述事实数据进行打标签，得到具有第一标签特征的所述维度数据和具有第二标签特征的所述事实数据；其中，所述第一标签特征不同于所述第二标签特征
。4.
根据权利要求1所述的数据处理方法，其特征在于，所述基于预定时间设置，周期性读取数据库中的数据分流配置表，包括：若所述数据库中不存在所述数据分流配置表，则基于所述流式数据分流规则，创建所述数据分流配置表
。5.
根据权利要求1所述的数据处理方法，其特征在于，所述基于预定时间设置，周期性读取数据库中的数据分流配置表前，所述方法包括：初始化连接；通过所述初始化连接，建立
Flink

【专利技术属性】
技术研发人员：赵伟，温金雄，董文超，
申请(专利权)人：协鑫电港云科技海南有限公司，
类型：发明
国别省市：