基于Flink的实时报表生成方法与系统技术方案

本申请属于大数据实时计算技术领域，涉及一种基于Flink的实时报表生成方法，包括：当Flink作业产生的实时数据流时，传输实时数据流至Kafka业务系统；将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构；通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，产生实时清单数据；发送实时清单数据至Druid数据库；当检测到数据查询操作时，识别数据查询操作的类型，根据确定的数据查询操作的类型产生对应的操作指令，根据操作指令提取Druid数据库中的Druid引擎生成实时报表；推送实时报表至前端平台。本申请还提供一种基于Flink的实时报表生成系统、计算机设备及其存储介质。备及其存储介质。备及其存储介质。

【技术实现步骤摘要】
基于Flink的实时报表生成方法与系统


[0001]本申请涉及大数据实时计算
，尤其涉及一种基于Flink的实时报表生成方法、系统、计算机设备及其存储介质。

技术介绍

[0002]传统报表项目通过报表工具+数据仓库+ETL(数据仓库技术)结合，存在数据产生时间较长，如果从生产系统直接读取数据，又会对生产数据库造成巨大压力，产生性能瓶颈，直接影响业务。随着客户越来越关注源数据的实时性，实时报表的时效性越发重要起来。

技术实现思路

[0003]本申请实施例的目的在于提出一种基于Flink的实时报表生成方法、系统、计算机设备及其存储介质，以解决对于实时报表产生时间较长的技术问题。
[0004]为了解决上述技术问题，本申请实施例提供一种基于Flink的实时报表生成方法，采用了如下所述的技术方案：所述方法包括下述步骤：
[0005]当Flink作业产生的实时数据流时，传输实时数据流至Kafka业务系统；
[0006]将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构中；
[0007]通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据；
[0008]发送实时清单数据至Druid数据库；
[0009]当检测到数据查询操作时，识别数据查询操作的类型，根据确定的数据查询操作的类型产生对应的操作指令，根据操作指令提取Druid数据库中的Druid引擎生成实时报表；
[0010]推送实时报表至前端平台。
[0011]进一步的，所述通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据的步骤之后，所述方法还包括：
[0012]将实时清单数据通过Flume数据管道传输至hive数据仓库进行存储备份；
[0013]当Flink作业时发生故障时，通过hive工具查询hive数据仓库中备份的实时清单数据与Kafka业务系统产生的实时清单数据中的不同，并获取目标清单数据；
[0014]回补目标清单数据至Druid数据库中。
[0015]进一步的，所述将实时清单数据传输至Flume系统中进行备份的步骤包括：
[0016]接收实时清单数据，并将接收的实时清单数据以Flume传输一个或多个铺道引导；
[0017]存储Flume传输后的实时清单数据值hive数据仓库。
[0018]进一步的，所述通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据的步骤包括：
[0019]通过ETL将Kafka业务系统接收的实时数据流抽取至临时中间层，并对临时中间层
中的实时数据进行清洗、转换、集成后，产生标准格式的实时清单数据；
[0020]传输实时清单数据至Kafka业务系统中。
[0021]进一步的，所述推送实时报表至前端平台的步骤包括：
[0022]设置实时报表的指标列、时间列以及维度列；
[0023]将实时报表以指标列或时间列或维度列的逻辑集合推送至前端平台。
[0024]进一步的，所述推送实时报表至前端平台的步骤之后，所述方法还包括：
[0025]当前端平台的预设标识产生托或拉或拽等动态动作时，获取实时报表的指标列或时间列或维度列。
[0026]进一步的，所述推送实时报表至前端平台的步骤之后，所述方法还包括：
[0027]当前端平台根据实时报表产生的实时内容不符合数据查询操作对应的目标内容时，通过hive工具获取hive数据仓库存储的预存清单数据，对比预存清单数据以及Druid数据库中获取的实时清单数据，定位Druid数据库中的目标故障位置；
[0028]提取Druid数据库中目标故障位置处的目标故障数据，以及hive数据仓库中目标故障位置对应位置处的目标清单数据；
[0029]将目标清单数据替换为目标故障数据，并回补至Druid数据库中目标故障位置处；
[0030]当前端平台根据实时报表产生的实时内容符合数据查询操作对应的目标内容时，更新hive数据仓库中存储的预存清单数据。
[0031]为了解决上述技术问题，本申请实施例还提供一种基于Flink的实时报表生成系统，所述系统包括：
[0032]传输模块，用于当Flink作业产生的实时数据流时，传输实时数据流至Kafka业务系统；
[0033]处理模块，用于将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构中；通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据；
[0034]发送模块，用于发送实时清单数据至Druid数据库；
[0035]提取模块，用于当检测到数据查询操作时，识别数据查询操作的类型，根据确定的数据查询操作的类型产生对应的操作指令，根据操作指令提取Druid数据库中的Druid引擎生成实时报表；
[0036]推送模块，用于推送实时报表至前端平台。
[0037]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述的基于Flink的实时报表生成方法的步骤。
[0038]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于Flink的实时报表生成方法的步骤。
[0039]与现有技术相比，本申请实施例主要有以下有益效果：通过当Flink作业产生的实时数据流时，传输实时数据流至Kafka业务系统；将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构中；通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据；发送实时清单数据至Druid数据库；当检测到数据查询操作
时，识别数据查询操作的类型，根据确定的数据查询操作的类型产生对应的操作指令，根据操作指令提取Druid数据库中的Druid引擎生成实时报表；推送实时报表至前端平台。实现了的时报表全链路生成，提升数据的容错性，从数据全域的角度考虑，加快实时报表产生速度，提升实时报表的数据时效性，增加数据的准确性。
附图说明
[0040]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本申请可以应用于其中的示例性系统架构图；
[0042]图2是基于Flink的实时报表生成方法的一个实施例的流程图；
[0043]图3是基于Flink的实时报表生成系统的一个实施例的结构示意图；
[0044]图4是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Flink的实时报表生成方法，其特征在于，所述方法包括下述步骤：当Flink作业产生的实时数据流时，传输实时数据流至Kafka业务系统；将Kafka业务系统接收的实时数据流写入Kafka业务系统的磁盘结构中；通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据；发送实时清单数据至Druid数据库；当检测到数据查询操作时，识别数据查询操作的类型，根据确定的数据查询操作的类型产生对应的操作指令，根据操作指令提取Druid数据库中的Druid引擎生成实时报表；推送实时报表至前端平台。2.根据权利要求1所述的基于Flink的实时报表生成方法，其特征在于，所述通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据的步骤之后，所述方法还包括：将实时清单数据通过Flume数据管道传输至hive数据仓库进行存储备份；当Flink作业时发生故障时，通过hive工具查询hive数据仓库中备份的实时清单数据与Kafka业务系统产生的实时清单数据中的不同，并获取目标清单数据；回补目标清单数据至Druid数据库中。3.根据权利要求2所述的基于Flink的实时报表生成方法，其特征在于，所述将实时清单数据通过Flume数据管道传输至hive数据仓库进行存储备份的步骤包括：接收实时清单数据，并将接收的实时清单数据以Flume传输一个或多个铺道引导；存储Flume传输后的实时清单数据值hive数据仓库。4.根据权利要求3所述的基于Flink的实时报表生成方法，其特征在于，所述通过ETL提取磁盘结构中的实时数据流到临时中间层进行转换处理，并产生实时清单数据的步骤包括：通过ETL将Kafka业务系统接收的实时数据流抽取至临时中间层，并对临时中间层中的实时数据进行清洗、转换、集成后，产生标准格式的实时清单数据；传输实时清单数据至Kafka业务系统中。5.根据权利要求1所述的基于Flink的实时报表生成方法，其特征在于，所述推送实时报表至前端平台的步骤包括：设置实时报表的指标列、时间列以及维度列；将实时报表以指标列或时间列或维度列的逻辑集合推送至前端平台。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：解培佩，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：