【技术实现步骤摘要】
本专利技术涉及大数据处理，具体地说是基于大数据的民航数据分析系统及方法。
技术介绍
1、当前民航行业缺少一种可以对行业海量数据进行有效管理、使用与价值挖掘的方法和系统体系，多年来积累的行业数据仅仅停留在各个业务系统中，难以发掘其潜力价值。并且，民航行业业务人员、市场人员以及科技人员在做数据统计、数据分析、以及决策分析时所能依靠的手段较匮乏，数据的统计、分析往往需要研发系统的技术人员的支持，由于技术人员往往不精于业务而业务人员不懂技术，造成了工作效率的降低、数据分析和挖掘的效果并不理想。
2、如何对民航领域各类数据进行归集分析以为数据使用提供辅助支持，是需要解决的技术问题。
技术实现思路
1、本专利技术的技术任务是针对以上不足，提供基于大数据的民航数据分析系统及方法，来解决如何对民航领域各类数据进行归集分析以为数据使用提供辅助支持的技术问题。
2、第一方面，本专利技术一种基于大数据的民航数据分析系统，包括数据引接模块、数据采集模块、数据处理模块、数据建模分析模块以及数据展示模块；
3、所述数据引接模块用于对接各种数据源并从数据源采集民航数据、并将民航数据转存至消息队列，其中，数据源包括民航各类设备以及信息系统；
4、所述数据采集模块用于从消息队列消费民航数据、并将消费的民航数据存储至作为原始表的数据表，所述原始表构建于分布式文件存储系统；
5、所述数据处理模块用于对存储于分布式文件存储系统的民航数据进行数据预处理，得到标准化
6、所述数据建模分析模块用于从预处后数据抽取明细数据作为应用数据，并对来自不同标准结构化表的应用数据进行数据关联、将相关联的应用数据存储至作为应用表的数据表中，所述应用表构建于分布式文件存储系统，用于对应用数据进行聚合计算得到指标数据，将指标数据存储于作为指标表的数据表中，所述指标表构建于分布式文件存储系统，并用于对应用数据和指标数据进行分类；
7、所述数据展示模块用于从分布式文件存储系统读取应用数据和指标数据，将应用数据和指标数据永久性存储，并以图表和列表的形式展示指标数据。
8、作为优选，所述数据引接模块内配置基于java语言开发的监听程序，通过监听程序从数据源处采集民航数据、并将民航数据写入消息队列。
9、作为优选，所述分布式文件存储系统中原始表、标准结构化表、应用表以及指标表均为hive表。
10、作为优选，所述数据采集模块用于基于flink持续消费消息队列中民航数据，将消费到民航数据写入分布式文件存储系统。
11、作为优选，所述数据处理模块用于通过spark定时、增量的抽取原始表中民航数据，并对抽取的民航数据进行数据预处理。
12、作为优选，所述数据采集模块中配置有分布式的流式计算引擎，用于通过分布式的流式计算引擎、以分布式的流式计算方式从数据引接模块采集民航数据、并将民航数据存储至作为原始表的数据表；
13、所述数据处理模块中配置有分布式的流式计算引擎，用于通过分布式的流式计算引擎、以分布式的流式计算方式从对民航数据进行预处理；
14、对于实时性的应用数据以及指标时间，所述数据建模分析模块用于以分布式的流式计算方式对应用数据进行数据关联、聚合计算以及分类，并以分布式的流式计算方式对指标数据进行分类，对应的，所述数据展示模块用于以集群模式部署的redis存储方式对应用数据和指标数据进行持久性存储；
15、对于非实时性的应用数据以及指标数据，所述数据建模分析模块用于以分布式的批量计算方式对应用数据进行数据关联、聚合计算以及分类，并以分布式的批量计算方式对指标数据进行分类，对应的，所述数据展示模块用于以集群模式部署的starrocks数据库对应用数据和指标数据进行持久性存储。
16、作为优选，从数据源处采集的民航数据包括结构化数据和非结构数据，其中，对于设备类的数据源，采集的民航数据为非结构化的电报报文数据，对于信息系统类的数据源，采集的民航数据为结构化数据；
17、对应的，对于结构化的民航数据，所述数据预处理模块用于对民航数据进行数据清洗、异常值去除以及缺失值补充，得到处理后的民航数据，并为处理后的民航数据设置唯一主键；
18、对于非结构化的民航数据，所述数据处理模块用于基于民航局公开的各种电报格式文档对民航数据进行解析和标准化处理，得到结构化的民航数据，其中民航局公开的各种电报格式文档包括民航气象报文以及航行通告报文格式标准文档，对民航数据进行解析，形成多个字段信息，包括航班的航班号、计划起飞时间、经度、纬度、高度以及速度，对民航数据进行标准化处理包括基于时间字段的标准化和基于高度字段的标准化。
19、作为优选，数据建模分析模块用于基于包括航路和管制扇形的维度、通过关联字段对应用数据进行数据关联；
20、对于应用数据和指标数据，按照不同时间粒度进行统计，形成不同时间粒度的应用数据和指标数据，并用于基于预定义的主题分别对应用数据和指标数据进行分类。
21、第二方面，本专利技术一种基于大数据的民航数据分析方法，通过如第一方面任一项所述的一种基于大数据的民航数据分析系统从各种数据源采集民航数据，并对民航书进行分析处理。
22、本专利技术的基于大数据的民航数据分析系统及方法具有以下优点：通过大数据技术手段建立一整套民航领域数据全生命周期体系，将各类民航领域设备、信息化系统海量数据归集在一起，建立经过标准化处理的数据仓库，最终在业务层面，以数据目录和数据可视化应用的形式，将数据安全的，直接的提供给用户，为民航领域从业人员提供一种直接的、安全的数据获取手段，为各类决策提供数据支撑。
本文档来自技高网...【技术保护点】
1.一种基于大数据的民航数据分析系统，其特征在于，包括数据引接模块、数据采集模块、数据处理模块、数据建模分析模块以及数据展示模块；
2.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据引接模块内配置基于java语言开发的监听程序，通过监听程序从数据源处采集民航数据、并将民航数据写入消息队列。
3.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述分布式文件存储系统中原始表、标准结构化表、应用表以及指标表均为Hive表。
4.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据采集模块用于基于Flink持续消费消息队列中民航数据，将消费到民航数据写入分布式文件存储系统。
5.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据处理模块用于通过Spark定时、增量的抽取原始表中民航数据，并对抽取的民航数据进行数据预处理。
6.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据采集模块中配置有分布式的流式计算引擎，用于通过分布式的流式
7.根据权利要求1-6任一项所述的基于大数据的民航数据分析系统，其特征在于，从数据源处采集的民航数据包括结构化数据和非结构数据，其中，对于设备类的数据源，采集的民航数据为非结构化的电报报文数据，对于信息系统类的数据源，采集的民航数据为结构化数据；
8.根据权利要求1-6任一项所述的基于大数据的民航数据分析系统，其特征在于，数据建模分析模块用于基于包括航路和管制扇形的维度、通过关联字段对应用数据进行数据关联；
9.一种基于大数据的民航数据分析方法，其特征在于，通过如权利要求1-8任一项所述的一种基于大数据的民航数据分析系统从各种数据源采集民航数据，并对民航书进行分析处理。
...【技术特征摘要】
1.一种基于大数据的民航数据分析系统，其特征在于，包括数据引接模块、数据采集模块、数据处理模块、数据建模分析模块以及数据展示模块；
2.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据引接模块内配置基于java语言开发的监听程序，通过监听程序从数据源处采集民航数据、并将民航数据写入消息队列。
3.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述分布式文件存储系统中原始表、标准结构化表、应用表以及指标表均为hive表。
4.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据采集模块用于基于flink持续消费消息队列中民航数据，将消费到民航数据写入分布式文件存储系统。
5.根据权利要求1所述的基于大数据的民航数据分析系统，其特征在于，所述数据处理模块用于通过spark定时、增量的抽取原始表中民航数据，并对抽取的民航数据进行数据预处理。
【专利技术属性】
技术研发人员：张勇，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。