一种基于列数据库的智能交通数据分析和存储方法技术

本发明专利技术公开了一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。本发明专利技术方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。

【技术实现步骤摘要】
一种基于列数据库的智能交通数据分析和存储方法
本专利技术涉及一种较大范围，具体是一种基于列数据库的智能交通数据分析和存储方法。
技术介绍
智能交通管理系统包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制等设备系统。当前情况下，大多数系统呈分散、封闭状态，各种数据分别存储，给数据分析展示和存储带来不便。由于电子警察、交通卡口、视频监控、流量检测等智能交通电子设施大部分分阶段建设的，建设年份不同，建设单位不同，时间跨度大，建设标准不统一，同样是电子警察或交通卡口，往往一个项目或几个项目就有一种数据存储介质，多套平台的存储介质可能不一样，数据结构不统一，数据共享困难，导致智能交通电子设施数据的存储存在管理难、扩展难、分析难、利用率低等问题，严重阻碍了智能交通管理系统的发展。
技术实现思路
本专利技术的目的在于提供一种基于列数据库的智能交通数据分析和存储方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；通过clickhouse的递归式解析器，执行sql语句处理数据的查询分析，快速返回结果。作为本专利技术进一步的方案，所述交通数据包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制设备系统的交通数据。作为本专利技术进一步的方案，所述存储到clickhouse的日志表，包括日志表、kafka引擎表、物化视图、数据存储表。作为本专利技术再进一步的方案，所述通过clickhouse的递归式解析器，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。与现有技术相比，本专利技术的有益效果是：本专利技术方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费；低延迟，能在没有对数据做预处理的情况下以极低的延迟处理查询并得到分析的结果。附图说明图1为基于列数据库的智能交通数据分析和存储方法典型实施例的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术实施例中，一种基于列数据库的智能交通数据分析和存储方法，包括：获取多个系统的交通数据；按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；通过clickhouse的递归式解析器，使用clickhouse的函数和聚合函数，执行sql语句处理数据的查询分析，快速返回结果。由上述方案可知，本专利技术方法管理方便，存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，用户看到的是单一存储空间，提高了存储效率，解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能，能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费；低延迟，能在没有对数据做预处理的情况下以极低的延迟处理查询并得到分析的结果。作为本专利技术的一个优选实施例，如图1所示，本专利技术方法的处理过程如下：步骤1：获取交通数据。包括平台软件系统和交通视频监控、电子警察、交通卡口、信号控制、交通诱导、流量检测、事件检测、匝道控制等设备系统。步骤2：逻辑判断。判断步骤1中数据是否满足特定条件，如果满足条件，进入步骤3，如果不满足条件，进入步骤4.1。步骤3：数据写入消息中间件。供步骤4.2消费。步骤4：数据存入开源列式数据库clickhouse。包括日志表、kafka引擎表、物化视图、数据存储表。步骤4.1：日志表。将不满足条件的数据存入日志表，供步骤5使用。步骤4.2：kafka引擎表。接收步骤3中的数据。步骤4.3：物化视图。将步骤4.2的数据实时同步到数据存储表。步骤4.4：数据存储表。存入结构化数据，供步骤5使用。步骤5：数据分析查询。执行sql语句处理数据的查询分析。对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本专利技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。本文档来自技高网...

【技术保护点】
1.一种基于列数据库的智能交通数据分析和存储方法，其特征在于，包括：/n获取多个系统的交通数据；/n按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；/n使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；/n通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；/n通过clickhouse的递归式解析器，执行sql语句处理数据的查询分析，快速返回结果。/n

【技术特征摘要】
1.一种基于列数据库的智能交通数据分析和存储方法，其特征在于，包括：
获取多个系统的交通数据；
按照一定的逻辑判断，将不满足条件的数据存储到clickhouse的日志表，满足条件的数据写入消息中间件Kafka中；
使用clickhouse的kafka引擎表实时接收kafak数据并存入clickhouse预定义的数据存储表中；
通过构建大规模分布式集群，实现数据分区存储、数据TTL管理和数据分片处理，构建基于开源列式数据库的数据分析处理框架；
通过clickhouse的递归式解析器，执行sql语句处理数据的查询分析，快速返回结果。


2.根据权利要求1所述的基...

【专利技术属性】
技术研发人员：华威，刘俊清，黄杰，谢利军，
申请(专利权)人：湖南力唯中天科技发展有限公司，
类型：发明
国别省市：湖南;43