一种卡口车辆通行数据的分布式存储方法及系统技术方案

本发明专利技术涉及一种卡口车辆通行数据的分布式存储方法，包括：配置计算节点和数据节点服务器，搭建并行计算集群环境；按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；接入待存储的各个卡口的过车信息数据源；用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。本发明专利技术还公开了一种卡口车辆通行数据的分布式存储系统。本发明专利技术不仅满足了日常业务中卡口系统对海量过车信息数据存储的需求，而且通过对过车信息的数据结构的索引数据结构设计实现了快速查询的功能，大大提高了查询速率，增强了用户体验。

【技术实现步骤摘要】

本专利技术涉及卡口过车信息数据存储
，尤其是一种卡口车辆通行数据的分布式存储方法及系统。
技术介绍
随着平安城市项目的推进，卡口系统需要接入的数据源越来越多，当前，平安合肥每日新增卡口数据约40万条，已有历史数据约4600万条，高效的存储和读取大数据量的数据成为传统数据库存储结构的瓶颈。现有的传统数据库存储实现的卡口系统虽然可以记录一定量的过车信息，但当记录的数据流达到一定的数量级，就无法保证写入效率和查询效率，严重影响了响应的实时性。另外，传统数据库对大数据量大数据存储的管理存在同样类似的瓶颈。 
技术实现思路
本专利技术的首要目的在于提供一种能够满足日常业务中卡口系统对海量过车信息数据存储的需求，大大提高查询速率的卡口车辆通行数据的分布式存储方法。为实现上述目的，本专利技术采用了以下技术方案：一种卡口车辆通行数据的分布式存储方法，该方法包括下列顺序的步骤：（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； （2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；（4）接入待存储的各个卡口的过车信息数据源；（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。设定定时任务，自动统计前一天各个卡口的过车数据总量。将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号。所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号。用户输入一个车牌号的其中任意一段连续字符，便可通过分布式索引文件的查询返回相似度最高的前20个车牌号；返回车牌号之后，系统再根据相似度最高的车牌号列表进行全字段的匹配查询；车牌号的分布式索引存储在大数据集群中的分布式文件系统中。本专利技术还公开了一种卡口车辆通行数据的分布式存储系统，包括大数据集群，大数据集群通过网线分别与用户终端、卡口服务器和交换机相连，卡口数据源通过交换机接入系统，其中，大数据集群，提供大数据平台计算服务和海量数据存储服务；用户终端，用户用来访问整个卡口系统和其中大数据服务应用；卡口服务器，是卡口业务系统存放的主机，经过编译的卡口业务系统打包上传到卡口服务器上，然后卡口服务器对外发布卡口服务；卡口数据源，是卡口业务系统和大数据平台需要记录的摄像头卡口抓拍的数据；交换机，用于在局域网内不同服务器和主机终端交换数据、搭建局域网。所述大数据集群由1个计算节点、1个备份计算节点和N个数据节点组成，计算节点、备份计算节点和数据节点之间通过网线连接，其中，计算节点，用于处理卡口过车信息中需要运算，和选择分配任务决策运算处理；备份计算节点，保证集群的高可用；数据节点，用于存储海量过车信息数据。所述大数据集群运行在Linux内核的服务器，计算节点、备份计算节点和数据节点使用Hadoop分布式计算框架，采用HDFS的分布式文件系统，利用MapReduce算法实现“分而治之”的计算模型，所有数据通过Phoenix中间件存储在HBase数据库内，整个Hadoop框架内的计算转发、监控和策略决定都由ZooKeeper管理。由上述技术方案可知，本专利技术采用分布式数据存储结构，接入不同厂家的卡口过车信息数据,并且在入库之前对数据进行合法性校验和业务性调整,保证数据可用可分析。同时对车牌号，过车信息建立索引，保证查询时间和效率，保证高可用。本专利技术不仅满足了日常业务中卡口系统对海量过车信息数据存储的需求，而且通过对过车信息的数据结构的索引数据结构设计实现了快速查询的功能，大大提高了查询速率，增强了用户体验。本专利技术不仅可以应用于平安城市卡口系统记录过车信息相关数据，还可将其运用到其他类似数据量大，业务处理相对不是很复杂的业务场景中使用。附图说明图1为本专利技术的系统网络拓扑图。图2为本专利技术的软件技术分层框架图。图3为本专利技术的方法流程图。具体实施方式一种卡口车辆通行数据的分布式存储方法，包括：首先，配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件，Apache Phoenix数据访问中间件把传统数据库的SQL语句编译成HBase存储所需要的操作语句，加快了开发效率，降低了开发难度；其次，按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；再次，对主键和常用查询字段建立分布式可变索引，常用查询字段如车速，再针对车牌号建立分布式检索索引；接着，接入待存储的各个卡口的过车信息数据源；最后，用户以包含索引的字段进行查询，系统在100ms之内返回相应数据，如图3所示。设定定时任务，自动统计前一天各个卡口的过车数据总量。每天定时对前一天数据进行统计并记录到日统计表，业务系统的统计数据不用每次去过车信息表里查询，去日统计表累加即可，大大加速了统计的效率，提高了用户体验，便于系统的总体统计展现，减少数据库负载。如图3所示，按照业务需求采集的车辆特征建立表结构，采集到字段有“车牌号”，“通信时间”，“卡口编号”，“车辆颜色”，“车辆大小”，“通行方向”，“数据来源”等存储字段；根据具体业务需求，整理需要持久化的所有数据信息字段，同时选取能够唯一标志一条记录的字段作为主键，这里将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号，比如，皖A12345（车牌号）+“2014-02-21 00:00:00.000”（通过时间取反） + 1001（卡口编号）；表结构建立完成后,考虑到要对存储的卡口数据做随机读取,对表结构中的3个联合主键和某些常用查询字段如车速建立分布式可变索引,所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号，比如，“2014-02-21 00:00:00.000” （通过时间取反） + 1001（卡口编号） + 皖A12345（车牌号）。如图3所示，由于分布式存储数据对车牌号的模糊匹配效率较低，于是针对车牌号建立的分布式索引，例如：号牌号码：皖A5U815，那么，它在分布式索引中建立的索引是“皖 皖A 皖A5 皖A5U 皖A5U8 皖A5U81 皖A5U815 A A5 A5U A5U8 A5U81 A5U815 5 5U 5U8 5U81 5U815 U U8 U81 U815 8 81 815 1 15 5 ”，车牌号的分布式本文档来自技高网...

【技术保护点】
一种卡口车辆通行数据的分布式存储方法，其特征在于，该方法包括下列顺序的步骤：（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； （2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；（4）接入待存储的各个卡口的过车信息数据源；（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。

【技术特征摘要】
1.一种卡口车辆通行数据的分布式存储方法，其特征在于，该方法包括下列顺序的步骤：
（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； 
（2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；
（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；
（4）接入待存储的各个卡口的过车信息数据源；
（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。
2.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：设定定时任务，自动统计前一天各个卡口的过车数据总量。
3.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号。
4.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号。
5.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：用户输入一个车牌号的其中任意一段连续字符，便可通过分布式索引文件的查询返回相似度最高的前20个车牌号；返回车牌号之后，系统再根据相似度最高的车牌号列表进行全字段的匹配查询；车牌...

【专利技术属性】
技术研发人员：王佐成，刘春珲，范联伟，张跃，周春寅，王汉林，余保华，
申请(专利权)人：安徽四创电子股份有限公司，
类型：发明
国别省市：安徽;34