基于键值云存储的时空范围内海量过车记录快速查询方法技术

本发明专利技术涉及一种基于键值云存储的时空范围内海量过车记录快速查询方法，其中所述的方法包括构建时间和空间分段点的键值索引表；构建时间和空间分段树的键值索引表；以及构建时间和空间分段树更新和删除键值索引表。采用该种方法，通过引入时空分段点索引表，大大提高基于时空单点的过车记录快速查询效率；通过引入时空分段树索引表，大大提高基于时空范围的过车记录快速查询效率；通过引入时空分段树更新索引表，能动态重构时空分段树索引表，为支持海量的流过车记录实时查询提供可能；通过引入键值云存储数据库保存上述索引表，并利用Hadoop云平台生成上述索引表，大大缩短了构建和维护索引的时间，并提高查询处理性能。

【技术实现步骤摘要】

本专利技术涉及计算机数据库
，尤其涉及云平台数据库的分布式索引和查询处理领域，具体是指一种基于键值云存储的时空范围内海量过车记录快速查询方法。
技术介绍
基于键值云存储的时空范围内海量过车记录快速查询方法主要实现海量过车结构化记录在云平台上分别基于时空范围和时空单点的快速查询。近年来，随着MapReduce和hdfs的hadoop和Nosql的键值数据库技术的深入研究，使得上述两类查询问题有望得以解决，而索引方法的好坏直接影响了过车记录查询性能。现在常采用基于MapReduce上构建B-Tree或R-Tree等变种索引去实现时空范围和时空点两类查询。R.G.Y等人在其发表的论文采用基于B-Tree变种去构建时间索引，如TimeIndex方法，此方法计算复杂度为O(n2),随后V.I.V.R.S等人在其发表的论文中提出的TimeIndex+方法，虽然性能有所提高，但需要优化完善；A.M等人在其发表的论文中提出SpatialHadoop，采用基于MapReduce框架去处理空间数据。J.R等人在其发表的论文中提出Parallel-Secondo，采用并行空间关系数据库，此数据库利用Hadoop作为分布式任务调度器。C.G.S.S等人在其发表的论文中提出分布式分段树，能支持基于P2P DHT网络的范围查询，但P2P DHT基础设施不同于本专利提出的分布式云平台。综上可知，现有的时空范围和时空单点过车记录快速查询大多采用基于Hadoop平台构建B-Tree和R-Tree变种索引，充分利用了Hadoop分布式并行处理及键值数据库高效处理特性，但海量过车记录基于时空范围和时空单点查询采用B-Tree或者R-Tree等变种索引不一定为合宜技术方案。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够实现解决时空范围快速查询和时空单点快速查询两类问题的基于键值云存储的时空范围内海量过车记录快速查询方法。为了实现上述目的，本专利技术具有如下构成：该基于键值云存储的时空范围内海量过车记录快速查询方法，其主要特点是，所述的方法包括如下步骤：(1)将海量过车记录数据导入到键值数据库中；(2)根据过车记录时间和空间颗粒，构建时间和空间分段点的键值索引表；(3)在时间和空间分段点的键值索引表的基础上，构建时间和空间分段树的键值索引表；(4)在重构时间和空间分段树的键值索引表时，构建时间和空间分段树更新和删除键值索引表。较佳地，构建时间分段点的键值索引表，包括以下步骤：(2-A-1)确定过车记录时间所属的时间范围；(2-A-2)基于时间颗粒度大小，对时间范围进行分段，得到时间分段区间；(2-A-3)对时间分段区间的起始值和终止值分别建立键值；(2-A-4)利用MapReduce或者Spark框架将属于各个时间分段区间内的过车记录的行键聚集保存于对应列值中，形成时间分段点的键值索引表。较佳地，构建空间分段点的键值索引表，包括以下步骤：(2-B-1)确定交通路网车辆监控点所属的空间范围；(2-B-2)基于空间颗粒度大小，对空间范围进行分段，得到空间分段区间；(2-B-3)对空间分段区间的起始值和终止值分别建立键值；(2-B-4)利用MapReduce或者Spark框架将属于各个空间分段区间内的过车记录的行键聚集保存于对应列值中，形成空间分段点的键值索引表。更佳地，构建时间分段树的键值索引表，包括以下步骤：(3-A-1)基于时间分段点的键值索引表，每两个相邻的时间分段构建一棵树，采用自底向上的方法，利用MapReduce或者Spark框架，形成一棵仅含一个根节点的完全二叉树；(3-A-2)标识二叉树的所有节点，形成具有时间分段点标识值的键值、分段点所属时间分段区间的起始值和终止值、对应左子树和右子树标识值及过车记录的行键的时间分段树索引表。较佳地，构建空间分段树的键值索引表，包括以下步骤：(3-B-1)基于空间分段点的键值索引表，每两个相邻的空间分段构建一棵树，采用自底向上的方法，利用MapReduce或者Spark框架，形成一棵仅含一个根节点的完全二叉树；(3-B-2)标识二叉树的所有节点，形成具有空间分段点标识值的键值、分段点所属空间分段区间的起始值和终止值、对应左子树和右子树标识值及过车记录的行键的空间分段树索引表。较佳地，构建时间分段树更新和删除键值索引表，包括以下步骤：(4-A-1)基于时间分段点的键值索引表，将新插入和删除的过车记录保存于一个单独的列中，形成时间分段树更新和删除键值索引表；(4-A-2)当需要重新构建时间分段树的键值索引表时，从时间分段树更新和删除键值索引表中快速获取新插入和删除的过车记录。较佳地，构建空间分段树更新和删除键值索引表，包括以下步骤：(4-B-1)基于空间分段点的键值索引表，将新插入和删除的过车记录保存于一个单独的列中，形成空间分段树更新和删除键值索引表；(4-B-2)当需要重新构建空间分段树的键值索引表时，从空间分段树更新和删除键值索引表中快速获取新插入和删除的过车记录。采用了该专利技术中的基于键值云存储的时空范围内海量过车记录快速查询方法，具有如下有益效果：(1)通过引入时空分段点索引表，大大提高基于时空单点的过车记录快速查询效率；(2)通过引入时空分段树索引表，大大提高基于时空范围的过车记录快速查询效率；(3)通过引入时空分段树更新索引表，能动态重构时空分段树索引表，为支持海量的流过车记录实时查询提供可能；(4)通过引入键值云存储数据库保存上述索引表，并利用Hadoop云平台生成上述索引表，大大缩短了构建和维护索引的时间，并提高查询处理性能。附图说明图1为本专利技术的时间分段点索引构建的方法的流程图。图2为本专利技术的空间分段点索引构建的方法的流程图。图3为本专利技术的时间分段树索引构建的方法的流程图。图4为本专利技术的空间分段树索引构建的方法的流程图。图5为本专利技术的时间分段树更新索引构建的方法的流程图。图6为本专利技术的空间分段树更新索引构建的方法的流程图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术解决的时空范围快速查询问题涉及时间和空间分段点索引构建算法；时空单点快速查询问题涉及时间和空间分段树索引构建算法及对应的更新索引及删除索引构建算法。首先把海量过车记录导入到Nosql的key-value(键值)数据库中；然后利用MapReduce或Spark框架，根据过车记录时间和空间颗粒，构建时间和空间分段点的key-value索引表；之后在时间和空间分段点的key-value索引表的基础上，构建时间和空间分段树key-value索引表，同时在重构时间和空间分段树key-value索引表期间，构建时间和空间分段树更新和删除key-value索引表。基于键值云存储的时空范围内海量过车记录快速查询方法，包括以下算法：1)时间分段点索引构建算法；2)空间分段点索引构建算法；3)时间分段树索引构建算法；4)空间分段树索引构建算法；5)时间分段树更新索引算法；6)空间分段树更新索引算法。上述算法假定海量过车记录已导入键值数据库中。海量过车记录表示为R(C,S,T)。其中C表示过车记录主键标识rowkey(行键)，S表示空间范围，T表示时间范围。S本文档来自技高网...

【技术保护点】
一种基于键值云存储的时空范围内海量过车记录快速查询方法，其特征在于，所述的方法包括如下步骤：(1)将海量过车记录数据导入到键值数据库中；(2)根据过车记录时间和空间颗粒，构建时间和空间分段点的键值索引表；(3)在时间和空间分段点的键值索引表的基础上，构建时间和空间分段树的键值索引表；(4)在重构时间和空间分段树的键值索引表时，构建时间和空间分段树更新和删除键值索引表。

【技术特征摘要】
1.一种基于键值云存储的时空范围内海量过车记录快速查询方法，其特征在于，所述的方法包括如下步骤：(1)将海量过车记录数据导入到键值数据库中；(2)根据过车记录时间和空间颗粒，构建时间和空间分段点的键值索引表；(3)在时间和空间分段点的键值索引表的基础上，构建时间和空间分段树的键值索引表；(4)在重构时间和空间分段树的键值索引表时，构建时间和空间分段树更新和删除键值索引表。2.根据权利要求1所述的基于键值云存储的时空范围内海量过车记录快速查询方法，其特征在于，构建时间分段点的键值索引表，包括以下步骤：(2-A-1)确定过车记录时间所属的时间范围；(2-A-2)基于时间颗粒度大小，对时间范围进行分段，得到时间分段区间；(2-A-3)对时间分段区间的起始值和终止值分别建立键值；(2-A-4)利用MapReduce或者Spark框架将属于各个时间分段区间内的过车记录的行键聚集保存于对应列值中，形成时间分段点的键值索引表。3.根据权利要求1所述的基于键值云存储的时空范围内海量过车记录快速查询方法，其特征在于，构建空间分段点的键值索引表，包括以下步骤：(2-B-1)确定交通路网车辆监控点所属的空间范围；(2-B-2)基于空间颗粒度大小，对空间范围进行分段，得到空间分段区间；(2-B-3)对空间分段区间的起始值和终止值分别建立键值；(2-B-4)利用MapReduce或者Spark框架将属于各个空间分段区间内的过车记录的行键聚集保存于对应列值中，形成空间分段点的键值索引表。4.根据权利要求2所述的基于键值云存储的时空范围内海量过车记录快速查询方法，其特征在于，构建时间分段树的键值索引表，包括以下步骤：(3-A-1)基于时间分段点的键值索引表，每两个相邻的时间分段构建一棵树，采用自底...

【专利技术属性】
技术研发人员：赵郁亮，徐旭，胡玲玲，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：上海;31