一种多维时空数据抽稀与还原算法制造技术

本发明专利技术涉及数据管理，具体涉及一种多维时空数据抽稀与还原算法，将多维时空数据进行相关性分类，划分为多个数据桶，求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，基于时间值集合从原始数据中抽取对应测点值，得到压缩结果，在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果；本发明专利技术提供的技术方案能够有效克服现有技术所存在的难以在减少资源消耗的同时减少数据特征丢失、无法对抽稀后的数据进行有效还原的缺陷。陷。陷。

【技术实现步骤摘要】
一种多维时空数据抽稀与还原算法


[0001]本专利技术涉及数据管理，具体涉及一种多维时空数据抽稀与还原算法。

技术介绍

[0002]随着物联网设备的爆发式增长，在收集、存储、处理和应用物联网数据时，对网络带宽、存储占用、图形渲染等资源都的消耗都在日趋增长。
[0003]随着卫星导航、互联网技术和共享经济的快速发展，高精度定位需求愈发强烈，为了满足高精度定位需求，需要采集大量监控数据，并将监控数据转换为行驶轨迹，通过监控视图，使得监管人员能够及时知悉运行状态。
[0004]在采集监控数据时，可以采用较精细的粒度采集监控数据，例如，以秒为单位采集监控数据。当监管人员查看一段时间内的监控数据时，由于数据量非常大，将导致监控数据绘制监控曲线的性能大幅下降。而且，大多数的监控数据都是正常运行状态下的数据，不会触发监控告警，监管人员无需关注正常运行状态下的数据，因此监控数据中包含了大量冗余数据。在这种情况下，监控视图需要显示非常多的数据点，导致监控视图清晰度降低。
[0005]为了解决上述问题，传统技术中可以采用基于实时数据处理工作流(Spark Streaming)处理监控数据。具体的，可以将监控数据划分为多段，对每段监控数据进行汇聚计算，将汇聚计算后的数据绘制成曲线，例如：计算每段监控数据的平均值，将每段监控数据的平均值绘制成曲线。虽然，监控数据经过汇聚计算后数据量有所减少，提高了绘制曲线的性能和清晰度，但是，汇聚计算后的数据无法准确地反映数据特征。因此，如何在减少监控数据的数据量的同时，尽量减少数据特征丢失是一个亟待解决的问题。

技术实现思路

[0006](一)解决的技术问题
[0007]针对现有技术所存在的上述缺点，本专利技术提供了一种多维时空数据抽稀与还原算法，能够有效克服现有技术所存在的难以在减少资源消耗的同时减少数据特征丢失、无法对抽稀后的数据进行有效还原的缺陷。
[0008](二)技术方案
[0009]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0010]一种多维时空数据抽稀与还原算法，包括以下步骤：
[0011]将多维时空数据进行相关性分类，划分为多个数据桶；
[0012]求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合；
[0013]基于时间值集合从原始数据中抽取对应测点值，得到压缩结果；
[0014]在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果。
[0015]优选地，所述将多维时空数据进行相关性分类，划分为多个数据桶，包括：
[0016]将多维时空数据按照时间+空间的3D/4D数据，或者时间+若干个任意度量值切分
为多个数据桶，记为B。
[0017]优选地，所述求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，包括：
[0018]针对各数据桶，设定符合数据特性的关于度量值的距离函数d＝f(x
s
,x
e
,x
m
)，用于计算点x
m
到点x
s
、x
e
构成直线的距离；
[0019]基于每个数据桶度量值的业务属性设定误差容忍阈值v；
[0020]对每个数据桶进行递归计算，将数据桶的开始点记作B
s
，结束点记作B
e
，中间点记作B
m
，代入距离函数得到距离d＝f(B
s
,B
e
,B
m
)，找出变化率最大的关键时间值t，该处的误差距离记为D
t
；
[0021]若D
t
＞v，则将该数据桶切分为区间分别为[1,t]、[t,n]的两个子数据桶B
[1,t]、B
[t,n]，并进行上述递归计算，当D
t
≤v时终止该子数据桶的计算；
[0022]找出所有误差距离大于误差容忍阈值v的关键时间值t，并记录至时间值集合T。
[0023]优选地，所述距离函数为平面地理空间距离、三维地理空间距离、欧式距离、马氏距离中的一种。
[0024]优选地，所述基于时间值集合从原始数据中抽取对应测点值，得到压缩结果，包括：
[0025]对时间值集合T进行去重后按照升序排序，将时间值集合T作为索引，从原始数据中抽取对应测点值，得到压缩结果R。
[0026]优选地，所述在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果，包括：
[0027]输入待还原时间点t
i
和还原函数x
m
＝f
‑1(x
s
,x
e
,m)，在时间值集合T中找出待还原时间点t
i
所在区间[t
n
,t
m
]，n≤i≤m；
[0028]若待还原时间点t
i
不在时间值集合T中，则终止计算；
[0029]将t
n
处的测点值t
m
处的测点值代入还原函数，计算子数据桶在待还原时间点t
i
处的测点值
[0030]将所有子数据桶在待还原时间点t
i
处的测点值进行融合后，即得到待还原时间点t
i
对应的还原结果。
[0031](三)有益效果
[0032]与现有技术相比，本专利技术所提供的一种多维时空数据抽稀与还原算法，可以在保证时间序列数据的数据特征丢失率的前提下，对采样点数量进行大幅压缩，并根据业务需要目标时间点的数据进行有效还原；以此技术为基础可以构建如实时物联网数据分发服务、大规模时序数据存储服务、物联网数据实时展示等应用，在低配置的硬件设备与网络条件下进行更大规模的物联网数据管理。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0034]图1为本专利技术的流程示意图；
[0035]图2为本专利技术中现有技术对飞机航班进行多点采样得到的行驶轨迹示意图；
[0036]图3为本专利技术对飞机航班进行数据抽稀得到的行驶轨迹示意图。
具体实施方式
[0037]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维时空数据抽稀与还原算法，其特征在于：包括以下步骤：将多维时空数据进行相关性分类，划分为多个数据桶；求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合；基于时间值集合从原始数据中抽取对应测点值，得到压缩结果；在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果。2.根据权利要求1所述的多维时空数据抽稀与还原算法，其特征在于：所述将多维时空数据进行相关性分类，划分为多个数据桶，包括：将多维时空数据按照时间+空间的3D/4D数据，或者时间+若干个任意度量值切分为多个数据桶，记为B。3.根据权利要求1所述的多维时空数据抽稀与还原算法，其特征在于：所述求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，包括：针对各数据桶，设定符合数据特性的关于度量值的距离函数d＝f(x
s
,x
e
,x
m
)，用于计算点x
m
到点x
s
、x
e
构成直线的距离；基于每个数据桶度量值的业务属性设定误差容忍阈值v；对每个数据桶进行递归计算，将数据桶的开始点记作B
s
，结束点记作B
e
，中间点记作B
m
，代入距离函数得到距离d＝f(B
s
,B
e
,B
m
)，找出变化率最大的关键时间值t，该处的误差距离记为D
t
；若D
t
＞v，则将该数据桶切分为区间分别为[1,t]、[t,n]的两个子数据桶B
[...

【专利技术属性】
技术研发人员：张重阳，宣彤，
申请(专利权)人：飞友科技有限公司，
类型：发明
国别省市：