用于处理多个传感器的时序数据的方法和装置制造方法及图纸

本发明专利技术涉及时序数据处理，公开一种用于处理来自多个传感器的时序数据的方法和装置，其中，所述多个传感器被划分成多个传感器组，每个时序数据包含一个时间戳和一个值，该值与该时间戳相关联，该方法包含：数据接收步骤，接收来自多个传感器的各个传感器的时序数据；数据分组步骤，将接收的各个传感器的时序数据分派到所述多个传感器组中该个传感器所属的传感器组；第一存储步骤，在第一存储器的第一数据库存储时序数据，使得被分派到所述多个传感器组中的同一个传感器组的多个时序数据被存储在第一数据库的至少一个数据库记录中；数据重组步骤，从第一数据库中获取多个传感器的各个传感器的时序数据。第二存储步骤，在第二存储器的第二数据库存储时序数据，使得同一个传感器的多个时序数据被存储在第二数据库的至少一个数据库记录中。

【技术实现步骤摘要】
用于处理多个传感器的时序数据的方法和装置
本专利技术涉及时序数据处理，更具体地，涉及在数据库中存储来自传感器的时序数据。
技术介绍
在各种工业应用中，需要处理来自大量传感器的海量时序数据—亦称“时间序列数据”(TimeSeriesData)，例如股价波动、气温变化等等。时序数据包含时间戳和与时间戳相关联的值，例如包含来自传感器的采样时间和采样值。在能源系统、智能电网等应用中，往往部署数以千万计的传感器，这些传感器产生海量的时序数据，需要将它们持久地存储在数据库中以便查询。在持久存储时序数据之前，首先要从传感器实时接收时序数据，并在临时存储器的数据库中暂存所接收的时序数据。通常是按传感器组织暂存时序数据，这种方式虽然直截了当，但是对缓存的利用效率不高，在处理来自大量低频采样的传感器的海量时序数据时，尤其如此。
技术实现思路
针对现有技术的状况，本专利技术的一个目的是提供一种用于处理来自多个传感器的时序数据的改进的方法和装置。一方面，提供一种用于处理来自多个传感器的时序数据的方法，其中，所述多个传感器被划分成多个传感器组，每个时序数据包含一个时间戳和一个值，该值与该时间戳相关联，该方法包含：数据接收步骤，接收来自多个传感器的各个传感器的时序数据；数据分组步骤，将接收的各个传感器的时序数据分派到所述多个传感器组中该个传感器所属的传感器组；第一存储步骤，在第一存储器的第一数据库存储时序数据，使得第一数据库的各个数据库记录包含被分派到所述多个传感器组中的同一个传感器组的多个时序数据；数据重组步骤，从第一数据库中获取多个传感器的各个传感器的时序数据；第二存储步骤，在第二存储器的第二数据库存储时序数据，使得第二数据库的各个数据库记录包含同一个传感器的多个时序数据。另一方面，提供一种用于处理来自多个传感器的时序数据的装置，其中，所述多个传感器被划分成多个传感器组，每个时序数据包含一个时间戳和一个值，该值与该时间戳相关联，该装置包含：数据接收模块，被配置得用于接收来自多个传感器的各个传感器的时序数据；数据分组模块，被配置得用于将接收的各个传感器的时序数据分派到所述多个传感器组中该个传感器所属的传感器组；第一存储控制模块，被配置得用于在第一存储器的第一数据库存储时序数据，使得第一数据库的各个数据库记录包含被分派到所述多个传感器组中的同一个传感器组的多个时序数据；数据重组模块，被配置得用于从第一数据库中获取多个传感器的各个传感器的时序数据；第二存储控制模块，被配置得用于在第二存储器的第二数据库存储时序数据，使得第二数据库的各个数据库记录包含同一个传感器的多个时序数据。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1示出了适于用来实现本专利技术实施方式的示例性计算系统100的框图；图2是按照本专利技术一个实施例的方法的示意性流程图；图3是按照本专利技术一个实施例的装置的示意性框图；图4示意性地表示来自传感器的时序数据的例子；图5A和5B示意性地表示按照本专利技术实施例、在第一存储器中存储来自多个传感器的时序数据的数据库记录；图6A和6B示意性地表示按照本专利技术一个实施例的用于第二存储器中存储时序数据的数据库记录；图7示意性地表示按照本专利技术另一个实施例的用于在第二存储器中存储时序数据的数据库记录；图8是传感器的时序数据的一种图示。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了适于用来实现本专利技术实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本专利技术范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。所属
的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本专利技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类本文档来自技高网...

【技术保护点】
一种用于处理来自多个传感器的时序数据的方法，其中，所述多个传感器被划分成多个传感器组，每个时序数据包含一个时间戳和一个值，该值与该时间戳相关联，该方法包含：数据接收步骤，接收来自多个传感器的各个传感器的时序数据；数据分组步骤，将接收的各个传感器的时序数据分派到所述多个传感器组中该个传感器所属的传感器组；第一存储步骤，在第一存储器的第一数据库存储时序数据，使得被分派到所述多个传感器组中的同一个传感器组的多个时序数据被存储在第一数据库的至少一个数据库记录中；数据重组步骤，从第一数据库中获取多个传感器的每个传感器的时序数据；第二存储步骤，在第二存储器的第二数据库存储时序数据，使得同一个传感器的多个时序数据被存储在第二数据库的至少一个数据库记录中中。

【技术特征摘要】
1.一种用于处理来自多个传感器的时序数据的方法，其中，所述多个传感器被划分成多个传感器组，每个时序数据包含一个时间戳和一个值，该值与该时间戳相关联，该方法包含：数据接收步骤，接收来自多个传感器的各个传感器的时序数据；数据分组步骤，将接收的各个传感器的时序数据分派到所述多个传感器组中该个传感器所属的传感器组；第一存储步骤，在第一存储器的第一数据库存储时序数据，使得被分派到所述多个传感器组中的同一个传感器组的多个时序数据被存储在第一数据库的至少一个数据库记录中；数据重组步骤，从第一数据库中获取多个传感器的每个传感器的时序数据；第二存储步骤，在第二存储器的第二数据库存储时序数据，使得同一个传感器的多个时序数据被存储在第二数据库的至少一个数据库记录中,其中,根据来自每个传感器的值的概率分布函数PDF，为每个传感器的值划分多个值范围；按所划分的值范围存储时序数据，使得一个数据库记录中包含属于同一个值范围的值对应的时序数据。2.权利要求1的方法，所述第二存储步骤进一步按时间戳存储时序数据。3.权利要求1或2的方法，进一步包含：数据压缩步骤，针对每个传感器，对时序数据进行压缩，产生压缩的时序数据。4.权利要求3的方法，其中，所述对时序数据进行压缩，包含以下的一个或多个：对时序数据中的时间戳进行压缩；对每个传感器的时序数据中的值进行线性压缩。5.权利要求4的方法，其中，所述在第一存储器的第一数据库存储时序数据，包含在第一存储器的第一数据库存储压缩的时序数据。6.权利要求4的方法，所述对时序数据进行压缩，包含对每个传感器的时序数据中的值进行线性压缩，所述在第二存储器的第二数据库存储时序数据，包含在第二存储器的第二数据库存储压缩的时序数据。7.权利要求3的方法，进一步包含：查询接收步骤，接收对时序数据的查询；查询步骤，在第二存储器中执行对时序数据的查询。8.权利要求7的方法，其中，所述查询步骤包含：查询转换步骤，将所接收的查询转换为对第二存储器中压缩的时序数据的查询；压缩数据查询步骤，执行对第二存储器中压缩的时序数据的查询，获得查询结果；解压步骤，将所获得的查询结果中压缩的时序数据进行解压。9.一种用于处理来自多个传感器的时序数据的装置，其中，所述多个...

【专利技术属性】
技术研发人员：陈晓艳，黄胜，王晨，刘凯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US