一种基于流式处理的数据存储方法、设备及介质技术

本申请公开了一种基于流式处理的数据存储方法、设备及介质，方法包括：获取物联网设备上传的第一待存储流数据；根据第一待存储流数据的数据来源，确定第一待存储流数据对应的预先构建的配置模型；通过配置模型对第一待存储流数据进行解析，转换第一待存储流数据的数据格式，得到第二待存储流数据；根据配置模型的数据库标识，将第二待存储流数据存储至对应的数据库。通过预先构建的配置模型对第一待存储流数据进行解析，能够实时存储物联网设备上传的第一待存储流数据，不需要在代码里修改，就可以执行流式处理任务，并且根据配置模型的数据库标识，将第二待存储流数据自动存储至对应的数据库，能够提高数据存储的效率。能够提高数据存储的效率。能够提高数据存储的效率。

【技术实现步骤摘要】
一种基于流式处理的数据存储方法、设备及介质


[0001]本申请涉及信息处理
，尤其涉及一种基于流式处理的数据存储方法、设备及介质。

技术介绍

[0002]随着计算机技术和网络技术的飞速发展，数字化信息呈现指数级增长，海量的数据可供利用。其中，流式数据的应用愈发频繁。
[0003]流数据通常表现为一组随着时间序列增长的多维度的数据记录，在数据记录中，既存在着能够直观理解的结构化形式的度量指标，也可能存在着音频、图像之类的非结构化数据。
[0004]但是，由于流数据实时产生，并且数据量庞大，导致流数据并不能实时进行存储，因此，如何更高效的存储流数据成为亟待解决的问题。

技术实现思路

[0005]本申请实施例提供一种基于流式处理的数据存储方法、设备及介质，用于解决如何更高效的存储流数据的问题。
[0006]本申请实施例采用下述技术方案：
[0007]一方面，本申请实施例提供了一种基于流式处理的数据存储方法，该方法包括：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。
[0008]一个示例中，所述根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型，具体包括：确定设定的初始配置模型；确定所述初始配置模型的属性字段；通过所述属性字段以及所述属性字段的配置条件，构建配置模型，以构建配置模型库；在所述配置模型库中，将多个所述配置模型的数据来源字段的配置条件与所述第一待存储流数据的数据来源进行匹配，确定所述第一待存储流数据对应的配置模型。
[0009]一个示例中，所述通过所述配置模型对所述待存储流数据进行解析，转换所述待存储流数据的数据格式，具体包括：确定所述配置模型的源数据格式字段；通过分析所述源数据格式字段的源数据格式与目标数据格式之间的差异，建立数据转换规则，以确定所述源数据格式字段的配置条件；通过所述配置模型的非源数据格式字段的配置条件对所述第一待存储流数据进行解析；根据所述数据转换规则，转换解析后的待存储流数据的数据格式。
[0010]一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：若所述第二待存储流数据的数据类型为结构化数据，则根据
所述配置模型的数据库标识确定所述第二待存储流数据对应的键值数据库；确定所述第二待存储流数据对应的二维表；通过横向划分所述二维表，将所述二维表均分为若干区域；分别对所述若干区域中的列数据进行压缩，以将所述第二待存储流数据存储至所述键值数据库。
[0011]一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库之后，所述方法还包括：预先构建所述键值数据库中的全局有序键值模型；获取待检索范围的流数据；通过所述全局有序键值模型对Key值进行全局字典排列，以将所述待检索范围的流数据映射为Key值区间；对所述Key值区间进行扫描，确定各Key值对应的Value值，以获取所述待检索范围的流数据。
[0012]一个示例中，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：若所述第二待存储流数据的数据类型为非结构化数据，根据所述配置模型的数据库标识确定所述第二待存储流数据对应的数据库；生成所述第二待存储流数据对应的文件块；基于所述文件块，将所述第二待存储流数据对应的文件描述信息确定为Key值，将所述第二待存储流数据对应的文件路径确定为Value值的检索结构，以将所述第二待存储流数据存储至对应的数据库。
[0013]一个示例中，所述获取物联网设备上传的第一待存储流数据之后，所述方法还包括：对所述第一存储流数据进行过滤，确定所述第一存储流数据是否异常；若所述第一存储流数据异常，则从所述第二待存储流数据对应的数据库中获取所述物联网设备的预设时间段内的历史第二待存储流数据；对所述历史第二待存储流数据进行转换，确定与所述第一待存储流数据格式相同的第三待存储流数据；对所述第一存储流数据与所述第三存储流数据进行分析，确定所述第一存储流数据的物联网设备的异常。
[0014]一个示例中，所述对所述第一存储流数据与所述第三存储流数据进行分析，具体包括：分析所述第一存储流数据与所述第三存储流数据的相关性；若所述第一存储流数据与所述第三存储流数据差异显著，则确定所述物联网设备的预设故障清单；在所述预设故障清单中，对所述第一存储流数据与所述第三存储流数据进行分析，确定所述物联网设备的异常。
[0015]另一方面，本申请实施例提供了一种基于流式处理的数据存储设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。
[0016]另一方面，本申请实施例提供了一种基于流式处理的数据存储非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模
型的数据库标识，将所述第二待存储流数据存储至对应的数据库。
[0017]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0018]本申请实施例通过预先构建的配置模型对第一待存储流数据进行解析，能够实时存储物联网设备上传的第一待存储流数据，不需要在代码里修改，就可以执行流式处理任务，并且根据配置模型的数据库标识，将第二待存储流数据自动存储至对应的数据库，能够提高数据存储的效率。
附图说明
[0019]为了更清楚地说明本申请的技术方案，下面将结合附图来对本申请的部分实施例进行详细说明，附图中：
[0020]图1为本申请实施例提供的一种基于流式处理的数据存储方法的流程示意图；
[0021]图2为本申请实施例提供的一种基于流式处理的数据存储设备的结构示意图；
具体实施方式
[0022]为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流式处理的数据存储方法，其特征在于，所述方法包括：获取物联网设备上传的第一待存储流数据；根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型；通过所述配置模型对所述第一待存储流数据进行解析，转换所述第一待存储流数据的数据格式，得到第二待存储流数据；根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一待存储流数据的数据来源，确定所述第一待存储流数据对应的预先构建的配置模型，具体包括：确定设定的初始配置模型；确定所述初始配置模型的属性字段；通过所述属性字段以及所述属性字段的配置条件，构建配置模型，以构建配置模型库；在所述配置模型库中，将多个所述配置模型的数据来源字段的配置条件与所述第一待存储流数据的数据来源进行匹配，确定所述第一待存储流数据对应的配置模型。3.根据权利要求2所述的方法，其特征在于，所述通过所述配置模型对所述待存储流数据进行解析，转换所述待存储流数据的数据格式，具体包括：确定所述配置模型的源数据格式字段；通过分析所述源数据格式字段的源数据格式与目标数据格式之间的差异，建立数据转换规则，以确定所述源数据格式字段的配置条件；通过所述配置模型的非源数据格式字段的配置条件对所述第一待存储流数据进行解析；根据所述数据转换规则，转换解析后的待存储流数据的数据格式。4.根据权利要求1所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库，具体包括：若所述第二待存储流数据的数据类型为结构化数据，则根据所述配置模型的数据库标识确定所述第二待存储流数据对应的键值数据库；确定所述第二待存储流数据对应的二维表；通过横向划分所述二维表，将所述二维表均分为若干区域；分别对所述若干区域中的列数据进行压缩，以将所述第二待存储流数据存储至所述键值数据库。5.根据权利要求4所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将所述第二待存储流数据存储至对应的数据库之后，所述方法还包括：预先构建所述键值数据库中的全局有序键值模型；获取待检索范围的流数据；通过所述全局有序键值模型对Key值进行全局字典排列，以将所述待检索范围的流数据映射为Key值区间；对所述Key值区间进行扫描，确定各Key值对应的Value值，以获取所述待检索范围的流数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述配置模型的数据库标识，将
所述第二待存储流数据存储至对应的数...

【专利技术属性】
技术研发人员：邱瀚，李栋，马强，殷忠源，刘斌，李岳，胡中波，张凯，孙丹，
申请(专利权)人：山东旗帜信息有限公司，
类型：发明
国别省市：