一种底层数据模型的适配方法及存储介质组成比例

本发明专利技术涉及大数据处理技术领域，且公开了一种底层数据模型的适配方法，包括：接口格式统一

【技术实现步骤摘要】
一种底层数据模型的适配方法及存储介质


[0001]本专利技术涉及大数据处理
，具体为一种底层数据模型的适配方法及存储介质
。

技术介绍

[0002]大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取
、、
处理
、
并整理成为帮助企业经营决策更积极目的的资讯，在及肯尼斯
·
库克耶编写的
《》
中，大数据指不用随机分析法（）这样捷径，而采用所有数据进行分析处理，大数据具有大量
、
高速
、
多样
、
低价值密度
、
真实性等特点
。
[0003]随着大数据技术的发展，数据中心的规模日益增大，对数据的管理和处理需求也随之增加，然而，由于各厂家存储设备的底层数据模型各不相同，导致数据在不同设备之间的交换和使用变得困难，此外，数据的梳理
、
处理和告警等操作也变得复杂和低效，一些企业数据系统庞大，有很多数据是需要一直保存的，通常在不同数据库
、
数据存储系统或数据交换格式之间进行，难以确保数据的一致性和可用性，例如华为
、
烽火
、
中兴等厂家的存储设备广泛应用于各个数据中心，但由于各厂家设备的底层数据模型各不相同，因此需要一个统一的底层数据模型的适配方法，以实现在不同厂家设备之间的数据交换和使用，同时，也需要一种能够在各个平台和服务器架构下通用的存储介质，以便实现数据的统一管理，故而我们提出一种底层数据模型的适配方法及存储介质
。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种底层数据模型的适配方法，具备底层数据模型统一适配与数据交互
、
梳理和告警等优点，解决了由于各厂家设备的底层数据模型各不相同，无法实现在不同厂家设备之间的数据交换和使用的问题
。
[0005]为实现上述底层数据模型统一适配与数据交互
、
梳理和告警等目的，本专利技术提供如下技术方案：一种底层数据模型的适配方法，包括：接口格式统一
、
数据模型与接口平台进行交互
、
数据梳理和管理
、
告警信息提供，所述接口格式统一：接口模块接收各种厂家设备传来的底层数据，通过网络数据交换设备适配器接口进行数据格式统一；所述数据模型与接口平台进行交互：通过对适配器进行编写的方式，将各种厂家的底层数据模型转换为统一的数据模型，从而实现与统一的底层数据模型接口平台的交互；所述数据梳理和管理：通过数据
ETL
技术对数据抽取
、
数据转换和数据加载等步骤，将原始数据转换为结构化的
、
易于处理和分析的数据；所述告警信息提供：在对数据进行梳理与管理的同时，设置一些告警规则，如数据异常
、
数据丢失
、
数据延迟等，当数据满足一些告警规则时，即可生成相应的告警信息，以便及时对数据进行处理
。
[0006]一种用于实现上述所述的一种底层数据模型适配方法的存储介质：
[0007]进一步的，所述存储介质：采用一种硬件存储设备，如
SSD、HDD
等，作为数据的物理
存储介质；同时，采用一种软件存储方案，如分布式文件系统
、
数据库等，作为数据的逻辑存储介质
。
[0008]进一步的，所述存储介质包括：数据存储和检索
、
数据安全和隐私防护
、
扩展性和可伸缩性
、
兼容性和互操作性
。
[0009]进一步的，所述数据存储：设备获取海量的数据，通过数据分类管理器压缩成文件总纲，再经过判断管理器来判断文件总纲中的内容是否超出既定的范围，然后将超出范围的文件总纲部分压缩成超出文件，不超出范围的文件总纲部分压缩成不超出文件，然后进行存储
。
[0010]进一步的，所述数据检索：输入查找数据，通过文件定位管理器来查找文件，判断数据在超出文件中还是在不超出文件中，找到数据后压缩成汇总文件，然后导出数据
。
[0011]进一步的，所述数据安全：将底层的数据输入到设备中，然后在设备中设置加密账号，从而将输入的底层数据形成加密文件
。
[0012]进一步的，所述隐私防护：用户在登录平台上输入加密账号与密码，然后进入到检索平台，在检索平台上输入所需要查找的数据，检索平台判断用户的账号有没有权限查询，有权限则导出文件，无权限则向上一级别申请权限，来获取临时账号与密码，然后跳转输入加密账号与密码再次进行操作
。
[0013]进一步的，所述扩展性和可伸缩性：海量数据通过分布管理器分为超出文件与不超出文件两个部分，再通过自动扩展机构来判断超出文件与不超出文件是否存满，存满则形成新建文件，不存满则通过不断的存储进行存满
。
[0014]进一步的，所述兼容性和互操作性：采用标准化的数据格式和接口，以实现不同系统之间的数据交换和共享，以便能够在各种环境下进行部署和使用
。
[0015]有益效果：
[0016]与现有技术相比，本专利技术提供了一种底层数据模型的适配方法，具备以下有益效果：
[0017]1、
该底层数据模型的适配方法及存储介质，通过接口格式统一和数据模型与接口平台进行交互的配合使用，接口模块接收各种厂家设备传来的底层数据，通过网络数据交换设备适配器接口进行数据格式统一，然后通过对适配器进行编写的方式，将各种厂家的底层数据模型转换为统一的数据模型，从而实现与统一的底层数据模型接口平台的交互，从而达到了底层数据模型统一适配的效果
。
[0018]2、
该底层数据模型的适配方法及存储介质，通过数据梳理和管理与告警信息提供的配合使用，通过数据
ETL
技术对数据抽取
、
数据转换和数据加载等步骤，将原始数据转换为结构化的
、
易于处理和分析的数据，在对数据进行梳理与管理的同时，设置一些告警规则，如数据异常
、
数据丢失
、
数据延迟等，当数据满足一些告警规则时，即可生成相应的告警信息，以便及时对数据进行处理，从而达到了数据交互
、
梳理和告警的效果
。
附图说明
[0019]图1为本专利技术总流程结构示意图；
[0020]图2为本专利技术数据存储流程结构示意图；
[0021]图3为本专利技术数据检索流程结构示意图；
[0022]图4为本专利技术数据安全流程结构示意图；
[0023]图5为本专利技术数据隐私防护流程结构示意图；
[0024]图6为本专利技术数据扩展性与可伸缩性流程结构示意图
。
具体实施方式
[0025]下面将结合本专利技术实施例中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种底层数据模型的适配方法，包括：接口格式统一
、
数据模型与接口平台进行交互
、
数据梳理和管理
、
告警信息提供，其特征在于：所述接口格式统一：接口模块接收各种厂家设备传来的底层数据，通过网络数据交换设备适配器接口进行数据格式统一；所述数据模型与接口平台进行交互：通过对适配器进行编写的方式，将各种厂家的底层数据模型转换为统一的数据模型，从而实现与统一的底层数据模型接口平台的交互；所述数据梳理和管理：通过数据
ETL
技术对数据抽取
、
数据转换和数据加载等步骤，将原始数据转换为结构化的
、
易于处理和分析的数据；所述告警信息提供：在对数据进行梳理与管理的同时，设置一些告警规则，如数据异常
、
数据丢失
、
数据延迟等，当数据满足一些告警规则时，即可生成相应的告警信息，以便及时对数据进行处理
。2.
一种底层数据模型的储存介质，采用如权利要求1所述的一种底层数据模型的适配方法，其特征在于：所述存储介质采用一种硬件存储设备，如
SSD、HDD
等，作为数据的物理存储介质；同时，采用一种软件存储方案，如分布式文件系统
、
数据库等，作为数据的逻辑存储介质
。3.
根据权利要求2所述的一种底层数据模型的储存介质，其特征在于：所述存储介质包括：数据存储和检索
、
数据安全和隐私防护
、
扩展性和可伸缩性
、
兼容性和互操作性
。4.
根据权利要...

【专利技术属性】
技术研发人员：孙勇，王景田，樊鹏华，袁宁廷，柳晓萍，张鸽，段宇平，李春生，宋飒，
申请(专利权)人：国网西藏电力有限公司信息通信公司，
类型：发明
国别省市：