【技术实现步骤摘要】
本申请涉及数据治理，尤其涉及一种云原生环境下对于数据的管理方法、系统及存储介质。
技术介绍
1、随着信息技术的飞速发展，云计算作为一种新兴的计算模式在近年来得到广泛应用。云计算通过提供灵活的资源管理、弹性的服务交付和高效的计算资源利用率，为企业带来了巨大的便利。而云原生计算作为云计算的一种演进，致力于构建更为弹性、敏捷和高效的应用系统，将应用程序与底层基础设施解耦，进一步推动了云计算的发展。
2、在云原生环境下，数据的管理至关重要。当前的云原生数据管理方法主要涉及数据存储、处理和分析等方面。存储方面，对象存储、分布式文件系统等技术为大规模数据提供了高可靠性和高可扩展性的存储方案。在数据处理和分析方面，云原生环境中使用的容器化技术和容器编排系统如kubernetes，为数据处理提供了更加灵活和可伸缩的解决方案。此外，微服务架构的应用也使得数据管理更具弹性，能够更好地适应快速变化的业务需求。
3、尽管云原生数据管理取得了显著的进展，但仍然存在一些亟待解决的问题。首先，云原生环境下数据的安全性和隐私保护问题备受关注。随着数据规模的增长，如何有效管理、备份和还原大规模数据也成为云原生数据管理中的挑战之一。此外，不同云服务商之间数据格式和标准的不一致，使得跨云环境下的数据迁移和交互变得复杂。因此，云原生环境下对于数据的管理方法亟需创新，以解决当前技术中存在的这些问题，提高数据管理的效率和安全性。
技术实现思路
1、本申请提供了一种云原生环境下对于数据的管理方法、系统、
2、第一方面，本申请提供一种云原生环境下对于数据的管理方法，所述方法包括：
3、对数据的格式进行统一化处理；
4、对处理后的数据在存储和传输过程中进行加密处理；
5、在数据加密的基础上对数据指定分层存储策略；
6、对存储的数据建立自动化备份与还原机制。
7、在一个具体的可实施方案中，所述对数据的格式进行统一化处理包括：
8、采用数据规范化和清洗的方法，制定详细的数据规范，明确定义每个字段的含义和格式要求，通过数据清洗工具和脚本，对现有数据进行清理，修复格式错误、填充缺失值；
9、利用先进的数据分类算法，对处理之前的数据进行自动识别和分类；
10、引入元数据管理系统，对数据的元信息进行集中管理。元数据包括数据的来源、生成时间、修改历史；
11、开发格式验证和转换工具，进行数据格式的实时验证，同时将非标准格式的数据转换为规范格式；
12、实施数据质量监控系统，定期检查数据的质量并生成报告；通过设定数据质量标准和规则，自动检测潜在的格式问题、缺失值、异常值。
13、在一个具体的可实施方案中，所述对处理后的数据在存储和传输过程中进行加密处理包括：
14、采用对称加密和非对称加密相结合的策略，对称加密用于快速加密大量数据，而非对称加密用于安全地传输加密密钥；同时引入适当的密钥管理和生命周期管理；
15、引入多层次的加密，采用混合对称加密和非对称加密，对称加密用于保护大规模数据，非对称加密则用于加密对称密钥；
16、利用硬件加密模块提供额外的硬件级安全性，引入数据掩蔽技术，对特定字段或敏感信息进行掩蔽。
17、在一个具体的可实施方案中，所述对处理后的数据在存储和传输过程中进行加密处理包括：
18、数据加密技术的公式如下:
19、ed＝(d+k)mod m
20、其中，ed是加密后的数据，d是原始数据，k是动态生成的密钥，m是一个大素数。
21、在一个具体的可实施方案中，所述在数据加密的基础上对数据指定分层存储策略包括：
22、通过分析数据的访问频率和重要性，将数据划分为热数据和冷数据，并将其存储在不同的层次中；热数据存储在高性能的存储介质上，冷数据存储在更经济的存储介质上；
23、引入动态存储层次调整机制，根据数据的实际使用情况动态调整数据所在的存储层次，通过实时监测数据的访问频率和重要性，自动将频繁访问的数据迁移到高性能存储层次，同时将不经常访问的数据移到低成本的存储层次；
24、对于低频访问的冷数据，引入冷数据归档机制，将冷数据压缩、归档，并建立轻量级索引；
25、通过分析历史数据和业务趋势，预测未来的数据增长趋势，提前调整存储层次。
26、在一个具体的可实施方案中，所述对存储的数据建立自动化备份与还原机制包括：
27、定期备份关键数据，建立监控系统，实时监测备份状态；
28、引入增量备份和快照技术，只备份发生变化的数据部分，结合快照技术，短时间内创建数据的点对点快照，同时制定分层备份策略，根据数据的重要性和访问频率，确定备份的层次；
29、将备份数据存储在云端，实现云端备份；
30、采用异地备份策略，通过在不同地理位置的数据中心建立备份，引入自动化的备份恢复测试机制，定期验证备份的可用性；
31、结合智能备份调度算法，根据系统负载、网络状况调整备份的调度时间；同时实施版本管理与回滚机制，追踪和管理不同时间点的备份版本，在数据出现问题时，选择性地回滚到之前的备份版本，实现对数据状态的恢复；
32、建立备份监控与报警系统，实时监测备份的状态和性能，结合自愈式备份机制，当监测到备份异常时，自动尝试重新备份或切换到备份节点。
33、第二方面，本申请提供一种云原生环境下对于数据的管理系统，采用如下的技术方案：
34、一种云原生环境下对于数据的管理系统，包括：
35、数据处理模块，用于对数据的格式进行统一化处理；
36、数据加密模块，用于对处理后的数据在存储和传输过程中进行加密处理；
37、数据存储模块，用于在数据加密的基础上对数据指定分层存储策略；
38、数据备份模块，用于对存储的数据建立自动化备份与还原机制。
39、第三方面，本申请提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如第一方面所述的一种云原生环境下对于数据的管理方法。
40、第四方面，本申请提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如第一方面所述的一种云原生环境下对于数据的管理方法。
41、综上所述，本申请的有益效果至少包括：
42、(1)在数据处理阶段，确保数据格式的统一性至关重要。这包括字段命名、数据类型、以及数据结构的一致性。为了实现这一目标，可以采用数据规范化和清洗的方法。首先，制定详细的数据规范，明确定义每个字段的含义和格式要求。然后，通过数据清洗工具和脚本，对现有数据进本文档来自技高网...
【技术保护点】
1.一种云原生环境下对于数据的管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对数据的格式进行统一化处理包括：
3.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对处理后的数据在存储和传输过程中进行加密处理包括：
4.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对处理后的数据在存储和传输过程中进行加密处理包括：
5.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述在数据加密的基础上对数据指定分层存储策略包括：
6.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对存储的数据建立自动化备份与还原机制包括：
7.一种云原生环境下对于数据的管理系统，其特征在于，包括：
8.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的一种云原生环境下对于数据的管理方法。
<...【技术特征摘要】
1.一种云原生环境下对于数据的管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对数据的格式进行统一化处理包括：
3.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对处理后的数据在存储和传输过程中进行加密处理包括：
4.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述对处理后的数据在存储和传输过程中进行加密处理包括：
5.根据权利要求1所述的云原生环境下对于数据的管理方法，其特征在于，所述在数据加密的基础上对数据指定分层存储策...
【专利技术属性】
技术研发人员：夏玉龙，
申请(专利权)人：苏州辰瓴光学有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。