数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置。其中，该方法包括：监测是否符合数据处理的调整条件；在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。通过本发明专利技术，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及通信领域，具体而言，涉及一种数据处理方法及装置。
技术介绍
全球数据量的猛增带动着整个存储市场的快速发展，使得云存储得到大规模应用。云存储作为一个以数据存储和管理为核心的云计算系统，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备，通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，可提供高性价比、可弹性扩展的海量数据存储服务。重复数据删除（可以简称为重删或删重，DataDe-duPlication，简称为DD）是一种数据缩减技术，旨在减少存储系统中使用的存储容量。它通过减少存储系统中重复的数据，从而减少冗余数据。重复数据删除系统基于内容寻址，能够消除重复的数据，提高空间利用率。重删包含以文件为单位或以数据块为单位进行操作。以数据块为单位的重复数据删除系统将文件按给定的数据划分策略分割成若干个小的数据分块，并基于数据分块的某种特征进行相同检测，只存储不重复的数据分块，从而达到删除冗余数据，节省存储空间的目的。以文件为单位的重复数据删除系统基于文件的某种特征进行相同检测，只存储不重复的数据文件，从而达到删除冗余数据，节省存储空间的目的。实际应用中还常常结合数据压缩技术进一步缩减数据分块所占的存储空间。目前重复数据删除技术的研究主要集中在挖掘冗余信息和提高效率上，对存储节点的管理和空间分配只采用简单的分配管理策略。相关技术中的数据重删方法只保留一个副本，不存在重删调整控制。对于存储空间分配时存储节点的负载和能耗状态等没有足够的考虑，不能自适应存储节点所处的各种状态，也不利于整个系统的负载均衡和性能提高。针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中不能动态调整数据处理对系统资源及业务影响的问题，本专利技术提供了一种数据处理方法及装置，以至少解决上述问题。根据本专利技术的一个方面，提供了一种数据处理方法，该方法包括：监测是否符合数据处理的调整条件；在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。上述方法还包括：调整数据处理策略。调整上述数据处理策略包括：接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，根据系统操作调整上述数据处理策略。监测是否符合数据处理的上述调整条件包括：监测是否符合数据删除条件；或者，监测是否符合数据写入条件。监测是否符合上述数据写入条件包括：判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。根据调整后的上述数据处理策略，执行数据处理操作包括：在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，在监测到符合上述数据写入条件的情况下，执行数据写入操作。在监测到符合上述数据写入条件的情况下，执行数据写入操作包括：获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；如果相同，则复制上述已有数据；如果不相同，则接收用户输入的上述预写入数据。根据本专利技术的另一方面，提供了一种数据处理装置，该装置包括：条件监测模块，用于监测是否符合数据处理的调整条件；数据处理模块，在上述条件监测模块监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。上述装置还包括：策略调整模块，用于调整数据处理策略。上述策略调整模块包括：第一调整单元，用于接收用户的上述数据处理策略的调整请求，根据上述调整请求调整上述数据处理策略；或者，第二调整单元，用于根据系统操作调整上述数据处理策略。上述条件监测模块包括：第一监测单元，用于监测是否符合数据删除条件；或者，第二监测单元，用于监测是否符合数据写入条件。上述第二监测单元包括：第一判断子单元，用于判断重删度是否大于当前数据副本的个数，如果是，则符合上述数据写入条件；和/或，第二判断子单元，用于判断上述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合上述数据写入条件。上述数据处理模块包括：数据删除单元，用于在监测到符合上述数据删除条件的情况下，执行数据删除操作；或者，数据写入单元，用于在监测到符合上述数据写入条件的情况下，执行数据写入操作。上述数据写入单元包括：比对子单元，用于获取预写入数据的标识，比对上述预写入数据的标识与已有数据的标识是否相同；复制子单元，用于在上述比对子单元的比对结果为相同的情况下，复制上述已有数据；接收子单元，用于在上述比对子单元的比对结果为不相同的情况下，接收用户输入的上述预写入数据。通过本专利技术，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的数据处理方法的流程图；图2是根据本专利技术实施例的数据处理装置的结构框图；图3是根据本专利技术实施例的数据处理装置的第一种具体结构框图；图4是根据本专利技术实施例的数据处理装置的第二种具体结构框图；图5是根据本专利技术实施例的数据处理系统的总体架构示意图；图6是根据本专利技术实施例的基于数据处理系统的数据处理流程图；图7是根据本专利技术实施例的基于数据处理系统的数据写入流程图；图8是根据本专利技术实施例的基于数据处理系统的数据读取流程图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。相关技术中，在进行数据重删等处理操作时，通常只会留有一份数据副本，不存在重删调整控制。并且对于数据重删策略不进行调整，在这种情况下，如果用户对数据的需求量较大，一份数据副本容易导致数据输出率较低，影响系统性能。当然，还可能会存在其他类似问题，在此不再一一赘述。基于此，本专利技术实施例提供了一种数据处理方法及装置，下面通过实施例进行具体介绍。本实施例提供了一种数据处理方法，图1是根据本专利技术实施例的数据处理方法的流程图，如图1所示，该方法包括以下步骤（步骤S102-步骤S104）：步骤S102，监测是否符合数据处理的调整条件；步骤S104，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。通过上述方法，首先监测是否符合数据处理的调整条件，在监测到符合上述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作，解决了相关技术中不能动态调整数据处理对系统资源及业务影响的问题，实现了可动态调整重删操作对系统资源的占用，优先保障在线业务的性能，对系统在线业务的影响降至最低，提高了空间利用率。同时，还兼顾提高数据读写性能，并且可以动态调整重删策略，自动适配系统使用的需求。本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：监测是否符合数据处理的调整条件；在监测到符合所述调整条件的情况下，根据调整后的数据处理策略，执行数据处理操作。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：监测是否符合数据处理的调整条件；在监测到符合所述调整条件的情况下，调整数据处理策略，根据调整后的数据处理策略，执行数据处理操作；其中，监测是否符合数据处理的所述调整条件包括：监测是否符合数据写入条件；监测是否符合所述数据写入条件包括：判断重删度是否大于当前数据副本的个数，如果是，则符合所述数据写入条件；和/或，判断所述当前数据副本的每秒输入输出IOPS值是否大于预设数值；如果是，则符合所述数据写入条件。2.根据权利要求1所述的方法，其特征在于，调整所述数据处理策略包括：接收用户的所述数据处理策略的调整请求，根据所述调整请求调整所述数据处理策略；或者，根据系统操作调整所述数据处理策略。3.根据权利要求1所述的方法，其特征在于，监测是否符合数据处理的所述调整条件包括：监测是否符合数据删除条件。4.根据权利要求3所述的方法，其特征在于，根据调整后的所述数据处理策略，执行数据处理操作包括：在监测到符合所述数据删除条件的情况下，执行数据删除操作；或者，在监测到符合所述数据写入条件的情况下，执行数据写入操作。5.根据权利要求4所述的方法，其特征在于，在监测到符合所述数据写入条件的情况下，执行数据写入操作包括：获取预写入数据的标识，比对所述预写入数据的标识与已有数据的标识是否相同；如果相同，则复制所述已有数据；如果不相同，则接收用户输入的所述预写入数据。6.一种数据处理装置，其特征在于，包括：条件监测模块，用于监测是否符合数据处理的调整条件；策略调整模块...

【专利技术属性】
技术研发人员：柯尊友，王伟，叶郁文，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44