用于数据拷贝的方法和装置制造方法及图纸

本发明专利技术的各实施方式涉及用于数据拷贝的方法和装置。具体地，在本发明专利技术的一个实施方式中，提供了一种用于数据拷贝的方法，包括：获取将被执行数据拷贝的数据源；确定用于划分数据源所依据的块单位的大小P；基于块单位的大小P，将数据源划分为至少一个数据块；以及以至少一个数据块为基本单位，从数据源向数据目标拷贝数据；其中块单位的大小P是由底层架构支持的读写单元的大小R的整数倍。在本发明专利技术的一个实施方式中，提供了一种用于数据拷贝的装置。

【技术实现步骤摘要】

本专利技术的各实施方式涉及数据处理，更具体地，涉及用于在数据源(data source)和数据目标(data target)之间进行数据拷贝(datacopy)的方法和装置。
技术介绍
随着计算机硬件技术以及软件技术的发展，诸如硬盘等存储设备已经能够向广大用户提供越来越大的数据存储能力，并且对于这些存储设备的访问速度也有了极大的提高。数据拷贝和数据迁移是在对各种应用的使用期间经常会涉及到的一种操作，该操作可以从数据源向数据目标执行拷贝操作。通常而言，数据拷贝是指在完成拷贝后仍然保留数据源处的数据，而数据迁移则可以表示在完成拷贝之后删除数据源处的数据。在本专利技术的上下文中，将仅以数据拷贝为示例说明本专利技术的技术方案的原理。目前的各种应用所涉及到的数据量越来越大，例如可以达到数十G甚至更多；另一方面，执行数据拷贝的频率也存在逐渐提高的趋势。例如，银行等企业的数据库系统可能会定期(例如，每天、每小时、甚至更高的频率)进行数据备份，因而数据拷贝的效率已经成为影响计算机系统运行效率的一个重要因素。尽管目前已经开发出使用诸如元数据(metadata)和比特图(bitmap)等记录元素集(record element set)，来记录待拷贝数据源的当前版本与上一次备份版本之间的差异的技术方案，然而这些技术方案并不总是能够充分利用各种资源，并且还可能会由于将待拷贝数据划分为大小不适合的数据块，而造成经由拷贝缓存(copybuffer)进行拷贝的次数的增加、和/或对硬件设备的读写次数增加，进而造成数据拷贝效率低下等问题。
技术实现思路
因而，期望能够开发并实现一种能够提高数据拷贝效率的技术方案，并且期望该技术方案能够在尽量不改变现有数据存储装置的硬件配置的情况下实现。另外，还期望该技术方案能够充分考虑不同底层存储系统的差异，以便从减少对硬件存储设备的读写操作的方面，进一步提高数据拷贝的效率。在本专利技术的一个实施方式中，提供了一种用于数据拷贝的方法，包括：获取将被执行数据拷贝的数据源；确定用于划分数据源所依据的块单位(block extent)的大小P；基于块单位的大小P，将数据源划分为至少一个数据块(data block)；以及以至少一个数据块为基本单位，从数据源向数据目标拷贝数据；其中块单位的大小P是由底层架构支持的读写单元的大小R的整数倍。在本专利技术的一个实施方式中，读写单元是磁盘中的数据扇区或者独立冗余磁盘阵列(Redundant Array of Independent Disks，RAID)中的数据trunk。在本专利技术的一个实施方式中，块单位的大小P是用于在从数据源向数据目标拷贝数据期间使用的拷贝缓存的大小B的整数倍。在本专利技术的一个实施方式中，提供了一种用于数据拷贝的装置，包括：获取模块，配置用于获取将被执行数据拷贝的数据源；确定模块，配置用于确定用于划分数据源所依据的块单位的大小P；划分模块，配置用于基于块单位的大小P，将数据源划分为至少一个数据块；以及拷贝模块，配置用于以至少一个数据块为基本单位，从数据源向数据目标拷贝数据；其中块单位的大小P是由底层架构支持的读写单元的大小R的整数倍。在本专利技术的一个实施方式中，读写单元是磁盘中的数据扇区或者独立冗余磁盘阵列中的数据trunk。在本专利技术的一个实施方式中，块单位的大小P是用于在从数据源向数据目标拷贝数据期间使用的拷贝缓存的大小B的整数倍。可以在现有的硬件架构下实现根据本专利技术的各实施方式所提供的、用于进行数据拷贝的方法和装置，并且本专利技术所提供的方法和装置可以更加充分地利用拷贝缓存以及底层读写单元的存储空间，进而降低在一次数据拷贝期间涉及经由拷贝缓存进行拷贝的次数以及读写操作的次数。附图说明结合附图并参考以下详细说明，本专利技术各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本专利技术的若干实施方式。在附图中：图1示意性示出了适于实现本专利技术实施方式的示例性计算系统的框图；图2A和图2B分别示意性示出了根据一个解决方案的、在数据拷贝期间的数据源和记录元素集的示意图；图3示意性示出了根据一个解决方案的在数据拷贝期间涉及的不同基本单位的示意图；图4示意性示出了根据本专利技术的一个实施方式的用于数据拷贝的方法的流程图；图5示意性示出了根据本专利技术的一个实施方式的数据记录元素集的使用状况的示意图；以及图6示意性示出了根据本专利技术的一个实施方式的用于数据拷贝的方法的流程图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了适于用来实现本专利技术实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和触摸屏显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及触摸屏显示器114与显示控制器109耦合。应当理解，图1所示的结构框图仅仅是为了示例的目的，而不是对本专利技术范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。所属
的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施方式中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形本文档来自技高网...

【技术保护点】
一种用于数据拷贝的方法，包括：获取将被执行数据拷贝的数据源；确定用于划分所述数据源所依据的块单位的大小P；基于所述块单位的大小P，将所述数据源划分为至少一个数据块；以及以所述至少一个数据块为基本单位，从所述数据源向数据目标拷贝数据；其中所述块单位的大小P是由底层架构支持的读写单元的大小R的整数倍。

【技术特征摘要】
1.一种用于数据拷贝的方法，包括：
获取将被执行数据拷贝的数据源；
确定用于划分所述数据源所依据的块单位的大小P；
基于所述块单位的大小P，将所述数据源划分为至少一个数据
块；以及
以所述至少一个数据块为基本单位，从所述数据源向数据目标拷
贝数据；
其中所述块单位的大小P是由底层架构支持的读写单元的大小
R的整数倍。
2.根据权利要求1所述的方法，其中所述读写单元是磁盘中的
数据扇区或者独立冗余磁盘阵列中的数据trunk。
3.根据权利要求1或2所述的方法，其中所述块单位的大小P
是用于在从所述数据源向所述数据目标拷贝数据期间使用的拷贝缓
存的大小B的整数倍。
4.根据权利要求3所述的方法，其中所述块单位的大小P是所
述读写单元的大小R和所述拷贝缓存的大小B的最小公倍数的整数
倍。
5.根据权利要求4所述的方法，其中所述块单位的大小P使得
划分所得的所述数据块的数量小于或者等于记录元素集中元素的数
量M，所述记录元素集中的一个元素用于标记一个数据块是否被修
改。
6.根据权利要求5所述的方法，其中确定用于划分所述数据源
所依据的块单位的大小P包括：
确定使得所述数据块的数量小于或者等于记录元素集中元素的
数量M的所述块单位的大小P中的最小值。
7.根据权利要求6所述的方法，其中：
所述块单位的大小其中N是所述拷贝缓存的
大小B和所述读写单元的大小R的最小公倍数。
8.根据权利要求5所述的方法，其中以所述至少一个数据块为
基本单位，从所述数据源向数据目标拷贝数据进一步包括：
响应于所述记录元素集中的元素被标记，将数据源中与所述被标
记元素相关联的数据块拷贝至数据目标。
9.根据权利要求8所述的方法，其中以所述至少一个数据块为
基本单位，从所述数据源向数据目标拷贝数据包括：
响应于所述至少一个数据块中的一数据块内的数据被修改，将所
述记录元素集中与所述数据块相关联的元素进行标记。
10.一种用于数据...

【专利技术属性】
技术研发人员：王磊，杨祥清，任仁，马曦，朱寅，
申请(专利权)人：伊姆西公司，
类型：发明
国别省市：美国;US