一种基于海量数据的数据库备份及恢复方法和系统技术方案

本发明专利技术公开了一种基于海量数据的数据库备份及恢复方法和系统，通过传递表空间或者表导出的方式将数据库中的数据导出来，然后将这些文件归档到存储介质上，从根本上解决了海量数据备份和恢复效率低下、易出错等问题。本发明专利技术已成功运用在实际生产环境中，经实践证明，发现其处理效率比传统备份和恢复方法提升了80%，同时很好地保证数据的完整性和安全性。

【技术实现步骤摘要】

本专利技术涉及数据库备份和恢复
，尤其涉及一种基于海量数据的数据库备份及恢复方法和系统。
技术介绍
对于Oracle数据库而言，传统的数据库备份和恢复方案有数据导出、数据热备份2种主要方式。1、通过数据导出方式备份数据 如图1所示，其利用自带EXP/EXPDP工具导出数据来实现数据备份，适用于数据量少、更新频率小、数据安全性要求不高的情况。恢复方式则从导出数据中直接将需要恢复的对象(分区)重新导入到数据库中即可。2、数据库热备份 这种方式较常见，如图2所示，其要求数据库以归档的方式运行，通过Rman工具实现，还可以实现数据的增量备份，可有效地节省磁盘空间。恢复时，以最后一次全库备份+最后一次全库备份之后的增量备份+归档日志来操作。以上两种传统的备份、恢复方案，在业务数据量不大的情况，都能达到不错的效果。当数据量达到一定程度时，这些传统的备份和恢复方案，将显得效率低下、甚至力不从心。有鉴于此，现有技术有待改进和提闻。
技术实现思路
鉴于现有技术的不足，本专利技术目的在于提供一种基于海量数据的数据库备份及恢复方法和系统。旨在解决现有技术的备份和恢复方案在应对海量数据时效率低下的问题。本专利技术的技术方案如下: 一种基于海量数据的数据库备份及恢复方法，其中，包括以下步骤: 进行数据库备份时: 51、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读； 52、将需要导出的分区和分区索引与一个临时表和索引进行分区交换； 53、对需要备份的临时表和索引以导出表空间的方式备份； 54、复制表空间文件，并与导出的文件一起保存，同时删除表空间； 进行数据库恢复时: 把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。所述的基于海量数据的数据库备份及恢复方法，其中，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。一种基于海量数据的数据库备份及恢复系统，其中，包括: 数据库备份系统，其进一步包括: 设置单元，用于将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读； 分区交换单元，用于将需要导出的分区和分区索引与一个临时表和索引进行分区交换； 备份单元，用于对需要备份的临时表和索引以导出表空间的方式备份； 保存单元，用于复制表空间文件，并与导出的文件一起保存，同时删除表空间； 数据库恢复系统，其用于把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，完成数据恢复。所述的基于海量数据的数据库备份及恢复系统，其中，所述数据库备份系统还包括归档单元，用于将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。有益效果: 本申请的基于海量数据的数据库备份及恢复方法和系统，通过以传递表空间的方式备份表空间数据，从根本上解决了海量数据备份和恢复效率低下、易出错等问题。本专利技术已成功运用在实际生产环境中，经实践证明，发现其处理效率比传统备份和恢复方法提升了80%,同时很好地保证数据的完整性和安全性。附图说明图1为现有技术中通过数据导出方式备份数据的示意图。图2为现有技术中通过数据库热备份方式备份数据的示意图。图3为本专利技术的基于海量数据的数据库备份及恢复方法中数据库备份方法的流程图。图4为本专利技术的基于海量数据的数据库备份及恢复方法中数据库备份方法的较佳实施例的示意图。具体实施例方式本专利技术提供一种基于海量数据的数据库备份及恢复方法和系统，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了方便描述，我们将本方案分成两部分:数据库备份和数据库恢复。请参阅图1，其为本专利技术的基于海量数据的数据库备份及恢复方法中数据库备份方法的流程图。如图所示，所述基于海量数据的数据库备份及恢复方法中进行数据库备份时包括以下步骤: 51、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读； 52、将需要导出的分区和分区索引与一个临时表和索引进行分区交换； 53、对需要备份的临时表和索引以导出表空间的方式备份； 54、复制表空间文件，并与导出的文件一起保存，同时删除表空间。下面分别针对上述步骤进行详细描述: 所述步骤Si为将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读。这里需要强调的是，在进行数据备份时，必须进行表分区。也就是说，以传递表空间的方式进行数据备份，通常来说，需要结合表分区技术一起使用的。因为表空间导出的前提就是将表空间的状态设置为只读(Read Only)，如果表空间上存储的是非分区表，通常很难将整个表设置成只读，所以是不可行的。所述步骤S2为将需要导出的分区和分区索引与一个临时表和索引进行分区交换。其解决分区表的默认表空间没有包含在传递的表空间和表分区还有其他分区，没有在要传递的表空间上这2大约束，直接实现对分区的表空间进行移植，在本实施例中，如图3所示，其具体方法如下: (I)、创建一个须备份的表空间(TS_SALES_2012_1)、分区(SALES_2012_1)和索引(IND_SALES_2012_1)。(2)、创建一个临时表(TMP_SALES_DATA)。(3)、在临时表上创建索引(IND_TMP_SALES_DATA)。(4)、将需要导出的分区数据和分区索引与临时表进行分区交换。(5)、将临时表和索引所在的表空间导出。所述步骤S3为对需要备份的临时表和索引以导出表空间的方式备份。相比于传统的数据备份方式(仅仅采用一个逻辑数据抽取的过程，数据库需要按照导出的条件通过数据搜索的方式将数据搜索到，然后导出到磁盘上)，本方案而以传递空间的方式导出数据，实际上只导出了表空间的一些元数据(metadata)信息，也就是数据机构类信息，剩下的工作就是直接将表空间数据文件复制到介质上，和导出的元数据信息放在一起保存即可。所述步骤S4为复制表空间文件，并与导出的文件一起保存，同时删除表空间。比如对于过期的表空间，备份完毕后删除，以释放空间。进一步地，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。以传递表空间的方式进行备份数据，是在长期的项目实践中总结出来的一套有效、高效的海量数据库备份/恢复方案，因此具有很高的实战指导作用。它通过传递表空间或者表导出的方式将数据库中的数据导出来，然后将这些文件归档到存储介质上。在进行数据恢复时，只需把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。本专利技术还提供了一种基于海量数据的数据库备份及恢复系统，其包括: 数据库备份系统，其进一步包括: 设置单元，用于将每个表分区和分区索引创建到单独的表空间上，并将需要备份本文档来自技高网...

【技术保护点】
一种基于海量数据的数据库备份及恢复方法，其特征在于，包括以下步骤：进行数据库备份时：S1、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读；S2、将需要导出的分区和分区索引与一个临时表和索引进行分区交换；S3、对需要备份的临时表和索引以导出表空间的方式备份；S4、复制表空间文件，并与导出的文件一起保存，同时删除表空间；进行数据库恢复时：把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。

【技术特征摘要】
1.一种基于海量数据的数据库备份及恢复方法，其特征在于，包括以下步骤: 进行数据库备份时: 51、将每个表分区和分区索引创建到单独的表空间上，并将需要备份的表分区以及分区索引所在表空间设置为只读； 52、将需要导出的分区和分区索引与一个临时表和索引进行分区交换； 53、对需要备份的临时表和索引以导出表空间的方式备份； 54、复制表空间文件，并与导出的文件一起保存，同时删除表空间； 进行数据库恢复时: 把待还原的表空间文件复制到对应的路径下，将导出的元数据文件重新导回数据库中，然后将导入的临时表通过分区交换方式把数据库和索引交换到原表中，即完成数据恢复。2.根据权利要求1所述的基于海量数据的数据库备份及恢复方法，其特征在于，在进行数据库备份时，还包括步骤S5、将导出的数据文件归档，并存储在存储介质、磁盘柜或磁带机中。3.一种基于海量数据...

【专利技术属性】
技术研发人员：陈炽昌，胡磊，高祖辉，李如勇，卢俊生，
申请(专利权)人：广东全通教育股份有限公司，
类型：发明
国别省市：广东;44