地质矿产空间数据的快速转换技术方法技术

本发明专利技术涉及一种地质矿产空间数据的快速转换技术方法，该方法是一种数据信息高效导入数据库的方法，是以任意格式的数据作为数据源，通过格式转化和操作后台数据库等步骤，将数据信息导入后台数据库的方法，具体步骤为获取数据对象、数据检查、获取数据结构、数据格式转换、生成相关的临时数据文件、链接后台数据库、初始化数据库中的表结构、导入数据和删除多余的临时数据文件；本发明专利技术所述的方法已解决现有技术的效率低和可移植性差的问题。

【技术实现步骤摘要】

本专利技术涉及，一种高效的数据导入数据库中的方法。
技术介绍
随着信息时代的到来，多种多样的数据信息迅速膨胀，为了便于信息共享、便于对 数据有效管理以及对数据进行挖掘，以提取对我们有用的知识，需要把各种大量数据存储 到数据库中。研究一种快速高效的数据入库的方法是非常有必要的，而在实际的工作中，一 般有两种方式来完成把数据导入到数据库中一种是通过手工在数据库中建表、手工进行 录入数据，这种方法效率非常低下；另一种则是通过编写SQL语句、调用本地数据库自带程 序进行数据的导入，该方法对用户的技术水平要求较高，而且移植性非常差，只能局限于本 地数据库甚至某个数据表，效率仍然很低。
技术实现思路
本专利技术目的在于，提供一种，该方法是一 种数据信息高效导入数据库的方法，是以任意格式的数据作为数据源，通过格式转化和操 作后台数据库等步骤，将数据信息导入后台数据库的方法，具体步骤为获取数据对象、数据 检查、获取数据结构、数据格式转换、生成相关的临时数据文件、链接后台数据库、初始化数 据库中的表结构、导入数据和删除多余的临时数据文件；本专利技术所述的方法已解决现有技 术的效率低和可移植性差的问题。 本专利技术所述的一种地质矿产空间数据的快速转换方法，按下列步骤进行 a、获取数据对象入库的数据为任意格式的数据源，针对不同的数据源，内置有不同的数据对象的获取方法； b、数据检查检查是否有特殊字符，是否有空值； C、获取数据结构获取要导入数据对象主要信息，如表名、列名、数据库名，向用户 提前发布相关入库信息，以便及时调整，避免数据库混乱； d、数据格式转换包括转换成入库支持的数据文件和对转换后数据文件的处理两 部分； e、生成相关的临时数据文件操纵后台数据库以及数据的导入会生成一些临时性 的数据文件； f、链接后台数据库嵌入在建表和导入数据时自动完成； g、初始化数据库中的表结构自动调用不同数据库自带的不同的建表程序语言链 接数据库，按指定格式初始化数据库中的表结构； h、导入数据调用相应的功能模块或程序完成对数据的入库； i、删除多余的临时数据文件具备把整个过程中生成的临时性的数据文件的自动 删除功能。 本专利技术所述的方法是在长期的数据库建设实践中，以及对多种数据来源的数据进 行研究、分析基础之上，利用相关计算机技术和数据库技术而完成的。本专利技术所述方法与现 有技术相比其优点为 操作简单，对用户的技术水平要求低，本专利技术的目标用户面向普通用户，也是本着 这个原则进行精心设计的。用户不需要掌握任何程序设计语言，也不用掌握数据库相关技 术，操作非常简单，都是选择性的点击式操作； 支持多种数据源无论是表数据还是文档数据，还是其他任意格式数据，用户都可 以自由选择，针对不同的数据源内置有不同的数据高效导入方法； 能够面向多种数据库，可以根据本地数据库类型，自由选择要导入的数据库类型 以及数据库名称，具有较高的灵活性； 效率高设计中针对不同的数据库有不同的数据导入方式，都是和所链接数据库 紧密结合的导入工具以及高效的导入算法，同时支持批量导入，这都大大提高了数据入库 的效率； 移植性高本专利技术移植到任何一台计算机上，无需修改任何代码即可使用所有功附图说明 图1为专利技术数据导入数据库流程图 图2为本专利技术的数据转换界面图； 图3为本专利技术的数据转换流程图具体实施例方式由于本专利技术是面向多数据源和多数据库的，考虑到在实际工作中，大都是以数据 表的形式作为数据源而入库的，现以Excel数据表导入Oracle数据库为例 获取Excel对象在.NET中利用Excel COM组件来获取Excel表，这必须在本工程 中添加相应的COM组件和引用，本工程中Excel COM组件为Microsoft Excel 11.0 Object Library, usingMicrosoft. Office. Interop j 数据检查首先检查打开的Excel表中是否有数据，是否有特殊字符，以避免格式 转换时丢失数据信息，以及检查在将要设置的主键和外键(如果有)所对应的列中是否有 空值存在，避免数据导入时发生错误；再则就是检查用户指定的数据表名是否与原来数据 库中的表重名，默认情况下是向原表追加数据； 获取Excel数据表的结构主要是获取用户指定要建的表名、Excel数据表的列 数和列名、要导入的数据库名等，并在入库之前向用户公布相关信息，用户确定满意后即 可继续进行，否则，用户可以自行调整，以避免创建错表，导致数据库混乱。本步骤用到了 Microsoft. Jet. OLEDB. 4. 0数据库提供程序，获得Excel表头，并将其存在内存中数据表 中； 数据格式转换由于Oracle数据库不支持Excel数据的直接导入，需要保存为 相应格式的文件，才能将其导入数据库，本例是将其转换为CSV格式的文件，并对转换后的 CSV文件进行了处理包括去掉CSV文件的表头和处理最后一个字段为null的情况； 生成相关的临时数据文件主要是生成临时的控制文件和临时的初始化Oracle 表结构的文件，控制文件将在后面调用Oracle的SQLLoader函数进行数据的导入时用到， 调用SQLPLUS命令来建表时将用到初始化表文件； 链接后台数据库本步骤是嵌入在建表和导入数据时自动完成的，至于链接到哪 个数据库，在哪个数据库中建表完全由用户指定； 初始化数据库中的表结构使用生成的临时的初始化表结构的文件，调用 SQLPLUS命令按指定样式建表，本功能完全有计算机自动进行，以替代了人工建表的繁琐； 导入数据由于SQLLoader功能函数与SQLLoader功能函数oracle支持数据导入 的切身工具，既方便又高效，本实例就巧妙地调用了 Oracle自带的SQLLoader功能函数和 生成的自动控制文件完成对数据高效入库；并且根据用户所选的数据表支持同结构表批量 导入，这又大大提高了导入的效率； 删除多余的临时数据文件编写了程序代码实现了导入过程中临时文件的及时自动删除功能，导入一张表立即删除相应的临时文件，以避免大量多余文件的繁杂。 上述所有步骤都是在VS2005. NET平台上通过编程来实现的，其主界面参见图2。权利要求一种，其特征在于按下列步骤进行a、获取数据对象入库的数据为任意格式的数据源，针对不同的数据源，内置有不同的数据对象的获取方法；b、数据检查检查是否有特殊字符，是否有空值；c、获取数据结构获取要导入数据对象主要信息，如表名、列名、数据库名，向用户提前发布相关入库信息，以便及时调整，避免数据库混乱；d、数据格式转换包括转换成入库支持的数据文件和对转换后数据文件的处理两部分；e、生成相关的临时数据文件操纵后台数据库以及数据的导入会生成一些临时性的数据文件；f、链接后台数据库嵌入在建表和导入数据时自动完成；g、初始化数据库中的表结构自动调用不同数据库自带的不同的建表程序语言链接数据库，按指定格式初始化数据库中的表结构；h、导入数据调用相应的功能模块或程序完成对数据的入库；i、删除多余的临时数据文件具备把整个过程中生成的临时性的数据文件的自动删除功能。全文摘要本专利技术涉及一种，该方法是一种数据信息高效导入数据库的方法，是以任意格式的数据作为数据源，通过格式转化和操作后台数据库本文档来自技高网...

【技术保护点】
一种地质矿产空间数据的快速转换技术方法，其特征在于按下列步骤进行：ａ、获取数据对象：入库的数据为任意格式的数据源，针对不同的数据源，内置有不同的数据对象的获取方法；ｂ、数据检查：检查是否有特殊字符，是否有空值；ｃ、获取数据结构：获取要导入数据对象主要信息，如表名、列名、数据库名，向用户提前发布相关入库信息，以便及时调整，避免数据库混乱；ｄ、数据格式转换：包括转换成入库支持的数据文件和对转换后数据文件的处理两部分；ｅ、生成相关的临时数据文件：操纵后台数据库以及数据的导入会生成一些临时性的数据文件；ｆ、链接后台数据库：嵌入在建表和导入数据时自动完成；ｇ、初始化数据库中的表结构：自动调用不同数据库自带的不同的建表程序语言链接数据库，按指定格式初始化数据库中的表结构；ｈ、导入数据：调用相应的功能模块或程序完成对数据的入库；ｉ、删除多余的临时数据文件：具备把整个过程中生成的临时性的数据文件的自动删除功能。

【技术特征摘要】

【专利技术属性】
技术研发人员：周可法，孙雷刚，张清，孙莉，秦艳芳，程宛文，刘朝霞，张海波，王桂刚，李明明，张楠楠，许文强，常想德，
申请(专利权)人：中国科学院新疆生态与地理研究所，
类型：发明
国别省市：65[中国|新疆]