一种异构海量数据高效低成本的装载方法技术

本发明专利技术涉及一种异构海量数据高效低成本的装载方法，包括以下步骤：将异构数据源转换成通用统一的平面文件接口；用户将数据传送到ＦＴＰ服务器；对目标数据库创建接口缓冲表和对接口表按日期分区；入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；若为是，则入库，且标志入库到入库接口缓冲表并标记文件状态为正常；若为否，则标志异常及异常原因；将缓冲区数据进行数据清洗并插入到正式的入库接口表中。与现有技术相比，本发明专利技术有效的解决了异构海量数据装载的问题，同时避免了高投入采购第三方ＥＴＬ软件和专业技术人员，为中小型公司降低开发成本提供了解决方案。

【技术实现步骤摘要】

【技术保护点】
一种异构海量数据高效低成本的装载方法，其特征在于，包括以下步骤：　（１）将异构数据源转换成通用统一的平面文件接口；　（２）用户将数据传送到ＦＴＰ服务器；　（３）对目标数据库创建接口缓冲表和对接口表按日期分区；　（４） 入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；　（５）若步骤（４）中的检测结果为是，则入库，且标志入库到入库接口缓冲表并标记文件状态为正常；　（６）若步骤（４）中的检测结果为否，则标志异常及异常原因；　（７） 将缓冲区数据进行数据清洗并插入到正式的入库接口表中。

【技术特征摘要】

【专利技术属性】
技术研发人员：冯谧，
申请(专利权)人：上海全成通信技术有限公司，
类型：发明
国别省市：31[中国|上海]