一种基于Oracle的任务式的数据转换系统技术方案

本发明专利技术公开了一种基于Oracle的任务式的数据转换系统，包括数据转换工具和中间库，数据转换工具提供用户数据转换配置功能和数据转换执行功能，中间库一方面作为数据转换系统的存储数据库，保存数据转换系统的系统表和转换规则，另一方面作为数据转换执行的中间库，用于数据转换执行和验证测试；数据转换工具在执行具体的转换执行操作时，使用同步复制技术将源库相关数据复制到中间库，将目标库相关数据复制到中间库，在中间库执行数据转换执行操作和验证测试，数据转换完成并验证测试成功后同步复制转换执行结果到目标库。本发明专利技术将转换配置和转换执行分离，提供更灵活的使用体验，将更多的转换执行操作放在后台定时处理，同时提供进度跟踪和结果查询。提供进度跟踪和结果查询。提供进度跟踪和结果查询。

【技术实现步骤摘要】
一种基于Oracle的任务式的数据转换系统


[0001]本专利技术涉及一种基于Oracle的任务式的数据转换系统，属于数据资源管理和数据转换


技术介绍

[0002]随着计算机技术的快速发展，数字化应用给人们的生产生活带来极大的便捷和高效率，数据库作为数字化应用的核心技术也备受关注。Oracle作为一个通用的数据库系统，在数据库领域处于领先地位，具有高稳定性、高安全性、高性能、开放性、伸缩性等优点，适用于各类大、中、小系统环境，成为许多大中型企事业单位和机构在开发企业应用系统时的优选数据库方案。
[0003]随着信息化建设及信息系统的不断发展和使用，企业在业务版图拓展过程中不断开发新的应用系统，各应用系统中积累的业务数据也越来越多，但是人们发现，现有信息资源的利用率并没有那么高，各应用系统数据的综合分析利用难以实现，各应用系统的数据字典和信息同一性混乱。为了满足企业进行业务数据体系研究和制定全局发展战略提供基础数据服务的需求，迫切需要对这些应用系统数据进行综合管理和分析利用。不管是定制开发新的数据资源综合应用系统，还是将各应用系统的后台数据库数据整理到同一数据库中进行数据挖掘，都需要对原应用系统的数据进行数据资源整理和数据转换。数据资源整理和数据转换任务艰巨，涉及的数据量大，需要借助相关辅助工具完成，而且通常需要在尽量减少对现有应用系统正常运行的影响情况下完成。因此，在新旧系统整合和数据迁移的实施过程中，一个实用的数据转换工具或系统可以大大的提高企业的工作效率，节约人力物力成本。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种基于Oracle的任务式的数据转换系统，通过提取转换规则，将数据转换操作划分成转换配置和转换执行两部分，通过将转换配置和转换执行的分离，提供更灵活的使用体验，将更多的转换执行操作放在后台定时处理，同时提供进度跟踪和结果查询。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]一种基于Oracle的任务式的数据转换系统，所述数据转换系统包括数据转换工具和中间库，所述数据转换工具提供用户数据转换配置功能和数据转换执行功能，所述中间库一方面作为数据转换系统的存储数据库，保存数据转换系统的系统表和转换规则，另一方面作为数据转换执行的中间库，用于数据转换执行操作和验证测试；
[0007]数据转换工具在执行具体的转换执行操作时，使用同步复制技术将源库相关数据复制到中间库，将目标库相关数据复制到中间库，在中间库执行数据转换执行操作和验证测试，数据转换完成并验证测试成功后同步复制中间库转换执行结果到目标库。
[0008]作为本专利技术的一种优选方案，所述数据转换工具包括数据转换配置模块和数据转
换执行模块，所述数据转换配置模块包括用户配置单元、第一约束检查单元、转换规则预处理单元和第一数据库访问单元；
[0009]所述用户配置单元用于用户创建任务，选择任务类型，根据具体任务类型的引导流程进行转换配置操作，并在配置完成后向第一约束检查单元提交任务；
[0010]所述第一约束检查单元用于对所述用户配置单元提交的任务信息进行数据库约束检查，如果任务信息不能通过数据库约束检查，第一约束检查单元反馈检查结果给所述用户配置单元，用户修改数据转换配置信息后再次提交任务，直至通过所述第一约束检查单元的数据库约束检查后，所述第一约束检查单元将任务信息提交给所述转换规则预处理单元进行处理；
[0011]所述转换规则预处理单元用于对任务信息进行分配、组合处理后生成转换规则；
[0012]所述第一数据库访问单元用于将转换规则保存到所述中间库中；
[0013]所述用户配置单元还用于在所述第一数据库访问单元将转换规则保存到所述中间库后，向所述数据转换执行模块发送新任务执行请求。
[0014]作为本专利技术的一种优选方案，所述数据转换执行模块包括监听调度单元、任务队列管理单元、任务处理单元、规则解析处理单元、第二约束检查单元和第二数据库访问单元；
[0015]所述监听调度单元用于监听新任务执行请求，并将监听到的新任务请求发送至所述任务队列管理单元，同时用于调度控制数据转换执行流程；
[0016]所述任务队列管理单元用于管理任务队列和进行任务分配；
[0017]所述第二数据库访问单元用于访问所述中间库并读取所述中间库中存储的转换规则；
[0018]所述规则解析处理单元用于对转换规则进行解析和处理，并划分子任务；
[0019]所述第二约束检查单元用于对所述任务信息进行数据库约束检查；
[0020]所述任务处理单元用于执行每个具体任务，并对各个具体任务进行进度管理；
[0021]所述监听调度单元监听到所述数据转换配置模块的新任务执行请求后，发送该任务信息到所述任务队列管理单元；所述任务队列管理单元根据任务的执行时间条件将任务放入相应的任务队列，即等待任务队列或者就绪任务队列，对任务进行管理；当就绪任务队列中有任务可执行时，所述任务队列管理单元将可执行任务出列，分配给所述任务处理单元处理；所述任务处理单元获得任务信息后，首先调用所述第二数据库访问单元读取转换规则；然后调用所述规则解析处理单元对转换规则进行解析和处理，划分子任务；再调用所述第二约束检查单元对任务信息再次进行数据库约束检查；最后，通过数据库约束检查后，所述任务处理单元分步骤执行子任务，记录执行进度和执行结果信息反馈给所述任务队列管理单元。
[0022]作为本专利技术的一种优选方案，所述数据转换执行模块还包括数据格式转换单元、脚本处理单元和数据更新检查单元；
[0023]所述数据格式转换单元用于访问所述中间库中的源表，将源表数据转换为所述用户配置单元所配置的数据格式；
[0024]所述脚本处理单元用于提供子任务执行时所需的SQL脚本；
[0025]所述数据更新检查单元用于周期性访问已完成任务队列，检查已完成任务所关联
的源库源表的数据更新状态，当检查到某已完成任务所关联的源库源表数据更新时，所述数据更新检查单元调用所述第二数据库访问单元，更新已完成任务的数据提醒状态；发送数据更新提醒到所述数据转换配置模块，提醒用户有数据更新。
[0026]作为本专利技术的一种优选方案，所述转换规则包括数据转换所需的所有相关信息，具体为：源库、源表、源字段的相关元数据，目标库、目标表、目标字段的相关元数据，字段选择、条件过滤、格式转换、表连接的相关参数。
[0027]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0028]1、本专利技术设计了一种基于Oracle的任务式的数据转换系统，该系统以Oracle数据库提供的强大功能为依托，设计了一种以转换规则为处理核心的数据转换系统，通过提取转换规则，将数据转换操作划分成转换配置和转换执行两部分。通过将转换配置和转换执行的分离，可以提供更灵活的使用体验，将更多的转换执行操作放在后台定时处理，提供进度跟踪和结果查询。
[0029本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Oracle的任务式的数据转换系统，其特征在于，所述数据转换系统包括数据转换工具和中间库，所述数据转换工具提供用户数据转换配置功能和数据转换执行功能，所述中间库一方面作为数据转换系统的存储数据库，保存数据转换系统的系统表和转换规则，另一方面作为数据转换执行的中间库，用于数据转换执行操作和验证测试；数据转换工具在执行具体的转换执行操作时，使用同步复制技术将源库相关数据复制到中间库，将目标库相关数据复制到中间库，在中间库执行数据转换执行操作和验证测试，数据转换完成并验证测试成功后同步复制中间库转换执行结果到目标库。2.根据权利要求1所述的基于Oracle的任务式的数据转换系统，其特征在于，所述数据转换工具包括数据转换配置模块和数据转换执行模块，所述数据转换配置模块包括用户配置单元、第一约束检查单元、转换规则预处理单元和第一数据库访问单元；所述用户配置单元用于用户创建任务，选择任务类型，根据具体任务类型的引导流程进行转换配置操作，并在配置完成后向第一约束检查单元提交任务；所述第一约束检查单元用于对所述用户配置单元提交的任务信息进行数据库约束检查，如果任务信息不能通过数据库约束检查，第一约束检查单元反馈检查结果给所述用户配置单元，用户修改数据转换配置信息后再次提交任务，直至通过所述第一约束检查单元的数据库约束检查后，所述第一约束检查单元将任务信息提交给所述转换规则预处理单元进行处理；所述转换规则预处理单元用于对任务信息进行分配、组合处理后生成转换规则；所述第一数据库访问单元用于将转换规则保存到所述中间库中；所述用户配置单元还用于在所述第一数据库访问单元将转换规则保存到所述中间库后，向所述数据转换执行模块发送新任务执行请求。3.根据权利要求2所述的基于Oracle的任务式的数据转换系统，其特征在于，所述数据转换执行模块包括监听调度单元、任务队列管理单元、任务处理单元、规则解析处理单元、第二约束检查单元和第二数据库访问单元；所述监听调度单元用于监听新任务执行请求，并将监听到的新任务请求发送至所述任务队列管理单元，同时用于调度控制数据转换执行流程；所述任务队列管理...

【专利技术属性】
技术研发人员：吴聪聪，方中海，周佳，张军，王月，
申请(专利权)人：南京熊猫通信科技有限公司，
类型：发明
国别省市：