一种数据转化方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请公开了一种数据转化方法、装置、设备及计算机可读存储介质，应用于数据转化领域，该方法包括：导入目标数据映射模型的模型文件；其中，模型文件中配置有结构化数据的查询规则及映射关系；读取查询规则和映射关系，通过查询规则获取结构化数据并存储；调用数据处理程序解析映射关系，并通过解析后的映射关系将结构化数据转换为非结构化数据。该方法在目标数据映射模型中配置结构化数据的查询规则及映射关系，通过查询规则获取结构化数据，并通过调用通用的数据处理程序进行结构化数据格式的转化，避免了现有技术中需要从模型文件读取结构化数据和使用特定语句脚本在非结构数据库中进行结构化数据的格式转化而导致的通用性低的问题。的通用性低的问题。的通用性低的问题。

【技术实现步骤摘要】
一种数据转化方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及数据转化领域，特别涉及一种数据转化方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]由于新一代应用产品采用MongoDB作为数据存储工具，而旧业务系统采用Oracle、MySQL等关系数据库存储数据，因此数据需要由结构化数据映射为非结构化数据，而两者物理结构差异较大，无法直接使用数据库工具同步数据，需要对原本的结构化数据进行格式转化，变为非结构化数据。在现有的数据转化方法中是通过读取所述模型文件中的结构化数据并存入非结构数据库和在所诉非结构数据库中解析所述模型文件包含的数据映射关系，并根据映射关系转化为非结构化数据。
[0003]此种方案的不足之处在于需要转换的结构化数据不只一种数据结构，比如客户、合同、账号等信息，每个都有自己特有的数据结构，那么结构化数据来源于模型文件时，需要针对每种数据结构都定义一个模型文件，这样必须针对每个模型文件都实现一套数据获取程序，不能做到通用性，且模型文件可以包含的数据条目数量有限，无法满足百万千万级数据的存储，存在限制。数据转换处理是在非结构数据库中进行的不足之处在于需要使用非结构数据库所能识别的语言编写语句脚本才能完成，针对不同情况的结构化数据需要编写不同的语句脚本才能实现数据结构的转换，结构化数据或映射关系发生变化时需要调整对应的语句脚本，因此不具备通用性。

技术实现思路

[0004]本专利技术的目的在于提供一种数据转化方法、装置、设备及计算机可读存储介质，应用于数据转化领域，该方法通过在目标数据映射模型中配置结构化数据的查询规则及映射关系，并通过调用通用的数据处理程序来进行对结构化数据格式的转化，避免了现有技术中从模型文件中读取结构化数据和使用特定的语句脚本实现在非结构数据库中进行结构化数据的格式转化而导致的通用性低的问题。
[0005]为实现上述目的，本专利技术提供一种数据转化方法，包括：
[0006]导入目标数据映射模型的模型文件；其中，所述模型文件中配置有结构化数据的查询规则及映射关系；
[0007]读取所述查询规则和所述映射关系，通过所述查询规则获取所述结构化数据并存储；
[0008]调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据。
[0009]可选的，所述导入目标数据映射模型的模型文件，包括：
[0010]当系统中已存在数据映射模型时，将已存在的所述数据映射模型确定为所述目标数据映射模型，并导入所述目标数据映射模型的所述模型文件。
[0011]可选的，所述导入目标数据映射模型的模型文件，包括：
[0012]初始化监听器并导入所述目标数据映射模型的所述模型文件。
[0013]可选的，所述通过所述查询规则获取所述结构化数据并存储，包括：
[0014]通过所述查询规则获取所述结构化数据，并将所述结构化所述存储在数据清单之中。
[0015]可选的，所述调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据，包括：
[0016]调用所述数据处理程序解析所述映射关系，获取映射类型，并通过所述映射类型将所述结构化数据转换为非结构化数据。
[0017]可选的，所述映射类型包括不取值映射、固定映射、直取映射、拼接映射、参数映射和特殊取值映射。
[0018]可选的，所述调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据之后，还包括：
[0019]将所述非结构化数据存入非结构数据库中预设的存储集合中。
[0020]为实现上述目的，本专利技术还提供一种数据转化装置，包括：
[0021]模型导入模块，用于导入目标数据映射模型的模型文件；其中，所述模型文件中配置有结构化数据的查询规则及映射关系；
[0022]模型读取模块，用于读取所述查询规则和所述映射关系，通过所述查询规则获取所述结构化数据并存储；
[0023]数据转化模块，用于调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据。
[0024]为实现上述目的，本专利技术还提供一种数据转化设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如任一项上述所述的数据转化方法的步骤。
[0025]为实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如任一项上述所述的数据转化方法的步骤。
[0026]可见，本专利技术方法通过在目标数据映射模型中配置结构化数据的查询规则及映射关系，通过查询规则来获取结构化数据，并通过调用通用的数据处理程序来进行对结构化数据格式的转化，避免了现有技术中通过读取所述模型文件中的结构化数据并存入非结构数据库和使用特定语句脚本在非结构数据库中解析模型文件包含的数据映射关系，并根据解析后的数据映射关系转化为非结构化数据而导致的通用性低的问题。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0028]图1为本专利技术实施例提供的一种数据转化方法的流程图；
[0029]图2为本专利技术实施例提供的一种数据转化方法的具体实施例图；
[0030]图3为本专利技术实施例提供的一种数据转化装置的结构框图。
具体实施方式
[0031]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]以下结合图1，图1为本专利技术实施例提供的一种数据转化方法的流程图，该方法可以包括：
[0033]S101：导入目标数据映射模型的模型文件；其中，模型文件中配置有结构化数据的查询规则及映射关系。
[0034]本实施例的目的是将结构化数据转化为非结构化数据，结构化数据是一种高度组织和整齐格式化的数据，能够用数据或统一的结构加以表示的信息，如数字、符号。结构化数据具有明确的关系和统一的结构及类型，在软件应用中，保存和管理这些数据的一般为关系数据库，需要使用结构化查询语言或SQL(Structured Query Language，数据库语言)进行数据处理。而非结构化数据本质上是结构化数据之外的一切数据。它不符合任何预定义的模型，因此它存储在非关系数据库中，并使用No SQL(非关系型数据库)进行查询。它可能是文本的或者非文本的，也可能是人为的或机器生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转化方法，其特征在于，包括：导入目标数据映射模型的模型文件；其中，所述模型文件中配置有结构化数据的查询规则及映射关系；读取所述查询规则和所述映射关系，通过所述查询规则获取所述结构化数据并存储；调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据。2.根据权利要求1所述的数据转化方法，其特征在于，所述导入目标数据映射模型的模型文件，包括：当系统中已存在数据映射模型时，将已存在的所述数据映射模型确定为所述目标数据映射模型，并导入所述目标数据映射模型的所述模型文件。3.根据权利要求1所述的数据转化方法，其特征在于，所述导入目标数据映射模型的模型文件，包括：初始化监听器并导入所述目标数据映射模型的所述模型文件。4.根据权利要求1所述的数据转化方法，其特征在于，所述通过所述查询规则获取所述结构化数据并存储，包括：通过所述查询规则获取所述结构化数据，并将所述结构化所述存储在数据清单之中。5.根据权利要求1所述的数据转化方法，其特征在于，所述调用数据处理程序解析所述映射关系，并通过解析后的所述映射关系将所述结构化数据转换为非结构化数据，包括：调用所述数据处理程序解析所述映射关系，获取映射类型，并通过所述映射类型将...

【专利技术属性】
技术研发人员：许慧，李倩，郭宝亮，甘宜鹏，
申请(专利权)人：山东中创软件工程股份有限公司，
类型：发明
国别省市：