【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种支持多模态存储的数据模型管理系统及方法。
技术介绍
1、在数据采集、加工、应用和管理过程中存在对多种数据类型进行处理的需求，待处理或已处理的数据存在在不同的数据源中，如关系型数据库、非关系型数据库、大数据组件等。相同的数据类型在各种数据源有独特的存储特征，如数据定义、数据结构、数据属性、数据操作语法等，呈现出多模态形式；传统数据操作处理上，需要基于每类数据源进行单独的数据模型构建、模型开发和模型实现等。
2、需要针对相同类型的数据在不同的数据源上分别进行数据模型的定义、开发和构建，存在重复性工作高，工作量大，易出错等问题。同时在模型开发中无法支持跨数据源类型进行关联查询、应用无法快速迁移切换或上云适配，在面向信创改造支撑、模型应用等方面也存在较多受限。
技术实现思路
1、本专利技术的目的在于提供一种支持多模态存储的数据模型管理系统及方法，数据模型处理语义脱离具体数据物理模型，通过统一数据访问引擎，可适配多类数据库，并且在数据模型开发中实现跨多种数据源类型关联查询。
2、本专利技术采用的技术方案是：
3、一种支持多模态存储的数据模型管理方法，包括如下步骤：
4、步骤1，根据业务需求及数据分析结果在逻辑层面构建对应行业不同层级的若干的统一数据模型，并定义不同层级的统一数据模型数据结构、数据信息、数据特征、数据关系、数据标准；
5、步骤2，根据业务需求对各个层级的统一数据模型进行开发处理以建立各
6、步骤3，根据业务需求选择某个统一数据模型应用到具体的数据源类型中，建立统一数据模型与物理模型的对应关系；
7、步骤4、根据具体的数据源类型对当前选定的对应层级的统一数据模型进行转换，以便选定的对应层级的统一数据模型与具体数据源类型适配；
8、步骤5，根据逻辑层面的统一数据模型定义的数据信息及所应用的具体数据源类型，建立选定的统一数据模型与实际数据存储映射关系，在数据访问时候提供对应的数据源连接器；
9、步骤6，根据数据源类型调用对应数据源连接器获取物理对象结构信息，执行物理操作脚本以实现对实际数据的具体控制操作。
10、进一步地，步骤1中构建逻辑层面的统一数据模型时基于逻辑层面定义数据结构、数据信息、数据特征、数据关系、数据标准。
11、进一步地，所述步骤1构建逻辑层面的统一数据模型具体步骤如下：
12、步骤1-1，定义模型分级，根据业务需求并参考行业分层方法将统一数据模型分类为若干层级；并根据需要在每个层级下进行主题域进一步划分。
13、步骤1-2，模型定义，分别定义不同层级的统一数据模型的具体结构；
14、进一步地，设置模型名称、中文名称、模型级别、数据类别、存储周期、模型适用范围、存储对象命名约束；设置业务口径、技术口径，描述数据的业务规则、场景、指标，遵循一致性、完整性、准确性、可维护性的原则在数据开发中提供指导性准则。
15、步骤1-3，逻辑字段池管理，根据行业准则为各个层级的统一数据模型进行标准逻辑字段管理，实现数据模型中字段信息规范化命名和内容设置，保存一致性语义，生成公共逻辑字段池；
16、步骤1-4，分别为各个层级的统一数据模型生成对应导入规则，以便通过导入规则连接具体的物理数据源获取指定表的物理结构信息，实现从物理模型向逻辑模型转换，生成对应的数据模型；
17、进一步地，步骤1-2存储周期包含：永久、天、周、月、年。当取值设置为“永久”情况下，模型所涉及到数据存储对象保存所有的数据；设置其他选项下需要配置数据删除条件信息，当存储对象数据存储时间超出范围时，根据配置条件信息自动对存储对象数据做清除操作。
18、进一步地，步骤1-3中针对数据模型中存储对象所涉及到的字段信息，通过公共逻辑字段池提供字段选择、加载、应用，使其作为标准字段被数据模型选用；提供字段属性定义，设置字段编码、字段名称、字段类型、字段长度、字段精度、主键字段、字段属性、数据范围、数据安全设置；其中数据类型为逻辑定义包含：整型、浮点型、文本、日期时间、二进制等；数据安全提供数据加解密、数据脱敏方式。
19、逻辑字段池除了提供从页面进行单个字段级定义，同时提供通过物理模型向字段池批量导入字段功能。连接指定数据源提取物理层面存储对象结构中的字段信息，进行逻辑信息转换加载到字段池。
20、进一步地，步骤2中提供脚本开发、模型融合、模型迁移三种开发处理模式。通过编写逻辑脚本对逻辑层面的统一数据模型进行开发处理，逻辑脚本不涉及具体物理语法。
21、具体地，在脚本开发模式下，通过编写数据模型脚本实现数据生成的逻辑语义定义。其中涉及对其他数据模型的引用，包含模型的读取、关联，字段选用。数据模型脚本是一种预定义方式，在后续统一数据访问引擎中加载转换成物理脚本执行。
22、在模型融合模式下，通过可视化配置方式，引用数据模型实现多种数据模型关联查询。该模式下提供模型选择、字段选择、数据时间设置、字段计算方式、模型关联方式、关联主键、关联条件、目标字段设置。其中数据时间可设置伪码，在存储对象数据生成阶段进行真实值替换。
23、在模型迁移模式下，将一个已设计好的数据模型应用到一个新的领域，再根据要求进行相关信息调整，最终得到一个新的数据模型 。
24、数据模式开发完成后，经过模型发布，使该数据模型正式生效。
25、进一步地，步骤4中提供多类解析器实现自动适配并进行转换。解析器包括mysql解析器、oracle解析器、clickhouse解析器、hive解析器、doris解析器、sqlserver解析器、postresql解析器等。
26、进一步地，所述步骤4的具体步骤如下：
27、步骤4-1，数据定义语义转换，根据数据模型定义的数据结构、数据属性等信息应用到某个具体的数据源类型中生成可执行脚本，如生成建表语句、修改表结构语句、删除表语句等。
28、步骤4-2，数据操作语言及逻辑开发脚本转换，根据统一数据模型中逻辑脚本语法，适配选用的数据源类型自动转换生成可执行脚本。对于涉及到多个数据源关联查询情况下，可基于开源组件如trino进行整合。
29、步骤4-3，数据模型导入操作，连接指定数据源获取指定表结构信息，进行解析并生成数据模型相关结构信息，实现从物理模型到逻辑模型的逆向转化。
30、进一步地，步骤4-1获取数据存储的连接信息，进行联通性测试。对数据模型的逻辑结构进行实例化，构建数据存储对象的结构信息。获取字段名、字段类型、字段长度、主键、字段说明、数值范围、可空情况，选择可用的信息构建对象的物理结构。
31、在统一数据模型逻辑字段转换阶段，逻辑字段类型需要转为实际物理表的字段类型。当一个逻辑字段类型对应本文档来自技高网...
【技术保护点】
1.一种支持多模态存储的数据模型管理方法，其特征在于：其包括如下步骤：
2.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤1构建逻辑层面的统一数据模型具体步骤如下：
3.根据权利要求2所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤1-2具体包括设置模型名称、中文名称、模型级别、数据类别、存储周期、模型适用范围、存储对象命名约束；设置业务口径、技术口径，描述数据的业务规则、场景、指标；其中存储周期包含：永久、天、周、月、年；当取值设置为“永久”情况下，模型所涉及到数据存储对象保存所有的数据；设置其他选项下需要配置数据删除条件信息，当存储对象数据存储时间超出范围时，根据配置条件信息自动对存储对象数据做清除操作；
4.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤2中提供脚本开发、模型融合、模型迁移三种开发处理模式；
5. 根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4中提供多类解析器实现自动适配并进行转换；解析器包括mysql 解析器、o
6.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4的具体步骤如下：
7.根据权利要求6所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4-1获取数据存储的连接信息进行联通性测试；对数据模型的逻辑结构进行实例化构建数据存储对象的结构信息；获取字段名、字段类型、字段长度、主键、字段说明、数值范围、可空情况，并选择可用的信息构建对象的物理结构；
8.根据权利要求6所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4-2数据模型开发中对于数据生成处理的物理语义分两种方式处理：以脚本开发方式，获取脚本中所涉及模型对应的数据存储连接信息构建建表语句，与数据模型中的数据生成脚本组合生成完整的可执行脚本；以页面可视化选择方式构建数据模型的关系，在底层统一转换为脚本模式进行处理。
9.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤5中针对不同的数据存储类型提供不同的连接器进行物理脚本执行；根据模型的结构信息通过数据定义处理模块转换为数据存储可识别的建表操作语义进行执行；根据数据模型中的开发脚本内容，调用数据操作处理模块发起物理查询；数据存储对象所属的数据模型中的开发脚本包含多个源端的数据模型，源端数据模型应用到不同的数据存储类型中实现跨数据源的查询。
10.一种支持多模态存储的数据模型管理系统，应用了权利要求1至9任一项所述的一种支持多模态存储的数据模型管理方法，其特征在于：系统包括统一数据模型构建单元、统一数据模型开发单元、统一数据模型应用单元、统一数据模型转换单元、统一数据模型桥接单元、统一数据访问引擎、数据存储单元；
...【技术特征摘要】
1.一种支持多模态存储的数据模型管理方法，其特征在于：其包括如下步骤：
2.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤1构建逻辑层面的统一数据模型具体步骤如下：
3.根据权利要求2所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤1-2具体包括设置模型名称、中文名称、模型级别、数据类别、存储周期、模型适用范围、存储对象命名约束；设置业务口径、技术口径，描述数据的业务规则、场景、指标；其中存储周期包含：永久、天、周、月、年；当取值设置为“永久”情况下，模型所涉及到数据存储对象保存所有的数据；设置其他选项下需要配置数据删除条件信息，当存储对象数据存储时间超出范围时，根据配置条件信息自动对存储对象数据做清除操作；
4.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤2中提供脚本开发、模型融合、模型迁移三种开发处理模式；
5. 根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4中提供多类解析器实现自动适配并进行转换；解析器包括mysql 解析器、oracle解析器、clickhouse解析器、hive解析器、doris解析器、sqlserver解析器、postresql解析器等。
6.根据权利要求1所述的一种支持多模态存储的数据模型管理方法，其特征在于：步骤4的具体步骤如下：
7.根据权利要求6所述的一种支持多模态存储的数...
【专利技术属性】
技术研发人员：林照，吴强，黄仰树，
申请(专利权)人：中电福富信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。