【技术实现步骤摘要】
本专利技术涉及数据，具体涉及一种云边端环境中异构数据库的元数据抽取数据访问机制，有利于实现异构数据库的统一访问。
技术介绍
1、随着新兴技术的迅猛发展，特别是物联网、云端计算和大数据分析等应用的普及，数据规模正在呈指数级增长。这些应用场景中，数据分布广泛且类型多样，涵盖了从结构化数据到无结构数据的各类存储形式。为了满足这些应用对存储与访问的需求，数据库技术不断演进，特别是针对特定数据类型和场景的数据库解决方案已经广泛应用于各个领域。
2、在当前的数据库生态系统中，不同类型的数据库针对各自的特定应用场景进行了优化设计。例如，某些关系型数据库以其稳定的事务处理能力和数据一致性保证著称，常用于金融、电信等领域的核心业务系统。而用于处理大量文档型数据的数据库则更多应用于信息检索和内容管理系统。此外，还有一些键值存储数据库，其设计初衷是应对高并发场景下的高速访问需求，广泛应用于社交媒体和电商平台中。与此同时，专门用于复杂查询和全文检索的数据库则为海量数据的分析提供了高效的解决方案。
3、尽管这些数据库在各自的领域表现出色，但由于它们的内部结构和操作模式存在很大差异，跨数据库的统一访问和管理变得非常复杂。现有的开发者需要为每种数据库分别编写代码，并处理不同的数据模型和操作接口，极大增加了开发和维护成本。随着数据需求的增加，异构数据库之间的协作和数据共享需求愈发强烈，如何高效、统一地管理和访问这些异构数据，成为数据库领域的一大挑战。
4、已有的技术尝试了一些初步的解决方案。例如，有研究通过在数据库外层增加统
5、针对这些问题，本文提出了一种基于元数据抽取的跨异构数据库数据访问机制。该机制通过对各类数据库的元数据进行统一抽取和管理，为后续的查询操作提供数据支持。元数据抽取模块会从不同数据库中提取诸如表结构、字段名称等关键信息，并定期更新以确保元数据的一致性。接着，系统会通过元数据匹配模块，依据sql查询语句中的关键信息，将查询请求精确地路由到合适的数据库实例进行处理。最后，系统的查询执行模块会将标准化的查询语句转换为数据库所需的具体操作，并对查询结果进行封装和处理。
6、与传统的跨数据库访问机制相比，该机制的优势在于其对元数据的动态管理能力。通过高效的元数据匹配算法，系统能够在多样化的数据库环境中保持较高的查询效率，同时有效减少由于网络延时导致的性能下降。此外，系统还设计了数据缓存与更新机制，以进一步减少跨网络查询的响应时间，并提高查询结果的一致性。
7、综上所述，本文提出的元数据抽取机制通过对异构数据库的结构和查询过程进行抽象和统一管理，能够有效提升云边端环境下数据访问的效率，适用于大规模分布式系统中的复杂数据操作需求。
技术实现思路
1、本专利技术提出了一种云边端环境中异构数据库的元数据抽取数据访问机制，有利于抽象数据库访问模型，构建各异构数据库的统一访问方式，并实现数据库操作的精准转发与执行。本机制的主要思想是抽取数据库和操作语句中的元数据(如，结构化数据库的表名、字段名，各数据库的特异化表示符)进行高效匹配以定位数据库实例，并通过抽象的数据库查询转换单元转换查询语句，最后将操作语句发送到具体的数据库实例，从而实现异构数据库的统一访问。
2、具体来说本方法由三个组件构成。首先本方法设计了元数据抽取组件，用于从数据库和sql语句中获取元数据；其次本方法设计了元数据匹配组件，将元数据抽取器获得的数据库元数据和sql语句的中的元数据进行匹配；最后本方法设计了一个数据查询组件，它对sql语句进行转换，并发送到指定数据库进行执行，最后对返回的数据进行统一处理包装。
3、云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括基于元数据抽取的数据访问机制所形成的以下步骤：
4、步骤一，通过将数据库进行抽象和转换，实现了对数据库元数据的统一提取和管理；
5、步骤二，将元数据抽取器获得的数据库元数据和sql语句的中的元数据进行匹配，达到准确定位数据库和转发查询请求的目的；
6、步骤三，将sql语句进行转换，并发送到指定数据库进行执行，最后对返回的数据进行统一处理包装，从而实现异构数据库的统一访问。
7、包括以下组件：
8、元数据抽取组件，用于从数据库和sql语句中获取元数据；
9、元数据匹配组件，将元数据抽取器获得的数据库元数据和sql语句的中的元数据进行匹配；
10、数据查询组件，它对sql语句进行转换，并发送到指定数据库进行执行，最后对返回的数据进行统一处理包装。
11、包括访问统一为sql语句，使用模式匹配的方式提取sql语句中的元数据，同时提取各数据库的元数据，之后使用匹配算法自动定位应该访问的数据库端点，最后将sql语句转换为对应的数据库操作并转发到对应的数据库端点。
12、包括以下组件：
13、元数据抽取组件，用于将异构数据库的元数据信息以统一抽象的元数据格式提取出来，为异构数据库的统一访问提供基础；
14、元数据匹配组件，用于从统一访问语句中抽取元数据信息进行匹配，以精准定位数据库，为后续的数据操作组件提供相关元数据信息；
15、数据操作组件，用于统一上层的操作方式将会对各个数据库返回的数据进行统一的包装。
16、所述统一处理包装包括以下内容：
17、第一，保留原始的返回信息；
18、第二，针对查询请求将提取对应的字段信息和字段描述，并将数据序列化为和字段对应的对象数组，同时将数据进行缓存；
19、第三，针对其他引起数据变动的请求，返回操作的类型和操作影响的范围，同时使缓存失效，并通知其余节点。
20、元数据抽取组件包括数据库元数据抽取器和sql语句元数据抽取器，所述数据库元数据抽取器连接相应数据库，导出对应数据库的元数据；针对关系型数据库和mongodb文档型数据库，数据库元数据抽取器通过各个数据库官方提供的连接器直接从对应的数据表中导出数据；针对非关系型数据库，如果是简单的键值型数据库则仅填充表中数据库描述这一键值对的键，如果是全文搜索型数据库则访问其提供的http接口，通过多个接口的信息聚合数据库信息，其索引index对应实体数据库描述，其类型type对应数据表描述。
21、元数据匹配组件包括元数据匹算法，将数据库元数据抽取器获得的数据库元数据和sql语句中的元数据进行匹配，达到准确定位数据库和转发查询请求的目的。
22、包括通过两种机制保证数据库元数据的有效性，一是设计了可以配置的租约时间，周期性的获取数据库的元数据描述；二是设计本文档来自技高网...
【技术保护点】
1.云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下步骤：
2.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下组件：
3.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括访问统一为SQL语句，使用模式匹配的方式提取SQL语句中的元数据，同时提取各数据库的元数据，之后使用匹配算法自动定位应该访问的数据库端点，最后将SQL语句转换为对应的数据库操作并转发到对应的数据库端点。
4.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下组件：
5.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，所述统一处理包装包括以下内容：
6.根据权利要求2或4所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，元数据抽取组件包括数据库元数据抽取器和SQL语句元数据抽取器，所述数据库元数据抽取器连接相应数据库，导出对应数据库的元数据；针对关系型数据库和MongoDB文
7.根据权利要求2或4所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，元数据匹配组件包括元数据匹算法，将数据库元数据抽取器获得的数据库元数据和SQL语句中的元数据进行匹配，达到准确定位数据库和转发查询请求的目的。
8.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括通过两种机制保证数据库元数据的有效性，一是设计了可以配置的租约时间，周期性的获取数据库的元数据描述；二是设计了错误反馈机制，如果经过元数据匹配定位到了对应的数据库，但是数据库查询执行失败，那么将会触发数据库元数据描述过期，并重新获取数据库的元数据描述。
...【技术特征摘要】
1.云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下步骤：
2.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下组件：
3.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括访问统一为sql语句，使用模式匹配的方式提取sql语句中的元数据，同时提取各数据库的元数据，之后使用匹配算法自动定位应该访问的数据库端点，最后将sql语句转换为对应的数据库操作并转发到对应的数据库端点。
4.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，包括以下组件：
5.根据权利要求1所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，所述统一处理包装包括以下内容：
6.根据权利要求2或4所述的云边端环境中异构数据库的元数据抽取数据访问机制，其特征在于，元数据抽取组件包括数据库元数据抽取器和sql语句元数据抽取器，所述数据库元数据抽取器连接相应数据库，导出对应数据库的元数据...
【专利技术属性】
技术研发人员：肖利民，李辉阳，王锦权，沈润楠，陈旭光，杨睿，谭升阳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。