分布式共享连接的资产静态数据采集方法及系统技术方案

本发明专利技术公开了分布式共享连接的资产静态数据采集方法及系统，该方法包括步骤：S100：分布式部署的探针节点通过连接池客户端向连接池中间件发送连接申请；S200：连接池中间件接收连接申请，获取目标数据源的连接路由信息；S300：连接池中间件根据连接路由信息，将可复用空闲连接或建立的新连接通过连接池客户端分配给探针节点；S400：探针节点获取分配的连接，通过连接池客户端向连接池中间件发送命令原语；S500：连接池中间件接收命令原语并进行静态数据采集。本发明专利技术可高效复用闲置连接，且能从数据源实例维度对总连接数进行合理控制；同时，还可实现对外部数据源接入的统一管理，可降低运营维护成本。可降低运营维护成本。可降低运营维护成本。

【技术实现步骤摘要】
分布式共享连接的资产静态数据采集方法及系统


[0001]本专利技术涉及IT业务支撑领域，具体涉及分布式共享连接的资产静态数据采集方法及系统。

技术介绍

[0002]当前在信息
，随着计算机和网络技术持续高速发展，企业数字化转型如火如荼，信息系统使用日益广泛，社会经济开始全面数据化，数据已成为企业最重要的核心资产之一。但在实际环境中，企业数据资产往往会爆炸式增长，规模庞大而复杂，分散而不集中，很难有效地对数据进行利用，也就无法通过数据为企业带来更高价值。此外，随着网络安全法、数据安全法等法规的出台，明确了数据所有者应当对敏感、重要数据，尤其是涉及到个人信息安全的数据采取安全防护手段，因此数据治理和安全合规建设亦势在必行。
[0003]数据库作为企业静态数据存储的主要载体，其中可能存放有大量的敏感或重要信息，为了进行数据治理和合规建设，须对数据库资产中的静态数据进行梳理和识别定位，并对敏感或重要数据进行分级分类。
[0004]数据资产测绘系统，即是这样一款数据识别定位、分级分类的辅助企业进行数据运营治理的管理系统。在系统运行实践中，需要通过探针节点访问外部系统的数据源，对其中存储的企业静态数据进行采集和分析。通常的，这些数据源中往往存放有大量的重要业务数据，承载着众多业务系统的运行。因此，在采集静态数据的过程中，必须保证不会对外部系统的数据源造成负担，影响客户业务的正常使用。
[0005]系统和数据源的交互，依赖于双方之间建立安全且快速有效的访问连接。而对访问连接进行合理有效地控制，有助于保持数据源的稳定负载和运行效率。为了降低静态数据采集操作对外部数据源的影响，需要从多方面实现。不仅需要限制探针节点对外部数据源的同时最大连接数量，还应当控制探针不会频繁建立和销毁连接。在上述前提下，为了尽可能提高采集效率，高效利用每个建立的访问连接也是十分必要的。
[0006]目前，在数据库的连接数量控制上，一方面可以在数据库实例级别通过配置限制整个实例的最大访问连接数，或者在访问用户级别限制该用户的最大访问连接数，避免因局部用户不受限的大量数据连接导致数据库实例资源被消耗殆尽，影响到其他用户的正常业务访问操作。另一方面，应用客户端在使用驱动程序访问数据库时，访问驱动往往会通过建立数据访问连接池来进行数据通信。
[0007]但目前系统探针节点当前直接访问外部数据源的方式，具有一些弊端，不仅体现在访问连接数控制方面，也体现在网络策略管理方面。
[0008]从实例级别限制最大访问连接数量，虽然可以保证资产数据源的连接消耗，但可能存在单个应用客户端挤占其它应用连接资源，导致其它应用业务功能无法正常运行。从用户级别限制最大连接数量，一定程度上能够避免不受控制的连接申请。但是，不是所有的资产数据源都可以细粒度的限制到具体用户上。此外，和前述限制实例最大连接数量方法一样，这两种方法都需要修改资产数据源的配置，一来无法实时生效，二来客户的资产数据
源可能有成百上千个，逐个配置的可操作性太低。
[0009]传统的数据库连接池，往往只能在应用进程内部有效，无法做到跨应用共享连接，即使在连接池中存在闲置的数据库连接，这些连接也无法被其它需要的应用程序使用，造成资源的浪费。
[0010]另一方面，传统连接池一般通过连接字符串来对连接进行分组。一个资产数据源的实例中，可能存在多个数据库或多个用户。使用传统连接池，针对一个资产数据源的连接，一旦连接串不同，如指定了不同的数据库，或使用了不同的账号，或变更了其它的参数，那么其建立的数据库连接就会被划分到不同的连接池中，无法从资产数据源实例的维度上对连接资源进行控制，不能评估出底层数据库真正的连接数量。
[0011]此外，随着接入的外部数据源不断增多，网络策略管理就越复杂。每增加一个外部数据源，就需要开通该数据源到所有探针节点的网络通信策略；而如果增加探针节点，亦需如此开通到所有外部数据源的网络通信策略。如此，由于缺少统一的数据通信出入口，导致网络策略管理过于复杂。

技术实现思路

[0012]为了解决
技术介绍
中提出的技术问题，本专利技术提供了分布式共享连接的资产静态数据采集方法及系统。
[0013]本专利技术通过引入分布式连接池中间件，使得探针节点在对外部数据源进行数据采集时，可以高效复用闲置连接，且能从数据源实例维度对总连接数进行合理控制。同时，连接池中间件作为探针节点访问外部数据源的代理组件，可以实现对外部数据源接入的统一管理，降低了运营维护成本。
[0014]本专利技术提供的分布式共享连接的资产静态数据采集方法，包括步骤：S100：分布式部署的探针节点通过连接池客户端向连接池中间件发送携带目标数据源连接配置信息的连接申请；S200：连接池中间件接收连接申请，从目标数据源连接配置信息获取目标数据源的连接路由信息；S300：连接池中间件根据连接路由信息，在其内部的多层级数据源连接池中查找目标数据源的可复用空闲连接，当存在可复用空闲连接，将可复用空闲连接通过连接池客户端分配给探针节点；当不存在可复用空闲连接，则建立新连接并通过连接池客户端分配给探针节点；S400：探针节点获取分配的连接，通过连接池客户端向连接池中间件发送静态数据采集的命令原语；S500：连接池中间件解析命令原语并在目标数据源中进行静态数据采集，采集的静态数据返回给探针节点；同时将该分配的连接作为空闲连接放回多层级数据源连接池。
[0015]在一些具体实施方式中，步骤S300进一步包括：S310：连接池中间件根据连接路由信息，在其内部的多层级数据源连接池中查找与连接路由信息匹配的二级子池，判断是否存在可复用空闲连接；若存在，执行子步骤S320；否则，执行子步骤S330；S320：将可复用空闲连接分配给探针节点，执行步骤S400；
S330：判断目标数据源所属一级父池是否已满，若未满，执行子步骤S340；否则，执行子步骤S350；S340：与目标数据源建立新连接并分配给探针节点，之后执行步骤S400；S350：判断与目标数据源属于同一数据源实例的一级父池中其它二级子池是否存在不可复用空闲连接；若存在，执行子步骤S360；否则，执行子步骤S370；S360：销毁一个不可复用空闲连接，之后执行子步骤S340；S370：连接申请加入请求等待队列，在等待未超时时，一旦有已分配连接被释放并回收，则判断该被回收连接是否可复用，若可复用，将其分配给探针节点；否则，执行步骤S360；S380：在等待超时，仍未有已分配连接被释放并回收，则本次连接申请失败。
[0016]在一些具体实施方式中，子步骤S360中所述销毁的具体实施为：当与目标数据源属于同一数据源实例的一级父池存在多个不可复用空闲连接，销毁闲置时间最长的一个不可复用空闲连接。
[0017]在一些具体实施方式中，子步骤S360中所述销毁的具体实施为：当与目标数据源属于同一数据源实例的一级父池存在多个不可复用空闲连接，选择数据源连接数量大于1的二级子池中的一个不可复用空闲连接进行销毁。
[0018]在一些具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式共享连接的资产静态数据采集方法，其特征是，包括步骤：S100：分布式部署的探针节点通过连接池客户端向连接池中间件发送携带目标数据源连接配置信息的连接申请；S200：连接池中间件接收连接申请，从目标数据源连接配置信息获取目标数据源的连接路由信息；S300：连接池中间件根据连接路由信息，在其内部的多层级数据源连接池中查找目标数据源的可复用空闲连接，当存在可复用空闲连接，将可复用空闲连接通过连接池客户端分配给探针节点；当不存在可复用空闲连接，则建立新连接并通过连接池客户端分配给探针节点；S400：探针节点获取分配的连接，通过连接池客户端向连接池中间件发送静态数据采集的命令原语；S500：连接池中间件解析命令原语并在目标数据源中进行静态数据采集，采集的静态数据返回给探针节点；同时将该分配的连接作为空闲连接放回多层级数据源连接池。2.如权利要求1所述的分布式共享连接的资产静态数据采集方法，其特征是：步骤S300进一步包括：S310：连接池中间件根据连接路由信息，在其内部的多层级数据源连接池中查找与连接路由信息匹配的二级子池，判断是否存在可复用空闲连接；若存在，执行子步骤S320；否则，执行子步骤S330；S320：将可复用空闲连接分配给探针节点，执行步骤S400；S330：判断目标数据源所属一级父池是否已满，若未满，执行子步骤S340；否则，执行子步骤S350；S340：与目标数据源建立新连接并分配给探针节点，之后执行步骤S400；S350：判断与目标数据源属于同一数据源实例的一级父池中其它二级子池是否存在不可复用空闲连接；若存在，执行子步骤S360；否则，执行子步骤S370；S360：销毁一个不可复用空闲连接，之后执行子步骤S340；S370：连接申请加入请求等待队列，在等待未超时时，一旦有已分配连接被释放并回收，则判断该被回收连接是否可复用，若可复用，将其分配给探针节点；否则，执行步骤S360；S380：在等待超时，仍未有已分配连接被释放并回收，则本次连接申请失败。3.如权利要求2所述的分布式共享连接的资产静态数据采集方法，其特征是：子步骤S360中，所述销毁具体为：当与目标数据源属于同一数据源实例的一级父池存在多个不可复用空闲连接，销毁闲置时间最长的一个不可复用空闲连接。4.如权利要求2所述的分布式共享连接的资产静态数据采集方法，其特征是：子步骤S360中，所述销毁具体为：当与目标数据源属于同一数据源实例的一级父池存在多个不可复用空闲连接，选择数据源连接数量大于1的二级子池中的一个不可复用空闲连接进行销毁。5.如权利要求2所述的分布式共享连接的资产静态数据采集方法，其特征是：根据等待时长将请求等待队列动态划分为不同调度优先权等级，对各调度优先权等级
...

【专利技术属性】
技术研发人员：章明珠，刘超，楚文良，
申请(专利权)人：成都思维世纪科技有限责任公司，
类型：发明
国别省市：