【技术实现步骤摘要】
本专利技术涉及大数据存储分析，具体涉及一种基于虚拟化技术的大数据存储分析系统平台及方法。
技术介绍
1、对于企业来说，利用大数据技术建立综合数据存储分析平台有利于企业内的管理人员更好地掌握企业的实际情况，有效控制企业的经营成本，提高企业的经济效益，同时全面提高企业的管理水平，对企业的发展有非常积极的促进作用。所以，现阶段必须要合理利用大数据技术，结合企业的经营模式和发展情况，建立大数据存储分析平台，进而为企业的发展提供更加准确的数据信息。
2、大数据技术主要指的是结合预测分析、统计分析、数据分析、人工智能、计算机技术以及语言处理等技术于一身的现代化技术。在大数据技术体系中，共包括基础架构、数据的采集与基本处理、数据的存储、数据的计算和分析以及数据展现5个方面。利用大数据技术为企业建立综合性的数据分析平台，能够为企业的发展奠定良好的基础，使企业的各项运转项目和管理工作更加可视化。
3、现阶段，随着经济的快速发展，企业得到了深入创新与改革，也使企业内部涉及的信息数据越来越多，且种类越来越丰富。但是，结合目前企业的实际情况进行分析，因为管理观念的影响，无法对企业中具有的数据信息进行全面监督与管理，且也不具备科学化的验证机制，很难快速完成信息的共享与交换。同时，因为企业中有很多信息孤岛的情况，导致数据分析工作很难深入实际进行。此外，因为企业内缺乏有效的大数据存储分析平台，很多信息没有得到充分利用，使得许多数据都无法充分发挥价值。
4、目前，由于企业的不断发展，对数据信息的处理提出了更高要求。但是，企业
5、因此，如何合理利用大数据技术建立更加现代化、完善化的综合数据存储分析平台，对企业数据信息的有效利用而言，显得尤为重要。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种基于虚拟化技术的大数据存储分析系统平台及方法，用于解决企业内缺乏有效的大数据存储分析平台的技术问题，从而达到使企业信息得到充分利用，充分发挥数据价值的目的。
2、为解决上述问题，本专利技术所采用的技术方案如下：
3、一种基于虚拟化技术的大数据存储分析系统平台，包括：
4、前置机，用于从各个业务系统的数据库采集大规模、物理分布的、异构的数据资源；
5、服务节点，用于从所述前置机采集所述数据资源，并对所述数据资源进行管理和查询后，向元数据服务节点传输数据；
6、元数据服务节点，用于对所述服务节点上传的数据进行存储，并供各服务使用；
7、其中，所述服务节点采用虚拟化技术将大规模、物理分布的、异构的数据资源连通形成一个虚拟的数据资源中心，并提供统一的数据标准和访问接口，支持所述元数据服务节点对数据源的透明访问，并对多个独立业务系统之间的数据资源进行共享和统一管理；
8、所述服务节点基于数据库实例生命周期的分布式远程创建技术，完成数据库实例的一键式生产；
9、所述元数据服务节点基于用户使用主成分可视化视图自动适配技术，将数据转换成可视化图表，通过所述可视化图表将隐藏在数据中的信息直接展现；
10、所述服务节点采用的虚拟化技术包括：数据虚拟化技术、异构数据源虚拟访问技术、数据库虚拟化微内核数据源注册与封装技术；
11、其中，所述数据虚拟化技术包括：所述服务节点使用evp模型提供一层统一的数据视图，并通过统一的访问接口去访问多源、分布、异构的数据资源，完成异构数据资源的整合，屏蔽底层数据访问的物理细节。
12、作为本专利技术优选的实施方式，所述前置机包括数据源服务和数据同步模块，并利用所述数据源服务和所述数据同步模块采集数据资源；
13、所述服务节点包括：物理控制器管理器、虚拟数据库管理、虚拟表管理、分布式查询引擎、接口容器、数据库管理服务以及数据服务；
14、所述物理控制器管理器包括：多个物理控制器，所述多个物理控制器从所述前置机采集所述数据资源，并通过所述虚拟数据库管理、所述虚拟表管理以及所述分布式查询引擎对所述数据资源进行管理和查询后，通过所述接口容器基于所述数据库管理服务和所述数据服务向元数据服务节点传输数据；
15、所述元数据服务节点包括：元数据存储单元、系统管理服务、系统监控服务、数据目录服务、用户日志服务、系统界面服务；通过所述元数据存储单元对所述服务节点上传的数据进行存储，并供所述系统管理服务、所述系统监控服务、所述数据目录服务、所述用户日志服务以及所述系统界面服务使用。
16、作为本专利技术优选的实施方式，所述物理细节包括：数据源的物理位置、具体类型、数据结构的差异；
17、所述evp模型包括：物理资源层、虚拟资源层以及有效资源层；
18、所述物理资源层包括多个结点，每个结点用于部署多份物理资源；所述虚拟资源层包含多个虚拟组织，每个虚拟组织中存在若干虚拟资源，所述若干虚拟资源构成每个虚拟组织的虚拟资源空间；所述有效资源层包括多个应用，每个应用使用若干有效资源，所述若干有效资源构成每个应用的有效资源空间；
19、若所述物理资源层存在n个结点，则所述有效资源层中的应用通过所述虚拟资源层中的一虚拟组织能够访问从结点1到结点n的物理资源；
20、所述物理资源包括：硬盘存储资源、计算资源以及软件资源。
21、作为本专利技术优选的实施方式，所述虚拟资源层能基于一个物理数据库创建虚拟数据库，也能基于同一个物理数据库创建多个虚拟数据库，并通过所述多个虚拟数据库完成数据的虚拟化；
22、其中，所述多个虚拟数据库位于通过大数据引擎构建的数据数据资源池中，通过数据隔离机制与物理数据库之间进行数据隔离，以及通过数据聚合机制将多个物理数据库的数据聚合到一个虚拟数据库中；
23、虚拟数据库通过数据复用技术把数据访问频率高的数据从物理数据库预加载到缓冲区，请求的数据从所述缓冲区读取，若无法获取数据，则从物理数据库获取数据，长时间无访问的数据则交换到物理数据库。
24、作为本专利技术优选的实施方式，所述服务节点在采用异构数据源虚拟访问技术时，包括：
25、所述服务节点通过客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件，提供基于用户、角色、权限的异构数据库系统的成分组件访问控制管理，完成平台、资源、通道流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问，完成异构数据库的共享访问管理，屏蔽数据库访问细节及异构系统多源性，并提供统一的数据标准和访问接口，支持对数据源的透明访问；
26、其中，所述客户机包括异构数据源管理组件，所述异构数据源管理组件用于管理来自企业a、企业b、企业c、企业d以及企业e的异构数据，并授权给所述前置端；
27、所述前置端包括db同步管理组件，所述db同步管本文档来自技高网...
【技术保护点】
1.一种基于虚拟化技术的大数据存储分析系统平台，其特征在于，包括：
2.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述前置机包括数据源服务和数据同步模块，并利用所述数据源服务和所述数据同步模块采集数据资源；
3.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述物理细节包括：数据源的物理位置、具体类型、数据结构的差异；
4.根据权利要求3所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述虚拟资源层能基于一个物理数据库创建虚拟数据库，也能基于同一个物理数据库创建多个虚拟数据库，并通过所述多个虚拟数据库完成数据的虚拟化；
5.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述服务节点在采用异构数据源虚拟访问技术时，包括：
6.根据权利要求5所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述服务节点在采用异构数据源虚拟访问技术时，还包括：
7.根据权利要求3所述的基于虚拟化技术的大数据存储分析系统平台，其特征在
8.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，在完成数据库实例的一键式生产时，包括：
9.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，在所述元数据服务节点将数据转换成可视化图表时，包括：
10.一种基于虚拟化技术的大数据存储分析方法，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种基于虚拟化技术的大数据存储分析系统平台，其特征在于，包括：
2.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述前置机包括数据源服务和数据同步模块，并利用所述数据源服务和所述数据同步模块采集数据资源；
3.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述物理细节包括：数据源的物理位置、具体类型、数据结构的差异；
4.根据权利要求3所述的基于虚拟化技术的大数据存储分析系统平台，其特征在于，所述虚拟资源层能基于一个物理数据库创建虚拟数据库，也能基于同一个物理数据库创建多个虚拟数据库，并通过所述多个虚拟数据库完成数据的虚拟化；
5.根据权利要求1所述的基于虚拟化技术的大数据存储分析系统平台，其特征...
【专利技术属性】
技术研发人员：邓练兵，巩志国，官全龙，
申请(专利权)人：广东琴智科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。