一种可视化ceph内部数据结构映射关系的系统和方法技术方案

本申请公开了一种可视化ceph内部数据结构映射关系的系统和方法。系统包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；方法包括：数据服务器发送获取数据的请求到数据代理模块，数据代理模块需要获取的数据；数据服务器将接收到的需要获取的数据发送到数据库，同时发送第一通知给数据分析模块；数据分析模块从所述数据库中调取所述需要获取的数据，进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；数据可视化模块从数据库中调取映射表，并以可视化形式显示出来。本申请帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题。

【技术实现步骤摘要】
一种可视化ceph内部数据结构映射关系的系统和方法
本申请涉及信息存储
，具体而言，涉及一种可视化ceph内部数据结构映射关系的系统和方法。
技术介绍
目前，ceph是广泛流行的分布式存储系统，运维、大数据等相关人员专注于了解ceph内部数据结构映射关系，能够他们帮助解决数据存储的很多问题。然而现在ceph系统并没有一种可视化的系统帮助工作人员更便捷、更精准地地找到ceph内部数据结构映射关系。针对相关技术中需要一种可视化的系统帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种可视化ceph内部数据结构映射关系的系统和方法，以解决相关技术中需要一种可视化的系统帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题。为了实现上述目的，第一方面，本申请提供了一种可视化ceph内部数据结构映射关系的系统，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据可视化模块、所述数据库相连接；所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；所述基于ceph数据结构映射方法为ceph系统内部数据结构映射的方法，对于本领域技术人员来说是公开的常识，本申请不加以赘述。所述数据库，用于保存所述待分析数据以及所述映射表；所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。所述所在主机的情况，包括：CPU、内存或IO负载情况，如果所在的主机的CPU、内存、IO负载一个或多个高于设定阈值，则所述数据代理模块发送中断数据获取阶段的指令，告知所述数据服务器延迟获取数据。所述数据代理模块部署在ceph集群其中的一台主机上面，同时配置所述数据服务器模块的IP、端口号和拉取数据信息的方式。所述数据服务器，依据所述数据代理模块配置的IP，主动连接所述数据代理模块，连接成功后，发送所述数据的请求到所述数据代理模块。所述数据可视化模块，前端网页方式显示给用户。所述数据代理模块，需要所述数据服务器进行鉴权确认，即所述数据代理模块是否有权限发送所述需要获取的数据。所述数据代理模块，对所述需要获取的数据进行加密数据传输；所述数据分析模块，调取加密后需要获取的数据，并对其进行解密，当得到所述映射表后，对所述映射表进行加密并且发送到所述数据库中；所述数据库，调取加密后的映射表并对其进行解密，将解密后的映射表以可视化形式显示出来。所述可视化形式显示出来，需要显示各种映射关系，包括显示内容如下：能够可视化展示ceph内部数据结构；能够通过cephclusterID检索该集群的映射关系；能够通过osdID检索该osd关联的映射关系；能够通过poolname检索该pool关联的映射关系；能够通过rados对象ID检索该rados对象关联的映射关系；能够通过rbd镜像检索该镜像关联的映射关系；能够通过文件名字检索该文件关联的映射关系；能够通过对象存储的对象名字检索该对象关联的映射关系。在配置所述数据代理模块、数据服务器、数据分析模块、数据可视化模块时，其所在物理主机或是虚拟机需要时钟同步。所述数据库，部署两套主备集群，一套用于获取ceph的内部数据结构，一套用于配置可视化web组件。第二方面，本申请还提供了一种可视化ceph内部数据结构映射关系的方法，使用所述的视化ceph内部数据结构映射关系的系统实现，包括如下步骤：所述数据服务器发送获取数据的请求到所述数据代理模块，所述数据代理模块接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；所述数据服务器将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；所述数据分析模块接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；所述数据可视化模块接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。有益技术效果：本申请提出了一种可视化ceph内部数据结构映射关系的系统及方法，帮助工作人员更便捷、更精准地找到ceph内部数据结构映射关系的问题，方法简单易行，本领域技术人员的很容易根据本申请所述方法进行实现，并且成本比较低，易于推广。1.分布式存储ceph集群运维繁冗而复杂，耗费大量的人力物力，如果把ceph内部数据结构关系通过直观的方式展示给相关运维人员，可以帮助运维人员从数据维度，分析分布式存储ceph集群的数据分布、数据的动态、数据映射关系以及数据的I/O路径运作方式，降低问题发现和解决的时间成本，降低运维分布式存储ceph集群的运维，节省人力物力。2.用于可视化ceph内部数据关系的系统，本身是一个基于ceph的数据获取系统，该系统除可以数据关系的展示，还可以作为ceph本身的数据分析，数据监控的基础设施系统。3.分布式存储ceph本身数据结构抽象晦涩，无法与大数据分析结合，可视化ceph内部数据结构关系，可以清晰描述分布式存储ceph集群对数据的抽象，可以直观展示给相关大数据分析人员，降低了沟通的时间成本，提高了跨领域的工作效率，同时也提高大数据分析人员对于数据的理解和分析。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例提供的一种可视化ceph内部数据结构映射关系的系统原理示意图；图2是根据本申请实施例提供的一种可视化ceph内部数据结构映射关系的方法流程图；图3是根据本申请实施例提供的数据获本文档来自技高网...

【技术保护点】
1.一种可视化ceph内部数据结构映射关系的系统，其特征在于，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；/n所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据分析模块、所述数据库相连接；/n所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；/n所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；/n所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；/n所述数据库，用于保存所述待分析数据以及所述映射表；/n所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。/n...

【技术特征摘要】
1.一种可视化ceph内部数据结构映射关系的系统，其特征在于，包括：数据代理模块、数据服务器、数据分析模块、数据库、数据可视化模块；
所述数据代理模块与所述数据服务器相连接，所述数据服务器分别与数据代理模块、所述数据分析模块、数据库相连接，所述数据分析模块分别与所述数据库、所述数据可视化模块相连接，所述数据可视化模块与所述数据分析模块、所述数据库相连接；
所述数据代理模块，用于接收所述数据服务器传递过来的获取数据的请求，并根据所在主机的情况发送需要获取的数据；
所述数据服务器，用于发送获取数据的请求到所述数据代理模块，并将从所述数据代理模块接收到的需要获取的数据发送到所述数据库，同时发送第一通知给所述数据分析模块；
所述数据分析模块，用于接收所述数据服务器的所述第一通知，从所述数据库中调取所述需要获取的数据，作为待分析的数据，基于ceph数据结构映射方法对所述待分析的数据进行数据分析，得到ceph内部数据结构映射表，并将所述映射表写入数据库，同时发送第二通知给所述数据可视化模块；
所述数据库，用于保存所述待分析数据以及所述映射表；
所述数据可视化模块，用于接收所述数据分析模块传递过来的第二通知，并从所述数据库中调取所述映射表，并以可视化形式显示出来。


2.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述所在主机的情况，包括：CPU、内存或IO负载情况，如果所在的主机的CPU、内存、IO负载一个或多个高于设定阈值，则所述数据代理模块发送中断数据获取阶段的指令，告知所述数据服务器延迟获取数据。


3.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据代理模块部署在ceph集群其中的一台主机上面，同时配置所述数据服务器模块的IP、端口号和拉取数据信息的方式。


4.如权利要求1述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据服务器，依据所述数据代理模块配置的IP，主动连接所述数据代理模块，连接成功后，发送所述获取数据的请求到所述数据代理模块。


5.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，所述数据代理模块，需要所述数据服务器进行鉴权确认，即所述数据代理模块是否有权限发送所述需要获取的数据。


6.如权利要求1所述的可视化ceph内部数据结构映射关系的系统，其特征在于，...

【专利技术属性】
技术研发人员：傅治宇，黄启功，王磊，
申请(专利权)人：北京云思畅想科技有限公司，
类型：发明
国别省市：北京;11