数据存储方法及装置制造方法及图纸

本申请公开了一种数据存储方法及装置，能够在集群开启高可用的情况下，正常地进行数据存储。本申请应用于集群系统的管理端，其具体方案为：首先获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点，并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；然后在需要存储数据的情况下，接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，再根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址，最后根据所述访问地址存储数据。

Data Storage Method and Device

【技术实现步骤摘要】
数据存储方法及装置
本申请涉及数据存储
，具体而言，涉及一种数据存储方法及装置。
技术介绍
在HDFS(HadoopDistributedFileSystem，分布式文件存储系统)集群中，当集群中没有开启HA时，Hive表存储数据文件的路径为“hdfs://{NameNode主机名}:8020/apps/hive/warehouse/test”，也就是说，Hive表中的存储路径即直接对应活动节点的地址。当集群中开启了HA时，集群中Hive表映射到HDFS的数据文件的路径将变成“hdfs:/{集群名}/apps/hive/warehouse/test”，也就是说，Hive表征的存储路径只能与该集群对应，此时通过Hcatalog方式操作Hive表时，便无法根据集群名获取到当前主节点的地址，也就是说，开启HA时，通过Hcatalog操作的方式无法找到正确的存储路径，这样就会导致操作Hive表时出现异常。
技术实现思路
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种数据存储方法，应用于集群系统的管理端，所述方法包括：获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；根据所述访问地址存储数据。可选地，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括：获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；根据所述识别标识获取所述服务节点的访问地址。可选地，在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前，所述方法还包括：判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点；如果存在高可用节点，则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括：获取与所述高可用节点对应的集群的集群标识；从所述高可用节点的叶子节点实时获取服务节点的识别标识。可选地，所述集群系统的管理端中配置有Zookeeper组件。可选地，所述根据所述访问地址存储数据的步骤包括：获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；判断所述访问对象是否已经存在对应的存储路径；如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；建立所述新的存储路径与所述访问对象的对应关系；根据所述访问对象将待存储数据存储至所述存储路径。本申请的另一目的在于提供一种数据存储装置，应用于集群系统的管理端，所述装置包括第一获取模块、第一存储模块、接收模块、第二获取模块、第二存储模块；所述第一获取模块用于获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；所述第一存储模块用于将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；所述接收模块用于接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；所述第二获取模块用于根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；所述第二存储模块用于根据所述访问地址存储数据。可选地，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述第一获取模块包括第一获取单元和第二获取单元；所述第一获取单元用于获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；所述第二获取单元用于根据所述识别标识获取所述服务节点的访问地址。可选地，所述装置还包括判断模块，所述判断模块用于在第一获取模块获取所述集群的集群标识以及所述服务节点的识别标识前，判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点，以及在存在高可用节点时，使第一获取单元执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；所述第一获取单元具体用于：获取与所述高可用节点对应的集群的集群标识；从所述高可用节点的叶子节点实时获取服务节点的识别标识。可选地，所述集群系统的管理端中配置有Zookeeper组件。可选地，所述第二获取模块具体用于：获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；判断所述访问对象是否已经存在对应的存储路径；如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；建立所述新的存储路径与所述访问对象的对应关系；根据所述访问对象将待存储数据存储至所述存储路径。相对于现有技术而言，本申请具有以下有益效果：本申请实施例中，通过集群系统的管理端来管理集群，监控集群中的服务节点，然后将服务节点与集群的对应关系存储至虚拟解析服务器中，当需要向目标集群中存储数据时，便可以根据目标集群的集群标识获得与该集群标识对应的访问地址，从而实现数据存储的目的。由于本申请实施例中建立了集群与服务节点的对应关系，因此，本实施例能够在集群开启高可用的情况下，获得服务节点的访问地址，这样，就能够根据服务节点的访问地址进行数据存储，从而保证了向集群中存储数据的过程能够正常进行。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是本申请实施例提供的集群系统的架构示意图；图2是本申请实施例提供的管理设备的结构示意框图；图3是本申请实施例提供的数据存储方法的流程示意图一；图4是本申请实施例提供的数据存储方法的流程示意图二；图5是本申请实施例提供的数据存储方法的流程示意图三；图6是本申请实施例提供的数据存储方法的流程示意图四；图7是本申请实施例提供的数据存储方法的流程示意图五；图8是本申请实施例提供的数据存储装置的流程示意图一；图9是本申请实施例提供的数据存储装置的流程示意图二。图标：100-管理设备；110-数据存储装置；111-第一获取模块；1111-第一获取单元；1112-第二获取单元；112-第一存储模块；113-接收模块；114-第二获取模块；115-第二存储模块；116-判断模块；120-存储器；130-处理器。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，应用于集群系统的管理端，所述方法包括：获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；根据所述访问地址存储数据。

【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于集群系统的管理端，所述方法包括：获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；根据所述访问地址存储数据。2.根据权利要求1所述的方法，其特征在于，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括：获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；根据所述识别标识获取所述服务节点的访问地址。3.根据权利要求2所述的方法，其特征在于，在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前，所述方法还包括：判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点；如果存在高可用节点，则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括：获取与所述高可用节点对应的集群的集群标识；从所述高可用节点的叶子节点实时获取服务节点的识别标识。4.根据权利要求1所述的方法，其特征在于，所述集群系统的管理端中配置有Zookeeper组件。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述访问地址存储数据的步骤包括：获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；判断所述访问对象是否已经存在对应的存储路径；如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；建立所述新的存储路径与所述访问对象的对应关系；根据所述访问对象将待存储数据存储至所述存储路径。6.一种数据存储装置，其特征在于，应用于集群系统的管理端，所述装置包括第一获取模块、第...

【专利技术属性】
技术研发人员：张永飞，贾金元，杨尧，王诗强，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51