一种面向大数据平台的分布式管理方法及系统技术方案

本发明专利技术公开了一种面向大数据平台的分布式管理方法及系统，应用于数据处理技术领域，该方法包括：通过获取分布式存储模块中的存储数据信息，并提取存储数据信息中的共享数据信息.获取预设数据搜索类型中的第一搜索类型，并将第一搜索类型在共享数据信息中进行遍历，得到第一搜索目标。基于第一搜索目标对共享数据信息进行组合封装，得到共享封装数据组，并将共享封装数据组存储至数字中台模块。接收用户端发来的目标搜索数据类型，将目标搜索数据类型在数字中台模块中的共享封装数据组中进行遍历，得到目标遍历结果。将目标遍历结果发送至用户端。解决了现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
一种面向大数据平台的分布式管理方法及系统


[0001]本专利技术涉及数据处理领域，尤其涉及一种面向大数据平台的分布式管理方法及系统。

技术介绍

[0002]大数据平台是一种内容共享、资源共用、数据共通的网络平台，在大数据平台中需要存储大量的数据。然而，在现有技术中大数据平台的数据存储结构混乱，在对大数据平台进行数据检索时需要遍历大量的无用信息，从而导致用户数据查询效率低，查询时间长的问题。
[0003]因此，在现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。

技术实现思路

[0004]本申请通过提供一种面向大数据平台的分布式管理方法及系统，解决了在现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。
[0005]本申请提供一种面向大数据平台的分布式管理方法，应用于平台端，所述分布式管理方法应用于分布式管理系统，所述分布式管理系统包括分布式存储模块、数字中台模块，所述分布式管理方法包括：获取分布式存储模块中的存储数据信息，并提取所述存储数据信息中的共享数据信息；获取预设数据搜索类型中的第一搜索类型，并将所述第一搜索类型在所述共享数据信息中进行遍历，得到第一搜索目标；基于所述第一搜索目标对所述共享数据信息进行组合封装，得到共享封装数据组，并将所述共享封装数据组存储至数字中台模块；以及接收用户端发来的目标搜索数据类型；将所述目标搜索数据类型在所述数字中台模块中的所述共享封装数据组中进行遍历，得到目标遍历结果；将所述目标遍历结果发送至所述用户端。
[0006]本申请还提供了一种面向大数据平台的分布式管理系统，所述系统包括：共享数据信息获取模块，用于获取分布式存储模块中的存储数据信息，并提取所述存储数据信息中的共享数据信息；第一搜索目标获取模块，用于获取预设数据搜索类型中的第一搜索类型，并将所述第一搜索类型在所述共享数据信息中进行遍历，得到第一搜索目标；共享封装模块，用于基于所述第一搜索目标对所述共享数据信息进行组合封装，得到共享封装数据组，并将所述共享封装数据组存储至数字中台模块；以及搜索数据类型获取模块，用于接收用户端发来的目标搜索数据类型；数据遍历模块，用于将所述目标搜索数据类型在所述数字中台模块中的所述共享封装数据组中进行遍历，得到目标遍历结果；数据发送模块，用于将所述目标遍历结果发送至所述用户端。
[0007]本申请还提供了一种电子设备，包括：
[0008]存储器，用于存储可执行指令；
[0009]处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的
一种面向大数据平台的分布式管理方法。
[0010]本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时,实现本申请实施例提供的一种面向大数据平台的分布式管理方法。
[0011]拟通过本申请提出的一种面向大数据平台的分布式管理方法及系统，通过获取分布式存储模块中的存储数据信息，并提取存储数据信息中的共享数据信息.获取预设数据搜索类型中的第一搜索类型，并将第一搜索类型在共享数据信息中进行遍历，得到第一搜索目标。基于第一搜索目标对共享数据信息进行组合封装，得到共享封装数据组，并将共享封装数据组存储至数字中台模块。接收用户端发来的目标搜索数据类型，将目标搜索数据类型在数字中台模块中的共享封装数据组中进行遍历，得到目标遍历结果。将目标遍历结果发送至用户端。通过对数据进行组合封装，并构建数字中台模块，从而实现根据用户的实际查询类别快速获取对应的数据组。实现了对数据的快速准确查询，提高了用户在大数据平台查询的效率，减少了用户的数据查询时间。解决了现有技术中存在用户在大数据平台进行数据查询的效率较低，查询时间长的技术问题。
[0012]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0013]为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地，下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
[0014]图1为本申请实施例提供的一种面向大数据平台的分布式管理方法的流程示意图；
[0015]图2为本申请实施例提供的一种面向大数据平台的分布式管理方法获取共享数据信息的流程示意图；
[0016]图3为本申请实施例提供的一种面向大数据平台的分布式管理方法建立智能索引架构的流程示意图；
[0017]图4为本申请实施例提供的一种面向大数据平台的分布式管理方法的系统的结构示意图；
[0018]图5为本专利技术实施例提供的一种面向大数据平台的分布式管理方法的系统电子设备的结构示意图。
[0019]附图标记说明：共享数据信息获取模块11，第一搜索目标获取模块12，共享封装模块13，搜索数据类型获取模块14，数据遍历模块15，数据发送模块16，检测数据集获取模块17，处理器31，存储器32，输入装置33，输出装置34。
具体实施方式
[0020]实施例一
[0021]为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有
做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
[0022]在以下的描述中，涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
[0023]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0024]除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的。
[0025]虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上，所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
[0026]本申请中使用了流程图来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
[0027]如图1所示，本申请实施例提供了一种面向大数据平台的分布式管理方法，所述方法应用于平台端，所述分布式管理方法应用于分布式管理系统，所述分布式管理系统包括分布式存储模块、数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向大数据平台的分布式管理方法，应用于平台端，其特征在于，所述分布式管理方法应用于分布式管理系统，所述分布式管理系统包括分布式存储模块、数字中台模块，所述分布式管理方法包括：获取分布式存储模块中的存储数据信息，并提取所述存储数据信息中的共享数据信息；获取预设数据搜索类型中的第一搜索类型，并将所述第一搜索类型在所述共享数据信息中进行遍历，得到第一搜索目标；基于所述第一搜索目标对所述共享数据信息进行组合封装，得到共享封装数据组，并将所述共享封装数据组存储至数字中台模块；以及接收用户端发来的目标搜索数据类型；将所述目标搜索数据类型在所述数字中台模块中的所述共享封装数据组中进行遍历，得到目标遍历结果；将所述目标遍历结果发送至所述用户端。2.根据权利要求1所述分布式管理方法，其特征在于，所述提取所述存储数据信息中的共享数据信息，包括：所述存储数据信息包括文本信息、图片信息、数值信息；依次对所述文本信息、所述图片信息和所述数值信息中的共享数据进行标记，分别得到共享文本信息、共享图片信息、共享数值信息；加和所述共享文本信息、所述共享图片信息和所述共享数值信息，得到所述共享数据信息。3.根据权利要求2所述分布式管理方法，其特征在于，在所述得到所述共享数据信息之后，还包括：剔除所述存储数据信息中的所述共享数据信息，得到非共享数据信息；获取预设加密方案，并根据所述预设加密方案对所述非共享数据信息进行加密处理。4.根据权利要求1所述分布式管理方法，其特征在于，在将所述共享封装数据组存储至数字中台模块之后，还包括：所述第一搜索目标与所述第一搜索类型具备第一映射关系，并根据所述第一映射关系得到第一封装数据组；获取所述第一搜索类型的第一小类，并结合所述第一封装数据组得到所述第一小类的第一数据小组；其中，所述第一小类与所述第一数据小组具备第二映射关系；根据所述第一映射关系与所述第二映射关系建立智能索引架构，并将所述智能索引架构存储至所述数字中台模块。5.根据权利要求3所述分布式管理方法，应用于用户端，其特征在于，包括：采集目标用户的所述目标搜索数据类型；判断所述目标搜索数据...

【专利技术属性】
技术研发人员：范红铭，聂东亮，陈方平，熊杰，曾杰，张运荣，
申请(专利权)人：江西软件职业技术大学，
类型：发明
国别省市：