【技术实现步骤摘要】
本专利技术涉及大数据领域，特别涉及一种前置资源管理方法、装置、设备及存储介质。
技术介绍
1、企业众多部门使用第三方报表软件通过大数据集群查询数据过程中，需要基于部门进行资源管理和限制。第三方软件(smartbi，tableau，帆软)使用sql(structured querylanguage，结构化查询语言)形式请求大数据集群做差异化资源场景资源往往很难管理，因为第三方软件是闭源的，无法在客户端处理；大数据端考虑稳定性，不允许随意做侵入式变更。目前如果需要做大数据hive sql或者spark sql的管理，大多数方案是通过在客户端进行改造，将其提交到大数据集群之前先进行前置资源和效率检查，但是当客户端为第三方软件无法改造时，该方案就不可行；或者在大数据集群端进行改造，增加拦截器，当获取到提交的sql时先进行差异化资源校验。但是大数据集群稳定性要求较高，不允许轻易侵入式改造；而且针对于服务端的改造耦合性太强，将对所有请求都产生效果，这也是生产场景不能接受的；或者在sql运行中进行资源检查和拦截，但此时sql程序已经实际运行，对内存、io(input/output，输入/输出接口)等资源都有占用，达不到事前差异化资源管理的效果，同时也无法保证特殊场景下重要任务有足够资源执行，因此，如何进行sql的前置资源控制是本领域有待解决的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种前置资源管理方法、装置、设备及存储介质，通过使用套接字服务转发的方式实现结构化查询语言部门级
2、第一方面，本申请提供了一种前置资源管理方法，包括：
3、获取第三方软件发起的数据查询请求，并根据所述数据查询请求配置套接字服务的地址；所述数据查询请求为基于结构化查询语言构建的查询请求；
4、基于所述地址通过所述套接字服务的客户端将所述数据查询请求转发至预设数据解析服务进行解析，得到所述数据查询请求中的用户信息和当前结构化查询语言；
5、通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件，并在所述数据查询请求满足所述预设放行条件时，通过所述套接字服务的所述客户端将所述数据查询请求转发至所述套接字服务的服务端；
6、通过所述套接字服务的所述服务端将所述数据查询请求转发至大数据集群，以便通过所述大数据集群的大数据集群服务处理所述数据查询请求。
7、可选的，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之后，还包括：
8、若所述数据查询请求不满足所述预设放行条件，则拦截所述数据查询请求，并确定所述数据查询请求的拦截原因；
9、利用预设消息中心服务根据所述用户信息将所述拦截原因发送至所述第三方软件。
10、可选的，所述将所述数据查询请求转发至预设数据解析服务进行解析，包括：
11、通过所述预设数据解析服务利用预设的正则表达式解析所述数据查询请求，以得到所述数据查询请求的所述当前结构化查询语言。
12、可选的，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之前，还包括：
13、获取所述大数据集群中执行完成的若干历史结构化查询语言，并采集所述历史结构化查询语言相关的资源占用信息；
14、根据预设标准化流程将所述历史结构化查询语言进行标准化，并基于标准化后的所述历史结构化查询语言和所述资源占用信息构建倒排索引，以根据所述倒排索引判断所述数据查询请求是否满足所述预设放行条件。
15、可选的，所述根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件，包括：
16、根据所述预设标准化流程将所述当前结构化查询语言进行标准化，并将标准化后的所述当前结构化查询语言转换为对应的词汇项集合；
17、根据所述词汇项集合和所述历史结构化查询语言的所述倒排索引确定所述历史结构化查询语言和所述当前结构化查询语言的综合相似度分数，并根据所述综合相似度分数判断所述数据查询请求是否满足所述预设放行条件。
18、可选的，所述根据所述词汇项集合和所述历史结构化查询语言的所述倒排索引确定所述历史结构化查询语言和所述当前结构化查询语言的综合相似度分数，包括：
19、根据所述倒排索引确定所述词汇项集合中每个词汇项的逆文档频率，并根据所述逆文档频率利用tf-idf方法计算每个所述词汇项对应的tf-idf值，以确定每个所述词汇项在所述历史结构化查询语言和所述当前结构化查询语言之间的相似度分数；
20、根据每个所述词汇项对应的所述tf-idf值确定对应的第一权重，并根据所述第一权重和每个所述词汇项的所述相似度分数确定所述历史结构化查询语言和所述当前结构化查询语言的所述综合相似度分数。
21、可选的，所述根据所述综合相似度分数判断所述数据查询请求是否满足所述预设放行条件，包括：
22、根据所述综合相似度分数从若干所述历史结构化查询语言中筛选出预设数量个目标历史结构化查询语言，并确定所述目标历史结构化查询语言对应的所述资源占用信息；
23、确定所述目标历史结构化查询语言的第二权重，并根据所述目标历史结构化查询语言的所述资源占用信息和所述第二权重估计所述当前结构化查询语言对应的占用资源；
24、确定当前的剩余可用资源，并计算所述占用资源和所述剩余可用资源的比值，若所述比值小于预设比值，则判定所述当前结构化查询语言对应的所述数据查询请求满足所述预设放行条件。
25、第二方面，本申请提供了一种前置资源管理装置，包括：
26、服务配置模块，用于获取第三方软件发起的数据查询请求，并根据所述数据查询请求配置套接字服务的地址；所述数据查询请求为基于结构化查询语言构建的查询请求；
27、请求解析模块，用于基于所述地址通过所述套接字服务的客户端将所述数据查询请求转发至预设数据解析服务进行解析，得到所述数据查询请求中的用户信息和当前结构化查询语言；
28、请求转发模块，用于通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件，并在所述数据查询请求满足所述预设放行条件时，通过所述套接字服务的所述客户端将所述数据查询请求转发至所述套接字服务的服务端；
29、请求处理模块，用于通过所述套接字服务的所述服务端将所述数据查询请求转发至大数据集群，以便通过所述大数据集群的大数据集群服务处理所述数据查询请求。
30、第三方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述的前置资源管理方法。<本文档来自技高网...
【技术保护点】
1.一种前置资源管理方法，其特征在于，包括：
2.根据权利要求1所述的前置资源管理方法，其特征在于，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之后，还包括：
3.根据权利要求1所述的前置资源管理方法，其特征在于，所述将所述数据查询请求转发至预设数据解析服务进行解析，包括：
4.根据权利要求1至3任一项所述的前置资源管理方法，其特征在于，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之前，还包括：
5.根据权利要求4所述的前置资源管理方法，其特征在于，所述根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件，包括：
6.根据权利要求5所述的前置资源管理方法，其特征在于，所述根据所述词汇项集合和所述历史结构化查询语言的所述倒排索引确定所述历史结构化查询语言和所述当前结构化查询语言的综合相似度分数，包括：
7.根据权利要求5所述的前置资源管理方法，其特征在于，所述根据所述综合相似度分数判断所述数据查询请
8.一种前置资源管理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的前置资源管理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的前置资源管理方法。
...【技术特征摘要】
1.一种前置资源管理方法，其特征在于，包括：
2.根据权利要求1所述的前置资源管理方法，其特征在于，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之后，还包括：
3.根据权利要求1所述的前置资源管理方法，其特征在于，所述将所述数据查询请求转发至预设数据解析服务进行解析，包括：
4.根据权利要求1至3任一项所述的前置资源管理方法，其特征在于，所述通过预设前置资源管理服务根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件之前，还包括：
5.根据权利要求4所述的前置资源管理方法，其特征在于，所述根据所述当前结构化查询语言判断所述数据查询请求是否满足预设放行条件，包括：
6.根据权利要求5所述的前...
【专利技术属性】
技术研发人员：杨晨，周锋，李杨，曹闯，孙喜锋，李响，杨得力，冯彦明，
申请(专利权)人：河南中原消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。