【技术实现步骤摘要】
本专利技术涉及权限控制，尤其涉及一种基于hivemetastore的权限控制方法。
技术介绍
1、现有技术中，hive是基于hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以查询、分析、存储在hadoop中的大规模数据的机制。hivemetastore和hiveserver2是hive中两个不同的组件，它们在hive的体系结构中扮演着不同的角色，但它们之间有一定的关系。hivemetastore是hive的元数据存储和管理组件。hivemetastore负责管理hive中的表、分区、列的属性等元数据信息。h iveserver2是hive的服务接口，用于提供远程客户端对hive的访问。允许客户端使用不同的编程语言(如java、python)通过thrift接口与hive进行通信。此外还有两种客户端h ive-c l i与bee l ine。hive-c l i是通过metastore访问元数据的，beeline将sql提交给hiveserver2，由hiveserver2编译，然后访问metastore，提交作业。
2、目前针对hive的权限控制技术包括ranger和sentry等都是在hiveserver2端来校验用户权限，从而达到权限控制的目的，但是如果用户使用的h ive-c l i提交作业，这种方式不通过hiveserver2，直接与metastore进行交互，这样就没有办法对用户的权限进行控制。
3、中国专利公开号：cn111046447a公开了一种权限控制方法和权限控制
技术实现思路
1、为此，本专利技术提供一种基于hivemetastore的权限控制方法，用以克服现有技术中由于在某一时间段需要同步的数据的数据量比较大，导致数据同步发生延迟，导致数据同步不完整，进而导致权限的配置出现错误，导致权限通过的数量减少从而造成权限控制的全面性下降的问题。
2、为实现上述目的，本专利技术提供一种基于hivemetastore的权限控制方法，包括以下步骤：将hivemetastore中的元数据信息提交到hiveserver2中以输出优化数据，将所述优化数据输入到权限校验插件中与策略文件进行匹配验证；当所述匹配验证通过时将对应的元数据信息返回至输入端；获取若干验证周期内权限验证的验证通过次数；基于权限验证的验证通过次数的方差对权限控制的全面性进行判定；若判定所述全面性不符合要求，则对权限校验插件的并发同步连接数量进行调节或执行对策略文件匹配的稳定性的确定过程；若确定所述稳定性不符合要求，则对策略文件的缓存刷新频率进行调节或基于平均权限验证时长对权限校验插件单次批处理的数据量进行初次调节；基于初次调节后的单次批处理的数据量对优化数据进行单个周期的批处理后获取若干提交周期内hiveserver2的吞吐量；基于hiveserver2的平均吞吐量对权限校验插件单次批处理的数据量进行二次调节。
3、进一步地，调节所述权限校验插件的并发同步连接数量的步骤包括：
4、基于权限验证的验证通过次数的方差判定权限控制的全面性；
5、若所述权限验证的验证通过次数的方差满足第一方差条件或第二方差条件，则判定权限控制的全面性不符合要求；
6、若所述权限验证的验证通过次数的方差仅满足所述第二方差条件，对权限校验插件的并发同步连接数量进行增大；
7、其中，所述第一方差条件为，权限验证的验证通过次数的方差大于预设第一方差且小于等于预设第二方差；所述第二方差条件为，权限验证的验证通过次数的方差大于预设第二方差。
8、进一步地，确定所述策略文件匹配的稳定性的过程包括：所述权限验证的验证通过次数的方差仅满足所述第一方差条件时，初步判定策略文件匹配的稳定性不符合要求，并根据验证权限的平均通过量对策略文件匹配的稳定性进行二次判定。
9、进一步地，所述权限校验插件的并发同步连接数量的增大幅度通过权限验证的验证通过次数的方差与预设第二方差的差值确定。
10、进一步地，调节所述策略文件的缓存刷新频率的步骤包括：
11、获取若干权限校验周期内验证权限的通过量，并对验证权限的平均通过量进行计算；
12、将所述验证权限的平均通过量分别与预设第一通过量和预设第二通过量进行对比；
13、若所述验证权限的平均通过量大于所述预设第一通过量，则二次判定策略文件匹配的稳定性不符合要求；
14、若所述验证权限的平均通过量大于所述预设第一通过量且小于等于预设第二通过量，对策略文件的缓存刷新频率进行增大；
15、若所述验证权限的平均通过量大于所述预设第二通过量，初步判定优化数据的存储有效性不符合要求，并根据平均权限验证时长对优化数据的存储有效性进行二次判定；
16、其中，所述策略文件的缓存刷新频率的增大幅度通过验证权限的平均通过量与预设第一通过量的差值确定。
17、进一步地，所述验证权限的平均通过量的计算公式为：
18、
19、其中，z为验证权限的平均通过量，xa为第a个权限校验周期内通过权限验证的用户的数量，n为权限校验周期的数量，n为大于等于1的自然数。
20、进一步地，初次调节所述权限校验插件单次批处理的数据量的步骤包括：
21、基于所述平均权限验证时长二次判定优化数据的存储有效性；
22、若所述平均权限验证时长大于预设验证时长，则二次判定优化数据的存储有效性不符合要求，并对权限校验插件单次批处理的数据量进行减小。
23、进一步地，所述权限校验插件单次批处理的数据量的减小幅度通过平均权限验证时长与预设验证时长的差值确定。
24、进一步地，二次调节所述权限校验插件单次批处理的数据量的步骤包括：
25、获取若干提交周期内hiveserver2的吞吐量，并对hiveserver2的平均吞吐量进行计算；
26、将所述hiveserver2的平均吞吐量与预设吞吐量进行对比；
27、若所述hiveserver2的平均吞吐量大于本文档来自技高网...
【技术保护点】
1.一种基于HiveMetaStore的权限控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于HiveMetaStore的权限控制方法，其特征在于，调节所述权限校验插件的并发同步连接数量的步骤包括：
3.根据权利要求2所述的基于HiveMetaStore的权限控制方法，其特征在于，确定所述策略文件匹配的稳定性的过程包括：所述权限验证的验证通过次数的方差仅满足所述第一方差条件时，初步判定策略文件匹配的稳定性不符合要求，并根据验证权限的平均通过量对策略文件匹配的稳定性进行二次判定。
4.根据权利要求3所述的基于HiveMetaStore的权限控制方法，其特征在于，所述权限校验插件的并发同步连接数量的增大幅度通过权限验证的验证通过次数的方差与预设第二方差的差值确定。
5.根据权利要求4所述的基于HiveMetaStore的权限控制方法，其特征在于，调节所述策略文件的缓存刷新频率的步骤包括：
6.根据权利要求5所述的基于HiveMetaStore的权限控制方法，其特征在于，所述验证权限的平均通过量的计算公式为：<...
【技术特征摘要】
1.一种基于hivemetastore的权限控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于hivemetastore的权限控制方法，其特征在于，调节所述权限校验插件的并发同步连接数量的步骤包括：
3.根据权利要求2所述的基于hivemetastore的权限控制方法，其特征在于，确定所述策略文件匹配的稳定性的过程包括：所述权限验证的验证通过次数的方差仅满足所述第一方差条件时，初步判定策略文件匹配的稳定性不符合要求，并根据验证权限的平均通过量对策略文件匹配的稳定性进行二次判定。
4.根据权利要求3所述的基于hivemetastore的权限控制方法，其特征在于，所述权限校验插件的并发同步连接数量的增大幅度通过权限验证的验证通过次数的方差与预设第二方差的差值确定。
5.根据权利要求4所述的基于hivemetastore的权限控制方法，其特征在于，调节所述策略文件的...
【专利技术属性】
技术研发人员：高海玲，高经郡，吕彦奎，
申请(专利权)人：北京科杰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。