System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种针对无规律增长的数字进行均匀分组的策略制造技术_技高网

一种针对无规律增长的数字进行均匀分组的策略制造技术

技术编号:41531220 阅读:3 留言:0更新日期:2024-06-03 23:07
本发明专利技术涉及数据分组领域,尤其涉及一种针对无规律增长的数字进行均匀分组的策略,本发明专利技术通过步骤S1,获取无规律增长的整型数组,并随机提取所述整型数组中的子数组,步骤S2,根据所述子数组的最大值以及最小值确定缩放系数,步骤S3,重复执行步骤S1至步骤S2得到若干缩放系数并计算缩放系数均值,步骤S4,根据所述缩放系数均值对所述整型数组进行分组,本发明专利技术通过上述步骤,使得分布式计算引擎读取关系数据库表中数据时,为了避免数据倾斜的情况,对表中的主键进行合理均匀的分组。

【技术实现步骤摘要】

本专利技术涉及数据分组领域,尤其涉及一种针对无规律增长的数字进行均匀分组的策略


技术介绍

1、数据库表是数据库中用于存储数据的一种结构,用于组织和管理数据,提供数据的持久化存储和高效的查询功能,对数据库表进行查询时,分组可以将数据按照某个字段进行分类和汇总。

2、例如,中国专利公开号:cn111061738a,公开了一种数据表预分组方法、装置、设备及存储介质,涉及数据处理
该方法包括:根据分组指令和逻辑主键值,在所述预设表中获取对应的数据;根据获取的数据,建立目标数据表。相对于现有技术,避免了预设表的数据量非常大时,对预设表进行均匀合适的分组,需要进行大量的分析工作的问题。

3、例如,中国专利公开号:cn103838574a,一种对数据表进行分组汇总的通用方法,包括如下步骤:s10:提供按条件合并数据表的功能函数;s11:提供对数据表进行分组汇总的功能函数;s12:提供过滤数据表中的重复行的功能函数;s13:将上述函数封装成一组函数。该专利技术对datatab le的处理封装成一组函数,对外只提供一个简单的函数接口,当需要执行同样的操作时,直接调用即可,方便开发人员进行数据表分组汇总处理,提高处理效率,不需要再额外编写处理逻辑。

4、可见,现有技术中还存在以下问题,

5、分布式计算引擎读取关系数据库表中数据时,容易产生避免数据倾斜的情况。


技术实现思路

1、为此,本专利技术提供一种针对无规律增长的数字进行均匀分组的策略,用以克服现有技术中分布式计算引擎读取关系数据库表中数据时,容易产生避免数据倾斜的情况的问题。

2、为实现上述目的,本专利技术提供一种针对无规律增长的数字进行均匀分组的策略,其包括:

3、步骤s1,获取无规律增长的整型数组,并随机提取所述整型数组中的子数组;

4、步骤s2,根据所述子数组的最大值以及最小值确定缩放系数;

5、步骤s3,重复执行步骤s1至步骤s2得到若干缩放系数并计算缩放系数均值;

6、步骤s4,根据所述缩放系数均值对所述整型数组进行分组。

7、进一步地,所需提取子数组的位数为预先设定所得。

8、进一步地,所述步骤s2中,所述缩放系数按照公式(1)计算,

9、sf=(max-min)/n (1)

10、公式(1)中,sf表示缩放系数,max表示子数组中的最大值,min表示子数组中的最小值,n表示子数组的位数。

11、进一步地,所述步骤s3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。

12、进一步地,所述步骤s3中,缩放系数均值根据公式(2)计算,

13、

14、公式(2)中,sfi表示第i个缩放系数,m表示缩放系数的个数,i为大于0的整数。

15、进一步地,所述步骤s4中,根据所述缩放系数均值确定若干分组区间,各所述分组范围的上限与下限基于所述缩放系数均值确定。

16、进一步地,所述步骤s4中,分组区间的下限按照公式(3)确定,

17、d1i=l/t×δsf×i (3)

18、公式(3)中,d1 i表示第i各分组区间的下限,l表示整型数组的位数,t表示分组数量,i为大于0的整数。

19、进一步地,所述步骤s4中,分组区间的上限按照公式(4)确定,

20、d2i=l/t×δsf× (i+1) (3)

21、公式(4)中,d2i表示分组区间的上限。

22、进一步地,所述步骤s4中,按照顺序逐个调用分组区间,并识别所述整型数组属于所述分组区间内的数字,将所识别数字划分为一组。

23、进一步地,所需分组数量为预先设定所得。

24、与现有技术相比,本专利技术通过步骤s1,获取无规律增长的整型数组,并随机提取所述整型数组中的子数组,步骤s2,根据所述子数组的最大值以及最小值确定缩放系数,步骤s3,重复执行步骤s1至步骤s2得到若干缩放系数并计算缩放系数均值,步骤s4,根据所述缩放系数均值对所述整型数组进行分组,本专利技术通过上述步骤,使得分布式计算引擎读取关系数据库表中数据时,为了避免数据倾斜的情况,对表中的主键进行合理均匀的分组。

本文档来自技高网...

【技术保护点】

1.一种针对无规律增长的数字进行均匀分组的策略,其特征在于,包括:

2.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所需提取子数组的位数为预先设定所得。

3.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S2中,所述缩放系数按照公式(1)计算,

4.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。

5.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S3中,缩放系数均值根据公式(2)计算,

6.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,根据所述缩放系数均值确定若干分组区间,各所述分组范围的上限与下限基于所述缩放系数均值确定。

7.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,分组区间的下限按照公式(3)确定,</p>

8.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,分组区间的上限按照公式(4)确定,

9.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,按照顺序逐个调用分组区间,并识别所述整型数组属于所述分组区间内的数字,将所识别数字划分为一组。

10.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所需分组数量为预先设定所得。

...

【技术特征摘要】

1.一种针对无规律增长的数字进行均匀分组的策略,其特征在于,包括:

2.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所需提取子数组的位数为预先设定所得。

3.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s2中,所述缩放系数按照公式(1)计算,

4.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。

5.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s3中,缩放系数均值根据公式(2)计算,

6.根据权利要求1所述的针对无规律增长的数字进行均匀分组...

【专利技术属性】
技术研发人员:高海玲高经郡王猛
申请(专利权)人:北京科杰科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1