System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据分组领域,尤其涉及一种针对无规律增长的数字进行均匀分组的策略。
技术介绍
1、数据库表是数据库中用于存储数据的一种结构,用于组织和管理数据,提供数据的持久化存储和高效的查询功能,对数据库表进行查询时,分组可以将数据按照某个字段进行分类和汇总。
2、例如,中国专利公开号:cn111061738a,公开了一种数据表预分组方法、装置、设备及存储介质,涉及数据处理
该方法包括:根据分组指令和逻辑主键值,在所述预设表中获取对应的数据;根据获取的数据,建立目标数据表。相对于现有技术,避免了预设表的数据量非常大时,对预设表进行均匀合适的分组,需要进行大量的分析工作的问题。
3、例如,中国专利公开号:cn103838574a,一种对数据表进行分组汇总的通用方法,包括如下步骤:s10:提供按条件合并数据表的功能函数;s11:提供对数据表进行分组汇总的功能函数;s12:提供过滤数据表中的重复行的功能函数;s13:将上述函数封装成一组函数。该专利技术对datatab le的处理封装成一组函数,对外只提供一个简单的函数接口,当需要执行同样的操作时,直接调用即可,方便开发人员进行数据表分组汇总处理,提高处理效率,不需要再额外编写处理逻辑。
4、可见,现有技术中还存在以下问题,
5、分布式计算引擎读取关系数据库表中数据时,容易产生避免数据倾斜的情况。
技术实现思路
1、为此,本专利技术提供一种针对无规律增长的数字进行均匀分组的策略,用以
2、为实现上述目的,本专利技术提供一种针对无规律增长的数字进行均匀分组的策略,其包括:
3、步骤s1,获取无规律增长的整型数组,并随机提取所述整型数组中的子数组;
4、步骤s2,根据所述子数组的最大值以及最小值确定缩放系数;
5、步骤s3,重复执行步骤s1至步骤s2得到若干缩放系数并计算缩放系数均值;
6、步骤s4,根据所述缩放系数均值对所述整型数组进行分组。
7、进一步地,所需提取子数组的位数为预先设定所得。
8、进一步地,所述步骤s2中,所述缩放系数按照公式(1)计算,
9、sf=(max-min)/n (1)
10、公式(1)中,sf表示缩放系数,max表示子数组中的最大值,min表示子数组中的最小值,n表示子数组的位数。
11、进一步地,所述步骤s3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。
12、进一步地,所述步骤s3中,缩放系数均值根据公式(2)计算,
13、
14、公式(2)中,sfi表示第i个缩放系数,m表示缩放系数的个数,i为大于0的整数。
15、进一步地,所述步骤s4中,根据所述缩放系数均值确定若干分组区间,各所述分组范围的上限与下限基于所述缩放系数均值确定。
16、进一步地,所述步骤s4中,分组区间的下限按照公式(3)确定,
17、d1i=l/t×δsf×i (3)
18、公式(3)中,d1 i表示第i各分组区间的下限,l表示整型数组的位数,t表示分组数量,i为大于0的整数。
19、进一步地,所述步骤s4中,分组区间的上限按照公式(4)确定,
20、d2i=l/t×δsf× (i+1) (3)
21、公式(4)中,d2i表示分组区间的上限。
22、进一步地,所述步骤s4中,按照顺序逐个调用分组区间,并识别所述整型数组属于所述分组区间内的数字,将所识别数字划分为一组。
23、进一步地,所需分组数量为预先设定所得。
24、与现有技术相比,本专利技术通过步骤s1,获取无规律增长的整型数组,并随机提取所述整型数组中的子数组,步骤s2,根据所述子数组的最大值以及最小值确定缩放系数,步骤s3,重复执行步骤s1至步骤s2得到若干缩放系数并计算缩放系数均值,步骤s4,根据所述缩放系数均值对所述整型数组进行分组,本专利技术通过上述步骤,使得分布式计算引擎读取关系数据库表中数据时,为了避免数据倾斜的情况,对表中的主键进行合理均匀的分组。
本文档来自技高网...【技术保护点】
1.一种针对无规律增长的数字进行均匀分组的策略,其特征在于,包括:
2.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所需提取子数组的位数为预先设定所得。
3.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S2中,所述缩放系数按照公式(1)计算,
4.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。
5.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S3中,缩放系数均值根据公式(2)计算,
6.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,根据所述缩放系数均值确定若干分组区间,各所述分组范围的上限与下限基于所述缩放系数均值确定。
7.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤S4中,分组区间的下限按照公式(3)确定,<
...【技术特征摘要】
1.一种针对无规律增长的数字进行均匀分组的策略,其特征在于,包括:
2.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所需提取子数组的位数为预先设定所得。
3.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s2中,所述缩放系数按照公式(1)计算,
4.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s3中,需判定是否满足重复执行标准,所述重复执行标准为重复次数大于预定的重复次数标准阈值。
5.根据权利要求1所述的针对无规律增长的数字进行均匀分组的策略,其特征在于,所述步骤s3中,缩放系数均值根据公式(2)计算,
6.根据权利要求1所述的针对无规律增长的数字进行均匀分组...
【专利技术属性】
技术研发人员:高海玲,高经郡,王猛,
申请(专利权)人:北京科杰科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。