【技术实现步骤摘要】
本申请涉及计算机领域，具体而言，涉及一种数据处理方法和装置、存储介质及电子设备。
技术介绍
1、目前，在统计推断中，bootstrap过程是一种非参数的重抽样方法，用于估计统计量的分布、标准差以及置信区间。该方法的基本思想是通过从原始样本中有放回地抽取大量的自助样本（bootstrap样本），然后基于这些自助样本进行统计推断。常规bootstrap过程一般基于spark计算框架实现，通过spark计算框架对分布式数据进行有放回抽样的过程可以理解为使用了近似算法，对每个样本独立地产生一个泊松分布的随机数，来确定这个样本在结果中出现的次数。由于spark计算框架的算法结果是近似的，存在一定误差，而且抽样结果的样本个数无法精确指定，例如，期望精确地抽样m个样本，spark的抽样结果大概率不是精确的m个，而是在m附近的一个随机值，因此，会造成抽样数据的处理结果不够准确，导致抽样数据的处理效率较低的技术问题。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种数据处理方法和装置、存储介质及电子设备，以至少解决由于抽样结果的样本个数不够准确，导致抽样数据的处理效率较低的技术问题。
2、根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取待处理的初始样本数量、需要抽取的初始采样数量和预先确定执行抽样的一组分布式设备的设备数量；根据所述初始样本数量、所述初始采样数量和所述设备数量确定为目标分布式设备分配的目标样本数量和目标采
3、根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取待处理的初始样本数量、需要抽取的初始采样数量和预先确定执行抽样的一组分布式设备的设备数量；分配模块，用于根据所述初始样本数量、所述初始采样数量和所述设备数量确定为目标分布式设备分配的目标样本数量和目标采样数量，其中，所述目标样本数量表示所述目标分布式设备上待参与采样的样本数量，所述目标采样数量表示所述目标分布式设备上需要采样出的采样数量；采样模块，用于根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果，其中，所述多批次采样包括从所述目标样本数量开始，依据所述目标分布式设备的采样能力逐批次划分出每个批次待参与采样的样本数量，并从所述目标采样数量开始逐批次随机采样得到每个批次需要采样出的采样数量，对所述每个批次待参与采样的样本数量按照所述每个批次需要采样出的采样数量进行采样，得到各个批次对应的采样结果，将各个批次对应的采样结果合并得到所述目标分布式采样结果；合并模块，用于将所述一组分布式设备对应的一组所述目标分布式采样结果进行合并，确定目标采样结果，其中，所述目标采样结果表示对所述初始样本数量按照所述初始采样数量采样的采样结果。
4、可选地，所述装置用于通过如下方式根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果：从所述目标样本数量开始，依据所述目标分布式设备的采样能力逐批次划分出每一批次对应的当前样本数量和剩余样本数量，其中，所述剩余样本数量用于确定下一批次对应的所述当前样本数量；从所述目标采样数量开始逐批次随机采样，得到每一批次对应的当前采样数量和剩余采样数量，其中，所述剩余采样数量用于确定下一批次对应的所述当前采样数量；对所述当前样本数量按照所述当前采样数量进行采样，得到当前采样结果；将各个批次对应的所述当前采样结果合并，得到所述目标分布式采样结果。
5、可选地，所述装置还用于：在所述目标分布式设备包括一个线程的情况下，控制所述一个线程从所述目标样本数量开始，依据所述目标分布式设备的采样能力逐批次划分出每一批次对应的当前样本数量和剩余样本数量，并从所述目标采样数量开始逐批次随机采样，得到每一批次对应的当前采样数量和剩余采样数量；在所述目标分布式设备包括多个线程的情况下，控制所述多个线程交替从所述目标样本数量开始，依据所述目标分布式设备的采样能力逐批次划分出每一批次对应的当前样本数量和剩余样本数量，并从所述目标采样数量开始逐批次进行随机采样，得到每一批次对应的当前采样数量和剩余采样数量，其中，每一批次下，允许一个空闲线程依据所述目标分布式设备的采样能力划分出每一批次对应的当前样本数量和剩余样本数量，并进行随机采样得到每一批次对应的当前采样数量和剩余采样数量。
6、可选地，所述装置用于通过如下方式从所述目标采样数量开始逐批次随机采样，得到每一批次对应的当前采样数量和剩余采样数量：从所述目标采样数量开始逐批次有放回的随机采样，得到所述当前采样数量和所述剩余采样数量；或者从所述目标采样数量开始逐批次无放回的随机采样，得到所述当前采样数量和剩余采样数量。
7、可选地，所述装置用于通过如下方式根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果：在所述多批次采样包括j批次采样的情况下，将第a-1批次剩余样本数量划分为第a批次样本数量和第a批次剩余样本数量，其中，a为大于或等于2的正整数，a=2时，所述第a-1批次剩余样本数量为所述目标样本数量，所述第a-1批次剩余采样数量为所述目标采样数量，j为大于或等于a的正整数；利用随机数从第a-1批次剩余采样数量中采样出第a批次采样数量和第a批次剩余采样数量；从第a批次样本数量中按照第a批次采样数量进行采样，得到第a批次采样结果；在第j-1批次剩余样本数量满足第一预设条件或第j批次剩余采样数量满足第二预设条件的情况下，根据j批次采样结果确定所述目标分布式采样结果。
8、可选地，所述装置还用于：在所述目标分布式设备包括一个空闲线程的情况下，控制所述一个空闲线程逐批次执行所述j批次采样；在所述目标分布式设备包括多个空闲线程的情况下，控制第一空闲线程将第b-1批次剩余样本数量划分为第b批次样本数量和第b批次剩余样本数量，利用随机数从第b-1批次剩余采样数量中采样出第b批次采样数量和第b批次剩余采样数量，其中，b为大于或等于2的正整数，b=2时，所述第b-1批次剩余样本数量为本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述从所述目标采样数量开始逐批次随机采样，得到每一批次对应的当前采样数量和剩余采样数量，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述在第j-1批次剩余样本数量满足第一预设条件或第j批次剩余采样数量满足第二预设条件的情况下，根据j批次采样结果确定所述目标分布式采样结果，包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于
10.根据权利要求1所述的方法，其特征在于，所述根据所述初始样本数量、所述初始采样数量和所述设备数量确定为目标分布式设备分配的目标样本数量和目标采样数量，包括：
11.根据权利要求10所述的方法，其特征在于，所述根据所述初始样本数量和所述设备数量确定所述目标样本数量，包括：
12.根据权利要求10所述的方法，其特征在于，所述从所述一组分布式设备中每次抽取任一个分布式设备，抽取次数为所述初始采样数量，将抽取到所述目标分布式设备的次数确定为所述目标采样数量，包括：
13.一种数据处理装置，其特征在于，包括：
14.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的计算机程序，其中，所述计算机程序可被电子设备运行时执行所述权利要求1至12任一项中所述的方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至12任一项中所述方法的步骤。
16.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述从所述目标采样数量开始逐批次随机采样，得到每一批次对应的当前采样数量和剩余采样数量，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标样本数量、所述目标采样数量在所述目标分布式设备上进行多批次采样，确定目标分布式采样结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，所述在第j-1批次剩余样本数量满足第一预设条件或第j批次剩余采样数量满足第二预设条件的情况下，根据j批次采样结果确定所述目标分布式采样结果，包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述根据第c行对应的第一时间复杂度和第二时间复杂度的比较关系执行第c+1行采样，直到确定出d个采样结果，将所述d...
【专利技术属性】
技术研发人员：熊涛，白旭东，张婧婧，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。