数据获取方法及装置制造方法及图纸

本申请公开了一种数据获取方法及装置。其中，该方法包括：接收数据获取请求，其中，数据获取请求用于请求获取目标时间段内生成的待获取数据；按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及依次获取在多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据。通过本申请，解决了相关技术中无法有效获取时间跨度较大的历史数据的技术问题。

Data acquisition method and device

The present invention discloses a data acquisition method and device. Among them, the method comprises: receiving data acquisition request, wherein the data acquisition request for requesting a desired period of time to obtain the data generated within the preset rules; according to the target segmentation of the target time, get more sub period of time; and in order to get more data, generated in a plurality of sub periods in which a period of time to obtain the data generated for a set of data. Through this application, it solves the technical problems in the related technologies which can not effectively obtain the historical data with large time span.

【技术实现步骤摘要】
数据获取方法及装置
本申请涉及互联网领域，具体而言，涉及一种数据获取方法及装置。
技术介绍
在互联网领域，经常需要从搜索引擎的媒体平台同步历史数据。例如，在互联网广告领域，进行关键字的实时竞价排名，需要每天从各大搜索引擎的媒体平台同步报表数据。但是，各个媒体平台往往对不同类型报表的请求时段以及请求报告的大小设定了不同的约束条件。例如，某搜索引擎的媒体平台要求实体报告请求的起始时间和结束时间之间的跨度不能超过一年，搜索词的报告时间跨度从起始时间到结束时间的跨度不能超过一个月等。但是，在很多情况下，需要从媒体平台一次性同步长时间跨度或者大数据量的历史数据。例如，请求客户的所有的历史报表数据全部同步过来。这时，数据的时间跨度可能非常大，从而超出了媒体平台允许的最大时间跨度。或者，需要同步的报表数据量非常大，超出了媒体平台允许的最大同步量。上述两种情况均会导致媒体平台拒绝用户的同步请求。在相关技术中，由于媒体平台会根据不同平台和不同实体(账户、推广计划、推广单元、创意、关键词等)对获取历史数据的时间跨度以及数据量大小分别进行限制，因此，用户往往只是针对不同的平台和不同的实体分别在其约束范围内同步报表数据。例如，采用日同步的模式，即同步当前时间的前一天的报表数据。当数据同步请求超出平台和实体的限制时，通常会参照不同平台和实体的限制参数调整同步时间。该方法往往只能获取有限时间段内的数据，对于时间跨度比较大的情况，系统无法自动完成，需要人工参与，也即按时间段逐批次手动同步。当请求的数据量过大时，请求会遭到拒绝。并且，由于请求同步的数据量大小在媒体端动态变化，因此无法预判(即使根据历史数据可进行粗略估计，但这种处理显得过于粗糙，准确性很差)。针对相关技术中无法有效获取时间跨度较大的历史数据的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据获取方法及装置，以至少解决相关技术中无法有效获取时间跨度较大的历史数据的技术问题。根据本申请实施例的一个方面，提供了一种数据获取方法，该方法包括：接收数据获取请求，其中，数据获取请求用于请求获取目标时间段内生成的待获取数据；按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及依次获取在多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据。进一步地，目标时间段为从第一时间点至第二时间点的时间段，第一时间点早于第二时间点，按照目标预设规则对目标时间段进行切分，得到多个子时间段包括：以第二时间点为切分起始点，以预设时间段为切分间距，对目标时间段执行切分，得到多个子时间段。进一步地，在按照目标预设规则对目标时间段进行切分之前，该方法还包括：确定目标平台的标识信息，其中，目标平台为用于提供待获取数据的平台；以及根据预设映射关系和目标平台的标识信息获取目标预设规则，其中，预设映射关系为预先建立的不同平台的标识信息与不同平台对应的预设规则之间的映射关系，不同平台对应的预设规则包括目标预设规则，不同平台包括目标平台。进一步地，在根据预设映射关系和目标平台的标识信息获取目标预设规则之前，该方法还包括：分别获取不同平台所预设的限制参数，得到多个限制参数；根据多个限制参数分别获取不同平台对应的预设规则；以及建立不同平台的标识信息与不同平台对应的预设规则之间的映射关系，得到预设映射关系。进一步地，确定目标平台的标识信息包括：检测目标平台的当前标识信息是否为预设标识信息，根据预设映射关系和目标平台的标识信息获取目标预设规则包括：如果检测出目标平台的当前标识信息为预设标识信息，则根据预设映射关系和预设标识信息获取目标预设规则。进一步地，标识信息用于唯一标识平台所预设的限制参数，如果检测出目标平台的当前标识信息不是预设标识信息，该方法还包括：判断根据目标预设规则对目标时间段进行切分是否能够获取到多个子时间段内生成的多组数据；如果判断结果为是，则不对目标预设规则执行更新；如果判断结果为否，则根据当前标识信息确定目标平台的当前限制参数；根据当前限制参数获取目标平台对应的当前预设规则；以及将预设标识信息更新为当前标识信息，以及将目标预设规则更新为当前预设规则，以建立目标平台的当前标识信息与当前预设规则之间的映射关系。进一步地，在依次获取在多个子时间段内生成的多组数据之前，该方法还包括：将多个子时间段按照时间的先后顺序，依次保存至预设队列，依次获取在多个子时间段内生成的多组数据包括：依次读取预设队列中保存的多个子时间段中的每个子时间段，每读取到一个子时间段，则获取子时间段内生成的一组数据。进一步地，待获取数据包括多种维度的待获取数据，依次获取在多个子时间段内生成的多组数据包括：将待获取数据按照维度进行分类，得到多类待获取数据；以及对应多类待获取数据中的每类待获取数据，依次获取在多个子时间段内生成的多组数据。根据本申请实施例的另一方面，还提供了一种数据获取装置，该装置包括：接收单元，用于接收数据获取请求，其中，数据获取请求用于请求获取目标时间段内生成的待获取数据；切分单元，用于按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及获取单元，用于依次获取在多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据。进一步地，目标时间段为从第一时间点至第二时间点的时间段，第一时间点早于第二时间点，切分单元包括：切分模块，用于以第二时间点为切分起始点，以预设时间段为切分间距，对目标时间段执行切分，得到多个子时间段。在本申请实施例中，通过采用以下方法：接收数据获取请求，其中，数据获取请求用于请求获取目标时间段内生成的待获取数据；按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及依次获取在多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据，解决了相关技术中无法有效获取时间跨度较大的历史数据的技术问题，从而通过按照目标预设规则对目标时间段进行切分，得到多个子时间段，并依次获取在多个子时间段内生成的多组数据，达到了有效获取时间跨度较大的历史数据的技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的数据获取方法的流程图；图2是根据本申请实施例的用于获取多维度数据的时间段切分的示意图；以及图3是根据本申请实施例的数据获取装置的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如本文档来自技高网...

【技术保护点】
一种数据获取方法，其特征在于，包括：接收数据获取请求，其中，所述数据获取请求用于请求获取目标时间段内生成的待获取数据；按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及依次获取在所述多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据。

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：接收数据获取请求，其中，所述数据获取请求用于请求获取目标时间段内生成的待获取数据；按照目标预设规则对目标时间段进行切分，得到多个子时间段；以及依次获取在所述多个子时间段内生成的多组数据，其中，一个子时间段内生成的待获取数据为一组数据。2.根据权利要求1所述的方法，其特征在于，所述目标时间段为从第一时间点至第二时间点的时间段，所述第一时间点早于所述第二时间点，按照目标预设规则对目标时间段进行切分，得到多个子时间段包括：以所述第二时间点为切分起始点，以预设时间段为切分间距，对所述目标时间段执行切分，得到所述多个子时间段。3.根据权利要求1所述的方法，其特征在于，在按照目标预设规则对目标时间段进行切分之前，所述方法还包括：确定目标平台的标识信息，其中，所述目标平台为用于提供所述待获取数据的平台；以及根据预设映射关系和所述目标平台的标识信息获取所述目标预设规则，其中，所述预设映射关系为预先建立的不同平台的标识信息与不同平台对应的预设规则之间的映射关系，所述不同平台对应的预设规则包括所述目标预设规则，所述不同平台包括所述目标平台。4.根据权利要求3所述的方法，其特征在于，在根据预设映射关系和所述目标平台的标识信息获取所述目标预设规则之前，所述方法还包括：分别获取所述不同平台所预设的限制参数，得到多个限制参数；根据所述多个限制参数分别获取所述不同平台对应的预设规则；以及建立所述不同平台的标识信息与所述不同平台对应的预设规则之间的映射关系，得到所述预设映射关系。5.根据权利要求3所述的方法，其特征在于，确定目标平台的标识信息包括：检测所述目标平台的当前标识信息是否为预设标识信息，根据预设映射关系和所述目标平台的标识信息获取所述目标预设规则包括：如果检测出所述目标平台的当前标识信息为所述预设标识信息，则根据所述预设映射关系和所述预设标识信息获取所述目标预设规则。6.根据权利要求5所述的方法，其特征在于，所述标识信息用于唯一标识平台所预设的限制参数...

【专利技术属性】
技术研发人员：商平锋，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11