业务数据处理方法和装置制造方法及图纸

本申请公开了一种业务数据处理方法和装置。其中，该方法包括：对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，目标数据列为表征数据业务的业务信息的列；根据每个数据业务的业务信息之间的依赖关系，对目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过中间数据表将待处理数据导入到数据仓库中，其中，中间数据表为用于按照预设规则来存储业务信息的数据表。本申请解决了现有技术中由于原始数据的多样性导致在数据处理过程中逻辑发生变化的技术问题。

Service data processing method and device

The present application discloses a service data processing method and device. Among them, the method includes: treat the data columns in the data processing, the target data of each data service, which listed business information of the target data column for the characterization of data service; according to the dependency between each data business information, the combination of the target data set, data corresponding to the target each data column combination; in turn the target data of each data service corresponding to the middle column combined storage data table, through the intermediate data table will be processed data into the data warehouse, the intermediate data table for according to the preset rules to store business information data table. The utility model solves the technical problems that the logic changes in the data processing process due to the diversity of the original data in the prior art.

【技术实现步骤摘要】
业务数据处理方法和装置
本申请涉及数据处理领域，具体而言，涉及一种业务数据处理方法和装置。
技术介绍
在数据处理领域，通常需要将原始检测到的不同数据业务的数据从原始数据库导入到数据仓库中，例如，在对交互式网络电视(IPTV)的数据业务检测到的数据，其中，交互式网络电视的数据业务可以包括直播业务、回看业务和点播业务等，再将这些检测到的原始数据从原始数据库(Receiver)导入数据仓库(DW)。但是，由于原始数据的多样性，导致原始数据从原始数据库(Receiver)流向数据仓库(DW)过程中，数据的处理逻辑每次都要修改。而实际上，这里的处理逻辑从业务上是不需要变化的，因此，由于原始数据的改变，数据的处理逻辑就要做出相应的处理。当数据的处理逻辑发生改变时，会严重影响原始数据库到数据仓库的处理逻辑的稳定性。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种业务数据处理方法和装置，以至少解决现有技术中由于原始数据的多样性导致在数据处理过程中逻辑发生变化的技术问题。根据本申请实施例的一个方面，提供了一种业务数据处理方法，包括：对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，所述目标数据列为表征所述数据业务的业务信息的列；根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过所述中间数据表将所述待处理数据导入到数据仓库中，其中，所述中间数据表为用于按照预设规则来存储所述业务信息的数据表。进一步地，对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列包括：对所述待处理数据进行筛选出第一数据列和第二数据列，得到第一数据列集合和第二数据列集合，将所述第一数据列和所述第二数据列均作为所述目标数据列，其中，所述第一数据列所记录的业务信息为预设白名单上存在的业务信息，所述第二数据列为所记录的业务信息为所述预设白名单之外的业务信息。进一步地，对所述待处理数据进行筛选出第一数据列和第二数据列包括：将所述待处理数据中的数据列与所述预设白名单上存在的业务信息进行比较；在比较出在所述预设白名单上包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第一数据列；在比较出在所述预设白名单上不包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第二数据列。进一步地，根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合包括：在所述目标数据列中选取多个关联目标数据列，其中，所述多个关联目标数据列为存在所述依赖关系的数据列；将所述多个关联目标数据列进行组合在一起，得到所述目标数据列组合。进一步地，根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合包括：查询用于进行组合的多个目标数据列；在查询出缺少所述多个目标数据列中一个目标数据列时，利用预设数据列作为缺少的数据列与查询到的目标数据列进行组合，其中，所述预设数据列为设置成默认值的数据列。根据本申请实施例的另一方面，还提供了一种业务数据处理装置，包括：处理单元，用于对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，所述目标数据列为表征所述数据业务的业务信息的列；组合单元，用于根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；存储单元，用于依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过所述中间数据表将所述待处理数据导入到数据仓库中，其中，所述中间数据表为用于按照预设规则来存储所述业务信息的数据表。进一步地，所述处理单元包括：筛选模块，用于对所述待处理数据进行筛选出第一数据列和第二数据列，得到第一数据列集合和第二数据列集合，将所述第一数据列和所述第二数据列均作为所述目标数据列，其中，所述第一数据列所记录的业务信息为预设白名单上存在的业务信息，所述第二数据列为所记录的业务信息为所述预设白名单之外的业务信息。进一步地，所述筛选模块包括：比较子模块，用于将所述待处理数据中的数据列与所述预设白名单上存在的业务信息进行比较；第一确定子模块，用于在比较出在所述预设白名单上包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第一数据列；第二确定子模块，用于在比较出在所述预设白名单上不包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第二数据列。进一步地，所述组合单元包括：选择模块，用于在所述目标数据列中选取多个关联目标数据列，其中，所述多个关联目标数据列为存在所述依赖关系的数据列；组合模块，用于将所述多个关联目标数据列进行组合在一起，得到所述目标数据列组合。进一步地，所述组合单元包括：查询模块，用于查询用于进行组合的多个目标数据列；使用模块，用于在查询出缺少所述多个目标数据列中一个目标数据列时，利用预设数据列作为缺少的数据列与查询到的目标数据列进行组合，其中，所述预设数据列为设置成默认值的数据列。在本申请实施例中，采用对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，所述目标数据列为表征所述数据业务的业务信息的列；根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过所述中间数据表将所述待处理数据导入到数据仓库中，其中，所述中间数据表为用于按照预设规则来存储所述业务信息的数据表的方式，通过对获取到的待处理数据进行处理，得到每个数据业务的目标数据列，并对目标数据列进行组合，将最终组合之后得到的目标数据列组合存储至中间数据表中，进而将目标数据列组合导入至数据仓库，相对于现有技术中未对数据进行筛选和组合的处理，达到了在数据处理过程中处理逻辑保持稳定性的目的，进而解决了现有技术中由于原始数据的多样性导致在数据处理过程中逻辑发生变化的技术问题，从而实现屏蔽数据不一致给处理程序带来影响的技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的一种业务数据处理方法的流程图；图2是根据本申请实施例的一种业务数据处理装置的示意图；以及图3是根据本申请可选实施例的一种业务数据处理装置的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和本文档来自技高网...

【技术保护点】
一种业务数据处理方法，其特征在于，包括：对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，所述目标数据列为表征所述数据业务的业务信息的列；根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过所述中间数据表将所述待处理数据导入到数据仓库中，其中，所述中间数据表为用于按照预设规则来存储所述业务信息的数据表。

【技术特征摘要】
1.一种业务数据处理方法，其特征在于，包括：对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列，其中，所述目标数据列为表征所述数据业务的业务信息的列；根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合；依次将每个数据业务对应的目标数据列组合存储至中间数据表中，以通过所述中间数据表将所述待处理数据导入到数据仓库中，其中，所述中间数据表为用于按照预设规则来存储所述业务信息的数据表。2.根据权利要求1所述的方法，其特征在于，对待处理数据中的数据列进行处理，得到每个数据业务的目标数据列包括：对所述待处理数据进行筛选出第一数据列和第二数据列，得到第一数据列集合和第二数据列集合，将所述第一数据列和所述第二数据列均作为所述目标数据列，其中，所述第一数据列所记录的业务信息为预设白名单上存在的业务信息，所述第二数据列为所记录的业务信息为所述预设白名单之外的业务信息。3.根据权利要求2所述的方法，其特征在于，对所述待处理数据进行筛选出第一数据列和第二数据列包括：将所述待处理数据中的数据列与所述预设白名单上存在的业务信息进行比较；在比较出在所述预设白名单上包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第一数据列；在比较出在所述预设白名单上不包含所述待处理数据中的数据列的情况下，确定所述数据列为所述第二数据列。4.根据权利要求1所述的方法，其特征在于，根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合，得到与每个数据业务对应的目标数据列组合包括：在所述目标数据列中选取多个关联目标数据列，其中，所述多个关联目标数据列为存在所述依赖关系的数据列；将所述多个关联目标数据列进行组合在一起，得到所述目标数据列组合。5.根据权利要求1所述的方法，其特征在于，根据每个数据业务的业务信息之间的依赖关系，对所述目标数据列进行组合包括：查询用于进行组合的多个目标数据列；在查询出缺少所述多个目标数据列中一个目标数据列时，利用预设数据列作为缺少的数据列与查询到的目标数据列进行组合，其中，所述预...

【专利技术属性】
技术研发人员：焦张波，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11