本公开涉及计算机技术领域，公开了一种数据处理方法及装置、业务处理系统、存储介质和计算机设备。该方法包括：采集业务的增量数据集，根据预设的标准模型对所述增量数据集进行数据转换处理，得到具有标准化格式的数据集；根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集。本公开将业务系统中的数据处理工作转移至关联的大数据平台，在无需关注数据来源的情况下，利用大数据平台数据处理能力，实现业务数据的批量化处理，提高处理效率。提高处理效率。提高处理效率。
【技术实现步骤摘要】
数据处理方法及装置、业务处理系统和计算机设备
[0001]本公开涉及计算机
，更具体地，涉及一种数据处理方法、数据处理装置、业务处理系统、计算机存储介质和计算机设备。
技术介绍
[0002]随着计算机技术的不断发展，在线业务逐渐发展起来，为人们的生活和工作带来诸多便捷，例如用户可以通过终端自主完成相应的业务流程等，随之而来的是业务系统面临大量需要处理的业务数据。不同业务对应于不同的处理流程，同一业务的不同业务产品，产生的业务数据的格式可能均不相同。
[0003]在实现本公开过程中专利技术人发现，为了处理来自不同业务的数据，业务系统需要提供与各业务相应的对接应用，需要耗费过多的开发资源，数据处理的可扩展性低；同时，业务系统自身处理能力的限制，已难以满足如今涌入系统的大量业务数据，数据处理效率低在一定程度上也极大影响了后续业务的处理效率。
[0004]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开实施例的目的在于提供一种数据处理方法、数据处理装置、业务处理系统、计算机存储介质和计算机设备，进而至少在一定程度上避免了业务系统的数据处理效率低、可扩展性差等问题。为实现以上技术效果，本公开采用如下技术方案。
[0006]本公开实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开实施例的一个方面，提供一种数据处理方法，应用于业务处理系统所关联的大数据平台，包括：采集业务的增量数据集，根据预设的标准模型对所述增量数据集进行数据转换处理，得到具有标准化格式的数据集；根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集。
[0008]在本公开的一种示例性实施例中，所述方法还包括：将所述增量数据集中的数据名称，替换为所述预设的标准模型中对应的标准名称；将所述数据名称对应的数据值，确定为替换后的所述标准名称对应的数据值。
[0009]在本公开的一种示例性实施例中，所述方法包括多种预设的业务类型；在所述根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行数据处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集之前，所述方法还包括：确定所述增量数据集对应的目标业务类型。
[0010]在本公开的一种示例性实施例中，所述根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定
的数据维度组成的目标数据集，包括：将所述目标业务类型对应的数据转换模型确定为目标转换模型；根据所述目标转换模型中的预定的数据维度，对所述具有标准化格式的数据集进行数据的选择、过滤、聚合和/或拆分处理，并根据处理后的数据集形成所述目标数据集。
[0011]在本公开的一种示例性实施例中，在所述业务类型下，所述增量数据集具有对应于目标业务的唯一标识信息，在根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集时，所述方法还包括：将具有相同标识信息的多个所述具有标准化格式的数据集中的数据进行统一处理，以获得对应于所述目标业务的汇总数据集。
[0012]在本公开的一种示例性实施例中，所述具有标准化格式的数据集包括流入数据和流出数据；所述将具有相同标识信息的多个所述具有标准化格式的数据集中的数据进行统一处理，以获得对应于所述目标业务的汇总数据集，包括：将所述具有相同标识信息的多个所述流入数据和流出数据进行聚合处理，以获得对应于所述目标业务的总流入数据和总流出数据。
[0013]在本公开的一种示例性实施例中，所述业务处理系统还包括用于存储所述目标数据集的数据存储系统，以及根据所述存储模块中的目标数据集进行业务处理的业务系统，所述方法还包括：将所述目标数据集发送至所述数据存储系统，以使所述业务系统根据所述数据存储系统中的所述目标数据集进行业务处理。
[0014]在本公开的一种示例性实施例中，采用结构化查询语言和/或文件加载模式获取所述业务的增量数据集。
[0015]根据本公开实施例的一个方面，提供一种数据处理装置，应用于业务处理系统所关联的大数据平台，所述装置包括：数据标准化处理模块，用于采集业务的增量数据集，根据预设的标准模型对所述增量数据集进行数据转换处理，得到具有标准化格式的数据集；目标数据集获取模块，用于根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集。
[0016]根据本公开实施例的一个方面，提供一种业务处理系统，所述系统包括：大数据平台，用于执行上述任一项所述的数据处理方法；数据存储系统，用于存储所述大数据平台得到的目标数据集；业务管理系统，用于根据所述数据存储系统中的所述目标数据集进行业务管理。
[0017]根据本公开实施例的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据处理方法。
[0018]根据本公开实施例的一个方面，提供一种计算机设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据处理方法。
[0019]本公开实施例中的数据处理方法，将采集到的增量数据集转换为具有标准化格式的数据集后，再根据业务类型对标准化的数据集进行处理，以得到目标数据集。该数据处理方法以大数据平台批量化数据处理能力为依托，将大量的数据处理工作转移至大数据平台，可实现业务数据的批量化处理，业务数据处理效率高；同时，在按照预设的模型进行数
据集的转换和统计分析的过程中，无需关注数据的来源，一定程度上避免了各种对接应用的重复性开发，节省系统的研发资源。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0021]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0022]图1示出了根据本公开示例性实施例的数据处理方法的流程图；
[0023]图2示出了根据本公开示例性实施例的将增量数据集转化为具有标准化格式的数据集的流程图；
[0024]图3示出了根据本公开示例性实施例的将具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集的流程图；
[0025]图4示出了根据本公开示例性实施例的数据处理装置的框图；
[0026]图5示出了根据本公开示例性实施例的资产证券化的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，应用于业务处理系统所关联的大数据平台，其特征在于，所述数据处理方法包括：采集业务的增量数据集，根据预设的标准模型对所述增量数据集进行数据转换处理，得到具有标准化格式的数据集；根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述增量数据集中的数据名称，替换为所述预设的标准模型中对应的标准名称；将所述数据名称对应的数据值，确定为替换后的所述标准名称对应的数据值。3.根据权利要求1所述的方法，其特征在于，所述方法包括多种预设的业务类型；在所述根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行数据处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集之前，所述方法还包括：确定所述增量数据集对应的目标业务类型。4.根据权利要求3所述的方法，其特征在于，所述根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集，包括：将所述目标业务类型对应的数据转换模型确定为目标转换模型；根据所述目标转换模型中的预定的数据维度，对所述具有标准化格式的数据集进行数据的选择、过滤、聚合和/或拆分处理，并根据处理后的数据集形成所述目标数据集。5.根据权利要求3所述的方法，其特征在于，在所述业务类型下，所述增量数据集具有对应于目标业务的唯一标识信息，在根据所述增量数据集对应的业务类型，对所述具有标准化格式的数据集进行处理，以将所述具有标准化格式的数据集转换为由预定的数据维度组成的目标数据集时，所述方法还包括：将具有相同标识信息的多个所述具有标准化格式的数据集中的数据进行统一处理，以获得对应于所述目标业务的汇总数据集。6.根据权利要求5所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：李启坤，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。