数据上报方法、装置、系统、电子设备、介质、程序产品制造方法及图纸

本公开的实施例公开了数据上报方法、装置、系统。该方法的一具体实施方式包括：从消息服务器中获取结构化数据，其中，消息服务器中的结构化数据是利用拆解模型对业务数据进行处理得到的；从配置中心读取数据仓配置信息，数据仓配置信息包括以下至少一项：目标数据仓的标识、目标数据仓的元数据、拆解模型的字段与元数据的映射关系；根据数据仓配置信息，对结构化数据进行转化，得到大数据平台对应的可执行的脚本语句；执行脚本语句以将数据上报至大数据平台。该实施方式与大数据有关，实现了数据的自动拆解以及自动化上报。数据的自动拆解以及自动化上报。数据的自动拆解以及自动化上报。

【技术实现步骤摘要】
数据上报方法、装置、系统、电子设备、介质、程序产品


[0001]本公开的实施例涉及计算机
，具体涉及数据上报方法、装置、系统、电子设备、介质、程序产品。

技术介绍

[0002]大数据平台相关的数据处理流程往往包括数据采集、数据上报、数据流处理等。其中，部分数据来自数据源自动上报，例如订阅mysql。此外，还有一部分数据来源于业务数据上报。业务数据上报一般是指将业务端产生的数据直接发送到大数据平台。
[0003]然而，专利技术人发现，当将业务端产生的数据直接发送到大数据平台时，经常会存在如下技术问题：
[0004]数据上报过程缺乏灵活性。例如，数据往往需要存储于不同的数据库中，此时，需要对数据进行再次转换后才能存储至相应的数据库。
[0005]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0007]本公开的一些实施例提出了数据上报方法、装置、设备、系统、电子设备、计算机可读介质和程序产品，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0008]第一方面，本公开的一些实施例提供了一种数据上报方法，包括：从消息服务器中获取结构化数据，其中，消息服务器中的结构化数据是利用拆解模型对业务数据进行处理得到的；从配置中心读取数据仓配置信息，数据仓配置信息包括以下至少一项：目标数据仓的标识、目标数据仓的元数据、拆解模型的字段与元数据的映射关系；根据数据仓配置信息，对结构化数据进行转化，得到大数据平台对应的可执行的脚本语句；执行脚本语句以将数据上报至大数据平台。
[0009]第二方面，本公开的一些实施例提供了一种数据上报方法，包括：数据拆解模块接收业务服务器发送的业务数据，业务数据中存在嵌套结构，从配置中心读取业务数据对应的拆解模型，通过拆解模型对业务数据进行处理，以生成结构化数据，将结构化数据发送至消息服务器；消息服务器接收以及存储结构化数据；数据适配模块从消息服务器中获取结构化数据，从配置中心读取数据仓配置信息，根据数据仓配置信息，对结构化数据进行转化，得到大数据平台对应的可执行的脚本语句，执行脚本语句以将数据上报至大数据平台；配置中心存储拆解模型和数据仓配置信息。
[0010]第三方面，本公开的一些实施例提供了一种数据上报装置，包括：获取单元，被配置成从消息服务器中获取结构化数据，其中，消息服务器中的结构化数据是利用拆解模型
对业务数据进行处理得到的；读取单元，被配置成从配置中心读取数据仓配置信息，数据仓配置信息包括以下至少一项：目标数据仓的标识、目标数据仓的元数据、关系模型、拆解模型的字段与元数据的映射关系；转化单元，被配置成根据数据仓配置信息，对结构化数据进行转化，得到大数据平台对应的可执行的脚本语句；执行单元，被配置成执行脚本语句以将数据上报至大数据平台。
[0011]第四方面，本公开的一些实施例提供了一种数据上报系统，包括：数据拆解模块，被配置成接收业务服务器发送的业务数据，业务数据中存在嵌套结构，从配置中心读取业务数据对应的拆解模型，通过拆解模型对业务数据进行处理，以生成结构化数据，将结构化数据发送至消息服务器；消息服务器，被配置成接收以及存储结构化数据；数据适配模块，被配置成从消息服务器中获取结构化数据，从配置中心读取数据仓配置信息，根据数据仓配置信息，对结构化数据进行转化，得到大数据平台对应的可执行的脚本语句，执行脚本语句以将数据上报至大数据平台；配置中心，被配置成存储拆解模型和数据仓配置信息。
[0012]第五方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一或二方面任一实现方式所描述的方法。
[0013]第六方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一或二方面任一实现方式所描述的方法。
[0014]第七方面，本公开的一些实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一或二方面任一实现方式所描述的方法。
[0015]本公开的上述各个实施例具有如下有益效果：通过从配置中心读取数据仓配置信息，并利用数据仓配置信息对数据进行转化，从而可以提高数据与大数据平台的数据适配程度，且能够适配多个数据源。在基础上，上报至大数据平台，从而实现数据的自动化上报。
附图说明
[0016]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0017]图1是本公开的一些实施例的一种数据上报系统的架构图；
[0018]图2是根据本公开的数据上报方法的一些实施例的流程图；
[0019]图3根据本公开的数据上报方法的一些实施例中的结构化数据生成的流程图；
[0020]图4示出了一个订单数据的示例性的数据结构图；
[0021]图5对订单数据进行拆分后得到的示例性的上报数据；
[0022]图6示出了上报数据1的数据上报的格式；
[0023]图7是根据本公开的数据上报装置的一些实施例的结构示意图；
[0024]图8是适于用来实现本公开的一些实施例的电子设备的结构示意图；
[0025]图9是本公开的一些实施例可以应用于其中的示例性系统的示例性组件示意图；
[0026]图10是根据本公开的数据上报方法的又一些实施例的流程图。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0028]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0029]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0030]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据上报方法，包括：从消息服务器中获取结构化数据，其中，所述消息服务器中的结构化数据是利用拆解模型对业务数据进行处理得到的；从配置中心读取数据仓配置信息，所述数据仓配置信息包括以下至少一项：目标数据仓的标识、所述目标数据仓的元数据、关系模型、所述拆解模型的字段与所述元数据的映射关系；根据所述数据仓配置信息，对所述结构化数据进行转化，得到大数据平台对应的可执行的脚本语句；执行所述脚本语句以将数据上报至所述大数据平台。2.根据权利要求1所述的方法，其中，所述结构化数据是通过以下步骤生成的：接收业务服务器发送的业务数据，所述业务数据中存在嵌套结构；从所述配置中心读取所述业务数据对应的拆解模型，所述拆解模型是基于所述业务数据生成的；通过所述拆解模型对所述业务数据进行处理，以生成结构化数据。3.根据权利要求2所述的方法，其中，所述拆解模型是通过以下步骤生成的：根据所述业务数据对应的代码中类的属性及类之间的关联关系，生成关系模型；根据所述关系模型生成初始化拆解模型；对所述初始化拆解模型进行调整，得到所述拆解模型。4.一种数据上报方法，包括：数据拆解模块接收业务服务器发送的业务数据，所述业务数据中存在嵌套结构，从配置中心读取所述业务数据对应的拆解模型，通过所述拆解模型对所述业务数据进行处理，以生成结构化数据，将所述结构化数据发送至消息服务器；消息服务器接收以及存储所述结构化数据；数据适配模块从所述消息服务器中获取所述结构化数据，从配置中心读取数据仓配置信息，根据所述数据仓配置信息，对所述结构化数据进行转化，得到大数据平台对应的可执行的脚本语句，执行所述脚本语句以将数据上报至所述大数据平台。5.一种数据上报装置，包括：获取单元，被配置成从消息服务器中获取结构化数据，其中，所述消息服务器中的结构化数据是利用拆解模型对业务数据进行处理得到的；读取单元，被配置成从配置中心读取数据仓配置信息，所述数据仓配置信息包括以下至少一项：目标数据仓的标识、所述目标数据仓的元数据、关系模型、所述拆解模型的字段与所述元数据的映射关系；转化单元，被配置成根据所述数据仓配置信息，对所述结构化数据进行转化，得到大数据平台对应的可执行的脚本语句；执行单元，被配置成执行所述脚本语句以将数据上报至所述大数据平台。6.一种数据上报系统，包括：数据拆解模块，被配置成接收业务服务器发送的业务数据，所述业务数据中存在嵌套结构，从配置中心读取所述业务数据对应的拆解模型，通过所述拆解模型对所述业务数据进行处理，以生成结构化数...

【专利技术属性】
技术研发人员：谭倩倩，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：