【技术实现步骤摘要】
本申请涉及数据处理，特别涉及一种数据处理方法及系统。
技术介绍
1、基于分布式架构的数据订阅技术中，数据订阅系统包括数据处理模块和订阅方，数据处理模块获取源数据，基于订阅方的订阅需求对源数据进行处理后，将处理后的数据分发至对应的订阅方。由于源数据的来源不同，数据格式会存在不同，并且不同的订阅方订阅的数据类型或者数据格式可能会存在不同，因此需要对数据进行格式转换等数据处理后，再将处理后的数据分发至订阅方。
2、当前针对数据处理，是部署至少一个数据处理模块，通过配置各数据处理模块的数据处理逻辑，使得各数据处理模块获取源数据，基于配置的数据处理逻辑对源数据进行数据处理后，将处理后的目标数据发送至对应的订阅方。假设存在两个数据处理模块，例如数据处理模块a将源数据转换为数据a之后作为目标数据，将目标数据发送至订阅方a，数据处理模块b将源数据转换为数据a之后，再将数据a转换为数据b之后作为目标数据，将目标数据发送至订阅方b。因此，只要需要进行新的方式的数据处理，或者需要将数据分发至新的订阅方，均需要新增数据处理模块，并对新增的数据处理模块进行从源数据转换为目标数据的整个数据处理逻辑进行配置，即需要对将源数据转换为数据a，再将数据a转换为数据b，再对数据b进行其他格式的数据转换后得到目标数据的整个数据处理逻辑进行配置。因此，现有技术中，针对新增的数据处理模块进行数据处理逻辑配置，需要将从源数据转换为目标数据的整个数据处理逻辑均进行配置，一方面使得用户工作量较大，另一方面容易存在数据处理逻辑配置错误，使得数据处理异常，不利于进行数据
技术实现思路
1、本申请提供了一种数据处理方法及系统，用于解决现有技术中针对新增的数据处理模块进行数据处理逻辑配置，需要将从源数据转换为目标数据的整个数据处理逻辑均进行配置，一方面使得用户工作量较大，另一方面容易存在数据处理逻辑配置错误，使得数据处理异常，不利于进行数据处理的问题。
2、其中，采用链式数据处理方式，使得数据处理节点基于上游数据处理节点处理后的数据进行后续处理，使得针对该数据处理节点进行数据处理逻辑配置时，仅需配置从上游处理处理节点处理后的第一数据转换为第二数据的处理逻辑，无需进行从源数据到第二数据的整个数据处理逻辑配置，减少数据处理逻辑配置工作量，进而减少数据处理逻辑的配置出错率，降低数据处理异常的概率。并且，通过配置数据分发节点，即可实现针对任意数据处理节点处理后的数据获取和任意订阅方的数据分发，使得数据处理和数据分发更为灵活、高效。
3、为解决上述技术问题，第一方面，本申请的实现方式公开了一种数据处理方法，应用于数据处理系统，数据处理系统包括数据分发节点和多个数据处理节点，该方法包括：数据处理节点基于对应的数据处理逻辑对第一数据进行数据处理，得到第二数据，第一数据为数据处理节点基于对应的数据处理逻辑从上游数据处理节点获取的，由上游数据处理节点基于对应的数据处理逻辑进行数据处理后的数据；数据分发节点根据数据分发策略确定目标数据处理节点以及目标数据处理节点对应的目标数据，将目标数据分发至目标订阅方，其中，数据分发策略基于订阅方的订阅需求得到。
4、本申请实现方式提供的数据处理方法，通过配置数据分发节点和多个数据处理节点，使得数据处理节点基于对应的数据处理逻辑能够获取上游数据处理节点基于对应的数据处理逻辑进行数据处理后的第一数据，再基于自身的数据处理逻辑进行数据处理，得到处理后的第二数据。如此，采用链式数据处理方式，使得数据处理节点基于上游数据处理节点处理后的数据进行后续处理，使得针对该数据处理节点进行数据处理逻辑配置时，仅需配置从上游数据处理节点处理后的第一数据转换为第二数据的处理逻辑，无需进行从源数据到第二数据的整个数据处理逻辑配置，减少数据处理逻辑配置工作量，进而减少数据处理逻辑的配置出错率，降低数据处理异常的概率。并且，通过配置数据分发节点，即可实现针对任意数据处理节点处理后的数据获取和任意订阅方的数据分发，使得数据处理和数据分发更为灵活、高效。
5、并且，数据分发节点能够根据数据分发策略将任一数据处理节点处理后的数据(第一数据或第二数据)分发至目标订阅方。如此，通过配置多个数据处理节点和对应的数据处理策略，即可实现不同数据处理节点对不同数据进行不同数据处理，并且，通过配置数据分发节点，即可实现针对任意数据处理节点处理后的数据获取和任意订阅方的数据分发，使得数据处理和数据分发更为灵活、高效。
6、根据本申请的另一具体实现方式，本申请的实现方式公开的一种数据处理方法，数据处理系统包括管理中心和配置中心，配置中心存储有配置文件，配置文件基于用户的数据处理需求生成，该方法还包括：管理中心根据配置中心存储的配置文件创建数据处理节点，并使数据处理节点基于配置文件得到对应的数据处理逻辑。
7、采用上述技术方案，基于配置文件创建新的数据处理节点，并对数据处理节点的数据处理逻辑进行配置，使得对数据处理节点的配置更为简便，且效率更高。
8、根据本申请的另一具体实现方式，本申请的实现方式公开的数据处理方法，配置文件包括数据查询脚本和数据验证脚本，数据处理节点基于对应的数据处理逻辑对第一数据进行数据处理，得到第二数据，包括：数据处理节点根据数据查询脚本从上游数据处理节点获取第一数据；数据处理节点根据数据验证脚本对第一数据进行合法性验证，在确定第一数据为合法数据的情况下，对第一数据进行数据处理，得到第二数据。
9、采用上述技术方案，通过配置数据查询脚本可以使得数据处理节点基于用户的数据处理需求获取上游数据处理节点中的第一数据，使得数据获取方式能满足用户需求。并且通过配置数据验证脚本对数据进行合法性验证后，再进行数据处理，确保了数据处理的安全性。
10、根据本申请的另一具体实现方式，本申请的实现方式公开的数据处理方法，配置文件还包括数据批量更新脚本，该方法还包括：数据处理节点根据数据批量更新脚本将第二数据更新至数据处理节点对应的存储介质中，以使数据处理节点的下游数据处理节点从存储介质中获取第二数据。
11、采用上述技术方案，通过配置数据批量更新脚本可以将第二数据存储至存储介质中，方便进行数据处理过程追查。
12、根据本申请的另一具体实现方式，本申请的实现方式公开的数据处理方法，数据分发节点根据数据分发策略确定目标数据处理节点以及目标数据处理节点对应的目标数据，将目标数据分发至目标订阅方，包括：数据分发节点根据数据分发策略确定目标数据处理节点以及目标数据处理节点对应的目标数据，并根据数据分发策略确定目标消息中间件，基于目标消息中间件将目标数据分发至目标订阅方。
13、采用上述技术方案，基于目标消息中间件将目标数据分发至目标订阅方，能够使得数据分发更为高效。
14、根据本申请的另一具体实现方式，本申请的实现方式公开的数据处理方法，数据分发节点根据数据分发策略确定目标数据处理节点以及目标数据处理节点对应的目标数据，包括：数据分发节点根本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据分发节点和多个数据处理节点，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理系统还包括管理中心和配置中心，所述配置中心存储有配置文件，所述配置文件基于用户的数据处理需求生成，所述方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述配置文件包括数据查询脚本和数据验证脚本，所述数据处理节点基于对应的数据处理逻辑对第一数据进行数据处理，得到第二数据，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述配置文件还包括数据批量更新脚本，所述方法还包括：
5.根据权利要求1-4任意一项所述的数据处理方法，其特征在于，所述数据分发节点根据数据分发策略确定目标数据处理节点以及所述目标数据处理节点对应的目标数据，将所述目标数据分发至目标订阅方，包括：
6.根据权利要求1-5任意一项所述的数据处理方法，其特征在于，所述数据分发节点根据数据分发策略确定目标数据处理节点以及所述目标数据处理节点对应的目标数据，包括
7.根据权利要求2-6任意一项所述的数据处理方法，其特征在于，所述方法还包括：
8.根据权利要求1-7任意一项所述的数据处理方法，其特征在于，所述第一数据和所述第二数据为基于数据库的变更数据捕获技术得到的结构化数据，所述数据处理为数据格式转换处理。
9.根据权利要求1-8任意一项所述的数据处理方法，其特征在于，所述数据处理节点中部署有数据处理模型，所述数据处理节点基于对应的数据处理逻辑对第一数据进行数据处理，得到第二数据，包括：
10.一种数据处理系统，其特征在于，所述数据处理系统包括数据分发节点和多个数据处理节点，其中，
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括数据分发节点和多个数据处理节点，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理系统还包括管理中心和配置中心，所述配置中心存储有配置文件，所述配置文件基于用户的数据处理需求生成，所述方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述配置文件包括数据查询脚本和数据验证脚本，所述数据处理节点基于对应的数据处理逻辑对第一数据进行数据处理，得到第二数据，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述配置文件还包括数据批量更新脚本，所述方法还包括：
5.根据权利要求1-4任意一项所述的数据处理方法，其特征在于，所述数据分发节点根据数据分发策略确定目标数据处理节点以及所述目标数据处理节点对应的目标数据，将所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。