【技术实现步骤摘要】
本专利技术涉及分布式，尤其涉及一种基于分布式服务的数据融合方法、系统、设备及介质。
技术介绍
1、在大型的数据平台建设过程中，一般会使用特定的工具先进行数据汇聚，然后进行数据清洗和数据融合。但因为各业务系统的不确定性，一般需要先适配各种各样的数据源后再将数据汇聚到数据仓库中，而在数据的汇聚过程中也会存在各种原因继而导致数据同步不及时、数据同步中断、数据重复、数据遗漏等问题，影响了后续的数据融合，最终在输出给各大数据应用使用时效果并不理想。
2、例如某一行业的数据一般最先由市级业务系统产生，然后推送或抽取到省级数据仓库中，省级数据仓库在汇聚了本省所有地市的数据后推送或抽取到部级数据仓库中。全国存在的数据汇聚链路繁多，一段时间后某些数据可能仅存在于某地市的业务系统内或某省级数据仓库中，未能全部及时汇聚到更上一级的数据仓库中，不够全面。地市或者省级的大数据应用在使用数据时为追求全面，需要同时查询本地数据和全国数据，此时将存在同一条数据优先使用的问题。同一条数据因本地的最为鲜活、准确，本地数据应该优先覆盖全国接口返回的数据；而本地没有外地市或外省的数据，则需使用全省或者全国接口数据。这样才可以最大程度保证用户查阅的数据鲜活、准确、全面。
3、总之，因传统数据汇聚过程中的各种原因导致的数据融合效果并不理想，我们需要一种全新的数据融合方法来提升数据融合后在大数据应用时的鲜活性、准确性、全面性。
技术实现思路
1、有鉴于此，有必要提供一种基于分布式服务的数据融合方法、系统
2、为达到上述技术目的，本专利技术采取了以下技术方案：
3、第一方面，本专利技术提供了一种基于分布式服务的数据融合方法，包括：
4、获取预设配置文件及所述预设配置文件对应的解析工具包，所述预设配置文件用于配置多种分布式服务协议数据、多种路由规则数据、多种调用模式数据以及多种数据融合策略；
5、基于所述解析工具包解析所述预设配置文件并初始化运行所述基于分布式服务的数据融合方法的系统；
6、获取目标服务的远程调用服务请求，并基于配置的分布式服务协议数据和所述远程调用服务请求，得到所述目标服务对应的目标路由规则、目标调用模式和目标数据融合策略；
7、基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方。
8、进一步的，所述基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方，包括：
9、根据所述目标路由规则和所述目标调用模式，得到所述目标服务调用本地服务和远程服务的策略；
10、基于所述目标服务调用本地服务和远程服务的策略，判断所述目标远程调用服务请求的返回结果和目标调用模式的对应关系；
11、基于所述目标远程调用服务请求的返回结果和目标调用模式的对应关系，通过所述目标数据融合策略获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方。
12、进一步的，所述多种分布式服务协议数据包括dubbo协议、rmi协议和restful协议；所述多种路由规则数据包括默认路由规则和自定义条件路由规则；所述多种调用模式数据包括仅本地调用模式和仅远程调用模式、本地调用优先远程调用模型和远程调用优先本地调用模式；所述多种数据融合策略包括通用合并策略、链表合并策略、数组合并策略、覆盖策略、javabean类型数据合并策略和自定义合并策略。
13、进一步的，所述预设配置文件包括预定义的dubbo服务注册中心、全局默认的服务注册中心、全局默认的路由规则、全局默认的调用模式、全局默认的数据融合策略和服务接口信息。
14、进一步的，所述预设配置文件还包括可选的路由规则、可选的调用模式和可选的数据融合策略。
15、第二方面，本专利技术还提供了一种基于分布式服务的数据融合系统，包括：
16、配置模块，用于获取预设配置文件及所述预设配置文件对应的解析工具包，所述预设配置文件用于配置多种分布式服务协议数据、多种路由规则数据、多种调用模式数据以及多种数据融合策略；
17、初始化模块，用于基于所述解析工具包解析所述预设配置文件并初始化运行所述基于分布式服务的数据融合方法的系统；
18、请求拦截模块，用于获取目标服务的远程调用服务请求，并基于配置的分布式服务协议数据和所述远程调用服务请求，得到所述目标服务对应的目标路由规则、目标调用模式和目标数据融合策略；
19、数据返回模块，用于基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方。
20、第三方面，本专利技术还提供了一种电子设备，包括存储器和处理器，其中，
21、存储器，用于存储程序；
22、处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的基于分布式服务的数据融合方法中的步骤。
23、第四方面，本专利技术还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的基于分布式服务的数据融合方法中的步骤。
24、本专利技术提供一种基于分布式服务的数据融合方法、系统、设备及介质，其中方法先获取预设配置文件及所述预设配置文件对应的解析工具包，所述预设配置文件用于配置多种分布式服务协议数据、多种路由规则数据、多种调用模式数据以及多种数据融合策略，然后基于所述解析工具包解析所述预设配置文件并初始化运行所述基于分布式服务的数据融合方法的系统。之后获取目标服务的远程调用服务请求，并基于配置的分布式服务协议数据和所述远程调用服务请求，得到所述目标服务对应的目标路由规则、目标调用模式和目标数据融合策略，最后基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方。相比于现有技术，本专利技术通过预先配置多种分布式服务协议数据、多种路由规则数据、多种调用模式数据以及多种数据融合策略，并在应用时选择合适的目标路由规则、目标调用模式和目标数据融合策略的方式，实现对不同数据的差异化处理。对于诸如不需要融合、不为分布式存储等等的数据直接放行，对于不同调用模式的数据，直接基于其需要的方式进行处理，省去了不必要的对比、融合等过程，将计算机的资源仅应用于需要融合的数据，极大地提高了数据的保存效率和准确性，提升数据融合后在大数据应用时的鲜活性、准确性、全面性。
本文档来自技高网...【技术保护点】
1.一种基于分布式服务的数据融合方法，其特征在于，包括：
2.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述获取目标服务的远程调用服务请求，并基于配置的分布式服务协议数据和所述远程调用服务请求，得到所述目标服务对应的目标路由规则、目标调用模式和目标数据融合策略，包括：
3.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方，包括：
4.根据权利要求3所述的基于分布式服务的数据融合方法，其特征在于，所述基于所述目标远程调用服务请求的返回结果和目标调用模式的对应关系，通过所述目标数据融合策略获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方，包括：
5.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述多种分布式服务协议数据包括DUBBO协议、RMI协议和RESTFUL协议；所述多种路由规则数据包括默认路由规则和自定义条件路由规
6.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述预设配置文件包括预定义的DUBBO服务注册中心、全局默认的服务注册中心、全局默认的路由规则、全局默认的调用模式、全局默认的数据融合策略和服务接口信息。
7.根据权利要求6所述的基于分布式服务的数据融合方法，其特征在于，所述预设配置文件还包括可选的路由规则、可选的调用模式和可选的数据融合策略。
8.一种基于分布式服务的数据融合系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述基于分布式服务的数据融合方法中的步骤。
...【技术特征摘要】
1.一种基于分布式服务的数据融合方法，其特征在于，包括：
2.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述获取目标服务的远程调用服务请求，并基于配置的分布式服务协议数据和所述远程调用服务请求，得到所述目标服务对应的目标路由规则、目标调用模式和目标数据融合策略，包括：
3.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述基于所述目标路由规则、目标调用模式和目标数据融合策略，获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方，包括：
4.根据权利要求3所述的基于分布式服务的数据融合方法，其特征在于，所述基于所述目标远程调用服务请求的返回结果和目标调用模式的对应关系，通过所述目标数据融合策略获取并融合所述远程调用服务请求的请求数据，并返回给所述远程调用服务请求的请求方，包括：
5.根据权利要求1所述的基于分布式服务的数据融合方法，其特征在于，所述多种分布式服务协议数据包括dubbo协议、rmi协议和restful协议；所述多种路由规则数据包括默认路由规则和...
【专利技术属性】
技术研发人员：郭业亮，张雄彪，熊纯，李显锋，张永强，
申请(专利权)人：武汉达梦数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。