【技术实现步骤摘要】
本专利技术涉及数据处理，具体涉及一种拉取试的异步系统数据集成同步方法及系统。
技术介绍
1、在现有的数据处理系统中，由于各种系统或设备的运行速度和数据处理能力存在差异，导致数据在不同系统或设备之间的传输和同步存在困难。特别是在异步系统中，由于各个系统或设备的运行是独立的，数据的同步更加复杂。因此，如何有效地实现异步系统数据的集成同步，是当前数据处理
面临的重要问题。
2、通常情况下，当一个系统数据完成后，该系统会将数据通过集成接口同步到另外一个系统，属于推送试异步系统集成，这种方式属于被动式数据接收，很容易产生延迟、滞后以及系统集成中断等问题。
3、异步系统数据接收算法根据业务定时从上游系统抽取数据，针对数据传输的时效性要求不是很高，如果针对实时数据抽取型相对来说及时性没有那么高，针对网络的带宽、效率等比较少，需要网络设备要有比较大的数据缓冲区进行数据包的缓存，才能进行有效的线速。在没有较大缓冲区作缓存的网络设备中，算法比较难实现，带宽效果不好，不能达到实时业务的要求。
4、为避免出现以上问题，故考虑采用一种主动获取试的异步系统集成方式，从而达到现有实时业务的需求。
技术实现思路
1、本专利技术的目的就是提出一种拉取试的异步系统数据同步方法及系统，通过定时获取的方式将上游系统数据拉取到下游系统中，该方法能够有效地解决异步系统中数据同步的难题，提高数据处理的效率和准确性。
2、本专利技术的技术方案如下：一种拉取试的异步系统数据集成
3、所述上游系统中的数据为通过接收来自不同数据源的数据集成而得。
4、所述下游系统中的数据为通过接收来自不同数据源的数据集和上游系统的数据，通过通用数据集成技术，集成到下游系统中。
5、所述定时触发通过时间戳管理实现，所述时间戳管理利用全球定位系统gnss的时间戳信息，为上游系统中数据以及下游系统中数据添加时间标签，以实现数据的时间同步。
6、在数据同步过程中，进行同步误差校正；所述同步误差校正为：实时监测上游系统同步到下游系统的数据误差，当同步误差超过预设阈值时，通过调整上游系统的工作时钟或采用其他校正算法，使同步误差收敛至预设范围内。
7、所述下游系统发送的指令集，为通过加密算法获得，且被上游系统独立识别；所述指令集按照时间顺序发送，指令集中的数据采用选择排序法排序。
8、一种拉取试的异步系统数据集成同步系统，包括：
9、数据接收模块：负责接收来自不同数据源的数据；
10、数据预处理模块：对接收到的数据进行预处理，预处理后的数据满足统一的数据模型和规范；
11、数据集成模块：采用数据集成技术，将预处理后的数据集成到下游系统中；
12、时间戳管理模块：利用gnss的时间戳信息，为集成后的数据添加时间标签；
13、同步误差校正模块：实时监测数据同步的误差，当同步误差超过预设阈值时，通过调整系统的工作时钟或采用其他校正算法，使同步误差收敛至预设范围内；
14、数据输出模块：将同步校正后的数据输出至需要的数据使用方。
15、本专利技术的有益效果：本专利技术在上游系统收到指令后，按照下游系统指令提取数据包头中的搜索关键字，匹配系统中对应的数据，再按照集成的需求将数据进行查找和梳理，识别数据的业务类型，采用双发系统可识别的特殊格式进行数据转换，然后将转换的数据同步到下游系统。
16、本专利技术的异步系统数据集成同步方法通过集成多种数据同步技术，实现了高效、准确的数据同步。该方法不仅提高了数据同步的精确性，还降低了系统资源的消耗，提高了系统的整体性能。此外，本专利技术还具备良好的可扩展性和灵活性，可适应不同规模和复杂度的数据处理需求。与现有技术相比，本专利技术提出的技术方案中建立了拉取试的方法用于描述对象的变化信息，采用了中间数据转换的方式进行双发系统之别，避免了双发系统数据模型不一致、数据类型不一致等问题。在这种机制下我们用中间数据格式以及拉取试调用等方式实现了异步系统数据同步的目标。
本文档来自技高网...【技术保护点】
1.一种拉取试的异步系统数据集成同步方法，其特征在于，定时触发下游系统发送指令集；上游系统接收指令集后，记录下游系统的指令集顺序，按时间排序得到处理队列；上游系统按照处理队列提取自身数据包头中的搜索关键字，匹配下游系统中对应的数据，再按照集成需求查找和梳理数据，识别数据的业务类型；上游系统采用上游系统与下游系统间独特的加密方法进行数据转换，将转换的数据同步到下游系统。
2.根据权利要求1所述的拉取试的异步系统数据集成同步方法，其特征在于，所述上游系统中的数据为通过接收来自不同数据源的数据集成而得。
3.根据权利要求1所述的拉取试的异步系统数据集成同步方法，其特征在于，所述下游系统中的数据为通过接收来自不同数据源的数据集和上游系统的数据，通过通用数据集成技术，集成到下游系统中。
4.根据权利要求1、2或3所述的拉取试的异步系统数据集成同步方法，其特征在于，所述定时触发通过时间戳管理实现，所述时间戳管理利用全球定位系统GNSS的时间戳信息，为上游系统中数据以及下游系统中数据添加时间标签，以实现数据的时间同步。
5.根据权利要求4所述的拉
6.根据权利要求5所述的拉取试的异步系统数据集成同步方法，其特征在于，所述下游系统发送的指令集，为通过加密算法获得，且被上游系统独立识别；所述指令集按照时间顺序发送，指令集中的数据采用选择排序法排序。
7.一种拉取试的异步系统数据集成同步系统，其特征在于，所述拉取试的异步系统数据集成同步系统包括：
...【技术特征摘要】
1.一种拉取试的异步系统数据集成同步方法，其特征在于，定时触发下游系统发送指令集；上游系统接收指令集后，记录下游系统的指令集顺序，按时间排序得到处理队列；上游系统按照处理队列提取自身数据包头中的搜索关键字，匹配下游系统中对应的数据，再按照集成需求查找和梳理数据，识别数据的业务类型；上游系统采用上游系统与下游系统间独特的加密方法进行数据转换，将转换的数据同步到下游系统。
2.根据权利要求1所述的拉取试的异步系统数据集成同步方法，其特征在于，所述上游系统中的数据为通过接收来自不同数据源的数据集成而得。
3.根据权利要求1所述的拉取试的异步系统数据集成同步方法，其特征在于，所述下游系统中的数据为通过接收来自不同数据源的数据集和上游系统的数据，通过通用数据集成技术，集成到下游系统中。
4.根据权利要求1、2或3所述的拉取试的异步系统数据集成同...
【专利技术属性】
技术研发人员：祝艳林，张宁，褚艳红，马江飞，贾占友，巨少刚，曲彦增，张文轩，
申请(专利权)人：一重集团黑龙江专项装备科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。