基于跨系统数据传输方法技术方案

本发明专利技术公开了一种基于跨系统数据传输方法，该方法包括：在源系统处针对每个数据类型设置唯一标识符；根据所述源系统与目的系统的数据类型对应关系，对所述目的系统中与所述源系统中数据类型对应的数据类型设置与所述源系统中数据类型相同的标识符；建立转发平台，该转发平台能够将接收到的数据在源系统数据格式和目的系统数据格式之间转换；将所述源系统数据传输至所述转发平台；以及所述转发平台将从所述源系统接收到的数据的格式转换为目的系统数据格式后发送至所述目的系统。通过上述技术方案，通过转发平台进行数据格式转换，实现在具有不同数据格式的系统之间的数据传输。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体地，涉及一种。
技术介绍
现有技术条件下，具有不同逻辑的系统之间的数据传输只能采用直连的方式。这 样的方式对于系统的性能要求较高，因为系统需要对发送或接收到的数据进行大量的转换 工作才能使用或存储。并且，还需要对接口开发或匹配逻辑进行大量的技术调整。这样的 方式设计两个系统数据关系的实时转换和对应，工作量大，传输过程中出错概率高。 针对上述问题，现有技术中尚无良好解决方案。
技术实现思路
本专利技术的目的是提供一种方法，通过该方法能够实现跨系统的数据传输。 为了实现上述目的，本专利技术提供一种，该方法包括：在源 系统处针对每个数据类型设置唯一标识符；根据源系统与目的系统的数据类型对应关系， 对目的系统中与源系统中数据类型对应的数据类型设置与该源系统中数据类型相同的标 识符；建立转发平台，该转发平台能够将接收到的数据在源系统数据格式和目的系统数据 格式之间转换；将所述源系统数据传输至所述转发平台；以及所述转发平台将从所述源系 统接收到的数据的格式转换为目的系统数据格式后发送至所述目的系统。 进一步地，该方法还包括：所述目的系统接收到来自转发平台的数据后，向所述转 发平台发送应答。 进一步地，该方法还包括：所述目的系统接收到来自转发平台的数据后，所述目的 系统查询所接收到的数据对应的标识符；以及当所述目的系统中没有对应的标识符时，存 储所接收到的数据和标识符。 进一步地，该方法还包括：所述目的系统接收到来自转发平台的数据后，所述目的 系统查询所接收到的数据对应的标识符；以及当所述目的系统中存在对应标识符时，对应 该标识符存储所接收到的数据。 进一步地，该方法还包括：将所述目的系统将接收到的数据传输至所述转发平台； 所述转发平台将从所述目的系统接收到的数据的格式转换为源系统数据格式后发送至所 述源系统；以及所述源系统根据接收到的数据执行数据校验。 进一步地，该方法还包括：将每个步骤划分为多个子任务节点；分配完成子任务 节点所需的运算到所述计算机集群中的多个计算机节点进行运算处理；保存所述多个计算 机节点运算处理的状态快照；以及当所述子任务节点中断时，根据所述状态快照恢复中断 前的子任务节点状态，以及继续执行中断的子任务节点。 进一步地，该方法还包括：对所述多个计算机节点进行心跳检测；以及将分配到 心跳检测无响应的计算机节点的运算再分配到其他计算机节点。 进一步地，该方法还包括：将所述多个计算机节点的运算处理结果保存到与所述 计算机集群中的所有计算机节点连接的共享存储器。 进一步地，该方法还包括：当执行当前子任务节点的所有计算机节点运算处理完 成后，对完成下一个子任务节点所需的运算进行分配。 进一步地，该方法还包括：根据贪婪算法分配所述完成子任务节点所需的运算。 通过上述技术方案，通过转发平台进行数据格式转换，实现在具有不同数据格式 的系统之间的数据传输。 本专利技术的其他特征和优点将在随后的【具体实施方式】部分予以详细说明。【附图说明】 附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具 体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中： 图1是根据本专利技术实施方式的流程图； 图2是根据本专利技术实施方式的流程图； 图3是根据本专利技术示例性实施方式的流程图； 图4是根据本专利技术示例性实施方式的流程图。【具体实施方式】 以下结合附图对本专利技术的【具体实施方式】进行详细说明。应当理解的是，此处所描 述的【具体实施方式】仅用于说明和解释本专利技术，并不用于限制本专利技术。 图1是根据本专利技术实施方式的流程图。如图1所示，本 专利技术实施方式提供了一种，该方法包括：S101，在源系统处针对每 个数据类型设置唯一标识符；S102,根据所述源系统与目的系统的数据类型对应关系，对所 述目的系统中与所述源系统中数据类型对应的数据类型设置与所述源系统中数据类型相 同的标识符；S103,建立转发平台，该转发平台能够将接收到的数据在源系统数据格式和目 的系统数据格式之间转换；S104,将所述源系统数据传输至所述转发平台；以及S105,所述 转发平台将从所述源系统接收到的数据的格式转换为目的系统数据格式后发送至所述目 的系统。通过上述技术方案，通过转发平台进行数据格式转换，实现在具有不同数据格式的 系统之间的数据传输。 在实施方式中，方法还可以包括：所述目的系统接收到来自转发平台的数据后，向 所述转发平台发送应答。然后，转发平台可以将接收到的应答以源系统数据格式向源系统 发送，以报告数据发送成功。对于目的系统需要对接收到的数据进行判断以进行相应的处 理。在实施方式中，目的系统接收到来自转发平台的数据后，目的系统可以查询所接收到的 数据对应的标识符；以及当所述目的系统中没有对应的标识符时，目的系统可以存储所接 收到的数据和标识符。在可替换的实施方式中，当目的系统中存在对应标识符时，目的系统 可以对应该标识符存储所接收到的数据。 图2是根据本专利技术实施方式的流程图。如图2所示，在 实施方式中，本专利技术提供的跨系统数据传输方法可以包括校验步骤：S201，将所述目的系统 将接收到的数据传输至所述转发平台；S202,所述转发平台将从所述目的系统接收到的数 据的格式转换为源系统数据格式后发送至所述源系统；以及S203,所述源系统根据接收到 的数据执行数据校验。通过上述过程，目的系统可以将接收到的数据返送回源系统，以由源 系统对数据的正确性进行校验。 图3是根据本专利技术示例性实施方式的流程图。如图3所 示，本专利技术实施方式提供的，可以包括：S301，将每个步骤划分为 多个子任务节点；S302,分配完成子任务节点所需的运算到所述计算机集群中的多个计算 机节点进行运算处理；S303,保存所述多个计算机节点运算处理的状态快照；以及S304,当 所述子任务节点中断时，根据所述状态快照恢复中断前的子任务节点状态，以及继续执行 中断的子任务节点。 通过上述技术方案，将完成一个任务链步骤所需的运算分配到多个计算机节点进 行运算处理，能够将运算量化整为零，提高任务运行速度；通过保存运算处理的状态快照， 在任务链步骤因故中断时，能够将任务链步骤恢复到中断前状态，从而从中断前状态开始 继续执行任务链。因此，通过上述技术方案，当任务链步骤或节点失败时，能够从失败的步 骤或节点继续执行任务链，而无需从初始状态重复执行，提高任务处理效率、降低资源浪 费。 在优选的实施方式中，上述方法还可以包括：对多个计算机节点进行心跳检测； 以及将分配到心跳检测无响应的计算机节点的运算再分配到其他计算机节点。通过心跳检 测可以确定进行运算的计算机节点的工作状态。为了确保分配到每个计算机节点的运算都 能够完成，当出现心跳检测无响应的计算机时，可以将分配到该计算机节点的运算重新分 配到其他心跳检测正常的计算机节点。优选地，重新分配到的计算机节点可以是已完成被 分配的运算的计算机节点，这样可以充分利用空闲计算资源完成运算。 为了使完成任务链中每个任务节点或子任务节点的运算的计算机节点能够获取 运算所需的数据，在实施方式中，方法还可以包括：将所述多个计算机节点的运算处理结果 保存到与所述计算机集群中的所有计算机节点连接的共享存储器。这样所有计算机本文档来自技高网...

【技术保护点】
一种基于跨系统数据传输方法，其特征在于，该方法包括：在源系统处针对每个数据类型设置唯一标识符；根据所述源系统与目的系统的数据类型对应关系，对所述目的系统中与所述源系统中数据类型对应的数据类型设置与所述源系统中数据类型相同的标识符；建立转发平台，该转发平台能够将接收到的数据在源系统数据格式和目的系统数据格式之间转换；将所述源系统数据传输至所述转发平台；以及所述转发平台将从所述源系统接收到的数据的格式转换为目的系统数据格式后发送至所述目的系统。

【技术特征摘要】

【专利技术属性】
技术研发人员：谭映忠，慕鹏伟，刘畅，刘新宇，王亮，关丹凤，陈璇，郭磊，巴志欣，
申请(专利权)人：神华集团有限责任公司，
类型：发明
国别省市：北京;11