数据处理方法及数据处理系统技术方案

本发明专利技术提供了一种数据处理方法及数据处理系统，该方法应用于数据处理系统，数据处理系统包括至少两个工作节点，该方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将输出数据格式与响应数据格式进行匹配，确定目标数据格式；基于目标数据格式传输数据。本发明专利技术实施例中，数据处理系统中的各个工作节点在进行数据传输之前，先基于本发明专利技术提供的通讯机制确定工作节点之间的支持的数据格式，从而确定出相邻工作节点均支持的目标数据格式，如此一来，在进行数据传输时，将数据转换为目标数据格式进行传输，从而在一定程度上减少因各个工作节点数据格式不匹配造成的数据处理失败，进而提高了数据处理的效率。的效率。的效率。

【技术实现步骤摘要】
数据处理方法及数据处理系统


[0001]本专利技术涉及数据处理
，特别是涉及一种数据处理方法及数据处理系统。

技术介绍

[0002]在数据处理
， 数据处理系统的各个工作节点所支持的数据格式可能是不同的，这导致对预测数据进行数据分析之前，需要通过较为繁琐的操作，确定各个工作节点支持的数据格式，并将预测数据对应的数据格式转换为各个工作节点所共同支持的数据格式，这降低了数据处理的效率。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种数据处理方法及数据处理系统，解决现有的数据处理的效率较低的技术问题。
[0004]为了解决上述技术问题，本专利技术实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括至少两个工作节点，所述方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；基于所述目标数据格式传输数据。
[0005]可选地，所述将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式包括：确定与所述响应数据格式相匹配的输出数据格式；从所述相匹配的输出数据格式中确定所述目标数据格式。
[0006]可选地，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：获取显示数据配置；从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。
[0007]可选地，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。
[0008]可选地，所述方法包括：响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。
[0009]可选地，所述方法包括：所述数据处理系统还包括中间节点，所述基于所述目标数据格式传输数据之前，所述方法还包括：
将所述第二工作节点的响应数据格式发送至所述中间节点；将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；将所述中间节点的响应数据格式发送至所述第一工作节点；将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。
[0010]可选地，所述基于所述目标数据格式传输数据包括：将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。
[0011]可选地，所述将所述输出数据格式与所述响应数据格式进行匹配之后，所述方法还包括：在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。
[0012]可选地，所述方法还包括：获取当前工作节点兼容的数据格式；根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；根据所述转换方式，更新所述当前工作节点。
[0013]可选地，所述方法还包括：在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。
[0014]本专利技术实施例还提供了一种数据处理系统，所述数据处理系统包括至少两个工作节点，所述系统包括：第一获取模块，用于获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；第一匹配模块，用于将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；传输模块，用于基于所述目标数据格式传输数据。
[0015]可选地，所述第一匹配模块，具体用于：确定与所述响应数据格式相匹配的输出数据格式；从所述相匹配的输出数据格式中确定所述目标数据格式。
[0016]可选地，所述第一匹配模块，还具体用于：获取显示数据配置；从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。
[0017]可选地，所述第一匹配模块，还具体用于：根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。
[0018]可选地，所述数据处理系统，还包括：响应模块，用于响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；第一确定模块，用于将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。
[0019]可选地，所述数据处理系统还包括中间节点，所述数据处理系统还包括：第一发送模块，用于将所述第二工作节点的响应数据格式发送至所述中间节点；第二确定模块，用于将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；第二发送模块，用于将所述中间节点的响应数据格式发送至所述第一工作节点；第三确定模块，用于将所述第一工作节点的输出数据格式与所述中间节点的响应数据格式进行匹配，确定所述中间节点与所述第一工作节点进行通信的第二中间数据格式。
[0020]可选地，所述传输模块，具体用于：将所述第一工作节点中的待处理数据以所述第二中间数据格式将数据传输至所述中间节点；控制所述中间节点以所述第一中间数据格式将数据传输至所述第二工作节点；控制所述第二工作节点以所述目标数据格式将数据传输至所述第一工作节点。
[0021]可选地，所述数据处理系统还包括：第三发送模块，用于在所述输出数据格式与所述响应数据格式不匹配的情况下，发送报错信息。
[0022]可选地，所述数据处理系统还包括：第二获取模块，用于获取当前工作节点兼容的数据格式；第四确定模块，用于根据所述当前工作节点兼容的数据格式，以及待扩展数据格式，确定所述待扩展数据格式与所述当前工作节点兼容的数据格式的转换方式；更新模块，用于根据所述转换方式，更新所述当前工作节点。
[0023]可选地，所述数据处理系统还包括：第五确定模块，用于在所述数据处理系统新增工作节点的情况下，确定新增工作节点对应的上游工作节点和下游工作节点；第六确定模块，用于将所述新增工作节点的响应数据格式确定为所述上游工作节点对应的输出数据格式，将所述新增工作节点的输出数据格式确定为所述下游工作节点对应的响应数据格式。
[0024]本专利技术实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的数据处理方法。...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括至少两个工作节点，所述方法包括：获取第一工作节点的响应数据格式，以及第二工作节点的输出数据格式；将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式；基于所述目标数据格式传输数据。2.根据权利要求1所述的方法，其特征在于，所述将所述输出数据格式与所述响应数据格式进行匹配，确定目标数据格式包括：确定与所述响应数据格式相匹配的输出数据格式；从所述相匹配的输出数据格式中确定所述目标数据格式。3.根据权利要求2所述的方法，其特征在于，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：获取显示数据配置；从所述相匹配的输出数据格式中选择出满足所述显示数据配置的数据格式，作为所述目标数据格式。4.根据权利要求2所述的方法，其特征在于，所述从所述相匹配的输出数据格式中确定所述目标数据格式包括：根据待处理数据量和/或响应时间配置，从所述相匹配的输出数据格式中确定所述目标数据格式。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法包括：响应所述第一工作节点接收到的服务请求，所述服务请求包括待处理数据以及要求反馈的数据格式；将所述服务请求包含的要求反馈的数据格式确定为所述第一工作节点的响应数据格式。6.根据权利要求5所述的方法，其特征在于，所述数据处理系统还包括中间节点，所述基于所述目标数据格式传输数据之前，所述方法还包括：将所述第二工作节点的响应数据格式发送至所述中间节点；将所述中间节点的输出数据格式与所述第二工作节点的响应数据格式进行匹配，确定所述中间节点与所述第二工作节点进行通信的第一中间数据格式；将所述中间节点的响应数据格式发送至所述第一工作节...

【专利技术属性】
技术研发人员：吴晨，路明奎，方磊，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：