一种灵活细粒度数据集成处理方法、系统和电子设备技术方案

本申请提供了一种灵活细粒度数据集成处理方法、系统和电子设备，包括：每个数据处理单元向消息服务单元发送订阅信息和第一消息信息；消息服务单元接收订阅信息后生成订阅列表，在接收第一消息信息后，根据第一消息信息中的消息主题，将第一消息信息加入目标消息队列；消息服务单元基于处理优先级和订阅列表将目标消息队列中的第一消息信息发送给目标数据处理单元；若数据处理单元接收到第一消息信息，调用对应的处理功能进行处理，并将其封装为包含消息主题的第二消息信息，将第二消息信息作为新的第一消息信息发送给消息服务单元。通过上述方法，能够根据主题订阅关系实现细粒度、异步的数据集成处理，有助于提高数据处理效率。效率。效率。

【技术实现步骤摘要】
一种灵活细粒度数据集成处理方法、系统和电子设备


[0001]本申请涉及数据处理
，具体而言，涉及一种灵活细粒度数据集成处理方法、系统和电子设备。

技术介绍

[0002]计算流体动力学仿真试验系统可以通过模拟仿真试验分析工业设计方案的流体动力学特性，进而改进优化设计方案。计算流体动力学仿真试验系统在汽车、船舶、航空航天等工业设计领域取得了广泛应用。
[0003]专利技术人在研究中发现，现有技术中计算流体动力学仿真试验系统中各子系统集成数据处理一般通过本地过程调用或远程过程调用等方式来实现子系统之间的接口调用与信息交互，数据交互以文件方式实现，难以实现子系统之间灵活的细粒度、异步的数据处理交互流程，数据处理效率低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种灵活细粒度数据集成处理方法、系统和电子设备，可以实现计算流体动力学仿真试验系统子系统间灵活的细粒度、异步的数据集成处理流程，以解决数据集成处理效率低的问题。
[0005]第一方面，本申请实施例提供了一种灵活细粒度数据集成处理方法，所述方法应用于计算流体动力学仿真试验系统，所述系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，所述方法包括：
[0006]针对每个数据处理单元，所述数据处理单元向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；
[0007]所述消息服务单元在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；
[0008]所述消息服务单元在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；
[0009]所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所
述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；
[0010]针对每个数据处理单元，当所述数据处理单元接收到所述消息服务单元发送的所述第一消息信息时，所述数据处理单元调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。
[0011]在一个可行的实施方案中，在所述数据处理单元向所述消息服务单元发送目标信息之前，所述方法还包括：
[0012]针对每个数据处理单元，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；
[0013]基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。
[0014]在一个可行的实施方案中，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中，包括：
[0015]针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。
[0016]在一个可行的实施方案中，为所述控制消息队列和所述数据消息队列分别设置不同的处理线程和处理优先级，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元，包括：
[0017]判断所述控制消息队列中是否存在所述第一消息信息；
[0018]若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；
[0019]若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。
[0020]第二方面，本申请实施例还提供了一种灵活细粒度数据集成处理系统，所述灵活细粒度数据集成处理系统应用于计算流体动力学仿真试验系统中，灵活细粒度数据集成处理系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，灵活细粒度数据集成处理系统包括：
[0021]每个所述数据处理单元，用于向所述消息服务单元发送目标信息；所述目标信息
包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；
[0022]所述消息服务单元，用于在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；
[0023]所述消息服务单元，用于在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种灵活细粒度数据集成处理方法，其特征在于，所述方法应用于计算流体动力学仿真试验系统，所述系统包括一个消息服务单元和若干数据处理单元，所述消息服务单元通过数据总线分别与每个所述数据处理单元连接，所述方法包括：针对每个数据处理单元，所述数据处理单元向所述消息服务单元发送目标信息；所述目标信息包括订阅信息和第一消息信息，所述订阅信息中包括消息主题、所述数据处理单元与所述消息主题的订阅关系，所述订阅关系和所述消息主题均是根据所述数据处理单元的处理功能预先定义的，所述第一消息信息中包括：第一消息、所述第一消息的消息主题；所述若干数据处理单元包括：项目管理单元、网格生成单元、求解器单元、后处理分析单元、图形用户界面单元；所述消息服务单元在接收到所述订阅信息后，对所述订阅信息进行存储，以生成每个所述数据处理单元的订阅列表；所述订阅列表中包括所述数据处理单元、所述消息主题、所述数据处理单元与所述消息主题的订阅关系；所述消息服务单元在接收到所述第一消息信息后，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中；所述目标消息队列包括控制消息队列和数据消息队列，所述消息主题的类型分为控制类型和数据类型，所述控制消息队列中的第一消息信息的消息主题为控制类型，所述数据消息队列中第一消息信息的消息主题为数据类型，所述控制消息队列的处理优先级高于所述数据消息队列的处理优先级；所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元；所述目标数据处理单元为所述若干数据处理单元中的至少一个；针对每个数据处理单元，当所述数据处理单元接收到所述消息服务单元发送的所述第一消息信息时，所述数据处理单元调用与所述第一消息信息中的消息主题对应的处理功能，对所述第一消息信息中的第一消息进行处理，并将处理后的第一消息封装为携带有消息主题的第二消息信息，以将所述第二消息信息重新作为新的第一消息信息发送给所述消息服务单元。2.根据权利要求1所述的方法，其特征在于，在所述数据处理单元向所述消息服务单元发送目标信息之前，所述方法还包括：针对每个数据处理单元，基于所述数据处理单元中预设的所述处理功能，确定每个所述处理功能针对的目标消息主题；每个所述处理功能用于处理携带有所述目标消息主题的消息信息，所述目标消息主题为所述消息主题中的至少一个；基于该数据处理单元中每个处理功能针对的目标消息主题，生成所述订阅信息，以将所述订阅信息发送到所述消息服务单元。3.根据权利要求1所述的方法，其特征在于，根据所述第一消息信息中的第一消息的消息主题，将所述第一消息信息加入到目标消息队列中，包括：针对每个所述第一消息信息，当所述第一消息信息中的消息主题的类型为控制类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入所述控制消息队列；或者，当所述第一消息信息中的信息主题的类型为数据类型时，基于所述第一消息信息的发送时间，将所述第一消息信息加入数据消息队列。
4.根据权利要求3所述的方法，其特征在于，为所述控制消息队列和所述数据消息队列分别设置不同的处理线程，所述消息服务单元基于所述处理优先级、所述订阅列表中每个数据处理单元与所述消息主题的订阅关系，将所述目标消息队列中的第一消息信息依次发送给目标数据处理单元，包括：判断所述控制消息队列中是否存在所述第一消息信息；若所述控制消息队列中存在至少一个第一消息信息，则针对每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第一数据处理单元；所述第一数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元；若所述控制消息队列中不存在所述第一消息信息，则针对所述数据消息队列中的每个第一消息信息，基于所述第一消息信息中的消息主题、所述订阅列表中的订阅关系，将所述第一消息信息发送给第二数据处理单元；所述第二数据处理单元为与所述第一消息信息中的消息主题存在订阅关系的数据处理单元，所述第一数据处理单元、所述第二数据处理单元均属于所述目标数据处理单元。5.一种灵活细粒度数据集成处理系统，其特征在于，所述灵活细粒度数据集成处理系统应用于计算流体动力学仿真试验系统中，灵活细粒度数据集成处理系统包括一个消息服务单元和若干数...

【专利技术属性】
技术研发人员：牟泓宇，蒯亮，淮晓永，加舒娟，
申请(专利权)人：中国电子信息产业集团有限公司第六研究所，
类型：发明
国别省市：