数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取来自多个系统的测控数据；根据预先设置的配置信息对测控数据进行分析，以识别测控数据中的依赖关系、并获取测控数据的时序信息；根据测控数据的依赖关系，对测控数据进行聚类操作，以生成无耦合关系的数据；基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据；接收各数据处理节点的数据处理结果，根据时序信息将数据处理结果按序输出。通过本发明专利技术，可以提高数据并行处理的正确性和高效性。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术涉及数据处理领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
随着我国航天工程的不断推进，航天任务密度日益增高，飞行测控任务日趋复杂，数据下行码速率呈数量级增长。为了保证测控系统对飞行过程状态快速判断及精准控制，对数据处理的实时性提出了很高的要求，而受计算机硬件性能和资源的限制，为了提高处理性能，通常采用并行处理技术。现代航天工程的系统组成规模十分庞大，内部按照业务划分为多个分系统，分系统内部又由许多子系统组成，各个分系统、子系统间在进行协同工作时，存在很紧密的联系，导致各系统的下行测控数据中存在很强的耦合性和时序特征。目前，在大型航天测控应用软件系统内部，进行数据并行处理设计时，为了解决时序和数据偶合性问题，往往采用人工识别数据源之间的关联关系，建立静态的数据分配策略，然后进行负载均衡的并行处理。然而，人工维护成本高、难度大，需要的周期较长、效率很低；并且，由于人的差异性，人员的专业性等因素会导致识别错误和缺项，对后期静态负载均衡信息配置产生错误的输入；另外，由于人的因素与局限性，在静态数据分配时，对数据分配的划分粒度较粗，硬件系统的处理性能很难充分发挥。
技术实现思路
有鉴于此，本专利技术提供一种数据处理方法、装置、电子设备及存储介质，以解决上述提及的至少一个问题。根据本专利技术的第一方面，提供一种数据处理方法，所述方法包括：获取来自多个系统的测控数据；根据预先设置的配置信息对所述测控数据进行分析，以识别所述测控数据中的依赖关系、并获取所述测控数据的时序信息；根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据；基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据；接收各数据处理节点的数据处理结果，根据所述时序信息将数据处理结果按序输出。根据本专利技术的第二方面，提供一种数据处理装置，所述装置包括：数据获取单元，用于获取来自多个系统的测控数据；分析单元，用于根据预先设置的配置信息对所述测控数据进行分析，以识别所述测控数据中的依赖关系、并获取所述测控数据的时序信息；聚类单元，用于根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据；数据发送单元，用于基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据；数据输出单元，接收各数据处理节点的数据处理结果，根据所述时序信息将数据处理结果按序输出。根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。根据本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。由上述技术方案可知，通过根据预先设置的配置信息对获取的测控数据进行分析，识别测控数据中的依赖关系并获取所述测控数据的时序信息，之后，根据测控数据的依赖关系对所述测控数据进行聚类操作，生成无耦合关系的数据，随后基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，各数据处理节点并行处理所属数据，当接收到各数据处理节点的数据处理结果时，可以根据时序信息将数据处理结果按序输出，相比于现有技术中，本专利技术实施例无需人工识别，就可以识别测控数据中的依赖关系，从而可以提高数据并行处理的正确性和高效性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的数据处理方法的流程图；图2是根据本专利技术实施例的数据聚类示意图；图3是根据本专利技术实施例的基于索引号解析结果写入过程示意图；图4是根据本专利技术实施例的输出解析结果示意图；图5是根据本专利技术实施例的数据处理装置的结构框图；图6是根据本专利技术实施例的数据处理装置的示例结构图；图7为本专利技术实施例的电子设备600的系统构成的示意框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前通过人工识别数据源之间的关联关系，建立静态的数据分配策略，然后进行负载均衡的并行处理。然而，人工识别的效率和准确率都较低，对后期的数据处理会产生较多的错误。基于此，本专利技术实施例提供一种数据处理方案，该方案充分考虑了数据依赖、时序约束特点，无需人工识别，可以保证数据并行处理的正确性和高效性。以下结合附图来详细描述本专利技术实施例。图1是根据本专利技术实施例的数据处理方法的流程图，如图1所示，该方法包括：步骤101，获取来自多个系统的测控数据。步骤102，根据预先设置的配置信息对所述测控数据进行分析，以识别所述测控数据中的依赖关系、并获取所述测控数据的时序信息。步骤103，根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据。步骤104，基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据。步骤105，接收各数据处理节点的数据处理结果，根据所述时序信息将数据处理结果按序输出。通过根据预先设置的配置信息对获取的测控数据进行分析，识别测控数据中的依赖关系并获取所述测控数据的时序信息，之后，根据测控数据的依赖关系对所述测控数据进行聚类操作，生成无耦合关系的数据，随后基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，各数据处理节点并行处理所属数据，当接收到各数据处理节点的数据处理结果时，可以根据时序信息将数据处理结果按序输出，相比于现有技术中，本专利技术实施例无需人工识别，就可以识别测控数据中的依赖关系，从而可以提高数据并行处理的正确性和高效性。在一个实施例中，对于步骤103，可以根据所述测控数据的依赖关系，生成所述测控数据的拓扑有向图；之后，基于拓扑排序算法和拓扑有向图对存在依赖关系的数据进行聚类操作，以生成无耦合关系的数据。在具体实施过程中，基于数据依赖关系的拓扑排序算法能够保证被依赖的数据和源包先处理，有依赖前提的数据和源包后处理，有依赖关系制约的源包串行处理，无依赖关系制约的源包并行处理，主要过程包括：关系描述、数据聚类、拓扑排序，以下分别描述这三个过程。(1)关系描述将数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取来自多个系统的测控数据；/n根据预先设置的配置信息对所述测控数据进行分析，以识别所述测控数据中的依赖关系、并获取所述测控数据的时序信息；/n根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据；/n基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据；/n接收各数据处理节点的数据处理结果，根据所述时序信息将数据处理结果按序输出。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取来自多个系统的测控数据；
根据预先设置的配置信息对所述测控数据进行分析，以识别所述测控数据中的依赖关系、并获取所述测控数据的时序信息；
根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据；
基于动态负载均衡策略，将无耦合关系的数据发送给不同的数据处理节点，以使各数据处理节点并行处理所属数据；
接收各数据处理节点的数据处理结果，根据所述时序信息将数据处理结果按序输出。


2.根据权利要求1所述的方法，其特征在于，根据所述测控数据的依赖关系，对所述测控数据进行聚类操作，以生成无耦合关系的数据包括：
根据所述测控数据的依赖关系，生成所述测控数据的拓扑有向图；
基于拓扑排序算法和拓扑有向图对存在依赖关系的数据进行聚类操作，以生成无耦合关系的数据。


3.根据权利要求1所述的方法，其特征在于，获取所述测控数据的时序信息之后，所述方法还包括：
基于时序索引技术，根据所述时序信息对所述测控数据中的各数据添加数据索引号。


4.根据权利要求3所述的方法，其特征在于，根据所述时序信息将数据处理结果按序输出包括：
根据所述数据索引号将数据处理结果按序输出。


5.一种数据处理装置，其特征在于，所述装置包括：
数据获取单元，用于获取来自多个系统的测控数据；
分析单元，用于根据预先设置的配置信息对所述测控数据进行分析...

【专利技术属性】
技术研发人员：唐卿，周倜，刘晓辉，欧阳柳，王磊，张祖丽，王尧，
申请(专利权)人：中国人民解放军六三九二零部队，
类型：发明
国别省市：北京;11