数据处理方法、装置、分发服务器、系统及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、分发服务器、系统及存储介质。该方法包括：获取实体设备的上报数据，并确定与所述上报数据关联的规则；按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。上述技术方案通过将上报数据按照实体设备和规则两个维度分发至不同的主题分区，将规则的处理压力分给各执行服务器，解决了数据倾斜、单个服务器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。

【技术实现步骤摘要】
数据处理方法、装置、分发服务器、系统及存储介质
[0001]本申请是申请日为2022年04月13日、申请号为202210381778.6、专利技术名称为“数据处理方法、装置、分发服务器、系统及存储介质”的专利申请的分案申请。


[0002]本专利技术实施例涉及数据处理
，尤其涉及一种数据处理方法、装置、分发服务器、系统及存储介质。

技术介绍

[0003]在物联网中常见的一种业务场景：设备上报数据到云端，云端将数据分发给多台服务器；上报的数据匹配大量的规则，对于一台服务器，计算其分发到的数据是否满足相关规则中的条件，如果满足则执行相关规则中指定的操作。在上述过程中，不同设备上报的数据对应不同的分区，为了保证各设备上报数据的顺序处理，云端需要通过特定分区算法将数据分发到特定的分区上。
[0004]由于每个设备上报数据的频率不同，比如移动侦测设备可能一直在运行状态，只要一直有移动物体存在会一直向云端上报设备当前数据，也就是说一些设备作为热点设备，其频繁上报数据会导致数据倾斜，即某个分区的消息较多，这些分区被分配给某台服务器之后，会导致这台服务器处理规则的时候占用更高的计算资源、负载过重，而其他的服务器资源消耗较低、负载较轻，严重时会影响到这台服务器的正常运行。在大规模服务器集群部署的情况下，这种数据倾斜导致业务不稳定的问题更加明显。

技术实现思路

[0005]本专利技术提供了一种数据处理方法、装置、分发服务器、系统及存储介质，以实现合理分发上报数据及规则，平衡执行服务器处理规则的压力，进而提高业务稳定性。
[0006]根据本专利技术实施例的一方面，提供了一种数据处理方法，包括：
[0007]获取实体设备的上报数据，并确定与所述上报数据关联的规则；
[0008]按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。
[0009]根据本专利技术实施例的另一方面，提供了一种数据处理装置，包括：
[0010]获取模块，设置为获取实体设备的上报数据，并确定与所述上报数据关联的规则；
[0011]分发模块，设置为按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。
[0012]根据本专利技术实施例的另一方面，提供了一种分发服务器，所述分发服务器包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理方法。
[0016]根据本专利技术实施例的另一方面，提供了一种数据处理系统，其特征在于，包括：实体设备、执行服务器以及本专利技术任一实施例所述的分发服务器；
[0017]所述实体设备用于向所述分发服务器发送上报数据；
[0018]所述执行服务器用于处理分发至相应的主题分区的上报数据以及规则。
[0019]根据本专利技术实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理方法。
[0020]本专利技术实施例提供了一种数据处理方法、装置、分发服务器、系统及存储介质。首先获取实体设备的上报数据，并确定与所述上报数据关联的规则；然后按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。上述技术方案将上报数据按照实体设备和规则两个维度，分发至不同的主题分区，将规则的处理压力分给各执行服务器，解决了数据倾斜、单个服务器的负载压力过大带来的业务不稳定问题。
[0021]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是根据本专利技术一实施例提供的一种数据处理方法的流程图；
[0024]图2是根据本专利技术另一实施例提供的一种数据处理方法的流程图；
[0025]图3是根据本专利技术一实施例提供的一种基于实体设备划分主题分区的示意图；
[0026]图4是根据本专利技术一实施例提供的一种将上报数据和规则分发至主题分区的示意图；
[0027]图5是根据本专利技术一实施例提供的一种数据处理装置的结构示意图；
[0028]图6是根据本专利技术一实施例提供的一种数据处理系统的结构示意图；
[0029]图7是根据本专利技术一实施例提供的一种执行服务器处理上报数据和规则的示意图；
[0030]图8示出了可以用来实施本专利技术的实施例的分发服务器的结构示意图。
具体实施方式
[0031]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0032]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0034]为了更好地理解本专利技术实施例，下面对相关术语进行介绍。
[0035]规则：业务的执行规则，可用于对接内外部服务，由预先定义好的规则结构(条件，动作，关系)组成，产生上报事件时，首先判断业务数据满足哪些规本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取实体设备的上报数据，并确定与所述上报数据关联的规则；按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，其中，每个所述组合包括一个实体设备的上报数据与所关联的单个规则，每个所述主题分区对应一个执行服务器，所述执行服务器用于处理对应所述主题分区中的上报数据以及规则；所述按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区，包括：根据各所述执行服务器的处理能力确定各所述执行服务器的权值；根据各所述执行服务器的权值，将各所述组合轮流分发至各所述执行服务器的主题分区；根据各所述执行服务器的权值，将各所述组合轮流分发至各所述执行服务器的主题分区，包括：轮流将每个执行服务器作为目标服务器，并将与所述目标服务器的权值相符的数量的组合分发至所述目标服务器的主题分区，直至各所述组合均分发至相应的主题分区。2.根据权利要求1所述的方法，其特征在于，在按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区之前，还包括：根据以下至少一项对所述上报数据以及所述规则进行过滤：所述设定分发策略的开关状态；过滤名单；设定实体号；设定数据类型。3.根据权利要求1所述的方法，其特征在于，所述获取实体设备的上报数据，包括：基于实体设备划分主题分区，其中，每个主题分区用于存储一个实体设备的上报数据；从各所述主题分区中读取所述上报数据。4.根据权利要求1所述的方法，其特征在于，还包括：按照设定数据结构记录所述上报数据和所述规则的处理信息；其中，所述处理信息包括以下至少一项：链路追踪标识；上报事件标识；实体号；设备类型标识；数据名称；数据结构；上报数据点；规则处理时间；设备上报时间；规则分发时间；处理器类型；数据属性。5.一种数据处理装置，其特征在于，包括：获取模块，设置为获取实体设备的上报数据，并确定与所述上报数据关联的规则...

【专利技术属性】
技术研发人员：陈志伟，
申请(专利权)人：杭州涂鸦信息技术有限公司，
类型：发明
国别省市：