数据处理方法、设备及存储介质技术

技术编号:38414724 阅读:11 留言:0更新日期:2023-08-07 11:18
本申请提供一种数据处理方法、设备及存储介质。该方法包括:接收用户在规则配置界面输入的规则信息,规则信息包含用户ID、模数及业务规则;根据用户ID及模数,确定用户ID对应的第一计算任务实例所属组的ID;查询计算任务实例表中是否存在用户ID;若存在用户ID,判断第一计算任务实例所属组的ID与第二计算任务实例所属组的ID是否一致;若不一致,在第二计算任务实例中删除用户ID,并将用户ID加入至第一计算任务实例;通过用户ID对应的第一计算任务实例,对业务规则进行控制,以根据业务规则对数据进行处理。本申请的方法对多个计算任务实例实现了用户ID的均衡分配,提高了资源利用率。率。率。

【技术实现步骤摘要】
数据处理方法、设备及存储介质


[0001]本申请涉及工业互联网领域,尤其涉及一种数据处理方法、设备及存储介质。

技术介绍

[0002]随着工业互联网时代的到来,物联网技术被广泛推广和应用。规则引擎作为物联网平台的一个重要功能模块,通过规则引擎,物联网平台可以实时处理数据。在规则引擎的计算层,若能够根据需求分配相应的资源,对计算层进行扩容和缩容,则会有助于提高规则引擎的稳定性。
[0003]现有技术通常是对微服务或子微服务这一维度进行扩容和缩容,资源利用率较低。

技术实现思路

[0004]本申请提供一种数据处理方法、设备及存储介质,用以解决现有技术通常是对微服务或子微服务这一维度进行扩容或缩容,资源利用率较低的问题。
[0005]第一方面,本申请提供一种数据处理方法,包括:
[0006]接收用户在规则配置界面输入的规则信息,规则信息包含用户ID、模数及业务规则,模数用于表征计算任务实例的数量,计算任务实例用于控制业务规则运行;
[0007]根据用户ID及模数,确定用户ID对应的第一计算任务实例所属组的ID;
[0008]查询计算任务实例表中是否存在用户ID,计算任务实例表用于表征用户ID与第二计算任务实例所属组ID的映射关系;
[0009]若存在用户ID,判断第一计算任务实例所属组的ID与第二计算任务实例所属组的ID是否一致;
[0010]若不一致,在第二计算任务实例中删除用户ID,并将用户ID加入至第一计算任务实例;
[0011]通过用户ID对应的第一计算任务实例,对业务规则进行控制,以根据业务规则对数据进行处理。
[0012]第二方面,本申请提供一种数据处理设备,包括:
[0013]接收模块,用于接收用户在规则配置界面输入的规则信息,规则信息包含用户ID、模数及业务规则,模数用于表征计算任务实例的数量,计算任务实例用于控制业务规则运行;
[0014]处理模块,用于根据用户ID及模数,确定用户ID对应的第一计算任务实例所属组的ID;
[0015]处理模块,还用于查询计算任务实例表中是否存在用户ID,计算任务实例表用于表征用户ID与第二计算任务实例所属组ID的映射关系;
[0016]处理模块,还用于若存在用户ID,判断第一计算任务实例所属组的ID与第二计算任务实例所属组的ID是否一致;
[0017]处理模块,还用于若不一致,在第二计算任务实例中删除用户ID,并将用户ID加入至第一计算任务实例;
[0018]处理模块,还用于通过用户ID对应的第一计算任务实例,对业务规则进行控制,以根据业务规则对数据进行处理。
[0019]第三方面,本申请提供一种数据处理设备,包括:处理器、存储器,存储器中存储代码,处理器运行存储器中存储的代码,以执行如第一方面中任一项的数据处理方法。
[0020]第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面任一项的数据处理方法。
[0021]本申请提供一种数据处理方法、设备及存储介质,接收用户在规则配置界面输入的规则信息,根据规则信息中的用户ID和模数,确定用户ID对应的第一计算任务实例所属组的ID。查询计算任务实例表中是否存在该用户ID。若存在用户ID,根据计算任务实例表,获取与用户ID对应的第二计算任务实例所属组的ID,进而判断第一计算任务实例所属组的ID与第二计算任务所属组的ID是否一致。若不一致,在第二计算任务实例中删除该用户ID,并将该用户ID加入至第一计算任务实例中。通过用户ID对应的第一计算任务实例,对用户ID对应的业务规则进行控制,以根据业务规则对数据进行处理。本申请实施例的方法通过配置模数增加或减少计算任务实例的数量,提高了计算任务实例计算压力较大时的数据处理效率,也提高了计算任务实例空闲时的资源利用率。同时本申请还通过调节用户ID所处的计算任务实例,实现了多个计算任务实例中用户ID的均衡分配,在有限的计算资源下,进一步提高了资源利用率。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
[0023]图1为本申请实施例提供的一种规则配置界面示意图;
[0024]图2为本申请实施例提供的一种数据处理方法流程图一;
[0025]图3为本申请实施例提供的一种数据处理方法流程图二;
[0026]图4为本申请实施例提供的一种数据处理设备示意图一;
[0027]图5为本申请实施例提供的一种数据处理设备示意图二。
[0028]通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0030]需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人
信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
[0031]首先对本申请所涉及的名词进行解释:
[0032]规则引擎:由推理引擎发展而来,是一种嵌入在应用程序中的组件,实现了将业务决策从应用程序代码中分离出来,并使用预定义的语义模块编写业务决策。接受数据输入,解释业务规则,并根据业务规则做出业务决策。
[0033]Flink:是一种开源流处理框架,其核心使用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。
[0034]随着工业互联网时代的到来,物联网技术被广泛推广和应用。规则引擎作为物联网平台的一个重要功能模块,是处理复杂逻辑的引擎,提供对感知层数据的解析、筛选和转发等操作,将业务逻辑与底层数据逻辑相解耦。通过规则引擎,物联网平台可以实时处理数据,并将上游的数据实时流转到相应的下游模块,也可以产生动态的联动。流转的信息都是通过消息进行传播,消息的流转实现对物品的智能化感知以及联动。按照逻辑对整体流程进行划分,大致可分为计算和消费两个层面。其中,计算主要是根据规则进行筛选等工作,消费是根据要求将消息流转到具体的消息中间件或调用具体的第三方客户端。在计算层,如果能够根据需求分配资源,并且本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:接收用户在规则配置界面输入的规则信息,所述规则信息包含用户ID、模数及业务规则,所述模数用于表征计算任务实例的数量,所述计算任务实例用于控制所述业务规则运行;根据所述用户ID及所述模数,确定所述用户ID对应的第一计算任务实例所属组的ID;查询计算任务实例表中是否存在所述用户ID,所述计算任务实例表用于表征用户ID与第二计算任务实例所属组ID的映射关系;若存在所述用户ID,判断所述第一计算任务实例所属组的ID与所述第二计算任务实例所属组的ID是否一致;若不一致,在所述第二计算任务实例中删除所述用户ID,并将所述用户ID加入至所述第一计算任务实例;通过所述用户ID对应的第一计算任务实例,对所述业务规则进行控制,以根据所述业务规则对数据进行处理。2.根据权利要求1所述的方法,其特征在于,所述根据所述用户ID及所述模数,确定所述用户ID对应的第一计算任务实例所属组的ID,包括:对所述用户ID及所述模数进行取模运算以获取模值,将所述模值作为所述第一计算任务实例所属组的ID。3.根据权利要求2所述的方法,其特征在于,所述查询计算任务实例表中是否存在所述用户ID,包括:若不存在所述用户ID,将所述用户ID加入至所述第一计算任务实例。4.根据权利要求1或3所述的方法,其特征在于,所述将所述用户ID加入至所述第一计算任务实例之后,还包括:在所述计算任务实例表中生成所述用户ID与所述第一计算任务实例所属组ID的映射关系。5.根据权利要求1所述的方法,其特征在于,所述在所述第二计算任务实例中删除所述用户ID之后,还包括:在所述计算任务实例表中删除所述用户ID与所述第二计算任务实例所属组ID的映射关系。6.根据权利要求5所述的方法,其特征在于,所述在所述第二计算任务实例中删除所述用户ID之前,还包括:判断所述第二计算任务实例中是否存在处于启用状态的业务规则对...

【专利技术属性】
技术研发人员:李研何非蒋维苏宇
申请(专利权)人:联通数字科技有限公司联通物联网有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1