System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 消息主题治理方法及其数据总线系统技术方案_技高网

消息主题治理方法及其数据总线系统技术方案

技术编号:43853933 阅读:4 留言:0更新日期:2024-12-31 18:44
本发明专利技术提供一种消息主题治理方法及其数据总线系统,方法包括:构建包括数据源、消息主题、用户、业务组、授权的Kafka消息机制,并对消息主题的元数据信息进行维护;设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理;根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作;采集消息主题的状态信息,根据预设的预警规则进行预警推送。本发明专利技术能够降低消息管理的复杂度,操作简单、可视化,适用于互联网企业对消息主题的运维管理。

【技术实现步骤摘要】

本专利技术属于信息数据,具体涉及到一种消息主题治理方法及其数据总线系统


技术介绍

1、信息时代随着互联网的蓬勃发展,计算机硬件的发展日新月异,网络、存储空间能力越来越强,用户与企业的数据交换,企业内部的数据交换变得愈发频繁与重要。数据交换有各类协议如http、https、tcp等同步方式,也有基于消息队列的异步数据交换方式。

2、互联网的发展体现在业务的快速变化迭代上,为了保证业务上的敏捷,很多时候逼迫技术上不断加快研发进度,压缩技术研发的生命周期,企业基于开发流程的优化不断提出新的技术方法论,目前基于前后端分离、领域拆分的微服务方案最为流行,这导致一个复杂业务的链路被不断拉长,甚至衍生出很多支线链路,而用户确需要快速有效的系统回应体验,这部分的矛盾促使企业优先保证主线链路的数据一致性,分支链路往往通过异步的方式进行处理。另信息时代,客户的行为、系统的正常逻辑数据、系统的日志数据、数据的binlog日志等大量有价值的数据需要采集、加工从而挖掘出有价值的信息用于企业经营者作为业务发展方向的参考依据。这两部分的处理方式通常都是通过生产者往消息队列的某个主题生产数据,再通过消费者订阅主题加工的方式完成。随着企业的发展壮大,消息队列集群、主题、生产者、消费者越来越多,随着时间的推移,该部分元数据信息丢失越来越多,这就导致消息主题治理困难。一方面消息主题难以根据业务服务领域进行权限划分,另一方面消息主题遇到需要更改主题属性的业务场景时,无法估计更改之后带来的影响,同时随着消息主题的不断增多,运维管理人员定期检查的工作量也在不断增加。


技术实现思路

1、本专利技术提供一种基消息主题治理方法及其数据总线系统,以解决现有的消息主题治理困难的问题。

2、基于上述目的,本专利技术实施例提供了一种消息主题治理方法,包括:构建包括数据源、消息主题、用户、业务组、授权的kafka消息机制,并对消息主题的元数据信息进行维护;设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理;根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作;采集消息主题的状态信息,根据预设的预警规则进行预警推送。

3、可选的,所述方法还包括:对承载消息主题的消息中间件进行统一管理;基于预设的验证方式对用户进行消息中间件的授权。

4、可选的,所述设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理,包括:设置用户信息,以业务维度对用户划分业务组,不同业务维度的用户具有不同的数据权限,所述用户信息包括:用户名、密码、归属管理员;设置业务组信息,以业务组为单位进行消息主题的操作权限的集中授权管理。

5、可选的,一个用户对应多个业务组。

6、可选的,所述方法还包括:获取新建用户信息和新建消息主题信息;根据所述新建用户信息获取与所述新建用户信息关联的业务组信息,根据所述新建消息主题信息选取消息主题;判断与所述业务组信息对应的业务组是否具有选取的消息主题的权限;如果有,则授权新建用户选取的消息主题的权限。

7、可选的,所述根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作,包括:根据用户输入的用户信息中的用户名、密码、选择所属业务组判断用户的权限;如果判断用户具备消息主题的读权限,则自动消费消息主题的数据,并以聊天对话框的形式实时推送给用户;如果判断用户具备消息主题的写权限,则接收用户输入的需要发送给消息主题的消息,并自动向用户反馈发送结果。

8、可选的,所述采集消息主题的状态信息,根据预设的预警规则进行预警推送,包括:通过自定义kafka_exporter采集任一消息主题的状态信息,并通过alert manager设置任一消息主题的预警规则;判断所述消息主题是否满足所述预警规则;如果是,则推送预警内容至所述消息主题的运维人员。

9、基于同一专利技术构思,本专利技术实施例还提出了一种消息主题治理的数据总线系统,包括:消息主题信息维护模块,用于构建包括数据源、消息主题、用户、业务组、授权的kafka消息机制,并对消息主题的元数据信息进行维护;业务组权限维护模块,与所述消息主题信息维护模块连接,用于设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理;白屏操作模块,与所述业务组权限维护模块连接,用于根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作;预警推送模块,与所述业务组权限维护模块连接,用于采集消息主题的状态信息,根据预设的预警规则进行预警推送。

10、基于同一专利技术构思,本专利技术实施例还提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述的方法。

11、基于同一专利技术构思,本专利技术实施例还提出了一种计算机存储介质,存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行前述的方法。

12、本专利技术的有益效果是:从上面所述可以看出,本专利技术实施例提供的一种消息主题治理方法及其数据总线系统,方法包括:构建包括数据源、消息主题、用户、业务组、授权的kafka消息机制,并对消息主题的元数据信息进行维护;设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理;根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作;采集消息主题的状态信息,根据预设的预警规则进行预警推送,能够降低消息管理的复杂度,操作简单、可视化,适用于互联网企业对消息主题的运维管理。

本文档来自技高网...

【技术保护点】

1.一种消息主题治理方法,其特征是,所述方法包括:

2.如权利要求1所述的方法,其特征是,所述方法还包括:

3.如权利要求1所述的方法,其特征是,所述设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理,包括:

4.如权利要求3所述的方法,其特征是,一个用户对应多个业务组。

5.如权利要求1所述的方法,其特征是,所述方法还包括:

6.如权利要求1所述的方法,其特征是,所述根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消息操作,包括:

7.如权利要求1所述的方法,其特征是,所述采集消息主题的状态信息,根据预设的预警规则进行预警推送,包括:

8.一种消息主题治理的数据总线系统,其特征是,所述系统包括:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征是,所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的方法。

10.一种计算机存储介质,其特征是,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种消息主题治理方法,其特征是,所述方法包括:

2.如权利要求1所述的方法,其特征是,所述方法还包括:

3.如权利要求1所述的方法,其特征是,所述设置用户信息和业务组信息,通过对业务组进行消息主题的操作权限的集中授权管理,包括:

4.如权利要求3所述的方法,其特征是,一个用户对应多个业务组。

5.如权利要求1所述的方法,其特征是,所述方法还包括:

6.如权利要求1所述的方法,其特征是,所述根据用户输入的用户信息对所述用户进行权限判断,允许授权用户进行与权限对应的消...

【专利技术属性】
技术研发人员:杨凯叶标王江维吴隆坤朱盼陈俊良
申请(专利权)人:长沙中车智驭新能源科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1