一种基于微服务架构的分布式算法调度系统技术方案

本发明专利技术属于计算机技术领域，具体的说是一种基于微服务架构的分布式算法调度系统，本发明专利技术展示了一种基于容器编排平台

【技术实现步骤摘要】
一种基于微服务架构的分布式算法调度系统


[0001]本专利技术属于计算机
，具体的说是一种基于微服务架构的分布式算法调度系统
。

技术介绍

[0002]在现代工业生产中，对工业算法的大规模并发计算需求日益增长
。
传统的集中式计算平台在性能
、
扩展性和容错性方面存在局限，而传统的分布式计算平台虽然一定程度上缓解了这些问题，但在部署和维护的复杂性
、
数据安全等方面依然存在挑战
。
因此，寻求一种能够有效处理大规模并发工业算法计算请求，同时保证效率
、
可扩展性和数据安全的解决方案成为迫切的需求
。
[0003]为此，本专利技术提供一种基于微服务架构的分布式算法调度系统
。

技术实现思路

[0004]为了弥补现有技术的不足，解决
技术介绍
中提出的至少一个问题，提出的一种基于微服务架构的分布式算法调度系统
。
[0005]本专利技术解决其技术问题所采用的技术方案是：基于微服务架构的分布式工业算法处理与调度系统，本专利技术所述的一种基于微服务架构的分布式算法调度系统，包括前端服务
、
后端服务器
、
分布式调度服务器
、
微服务子节点
、
数据处理服务器以及数据库
。
前端服务将用户的计算请求发送至后端服务器，后端服务器将请求相关信息存储在数据库中，并通过消息队列系统将请求
ID
传递给分布式调度服务器
。
分布式调度服务器接收到请求
ID
后，利用
Kubernetes
的服务调度和负载均衡能力，将计算任务动态分配给各微服务子节点
。
子节点独立运行不同的算法模块，负责不同的计算任务，并将结果存储到网络存储系统中
。
最后，数据处理服务器从网络存储系统中获取数据，进行数据清洗
、
格式化等处理，并将处理结果存入数据库
。
[0006]优选的，所述前端服务单元或所述后端服务器单元或所述分布式调度服务器单元，包括请求接收模块
、
请求调度模块
、
算法执行模块
、
结果存储模块
、
数据清洗模块和数据存储模块，包括如下内容：
[0007]请求接收模块负责接收用户计算请求并将其发送至后端服务器
。
[0008]请求调度模块接收请求并通过消息队列将其发送至分布式调度服务器
。
算法执行模块运行不同的算法模块并处理不同的计算任务
。
[0009]结果存储模块将计算结果存储至网络存储系统
(NAS)
中
。
[0010]数据清洗模块从网络存储系统中获取数据，进行数据清洗和格式化
。
[0011]数据存储模块将清洗
、
格式化后的数据存入数据库
。
[0012]系统采用
Zookeeper
进行分布式协调，以保证系统的稳定性和数据一致性
。
[0013]系统采用数据加密技术和权限控制机制，以保护数据在传输过程中的安全，以及防止未经授权的用户访问数据
。
[0014]优选的，所述基于微服务架构的分布式工业算法处理与调度系统的执行步骤：
[0015]用户访问
web
网页，前端服务接收用户的计算请求
。
[0016]后端服务器接收请求，并将请求相关信息存储在数据库中，然后通过消息队列将请求
ID
发送给分布式调度服务器
。
[0017]分布式调度服务器接收到请求
ID
后，利用
Kubernetes
的服务调度和负载均衡能力，动态将计算任务分配给各微服务子节点
。
[0018]微服务子节点独立运行各自的算法模块，处理计算任务，并将结果存储在网络存储系统中
。
[0019]数据处理服务器从网络存储系统中获取数据，进行数据清洗和格式化，并将处理结果存入数据库
。
[0020]用户访问前端页面，前端服务向后端服务发起请求获取数据库的信息，返回给前端
。
[0021]本专利技术的有益效果如下：
[0022]相对于现有技术，本专利技术所述的一种基于微服务架构的分布式工业算法处理与调度系统具有以下优势：能够处理大规模并发的工业算法计算请求，提供高效
、
可扩展
、
强大的容错性和数据安全保护等特性
。
通过采用微服务架构，系统可以动态分配计算任务，使每个子节点都可以独立运行不同的算法模块，从而有效提升了计算效率和系统的扩展性
。
此外，系统还采用了
Zookeeper
进行分布式协调和数据加密技术，保证了系统的稳定性和数据安全性
。
附图说明
[0023]下面结合附图对本专利技术作进一步说明
。
[0024]图1是本专利技术中的系统架构图，描绘了系统的主要组成部分，包括前端服务
、
后端服务器
、
分布式调度服务器
、
微服务子节点
、
数据处理服务器和数据库；
[0025]图2是本专利技术中的系统时序图，展示了一个计算请求从接收到处理完成的完整流程；
[0026]图3是本专利技术中微服务子节点的详细架构图，展示了各个子节点如何独立运行不同的算法模块以及如何将计算结果存储到网络存储系统中；
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围
。
[0028]下面给出具体实施例
。
[0029]首先，建立前端服务
。
在指定服务器上
(
例如，使用
9000
端口
)
部署前端服务，此服务作为用户交互的界面，用于接收用户的计算请求
。
此部分可使用
Nginx
或
Apache
等网页服务器软件进行部署，同时，可选用
React、Vue
或
Angular
等前端框架进行页面构建
。
[0030]其次，在后端部分，首要任务为建立数据库以存储用户请求等相关信息
。
依据具体
需求，可以选择
MySQL、PostgreSQL
等关系型数据库，或
...

【技术保护点】

【技术特征摘要】
1.
一种基于微服务架构的分布式算法调度系统，其特征在于：系统由前端服务
、
后端服务器
、
分布式调度服务器
、
微服务子节点
、
数据处理服务器以及数据库组成在所述系统中，各组件之间主要通过消息队列系统
(RabbitMQ、Kafka)
进行消息的传递
。
能够处理大规模并发的工业算法计算请求
。2.
根据权利要求1所述的一种基于微服务架构的分布式算法调度系统，其特征在于：所述前端服务接收用户的计算请求，并通过
HTTP/HTTPS
协议将请求发送至后端服务器
。3.
根据权利要求2所述的一种基于微服务架构的分布式算法调度系统，其特征在于：所述后端服务器将接收到的请求相关信息存储在数据库中，并通过使用
RabbitMQ、Kafka
等消息队列系统将请求
ID
传递给分布式调度服务器
。4.
根据权利要求3所述的一种基于微服务架构的分布式算法调度系统，其特征在于：所述分布式调度服务器接收到请求
ID
后，利用
Kubernetes
的服务调度和负载均衡能力，将计算任务动态分配给各微服务子节点，此过程可根据计算任务的性质
、
子节点的负载情况等因素进行智能调度
。5.
根据权利要求4所述的一种基于微服务架构的分布式算法调度系统，其特征在于：每个所述微服务子节点独立运行不同的算法模块，负责不同的计算任务，并将结果存储到网络存储系统中，如
NAS、HDFS、Ceph
等
。6.
根据权利要求5所述的一种基于微服务架构的分布式算法调度系统，其特征在于：所述数据处理服务器从网络存储系...

【专利技术属性】
技术研发人员：李明锐，尹章程，
申请(专利权)人：成都研码帮信息技术有限公司，
类型：发明
国别省市：