一种基于NAT和虚拟网桥的推理服务器制造技术

本发明专利技术公开了一种基于NAT和虚拟网桥的推理服务器，包括分析单元和管理单元，分析单元包括第一主控模块和多个AI模块，第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有外网网卡和用于与各AI模块连接的内网网卡，通过NAT规则获取外网网卡的IP地址，虚拟网桥用于实现各AI模块之间的通信，AI模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的IP地址和默认网关；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接。本申请采用双控架构，可实现大规模并行推理计算实时分析，具有高可靠性、高安全性、低延时、大容量存储性能，且易管理、易部署，适用于多场景下的应用开发。用于多场景下的应用开发。用于多场景下的应用开发。

【技术实现步骤摘要】
一种基于NAT和虚拟网桥的推理服务器


[0001]本专利技术属于服务器
，具体涉及一种基于NAT和虚拟网桥的推理服务器。

技术介绍

[0002]推理服务器指采用人工智能算法，具有强算力和高能效特点智能分析服务器，是计算机视觉领域的重要研究方向，广泛应用于安防监控、视频分析、医疗影像分析和文字识别等方向。AI芯片主要有训练和推理两个功能。其中，训练指的是从已有的数据集学习能力的过程，通过这些大量标记过的数据来训练系统，使其可以适应特定的功能，而推理则是使用经过训练的神经网络将学到的知识用于新的任务。训练和推理是神经网络的两个相对独立的应用。但由于推理模型通常需要巨大的计算与存储开销，现有技术中的推理服务器往往存储能力和分析能力有限，无法实现大规模并行推理计算实时分析，且与外部网络交互的安全性低，难以保证工作不间断运行，实现数据包的高效传输，且不便于管理和部署。因此，提出一种基于NAT和虚拟网桥的推理服务器。

技术实现思路

[0003]本专利技术的目的在于针对上述问题，提出一种基于NAT和虚拟网桥的推理服务器，采用双控架构，通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、高安全性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，适用于多场景下的应用开发，满足用户对高性能计算、信息安全等应用任务的需求，并保证工作不间断运行，实现数据包的高效传输。
[0004]为实现上述目的，本专利技术所采取的技术方案为：
[0005]本专利技术提出的一种基于NAT和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个AI模块，第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各AI模块连接的内网网卡，虚拟网桥用于实现各AI模块之间的通信，AI模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的IP地址和默认网关，默认网关为虚拟网桥的IP地址，第一主控模块通过NAT规则自动获取外网网卡的IP地址且其路由转发功能为开启状态；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接，并执行如下操作：
[0006]第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定AI模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过NAT规则将外网网卡中的数据包的源IP地址转换为外网网卡的IP地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过NAT规则将外网网卡中的数据回包的目的IP地址转换为指定AI模块的IP地址，并通过路由转发功能将转换后的
数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定AI模块，AI模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘。
[0007]优选地，第一主控模块还包括第一主板和第一背板，第一主板、内网网卡和第一背板依次连接，第一背板还与各AI模块连接；第二主控模块包括依次连接的第二主板、RAID卡和第二背板，第二背板还与各硬盘连接，第二主板还与外网设备连接。
[0008]优选地，第一主控模块还包括第一接口模块、第一连接板和第一控制面板，第一接口模块、第一主板、第一连接板、第一背板和第一控制面板依次连接，第二主控模块还包括第二接口模块、第二连接板和第二控制面板，第二接口模块、第二主板连接、第二连接板、第二背板和第二控制面板依次连接。
[0009]优选地，第一接口模块和第二接口模块均包括USB接口、网络接口、电源接口、串口、VGA接口和PCI
‑
E插槽，第一控制面板和第二控制面板均设有系统指示灯、USB接口、开关按钮和复位按钮。
[0010]优选地，第一主控模块还包括第一风扇和第一电源模块，第一风扇和第一电源模块均与第一主板连接，第二主控模块还包括第二风扇和第二电源模块，第二风扇和第二电源模块均与第二主板连接。
[0011]优选地，AI模块的数量为24个，硬盘的数量为12个。
[0012]优选地，第一主控模块和第二主控模块通过交换机与外网设备进行通信。
[0013]优选地，外网设备为摄像机或计算机。
[0014]优选地，外网设备的配置信息包括IP地址、端口号、用户名和密码。
[0015]与现有技术相比，本专利技术的有益效果为：
[0016]1)该推理服务器通过分析单元和管理单元实现双控架构，管理单元搭载有多个大容量的存储硬盘，大大提高存储能力，分析单元搭载多个具有分析能力的AI模块，便于对AI模块中的算法进行优化，升级迭代方便，适用于多场景下的应用开发，且采用虚拟网桥实现AI模块的集群管理并通过NAT技术和路由转发功能的配合，大大提升推理服务器的灵活性、可靠性和与外部网络交互的安全性，保证工作不间断运行，实现数据包的高效传输，NAT技术还有利于解决了推理服务器IP占用过多的问题，通过内外网的分离实现数据包的单向访问，对产品的部署和生产带来了极大的便利；
[0017]2)通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，满足用户对高性能计算、信息安全等应用任务的需求。
附图说明
[0018]图1为本专利技术的推理服务器工作状态图；
[0019]图2为本专利技术的推理服务器工作流程图；
[0020]图3为本专利技术的推理服务器电路图。
具体实施方式
[0021]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
[0023]如图1
‑
3所示，一种基于NAT和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个AI模块，第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各AI模块连接的内网网卡，虚拟网桥用于实现各AI模块之间的通信，AI模块用于搭载预训练好的模型，并配置有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NAT和虚拟网桥的推理服务器，用于与外网设备进行通信，其特征在于：所述基于NAT和虚拟网桥的推理服务器包括分析单元和管理单元，所述分析单元包括第一主控模块和多个AI模块，所述第一主控模块配置有虚拟网桥、NAT规则和路由转发功能，并设有用于与所述外网设备连接的外网网卡和用于与各所述AI模块连接的内网网卡，所述虚拟网桥用于实现各所述AI模块之间的通信，所述AI模块用于搭载预训练好的模型，并配置有与所述虚拟网桥同网段的IP地址和默认网关，所述默认网关为所述虚拟网桥的IP地址，所述第一主控模块通过NAT规则自动获取所述外网网卡的IP地址且其路由转发功能为开启状态；所述管理单元包括第二主控模块和多个硬盘，所述外网设备和各所述硬盘均与所述第二主控模块连接，并执行如下操作：所述第二主控模块下发目标分析任务和所需外网设备的配置信息至所述第一主控模块，所述第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定AI模块发起取流请求并将对应的数据包发放至所述虚拟网桥，所述第一主控模块通过路由转发功能将数据包由所述虚拟网桥转发至所述外网网卡，并通过NAT规则将所述外网网卡中的数据包的源IP地址转换为所述外网网卡的IP地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至所述外网网卡，所述第一主控模块通过NAT规则将所述外网网卡中的数据回包的目的IP地址转换为指定AI模块的IP地址，并通过路由转发功能将转换后的数据回包由所述外网网卡转发至所述虚拟网桥后，再将数据回包由所述虚拟网桥发送至指定AI模块，所述AI模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，所述第一主控模块将检测结果发送至所述第二主控模块并存储至对应的硬盘。2.如权利要求1所述的基于NAT和虚拟网桥的推理服务器，其特征在于：所述第一主控模块...

【专利技术属性】
技术研发人员：宋全恒，荣明双，邵绵欢，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：