AI训练推理服务器和系统技术方案

本实用新型专利技术实施例涉及人工智能技术领域，公开了一种AI训练推理服务器和系统，其中AI训练推理服务器包括：主板、背板和至少一块AI推理刀片，其中：主板主要由CPU组成，主板和背板连接，用于通过背板下发AI软件算法和数据；背板设置有插槽；AI推理刀片插接于插槽，AI推理刀片主要由至少一块第一可编程芯片组成，每一第一可编程芯片连接至少一块AI芯片；AI推理刀片用于接收AI软件算法和数据，并根据AI软件算法和数据得到计算结果，将计算结果通过背板发送给主板；主板还用于通过背板接收计算结果，并根据计算结果得到推理结果。通过上述方式，本实用新型专利技术实施例能够提高服务器的算力，并减少其功耗和成本。

AI training reasoning server and system

【技术实现步骤摘要】
AI训练推理服务器和系统
本技术实施例涉及人工智能
，具体涉及一种AI训练推理服务器和系统。
技术介绍
AI(ArtificialIntelligence，人工智能)技术是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。通过AI算法可以智能的从视频或图片中识别人脸、声音和文字等信息。AI技术主要由推理、训练、控制和通信等服务器组合而成。在实现本技术实施例的过程中，专利技术人发现：传统的AI算法一般是通过CPU(CentralProcessingUnit，中央处理器)和GPU(GraphicsProcessingUnit，视觉处理器)去计算。但传统CPU和GPU有很多无关的指令，并且没有AI算法专用指令，所以导致传统的AI技术方案的算力低、功耗高和成本高等。因此，目前大部分AI技术的都是通过将算法和数据上传到云端服务器，利用云服务器的超大算力和海量存储等技术，达到AI技术所要求的算力和响应时间。但这种方式存在功耗大、成本高和延迟大等缺点。
技术实现思路
鉴于上述问题，本技术实施例提供了一种AI训练推理服务器和系统，克服了上述问题或者至少部分地解决了上述问题。根据本技术实施例的一个方面，提供了一种AI训练推理服务器，所述服务器包括：主板、背板、至少一块AI推理刀片和至少一块AI训练刀片，其中：所述主板上设置有CPU，所述主板和所述背板连接；所述背板设置有PCIe插槽，所述PCIe插槽之间通过总线连接；所述主板插接于所述PCIe插槽内与所述背板连接；所述AI训练刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述AI训练刀片用于接收所述CPU发送的数据，将所述数据进行训练；所述AI推理刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI推理刀片主要由至少一块第一可编程芯片组成，每一所述第一可编程芯片连接至少一块AI芯片；所述AI推理刀片用于接收训练数据，并根据所述训练数据进行推理；所述主板还用于通过总线接收所述AI训练刀片和所述推理刀片返回的数据，并根据所述数据进行处理。在一种可选的方式中，所述背板为CPCI-Express背板，其具有热拔插功能；所述CPU用于将所述主板配置为主设备，所述第一可编程芯片用于将所述AI推理刀片配置为从设备，所述CPCI-Express背板用于使所述主设备和所述从设备互相通信。在一种可选的方式中，所述主板的数量为至少2个，各所述主板之间通过所述CPCI-Express背板传输数据。在一种可选的方式中，所述服务器还包括电源刀片和冗余电源刀片，所述电源刀片和冗余电源刀片插接于所述插槽。在一种可选的方式中，所述服务器还包括拓扑管理模块，所述拓扑管理模块插接于所述插槽，用于将所述主板、AI推理刀片和AI训练刀片配置为主设备或从设备，且用于配置所述主板、AI推理刀片和AI训练刀片之间的拓扑关系。根据本技术实施例的另一方面，提供了一种AI训练推理系统，包括：网络交换机、通用服务器和至少一个上述实施例提供的AI训练推理服务器；所述网络交换机分别与所述通用服务器和AI训练推理服务器互相通信连接，所述通用服务器用于通过所述网络交换机下发AI软件算法和数据给所述AI训练推理服务器，所述AI训练推理服务器用于通过所述AI软件算法和数据得到计算结果，并通过所述网络交换机将所述计算结果返回给所述通用服务器，所述通用服务器还用于根据所述计算结果得到推理结果。在一种可选的方式中，所述系统还包括超级计算机，所述超级计算机与所述网络交换机通信连接，用于通过所述网络交换机接收所述通用服务器发送的所述AI软件算法和数据，根据所述AI软件算法和数据得到训练结果，并将所述训练结果通过所述网络交换机传送给所述AI训练推理服务器。本技术实施例的AI训练推理服务器包括主板、背板和至少一块AI推理刀片，其中，主板与背板连接，背板设置有插槽，AI推理刀片插接于插槽内，且AI推理刀片主要由至少一块第一可编程芯片组成，每一第一可编程芯片连接至少一块AI芯片。和现有技术中直接通过CPU和GPU进行AI算法的计算结构相比，本技术实施例通过采用主板、背板以及在背板上的插槽设置AI推理刀片的结构，AI推理刀片上设有可编程芯片和AI芯片，主板将算法和数据通过背板下发到AI推理刀片的AI芯片进行计算，AI芯片具有AI算法专用指令，其算力更高、功耗和成本更低。此外，本技术实施例还可以根据AI软件中算法的计算量大小而增加或减少AI推理刀片中的AI芯片，或者增加或减少插入插槽的AI推理刀片的数量，其灵活度更高。而和利用云服务器进行AI算法计算相比，本技术实施例直接通过背板连接主板和AI推理刀片，其信息的传输速度更快，延迟更低，并且成本和功耗也更低。上述说明仅是本技术实施例技术方案的概述，为了能够更清楚了解本技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本技术实施例提供的一种AI训练推理服务器的结构示意图；图2示出了本技术实施例中AI推理刀片的示意图；图3示出了本技术实施例中AI训练推理服务器的原理图；图4示出了本技术实施例中AI训练刀片的示意图；图5示出了本技术第二实施例中AI训练推理服务器的原理图；图6示出了本技术第三实施例中AI训练推理服务器的原理图；图7示出了本技术第四实施例中AI训练推理服务器的原理图；图8示出了本技术第五实施例中AI训练推理服务器的原理图；图9示出了本技术另一实施例提供的一种AI训练推理服务器的结构示意图；图10示出了本技术实施例提供的一种AI训练推理系统的示意图。具体实施方式下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。AI技术主要应用于用于人脸、声音和文字识别等的AI软件中，其主要包括训练和推理等部分。其中，训练部分主要是指通过训练数据集对一个初始的模块进行训练，使其不断优化自身参数，从而得到优化的模型。例如，如果要训练一个能区分苹果还是橘子的模型，需要搜索一些苹果和橘子的图片作为训练数据集，训练数据集中的数据皆设置有标签，苹果图片的本文档来自技高网...

【技术保护点】
1.一种AI训练推理服务器，其特征在于，包括主板、背板、至少一块AI推理刀片和至少一块AI训练刀片，其中：/n所述主板上设置有CPU，所述主板和所述背板连接；/n所述背板设置有PCIe插槽，所述PCIe插槽之间通过总线连接；所述主板插接于所述PCIe插槽内与所述背板连接；/n所述AI训练刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述AI训练刀片用于接收所述CPU发送的数据，将所述数据进行训练；/n所述AI推理刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI推理刀片主要由至少一块第一可编程芯片组成，每一所述第一可编程芯片连接至少一块AI芯片；所述AI推理刀片用于接收训练数据，并根据所述训练数据进行推理；所述主板还用于通过总线接收所述AI训练刀片和所述推理刀片返回的数据，并根据所述数据进行处理。/n

【技术特征摘要】
1.一种AI训练推理服务器，其特征在于，包括主板、背板、至少一块AI推理刀片和至少一块AI训练刀片，其中：
所述主板上设置有CPU，所述主板和所述背板连接；
所述背板设置有PCIe插槽，所述PCIe插槽之间通过总线连接；所述主板插接于所述PCIe插槽内与所述背板连接；
所述AI训练刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI训练刀片主要由至少一块第二可编程芯片组成，每一所述第二可编程芯片连接至少一块记忆存储芯片；所述AI训练刀片用于接收所述CPU发送的数据，将所述数据进行训练；
所述AI推理刀片插接于所述PCIe插槽，通过总线与所述主板连接；所述AI推理刀片主要由至少一块第一可编程芯片组成，每一所述第一可编程芯片连接至少一块AI芯片；所述AI推理刀片用于接收训练数据，并根据所述训练数据进行推理；所述主板还用于通过总线接收所述AI训练刀片和所述推理刀片返回的数据，并根据所述数据进行处理。


2.如权利要求1所述的服务器，其特征在于，所述服务器还包括：所述背板为CPCI-Express背板，其具有热拔插功能；所述CPU用于将所述主板配置为主设备，所述第一可编程芯片用于将所述AI推理刀片配置为从设备，所述CPCI-Express背板用于使所述主设备和所述从设备互相通信。


3.如权利要求2所述的服务器，其特征在于，所述主板的数量为至少2个，各所述主板...

【专利技术属性】
技术研发人员：陈敬毅，严华，
申请(专利权)人：深圳市创智中科智能科技有限公司，
类型：新型
国别省市：广东;44