【技术实现步骤摘要】
本申请实施例涉及模型加速领域，特别涉及一种嵌入式大模型加速系统平台。
技术介绍
1、大模型通常指的是参数量庞大、复杂度高的人工智能模型，被广泛应用于自然语言处理、计算机视觉、自动驾驶等众多领域。目前大多ai加速设备是以pcie卡方式使用的，但pcie卡体积庞大，不适合用于嵌入式领域。当前在嵌入式领域大多采用系统级芯片(system on chip，soc)实现ai加速，但soc价格一般比较昂贵，且驱动程序复杂，一旦驱动存在bug，严重时还会造成系统宕机，开发出稳定的驱动软件需要的时间一般也比较长。
技术实现思路
1、本申请实施例提供一种嵌入式大模型加速系统平台，解决相关技术中嵌入式系统集成soc执行ai加速成本过高和缺乏稳定性的问题。
2、所述平台包括设置在同一主板上的cpu处理器和至少一个fpga处理器；所述fpga处理器中内置有ai加速引擎，所述cpu处理器用于启动和控制模型加速；
3、所述cpu处理器和至少一个fpga处理器通过设置的万兆xgmii接口直连，其中的cpu处理器基于固定的源mac地址向fpga处理器发送以太网数据帧和接收模型加速结果，fpga处理器基于固定的目标mac地址接收以太网数据帧，以及基于模型加速结果构建以太帧进行发送。
4、具体的，所述cpu处理器通过系统软件设置，与目标fpga处理器之间使用固定的源mac地址；所述fpga处理器侧使能以太网mac ip核，确定固定的目标mac地址。
5、具体的，所述fp
6、所述fpga处理器在接收到cpu处理器的数据帧后，根据设定的目标通信协议进行解析获取控制指令，并根据控制指令启动ai加速操作计算。
7、具体的，所述cpu处理器与fpga处理器之间通过原始套接字构建以太帧数据。
8、具体的，当所述cpu处理器与fpga处理器通信时，创建原始套接字并选定预设的以太帧类型；
9、构建以太帧头，根据预设协议封装控制ai加速的功能码指令，获得以太帧数据；所述功能码指令用于控制ai加速引擎执行对应操作。
10、具体的，所述cpu处理器根据fpga处理器的目标mac地址发送以太帧数据；
11、当所述fpga处理器接收到以太帧数据时，根据预设协议进行解析提取功能码指令；
12、基于所述功能码指令调用ai加速引擎并执行相应操作计算，获得结果数据；
13、构建以太帧头，根据预设协议封装结果数据后返回至cpu处理器。
14、具体的，所述cpu处理器中设置有第一协议处理单元和业务处理单元，第一协议处理单元用于确定与fpga处理器设置的以太帧类型和封装协议类型，封装构建以太帧和对接收的以太帧数据进行解析；
15、所述业务处理单元用于确定和生成对ai加速引擎操作的功能码指令，在确定功能码指令和封装协议类型后执行封装构建步骤。
16、具体的，所述fpga处理器中设置有第二协议处理单元和ai加速引擎；
17、所述第二协议处理单元用于对mac端接收的以太帧数据进行解析，提取功能码指令，以及进行协议封装；
18、所述ai加速引擎中存储有用于模型加速的ai算子，根据功能码指令执行对应操作计算。
19、具体的，所述以太帧数据的格式包含6byte的目标mac地址位、6byte的源mac地址位、2byte的数据类型位，以及46-1500byte的预设协议位；预设协议根据cpu处理器和fpga处理器进行匹配，在匹配一致时进行解析。
20、具体的，所述预设协议位包括2byte的长度字段位、2byte的功能码字段、4byte的地址字段、2byte的校验字段，其余为数据字段。
21、本申请实施例提供的技术方案带来的有益效果至少包括：
22、1.将cpu和fpga处理器放置在同一主板上，通过以太mac直连，无需phy芯片和隔离变压器，可大大减小主板面积且可有效降低硬件成本。
23、2.直接在用户态使用原始套接字构建以太帧实现cpu处理器侧和fpga处理器侧数据通信，无需再额外开发专用驱动程序，稳定可靠并有效缩短开发周期。
24、3.使用万兆网络替代pcie卡实现嵌入式ai加速数据传输，提高集成度和降低成本投入。
25、4.将cpu和fpga处理器的万兆以太mac直连，使用固定mac地址和自定义以太帧类型，在用户态构建以太帧实现两者间的数据通信。
本文档来自技高网...【技术保护点】
1.一种嵌入式大模型加速系统平台，其特征在于，所述平台包括设置在同一主板上的CPU处理器和至少一个FPGA处理器；所述FPGA处理器中内置有AI加速引擎，所述CPU处理器用于启动和控制模型加速；
2.根据权利要求1所述的嵌入式大模型加速系统平台，其特征在于，所述CPU处理器通过系统软件设置，与目标FPGA处理器之间使用固定的源MAC地址；所述FPGA处理器侧使能以太网MAC IP核，确定固定的目标MAC地址。
3.根据权利要求2所述的嵌入式大模型加速系统平台，其特征在于，所述FPGA处理器连接有高带宽内存HBM，其中存储AI模型参数；
4.根据权利要求1-3任一所述的嵌入式大模型加速系统平台，其特征在于，所述CPU处理器与FPGA处理器之间通过原始套接字构建以太帧数据。
5.根据权利要求4所述的嵌入式大模型加速系统平台，其特征在于，当所述CPU处理器与FPGA处理器通信时，创建原始套接字并选定预设的以太帧类型；
6.根据权利要求5所述的嵌入式大模型加速系统平台，其特征在于，所述CPU处理器根据FPGA处理器的目标MAC地
7.根据权利要求5所述的嵌入式大模型加速系统平台，其特征在于，所述CPU处理器中设置有第一协议处理单元和业务处理单元，第一协议处理单元用于确定与FPGA处理器设置的以太帧类型和封装协议类型，封装构建以太帧和对接收的以太帧数据进行解析；
8.根据权利要求6所述的嵌入式大模型加速系统平台，其特征在于，所述FPGA处理器中设置有第二协议处理单元和AI加速引擎；
9.根据权利要求5至8任一所述的嵌入式大模型加速系统平台，其特征在于，所述以太帧数据的格式包含6Byte的目标MAC地址位、6Byte的源MAC地址位、2Byte的数据类型位，以及46-1500Byte的预设协议位；预设协议根据CPU处理器和FPGA处理器进行匹配，在匹配一致时进行解析。
10.根据权利要求9所述的嵌入式大模型加速系统平台，其特征在于，所述预设协议位包括2Byte的长度字段位、2Byte的功能码字段、4Byte的地址字段、2Byte的校验字段，其余为数据字段。
...【技术特征摘要】
1.一种嵌入式大模型加速系统平台，其特征在于，所述平台包括设置在同一主板上的cpu处理器和至少一个fpga处理器；所述fpga处理器中内置有ai加速引擎，所述cpu处理器用于启动和控制模型加速；
2.根据权利要求1所述的嵌入式大模型加速系统平台，其特征在于，所述cpu处理器通过系统软件设置，与目标fpga处理器之间使用固定的源mac地址；所述fpga处理器侧使能以太网mac ip核，确定固定的目标mac地址。
3.根据权利要求2所述的嵌入式大模型加速系统平台，其特征在于，所述fpga处理器连接有高带宽内存hbm，其中存储ai模型参数；
4.根据权利要求1-3任一所述的嵌入式大模型加速系统平台，其特征在于，所述cpu处理器与fpga处理器之间通过原始套接字构建以太帧数据。
5.根据权利要求4所述的嵌入式大模型加速系统平台，其特征在于，当所述cpu处理器与fpga处理器通信时，创建原始套接字并选定预设的以太帧类型；
6.根据权利要求5所述的嵌入式大模型加速系统平台，其特征在于，所述...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。