一种AI芯片的计算和通信的融合方法、装置及AI芯片制造方法及图纸

本发明专利技术公开了一种AI芯片的计算和通信的融合方法、装置及AI芯片。AI芯片的计算和通信的融合方法，包括：在当前AI芯片工作于通信模式时，基于集成在当前AI芯片上的目标通信模块，获取并转发待转发数据请求；其中，目标通信模块包括路由模块以及网络接口；在当前AI芯片工作于网络计算模式时，通过目标通信模块获取待计算数据，并通过集成在当前AI芯片上的网络计算与通信核心，对待计算数据进行数据处理，得到数据计算结果。本发明专利技术实施例的技术方案能够在实现成本较低的前提下，不降低带宽，提升芯片互连的可扩展性。芯片互连的可扩展性。芯片互连的可扩展性。

【技术实现步骤摘要】
一种AI芯片的计算和通信的融合方法、装置及AI芯片


[0001]本专利技术涉及芯片
，尤其涉及一种AI芯片的计算和通信的融合方法、装置及AI芯片。

技术介绍

[0002]随着科技的发展，AI(Artificial Intelligence，人工智能)芯片超大规模并行计算能力越来越强，传统的通过PCIE(Peripheral Component Interconnect Express，一种高速串行计算机扩展总线标准)进行片间数据传输的方式已不能满足AI计算的带宽需求。
[0003]现有的解决方案有三种，一是增加PCIE接口的数量，二是利用额外网口进行AI芯片间的互连，三是在增加额外网口的同时额外设计一款Switch芯片，进行AI芯片片间互连。
[0004]对于第一种方案，由于AI芯片可增加的PCIE接口数量是有限的，导致第一种方案不具备可扩展性。对于第二种方案，AI芯片两两之间的带宽随连接关系变化，直连的芯片越多，两两之间带宽越小。对于第三种方案，在动辄一块芯片设计周期数年，上亿元一次的流片成本下，费用高昂，风险巨大。

技术实现思路

[0005]本专利技术提供了一种AI芯片的计算和通信的融合方法、装置及AI芯片，以解决现有基于PCIE接口进行AI芯片互连导致的可扩展性差、两两芯片直连降低带宽，以及基于额外设计的Switch芯片使AI芯片互连存在的成本高的问题。
[0006]根据本专利技术的一方面，提供了一种AI芯片的计算和通信的融合方法，包括：
[0007]在当前AI芯片工作于通信模式时，基于集成在当前AI芯片上的目标通信模块，获取并转发待转发数据请求；其中，目标通信模块包括路由模块以及网络接口；
[0008]在当前AI芯片工作于网络计算模式时，通过目标通信模块获取待计算数据，并通过集成在当前AI芯片上的网络计算与通信核心，对待计算数据进行数据处理，得到数据计算结果。
[0009]根据本专利技术的另一方面，提供了一种AI芯片的计算和通信的融合装置，包括：
[0010]数据转发模块，用于在当前AI芯片工作于通信模式时，基于集成在当前AI芯片上的目标通信模块，获取并转发待转发数据请求；其中，目标通信模块包括路由模块以及网络接口；
[0011]数据计算结果获取模块，用于在当前AI芯片工作于网络计算模式时，通过目标通信模块获取待计算数据，并通过集成在当前AI芯片上的网络计算与通信核心，对待计算数据进行数据处理，得到数据计算结果。
[0012]根据本专利技术的另一方面，提供了一种AI芯片，AI芯片包括：
[0013]目标通信模块，用于在当前AI芯片工作于通信模式时，获取并转发待转发数据请求；其中，目标通信模块包括路由模块以及网络接口；
[0014]目标通信模块，还用于在当前AI芯片工作于网络计算模式时，通过目标通信模块
获取待计算数据；
[0015]网络计算与通信核心，用于对待计算数据进行数据处理，得到数据计算结果。
[0016]根据本专利技术的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任一实施例的AI芯片的计算和通信的融合方法。
[0017]本专利技术实施例的技术方案，通过在当前AI芯片工作于通信模式时，基于集成在当前AI芯片上的目标通信模块，获取并转发待转发数据请求，从而在当前AI芯片工作于网络计算模式时，通过目标通信模块获取待计算数据，并通过集成在当前AI芯片上的网络计算与通信核心，对待计算数据进行数据处理，得到数据计算结果。在本方案中，通过集成于AI芯片的路由模块以及网络计算与通信核心，可以在不对AI芯片直连、不通过PCIE以及不通过额外网口的前提下，实现对AI芯片的互连，且不会牺牲带宽资源，并且可通过网络计算与通信核心分担AI芯片计算核心的计算压力，解决了现有基于PCIE接口进行AI芯片互连导致的可扩展性差、两两芯片直连降低带宽，以及基于额外设计的Switch芯片使AI芯片互连存在的成本高的问题，能够在实现成本较低的前提下，不降低带宽，提升芯片互连的可扩展性。
[0018]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术实施例一提供的一种AI芯片的计算和通信的融合方法的流程图；
[0021]图2为本专利技术实施例二提供的一种AI芯片的计算和通信的融合方法的流程图；
[0022]图3为本专利技术实施例三提供的一种AI芯片的计算和通信的融合装置的结构示意图；
[0023]图4为本专利技术实施例四提供的一种AI芯片完整硬件结构的示意图。
具体实施方式
[0024]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0025]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他
的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026]实施例一
[0027]图1为本专利技术实施例一提供的一种AI芯片的计算和通信的融合方法的流程图，本实施例可适用于低成本且不额外消耗带宽的前提下，建立AI芯片间通信的情况，该方法可以由AI芯片的计算和通信的融合装置来执行，该AI芯片的计算和通信的融合装置可以采用硬件和/或软件的形式实现，该AI芯片的计算和通信的融合装置可配置于AI芯片中。如图1所示，该方法包括：
[0028]步骤110、在当前AI芯片工作于通信模式时，基于集成在当前AI芯片上的目标通信模块，获取并转发待转发数据请求。
[0029]其中，通信模式可以是AI芯片支持的一种工作模式，用于对接收的数据进行转发。目标通信模块集成于AI芯片，用于对数据转发。目标通信模块可以包括路由模块以及网络接口。路由模块可以是具备决定端对端通信路径的，集成于AI芯片的模块。待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI芯片的计算和通信的融合方法，其特征在于，包括：在当前AI芯片工作于通信模式时，基于集成在所述当前AI芯片上的目标通信模块，获取并转发待转发数据请求；其中，所述目标通信模块包括路由模块以及网络接口；在所述当前AI芯片工作于网络计算模式时，通过所述目标通信模块获取待计算数据，并通过集成在所述当前AI芯片上的网络计算与通信核心，对所述待计算数据进行数据处理，得到数据计算结果。2.根据权利要求1所述的方法，其特征在于，在当前AI芯片工作于通信模式之前，还包括：接收通信模式配置数据；根据所述通信模式配置数据，通过所述当前AI芯片的网络控制器，授权所述路由模块以及网络接口工作于数据转发模式。3.根据权利要求1所述的方法，其特征在于，在当前AI芯片工作于网络计算模式之前，还包括：接收网络计算模式配置数据；根据所述网络计算模式配置数据，通过所述网络计算与通信核心，授权所述路由模块、所述网络接口、网络控制器以及片上网络NOC对所述待计算数据的传输。4.根据权利要求2所述的方法，其特征在于，获取并转发待转发数据请求，包括：通过所述网络接口接收所述待转发数据请求；通过所述路由模块，确定接收所述当前AI芯片转发的所述待转发数据请求的转发请求接收芯片的通信协议；通过所述路由模块，基于所述转发请求接收芯片的通信协议经所述网络接口，将所述待转发数据请求转发至所述转发请求接收芯片。5.根据权利要求3所述的方法，其特征在于，通过所述目标通信模块获取待计算数据，并通过集成在所述当前AI芯片上的网络计算与通信核心，对所述待计算数据进行数据处理，包括：依次通过所述网络接口、所述路由模块、所述网络控制器以及所述NOC，将所述待计算数据传输至所述网络计算与通信核心；基于所述网络计算与通信核心选择使用硬件计算电路或软件...

【专利技术属性】
技术研发人员：赵鹏程，王梦嘉，李晓帅，刘静雯，王煇，严涵，华孙山，
申请(专利权)人：太初无锡电子科技有限公司，
类型：发明
国别省市：