System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种面向神经网络运算的片上光网络映射方法技术_技高网

一种面向神经网络运算的片上光网络映射方法技术

技术编号:43772259 阅读:3 留言:0更新日期:2024-12-24 16:11
本发明专利技术属于光子信号处理技术领域,具体涉及一种面向神经网络运算的片上光网络映射方法,包括:适应神经网络运算的片上光网络(ONoC)架构、神经网络的重塑、S型映射方法、以及基于智能启发式算法的改进遗传蚁群算法(IGACA)的神经网络映射方法;利用ONoC实现计算节点之间的高带宽、低能耗互连;映射前对神经网络进行重塑以减少ONoC架构的流量负载及拓扑规模,并提出新型的低复杂度S型映射方案来优化时延、吞吐量和能耗性能;在此基础上,提出了一种基于IGACA的映射方法来实现全局优化,进一步降低通信时延、提升神经网络运算效率。

【技术实现步骤摘要】

本专利技术属于光子信号处理,具体为一种面向神经网络运算的片上光网络映射方法


技术介绍

1、此部分的陈述仅仅提供与本公开有关的
技术介绍
信息,并且这些陈述可能构成现有技术。在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题。

2、随着人工智能(artificial intelligence,ai)技术的迅猛发展,深度学习在语音识别、图像处理等新兴领域的应用日益广泛,对计算资源的需求呈现出爆炸式增长趋势。神经网络(neural network,nn)是深度学习中执行智能任务的核心算法,随着计算资源需求的不断增长,神经网络规模不断攀升,其在实际应用中面临着功耗、吞吐量以及时延等多方面的挑战。为了提高系统的性能,降低能耗,提升可靠性并减少制造成本,需要开发出更为有效的神经网络加速器加速神经网络的计算。

3、提高神经网络加速器计算效率的关键技术之一就是实现计算单元之间的高效互连。由于片上网络(network-on-chip,noc)架构可以通过在芯片内部构建高效的通信网络,优化数据传输路径,从而减少数据在处理器和存储器之间的移动时间,提高系统整体计算效率。所以研究者们提出了使用noc架构来提升神经网络的推理计算速度,通过将神经网络计算需求一一映射到noc中的知识产权(intellectual property,ip)核上,并通过noc架构将计算单元进行互连,结合数据重用的方式减少处理器访问片外存储器的次数及时间,利用noc网格的优点实现计算单元和数据传输的并行性,提升神经网络的运算效率。

4、但在最近几年,神经网络模型的参数量正以每年十倍的速度增长,随着模型参数量的激增,神经网络加速器中数据传输的速率也要相应提高。在电子瓶颈限制下,随着速率的增加,基于电气互连的noc架构会遇到有限的带宽、超高的功耗以及信号保真度损失等挑战,迫切需要创新的解决方案。而基于片上光互连技术的片上光网络(optical network-on-chip,onoc)能有效地突破金属互连的局限,具有高传输带宽,低时延和低功耗等优势。若将onoc应用于神经网络加速器中,并设计适应于神经网络运算特征的映射算法,通过将神经网络的计算需求映射到onoc的ip核中,并利用光波导实现不同ip核之间的并行互连,可以突破电互连的瓶颈,大幅提升神经网络的运算效率并降低能耗。

5、当前,尽管onoc的研究已取得显著进展,但将神经网络模型映射到onoc中的研究仍然相对较少,且映射方法以随机映射为主,比较单一,导致onoc中通信资源利用率不足,难以充分发挥onoc的技术优势。

6、如申请号202111519491.7专利名称为“一种基于增长型环形som神经网络的片上光网络映射方法”,其根据获胜神经元索引号将索引号从小到大所对应的核图ip核一一映射到网络拓扑节点,减少求解时间。虽然该专利也涉及片上光网络的映射,但其主要将神经网络这一技术应用于传统的片上光网络中的映射需求中,是神经网络赋能片上光网络。其仅是利用神经网络来降低片上光网络中映射方法的复杂度,但并不涉及能耗和吞吐量性能的提升,并未充分发挥片上光网络的技术优势。

7、如何将神经网络模型映射到片上光网络中,并通过设计适合的映射算法及优化方案,以提高通信资源利用率,充分发挥片上光网络的技术优势,是目前的难点所在。


技术实现思路

1、针对上述问题,本专利技术的目的在于解决现有技术中的一部分问题,或至少缓解这些问题。

2、一种面向神经网络运算的片上光网络映射方法,包括如下步骤:

3、映射前对神经网络进行重塑,以减少onoc架构的流量负载及拓扑规模;所述神经网络重塑应满足三个条件,包括:每个神经元组至少包含所述神经网络的一个神经元;onoc架构的pe数量大于等于神经元组的数量;同一神经元组中的神经元应位于神经网络的同一层中;

4、使用s型映射方法,将重塑后的神经网络映射到片上光网络架构中,以执行推理计算,一个固定的映射结果;

5、使用基于智能启发式算法的igaca的神经网络映射方法进行优化;所述基于智能启发式算法的igaca的神经网络映射方法结合融合遗传算法(ga)的交叉和变异操作以及蚁群算法(aca)的信息素机制,生成更多样化的解扩大搜索空间,以优化片上光网络架构的时延性能,并最终从生成的多个映射结果中找到一个最优的映射结果,即全局最优解。

6、进一步的,所述神经元组对所包含的神经元数量m进行约束,使所述神经元组的计算量不大于处理单元(pe)的计算能力;所述神经网络不同层的神经元属于不同的神经元组,同一层的神经元组个数根据m确定;若该层神经元数量不能对m整除时,剩余的神经元成为一组,直到整个神经网络最后一个神经元设置完成,神经网络的重塑过程结束。

7、优选,所述映射的onoc架构是2d mesh onoc;所述onoc架构采用电控制-光传输的通信模式。

8、进一步的,所述s型映射方法,将第一个神经元组映射到onoc架构右上角的第一个pe中,剩余的神经元组按s型顺序的图案进行映射。

9、建立时延模型来优化所述片上光网络架构的时延性能,以满足传输总时延最小的即为全局最优解;所述片上光网络架构的传输总延迟公式为:

10、

11、其中,s为网络中传输的数据包数量;h表示数据包在网格中从一个路由器传输到另一个路由器所需的中间跳数;twire表示信号在两个路由器之间的物理线路上传播所需的时间;trouter表示通过单个路由器内部处理所需的时间;tcontention表示与源节点距离h跳的路由器上多个数据包竞争同一网络资源导致的延迟;

12、所述全局最优解,即传输总时延的最优解toptimal_solution=min(ttotal)。

13、所述基于智能启发式算法的igaca的神经网络映射方法,包括如下步骤:

14、初始化:包括设置aca和ga的关键参数,并设计标准的适应度函数;

15、路径构建:每只蚂蚁根据信息素浓度和启发式信息选择路径用于构建解序列;

16、遗传操作:执行选择、交叉和变异操作,得到新个体解,以增加解的多样性和探索能力;

17、信息素更新:模拟蚂蚁在自然界中通过在路径上留下信息素来相互沟通的行为以强化被多次选择的优秀路径,同时逐步消除那些较少被选择的路径;

18、局部搜索:使用2-opt算法对目前最优解的邻域进行搜索,以得到局部最优路径;

19、选择和淘汰:根据所述标准适应度函数公式评估所述新个体解的质量,并选择适应度值高的个体解进行保留,淘汰适应度值低的个体解;

20、收敛判断:当算法执行达到预设的最大迭代次数、解的质量达到或超过预设的阈值,或者在连续多次迭代中解的质量没有显著提升时,算法终止并输出全局最优解。

21、进一步的,所述标准适应度函数定义为:

22、

23、其中,fnormal本文档来自技高网...

【技术保护点】

1.一种面向神经网络运算的片上光网络映射方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述神经元组对所包含的神经元数量M进行约束,使所述神经元组的计算量不大于处理单元(PE)的计算能力;所述神经网络不同层的神经元属于不同的神经元组,同一层的神经元组个数根据M确定;若该层神经元数量不能对M整除时,剩余的神经元成为一组,直到整个神经网络最后一个神经元设置完成,神经网络的重塑过程结束。

3.根据权利要求1所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述映射的ONoC架构是二维网格型片上光网络(2D Mesh ONoC);所述ONoC架构采用电控制-光传输的通信模式。

4.根据权利要求1或3所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述S型映射方法,将第一个神经元组映射到ONoC架构右上角的第一个PE中,剩余的神经元组按S型顺序的图案进行映射。

5.根据权利要求1所述的面向神经网络运算的片上光网络映射方法,其特征在于,建立时延模型来优化所述片上光网络架构的时延性能,以满足传输总时延最小的即为全局最优解;所述片上光网络架构的传输总延迟公式为:

6.根据权利要求1或5所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述基于智能启发式算法的IGACA的神经网络映射方法,包括如下步骤:

7.根据权利要求6所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述标准适应度函数定义为:

8.根据权利要求6所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述选择操作采用轮盘赌选择法挑选出上一轮中表现好的映射方案,以便进行交叉和变异操作;个体被选中的概率与其相对适应度成正比,所述相对适应度的计算公式如下:

9.根据权利要求6所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述信息素更新的公式为:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的面向神经网络运算的片上光网络映射方法的步骤。

...

【技术特征摘要】

1.一种面向神经网络运算的片上光网络映射方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述神经元组对所包含的神经元数量m进行约束,使所述神经元组的计算量不大于处理单元(pe)的计算能力;所述神经网络不同层的神经元属于不同的神经元组,同一层的神经元组个数根据m确定;若该层神经元数量不能对m整除时,剩余的神经元成为一组,直到整个神经网络最后一个神经元设置完成,神经网络的重塑过程结束。

3.根据权利要求1所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述映射的onoc架构是二维网格型片上光网络(2d mesh onoc);所述onoc架构采用电控制-光传输的通信模式。

4.根据权利要求1或3所述的面向神经网络运算的片上光网络映射方法,其特征在于,所述s型映射方法,将第一个神经元组映射到onoc架构右上角的第一个pe中,剩余的神经元组按s型顺序的图案进行映射。

5.根据权利要求1所述的面向神经网络运算的片上光网络映射方法...

【专利技术属性】
技术研发人员:郭鹏星李静思孙巍刘坤侯维刚
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1