光学神经网络中的卷积运算层的加速系统技术方案

本公开涉及光子计算技术领域，尤其涉及一种光学神经网络中的卷积运算层的加速系统。该系统包括：光源阵列、第一调制器阵列、第一光开关、第二调制器、第二光开关、延迟器阵列、波分复用器和光电探测器；其中，第一调制器阵列，用于将卷积核矩阵中的元素分别调制到至少一种波长的光信号中；第一光开关，用于将至少一种波长的第一调制光信号按预设时序进行排布，得到第一合波光信号，并按照输入信号矩阵中的元素数量，在时间上重复第一合波光信号；第二调制器，用于将输入信号矩阵中的元素分别调制到第二合波光信号中；第二光开关，用于将第二合波调制光信号分解为至少一种波长的第二调制光信号。采用上述方案的本公开可以提高系统使用时的便利性。用时的便利性。用时的便利性。

【技术实现步骤摘要】
光学神经网络中的卷积运算层的加速系统


[0001]本公开涉及光子计算
，尤其涉及一种光学神经网络中的卷积运算层的加速系统。

技术介绍

[0002]传统的基于电子器件的神经网络加速器中受到时钟频率的限制，其带宽、功耗和延迟都受限于摩尔定律的发展，基于电子器件的神经网络加速器受到延迟和功耗两方面的挑战。在基于电子器件的加速器中绝大多数的功耗都是在线性运算中产生的。相较而言，光子器件由于具有更高的带宽和并行性而也被用于加速线性运算的过程。
[0003]相关技术中，采用光子器件进行光学神经网络中的卷积运算时，该卷积运算仅能实现二维图像(2x2)中一个维度的滑动，如果要实现另一个维度的滑动就需要增加另一个调制器的通道，将整个系统复制，同步并行二维图像中另一个维度的滑动，如果要实现三维图像(3x3)的卷积运算，则需要将系统再整体复制处理第三个维度的图像信息，使得系统的复杂度提升，系统灵活度低，不利于系统扩展，从而导致系统使用时的便利性低。

技术实现思路

[0004]本公开提供了一种光学神经网络中的卷积运算层的加速系统，主要目的在于提高系统使用时的便利性。
[0005]根据本公开的一方面，提供了一种光学神经网络中的卷积运算层的加速系统，包括：光源阵列、第一调制器阵列、第一光开关、第二调制器、第二光开关、延迟器阵列、波分复用器和光电探测器；其中，
[0006]所述光源阵列，用于输出至少一种波长的光信号；
[0007]所述第一调制器阵列与所述光源阵列连接，用于将卷积核矩阵中的元素分别调制到所述至少一种波长的光信号中，得到至少一种波长的第一调制光信号；
[0008]所述第一光开关与所述第一调制器阵列连接，用于将所述至少一种波长的第一调制光信号按预设时序进行排布，得到第一合波光信号，并按照输入信号矩阵中的元素数量，在时间上重复所述第一合波光信号，得到第二合波光信号；
[0009]所述第二调制器与所述第一光开关连接，用于将所述输入信号矩阵中的元素分别调制到所述第二合波光信号中，得到第二合波调制光信号；
[0010]所述第二光开关与所述第二调制器连接，用于将所述第二合波调制光信号分解为至少一种波长的第二调制光信号；
[0011]所述延迟器阵列与所述第二光开关连接，用于对所述至少一种波长的第二调制光信号的输出时刻进行调整，得到至少一种波长的第三调制光信号；
[0012]所述波分复用器与所述延迟器阵列连接，用于将所述至少一种波长的第三调制光信号汇合输出为第三合波光信号；
[0013]所述光电探测器与所述波分复用器连接，用于从所述第三合波光信号中抽取至少
一个目标合波光信号，并对所述至少一个目标合波光信号进行光电转换，得到与卷积结果对应的电信号集合。
[0014]可选地，在本公开的一个实施例中，所述光源阵列包括N个激光器，所述第一调制器阵列包括N个第一调制器，所述第一光开关为Nx1光开关，所述第二光开关为1xN光开关，所述延迟器阵列包括N个延迟线，N＝i2，i为非0整数；其中，
[0015]所述激光器与所述第一调制器一一对应，所述第一调制器与所述第一光开关的输入端一一对应，每个激光器输出的光信号的波长不同；
[0016]所述第二光开关的输出端与所述延迟器阵列一一对应，所述第二光开关的每个输出端输出的第二调制光信号的波长不同；
[0017]所述卷积核矩阵中的元素数量为N，所述卷积核矩阵中的元素与所述光信号一一对应。
[0018]可选地，在本公开的一个实施例中，所述第一调制器为幅度调制器，所述延迟线对应的延迟时长可调。
[0019]可选地，在本公开的一个实施例中，所述第二调制器对应的调制速率为所述第一调制器对应的调制速率与所述第一调制器的数量之间的比值。
[0020]可选地，在本公开的一个实施例中，所述第二调制器为马赫曾德尔调制器。
[0021]可选地，在本公开的一个实施例中，所述输入信号矩阵中的元素数量不低于所述卷积核矩阵中的元素数量。
[0022]可选地，在本公开的一个实施例中，所述光源阵列、所述第一调制器阵列、所述第一光开关、所述第二调制器、所述第二光开关集成于第一芯片，所述延迟器阵列为单独器件，所述波分复用器和所述光电探测器集成于第二芯片；
[0023]或者，
[0024]所述光源阵列、所述第一调制器阵列、所述第一光开关、所述第二调制器、所述第二光开关、所述延迟器阵列、所述波分复用器和所述光电探测器集成于第三芯片。
[0025]可选地，在本公开的一个实施例中，所述输入信号矩阵中的元素数量与所述第二合波光信号中所述第一合波光信号在时间上重复的次数相同。
[0026]可选地，在本公开的一个实施例中，所述第一合波光信号中每种波长的第一调制光信号对应的时长均为预设时长；
[0027]所述第一合波光信号对应的时长为一个比特。
[0028]可选地，在本公开的一个实施例中，所述输入信号矩阵中的元素分别与所述第二合波光信号中的所述第一合波光信号一一对应。
[0029]在本公开一个或多个实施例中，光学神经网络中的卷积运算层的加速系统包括光源阵列、第一调制器阵列、第一光开关、第二调制器、第二光开关、延迟器阵列、波分复用器和光电探测器；其中，光源阵列，用于输出至少一种波长的光信号；第一调制器阵列与光源阵列连接，用于将卷积核矩阵中的元素分别调制到至少一种波长的光信号中，得到至少一种波长的第一调制光信号；第一光开关与第一调制器阵列连接，用于将至少一种波长的第一调制光信号按预设时序进行排布，得到第一合波光信号，并按照输入信号矩阵中的元素数量，在时间上重复第一合波光信号，得到第二合波光信号；第二调制器与第一光开关连接，用于将输入信号矩阵中的元素分别调制到第二合波光信号中，得到第二合波调制光信
号；第二光开关与第二调制器连接，用于将第二合波调制光信号分解为至少一种波长的第二调制光信号；延迟器阵列与第二光开关连接，用于对至少一种波长的第二调制光信号的输出时刻进行调整，得到至少一种波长的第三调制光信号；波分复用器与延迟器阵列连接，用于将至少一种波长的第三调制光信号汇合输出为第三合波光信号；光电探测器与波分复用器连接，用于从第三合波光信号中抽取至少一个目标合波光信号，并对至少一个目标合波光信号进行光电转换，得到与卷积结果对应的电信号集合。因此，通过采用第一光开关按照输入信号矩阵中的元素数量，在时间上重复第一合波光信号，并通过第二调制器将输入信号矩阵中的元素分别调制到第二合波光信号中，可以完成多维度的卷积运算，可以无需增加调制器的通道并复制整个系统来同步并行另外维度的滑动，可以降低系统的复杂度，可以提高系统的灵活性，可以降低系统的功耗，可以提高系统的可扩展性，从而可以提高系统使用时的便利性。
[0030]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0031]本公开上述的和/或附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光学神经网络中的卷积运算层的加速系统，其特征在于，包括：光源阵列、第一调制器阵列、第一光开关、第二调制器、第二光开关、延迟器阵列、波分复用器和光电探测器；其中，所述光源阵列，用于输出至少一种波长的光信号；所述第一调制器阵列与所述光源阵列连接，用于将卷积核矩阵中的元素分别调制到所述至少一种波长的光信号中，得到至少一种波长的第一调制光信号；所述第一光开关与所述第一调制器阵列连接，用于将所述至少一种波长的第一调制光信号按预设时序进行排布，得到第一合波光信号，并按照输入信号矩阵中的元素数量，在时间上重复所述第一合波光信号，得到第二合波光信号；所述第二调制器与所述第一光开关连接，用于将所述输入信号矩阵中的元素分别调制到所述第二合波光信号中，得到第二合波调制光信号；所述第二光开关与所述第二调制器连接，用于将所述第二合波调制光信号分解为至少一种波长的第二调制光信号；所述延迟器阵列与所述第二光开关连接，用于对所述至少一种波长的第二调制光信号的输出时刻进行调整，得到至少一种波长的第三调制光信号；所述波分复用器与所述延迟器阵列连接，用于将所述至少一种波长的第三调制光信号汇合输出为第三合波光信号；所述光电探测器与所述波分复用器连接，用于从所述第三合波光信号中抽取至少一个目标合波光信号，并对所述至少一个目标合波光信号进行光电转换，得到与卷积结果对应的电信号集合。2.如权利要求1所述的系统，其特征在于，所述光源阵列包括N个激光器，所述第一调制器阵列包括N个第一调制器，所述第一光开关为Nx1光开关，所述第二光开关为1xN光开关，所述延迟器阵列包括N个延迟线，N＝i2，i为非0整数；其中，所述激光器与所述第一调制器一一对应，所述第一调制器与...

【专利技术属性】
技术研发人员：熊婉姝，潘炜炜，李玉苗，姚偌云，彭张皖，吉晨，
申请(专利权)人：之江实验室，
类型：发明
国别省市：