基于强化学习的电路参数优化方法及系统技术方案

本发明专利技术公开了一种基于强化学习的电路参数优化方法及系统，其中，该方法包括：获取仿真电路的优化参数和观测信息，并对优化参数进行初始化；将观测信息输入预先训练好的神经网络模型，以输出优化参数的更新量；根据更新量对优化参数进行更新以达到优化目标。该方法可以快速得到给定设计参数及设计目标下最优的优化参数，提高电路设计效率，缩短电路产品的上市时间。

Circuit parameter optimization method and system based on Reinforcement Learning

【技术实现步骤摘要】
基于强化学习的电路参数优化方法及系统
本专利技术涉及集成电路设计
，特别涉及一种基于强化学习的电路参数优化方法及系统。
技术介绍
在电路设计工作中，参数优化是一个不可避免的问题，尤其是模拟电路设计，对设计者的经验要求较高。随着集成电路规模和性能的不断提高，电路设计优化的需求日益增大。传统的优化算法需要进行大量的迭代，由于迭代中需要调用仿真器来计算目标函数，调用仿真器的代价很大，所以对电路参数的优化需要花费大量的时间。这大大地制约了电路设计的效率，不仅提高了电路设计的人工成本，而且延长了电路产品的上市时间，进而使产品的竞争力降低。在传统的参数优化过程中，一般依赖于设计者的经验给出一个较好的结果，有时也会借助优化算法来寻找最优解。传统的优化算法包括粒子群优化算法、差分进化算法和遗传算法等，这些优化算法都是基于尽量广以及随机性的搜索来得到全局最优解，需要耗费较长的时间，而且在不同的电路参数和设计目标下，需要重新设计及优化。其次，这些算法都是由人工设计得到的，这对算法设计者提出了更高的要求：设计者应该对问题有充分的了解，并且有一定的经验。对于同一个电路拓扑，在不同的设计目标下就有不同的最优解。在参数数量较多的情况下，要求新手设计者能迅速得到较优的参数以满足当前电路设计的目标是比较困难的事。另外，电路设计中常常遇到工艺尺寸迁移的问题，从大尺寸工艺迁移到小尺寸工艺之后，虽然电路拓扑不变，但其中的电路参数均需要设计者重新设计以符合设计要求。针对这种结构不变，只由参数来控制问题变化的优化问题，提出了引入强化学习来“学习”一种优化算法，使其能根据优化目标对某一种拓扑电路进行优化，并迅速得到结果。，
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于强化学习的电路参数优化方法，该方法通过时域划分实现并行化计算的电路仿真方法，使得瞬态分析可以实现高效率的并行化，提高电路的瞬态分析的效率,从而提高电路设计效率，缩短电路产品的上市时间。本专利技术的另一个目的在于提出一种基于强化学习的电路参数优化系统。为达到上述目的，本专利技术一方面实施例提出了一种基于强化学习的电路参数优化方法，包括：S1，获取仿真电路的优化参数和观测信息，并对所述优化参数进行初始化；S2，将所述观测信息输入预先训练好的神经网络模型，以输出所述优化参数的更新量；S3，根据所述更新量对所述优化参数进行更新以达到优化目标。本专利技术实施例的基于强化学习的电路参数优化方法，通过强化学习实现线下训练、线上测试的电路参数优化方法，给定一个电路仿真的输入文件，该文件用于描述需要仿真的电路的拓扑结构、外部激励信号、优化参数以及设计参数；在线下利用强化学习算法学习到最优的电路参数优化路径，然后在线上优化时使用，以快速得到给定设计参数及设计目标下最优的优化参数，提高电路设计效率，缩短电路产品的上市时间。另外，根据本专利技术上述实施例的基于强化学习的电路参数优化方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在S1之前，还包括：构建神经网络模型，其中，利用强化学习算法对神经网络模型进行训练，神经网络模型的输入为仿真电路中的多种参数、损失函数大小及仿真电路中的所述观测信息，输出为仿真电路的所述优化参数的更新量。进一步地，在本专利技术的一个实施例中，所述构建神经网络模型具体包括：a，获取并固定一组设计参数，初始化所述优化参数；b，将仿真电路的所述观测信息输入搭建好的神经网络模型，输出所述优化参数的更新量，并计算新的损失函数以得到回报函数；c，将所述观测信息、所述更新量和所述回报函数组成三元组作用于强化学习算法，以更新神经网络模型的参数；d，迭代步骤b和步骤c，达到第一预设条件结束本次训练；e，重复步骤a至步骤d直至神经网络模型收敛得到所述预先训练好的神经网络模型。进一步地，在本专利技术的一个实施例中，还包括：对所述预先训练好的神经网络模型进行测试；其中，测试的具体步骤为：f，获取所述设计参数，初始化所述优化参数；g，向神经网络模型输入所述观测信息，输出更新量后更新所述优化参数；h，重复步骤g，直至达到第二预设条件，结束对神经网络模型的测试。进一步地，在本专利技术的一个实施例中，所述设计参数包括：电源电压、工艺尺寸、激励信号和设计目标；所述优化参数包括：沟道宽度和偏置电压。为达到上述目的，本专利技术另一方面实施例提出了一种基于强化学习的电路参数优化系统，包括：处理模块，用于获取仿真电路的优化参数和观测信息，并对所述优化参数进行初始化；输出模块，用于将所述观测信息输入预先训练好的神经网络模型，以输出所述优化参数的更新量；优化模块，用于根据所述更新量对所述优化参数进行更新以达到优化目标。本专利技术实施例的基于强化学习的电路参数优化系统，通过强化学习实现线下训练、线上测试的电路参数优化方法，给定一个电路仿真的输入文件，该文件用于描述需要仿真的电路的拓扑结构、外部激励信号、优化参数以及设计参数；在线下利用强化学习算法学习到最优的电路参数优化路径，然后在线上优化时使用，以快速得到给定设计参数及设计目标下最优的优化参数，提高电路设计效率，缩短电路产品的上市时间。另外，根据本专利技术上述实施例的基于强化学习的电路参数优化系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：构建模块；所述构建模块用于构建神经网络模型，利用强化学习算法对神经网络模型进行训练，神经网络模型的输入为仿真电路中的多种参数、损失函数大小及仿真电路中的所述观测信息，输出为仿真电路的所述优化参数的更新量。进一步地，在本专利技术的一个实施例中，所述构建模块具体用于，获取并固定一组设计参数，初始化所述优化参数；将仿真电路的所述观测信息输入搭建好的神经网络模型，输出所述优化参数的更新量，并计算新的损失函数以得到回报函数；将所述观测信息、所述更新量和所述回报函数组成三元组作用于强化学习算法，以更新神经网络模型的参数；进行迭代以更新神经网络模型的参数，达到第一预设条件结束一次训练；进行多次训练直至神经网络模型收敛得到所述预先训练好的神经网络模型。进一步地，在本专利技术的一个实施例中，还包括：测试模块；所述测试模块用于对所述预先训练好的神经网络模型进行测试。进一步地，在本专利技术的一个实施例中，所述设计参数包括：电源电压、工艺尺寸、激励信号和设计目标；所述优化参数包括：沟道宽度和偏置电压。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于强化学习的电路参数优化方法流程图；图2为根据本专利技术一个实施例的一个电路输入文件例子的示意图；图3为根据本专利技术一个实施例的训练神经网络模型的示意图；图4为根据本专利技术一个实施例的实验测试结果及与差分进化算法的优化结果比较图；图5为根据本专利技术一个实施例的基于强化学习的电路参数优化系统结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性本文档来自技高网...

【技术保护点】
1.一种基于强化学习的电路参数优化方法，其特征在于，包括以下步骤：S1，获取仿真电路的优化参数和观测信息，并对所述优化参数进行初始化；S2，将所述观测信息输入预先训练好的神经网络模型，以输出所述优化参数的更新量；S3，根据所述更新量对所述优化参数进行更新以达到优化目标。

【技术特征摘要】
1.一种基于强化学习的电路参数优化方法，其特征在于，包括以下步骤：S1，获取仿真电路的优化参数和观测信息，并对所述优化参数进行初始化；S2，将所述观测信息输入预先训练好的神经网络模型，以输出所述优化参数的更新量；S3，根据所述更新量对所述优化参数进行更新以达到优化目标。2.根据权利要求1所述的基于强化学习的电路参数优化方法，其特征在于，在S1之前，还包括：构建神经网络模型，其中，利用强化学习算法对神经网络模型进行训练，神经网络模型的输入为仿真电路中的多种参数、损失函数大小及仿真电路中的所述观测信息，输出为仿真电路的所述优化参数的更新量。3.根据权利要求2所述的基于强化学习的电路参数优化方法，其特征在于，所述构建神经网络模型具体包括：a，获取并固定一组设计参数，初始化所述优化参数；b，将仿真电路的所述观测信息输入搭建好的神经网络模型，输出所述优化参数的更新量，并计算新的损失函数以得到回报函数；c，将所述观测信息、所述更新量和所述回报函数组成三元组作用于强化学习算法，以更新神经网络模型的参数；d，迭代步骤b和步骤c，达到第一预设条件结束本次训练；e，重复步骤a至步骤d直至神经网络模型收敛得到所述预先训练好的神经网络模型。4.根据权利要求3所述的基于强化学习的电路参数优化方法，其特征在于，还包括：对所述预先训练好的神经网络模型进行测试；其中，测试的具体步骤为：f，获取所述设计参数，初始化所述优化参数；g，向神经网络模型输入所述观测信息，输出更新量后更新所述优化参数；h，重复步骤g，直至达到第二预设条件，结束对神经网络模型的测试。5.根据权利要求3所述的基于强化学习的电路参数优化方法，其特征在于，所述设计参数包...

【专利技术属性】
技术研发人员：叶佐昌，唐长成，余志平，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11