一种基于强化学习的基片集成波导参数优化方法及结构技术

本发明专利技术提供了一种基于强化学习的基片集成波导参数优化方法及结构，方法包括如下步骤：对待优化基片集成波导进行参数提取：参数包括阻抗网络中阻抗单元的偏转角度θ，以及加载其上的结构参数L；根据Q

【技术实现步骤摘要】
一种基于强化学习的基片集成波导参数优化方法及结构


[0001]本专利技术涉及基片集成波导设计
，具体而言，涉及一种基于强化学习的基片集成波导参数优化方法及结构。

技术介绍

[0002]基片集成波导(Substrate Integrated Waveguide,SIW)技术作为一种新型导波结构，它既保持了传统金属波导的高Q值、低损耗、高功率容量等优点，又易于与微带线、共面波导等各种平面结构相集成。因此，SIW已广泛地运用于微波毫米波电路系统及微波元器件的设计，如滤波器、定向耦合器、移相器、功率分配/合成器等。对于微波低频段的应用来说，由于SIW固有截止频率的限制，其占电路面积仍然过大，这制约着其在紧凑型微波系统中的应用。2014年，首次提出慢波基片集成波导(Slow
‑
Wave Substrate Integrated Waveguide,SW
‑
SIW)的概念。对于SIW小型化技术来说，SW
‑
SIW具有十分重要的工程意义和科研价值。
[0003]强化学习(Reinforcement Learning,RL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。这个方法具有普适性，在其他许多领域都有研究，例如博弈论、控制论、运筹学、信息论、仿真优化、多主体系统学习、群体智能、统计学以及遗传算法，然而鲜有人把强化学习运用在微波器件的参数优化上。
[0004]基片集成波导的宽度以及加载其上的结构尺寸等参数都是影响性能的因素，多数人都是在仿真软件上手动调参数仿真，非常的耗时耗力且不一定能提升性能，因此如何更好的设计基片集成波导的参数是一个需要研究的问题。而机器学习中的强化学习可以在不耗费人力的情况下让基片集成波导参数在不断试错的过程中达到更好的仿真效果。

技术实现思路

[0005]本专利技术的目的在于提供一种基于强化学习的基片集成波导参数优化方法，以解决
技术介绍
中所指出的问题。
[0006]本专利技术的实施例通过以下技术方案实现：一种基于强化学习的基片集成波导参数优化方法，包括如下步骤：
[0007]步骤一、对待优化基片集成波导进行参数提取：基片集成波导的上表面金属层上设有由N个直接连接的阻抗单元构成的阻抗网络，阻抗单元的延伸方向与横向方向呈θ的夹角，阻抗单元为椭圆形金属贴片及其纵向连接的微带线的组合，椭圆形金属贴片上开设有椭圆形缺口，其尺寸参数为L，包括椭圆形金属贴片的短轴长度L1、长轴长度L2、微带线长度L3以及微带线间距离L4；
[0008]步骤二、根据Q
‑
learning算法，基于强化学习中的ε贪婪策略，以待优化基片集成
波导的参数夹角θ和尺寸L做范围变化并代入三维电磁场仿真软件进行变量仿真测试，得到参数对应的奖励值或惩罚值，其中，所述参数夹角θ的取值范围为0
°
～90
°
；
[0009]步骤三、根据所述参数对应的奖励值或惩罚值，得到最优参数。
[0010]根据一种优选实施方式，所述步骤二具体包括：
[0011]对待优化基片集成波导的参数夹角θ和尺寸L进行初始化并建模，其中，对待优化的参数取随机数，通过三维电磁场仿真软件仿真得到仿真增益并将仿真增益设为初始状态s；
[0012]以待优化基片集成波导的参数夹角θ和尺寸L做范围变化，构建动作集A，以及设置奖惩函数R；
[0013]基于强化学习中的ε贪婪策略，根据初始状态s从动作集A中选择动作，将初始状态s和动作输入Q
‑
learning强化学习模型进行计算，得到奖励值或惩罚值，并对Q表进行更新，状态由s转移到s'。
[0014]根据一种优选实施方式，所述步骤二中，选取仿真增益在指定频率内的最大值作为初始状态s。
[0015]本专利技术还提供一种基片集成波导结构，由上述所述的基于强化学习的基片集成波导参数优化方法所得。
[0016]根据一种优选实施方式，包括：介质基片，所述介质基片的横向两侧设有金属化通孔阵列，连接上、下表面金属层；
[0017]所述介质基片的上表面金属层上设置有与其连接的阻抗网络，所述阻抗网络由N个阻抗单元构成，N为大于等于1的正整数，每个阻抗单元为金属层加工蚀刻成横向金属贴片及其纵向连接的微带线的组合，所述横向金属贴片上开设有缺口，相邻阻抗单元的金属贴片之间由所述微带线连接。
[0018]根据一种优选实施方式，所述金属贴片为椭圆形金属贴片，所述缺口设置为椭圆形缺口，所述微带线连接于椭圆形金属贴片的短轴，每个阻抗单元的椭圆形金属贴片的长轴依次连接。
[0019]根据一种优选实施方式，所述椭圆形金属贴片的长轴方向与横向方向平行。
[0020]根据一种优选实施方式，所述椭圆形金属贴片的短轴长度L1/2为0.45mm，长轴长度L2/2为0.9mm、微带线长度L3为0.3mm以及微带线间距离L4为1.5mm。
[0021]本专利技术实施例的技术方案至少具有如下优点和有益效果：本专利技术在线下利用深度学习算法学习到最优的基片集成波导优化参数，然后在线上优化时使用，以快速得到给定设计参数及设计目标下最优的优化参数，提高了基片集成波导设计效率；此外，本专利技术所提供的基片集成波导结构可获得更强烈的慢波效应，获得更良好的小型化效果。
附图说明
[0022]图1为本专利技术实施例1提供的参数优化方法的流程示意图；
[0023]图2为本专利技术实施例1提供的基片集成波导θ为0
°
时的结构示意图；
[0024]图3为本专利技术实施例1提供的基片集成波导θ为45
°
时的结构示意图；
[0025]图4为本专利技术实施例1提供的基片集成波导θ为90
°
时的结构示意图；
[0026]图5为本专利技术实施例1提供的阻抗单元的结构示意图；
[0027]图6为本专利技术实施例1提供的椭圆形金属贴片的结构示意图；
[0028]图7为本专利技术实施例1提供的参数优化数据结果示意图；
[0029]图标：1
‑
金属层，2
‑
介质基片，3
‑
金属化通孔阵列，4
‑
阻抗网络，5
‑
梯形过渡段。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0031]实施例1
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的基片集成波导参数优化方法，其特征在于，包括如下步骤：步骤一、对待优化基片集成波导进行参数提取：基片集成波导的上表面金属层上设有由N个直接连接的阻抗单元构成的阻抗网络，阻抗单元的延伸方向与横向方向呈θ的夹角，阻抗单元为椭圆形金属贴片及其纵向连接的微带线的组合，金属贴片上开设有椭圆形缺口，其尺寸参数为L，包括椭圆形金属贴片的短轴长度L1、长轴长度L2、微带线长度L3以及微带线间距离L4；步骤二、根据Q
‑
learning算法，基于强化学习中的ε贪婪策略，以待优化基片集成波导的参数夹角θ和尺寸L做范围变化并代入三维电磁场仿真软件进行变量仿真测试，得到参数对应的奖励值或惩罚值，其中，所述参数夹角θ的取值范围为0
°
～90
°
；步骤三、根据所述参数对应的奖励值或惩罚值，得到最优参数。2.如权利要求1所述的基于强化学习的基片集成波导参数优化方法，其特征在于，所述步骤二具体包括：对待优化基片集成波导的参数夹角θ和尺寸L进行初始化并建模，其中，对待优化的参数取随机数，通过三维电磁场仿真软件仿真得到仿真增益并将仿真增益设为初始状态s；以待优化基片集成波导的参数夹角θ和尺寸L做范围变化，构建动作集A，以及设置奖惩函数R；基于强化学习中的ε贪婪策略，根据初始状态s从动作集A中选择动作，将初始状态s和动作输入Q
‑
learning强化学习模型进行计算...

【专利技术属性】
技术研发人员：黄永茂，何宇，王未来，江婉，
申请(专利权)人：西华大学，
类型：发明
国别省市：