【技术实现步骤摘要】
本专利技术涉及电源管理，尤其涉及一种用于芯片的电源转换控制方法及系统。
技术介绍
1、随着集成电路技术的不断发展，芯片的功能日益复杂，对电源的要求也越来越高，为了满足芯片的供电需求，通常需要使用电源转换电路将外部电源转换为芯片所需的工作电压，然而，传统的电源转换控制方法存在着一些局限性，难以适应现代芯片的高性能、低功耗、高可靠性等要求；
2、现有技术中，电源转换控制通常采用固定的控制策略，如固定的转换频率、固定的占空比等，现有的控制方式控制方式缺乏灵活性，无法根据芯片的实际工作状态进行动态调整，导致电源转换效率低下，能量损耗较大，同时，固定的控制策略难以应对芯片工作环境的变化，如温度波动、负载变化等，可能引起电源输出不稳定，影响芯片的正常工作；
3、因此，亟需一种方案解决现有技术中存在的问题。
技术实现思路
1、本专利技术实施例提供一种用于芯片的电源转换控制方法及系统，至少能解决现有技术中存在的部分问题。
2、本专利技术实施例的第一方面，提供一种用于芯片的电源转换控制方法，包括：
3、基于近端策略优化算法，结合时序差分学习和多步自举返回技术构建基于深度强化学习的电源转换优化模型，结合芯片的电源转换控制特点确定所述电源转换优化模型的状态空间、动作函数和奖励值，随机生成模型训练样本并结合近端策略优化算法对所述电源转换优化模型进行预训练，生成初始策略网络参数和初始价值网络参数，结合迁移学习技术将训练得到的参数迁移至实际控制环境中，得到训练完
4、获取待测芯片的工作状态参数和外部电源电压添加至所述电源转换优化模型，通过前向推理生成最优转换控制策略，基于所述最优转换控制策略和智能过零检测算法，通过转换执行单元调整所述外部电源电压，结合闭环反馈控制机制对所述待测芯片的工作电压进行调整，生成第二工作状态参数，提取所述第二工作状态参数对应的状态变化特征并判断是否发生显著变化，若是，则重新生成所述最优转换控制策略，否则将所述第二工作状态参数和所述最优转换控制策略打包，生成运行日志；
5、对于所述运行日志，通过自然语言处理技术进行语义解析和关键信息提取，确定关键参数并通过时间序列分析算法对所述第二工作状态参数进行特征工程，确定时序特征并通过关联规则挖掘算法确定关联规则，生成优化控制规则集，基于所述优化控制规则集训练预先设置的基学习器并组合得到集成优化模型，将所述集成优化模型与所述电源转换优化模型融合，结合主动学习机制，根据预测不确定性选择芯片工况并进行增量学习，得到候选转换模型并通过专家知识库中的测试数据集进行优化效果评估，重复评估直至达到预设的最大迭代次数，将具有最高优化效果的候选转换模型的参数作为最优参数进行反馈并对当前待测芯片进行电源转换。
6、在一种可选的实施方式中，
7、基于近端策略优化算法，结合时序差分学习和多步自举返回技术构建基于深度强化学习的电源转换优化模型，结合芯片的电源转换控制特点确定所述电源转换优化模型的状态空间、动作函数和奖励值，随机生成模型训练样本并结合近端策略优化算法对所述电源转换优化模型进行预训练，生成初始策略网络参数和初始价值网络参数，结合迁移学习技术将训练得到的参数迁移至实际控制环境中，得到训练完成的电源转换优化模型包括：
8、基于近端策略优化算法，结合时序差分学习和多步自举返回技术构建基于深度强化学习的电源转换优化模型，在所述电源转换优化模型中设置策略网络、价值网络和经验回放缓冲区；
9、基于电源系统的状态变量设置状态空间，基于操作控制定义动作函数，基于电源转换需求设置性能指标，基于所述性能指标确定奖励值，其中，所述状态空间包括电压、电流、温度和负载条件，所述操作控制包括电压转换曲线参数和转换时序控制参数，所述性能指标包括芯片性能，能耗水平和芯片温升；
10、基于芯片信息构建电源转换仿真环境，在所述电源转换仿真环境中采集芯片对应的状态参数，电源转换控制参数和性能指标，随机生成初始训练样本并通过数据增强技术在所述初始训练样本中添加随机扰动并对相邻样本数据进行插值计算，得到构建完成的模型训练样本集；
11、基于所述模型训练样本集对所述电源转换优化模型进行预训练，通过所述的策略网络在所述模型训练样本集中进行采样，得到多个轨迹数据，其中，所述轨迹数据包含多个状态、动作和奖励信息，对每个轨迹中的状态和动作计算优势函数值和重要性采样比，对所述重要性采样比进行截断，基于截断后的重要性采样比和所述优势函数值计算策略网络的损失函数值，基于策略网络对应的损失函数对策略网络参数求梯度并结合优化器进行参数更新，得到所述初始策略网络参数；
12、使用当前价值网络对所述模型训练样本集中的每个状态估计对应的价值函数值，结合时序差分学习原理，通过每个状态的即时奖励和下一状态的估计值计算时序差分学习目标值，将所述时序差分学习目标值作为状态价值函数的学习目标，基于所述价值函数值和所述时序差分学习目标值求解价值网络的梯度并结合优化器进行参数更新，得到所述初始价值网络参数；
13、基于所述初始策略网络参数和所述初始价值网络参数，通过迁移学习加载至实际控制环境的模型中作为初始参数，在实际控制环境中运行电源控制系统，采集数据并生成目标域训练样本，通过所述目标域训练样本对所述策略网络和价值网络进行训练，重复训练直至达到预设的最大训练次数或模型性能达标，得到优化模型参数并添加至电源转换优化模型中，得到训练完成的电源转换优化模型。
14、在一种可选的实施方式中，
15、基于截断后的重要性采样比和所述优势函数值计算策略网络的损失函数值如下公式所示：
16、；
17、其中， l( θ)表示损失函数值， θ表示策略网络当前的参数， n表示采样得到的状态-动作对， a i表示第 i个状态-动作对的优势函数值，表示在当前策略 π θ下，给定状态 s i时采取动作 a i的概率，表示在上一次的迭代策略下，给定状态 s i时采取动作 a i的概率， ε表示一个超参数，用于控制重要性采样比的截断范围。
18、在一种可选的实施方式中，
19、获取待测芯片的工作状态参数和外部电源电压添加至所述电源转换优化模型，通过前向推理生成最优转换控制策略，基于所述最优转换控制策略和智能过零检测算法，通过转换执行单本文档来自技高网...
【技术保护点】
1.用于芯片的电源转换控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于近端策略优化算法，结合时序差分学习和多步自举返回技术构建基于深度强化学习的电源转换优化模型，结合芯片的电源转换控制特点确定所述电源转换优化模型的状态空间、动作函数和奖励值，随机生成模型训练样本并结合近端策略优化算法对所述电源转换优化模型进行预训练，生成初始策略网络参数和初始价值网络参数，结合迁移学习技术将训练得到的参数迁移至实际控制环境中，得到训练完成的电源转换优化模型包括：
3.根据权利要求2所述的方法，其特征在于，基于截断后的重要性采样比和所述优势函数值计算策略网络的损失函数值如下公式所示：
4.根据权利要求1所述的方法，其特征在于，获取待测芯片的工作状态参数和外部电源电压添加至所述电源转换优化模型，通过前向推理生成最优转换控制策略，基于所述最优转换控制策略和智能过零检测算法，通过转换执行单元调整所述外部电源电压，结合闭环反馈控制机制对所述待测芯片的工作电压进行调整，生成第二工作状态参数，提取所述第二工作状态参数对应的状态变化特征并判断是否发生
5.根据权利要求4所述的方法，其特征在于，获取芯片最新工作状态参数作为第二工作状态参数并提取状态变化特征如下公式所示：
6.根据权利要求1所述的方法，其特征在于，对于所述运行日志，通过自然语言处理技术进行语义解析和关键信息提取，确定关键参数并通过时间序列分析算法对所述第二工作状态参数进行特征工程，确定时序特征并通过关联规则挖掘算法确定关联规则，生成优化控制规则集，基于所述优化控制规则集训练预先设置的基学习器并组合得到集成优化模型，将所述集成优化模型与所述电源转换优化模型融合，结合主动学习机制，根据预测不确定性选择芯片工况并进行增量学习，得到候选转换模型并通过专家知识库中的测试数据集进行优化效果评估，重复评估直至达到预设的最大迭代次数，将具有最高优化效果的候选转换模型的参数作为最优参数进行反馈并对当前待测芯片进行电源转换包括：
7.根据权利要求6所述的方法，其特征在于，结合偏自相关分析算法计算所述第二工作状态参数的偏自相关系数如下公式所示：
8.用于芯片的电源转换控制系统，用于实现前述权利要求1-7中任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
...【技术特征摘要】
1.用于芯片的电源转换控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于近端策略优化算法，结合时序差分学习和多步自举返回技术构建基于深度强化学习的电源转换优化模型，结合芯片的电源转换控制特点确定所述电源转换优化模型的状态空间、动作函数和奖励值，随机生成模型训练样本并结合近端策略优化算法对所述电源转换优化模型进行预训练，生成初始策略网络参数和初始价值网络参数，结合迁移学习技术将训练得到的参数迁移至实际控制环境中，得到训练完成的电源转换优化模型包括：
3.根据权利要求2所述的方法，其特征在于，基于截断后的重要性采样比和所述优势函数值计算策略网络的损失函数值如下公式所示：
4.根据权利要求1所述的方法，其特征在于，获取待测芯片的工作状态参数和外部电源电压添加至所述电源转换优化模型，通过前向推理生成最优转换控制策略，基于所述最优转换控制策略和智能过零检测算法，通过转换执行单元调整所述外部电源电压，结合闭环反馈控制机制对所述待测芯片的工作电压进行调整，生成第二工作状态参数，提取所述第二工作状态参数对应的状态变化特征并判断是否发生显著变化，若是，则重新生成所述最优转换控制策略，否则将所述第二工作状态参数和所述最优转换控制策略打包，生成运行日志包括：
5.根据权利要求4所述的方法，...
【专利技术属性】
技术研发人员：郭虎，王才宝，王新泽，
申请(专利权)人：北京炎黄国芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。