一种电动汽车集群在线充电算法制造技术

本发明专利技术公开了一种电动汽车集群在线充电算法，包括：S1、基于LSTM的实时电网价格预测模型，定义一个具有300个单隐层的LSTM模型作为解码器；S2、社区家庭电动汽车集群充电策略模型接收LSTM预测电价与其他电动汽车状态合并作为输入，送入模型训练；S3、将社区家庭电动汽车集群充电问题进行马尔可夫决策建模，创建一个中央处理器为每个充电桩创建独立的充电策略，并且保持不同充电桩之间的通信合理计划充电功率，以整体电网负载压力作为约束条件。本发明专利技术主要通过LSTM来预测下一阶段的电价从而指导充电桩做出最佳的充放电决策动作，最小化充电成本，维持社区电网负载良性平衡。维持社区电网负载良性平衡。维持社区电网负载良性平衡。

【技术实现步骤摘要】
一种电动汽车集群在线充电算法


[0001]本专利技术涉及电动汽车在线充电技术，具体涉及一种基于多智能体强化学习和长短记忆网络的电动汽车集群在线充电算法。

技术介绍

[0002]目前，电动汽车(EV)凭借其低污染，无噪声等特点迅速扩张市场，但庞大的用户群体使社区家庭充电站不堪重负，社区供电容量有限，电力负载不足。传统EV集群充电策略更偏向于用电低峰期实施充电，然而当EV普及后夜间用电需求出现爆发性增长，电网负荷高峰将被转移，用电成本随之成倍增加。传统方法通过价格激励用户用电但当大批量消耗电能时电力批发市场会出现雪崩现象，并且其灵活性较低。随着RL的发展逐渐出现了许多实时激励方案，这些方案通过RL来规避电网市场的雪崩风险，实时动态调整激励计划诱导用户做出最有利的选择。车辆到电网(V2G)技术提出，在电网负荷较高时通过EV自身的电能存储反哺电网形成一定缓冲，达成用户与电网双方共赢的局面。

技术实现思路

[0003]本专利技术的主要目的在于提供一种电动汽车集群在线充电算法，主要通过LSTM来预测下一阶段的电价从而指导充电桩做出最佳的充放电决策动作，最小化充电成本，维持社区电网负载良性平衡。
[0004]本专利技术采用的技术方案是：一种电动汽车集群在线充电算法，包括：S1、基于LSTM的实时电网价格预测模型，定义一个具有300个单隐层的LSTM模型作为解码器，它读取输入序列并输出300个元素向量，该向量捕获输入序列中的特征。通过将EV的实时充电需求数量作为输入，然后，使用一个全连接层解释输出序列中的每个时间步，输出层预测输出序列中的一个步骤；S2、社区家庭电动汽车集群充电策略模型接收LSTM预测电价与其他电动汽车状态合并作为输入，送入模型训练；S3、将社区家庭电动汽车集群充电问题进行马尔可夫决策建模，创建一个中央处理器为每个充电桩创建独立的充电策略，并且保持不同充电桩之间的通信合理计划充电功率，以整体电网负载压力作为约束条件。
[0005]进一步地，所述步骤S3具体包括：状态空间：EV集群充电的状态分为两组：单智能体充电状态，该状态主要用于确保电动汽车个体充电得到满足；多智能体充电状态，该状态为集体状态，主要用于负责维持整体状态稳定；当充电桩开始执行充电任务时直接获取电动汽车电池的电量，同时跟新充电状态；行动空间：EV集群充电动作空间为每个充电桩的输出功率；奖励：奖励用于智能体提供其动作决策的延迟反馈，奖励函数设置为负数的惩罚函数；
奖励函数分为充电成本函数、充电功率惩罚和充电电量惩罚函数，其中充电成本奖励函数表示如下：奖励函数表示如下：公式(1)中为折扣参数，为充电状态函数，为实时电价，为充电功率。充电功率奖励函数如下：为充电功率。充电功率奖励函数如下：公式(2)中为折扣参数，为区域电网负载率，是所有充电桩的负载率加权平均，计算如下：权平均，计算如下：公式(3)中为单个充电桩的负载率。最后是充电电量奖励函数：为单个充电桩的负载率。最后是充电电量奖励函数：公式(4)中为电量折扣参数，该函数主要判断充电是否完成。考虑到用户使用场景的不确定性，设置充电阈值，阈值限制函数如下： 公式(5)中为阈值折扣参数，当电量小于该阈值时则保持充电状态禁止放电，大于该阈值时则允许进行放电操作一旦到达该阈值则停止放电。最后总奖励函数如公式(6)所示：所示：观察值：为了使中央处理器更好的掌握全局信息，为每个智能体设置观察值。其设置如公式(7)所示：置如公式(7)所示：。
[0006]本专利技术的优点：本专利技术主要通过LSTM来预测下一阶段的电价从而指导充电桩做出最佳的充放电决策动作，最小化充电成本，维持社区电网负载良性平衡。
[0007]除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。
下面将参照图，对本专利技术作进一步详细的说明。
附图说明
[0008]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0009]图1是本专利技术的基于基于多智能体强化学习和长短记忆网络的电动汽车集群在线充电算法流程图；图2是本专利技术的电动汽车集群在线充电算法电价与功率图；图3是本专利技术的MADDPG算法与DQN算法社区内所有充电桩功率总和对比图；图4是本专利技术的各时间段用电成本对比图；图5是本专利技术的MADDPG算法和DQN算法各时间段在每个充电桩的平均费用比较图。
具体实施方式
[0010]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0011]本申请的专利技术思路是，通过LSTM来预测下一阶段的电价从而指导充电桩做出最佳的充放电决策动作，最小化充电成本，维持社区电网负载良性平衡。将在线充电问题看作是马尔可夫决策问题，创建中央处理器协调每个充电桩与整个充电站充电环境的交互，通过采取实时的功率控制行动，最小化充电站充电电网负载以最大化奖励。
[0012]一种电动汽车集群在线充电算法，包括：S1、基于LSTM的实时电网价格预测模型，定义一个具有300个单隐层的LSTM模型作为解码器，它读取输入序列并输出300个元素向量，该向量捕获输入序列中的特征。通过将EV的实时充电需求数量作为输入，然后，使用一个全连接层解释输出序列中的每个时间步，输出层预测输出序列中的一个步骤；S2、社区家庭电动汽车集群充电策略模型接收LSTM预测电价与其他电动汽车状态合并作为输入，送入模型训练；S3、将社区家庭电动汽车集群充电问题进行马尔可夫决策建模，创建一个中央处理器为每个充电桩创建独立的充电策略，并且保持不同充电桩之间的通信合理计划充电功率，以整体电网负载压力作为约束条件。
[0013]进一步地，所述步骤S3具体包括：状态空间：EV集群充电的状态分为两组：单智能体充电状态，该状态主要用于确保电动汽车个体充电得到满足；多智能体充电状态，该状态为集体状态，主要用于负责维持整体状态稳定；当充电桩开始执行充电任务时直接获取电动汽车电池的电量，同时跟新充电状态；行动空间：EV集群充电动作空间为每个充电桩的输出功率；奖励：奖励用于智能体提供其动作决策的延迟反馈，奖励函数设置为负数的惩罚函数；奖励函数分为充电成本函数、充电功率惩罚和充电电量惩罚函数，其中充电成本
奖励函数表示如下：奖励函数表示如下：公式(1)中为折扣参数，为充电状态函数，为实时电价，为充电功率。充电功率奖励函数如下：充电功率。充电功率奖励函数如下：公式(2)中为折扣参数，为区域电网负载率，是所有充电桩的负载率加权平均，计算如下：权平均，计算如下：公式(3)中为单个充电桩的负载率。最后是充电电量奖励函数：为单个充电桩的负载率。最后是充电电量奖励函数：公式(4)中为电量折扣参数，该函数主要判断充电是否完成。考虑到用户使用场景的不确定性，设置充电阈值，阈值限制函数如下：，阈值限制函数如下：公式(5)中为阈值折扣参数，当电量小于该阈值时则保持充电状态禁止本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电动汽车集群在线充电算法，其特征在于，包括：S1、基于LSTM的实时电网价格预测模型，定义一个具有300个单隐层的LSTM模型作为解码器，它读取输入序列并输出300个元素向量，该向量捕获输入序列中的特征；通过将EV的实时充电需求数量作为输入，然后，使用一个全连接层解释输出序列中的每个时间步，输出层预测输出序列中的一个步骤；S2、社区家庭电动汽车集群充电策略模型接收LSTM预测电价与其他电动汽车状态合并作为输入，送入模型训练；S3、将社区家庭电动汽车集群充电问题进行马尔可夫决策建模，创建一个中央处理器为每个充电桩创建独立的充电策略，并且保持不同充电桩之间的通信合理计划充电功率，以整体电网负载压力作为约束条件。2.根据权利要求1所述的电动汽车集群在线充电算法，其特征在于，所述步骤S3具体包括：状态空间：EV集群充电的状态分为两组：单智能体充电状态，该状态主要用于确保电动汽车个体充电得到满足；多智能体充电状态，该状态为集体状态，主要用于负责维持整体状态稳定；当充电桩开始执行充电任务时直接获取电动汽车电池的电量，同时跟新充电状态；行动空间：EV集...

【专利技术属性】
技术研发人员：神显豪，张晔鑫，李家豪，秦运枝，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：