基于迁移强化学习的碳排放指数预测与治理方法技术

本发明专利技术涉及一种基于迁移强化学习的碳排放指数预测与治理方法，是针对现有同类技术中碳排放指数迁移强化学习和预测治理方法较难准确精准预测，以及较难最大化治理的技术问题。其要点是该预测方法通过迁移学习方法对具有相似特征区域的碳排放模型进行迁移，共享碳排放指数预测的信息；将迁移学习预测到的碳排放指数作为强化学习状态的输入，结合强化学习MDP进行碳排放治理建模，构建奖赏函数，运用强化学习算法实现预测。该治理方法利用MDP构建大规模自适应动态治理工具选择和组合，并利用强化学习的方法进行最优化策略求解，这个最优策略将引导整个治理工具组合过程达到最终目标，最优的工具组合方案即为MDP最优策略所对应的动作序列。应的动作序列。应的动作序列。

【技术实现步骤摘要】
基于迁移强化学习的碳排放指数预测与治理方法


[0001]本专利技术涉及碳排放指数预测与治理的方法，是一种基于迁移强化学习的碳排放指数预测与治理方法。

技术介绍

[0002]目前，由于电力行业的碳排放指数是结合电力碳排放总量指标、电力排放强度指标和零碳电能占比三个指标构成的，三个指标具有相互侧重又相互支撑。因此电力碳排放充电行业碳排放指数涉及时域、地域和成分(即电力碳排放总量指标、电力排放强度指标和零碳电能占比)三个维度来刻画。现有一些碳排放方法涉及电力系统，如中国专利文献中披露的申请号202010242390.9，申请公布日2020.08.11，专利技术名称“一种电力系统碳排放风险控制优化方法”；另一些通过碳排放来约束电动汽车的保有量，如中国专利文献中披露的申请号 202010002492.3，申请公布日2020.04.03，专利技术名称“一种基于碳排放约束的电动汽车保有量预测方法及系统”。但从一个地区对碳排放指数构建碳排放的预测模型，直接使用很难适用于其他区域，除此之外，碳排放指数跟时间有关系，不同时间尺度下，碳排放的趋势和特征也是不同的，因此传统的机器学习模型用于不同区域的碳排放指数预测，其预测准确性和性能将会大打折扣。上述预测方法的传统机器学习模型用于不同区域的碳排放指数预测，其预测准确性和性能将会大打折扣；对应的治理方法在治理质量和组合效率上较难最大化满足治理的需求，并且没有考虑组合方案的适应性和面对大规模治理工具组合场景的可扩展性问题。

技术实现思路

[0003]为克服上述不足，本专利技术的目的是向本领域提供一种基于迁移强化学习的碳排放指数预测与治理方法，使其主要解决现有同类技术中碳排放指数迁移强化学习和预测治理方法较难准确精准预测，以及较难最大化治理的技术问题。其目的是通过如下技术方案实现的。
[0004]一种基于迁移强化学习的碳排放指数预测方法，该预测方法由基于迁移学习的碳排放指数预测和基于强化学习的碳排放治理行为建模两个部分组成；其特征在于该预测方法通过迁移学习方法对具有相似特征区域的碳排放模型进行迁移，共享碳排放指数预测的信息；再此基础上，将迁移学习预测到的碳排放指数作为强化学习状态的输入，结合强化学习MDP进行碳排放治理建模，构建奖赏函数，运用强化学习算法实现碳排放治理效果的预测，提高碳排放治理行为预测的精度。
[0005]该预测方法的具体步骤如下：步骤一，对某一个区域的历史数据进行建模，生成碳排放指数预测器；步骤二，找到相似特征的样本，以现有的预测器为基准，辅助其他区域生成满足自身分布的预测器；步骤三，在线更新初始预测器，采用集成权重调正算法生成一个最终的预测器；步骤四，采用强化学习对碳排放治理行为的效果进行控制。
[0006]所述步骤一的具体步骤如下：1、借助历史数据信息，把每一个监测点采集回来的
数据按照时间序列进行排序，为提取历史数据的时空特征提供数据基础；2、采用深度学习对历史数据的时空信息进行提取，卷积层为分别是3
×
3，4
×
3，5
×
3，步长为2，对历史数据进行多尺度高层次时空特征提取；3、采用流形学习，对多尺度高层次时空特征进行降维，并以降维后的特征作为神经网络的输入层，经过神经网络隐含层，最后得到神经网络的输出——未来一个时间段该区域的碳排放指数预测值，生成一个预测器。
[0007]所述步骤二的具体步骤如下：
[0008]1、对每一个区域的历史数据采用深度学习，实现多尺度高层次时空特征提取；
[0009]2、采用流形学习，对多尺度高层次时空特征进行降维，具体流程为：
[0010]假设某个地区i的多尺度高层次时空特征X
T
＝{x1,x2,...x
T
}
N
∈R
N
，T表示每一个预测周期，每一个预测周期的碳排放指数为Y＝{I1,I2,...,I
T
}
NI
∈R
NI
；采用流形学习——LE算法实现高维到低维的映射；
[0011]3、LE算法侧重于保持局部领域结构，其认为，高维空间数据近邻点经过降维在低维空间的投影也应该是近邻的；以特征映射的方式实现了高维数据的降维，得到的低维数据的结构特征具有投影不变形的特征；加入高维数据的两个样本点具有近邻的特征，x
i
与x
j
为近邻点，对邻域内所有点计算两两距离并结合权重形成邻域图；在此基础上，构建邻域权重矩阵；在保持邻域图结构不变性的基础上，通过投影实现高维数据的降维；
[0012]目标函数为：
[0013][0014]q
i
与q
j
是高维数据x
i
与x
j
的低维映射位置；
[0015]4、采用LE算法实现多尺度高层次时空特征从高维到低维的转换，假设某个地区i的多尺度高层次时空特征X
T
＝{x1,x2,...x
T
}
N
，T表示每一个预测周期，每一个预测周期的碳排放指数为
[0016]根据LE算法，建立邻域图G，V表示X
T
＝{x1,x2,...x
T
}
N
多尺度高层次时空特征数据，E表示多尺度高层次时空特征数据之间的邻近关系，然后采用(LE算法)流形学习算法实现低维空间q
i
与碳排放指数y
i
的最小值拟合；根据上述思路，建立目标函数：
[0017][0018]其中，q＝min{q1,q2,...,q
T
}
d
∈R
d
，是通过上一步的LE算法求解出来的低维映射；
[0019]5、在获得低维空间q
i
后，采用相似性对多尺度高层次时空的低维映射特征进行相似性判断；
[0020][0021]如果低维映射特征的相似性大于设定的阈值，那么将其作为一组，否则归为不同一组；
[0022]6、多任务学习——基于聚类的多任务学习，每个聚类都生成一个预测器，形成每一个区域的初始预测器。
[0023]所述步骤二的目标函数求解，对数据进行如下处理：
[0024]1)选择合适的邻域并构造邻域图；在选取邻域点之后，将数据X与邻域点进行连接，构造邻域图G＝(V,E)，V代表邻域图中的节点集合，E代表邻域图的边集合；
[0025]2)选择权重，权重选择有两种方式，第一种是无差异的权重，如果e(i,j)∈E，代表邻域图节点x
i
与节点x
j
是直接相连，那么权重为1，否则为0；第二种是根据两点之间的距离计算权重，采取第二种方法计算两点之间的权重；采用高斯核函数表示邻域图节点之间的权重，具体表示为：
[0026][0027]由公式2可知，两点的距离越小，那么权重越大；
[0028]3)特征映射，获得权重后，目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移强化学习的碳排放指数预测方法，该预测方法由基于迁移学习的碳排放指数预测和基于强化学习的碳排放治理行为建模两个部分组成；其特征在于该预测方法通过迁移学习方法对具有相似特征区域的碳排放模型进行迁移，共享碳排放指数预测的信息；再此基础上，将迁移学习预测到的碳排放指数作为强化学习状态的输入，结合强化学习MDP进行碳排放治理建模，构建奖赏函数，运用强化学习算法实现碳排放治理效果的预测，提高碳排放治理行为预测的精度。2.根据权利要求1所述的基于迁移强化学习的碳排放指数预测方法，其特征在于该预测方法的具体步骤如下：步骤一，对某一个区域的历史数据进行建模，生成碳排放指数预测器；步骤二，找到相似特征的样本，以现有的预测器为基准，辅助其他区域生成满足自身分布的预测器；步骤三，在线更新初始预测器，采用集成权重调正算法生成一个最终的预测器；步骤四，采用强化学习对碳排放治理行为的效果进行控制。3.根据权利要求2所述的基于迁移强化学习的碳排放指数预测方法，其特征在于所述步骤一的具体步骤如下：1、借助历史数据信息，把每一个监测点采集回来的数据按照时间序列进行排序，为提取历史数据的时空特征提供数据基础；2、采用深度学习对历史数据的时空信息进行提取，卷积层为分别是3
×
3，4
×
3，5
×
3，步长为2，对历史数据进行多尺度高层次时空特征提取；3、采用流形学习，对多尺度高层次时空特征进行降维，并以降维后的特征作为神经网络的输入层，经过神经网络隐含层，最后得到神经网络的输出——未来一个时间段该区域的碳排放指数预测值，生成一个预测器。4.根据权利要求2所述的基于迁移强化学习的碳排放指数预测方法，其特征在于所述步骤二的具体步骤如下：1、对每一个区域的历史数据采用深度学习，实现多尺度高层次时空特征提取；2、采用流形学习，对多尺度高层次时空特征进行降维，具体流程为：假设某个地区i的多尺度高层次时空特征X
T
＝{x1,x2,...x
T
}
N
∈R
N
，T表示每一个预测周期，每一个预测周期的碳排放指数为采用流形学习——LE算法实现高维到低维的映射；3、LE算法侧重于保持局部领域结构，其认为，高维空间数据近邻点经过降维在低维空间的投影也应该是近邻的；以特征映射的方式实现了高维数据的降维，得到的低维数据的结构特征具有投影不变形的特征；加入高维数据的两个样本点具有近邻的特征，x
i
与x
j
为近邻点，对邻域内所有点计算两两距离并结合权重形成邻域图；在此基础上，构建邻域权重矩阵；在保持邻域图结构不变性的基础上，通过投影实现高维数据的降维；目标函数为：q
i
与q
j
是高维数据x
i
与x
j
的低维映射位置；4、采用LE算法实现多尺度高层次时空特征从高维到低维的转换，假设某个地区i的多尺度高层次时空特征X
T
＝{x1,x2,...x
T
}
N
，T表示每一个预测周期，每一个预测周期的碳排放指数为根据LE算法，建立邻域图G，V表示X
T
＝{x1,x2,...x
T
}
N
多尺度高层次时空特征数据，E表
示多尺度高层次时空特征数据之间的邻近关系，然后采用(LE算法)流形学习算法实现低维空间q
i
与碳排放指数y
i
的最小值拟合；根据上述思路，建立目标函数：其中，q＝min{q1,q2,...,q
T
}
d
∈R
d
，是通过上一步的LE算法求解出来的低维映射；5、在获得低维空间q
i
后，采用相似性对多尺度高层次时空的低维映射特征进行相似性判断；如果低维映射特征的相似性大于设定的阈值，那么将其作为一组，否则归为不同一组；6、多任务学习——基于聚类的多任务学习，每个聚类都生成一个预测器，形成每一个区域的初始预测器。5.根据权利要求4所述的基于迁移强化学习的碳排放指数预测方法，其特征在于所述步骤二的目标函数求解，对数据进行如下处理：1)选择合适的邻域并构造邻域图；在选取邻域点之后，将数据X与邻域点进行连接，构造邻域图G＝(V,E)，V代表邻域图中的节点集合，E代表邻域图的边集合；2)选择权重，权重选择有两种方式，第一种是无差异的权重，如果e(i,j)∈E，代表邻域图节点x
i
与节点x
j
是直接相连，那么权重为1，否则为0；第二种是根据两点之间的距离计算权重，采取第二种方法计算两点之间的权重；采用高斯核函数表示邻域图节点之间的权重，具体表示为：由公式2可知，两点的距离越小，那么权重越大；3...

【专利技术属性】
技术研发人员：张志亮，赵永国，杨荣霞，曹熙，张仙梅，郭鑫，
申请(专利权)人：南方电网大数据服务有限公司，
类型：发明
国别省市：