一种基于马可夫决策过程的能源管理方法及系统技术方案

本发明专利技术公开了一种基于马可夫决策过程的能源管理方法及系统，本系统对智能家庭住宅进行建模，建立了一套独特的成本计算体系。同时定义了本系统中隐私保护程度的衡量标准，引入可充电电池进行错峰充放电，并掩盖用户实时用电信息。利用马尔可夫决策过程构造了一个对隐私保护和成本节约进行权衡的优化问题，并运用Sarsa算法解决该问题。最终能够根据用户的个性化需求找到最恰当的能源管理策略，提高隐私安全的同时最小化系统成本，实现资源的最优配置。本发明专利技术所设计了一个兼顾隐私保护和成本节约的能源管理系统及能源管理方法，能够满足用户实现个性化隐私保护的同时能够最小化系统成本。成本。成本。

【技术实现步骤摘要】
一种基于马可夫决策过程的能源管理方法及系统


[0001]本专利技术主要涉及智能电表领域，具体涉及一种基于马可夫决策过程的能源管理方法及系统，实现兼顾智能电表数据的隐私保护和系统成本节约。

技术介绍

[0002]随着传统电网向智能电网的过渡，智能电网的普及程度越来越高。智能电表作为数据采集和传输装置，是现代智能电网发展中不可或缺的一部分：它以突出的可靠性、抗干扰性和高成本效益向能源供应商反映用户的实时用电信息，收集的数据可用于动态定价和提供更准确的负载预测。然而，这些数据包含了大量的个人信息，这些敏感信息极有可能对消费者隐私构成威胁。例如，非侵入性负载监测方法可以很容易获取到消费者的实时用电情况，由此推测出该用户的生活习惯或者当下居住情况。这些合法或非法的数据接收者都有可能利用或泄露这些数据，从而对用户的生活造成影响。
[0003]为此，国内外学者提出过多种方法来保护智能电表的数据。一类是通过使用模糊处理、匿名化和同态加密等方法，修改智能电表的原始信息，实现智能电表的隐私保护。但在对数据进行加密的过程中，数据精确度会降低；差分隐私是另一种防止隐私泄露的常用方法，差异隐私算法通常采用拉普拉斯机制或指数机制对查询的结果引入噪点，确保所需的统计信息不会因条目数据库中的个别偏差而发生明显变化的同时，简化了数学上的建模与分析。
[0004]在数据中添加噪点，伴随着数据精确度降低的同时，会带来一定程度上系统成本的提高，为此，我们引入了技术逐渐成熟的可充电电池来弥补这一不足，从物理层面上对隐私进行保护。此前，大量研究已经证明了可充电电池在这方面的优势性和可行性，通过利用可充电电池，家庭真实用电时长和具体时间段可以被很好地掩盖，实际的设备能耗情况会因能源供应和用户需求之间的差异而被掩盖。此外，考虑到电价的峰谷时段划分，可充电电池还可以根据用户的负荷需求和实时电价错峰进行充放电，降低系统的电价成本。
[0005]随着隐私保护程度提高，系统成本也随之提高。如何在两者之间找到一个平衡点，兼顾隐私保护的同时最小化系统成本，为用户设计一个能源的最优配置方案，是一个重要且有挑战性的问题。

技术实现思路

[0006]为解决现有技术中的不足，本专利技术提出了一种基于马尔可夫决策过程的能源管理方法及系统，目的在于利用马尔可夫决策过程构造一个优化问题，并运用Sarsa算法解决提出的问题，最终根据不同用户的个性化需求，找到一个独特的最优能量管理策略，解决隐私和成本之间的权衡问题。
[0007]本专利技术所采用的技术方案如下：
[0008]一种基于马尔可夫决策过程的能源管理系统，包括马可夫决策模块、能源管理模块、成本计算模块和隐私保护模块；
[0009]所述能源管理模块包括能源需求侧和能源管理单位，所述能源需求侧包括用电器和可充电电池；能源供应商通过智能电表连接能源需求侧，为家庭提供的电能；能源管理单位与用电器和可充电电池之间通过信号线相连接，通过能源管理单位实时监测电价和用户总需求，并控制可充电电池的充放电时长。
[0010]所述隐私保护模块是将一个时间段内智能电表收集到的数据分成若干组，采用差分隐私算法对数据组进行加噪处理；在隐私保护模块中定义隐私保护等级，量化分析不同的隐私保护程度；
[0011]所述成本计算模块分别与能源管理模块、隐私保护模块之间通过信号连接，在成本计算模块内结合实时电价、电池使用情况以及隐私预算，计算出能源管理系统的系统成本；
[0012]所述马可夫决策模块分别与成本计算模块、能源管理模块之间通过信号连接，将能源管理系统的系统成本以及隐私保护程度作为参数输入马可夫决策模型，输出最优的隐私保护程度和能源管理系统的系统成本并输入至能源管理模块。
[0013]一种基于马尔可夫决策过程的能源管理方法，包括如下步骤：
[0014]步骤1，基于用户个性化的隐私保护需求，选择差分隐私算法的隐私保护等级K；
[0015]步骤2，以一天为基本单位，遍历每一个可能的保护等级k，k≤K；以固定时间间隔，在智能电表向能源供应商传输数据的过程中，利用差分隐私算法对原始数据进行加密处理；
[0016]步骤3，计算能源管理系统的隐私保护程度以及系统成本；
[0017]步骤4，将系统成本和隐私保护程度输入到本模块的马可夫决策模型构造优化问题，并运用Sarsa算法解决优化问题，进行马可夫决策过程，获得完整的价值表Q；
[0018]步骤5：遍历整个价值表Q，找到最适合该用户的隐私保护程度k
*
以及该保护程度相对应的成本并反馈给用户；如果没有找到符合条件的隐私保护程度k
*
以及该保护程度相对应的成本则返回步骤3。
[0019]进一步，所述步骤2中以6(11
‑
k)为固定时间间隔，在智能电表向能源供应商传输数据的过程中，利用差分隐私算法对个原始数据进行加密处理；
[0020]进一步，所述步骤3中计算能源管理系统的隐私保护程度的方法为：
[0021][0022]其中，P
sm
(t)和P
′
sm
(t)分别表示智能电表采集的原始数据和经过加密处理后的数据，k表示对原始数据集进行隐私保护的次数。
[0023]进一步，所述步骤3中能源管理系统的系统成本包括可充电电池运行费用C
b
、电价成本C
e
以及隐私预算C
p
，故系统成本表示为：C
π
＝C
e
+C
b
+C
p
。
[0024]进一步，计算可充电电池运行费用：
[0025]通过可充电电池自身费用除以预估电池的可充放电次数，定义得出电池的摊销成本q：
[0026][0027]定义s(t)表示时间段Δt中可充电电池的工作状态，如果可充电电池正在充电或者放电，则s(t)＝1；如果没有使用可充电电池，则s(t)＝0；由此，得到可充电电池运行费用：
[0028][0029]其中，k为隐私保护等级，即在一个固定的时间段T内，根据当前隐私保护等级k划分成k个时间段Δt，k＝1，2，...，K；则将每个时间段内的电池成本相加，得到C
b
。
[0030]进一步，计算电价成本：
[0031][0032]通过控制端监控实时电价V
t
，根据电表读数P
sm
(t)可以直接计算出用户在时间段Δt内的电价成本，将每个时间段内的实时电价相加，得到C
e
。
[0033]进一步，不同用户隐私保护等级k下的隐私预算表示为：
[0034]C
p
＝k∈
[0035]其中，∈为隐私预算。
[0036]进一步，步骤4过程如下：
[0037]步骤4.1：初始化马可夫决策的状态集S(D，d，y，P
sm
，C
π
)，其中，D是隐私本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于马尔可夫决策过程的能源管理系统，其特征在于，包括马可夫决策模块、能源管理模块、成本计算模块和隐私保护模块；所述能源管理模块包括能源需求侧和能源管理单位，所述能源需求侧包括用电器和可充电电池；能源供应商通过智能电表连接能源需求侧，为家庭提供的电能；能源管理单位与用电器和可充电电池之间通过信号线相连接，通过能源管理单位实时监测电价和用户总需求，并控制可充电电池的充放电时长；所述隐私保护模块是将一个时间段内智能电表收集到的数据分成若干组，采用差分隐私算法对数据组进行加噪处理；在隐私保护模块中定义隐私保护等级，量化分析不同的隐私保护程度；所述成本计算模块分别与能源管理模块、隐私保护模块之间通过信号连接，在成本计算模块内结合实时电价、电池使用情况以及隐私预算，计算出能源管理系统的系统成本；所述马可夫决策模块分别与成本计算模块、能源管理模块之间通过信号连接，将能源管理系统的系统成本以及隐私保护程度作为参数输入马可夫决策模型，输出最优的隐私保护程度和能源管理系统的系统成本并输入至能源管理模块。2.一种基于权利要求1所述基于马尔可夫决策过程的能源管理系统的能源管理方法，其特征在于，包括如下步骤：步骤1，基于用户个性化的隐私保护需求，选择差分隐私算法的隐私保护等级K；步骤2，以一天为基本单位，遍历每一个可能的保护等级k，k≤K；以固定时间间隔，在智能电表向能源供应商传输数据的过程中，利用差分隐私算法对原始数据进行加密处理；步骤3，计算能源管理系统的隐私保护程度以及系统成本；步骤4，将系统成本和隐私保护程度输入到本模块的马可夫决策模型构造优化问题，并运用Sarsa算法解决优化问题，进行马可夫决策过程，获得完整的价值表Q；步骤5：遍历整个价值表Q，找到最适合该用户的隐私保护程度k
*
以及该保护程度相对应的成本并反馈给用户；如果没有找到符合条件的隐私保护程度k
*
以及该保护程度相对应的成本则返回步骤3。3.根据权利要求2所述的一种基于马尔可夫决策过程的能源管理方法，其特征在于，所述步骤2中以6(11
‑
k)为固定时间间隔，在智能电表向能源供应商传输数据的过程中，利用差分隐私算法对个原始数据进行加密处理。4.根据权利要求2所述的一种基于马尔可夫决策过程的能源管理方法，其特征在于，所述步骤3中计算能源管理系统的隐私保护程度的方法为：其中，P
sm
(t)和P
s
'
m
(t)分别表示智能电表采集的原始数据和经过加密处理后的数据，k表示对原始数据集进行隐私保护的次数。5.根据权利要求2所述的一种基于马尔可夫决策过程的能源管理方法，其特征在于，所述步骤3中能源管理系统的系统成本包括可充电电池运行费用C
b
、电价成本C
e
以及隐私预算C
p
，故系统成本表示为：C
π
＝C
e
+C
b
+C
p
。
6.根据权利要求5所述的一种基于马尔可夫决策过程的能源管理...

【专利技术属性】
技术研发人员：田源，郝舒阳，董睿轩，汤志超，颜彦，陈建华，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：