【技术实现步骤摘要】
本申请涉及能源运营管理的，尤其涉及一种基于大数据的能源运营指挥管理系统及其方法。
技术介绍
1、能源管理是指对组织的能源消耗进行主动、系统地监测、控制和优化，从而达到节约能源消耗并降低能源成本的目的。随着信息技术的发展和能源需求的日益增长，传统的能源管理方式已难以满足现代企业的精细化管理和节能减排要求。
2、在大数据时代背景下，能源数据的种类和规模迅速扩张，涵盖了从能源消耗计量、环境监测到生产运营等多个维度。然而，样本规模以及维数的动态更新和变化极大地增加了计算负担，在这些动态数据中，大多的数据样本并不以单一的数据取值形式存在，而是同时包含符号型数据和数值型数据的混合型数据，能源数据存在格式各异、质量参差不齐的问题，导致能源运营指挥管理系统在数据的整合与分析方面面临巨大挑战。
技术实现思路
1、为了提高能源运营指挥管理系统对能源数据的分析处理能力，本申请提供一种基于大数据的能源运营指挥管理系统及其方法。
2、本申请提供的一种基于大数据的能源运营指挥管理系统及其方法采用如下的技术方案：
3、第一方面，本申请提供一种基于大数据的能源运营指挥管理方法，包括以下步骤：
4、获取能源数据，所述能源数据包括多个数据单元；
5、根据所述能源数据，生成特征选择指令并执行，所述特征选择指令用于从多个数据单元中选择出特征子集，所述特征子集包括若干个有效特征；
6、使用评价函数对所述特征子集进行评价，得到评价函数值；
7
8、若评价函数值达到停止准则，则停止搜索；
9、从预设的数据库中查询与所述特征子集对应的验证数据集与预设有效值；
10、根据所述验证数据集，验证所述特征子集的实际有效性；
11、若所述实际有效性达到预设有效值，则输出最终的特征子集；
12、根据最终的特征子集，生成数据整合指令并执行，所述数据整合指令用于将所述特征子集与其他能源数据进行整合。
13、进一步的，在所述生成特征选择指令并执行的步骤之中，具体包括：
14、定义损失函数：
15、；
16、其中：p表示特征数量，即自变量的总数；yi表示第i个样本的目标变量值，即因变量观测值；xij表示第i个样本的第j个特征值，即自变量观测值；βj表示p维系数向量，即需要求解的模型参数；n表示样本数量，即观测值的总数；λ表示正则化参数，用于控制正则化的强度，防止过拟合；
17、通过最小化目标函数来寻找最优的系数向量β；
18、由于l1正则化项的存在，在迭代过程中会逐渐将不重要数据特征的系数缩减至0；
19、最终得到的系数向量β中，非零系数的数据特征被认为是重要的，用于组成特征子集；而系数被压缩到0的数据特征则被认为是冗余的或不重要的，在特征子集中被剔除。
20、进一步的，在所述通过最小化目标函数来寻找最优的系数向量β的步骤之中，具体包括：
21、选择更新维度，在每次迭代中，选择一个维度j（j=1，2，3……p）进行更新；
22、固定其他维度的系数βk（k≠j），计算当前维度j的残差r；
23、；
24、其中：rij表示第i个观测值在第j个维度上的残差，即去除当前维度影响后的预测误差；xik表示第i个观测值的第k个特征；
25、计算目标函数在该维度上的部分，将目标函数中的βj项单独提取出来，得到：
26、；
27、其中：lj(βj)表示目标函数在维度j上的部分，即只考虑βj时的损失；xij表示第i个观测值的第j个特征；
28、求解最优解，对于lj(βj)，计算使其最小的βj；
29、当βj>0时，对lj(βj)求导并令其为0，解得：
30、；
31、若，则该解有效；否则βj=0；
32、当βj<0时，解得：
33、；
34、若，则该解有效；否则βj=0；
35、当βj=0时，若，则该解有效；
36、迭代完成后，输出最终的系数向量β，即为使lasso最小化目标函数的最优系数向量β。
37、进一步的，在所述生成特征选择指令并执行的步骤之前，还包括：
38、根据所述能源数据，生成数据审核指令并执行，所述数据审核指令用于检查能源数据，调取错误数据、缺失数据、异常数据；
39、若调取到错误数据、缺失数据和/或异常数据，则生成数据处理指令并执行，所述数据处理指令用于处理错误数据、缺失数据、异常数据，包括处理异常值、填充缺失值、删除重复记录、修正错误；
40、生成数据转换指令并执行，所述数据转换指令用于进行数据类型转换、日期格式处理，并将数据进行归一化或标准化处理，使得不同量级的能源数据可以进行比较和分析；
41、生成数据筛选指令并执行，所述数据筛选指令用于对处理后的能源数据进行筛选工作。
42、进一步的，在所述生成数据筛选指令并执行的步骤之中，具体包括：
43、将所述数据单元定义为特征f，所述特征f的相关度得分定义为：
44、；
45、其中：fi表示样本i在特征f上的取值；sij表示权重矩阵s中的对应值，s是对数据空间结构的模拟表达，描述了同类（近邻）样本两两之间的距离，两个同类（近邻）样本距离越大对应权重也越大，反之越小；var(f)表示特征f的方差；
46、从预设的数据库中查询预设得分阈值；
47、在所有数据单元中，筛选出相关度得分达到预设得分阈值的优选数据单元。
48、进一步的，在所述生成数据审核指令并执行的步骤之中，具体包括：
49、从预设的数据库中查询数据处理工具、预设审核规则与审核统计规则；
50、根据所述预设审核规则与审核统计规则对能源数据进行校验，识别不符合预设审核规则和/或审核统计规则的异常数据项；
51、标记并存储所述异常数据项以及所述异常数据项相对应的详细信息，所述详细信息包括字段描述、数据类型、位置、错误原因、数据范围、时间戳；
52、根据所述数据处理工具，利用数据处理工具中的统计函数检测能源数据中的数据缺失值；
53、通过分析能源数据的分布和模式，识别出不符合常规模式的数据缺失值；
54、标记并存储所述数据缺失值以及所述数据缺失值相对应的详细信息。
55、进一步的，在所述标记并存储所述数据缺失值以及所述数据缺失值相对应的详细信息的步骤之后，还包括：
56、从预设的数据库中获取重点指标数据；
57、若数据缺失值中存在重点指标数据，则生成预警指令并执行，所述预警指令用于将所述数据缺失值以及所述数据缺失值相对应的详细信息推送至用户的智能本文档来自技高网...
【技术保护点】
1.一种基于大数据的能源运营指挥管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成特征选择指令并执行的步骤之中，具体包括：
3.根据权利要求2所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述通过最小化目标函数来寻找最优的系数向量β的步骤之中，具体包括：
4.根据权利要求1所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成特征选择指令并执行的步骤之前，还包括：
5.根据权利要求4所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成数据筛选指令并执行的步骤之中，具体包括：
6.根据权利要求4所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成数据审核指令并执行的步骤之中，具体包括：
7.根据权利要求6所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述标记并存储所述数据缺失值以及所述数据缺失值相对应的详细信息的步骤之后，还包括：
8.一种基于大数据的能源运营指挥管
...【技术特征摘要】
1.一种基于大数据的能源运营指挥管理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成特征选择指令并执行的步骤之中，具体包括：
3.根据权利要求2所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述通过最小化目标函数来寻找最优的系数向量β的步骤之中，具体包括：
4.根据权利要求1所述的一种基于大数据的能源运营指挥管理方法，其特征在于，在所述生成特征选择指令并执行的步骤之前，还包括：
【专利技术属性】
技术研发人员：尹航，谭涛，薛德顺，刘舰，苏广强，李露波，
申请(专利权)人：山东国研自动化有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。