一种基于深度Q网络的充电桩故障诊断方法技术

本发明专利技术提供了一种基于深度Q网络的充电桩故障诊断方法，包括以下步骤：通过采用B/S架构，搭建充电桩故障诊断系统，实现数据实时传输；构建充电桩故障诊断数据模型；预处理车辆实时充电参数差和故障诊断数据，获得对应的数据集{N

【技术实现步骤摘要】
一种基于深度Q网络的充电桩故障诊断方法

：
[0001]本专利技术涉及电动汽车
，具体涉及充电桩故障诊断系统方法。

技术介绍
：
[0002]随着电动汽车技术的快速发展，电动汽车已经成为汽车市场不可或缺的一部分。充电桩也随着电动汽车的发展而同步发展，两者之间拥有相互依赖，然而充电桩在实际应用过程中，一般都是驾驶员自己操作进行充电，可能会由于线路接触不良、过载、人为操作失误等原因发生故障，所以迫切需要一种能够评估充电桩故障状况的诊断系统，及时断电进行检修，确保人车安全。
[0003]深度学习作为机器学习领域中的一个研究热点，基本思想是结合使用多层的网络结构和非线性变换，从高维的原始特征中抽取出维度较低且高度可区分的特征。因此，深度学习方法忽视了控制过程，更侧重于对事物的认知和表达。随着人工智能的飞速发展，越来越多的实际问题需要利用深度学习来提取大规模输入数据的特征，并以此特征为依据进行自我激励的学习，优化解决问题的策略。
[0004]强化学习强调的是一种从环境状态到动作映射的自我学习过程。智能体在每个时刻与环境交互并选择动作，环境对此动作做出反应，并到达新的状态，然后通过值函数评价每个状态或状态动作对应的好坏，最终确定到达目标状态的最有策略。
[0005]深度Q网络是将深度学习中的神经网络和传统强化学习中求解最优动作值函数的Q学习算法进行结合。深度Q网络同时具有感知复杂输入和求解最优策略的能力，对具体数学模型依赖程度低，并善于从数据中学习，为充电桩实现自动化故障诊断提供了有效解决途径，其已在优化平均用户充电时间和充电行为等方面的研究起到了推进作用，但尚未涉及采用深度Q网络等技术实现充电桩的故障诊断分析。目前，现有技术采用深度卷积神经网络进行数据学习，由于深度卷积神经网络只能在有限的数据集中训练模型，充电桩故障诊断的准确性有待提高。因此，如何使用深度Q网络，实现充电桩的故障诊断系统分析成为该领域急需解决的重要问题。
[0006]
技术实现思路

[0007]本专利技术提供一种基于深度Q网络的充电桩故障诊断方法，本方法基于互联网技术，采用B/S架构搭建充电桩故障诊断平台，实时上传车辆充电参数，利用深度Q网络来对数据进行拟合，形成更加准确的诊断报告，提醒充电人员采取相关措施。
[0008]本专利技术解决其技术问题采取的技术方案是：
[0009]一种基于深度Q网络的充电桩故障诊断方法，包括步骤：通过采用B/S架构，搭建充电桩故障诊断系统，实现数据实时传输；构建充电桩故障诊断数据模型；预处理车辆实时充电参数差和故障诊断数据，获得对应的数据集{N
K
,P
K
}；设置损失函数，利用数据集{N
K
,P
K
}，通过随机梯度下降法更新深度Q网络参数；确定深度Q网络的学习公式，得到充电桩损坏程度值，进而给出损坏程度值相对应的诊断措施，将其显示在WEB界面上。
[0010]进一步，所述B/S架构包括WEB界面、WEB服务器、数据库。
[0011]进一步，所述WEB界面采用Vue和/或MVC框架进行开发，实现输入输出功能简单化和进行数据可视化处理；所述WEB服务器用于执行深度Q网络的算法和信息传送；所述数据库为MySQL；数据层利用抽象工厂设计模式进行数据和业务的分层管理。
[0012]进一步，针对车辆实时充电参数，标准充电参数，构建充电桩故障诊断数据模型；所述充电桩故障诊断数据模型包括状态空间S、动作空间A、奖励函数R。
[0013]进一步，所述对车辆实时充电参数差和故障诊断数据进行预处理，获得对应的数据集{N
K
,P
K
}包括具体步骤：清理异常诊断数据，根据车辆实时充电参数差，保留正确的故障诊断数据；针对充电桩故障诊断数据进行对应的故障诊断方案标签，获得对应的数据集{N
K
,P
K
}。
[0014]进一步，所述设置损失函数，利用数据集{N
K
,P
K
}，通过随机梯度下降法更新深度Q网络参数包括具体步骤：对深度Q网络进行初始化，建立Q(N
K
,P
K
；θ)框架；将数据集{N
K
,P
K
}输入到Q(N
K
,P
K
；θ)中，通过该网络学习对应的奖励值，设置与奖励值相关的损失函数L(θ)；损失函数L(θ)采用随机梯度下降法更新Q神经网络参数θ；不断迭代Q神经网络参数θ，直到损失函数值小于0.001。
[0015]进一步，所述损失函数L(θ)公式：
[0016]L
i
(θ
i
)＝E
s,a,r
[(E
s'
[r+γmaxQ(N
k
,P
k
,θ)|s,a]‑
Q(N
k
,P
k
,θ))2][0017]进一步，深度Q网络学习公式：
[0018]Q(N
k
,P
k
,θ)＝E
s'
[r+γmaxQ(N
k
,P
k
,θ)|s,a][0019]进一步，所述状态空间S选取车辆全部实时充电参数差作为状态特征；所述动作空间A是针对充电桩的全部故障诊断；所述奖励函数R是根据各种故障诊断正确后获得的奖励。
[0020]进一步，所述车辆实时充电参数差包括车辆全部实时充电电流值、车辆全部实时充电电压值和车辆全部实时充电温度值与各个标准时的归一化差值。
[0021]本专利技术的有益效果是：
[0022]一是基于B/S框架下实现了车辆充电参数的实时传输以及可视化处理，并且用户无需安装客户软件，即可在电脑、手机上登录该系统，查看充电桩上历史和实时的车辆充电参数，实现了充电桩充电的精细化管理。
[0023]二是相比利用深度卷积神经网络的故障诊断以及其他传统故障诊断方法，深度Q网络不仅可以进行实时故障诊断，而且可以挖掘更多的数据进行深度Q学习，使得Q神经网络模型对于故障诊断越来越熟练，从而故障诊断的正确率越来越高。
[0024]三是深度卷积神经网络只能对于有限的故障采取相应的诊断，而基于深度Q网络的故障诊断可以在未知故障的环境下，能够学习掌握更多故障诊断方案。
附图说明
[0025]下面结合附图和实施例对本专利技术进一步说明。
[0026]图1：B/S三层结构示意图。
[0027]图2：深度Q网络算法流程图。
具体实施方式
[0028]下面结合附图和具体实施例对本专利技术作进一步详细描述，实施例不能在此一一赘述，但本专利技术的实施方式并不因此限定以下实施例。
[0029]一种基于深度Q网络的充电桩故障诊断方法，通过采用B/S架构，搭建充电桩故障诊断系统，实现数据实时传输。
[0030]所述B/S架构包括WEB本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度Q网络的充电桩故障诊断方法，其特征在于：包括步骤：S1：通过采用B/S架构，搭建充电桩故障诊断系统，实现数据实时传输；S2：构建充电桩故障诊断数据模型；S3：预处理车辆实时充电参数差和故障诊断数据，获得对应的数据集{N
K
,P
K
}；S4：设置损失函数，利用数据集{N
K
,P
K
}，通过随机梯度下降法更新深度Q网络参数；S5：确定深度Q网络的学习公式，得到充电桩损坏程度值，进而给出损坏程度值相对应的诊断措施，将其显示在WEB界面上。2.根据权利要求1所述的一种基于深度Q网络的充电桩故障诊断方法，其特征在于：所述B/S架构包括WEB界面、WEB服务器、数据库。3.根据权利要求2所述的一种基于深度Q网络的充电桩故障诊断方法，其特征在于：所述WEB界面采用Vue和/或MVC框架进行开发，实现输入输出功能简单化和进行数据可视化处理；所述WEB服务器用于执行深度Q网络的算法和信息传送；所述数据库为MySQL；数据层利用抽象工厂设计模式进行数据和业务的分层管理。4.根据权利要求1所述的一种基于深度Q网络的充电桩故障诊断方法，其特征在于：针对车辆实时充电参数，标准充电参数，构建充电桩故障诊断数据模型；所述充电桩故障诊断数据模型包括状态空间S、动作空间A、奖励函数R。5.根据权利要求1所述的一种基于深度Q网络的充电桩故障诊断方法，其特征在于：所述S3包括具体步骤：S31:清理异常诊断数据，根据车辆实时充电参数差，保留正确的故障诊断数据；S32:针对充电桩故障诊断数据进行对应的故障诊断方案标签，获得对应的数据集{N
K
,P
K
}。6.根据权利要求1所述的一种基于深度Q网络的充电桩故障诊断方法，其特征在于：所述S4包括具体步骤：S41:对深度Q网络进行初始化，建立Q(N
...

【专利技术属性】
技术研发人员：沈俊，王浩，徐少山，徐田园，李振兴，高新强，李珂，
申请(专利权)人：中国科学院理化技术研究所，
类型：发明
国别省市：